JP2021504262A - 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景 - Google Patents

着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景 Download PDF

Info

Publication number
JP2021504262A
JP2021504262A JP2020527896A JP2020527896A JP2021504262A JP 2021504262 A JP2021504262 A JP 2021504262A JP 2020527896 A JP2020527896 A JP 2020527896A JP 2020527896 A JP2020527896 A JP 2020527896A JP 2021504262 A JP2021504262 A JP 2021504262A
Authority
JP
Japan
Prior art keywords
chassis
landing
target device
container
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020527896A
Other languages
English (en)
Inventor
クリーナー,ロバート,チャールズ
Original Assignee
ティーエムイーアイシー コーポレーション
ティーエムイーアイシー コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ティーエムイーアイシー コーポレーション, ティーエムイーアイシー コーポレーション filed Critical ティーエムイーアイシー コーポレーション
Publication of JP2021504262A publication Critical patent/JP2021504262A/ja
Priority to JP2022208441A priority Critical patent/JP2023040090A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

測定デバイスまたは複数の測定デバイスによって生成された複数の測定点を使用して、着地面にコンテナの着地ソリューションを生成するシステムおよび方法が説明される。特に、複数の測定値を分析し、データの分析から、コンテナ荷役機器の基準系内で、機器のワークスペース内にある着地面に輸送コンテナを配置する場所および配向を決定する方法が説明される。次いで、この場所を機器の自動化システムで使用して、人間の入力を必要とせずに、または人間の相互作用または入力をほとんど必要とせずに、輸送コンテナを着地面に自動的に配置することができる。システムおよび方法は、陸側移送ゾーンおよびそのようなゾーンの外での運転に適用可能であり、したがって、上から機器にコンテナを着地させることができるあらゆるコンテナ荷役機器への設置に適用可能である。【選択図】図1

Description

関連出願の相互参照
本出願は、その全体が基準により本明細書に組み込まれる、2017年11月24日に提出された米国仮出願第62/590,443号、および2018年2月6日に提出された米国仮出願第62/626,990号の開示に基づいており、その出願日の優先権とその利益を主張している。
本発明は、国際輸送で使用されるようなコンテナクレーン動作に関する。より詳細には、本発明は、車両シャーシまたは他の着地面上のコンテナの着地ソリューションを生成するための方法およびシステムに関する。
1955年にコンテナ輸送が開始されて以来、貨物輸送業界は貨物の移動による効率の向上を追求してきた(http://www.worldshipping.org/about−the−industry/history−of−containerization)。輸送コンテナの出現から、すぐに、輸送の様々な段階でそれを処理するための標準化された機器(「相互輸送」と呼ばれるシステム)(http://www.worldshipping.org/about−the−industry/history−of−containerization)と続き、業界はより速い移動、さらなる標準化、より高い生産性、および、より少ない人間の介入を追求してきた。これらは、コンテナ荷役機器の自動化における段階的な開発を通じて達成されている。
コンテナクレーンなどのコンテナ荷役機器の自動化を促進する技術が存在する(https://www.porttechnology.org/technical_papers/the_case_for_automated_rtg_container_handling)。クレーンの自動化が始まった当初、人々による不可避のアクセスを伴う領域は、自動化するには危険すぎると考えられていた。最終的に生産的な動きを増やし、待ち時間を短縮するというプレッシャーにより、業界標準が人々との直接接触のない領域での完全自動化および、人々の接触が不可避である領域での、しばしばリモート動作を伴う「半自動化」の状態に促進された。しかしながら、最近では、業界は、コンテナ荷役のすべての領域で完全に自動化された移動を追求している。本開示で特に興味深いのは、図12−Bおよび図13−Bに例が示されている陸側移送ゾーン(landside transfer zone:LSTZ)の自動化である。LSTZ領域は、道路上だけでなく、ロードシャーシ以外の内部ポート機器によってスタッキングクレーンがコンテナを移送する車両とインターフェースする場所である。LSTZでの動作を完全に自動化することに、過去数年にわたって大きな関心が寄せられている。
LSTZでの動作の自動化に伴う課題は膨大である。LSTZでの移動を自動化できるシステムを設計するには、非標準のシャーシおよび機器のタイプ、特定の着地点の有無、動作の領域における人々の安全、ならびに動作領域内の機器の配置によって導入される変動を克服する必要がある。自動化の主な課題は、通常、シャーシをLSTZにどのように配置するか、および動作中に人々がいる場所に関して人間が導入する変動性から生じる。しかしながら、この変動性は、LSTZの場合は、トラックレーンを囲む縁石(図12、アイテムC、および図13、アイテムC)およびドライバが入るブース(図12、アイテムD、および図13、アイテムD)などの機械的制限によって緩和され、これらは、この領域で動作するときに特定の規則が守られている限り、人間が誘発し得る変動性を制限する。人間の変動性の問題に加えて、クレーンがコンテナを着地させる必要があるシャーシおよび機器の非標準化の問題がある。輸送コンテナの形状およびサイズはISO(国際標準化機構:International Organization for Standardization)規格に準拠しているが、コンテナを運搬するシャーシおよび他の機器は準拠していない。所与のロードシャーシに対する唯一の制約は、シャーシの着地面のどこかに、シャーシ上に配置されたコンテナのコーナキャスティングと噛合する通常1つ以上、好ましくは複数のツイストロックがあることである。これは、少なくともロードシャーシで、しかし必ずしも他のコンテナ運搬機器である必要はないが、シャーシ上に配置されるコンテナの4つのコーナに対応する4つのポイントが通常、シャーシ上にあることを意味する。見つかると、これらの4つのポイントを使用して、シャーシ面上のどこにコンテナを配置するかのソリューションを生成できる。しかしながら、これらの4つのポイントは、それらに噛合するコンテナの4つのコーナに従うように互いに適切に離間されている限り、ロードシャーシの表面のどこにでも存在できるということに注意すべきである。ツイストロックのサイズおよび形状にもばらつきがあり、それらを特定するシステムの能力に影響を与え、コンテナの正確な着地位置に影響を与える。シャーシ変動の例を図18および図19に示す。
コンテナを受け入れる準備が整っている機器にツイストロックがない場合、検索する表面に制約されたポイントがなく、純粋にその光学的外観に基づいてカメラまたは類似のセンサで機器を視覚的に認識するのに十分な均一性がないため、着地位置を決定することがさらにより困難になる可性がある。着地する機器の外観は、形状、サイズ、色、摩耗パターンなどが異なる場合があり、光学システムがそれらを識別するのに効果的ではない。図18および図19では、いくつかのシャーシの状態を観察できる。図19の下部シャーシに欠けているツイストロックおよび図18のシャーシ上の汚れの様々なレベルに留意されたい。
過去数年間で、動作を完全に自動化し、リモートオペレータがロードシャーシおよびLSTZ内の他の機器との相互作用を実行する必要性を取り除くと主張するシステムがいくつか開発された。しかしながら、提案されているシステムおよび方法は、前述のすべての課題を克服して、完全に自動化されていると主張する動作を正常に実行する必要があるが、これらのシステムおよび方法は、課題に完全に対処していないセンサを使用している。この分野での取り組みの例には、米国特許出願公開第2012/0089320A1号、国際特許出願公開第WO2015/022001A1号、ドイツ特許出願公開第DE102008014125A1号および第DE102007055316A1号、欧州特許出願公開第EP2574587B1号、欧州特許出願公開第EP2724972A1号、第EP2327652A1号、および第EP2724972A1号に記載されているものが含まれる。しかし、これらの取り組みにもかかわらず、上記の欠陥に対処する技術の必要性が依然として残っている。
本発明の実施形態は、既存のシステムよりも正確なソリューションを生成するために、より堅牢な方法で上記の課題に対処するための方法およびシステムを提供する。実施形態では、本発明は、単数の測定デバイスまたは複数の測定デバイス、ならびに、本方法および対応するコンピュータプログラム製品を実行するための対応するデバイスによって生成された複数の測定点を使用して、ターゲット機器およびターゲット機器上の着地面にコンテナなどのオブジェクトの着地ソリューションを生成する方法を説明する。着地面は、コンテナ荷役機器によって上から着地面上に配置されたときにコンテナを受け入れるように設計された任意の機器などの、任意の機器の任意の着地面を含み得る。
実施形態では、本発明は、ポイントクラウドのデータ(ポイントクラウドは、デカルト座標空間でx、y、およびz座標点として表すことができる点の収集として定義されている)などの複数の測定点を分析し、データ分析の段階から、コンテナ荷役機器の基準系で、機器のワークスペース内にある着地面に輸送コンテナを配置する場所に関する6DoF(Degrees of Freedom:自由度)での場所および配向を決定する方法を説明する。次に、この場所を機器の自動化システムで使用して、人間の入力、または最小限の人間の入力もしくは相互作用を必要とせずに、輸送コンテナを着地面に自動的に配置できる。本方法およびシステムは、陸側移送ゾーンおよびそのようなゾーンの外での動作に適用可能であり、そのため、上から機器上にコンテナを着地させることができる任意のコンテナ荷役機器への設置に適用可能である。
本発明の実施形態の特定の態様は、(a)ターゲット機器またはシャーシを走査して、1つ以上のツイストロックなどのターゲット機器またはシャーシの着地面の特徴が区別可能であるポイントクラウドを生成することと、(b)プロセッサによってポイントクラウドを分析して、特徴および/またはツイストロックの場所を決定することと、(c)特徴および/またはツイストロックの場所に基づいて、ターゲット機器またはシャーシの着地面の中心を決定することと、を含む、ISOコンテナの着地ソリューションを決定する方法である、態様1を含む。態様2は、プロセッサがターゲット機器もしくはシャーシの着地面の極小値および極大値、ならびに/またはモデル畳み込みなどの技術を使用して、隆起および陥凹した特徴ならびに/またはツイストロックの場所を決定する方法を含む。態様3は、走査することが、1つ以上のカメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせを使用して実行される、態様1または2に記載の方法である。
本発明の実施形態の特定の態様は、ターゲット機器の着地面上のオブジェクトに対する着地位置を決定する方法であって、(a)コンテナなどの第1のオブジェクトが積み込まれたシャーシなどのターゲット機器を提供することと、(b)空間内の第1のオブジェクトまたはコンテナの1つ以上の座標を生成することと、(c)ターゲット機器またはシャーシから第1のオブジェクトまたはコンテナを取り除いて、ターゲット機器またはシャーシの着地面を明らかにすることと、(d)ターゲット機器またはシャーシを走査し、ターゲット機器またはシャーシ着地面のモデルを生成することと、(e)第1のオブジェクトまたはコンテナの1つ以上の座標に基づいて、モデル内のターゲット機器またはシャーシ着地面の中心を決定することにより、第1のオブジェクトまたはコンテナのターゲット機器またはシャーシ上の着地場所を決定することと、を含む、方法である、態様4も含む。態様5は、1つ以上のオブジェクトまたはコンテナオフセットを決定して、ターゲット機器またはシャーシ着地面上の付加的な着地場所を識別することをさらに含む、態様4に記載の方法である。態様6は、1つ以上のオフセットが、(a)1つ以上の第2のオブジェクトまたはコンテナをターゲット機器またはシャーシ着地面に配置することと、(b)空間内の第2のオブジェクトまたはコンテナの1つ以上の座標を生成することと、(c)第2のオブジェクトまたはコンテナの1つ以上の座標に基づいて、第2のオブジェクトまたはコンテナが、ターゲット機器またはシャーシ着地面の中心からオフセットされる距離を決定することと、によって決定される、態様4または5に記載の方法である。態様7は、任意の数の着地位置が前記1つ以上のオフセットから決定され、例えば、1つ以上のコンテナオフセットが、前部コンテナオフセット、後部コンテナオフセット、または前部および後部コンテナオフセットの両方を含む、態様4〜6のいずれか一項に記載の方法である。態様8は、第1のオブジェクトまたはコンテナの着地場所および1つ以上のオフセットを格納して、ターゲット機器またはシャーシの着地面に対する複数の着地場所を表すモデルのライブラリを作成することをさらに含む、態様4〜7のいずれか一項に記載の方法である。態様9は、生成することが、1つ以上のカメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせを含む、1つ以上の測定デバイスによって実行される、態様4〜8のいずれか一項に記載の方法である。態様10は、ターゲット機器またはシャーシが、無人搬送車両(Automatically Guided Vehicle:AGV)シャーシ、AGVラック、爆弾カートシャーシ、鉄道車両、ストリートシャーシ、またはカセットである、態様4〜9のいずれか一項に記載の方法である。態様11は、コンテナが、国際標準化機構(ISO)に従って形状設定およびサイズ設定された輸送コンテナである、態様4〜10のいずれか一項に記載の方法である。態様12は、ターゲット機器またはシャーシ着地面のモデルが、データの3Dポイントクラウドによって表される、態様4〜11のいずれか一項に記載の方法である。態様13は、ターゲット機器またはシャーシ着地面のモデルが、ターゲット機器またはシャーシを1回または複数回、例えば2〜20回、例えば、3〜18回、または4〜15回、または5〜10回、走査することから生成される、態様4〜12のいずれか一項に記載の方法である。態様14は、モデルが、1回走査することから、かつ、高解像度データを達成する方法で走査することによって生成される、態様4〜13のいずれか一項に記載の方法である。
本発明の実施形態の特定の態様は、シャーシなどのターゲット機器の着地面上で、コンテナなどのオブジェクトに対する着地場所を決定する方法であって、寳保が、(a)第1のターゲット機器またはシャーシを走査し、第1のターゲット機器またはシャーシのモデルを提供することと、(b)第1のターゲット機器またはシャーシのモデルを1つ以上の基準ターゲット機器またはシャーシと比較して、どの基準ターゲット機器またはシャーシが、選択された一致度内で第1のターゲット機器またはシャーシに一致するかを識別することと、(c)一致する基準ターゲット機器またはシャーシの既知のオブジェクトまたはコンテナ着地場所を、第1のターゲット機器またはシャーシのオブジェクトまたはコンテナ着地場所のプロキシとして使用することと、を含む、方法である態様15も含む。態様16は、コンテナが、ISO輸送コンテナである、態様15に記載の方法である。態様17は、走査することが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせのうちの1つ以上を使用して実行される、態様15または16に記載の方法である。態様18は、第1のターゲット機器またはシャーシのモデル、および基準ターゲット機器またはシャーシが、データの3Dポイントクラウドによって表される、態様15〜17のいずれか一項に記載の方法である。態様19は、比較することが、第1のターゲット機器またはシャーシの長さの指定された範囲内の長さを有する1つ以上の基準ターゲット機器またはシャーシを識別すること、および/あるいは、ボクセルフィルタを使用して、基準ターゲット機器またはシャーシと第1のターゲット機器またはシャーシとの間の類似性を識別すること、を含む、態様15〜18のいずれか一項に記載の方法である。態様20は、ボクセルフィルタが、3Dデータクラウドの1つ以上の次元にわたってデータを比較する、態様15〜19のいずれか一項に記載の方法である。態様21は、ボクセルフィルタが、x−、y、および/またはz−値の任意の組み合わせを比較する、態様15〜20のいずれか一項に記載の方法である。態様22は、一致する基準ターゲット機器シャーシの既知のオブジェクトまたはコンテナの着地場所が、(a)第1の基準オブジェクトまたはコンテナが積み込まれた基準ターゲット機器またはシャーシを提供することと、(b)空間内の第1の基準オブジェクトまたはコンテナの1つ以上の座標を生成することと、(c)第1の基準オブジェクトまたはコンテナを基準ターゲット機器またはシャーシから取り除いて、基準ターゲット機器またはシャーシの着地面を明らかにすることと、(d)基準ターゲット機器またはシャーシを走査し、基準ターゲット機器またはシャーシ着地面のモデルを生成することと、(e)第1の基準オブジェクトまたはコンテナの1つ以上の座標に基づいて、モデル内の基準ターゲット機器またはシャーシの着地面の中心を決定することにより、基準ターゲット機器またはシャーシ上の第1の基準オブジェクトまたはコンテナに対する着地場所を決定することと、によって決定される、態様15〜21のいずれか一項に記載の方法である。
本発明の実施形態の特定の態様は、荷役機器の動作基準系内のターゲット機器またはシャーシの配向を決定する方法であって、(a)基準ターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、(b)現在のターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、(c)基準ターゲット機器またはシャーシデータポイントクラウドをコンテナ荷役機器の動作基準系内の予想される仮想位置に位置づけることと、(d)基準ターゲット機器またはシャーシの着地面の第1の中心および現在のターゲット機器またはシャーシの着地面の第2の中心を、それらのそれぞれのデータポイントクラウド内で推定することと、(e)第1の中心を第2の中心と位置合わせすることによって、第1の位置合わせを実行することと、(f)XYZ座標などで、第1の中心の場所から第2の中心の場所への、第1の位置合わせを達成するために必要な任意の平行移動(複数可)を決定することと、(g)基準ターゲット機器またはシャーシの着地面と現在のターゲット機器またはシャーシの着地面を別の方法で位置合わせすることにより、少なくとも1回の第2の位置合わせを実行することと、(h)第2の位置合わせを達成するために必要な、XYZ軸(複数可)の周囲などの基準シャーシデータポイントクラウドの任意の回転(複数可)を決定することと、(i)平行移動(複数可)および/または回転(複数可)を使用して、コンテナ荷役機器の動作基準系内の現在のターゲット機器またはシャーシの実際の配向を推定することと、を含む、方法である、態様23も含む。態様24は、少なくとも1回の第2の位置合わせの1回以上が、反復最近傍点技術を使用して実行される、態様23に記載の方法である。態様25は、現在のターゲット機器またはシャーシを表すデータポイントクラウドのノイズの多いデータが低減されるか、または除去されて、フィルタリングされた現在のターゲット機器またはシャーシポイントクラウドを提供する、態様23または24に記載の方法である。態様26は、フィルタリングされた現在のターゲット機器またはシャーシポイントクラウドの最大および最小測定点が、現在のターゲット機器またはシャーシの着地面の中心を推定するために使用される、態様23〜25のいずれか一項に記載の方法である。
本発明の特定の実施形態は、ターゲット機器またはシャーシの位置および配向に従って、ISO輸送コンテナのターゲット機器またはシャーシ上の着地位置を識別する方法であって、(a)コンテナ荷役機器の基準系に配列されている現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、(b)基準ターゲット機器またはシャーシ着地面のポイントクラウドモデルを、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルと位置合わせすることと、(c)位置合わせの結果として、基準系内に一連の座標を生成し、これにより、座標が、現在のターゲット機器またはシャーシの着地面にISO輸送コンテナを配置するための着地位置を表すことと、を含む、態様27も含む。態様28は、位置合わせが、基準ターゲット機器またはシャーシ着地面を、コンテナ荷役機器の基準系の予想される位置および配向で位置づけること、を含む、態様27に記載の方法である。態様29は、位置合わせが、(a)現在のターゲット機器またはシャーシポイントクラウドモデル内の現在のターゲット機器またはシャーシの着地面の第1の中心を決定することと、(b)基準ターゲット機器またはシャーシポイントクラウドモデル内の基準ターゲット機器またはシャーシの着地面の第2の中心を決定することと、(c)第1および第2の中心を位置合わせすることにより、進路位置合わせを取得することと、(d)現在のシャーシポイントクラウドモデルの対応する点と基準シャーシポイントクラウドモデルの点との間の距離を反復的に最小化することにより、精密な位置合わせを取得して、精密な位置合わせに到達することと、を含む、態様27または28に記載の方法である。態様30は、距離を反復的に最小化することが、反復最近傍点(iterative closest point:ICP)アルゴリズムを含む、態様27〜29のいずれか一項に記載の方法である。
本発明の実施形態の特定の態様は、ISO輸送コンテナを保持できるターゲット機器またはシャーシのタイプを識別する方法であって、(a)現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、(b)現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを1つ以上の基準ターゲット機器またはシャーシ着地面と比較して、どの基準ターゲット機器またはシャーシ着地面が、選択された一致度内で現在のターゲット機器またはシャーシ着地面に一致するかを識別することか、または、(c)現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを分析して、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルが関連付けられているターゲット機器またはシャーシのタイプを識別することと、を含む、方法を含む、態様31も含む。態様32は、ニューラルネットワークおよび基準ターゲット機器またはシャーシ着地面のサンプルを使用して、一致するターゲット機器またはシャーシクラウドが何であるかをニューラルネットワークに教育することをさらに含む、態様31に記載の方法である。態様33は、比較が、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデル、および基準ターゲット機器またはシャーシ着地面のポイントクラウドモデルのうちの1つ以上から取得したメタデータを比較することを含む、態様31または32に記載の方法である。態様34は、比較することおよび/または分析することが、現在のターゲット機器またはシャーシ着地面と基準ターゲット機器またはシャーシ着地面のうちの1つ以上との間、かつ/または、現在のターゲット機器もしくはシャーシ着地面と既知のターゲット機器またはシャーシ着地面との間の表面特性における類似性または差異を識別するように実行される、態様31〜33のいずれか一項に記載の方法である。態様35は、比較することおよび/または分析することが、(a)連続または不連続面と、(b)データ異常と、(c)着地面特徴のタイプと、(d)ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの1つ以上の着地面特徴の有無と、(e)同様の着地面特徴に対して、もしくは互いに対して、もしくは別の基準点に対して、ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの1つ以上の着地面特徴の間隔と、(d)ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの着地面特徴の実際の、もしくは相対的な形状、寸法(複数可)、および/もしくはサイズと、ならびに/または、(e)ベンド、ステップダウン、ワーピング、および/もしくはランプなどの1つ以上の着地面プロファイルの1つ以上の特性か、またはこれらのうちの1つ以上の組み合わせと、のうちの1つ以上を識別するように実行される、態様31〜34のいずれか一項に記載の方法である。態様36は、メタデータが、ボクセルフィルタから取得される、態様31〜35のいずれか一項に記載の方法である。態様37は、ボクセルフィルタが、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルおよび/または基準ターゲット機器またはシャーシ着地面のポイントクラウドモデルのうちの1つ以上を、それぞれが3D空間をカバーする一連のボックスとして分析するように動作する、態様31〜36のいずれか一項に記載の方法である。態様38は、メタデータが、(a)各ボックス内のいくつかのポイントか、(b)X−Y平面のボックスのそれぞれの最大Z座標値か、または、(c)特定のボックスが占有されているかどうか、を含む、態様31〜37のいずれか一項に記載の方法である。態様39は、メタデータが、(a)バイナリ類似性比較か、(b)クラウドポイントモデル(複数可)のX−Y平面において視認可能なポイントを有するボックスの数に基づくなどして、クロスメンバおよびそれらの場所を探すことか、(c)シャーシの長さに沿って最大値を測定し、特定のシャーシを定義する、それらの対象の最大値オブジェクトを呼び出すことか、(d)またはこれらのうちの1つ以上の組み合わせ、によって比較される、態様31〜38のいずれか一項に記載の方法である。態様40は、バイナリ類似性比較が、基準ターゲット機器またはシャーシ着地面のポイントクラウドモデルからのメタデータから、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルからのメタデータを差し引いて、各比較のエラーに到達することを含む、態様31〜39のいずれか一項に記載の方法である。態様41は、メタデータが、バイナリ列比較によって比較される、態様31〜40のいずれか一項に記載の方法である。態様42は、バイナリ列比較が、(a)前在のターゲット機器またはシャーシ着地面に関して、かつ、各基準ターゲット機器またはシャーシ着地面に関して、各列の占有ボックスの数を合計して、一連の列合計に到達することと、(b)現在のターゲット機器またはシャーシ着地面と各基準ターゲット機器またはシャーシ着地面との間で一連の列合計を比較して、各比較のエラーに到達することと、を含む、態様31〜41のいずれか一項に記載の方法である。
本発明の実施形態の特定の態様は、オブジェクトを着地面に着地させる方法であって、(a)ターゲット機器またはシャーシを走査することと、(b)ターゲット機器またはシャーシのモデルを提供することと、(c)モデルを1つ以上の基準機器またはシャーシと比較することと、(d)1つ以上の基準機器またはシャーシのどれが、選択された一致度内でターゲット機器またはシャーシに一致するかを識別することと、(e)一致する基準機器またはシャーシ上の既知の着地場所の高さをプロキシとして使用して、ターゲット機器またはシャーシ上のターゲット着地場所の高さを決定することと、(f)オブジェクトまたはコンテナをある速度で降ろすことによって、オブジェクトまたはコンテナをターゲット着地場所に着地させることと、次いでプロキシによって決定されたとおり、オブジェクトまたはコンテナがターゲット着地場所の高さに近づくにつれて速度を下げることと、を含む、方法である、態様43も含む。態様44は、オブジェクトまたはコンテナが、ISO輸送コンテナである、態様43に記載の方法である。態様45は、走査することが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせのうちの1つ以上を使用して実行される、態様43または44に記載の方法である。態様46は、ターゲット機器またはシャーシおよび前記基準機器またはシャーシのモデルが、データの3Dポイントクラウドによって表される、態様43〜45のいずれか一項に記載の方法である。態様47は、比較することが、ターゲット機器またはシャーシの長さの指定された範囲内の長さを有する1つ以上の基準機器またはシャーシを識別すること、および/あるいは、ボクセルフィルタを使用して基準機器またはシャーシとターゲット機器またはシャーシとの間の類似性を識別すること、を含む、態様43〜46のいずれか1項に記載の方法である。態様48は、ボクセルフィルタが、3Dデータクラウドの1つ以上の次元にわたってデータを比較する、態様43〜47のいずれか一項に記載の方法である。態様49は、ボクセルフィルタが、x−、y−、および/またはz−値の任意の組み合わせを比較する、態様43〜48のいずれか一項に記載の方法である。
本発明の実施形態の特定の態様はまた、ISO輸送コンテナをターゲット機器またはシャーシ上に着地させる方法であって、(a)コンテナ荷役機器の基準系に配列されている現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、(b)基準機器またはシャーシ着地面のポイントクラウドモデルを、現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルと位置合わせすることと、(c)位置合わせの結果として、基準系内に一連の座標を生成することであって、座標が、現在のターゲット機器またはシャーシの着地面にISO輸送コンテナを配置するための、そのターゲット着地場所、およびその高さを表す、生成することと、(d)ISO輸送コンテナをある速度で降ろすことによって、ISO輸送コンテナを現在のターゲット機器またはシャーシの着地面に着地させることと、次いでISO輸送コンテナがターゲット着地場所の高さに近づくにつれて速度を下げることと、を含む、方法である、態様50を含む。態様51は、位置合わせが、基準装置またはシャーシ着地面を、コンテナ荷役機器の基準系の予想される位置および配向で位置づけることを含む、態様50に記載の方法である。
本発明の実施形態の特定の態様は、ISO輸送コンテナを着地させる方法であって、(a)ターゲット機器またはシャーシの着地面のポイントクラウドモデルを取得することと、(b)ターゲット機器またはシャーシ着地面のポイントクラウドモデルを1つ以上の基準機器またはシャーシ着地面と比較して、どの基準機器またはシャーシ着地面が、選択された一致度内でターゲット機器またはシャーシ着地面に一致するかを識別することか、または、(c)ターゲット機器またはシャーシ着地面のポイントクラウドモデルを分析して、ターゲット機器またはシャーシ着地面のポイントクラウドモデルが関連付けられている機器またはシャーシのタイプを識別することと、(d)ターゲット機器またはシャーシの着地面の少なくとも高さを決定することと、(e)ISO輸送コンテナをある速度で降ろすことによって、ISO輸送コンテナをターゲット機器またはシャーシの着地面に着地させることと、次いでISO輸送コンテナがターゲット機器またはシャーシの着地面の高さに近づくにつれて速度を下げることと、を含む、方法である、態様52を含む。
本発明の実施形態の特定の態様は、オブジェクトまたはコンテナを着地面に着地させる方法であって、(a)基準機器またはシャーシを表すデータポイントクラウドを提供することと、(b)ターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、(c)基準機器またはシャーシデータポイントクラウドを、コンテナ荷役機器の動作基準系内の予想される仮想位置に位置づけることと、(d)基準機器またはシャーシの着地面の第1の中心およびターゲット機器またはシャーシの着地面の第2の中心を、それらのそれぞれのデータポイントクラウド内で推定することと、(e)第1の中心を第2の中心と位置合わせすることによって、第1の位置合わせを実行することと、(f)XYZ座標などで、第1の中心の場所から第2の中心の場所への、第1の位置合わせを達成するために必要な任意の平行移動(複数可)を決定することと、(g)基準機器またはシャーシの着地面とターゲット機器またはシャーシの着地面を別の方法で位置合わせすることにより、少なくとも1回の第2の位置合わせを実行することと、(h)第2の位置合わせを達成するために必要な、XYZ軸(複数可)の周囲などの基準シャーシデータポイントクラウドの任意の回転(複数可)を決定することと、(i)平行移動(複数可)および/または回転(複数可)を使用して、ターゲット機器またはシャーシの実際の高さを推定することと、(j)オブジェクトまたはコンテナをある速度で降ろすことによって、オブジェクトまたはコンテナをターゲット機器またはシャーシの着地面に着地させることと、次いでオブジェクトまたはコンテナがターゲット機器またはシャーシの着地面の高さに近づくにつれて速度を下げることと、を含む、方法である、態様53を含む。態様54は、オブジェクトまたはコンテナが、ISO輸送コンテナである、態様53に記載の方法である。
本発明の実施形態の特定の態様は、(a)コンテナ荷役機器と、(b)コンテナ荷役機器の上または近くに配置された1つ以上の測定デバイスと、(c)1つ以上のプロセッサと、(d)態様1〜54のいずれか一項に記載の方法を実行するために、1つ以上のプロセッサに命令するように構成された一連のコンピュータ実行可能命令を含むメモリと、を備える、システムである、態様55も含む。態様56は、メモリが、非一時的なコンピュータ可読記憶媒体に格納される、態様55に記載のシステムである。態様57は、1つ以上の測定デバイスが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらのうちの1つ以上の組み合わせを備える、態様55または56に記載のシステムである。態様58は、コンテナ荷役機器が、(a)モーションコントロールシステムと、(b)スプレッダなどのコンテナ持ち上げ装置と、を備える、態様55〜57のいずれか一項に記載のシステムである。態様59は、1つ以上の測定デバイスが、コンテナ荷役機器またはその可動部分に配置される、態様55〜58のいずれか一項に記載のシステムである。
本発明の付加的な実施形態および態様は、前述の詳細な説明で明らかになるであろう。
添付の図面は、本発明の実施形態の特定の態様を示しており、本発明を限定するために使用されるべきではない。書かれた説明とともに、図面は本発明の特定の原理を説明するのに役立つ。
積み降ろしされたAGVの図である。 ISO標準コンテナで積み込みおよび積み下ろしされた爆弾カートの図である。 ISO標準輸送コンテナ(40フィート)の図である。 コンテナクレーンの図である。 コンテナクレーンの図である。 ISO標準コーナキャスティングの図である。 (積み降ろしされた)ロードシャーシの図である。 本発明の一実施形態による、陸側移送ゾーンにおけるロードシャーシのポイントクラウドのレンダリングである。 40フィートの位置にあるスプレッダの図である。 ツイストロックの図である。 本発明の一実施形態による、システムトポロジの図である。 本発明の一実施形態による測定デバイス構成の図である。 陸側移送ゾーンの斜視図を示す画像である。 陸側移送ゾーンの図である。 シャーシのスタイルの変動を示す図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 シャーシ上面図を示す図である。 シャーシ側面図を示す図である。 シャーシの状態および変動を示す画像である。 シャーシの状態および変動を示す画像である。 本発明の一実施形態による、例示的な動作手順のフローチャートである。 位置が既知である、コンテナを有するシャーシの図である。 積荷位置が既知である、シャーシの図である。 本発明の一実施形態による、前部コンテナオフセットの決定を示す図である。 本発明の一実施形態による、前部コンテナオフセットを備えたシャーシの図である。 本発明の一実施形態による、後部コンテナオフセットの決定を示す図である。 本発明の一実施形態による、前部オフセットおよび後部オフセットを有するシャーシの図である。 本発明の一実施形態による、係合および検出された40フィートのツイストロックを備えたシャーシの図である。 本発明の一実施形態による、検出されたツイストロックおよびコンテナのターゲットの場所/配向を有するシャーシの図である。 シャーシ変動を示す図である。 シャーシ変動を示す図である。 シャーシ変動を示す図である。 本発明の一実施形態による、シャーシのモデルクラウドの図である。 本発明の一実施形態による、現在のシャーシの走査クラウドの図である。 本発明の一実施形態による、バイナリ類似性比較の図である。 本発明の一実施形態による、バイナリ列比較の図である。 本発明の一実施形態による、レーンにおける予想されるシャーシ位置を示す図である。 本発明の一実施形態による、予想される位置でのモデルクラウドの図である。 本発明の一実施形態による、レーンにおけるの実際のシャーシ位置の図である。 本発明の一実施形態による、レーンに駐車された実際のシャーシからサンプリングされたデータを示す図である。 本発明の一実施形態による、レーンに駐車された実際のシャーシからサンプリングされたデータを示す図である。 本発明の一実施形態による、理想的な場所におけるモデルクラウドおよび実際の位置における現在のデータクラウドの図である。 本発明の一実施形態による、モデルクラウドと実際のクラウドの初期の大まかな位置合わせを示す図である。 本発明の一実施形態による、ICP(反復最接近点)後の最終位置合わせを示す図である。 典型的な陸側移送ゾーンを示す画像である。 本発明の実施形態による、ツイントゥエンティースが積み込まれたシャーシの生データを示すレンダリングである。 本発明の実施形態による、ツイントゥエンティースが積み込まれたシャーシのフィルタリングされたデータを示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。
次に、本発明の様々な例示的な実施形態を詳細に参照する。例示的な実施形態の以下の説明は、本発明に対する限定を意図するものではないことを理解されたい。むしろ、以下の議論は、読者に本発明の特定の態様および特徴のより詳細な理解を与えるために提供される。
定義
無人搬送車両両(AGV):AGVは、ISOコンテナをポートの領域間で移送するように設計されたポート機器である。車両は上部からの積み込みおよび積み降ろしができるように設計されており、ローカルまたはリモートのいずれかのオペレータがいないセンサを使用してポートの周囲を移動する。積み降ろしされたAGVを示す例が図1に示されている。
ブロック/コンテナ格納領域/スタッキング領域/スタック(複数可):本文書では、ブロックは、コンテナ荷役クレーンがコンテナを積み重ねて輸送するコンテナ格納領域を表す用語である。
爆弾カート/カセット:コンテナターミナルで標準輸送コンテナを移送することを目的として設計および製造されたトラックシャーシ(トレーラー)。これらには通常、コンテナのロック機構はない。ISO標準コンテナが積み降ろしおよび積み込みされた爆弾カートを示している、例が図2に示されている。ISO標準輸送コンテナ(40フィート)の例を図3に示す。
ブース/ドライバブース:本文書では、ブースは、クレーンの動作中にトラックのドライバまたは機器のオペレータがいる必要がある、陸側移送ゾーンの各レーン内の指定された場所、多くの場合筐体である。
コンテナ/ボックス/リーファー/タンク/フラットラック:ISO標準で定義されている輸送コンテナ。国際および国内輸送で使用されるコンテナ。標準の長さには、20、40、45フィートが含まれるが、これらに限定されない。また、金属製の波形の壁のコンテナだけでなく、様々なタイプのコンテナが標準に含まれている。
コンテナクレーン/コンテナ荷役クレーン:例えば、コンテナが船から岸のポートに移送される場合、コンテナが格納領域内で移動される場合、または、コンテナがコンテナターミナルまたはレイルヤードにおいて、トラックに、もしくはトラックから移送される場合、輸送コンテナを移動させるために使用されるクレーン。コンテナクレーンの例を図4A〜Bに示す。
コンテナ荷役機器(Container Handling Equipment:CHE):ターミナルの周囲でコンテナを処理し、輸送するために設計された任意の機器。ほとんどの場合、これはいくつかの種類のクレーンであるが、トップピッカー、ストラドルキャリアまたは類似のものなどの機器を含めることもできる。通常、このクラスの機器は、コンテナを垂直に持ち上げて配置することができる。
コーナキャスティング/キャスティング/コーナフィッティング:ISO標準で定義されたコーナキャスティング。コンテナの8つのコーナのそれぞれにある標準的な機械的固定具で、コンテナを積み重ね、ロックし、移動させることができる。ISO標準コーナキャスティングの例が図5にある。
6DoF/6自由度:6自由度は、対応する配向のXYZ位置を指し、これはつまり、これらの各軸XYZを中心とした回転であり、一般にトリム、リストおよびスキューと称される。
クレーンの動作基準系/クレーン座標/世界座標:これは、原点を含む座標系を指す。原点では、クレーンの自動運動および調整システムが機能する。これは、多くの場合、各デカルト方向のミリメートル/メートル数と相関する。クレーンのスプレッダに関するいくつかの特定のポイントは、クレーンヤード内の所定の調査済みの場所からのものである。本明細書の用途では、クレーン座標と世界座標は同一である。
陸側移送ゾーン(Landside Transfer Zone:LSTZ):本文書では、陸側移送ゾーンはコンテナ荷役クレーンの整備領域の一部であり、そこにはロードシャーシ用のレーンが存在し、他のポート機器はコンテナを積むか、または降ろすいずれかの際にクレーンによって整備されるようになる。
レーン:本文書では、レーンとは、コンテナ荷役機器がクレーンによって整備されるために駐車する領域を指す。
測定デバイス:本明細書で言及される「測定デバイス」は、ある原点についてのデカルト座標として表すことができる測定点を生成することができる任意の方法のデバイスを指す。測定デバイスには、カメラ、LiDAR、ソナー、光学センサなどが含まれるが、これに限定されず、これらのいずれも、3D(三次元)測定点を生成するために利用することができる。
測定点/走査点/3Dデータ:これらの用語はすべて、測定デバイスによって測定された点の収集を指し、クレーンの動作基準系内のデカルト座標として存在する。これらの機能を説明するために、モデルクラウドおよび/またはポイントクラウドという用語が使用されることもある。
モデル/テンプレート:モデルは、モデルクラウドおよび、システムに所与の機器の着地場所を「教育する」ときに決定される、そのそれぞれの相対的な着地場所をすべて含むオブジェクトとして定義される。
モデルクラウド:モデルクラウドは、高解像度で高密度にサンプリングされた測定点のセットであり、本開示の文脈では、コンテナを受け入れる任意の機器を表すことができる。実施形態では、クラウドは、着地面のみにフィルタリングすることができ、着地面を分類し、機器のどこにコンテナを配置するかについて着地ソリューションを提供するのに十分な着地面に関するメタデータを解析することができる。
ロードシャーシ:標準輸送コンテナをコンテナターミナルの外の道路に移送させることを目的として設計および製造されたトラックシャーシ(トレーラー)。これらのシャーシは通常、ISO標準の位置に、運搬するように設計されている、対応するサイズのコンテナ用にツイストロックを有する。(積み降ろしされた)ロードシャーシの例が図6にある。
ポイントクラウド:ポイントクラウドは、座標系の3Dデータポイントの収集を指すために使用される用語である。図7は、陸側移送ゾーンにおけるロードシャーシのポイントクラウドのレンダリングの例を示している。クラウドという用語は、ポイントクラウドを指す場合にも使用することができる。
スプレッダ/フック/(スプレッダ)バー:スプレッダは、ISOコンテナにロックしてクレーンがコンテナを移動することができるようにするデバイスである。40フィートの位置にあるスプレッダの例を、図8に示す。
トラックレーン:トラックレーンは、整備を受けるトラックが駐車する陸側移送ゾーンのレーン、または、トラックがクレーンで整備されているブロック内のコンテナのスタックに隣接するブロックの長さに沿って走るクレーンの下のレーンのいずれかである。
ツイストロック:ツイストロックは、コーナキャスティングの穴の内側に配置され、次いで、デバイスの上部を90度回転させることで係合するように設計されたデバイスである。このデバイスは、コンテナのコーナキャスティングを別のオブジェクトに固定するために使用される。ツイストロックの例を図9に示す。
ボクセルグリッド:ボクセルグリッドはボクセルフィルタの結果であり、ボクセルフィルタは、ポイントクラウドを取得して、それをクラウドが占める3D空間をカバーする一連のボックスとして分析する。各「ボックス」は通常同一のサイズであり、構成可能なパラメーターである。クラウドからの点は、(x、y、z)座標値に基づいて各ボックスにグループ化され、次いで、各ボックスに関するデータは配列、すなわちボクセルグリッドに格納される。
本発明の物理的構成
一実施形態によると、本発明の物理システムは、少なくとも3つの主要コンポーネントから構成される。第1のコンポーネントは、センサの視野内の物理オブジェクトの測定点を生成し、それらを他のコンポーネントに報告できる測定デバイス(複数可)である。第2のコンポーネントは、測定デバイス(複数可)を駆動し、着地位置を生成するために複数の測定点の分析を実行する本発明のソフトウェアプログラムコンポーネントを実行するために使用できる単数または複数のコンピューティングデバイスである。システムの最後のコンポーネントは、コンピューティングデバイス(複数可)によって提供された着地位置を使用してコンテナの着地を実行するデバイス、すなわち、いくつかのコンテナ荷役機器である。
図10は、本発明の一実施形態による例示的なシステムトポロジを示す。図の左上のボックスは、プログラマブルロジックコントローラ(PLC)、2つの中央処理装置/プロセッサ(Maxview(登録商標)CPUおよびMaxview4D(商標)CPU)、ソフトウェア(CraneDirector(商標))およびクレーン管理システム(CMS)コンピュータを含むサブステーションであるEハウス(または電気ハウス)を示す。これには、プロセッサ、メモリ、ハードドライブ、グラフィックス処理装置(GPU)などの従来のコンピュータ機能、ならびに米国特許第8,686,868号および同第7,725,287号に記載されているシステムおよび方法などの、ディスプレイ、キーボード、マウスなどの入力/出力デバイスが含まれる。Eハウスの右側のボックスはクレーンの脚を表しており、LiDARセンサ(LMS6)と左右のガントリモータが含まれている。Eハウスとクレーンの脚の下のボックスは、トロリを表している。トロリには、一連のLiDARセンサ(LMS1−LMS5およびLMS7)、トロリ固定カメラおよびトロリパンチルトズーム(PTZ)カメラが含まれている。トロリには、1つ以上のホイストモータおよび1つ以上のトロリモータも含まれる。右下のボックスは、スプレッダを表しており、スプレッダには、一連のスプレッダカメラおよび1つ以上のマイクロモーションモータが含まれている。さらに、動作可能な接続の様々な経路を以下に示す。黒い線は、クレーンの動きとフィードバックを制御する様々な経路を表している。濃い灰色の線は、リモートオペレーティングシステム(ROS)、ターミナルオペレーティングシステム(TOS)、およびリモートクレーン管理システム(RCMS)などの中央ロケーションデバイスへの接続に最終的に流れる監視ネットワークの一部としての様々な監視経路を表す。示されているように、薄い灰色の線はコンポーネント間の様々な制御経路を表している。
図10に示されていないのは、本開示に記載されている方法のいずれかを実行するようにプロセッサに命令するコンピュータ実行可能命令(ソフトウェア)のセットを格納するRAMなどの非一時的なコンピュータ記憶媒体である。本明細書の文脈で使用される場合、「非一時的なコンピュータ可読媒体(複数可)」は、磁気記憶媒体、光記憶媒体、不揮発性メモリ記憶媒体、および揮発性メモリを含む、あらゆる種類のコンピュータメモリを含み得る。非一時的なコンピュータ可読ストレージ媒体の非限定的な例には、フロッピーディスク、磁気テープ、従来のハードディスク、CD−ROM、DVD−ROM、BLU−RAY、フラッシュROM、メモリカード、光学ドライブ、ソリッドステートドライブ、フラッシュが含まれる。ドライブ、消去可能なプログラム可能な読み取り専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、不揮発性ROM、およびRAMが含まれる。非一時的コンピュータ可読媒体は、オペレーティングシステムを提供するためのコンピュータ実行可能命令のセット、ならびに本発明の方法を実装するためのコンピュータ実行可能命令またはソフトウェアのセットを含むことができる。コンピュータ可読命令は、JavaScript、C、C#、C++、Java、Python、Perl、Ruby、Swift、Visual Basic、Objective Cを含む任意の適切なプログラミング言語でプログラムできる。
実施形態によると、システムは、様々な方法で構成することができる。第1の構成では、すべての測定デバイスがクレーンに取り付けられており、すべての測定値がクレーンの動作基準系で報告される。クレーン自体に取り付けられた少なくとも1つの測定デバイスが、クレーンの動作基準系内の測定点を報告し、任意の基準系内のクレーン報告測定点内に取り外された他の測定デバイスを有する第2の構成が存在する。実施形態では、測定収集段階のある時点、ない時点、任意の時点、またはすべての時点で、すべての、少なくとも1つの、1つ以上の、またはまったくない測定デバイスを配置して、ターゲット機器の着地面などのターゲット機器およびコンテナ荷役機器の下に配列された表面のほとんど妨げられない視野を得ることができる。例えば、測定デバイスの収集は、着地面の完全な、またはほぼ完全な視野を一緒に提供することができる。図11は、様々なLiDARセンサ(LMS1、LMS2など)がクレーンに位置づけられた構成を示している。
実施形態によると、第3のコンポーネント、本明細書で説明されるシステムによって生成される着地位置を使用するものとして本開示で言及される一次デバイスは、一種のCHEである。一実施形態によると、特定のCHEタイプは、20フィート、40フィート、および45フィートのISO標準輸送コンテナを移動させるレール取り付けガントリ(RMG)クレーンまたは自動スタッキングクレーン(ASC)である。しかしながら、本開示で概説されるシステムは、必ずしもこのタイプのCHEでのみ動作することに限定されない。システムが動作する可能性のある他のタイプのCHEには、Ship−to−Shoreガントリクレーン、ゴム製タイヤガントリクレーン、ストラドルキャリア、フロントエンドローダ、リーチスタッカ、ポータナなどが挙げられる。
実施形態では、システムは、それ自体の場所を報告するためにクレーンに依存し、クレーンの配置に関して既知であるクレーン上の測定デバイスの配置に依存して、クレーンの基準系内の1つの共通点に関するオブジェクトの測定点を報告する。クレーン上にない任意の測定デバイスの配置は、必ずしもクレーンに関して既知である必要はない。このシステムは、オブジェクトが、測定デバイスに対して視認可能であるように、(シャーシまたは他の機器上で)動作すること、およびオブジェクトがクレーンの動作領域内に存在することに依拠している。
本発明の動作/機能
実施形態によると、使用されるシステムおよび方法の動作が、以下に定義される。
以下に、本発明の一実施形態による動作手順を説明する。
1.クレーンは、いくつかのターゲットシャーシに積荷を着地させるジョブ要求を受け取る。
2.クレーンが一般的なターゲット場所に移動する:
クレーン運動の持続時間中、システムは測定点を収集し、それらをポイントクラウドに連結して、クレーンの下のシーンの視野、好ましくはクレーンの下の完全なシーンを取得するが、部分的なシーンを取得することもできる。このシステムは、特定の用途のために所望されるシーンの量を取得するために戦略的に配置された1つ以上の、好ましくは複数のセンサを備えている。測定点は、1つ以上の測定デバイス、好ましくはクレーンの周囲に取り付けられた複数の測定デバイスから取得され、測定点は、クレーンの動作基準系内の3Dポイントまたは外部デバイスの外部座標系としてシステムに報告される。
3.有効なジョブ:
次いで、システムはシーン(ポイントクラウド)を分析して、ジョブが有効かどうかを判断する。システムは、シャーシ、コンテナ、原動機、障害物などを探し、陸側のアイテムおよび場所がジョブ要求と一致しているかどうか、また、(障害物がない状態で)動作できることを判断する。
4.モデルを選ぶ:
a.システムに既知のシャーシ変数のカタログが装備されている場合、現在のシャーシポイントクラウドデータを処理し、既知の変数と比較して最適なものを見つける。結果的に、そのクラウドの中心からのターゲットオフセットを持つモデルのポイントクラウドがもたらされる。「相対的な着地位置の作成:システムの教育」を参照されたい。
b.システムにシャーシの高解像度データを提供する1つ以上の追加センサが装備されている場合、システムは高解像度データを処理して、クラウドの中心からのターゲット着地オフセットを決定する。結果的に、そのクラウドの中心からのターゲットオフセットを持つモデルのポイントクラウドがもたらされる。「相対的な着地位置の作成:高解像度での表面特徴の分析」を参照されたい。
5.着地ソリューションの生成を実行する:
次いで、クレーンの動作座標系の「着地面の積荷に対する着地ソリューションの生成方法」セクションで説明されている方法を使用して、システムがシャーシの着地面とうまく噛合するようにどこにコンテナを配置するかに関する着地ソリューションを生成する。
6.次いで、クレーンの調整システムは、スプレッダ/スプレッダとコンテナのコンボを要求された場所に移動させる。
上記の部分4および5は、本開示で説明されている手順の一部を参照している。
本発明の一実施形態による動作手順のフローチャートを図20に示す。プロセス200は、ジョブ開始205が要求されたときに開始する。次いで、システムは3Dデータポイントを収集し210、これらのポイントからシャーシ面を抽出する215。この時点で、システムはシャーシが存在するかどうかを判断する220。シャーシが存在しないとシステムが判断した場合、次いで、プロセスはソリューションなしで終了する225。シャーシが存在するとシステムが判断した場合、システムはモデルライブラリにクエリを実行し、シャーシが対応するシャーシをモデルライブラリに有するどうかを判断する230。モデルライブラリがある場合、システムはまず表面をボクセルグリッドに分割する235。次いで、システムはボクセルグリッドを既存のモデルボクセルグリッドと比較する240。次いで、システムは、シャーシの同様のモデルがあるかどうかを判断する245。シャーシの同様のモデルがない場合、プロセスはソリューションなしで終了する250。
モデルライブラリがない場合、システムは高解像度ライブデータからモデルクラウドを取得する255。次いで、システムは、シャーシ面を抽出し260、ターゲット機器を処理して、オブジェクトとの噛合またはターゲット機器の着地面上のオブジェクトの着地に関連する可能性のある構造を識別する。この実施形態では、システムはシャーシを処理して、ツイストロックおよび対応するコンテナの場所を識別する265。このステップの後、システムは抽出されたシャーシとローカライズされたターゲットコンテナの場所をモデルクラウドとして取得し270、モデルは、将来の参照のためにモデルライブラリに含めることができ230、かつ/または、反復最近傍点(ICP)分析などにおける将来の分析に使用され得る。
次いで、類似したモデルがある場合、またはシステムが抽出されたシャーシとローカライズされたターゲットコンテナの場所をモデルクラウドとして取得すると、システムは現在のシャーシ視野と選択されたモデルとの間の最適な位置合わせを見つける275。次いで、システムは、中心に着地しない場合、モデルの中心からの任意のオフセットを適用する280。次いで、システムは変換をソリューションとして報告し、プロセスは完了する285。
着地面分析の方法
実施形態によると、着地面分析に使用される方法は、以下の段階で完了する。
1.相対的な着地位置を作成する。2つのオプション:
A.将来の参照用に、コンテナを配置する場所をシステムに教育し、格納されたモデルのポイントクラウドを作成する。
B.任意選択的に高解像度で、着地面特徴を分析し、その場でモデルのポイントクラウドを作成する。
2.現在の着地面で使用するモデルのポイントクラウドおよび相対的な着地位置を把握する。
相対的な着地位置の作成:システムの教育
実施形態では、「教育」は、クレーンおよびセンサ(測定デバイス)を使用して、クレーンの動作基準系内の着地面上の積荷の場所を決定し、次いで、積み降ろされたシャーシのスーパーサンプリングされた測定点のセットを収集し、2つの情報をシステムに保存するプロセスである。
実施形態によると、システムは、ツイストロックの正確な場所、または着地面の任意の他の特徴を知る必要がなく、機器のコンテナに有効な着地ソリューションを提供する。システムは、着地面上のいくつかの共通点に関して、ツイストロックと適切に噛合するように(着地面にそれらがある場合)、または、コンテナが表面上で適切に静止するように、コンテナをどこに配置するかを知る必要があるだけである。次のセクションでは、所与のロードシャーシの着地場所を決定するためのプロセスの概要を説明するが、コンテナまたは任意の他のオブジェクトを受け入れることができる着地面を有する他の形式の機器にも同じプロセスを適用できる。着地面には、プロセスを適用し続けるためにツイストロックを有するが必要ない。
一実施形態では、任意の所与の着地面上のどこにコンテナを配置するかをシステムに「教育する」プロセスは、コンテナを正しく、かつ正確に配置した状態で、シャーシをクレーンの下の静止位置に配置することによって始まる。コンテナが着地面の所望の場所に慎重に配置された後、システムは、クレーンの動作基準系内のコンテナの正確な場所を生成する(例えば、図21を参照されたい)。この場所は、コンテナの位置がクレーンの動作基準系内で正確にわかっている場合は、どのような方法でも取得できる。しかしながら、最も一般的には、システムは、クレーンの上または近くに配置された測定デバイス(複数可)を使用して、コンテナの場所を生成する。これを行うには、クレーンがコンテナの上部を移動するときに、システムが1つ以上の測定デバイスから測定点を収集し、クレーンの動作基準系でデカルト座標として報告され、コンテナの上部を表す複数の測定点を生成する。次いで、システムはこの測定点のセット(例えば、ポイントクラウド)を処理して、クレーンの動作基準系内のコンテナの正確な場所を生成する(図21)。
実施形態では、輸送コンテナは、それらの幅、高さ、および長さに関してISO標準(ISO668)で十分に定義されているので、この場所は、比較的容易に正確に生成することができる。通常、ISO標準では、輸送コンテナの以下のおおよその外形寸法が規定されている。
表1:ISOコンテナの仕様
データ処理の観点からは、コンテナ自体は長方形のボックスである。コンテナの一般的な位置は既知であり、その特性は明確に定義されているため、6自由度(6DoF)でのコンテナの位置の計算は、モデルマッチング、ライン抽出、平面フィッティングなどで実行できる。
実施形態によると、コンテナの正確な位置が決定されると、次いで、コンテナは、着地面の場所または配向を乱さないように、シャーシの着地面から慎重に取り除かれる。続いて、上記のプロセスと同様に、クレーンが空のシャーシの上部を移動すると、システムは、クレーンの動作基準系でデカルト座標として報告される測定点を、クレーン上または近くに配置された1つ以上の測定デバイスから収集し、着地面の形状を表す複数の測定点(例えば、ポイントクラウド)を生成する。しかしながら、この段階では、非常にゆっくりとなど、オブジェクトの表面上で1回クレーンを動かすか、非常に密度の高い測定点のセットを作成するような方法で複数回クレーンを動かすことができる。クレーンの下の領域の既知の構成に関する、また、推定された着地面の高さの情報を使用して測定点をフィルタリングすると、次いで、システムは、図15A〜Cのように、着地面のみを表す点を抽出する。抽出された点は、次いで、着地面の「モデル」としてシステムに保存される。このモデルクラウドとともに、以前に抽出されたコンテナの位置が、図22のようにシステムに保存される。クレーンの動作基準系に存在する測定点の収集として今は保存されたモデルクラウド、および、同じ基準系内の座標として今は保存されているコンテナの既知の位置を使用して、システムは、コンテナがこの着地面に配置されるべき正確な場所を把握し得る。
実施形態では、この時点で、システムは、コンテナが着地面に配置されるべき既知のターゲット位置を有する着地面の3Dポイントクラウド「モデル」をそれ自体の中に格納している。このシステムのために、着地面が運搬することができる最大のコンテナの場所は、着地面の「中心」と見なされる。したがって、3Dモデルは、その座標中心(0,0,0)がシャーシが運搬することができる最大の適格なコンテナのターゲット場所になるようにシフトされる。これにより、シャーシの3Dポイントクラウドモデルに、最大の適格なコンテナ、つまり原点の既知のコンテナターゲット位置が残る。
実施形態によると、複数のサイズのコンテナの運搬をサポートするシャーシタイプの場合、所与の着地面について様々なサイズのコンテナの着地場所が知られるように、オフセットを決定して記録することができる。単一の着地面に対して複数の着地場所を作成するために、システムは、着地面上の適格な場所のそれぞれで着地したコンテナを一度に1つずつ分析し、上記と同じ方法で各コンテナの位置を決定する。システムは、第1の(最大の)コンテナからの後続の各コンテナの場所間の違いを取得し、その場所間の違いがシャーシの「中心」からのオフセットとして記録され、格納される。このプロセスの結果、他のすべての着地場所が、着地面で分析された第1のコンテナの着地場所に対して既知になる。そのようなオフセット決定の例は、図23〜26に示されている。
実施形態では、このプロセスの終わりに、システムは、着地面の少なくとも1つの「モデル」および、コンテナを配置するための、その表面の「中心」に対する位置を格納している。このプロセスは、任意の数のシャーシまたは他の機器に対して繰り返し、システムが動作する方法を知っているモデルのライブラリを生成することができる。
この方法の1つの付加的な利点は、正しく収集された場合、「教育」段階で収集されたデータは1つのクレーンに固有ではなく、任意のCHEに実装されたシステムで使用できることである。多くの場合、1つのシャーシについて収集されたモデルクラウドは、同じ「クラス」内の別のシャーシにも適用できる(主要な特徴を共有)。
相対的な着地位置の作成:高解像度での表面特徴の分析
実施形態によると、本発明のシステムはまた、着地面に非常に近い位置にあるクレーンから離れて配置された測定装置から得られたより高い解像度のデータを使用して、図27に示すように、ガイド、ターゲット、隆起したツイストロック、または陥凹したツイストロックなどのシャーシ上の主要な特徴を使用してコンテナの着地位置を見つけることができる。
これは、クレーンに取り付けられたデバイスが目的の着地面の機能モデルを作成するのに十分な詳細を提供できない状況や、他の要因により、「教育」が着地ソリューションを生成する信頼できる方法となるのを妨げる場合に必要になることがある。システムは、着地面の十分に近い場所に取り付けられた測定デバイスでシャーシを走査し、着地面の主要な特徴が区別可能な複数の測定点(例えば、ポイントクラウド)を生成し、それらを収集し、収集を分析するコンピューティングデバイスに、その点を報告して戻す。システムは、「教育」段階のように、測定点の収集を取得し、着地面のみをフィルタリングし、その後、シャーシのすべての区別可能な特徴を着地面に沿って調べ、それらをカタログ化する。システムは、極小値と極大値を使用してシャーシ面に沿って検索し、隆起し、陥凹したツイストロックの場所を決定し、可能性のあるすべての着地点の位置をカタログ化する。次いで、コンテナのコーナキャスティング場所についてのISO標準によって着地点の場所に課せられた幾何学的制約を使用して、システムは、最も適切な場所を見つけ、図28に示すように、コンテナの全体的な着地場所をそれらの数学的中心として報告する。使用できる他の技術には、モデルの畳み込みがある。数学的に言えば、畳み込みは「点ごとの乗算の積分」であり、畳み込みフィルターはレーダーなどでエコー信号の識別に使用される。畳み込みフィルターは、予想される形状(波、ツイストロックなど)の事前知識を利用して、その形状をノイズからより適切に区別するのに役立つ。
次いで、システムは、「教育」で行われるように、発見された表面の着地場所と着地面の測定点収集を取得し、2つの情報をそのローカル原点を全体の着地場所としてのモデルとして保存する。このモデルは、システムの長期記憶などに保存できるが、代わりに、またはさらに、着地ソリューションを生成する方法に直接渡すことができる。
使用する適切な測定点モデルを見つける
「相対的な着地位置の作成:システムの教育」セクションでは、それぞれの表面が受け入れることができる最大のコンテナの着地位置、および、表面が受け入れることができる他のすべてのコンテナの関連するオフセットを中心とした測定点の収集を作成して保存する方法を定義した。システムに複数のモデルが格納されると、所与の動作に適用する正しいモデルを選択する方法が必要になる。このセクションでは、所与の現在の測定点セットの選択動作を実行して、格納されているモデルの最良の適合一致を選択するためにシステムで実行される手順の概要を説明する。
実施形態によると、特定の機器に着地する方法をシステムに「教育する」方法が実行された後、システムは、少なくとも1つがクレーン自体に取り付けられている測定デバイスによって報告される測定点の収集によって表される着地面の分析を通じてその機器に関する情報を収集する。着地面の表現を取得し、それに関連する着地場所を見つけるプロセスは、上で説明されている。このプロセスは、機器の実際の着地動作を実行する前に、システムが動作することが期待される機器のクラスに属する各機器の少なくとも1つの表現に対して完了する。
クラスは、機器をグループに分類する属性の収集であり、特定のグループのすべてのメンバが同じまたは同様の着地位置を共有する。着地装置の場所や車軸の配置などの主に表面的な属性とは対照的に、クラスは通常、ガーダの場所や支持メンバなどの構造的な属性で構成されている。クラス内のオブジェクトの着地位置は同じでなければならない。一例は、図29A〜Cに見られるスケルトンシャーシである。図29A〜Cに示される3つのシャーシのうち、最も左のシャーシは単一のクラスにある。それらは両方とも、着地面で着地位置を共有する。これは、40フィートのコンテナ1つが前端と後端で同時にシャーシにロックするのに十分であり、これら2つのシャーシは40フィートのコンテナしか運搬することができない。第1および第2のシャーシは、全体的な形状が同じで、コンテナの積荷を支える主要なメンバはほぼ同じ場所にあるが、小さいクロスメンバは示すように異なる場所にあり、ホイールおよび着地装置は異なる。第3のシャーシは第2のクラスに属する。これは、初めの2つとは異なり、2つの20フィートのコンテナをシャーシに着地させることができ、単一の40フィートのコンテナ積荷を運搬することもできるためである。システムでは、第1または第2シャーシのいずれかの1つのモデルおよび、第3のシャーシの別のモデルが必要になる。
実施形態によると、ライブラリが、クレーンが整備することが期待される機器の各クラスの表現で満たされると、システムは、所与の現在のシャーシに対する適切な一致を見つけることができる。これを行う際に、クレーンが空のシャーシの上部を移動すると、システムは、クレーンの動作基準系でデカルト座標として報告され得る測定点を、クレーン上または近くに配置された1つ以上の測定デバイスから収集し、「教育」段階と同様に、着地面の形状を表す複数の測定点を生成する。用途によっては、他の座標系も同様に適用可能である。例えば、ラッフィング、タワー、ジブなどのガントリクレーンではないクレーンは、円筒/極座標系で動作してもよい。しかしながら、今回はクレーンがシャーシを1回だけ移動する。測定デバイスの解像度/品質の制限、クレーンの機械的特徴の不安定性、および動作の実行時にクレーンから吊り下げられたスプレッダによって吊り下げられた積荷によって測定デバイスの視野が妨害される可能性があるため、このように取得されたデータは、低品質/ノイズが発生することがある。低品質のデータサンプルでは、ツイストロックなどの小さなオブジェクトを信頼性をもって検出することは通常不可能であるため、シャーシの特徴を使用して着地位置を計算することは不可能である。さらに、パスが1つしかない場合、動作するシャーシの状態によっては、測定デバイスから見た障害物や視界不良のため、シャーシの一部がまったく視認可能ではない場合がある。これらの要因により、システムには、測定点で表される着地面の完全なサンプルがない場合がある。測定デバイスからのデータの品質にもかかわらず、システムは類似のフィルタリングおよび処理技術を使用して現在のシャーシ測定データを処理し、提供されたデータから代表的な着地面を除くすべてを排除する。次いで、複数の測定点(例えば、ポイントクラウド)のフィルタリングおよび処理されたサブセットは、着地面の現在の視野のクラウドと見なされる。密にサンプリングされたモデルクラウドの例を図30に示し、動作されているシャーシのデータを図31に示す。
システムに現在のシャーシのクラウドがあるので、モデルクラウドのライブラリに対してオブジェクトを相互参照し、モデルクラウドと現在のクラウドについて生成された様々なメトリックおよびメタデータを使用して既知のシャーシとの類似性を測定することにより、このオブジェクトを格納されたモデルのライブラリ全体と比較し始めることができる。比較プロセスは、各アイテムの測定された3Dポイントの各クラウドを取得し、それらにボクセルフィルタを適用することによって始まる。
実施形態では、ボクセルフィルタはクラウドを取得して、それをクラウドが占める3D空間をカバーする一連のボックスとして分析する。各「ボックス」は同じサイズで、構成可能なパラメーターである。クラウドからのポイントは、(x、y、z)座標値に基づいて各ボックスにグループ化され、各ボックスに関するデータが次いで配列に格納される。メタデータのタイプには、各ボックスのポイントの数、X−Y平面の各ボックスの最大Z座標値、または所与のボックスが占有されているかどうかが含まれるが、これらに限定されない。
実施形態によると、着地面のいくつかの基本原理を知っている生メタデータが生成されると、システムは、いくつかの方法を適用して、ノイズの多いデータが情報を欠いている可能性がある穴を埋める。「教育」方法で生成されたモデルクラウドは十分にサンプリングされているため、また、ノイズがないか、実質的にノイズがないと予想されるため、穴埋め/ノイズ削減は、動作中の着地面で生成されたクラウドにのみ適用される。このプロセスの結果は、格納されている各モデルクラウドおよび現在の走査のモデルクラウドに関するメタデータの収集である。
実施形態では、このメタデータは、次いで、2つの着地面オブジェクトの類似性をテストするように設計された一連の計算およびメトリックで使用される。一例では、システムは、システムが受け入れることができる最大のコンテナに関して、各着地面の長さを決定する。次いで、システムは、現在動作されている着地面の長さに一致しないすべての着地面を無視する。次いで、格納されている残りの着地面のメタデータは、マクロレベルで確認できる表面の特定の特性について分析され、そのメタデータの分析によって決定された現在の着地面に当てはまる特性と比較される。実施形態では、分析で考慮される表面の特性は、特定の用途に依存する。表面特性には、着地面として解釈される連続または不連続面、障害物または欠陥として認識されるデータの異常、ガーダ、クロスメンバ、サポート、またはガイドの有無、ならびにそれらの間隔およびサイズなどの着地面の特徴、着地面の平面度またはプロファイルの視認可能なまたは測定可能な変化、またはこれらの1つ以上の組み合わせを構成する、ベンド、ステップダウン、ワーピング、および/またはランプなどの表面プロファイルの特性が含まれるが、これらに限定されない。
実施形態では、各適格モデルクラウドからのメタデータの各収集が順にループされ、次に現在のクラウドのメタデータと比較され、所与のモデルクラウドが現在のクラウドと有する類似性のレベルを示す信頼スコアが生成される。メタデータを異なる方法で比較することにより、様々な異なるスコアを生成できる。次いで、これらのスコアのそれぞれに重みを付けて合計し、一致信頼度の全体的なスコアを生成できる。処理の最後に、十分なスコア閾値が満たされると、最も高いスコアを持つ格納されたモデルが一致として選択される。
単純なメタデータ比較の実施形態が、図32に示されている−バイナリ類似性比較。一番上の行は、シャーシの現在の視野からのメタデータを表し、その後に2つの既知のシャーシタイプの格納されたメタデータが続く。このメタデータは、X、Y平面に沿った占有/非占有ボックスを表している。このデータを比較する1つの方法は、モデル配列から現在の視野配列を単に差し引くことである。この減算の結果は、2行目に表示される。モデルAの場合、両方の配列で1つのボックスのみが一般的に使用されることはないが、モデルBの場合、5つのボックスが一般的に使用されることはない。この結果、このメトリックの全体的なエラースコアは、バイナリ類似性と呼ばれ、モデルAでは1、モデルBでは5になる。
別の実施形態では、同じメタデータからスコアを生成する別の方法は、所与の次元に沿ってデータを圧縮し、再度比較することである。各列の占有ボックスの数を合計して結果を比較することにより、図33−バイナリ列比較が生成される。この比較では、Aの一致エラーは1であるが、Bの一致エラーは3しかない。
これで、2セットのスコアを使用して、全体的な一致の可能性を生成できる。各スコアが均等に重み付けされていると仮定すると、モデルAのスコアは2、モデルBのスコアは7になる。この場合のスコアは一致エラーであるため、最小の数値が最良の一致を示す。したがって、モデルAが最良の一致として選択される。
実施形態によると、実際の用途では、付加的な類似性比較を実行して多くのスコアを生成でき、これらのスコアのそれぞれに重み付けして合計し、全体の類似性エラーを生成し、最後に、最良の適格スコアを持つモデルを選択することができる。適用されるメトリックと重みのタイプは、表示されることが予想されるオブジェクトのタイプを分析し、メトリックを生成し、それに応じてそれらに重み付けすることによって決定される。
モデルを選択するための分析の段階:
1.ボクセルフィルタ
A.X−Yのポイント
B.Y−Zのポイント
C.X−Yの値
2.現在の走査に穴埋め技術を適用するが、データ品質が低いと予想される
3.各モデルの長さクラスを確立する(10フィート、20フィート、40フィート、45フィート、プラスサイズなど)
4.次のトピックで、現在の走査のモデルクラウドに最も類似した長さクラスの各アイテムを比較する。
A.2つの配列間の類似性チェックにより、各シャーシの特徴を比較する
B.類似性信頼スコアを生成する
C.適格信頼スコアが最も高いモデルが最良の一致として選択される
実施形態によると、いくつかの場合において、試験を通じて、特定の着地面は、表面の上から取得された測定点として見た場合に、特徴を定義することに欠けることがあることがわかった。これにより、2つの表面間に視認可能な特徴がない可能性があるため、クレーンの下に存在する現在の着地面と一致するモデルのライブラリから正しい着地面を選択することが非常に難しくなる。2つの視野で特徴を定義することの欠如にもかかわらず、2つの表面はコンテナの着地位置が大きく異なる場合がある。
例えば、2台のフラットベッドシャーシを取得する。2台のフラットベッドシャーシの着地面は、同じ幅、同じ長さ、同じ高さになる場合がある。両方のシャーシは、上から測定点として見たときに、同じ寸法である測定点の明確でない長方形を生成する。この例では、これらをシャーシAとシャーシBと呼ぶ。どちらも長さが42フィート、幅が8フィート(ISOコンテナの幅であり、40フィートのコンテナよりも2フィート長い)であると想定する。ここで、シャーシAに40フィートのコンテナに適したツイストロックがあり、着地面の前端から配置されているとする。シャーシBには、シャーシの前端から1フィートのところに配置されている40フィートのコンテナに適したツイストロックがある。ここで、シャーシAおよびシャーシBがシステムに「教育され」、そのライブラリに格納されて将来の使用に備える。2つのシャーシ間で2セットのツイストロックの開始場所が1フィート異なるため、後で間違ったシャーシが選択された場合、コンテナは適切に着地しない。ここで、後でシャーシB2が到着し、クレーンからボックスを受け取る。このシャーシはシャーシBと同じであるが、シャーシAおよびシャーシBはどちらもシステムで同じように見えるため、どちらが正しいモデルかを判断する方法がなく、コンテナのソリューションを取得する方法もない。
ライブラリから正しいものをコンパニオン経由で選択できないような着地面のあいまいさは、シャーシまたは機器の近くにセンサを取り付けて(地上または固定またはモバイル機器や構造物など)、高解像度で着地面を分析する方法を使用して、より高い解像度のデータから着地点または他の特徴的な特徴を識別することによって着地ソリューションを生成する。
着地面の積荷に対する着地ソリューションの生成方法
一実施形態において、測定点モデルを作成する上記で定義された方法は、システムが高解像度での表面特徴の分析を使用していない限り、コンテナ荷役機器の着地面でコンテナの着地ソリューションを生成する先駆けである。適切なモデルが選択されるか、または「高解像度での表面特徴の分析」の場合に生成されると、モデルは次に定義されている方法に渡され、そのモデルを、ソリューションを生成するために現在のシャーシのクレーンに配置されている測定デバイス(複数可)によって収集された測定点と組み合わせて使用する。以下の方法では、反復最近傍点(ICP)と呼ばれる十分に研究されたプロセス(Besl、Paul J.、N. D McKay(1992)「A Method for Registration of 3−D Shapes」iEEE Trans.on Pattern Analysis and Machine Intelligence.Los Alamitos,CA,USA:iEEE Computer Society.14(2):239−256を参照)を使用して、測定点モデルに関連付けられた相対位置を、クレーンの動作基準系の絶対位置に変換する。
実施形態では、現在の着地面の潜在的に低品質の測定点のセットを、このステップの前に作成され、取得されたシャーシのモデルとともに使用することにより、システムは、2つの類似オブジェクトの位置と方向を比較する、よく研究された方法を使用して、このシャーシのどこに正確にコンテナを着地させるかを決定できる。システムは、シャーシがクレーンの下に配置されている場所の大まかな推測から始まる。通常、現在のシャーシ場所のこの大まかな推測は、現在の動作のカタログおよびクレーンの座標系におけるその推定場所を持つ外部システム(ターミナルオペレーティングシステム−TOS)から提供され、図34は、レーンのシャーシの通常予想される位置を示す。アルゴリズムを開始するには、モデルクラウドを図35のようにこの予想される位置に配置する。
実施形態によると、次いで、システムは、コンテナをこの場所の近くに配置する場所について、より正確であるが大まかな推測を生成することを試みる。大まかな推定は、現在のシャーシデータクラウドに対応するノイズの多いデータをシャーシ着地面のみにフィルタリングし、フィルタリングされたシャーシポイントクラウドの最大および最小測定点の平均をとって、着地面の中心を取得することで得られる。図36は、シャーシが実際にレーンに駐車される方法を示している。図37A〜Bは、この駐車されたシャーシがどのように現在のデータクラウドを生成することができるかを示している。図38は、理想的な位置にあるモデルクラウドと実際の位置にある実際のデータクラウドとの間の初期位置合わせ不良を示している。
実施形態では、システムが着地面の場所の大まかな推測を行うと、システムは、着地面のモデルを、その原点、シャーシがサポートする最大のコンテナの中心のモデル内の着地位置が現在のャーシのこの中心に位置合わせされるように、着地面のモデルを方向付ける。図39は、理想的なモデルクラウドと実際のデータクラウドの中心を大まかに位置合わせされることによる初期の大まかな位置合わせを示している。この段階でのモデルの位置合わせはやや不十分であるが、残りのプロセスの開始点として役立つ。
実施形態では、この大まかな位置合わせの後、システムは、シャーシを表す2つの測定点の収集、現在の点およびモデル点を有し、これらは、クレーンの動作基準系内でほぼ位置合わせされる。システムは、2つのアイテムのより正確な位置合わせを取得する方法を使用して、2つのオブジェクトの精密な位置合わせを作成しようとする。同じオブジェクトの2つの視野、またはこの場合は同じオブジェクトの2つのポイントクラウドを取得し、それらを最もよく位置合わせする変換を見つけるという概念は、コンピュータビジョンおよび3Dデータ処理でよく研究されている問題である。これら2つのクラウドを位置合わせするには、多くの異なる方法がある。使用できるそのようなアルゴリズムの1つは、反復近接点(ICP)アルゴリズムである。(Besl,Paul J.;N.D.McKay(1992)「A Method for Registration of 3−D Shapes.」IEEE Trans.on Pattern Analysis and Machine Intelligence.Los Alamitos,CA,USA:IEEE Computer Society.14(2):239−256.を参照)。
実施形態によると、このアルゴリズムは、ほぼ位置合わせされた2つのデータセットを取得し、セットAの各ポイントについて、セットBの対応するポイントを見つけようと試みる。対応は、通常、デカルト距離によって決定される最も近いポイントを見つけることによって決定される。これにより、セットAのポイントとセットBのポイントとの間の対応のセットが生成される。対応が生成されると、すべての対応間の距離を最小化しようとして、各セットのポイントをより正確に位置合わせする新しい位置推定を生成できる。距離が最小化されると、新しい位置合わせが生成され、対応の別のセットが見つかる。このプロセスは、位置の変化が十分に小さくなるまで繰り返される。この時点で、最も正確な位置合わせが達成され、反復プロセスが終了する。
実施形態によると、ICPおよび格納されたシャーシモデルを使用することにより、システムは、図40にあるように、クレーンの動作基準系内の現在のシャーシクラウド上にモデルクラウドの非常に正確な位置づけを生成することができる。
実施形態では、モデルクラウドのローカル原点は、モデル着地面がサポートできる最大のコンテナの着地位置を表し、その位置から、表面がサポートできる任意の他のコンテナへのオフセットが存在し、システムがモデルシャーシをICPの使用により現在のシャーシと同じように配置したため、システムは今は、現在のシャーシ上でコンテナをどこに配置するかに関する、クレーン座標での着地位置および配向を有する。システムの出力は、XYZ座標での平行移動および、2つのモデルを最もよく位置合わせするXYZ軸を中心とした回転である。コンテナを所与の方向のターゲットXYZ座標に配置することにより、コンテナはシャーシと所望の位置で噛合する。
例:自動化ターミナルでの陸側自動化の必要性
船の大型化および輸送ラインの統合により、コンテナターミナル間の競争は非常に激しくなっている。過去10年間だけで、船舶のサイズは、2008年の4,000 20フィートコンテナ換算(TEU)未満の平均容量から、アジア北ヨーロッパの貿易ルートの現在の平均13,772TEUまでほぼ倍増した。世界最大の船舶は21,413TEUを保持することができ、現在注文されている少なくとも18,000TEUの容量を持つ57の超大型コンテナ船がある。さらに、環境への影響は、規制の増加と排出量の削減への動機とともに、世界中でますます懸念されている。コンテナターミナルが大型の船舶を引き付け、競争力を維持したい場合、二酸化炭素排出量を削減しながら、ターミナルのスループットおよび効率を改善する必要がある。陸側自動化は、これらの目標を達成するための具体的なソリューションを提供する。
自動化は、過去20年間にわたってコンテナ業界で進化している。自動スタッキングクレーン(ASC)は2000年代初頭に登場し、コンテナヤードのレイアウトと運用に革命をもたらした。理想的には、ASCヤードは水辺移送ゾーン(WSTZ)、スタッキング領域、および陸側移送ゾーン(LSTZ)で岸壁に垂直に方向づけされる。WSTZは、岸壁とスタッキング領域の間の交換領域として機能し、通常、ストラドルキャリアまたは無人搬送車両(AGV)によって整備される。これらの車両はWSTZのコンテナから降ろされる。ASCは、車両が出発すると、これらの領域にあるコンテナを自動的に受け取り、降ろすことができる。スタッキング領域は、ASCが全自動モードで動作する無人領域である。LSTZは、コンテナが輸送用のロードトラックに積み込まれる場所である。図41は、典型的なASCヤードのLSTZを示している。従来、これらのASCは無人領域(WSTZおよびスタッキング領域)内での完全自動動作のみを可能にし、LSTZ内のすべての移動をリモートオペレータに依存する。この方法では、純粋な手動動作に比べて多くの改善点があるが、LSTZ内のすべての移動をリモートオペレータに依存しているため、移送プロセスに遅延が生じる。
オペレータは、離れた場所からコンテナを道路のシャーシに正確に配置して着地させるために、様々なカメラ視野に依存している。これらのリモートオペレータは、着地プロセスに人間の変動性をもたらす。一部のオペレータは非常に効率的であるが、他のオペレータは、コンテナの受け取りまたは着地を成功させるためにより多くの時間または複数の試行を必要とする。リモートオペレータが移動を実行できるようになるのを待つことから、別の遅延が発生する。世界で最も先進的なコンテナターミナルの1つでは、リモートオペレータが待機中のクレーンに接続するまでの平均待ち時間は約33秒である。この接続時間は、単一のコンテナの移動に対して評価すると非常に印象的である。ただし、24時間の間にわたって、33秒の遅延は生産性の大幅な損失になる。この待機時間は、クレーンごとに最大2.1時間、ヤードのサイズによっては1日50時間を超える生産性の無駄になる。これらの待機時間には、オペレータが使用可能になるのを待機している時間のみが含まれ、接続後にオペレータが移動を実行するのにかかる時間は含まれない。LSTZに成功した自動化ソリューションを実装すると、端末の生産性が大幅に向上する。
本発明の実施形態は、ロードシャーシを含む、上部に積み込まれたコンテナ荷役機器に完全に自律的な着地を提供する新しいシステムを提供する。このシステムは、従来のASCに必要なものと同じセンサを利用し、通常は付加的なインフラストラクチャを必要としない。さらに、新しいASCまたは既存のASCを改造するための経済的なソリューションを提供する。このシステムは、クレーンに取り付けられたレーザスキャナ(LiDAR)を使用して、スプレッダの下の領域のモデルを作成する。ASCがLSTZに入ると、クレーンの下の領域の走査が開始され、クレーンの基準系に一連のデカルト座標が生成される。時間の経過とともにこれらのポイントを収集すると、対象となる領域を表すポイントクラウドが作成される。生のポイントクラウドをフィルタリングすると、ターゲットを明確に表示できる。図42AおよびBは、装填されたシャーシの生の(図42A)、そしてフィルタリングされた(図42B)両方のポイントクラウドデータを示す。フィルタリングされたデータは、クレーンがコンテナをシャーシから自律的に取り外し、コンテナをスタッキング領域に移送するために使用するコンテナの正確な場所を提供する。
コンテナをロードシャーシに着地させるプロセスを自動化することは、上記の受け取りよりもはるかに多くの課題をもたらす。異なるシャーシタイプ間の固有のばらつき、ツイストロックに必要な25mmの組み合わせ精度、およびクレーンに取り付けられたスキャナの解像度機能が主な障害である。本発明の実施形態は、適切な着地ソリューションを決定するためにツイストロックを「見る」ことを試みる代わりに、シャーシの幾何学形状および形状を分析することによってこれらの問題に対処する新しいLSTZ自動化ソリューションを提供する。空のシャーシのポイントクラウドデータは前述のように構築され、システムは主要な幾何学的特徴を評価してコンテナの正しい積み込み位置を決定し、空のシャーシにコンテナを配置する。図43A〜Fは、いくつかの異なるシャーシタイプからの走査データを示す。
このシステムは、現在稼働している場所で大きな成功を収めている。シャーシからの自動受け取りの平均成功率は99%であり、シャーシへの自動着地の成功率は70%であり、陸側自動動作の合計成功率は84.5%である。このシステムにより、効率と成功率が大幅に向上する。システムは、走査の完了後、約3秒でソリューションを生成する。ロードシャーシに着地するのに必要な合計時間は、クレーンがLSTZに入ってからスプレッダがコンテナから完全に外れるまでの時間で66秒である。
このような陸側自動化システムは、LSTZでの平均待機時間を、リモートオペレータを待機する33秒から3秒に短縮し、システムがすべての動作の84.5%で適切なソリューションを生成できるようにする。これは、アクティブな着地時間の改善を考慮せずに、クレーンごとに毎日余分な1.66時間の生産である。さらに、オペレータが介入しなければならない場合、その関与は通常、着地位置の簡単な調整で構成され、完全に離れた移動よりも完了までの時間が大幅に短くなる。
LSTZの自律着地のもう1つの利点は、ハード着地がほとんどなくなることである。自動着地システムは、シャーシの高さを正確に検出し、着地前に適切に減速する。これにより、スプレッダの損傷およびメンテナンスが減少し、全体的なクレーンの稼働時間が増加する。
最後に、効果的な陸側自動化システムは、ターミナルの全体的な排出量を削減する。平均的なトラックは、アイドリングに費やす1時間ごとに約3.1L(0.82ガロン)の燃料を使用する。付加的な30秒の待機時間は、個々のトラックドライバにとって重要ではなく、待機中にトラックをオフにする実用的なインセンティブを提供しない。ただし、ターミナルレベルでは、これらの付加的な待機により、1日あたり最大50時間のトラックアイドリング排出量が追加される可能性がある。説明されているLSTZ自動化システムを使用すると、アイドリング時間が1日あたり38時間削減され、毎日最大312kgのCO2および5.47kgのNOx排出が削減される。LSTZの自動化は、環境要因を改善し、コンテナターミナルが常に増大する船舶サイズに対応し、増加するスループット要件を満たし、グローバル市場で競争力を維持するための重要なステップである。
本発明は、様々な特徴を有する特定の実施形態を参照して説明されてきた。上記で提供された開示に照らして、本発明の範囲または精神から逸脱することなく、本発明の実施において様々な修正および変更を行うことができることが当業者には明らかであろう。当業者は、開示された特徴が、単独で、任意の組み合わせで使用され得るか、または所与の用途もしくは設計の要件および仕様に基づいて省略され得ることを認識するであろう。開示された方法は、開示されたシステムまたは他の既知のシステムとともに使用することができ、開示されたシステムは、開示された方法または他の既知の方法とともに使用することができる。実施形態が特定の特徴を「含む(comprising)」に言及する場合、実施形態は、代替として、任意の1つ以上の特徴を「からなる(consist of)」または「から本質的になる(consist essentially of)」ことができることを理解されたい。本発明の他の実施形態は、本発明の仕様および実施を考慮すれば当業者には明らかであろう。
特に、本明細書で値の範囲が提供されている場合、その範囲の上限と下限の間の各値も具体的に開示されていることに留意されたい。これらのより小さな範囲の上限と下限は、独立して範囲に含めたり除外したりすることもできる。単数形「a」、「an」、および「the」には、文脈から明らかに別の指示がない限り、複数の指示対象が含まれる。明細書および実施例は本質的に例示と見なされ、本発明の本質から逸脱しない変形は本発明の範囲内にあることが意図されている。さらに、本発明で引用されるすべての参考文献は、それぞれ個別にその全体が参照により本明細書に組み込まれ、したがって、本発明の有効な開示を補足する効率的な方法を提供するとともに、当業者のレベルの詳細を説明する背景を提供することを目的とする。
関連出願の相互参照
本出願は、2018年11月23日付けで出願された国際出願PCT/US18/62394の合衆国法典第35編第371条における国内段階出願であり、その全体が基準により本明細書に組み込まれる、2017年11月24日に提出された米国仮出願第62/590,443号、および2018年2月6日に提出された米国仮出願第62/626,990号の開示に基づいており、その出願日の優先権とその利益を主張している。
コンテナクレーンなどのコンテナ荷役機器の自動化を促進する技術が存在する(https://www.porttechnology.org/technical_papers/the_case_for_automated_rtg_container_handling)。クレーンの自動化が始まった当初、人々による不可避のアクセスを伴う領域は、自動化するには危険すぎると考えられていた。最終的に生産的な動きを増やし、待ち時間を短縮するというプレッシャーにより、業界標準が人々との直接接触のない領域での完全自動化および、人々の接触が不可避である領域での、しばしばリモート動作を伴う「半自動化」の状態に促進された。しかしながら、最近では、業界は、コンテナ荷役のすべての領域で完全に自動化された移動を追求している。本開示で特に興味深いのは、図12−Bに例が示されている陸側移送ゾーン(landside transfer zone:LSTZ)の自動化である。LSTZ領域は、道路上だけでなく、ロードシャーシ以外の内部ポート機器によってスタッキングクレーンがコンテナを移送する車両とインターフェースする場所である。LSTZでの動作を完全に自動化することに、過去数年にわたって大きな関心が寄せられている。
LSTZでの動作の自動化に伴う課題は膨大である。LSTZでの移動を自動化できるシステムを設計するには、非標準のシャーシおよび機器のタイプ、特定の着地点の有無、動作の領域における人々の安全、ならびに動作領域内の機器の配置によって導入される変動を克服する必要がある。自動化の主な課題は、通常、シャーシをLSTZにどのように配置するか、および動作中に人々がいる場所に関して人間が導入する変動性から生じる。しかしながら、この変動性は、LSTZの場合は、トラックレーンを囲む縁石(図12、アイテムC)およびドライバが入るブース(図12、アイテムD)などの機械的制限によって緩和され、これらは、この領域で動作するときに特定の規則が守られている限り、人間が誘発し得る変動性を制限する。人間の変動性の問題に加えて、クレーンがコンテナを着地させる必要があるシャーシおよび機器の非標準化の問題がある。輸送コンテナの形状およびサイズはISO(国際標準化機構:International Organization for Standardization)規格に準拠しているが、コンテナを運搬するシャーシおよび他の機器は準拠していない。所与のロードシャーシに対する唯一の制約は、シャーシの着地面のどこかに、シャーシ上に配置されたコンテナのコーナキャスティングと噛合する通常1つ以上、好ましくは複数のツイストロックがあることである。これは、少なくともロードシャーシで、しかし必ずしも他のコンテナ運搬機器である必要はないが、シャーシ上に配置されるコンテナの4つのコーナに対応する4つのポイントが通常、シャーシ上にあることを意味する。見つかると、これらの4つのポイントを使用して、シャーシ面上のどこにコンテナを配置するかのソリューションを生成できる。しかしながら、これらの4つのポイントは、それらに噛合するコンテナの4つのコーナに従うように互いに適切に離間されている限り、ロードシャーシの表面のどこにでも存在できるということに注意すべきである。ツイストロックのサイズおよび形状にもばらつきがあり、それらを特定するシステムの能力に影響を与え、コンテナの正確な着地位置に影響を与える
コンテナを受け入れる準備が整っている機器にツイストロックがない場合、検索する表面に制約されたポイントがなく、純粋にその光学的外観に基づいてカメラまたは類似のセンサで機器を視覚的に認識するのに十分な均一性がないため、着地位置を決定することがさらにより困難になる可性がある。着地する機器の外観は、形状、サイズ、色、摩耗パターンなどが異なる場合があり、光学システムがそれらを識別するのに効果的ではない
積み降ろしされたAGVの図である。 ISO標準コンテナで積み込みおよび積み下ろしされた爆弾カートの図である。 ISO標準輸送コンテナ(40フィート)の図である。 コンテナクレーンの図である。 コンテナクレーンの図である。 ISO標準コーナキャスティングの図である。 (積み降ろしされた)ロードシャーシの図である。 本発明の一実施形態による、陸側移送ゾーンにおけるロードシャーシのポイントクラウドのレンダリングである。 40フィートの位置にあるスプレッダの図である。 ツイストロックの図である。 本発明の一実施形態による、システムトポロジの図である。 本発明の一実施形態による測定デバイス構成の図である。 陸側移送ゾーンの図である。 シャーシのスタイルの変動を示す図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 本発明の一実施形態による、シャーシおよびそのモデルクラウドの図である。 シャーシ上面図を示す図である。 シャーシ側面図を示す図である。 本発明の一実施形態による、例示的な動作手順のフローチャートである。 位置が既知である、コンテナを有するシャーシの図である。 積荷位置が既知である、シャーシの図である。 本発明の一実施形態による、前部コンテナオフセットの決定を示す図である。 本発明の一実施形態による、前部コンテナオフセットを備えたシャーシの図である。 本発明の一実施形態による、後部コンテナオフセットの決定を示す図である。 本発明の一実施形態による、前部オフセットおよび後部オフセットを有するシャーシの図である。 本発明の一実施形態による、係合および検出された40フィートのツイストロックを備えたシャーシの図である。 本発明の一実施形態による、検出されたツイストロックおよびコンテナのターゲットの場所/配向を有するシャーシの図である。 シャーシ変動を示す図である。 シャーシ変動を示す図である。 シャーシ変動を示す図である。 本発明の一実施形態による、シャーシのモデルクラウドの図である。 本発明の一実施形態による、現在のシャーシの走査クラウドの図である。 本発明の一実施形態による、バイナリ類似性比較の図である。 本発明の一実施形態による、バイナリ列比較の図である。 本発明の一実施形態による、レーンにおける予想されるシャーシ位置を示す図である。 本発明の一実施形態による、予想される位置でのモデルクラウドの図である。 本発明の一実施形態による、レーンにおけるの実際のシャーシ位置の図である。 本発明の一実施形態による、レーンに駐車された実際のシャーシからサンプリングされたデータを示す図である。 本発明の一実施形態による、レーンに駐車された実際のシャーシからサンプリングされたデータを示す図である。 本発明の一実施形態による、理想的な場所におけるモデルクラウドおよび実際の位置における現在のデータクラウドの図である。 本発明の一実施形態による、モデルクラウドと実際のクラウドの初期の大まかな位置合わせを示す図である。 本発明の一実施形態による、ICP(反復最接近点)後の最終位置合わせを示す図である。 本発明の実施形態による、ツイントゥエンティースが積み込まれたシャーシの生データを示すレンダリングである。 本発明の実施形態による、ツイントゥエンティースが積み込まれたシャーシのフィルタリングされたデータを示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。 本発明の実施形態による、いくつかのシャーシタイプの一連のフィルタリングされた走査を示すレンダリングである。
本発明の一実施形態による動作手順のフローチャートを図17に示す。プロセス200は、ジョブ開始205が要求されたときに開始する。次いで、システムは3Dデータポイントを収集し210、これらのポイントからシャーシ面を抽出する215。この時点で、システムはシャーシが存在するかどうかを判断する220。シャーシが存在しないとシステムが判断した場合、次いで、プロセスはソリューションなしで終了する225。シャーシが存在するとシステムが判断した場合、システムはモデルライブラリにクエリを実行し、シャーシが対応するシャーシをモデルライブラリに有するどうかを判断する230。モデルライブラリがある場合、システムはまず表面をボクセルグリッドに分割する235。次いで、システムはボクセルグリッドを既存のモデルボクセルグリッドと比較する240。次いで、システムは、シャーシの同様のモデルがあるかどうかを判断する245。シャーシの同様のモデルがない場合、プロセスはソリューションなしで終了する250。
一実施形態では、任意の所与の着地面上のどこにコンテナを配置するかをシステムに「教育する」プロセスは、コンテナを正しく、かつ正確に配置した状態で、シャーシをクレーンの下の静止位置に配置することによって始まる。コンテナが着地面の所望の場所に慎重に配置された後、システムは、クレーンの動作基準系内のコンテナの正確な場所を生成する(例えば、図18を参照されたい)。この場所は、コンテナの位置がクレーンの動作基準系内で正確にわかっている場合は、どのような方法でも取得できる。しかしながら、最も一般的には、システムは、クレーンの上または近くに配置された測定デバイス(複数可)を使用して、コンテナの場所を生成する。これを行うには、クレーンがコンテナの上部を移動するときに、システムが1つ以上の測定デバイスから測定点を収集し、クレーンの動作基準系でデカルト座標として報告され、コンテナの上部を表す複数の測定点を生成する。次いで、システムはこの測定点のセット(例えば、ポイントクラウド)を処理して、クレーンの動作基準系内のコンテナの正確な場所を生成する(図18)。
実施形態によると、コンテナの正確な位置が決定されると、次いで、コンテナは、着地面の場所または配向を乱さないように、シャーシの着地面から慎重に取り除かれる。続いて、上記のプロセスと同様に、クレーンが空のシャーシの上部を移動すると、システムは、クレーンの動作基準系でデカルト座標として報告される測定点を、クレーン上または近くに配置された1つ以上の測定デバイスから収集し、着地面の形状を表す複数の測定点(例えば、ポイントクラウド)を生成する。しかしながら、この段階では、非常にゆっくりとなど、オブジェクトの表面上で1回クレーンを動かすか、非常に密度の高い測定点のセットを作成するような方法で複数回クレーンを動かすことができる。クレーンの下の領域の既知の構成に関する、また、推定された着地面の高さの情報を使用して測定点をフィルタリングすると、次いで、システムは、図14A〜Cのように、着地面のみを表す点を抽出する。抽出された点は、次いで、着地面の「モデル」としてシステムに保存される。このモデルクラウドとともに、以前に抽出されたコンテナの位置が、図19のようにシステムに保存される。クレーンの動作基準系に存在する測定点の収集として今は保存されたモデルクラウド、および、同じ基準系内の座標として今は保存されているコンテナの既知の位置を使用して、システムは、コンテナがこの着地面に配置されるべき正確な場所を把握し得る。
実施形態によると、複数のサイズのコンテナの運搬をサポートするシャーシタイプの場合、所与の着地面について様々なサイズのコンテナの着地場所が知られるように、オフセットを決定して記録することができる。単一の着地面に対して複数の着地場所を作成するために、システムは、着地面上の適格な場所のそれぞれで着地したコンテナを一度に1つずつ分析し、上記と同じ方法で各コンテナの位置を決定する。システムは、第1の(最大の)コンテナからの後続の各コンテナの場所間の違いを取得し、その場所間の違いがシャーシの「中心」からのオフセットとして記録され、格納される。このプロセスの結果、他のすべての着地場所が、着地面で分析された第1のコンテナの着地場所に対して既知になる。そのようなオフセット決定の例は、図2023に示されている。
相対的な着地位置の作成:高解像度での表面特徴の分析
実施形態によると、本発明のシステムはまた、着地面に非常に近い位置にあるクレーンから離れて配置された測定装置から得られたより高い解像度のデータを使用して、図24に示すように、ガイド、ターゲット、隆起したツイストロック、または陥凹したツイストロックなどのシャーシ上の主要な特徴を使用してコンテナの着地位置を見つけることができる。
これは、クレーンに取り付けられたデバイスが目的の着地面の機能モデルを作成するのに十分な詳細を提供できない状況や、他の要因により、「教育」が着地ソリューションを生成する信頼できる方法となるのを妨げる場合に必要になることがある。システムは、着地面の十分に近い場所に取り付けられた測定デバイスでシャーシを走査し、着地面の主要な特徴が区別可能な複数の測定点(例えば、ポイントクラウド)を生成し、それらを収集し、収集を分析するコンピューティングデバイスに、その点を報告して戻す。システムは、「教育」段階のように、測定点の収集を取得し、着地面のみをフィルタリングし、その後、シャーシのすべての区別可能な特徴を着地面に沿って調べ、それらをカタログ化する。システムは、極小値と極大値を使用してシャーシ面に沿って検索し、隆起し、陥凹したツイストロックの場所を決定し、可能性のあるすべての着地点の位置をカタログ化する。次いで、コンテナのコーナキャスティング場所についてのISO標準によって着地点の場所に課せられた幾何学的制約を使用して、システムは、最も適切な場所を見つけ、図25に示すように、コンテナの全体的な着地場所をそれらの数学的中心として報告する。使用できる他の技術には、モデルの畳み込みがある。数学的に言えば、畳み込みは「点ごとの乗算の積分」であり、畳み込みフィルターはレーダーなどでエコー信号の識別に使用される。畳み込みフィルターは、予想される形状(波、ツイストロックなど)の事前知識を利用して、その形状をノイズからより適切に区別するのに役立つ。
クラスは、機器をグループに分類する属性の収集であり、特定のグループのすべてのメンバが同じまたは同様の着地位置を共有する。着地装置の場所や車軸の配置などの主に表面的な属性とは対照的に、クラスは通常、ガーダの場所や支持メンバなどの構造的な属性で構成されている。クラス内のオブジェクトの着地位置は同じでなければならない。一例は、図26A〜Cに見られるスケルトンシャーシである。図26A〜Cに示される3つのシャーシのうち、最も左のシャーシは単一のクラスにある。それらは両方とも、着地面で着地位置を共有する。これは、40フィートのコンテナ1つが前端と後端で同時にシャーシにロックするのに十分であり、これら2つのシャーシは40フィートのコンテナしか運搬することができない。第1および第2のシャーシは、全体的な形状が同じで、コンテナの積荷を支える主要なメンバはほぼ同じ場所にあるが、小さいクロスメンバは示すように異なる場所にあり、ホイールおよび着地装置は異なる。第3のシャーシは第2のクラスに属する。これは、初めの2つとは異なり、2つの20フィートのコンテナをシャーシに着地させることができ、単一の40フィートのコンテナ積荷を運搬することもできるためである。システムでは、第1または第2シャーシのいずれかの1つのモデルおよび、第3のシャーシの別のモデルが必要になる。
実施形態によると、ライブラリが、クレーンが整備することが期待される機器の各クラスの表現で満たされると、システムは、所与の現在のシャーシに対する適切な一致を見つけることができる。これを行う際に、クレーンが空のシャーシの上部を移動すると、システムは、クレーンの動作基準系でデカルト座標として報告され得る測定点を、クレーン上または近くに配置された1つ以上の測定デバイスから収集し、「教育」段階と同様に、着地面の形状を表す複数の測定点を生成する。用途によっては、他の座標系も同様に適用可能である。例えば、ラッフィング、タワー、ジブなどのガントリクレーンではないクレーンは、円筒/極座標系で動作してもよい。しかしながら、今回はクレーンがシャーシを1回だけ移動する。測定デバイスの解像度/品質の制限、クレーンの機械的特徴の不安定性、および動作の実行時にクレーンから吊り下げられたスプレッダによって吊り下げられた積荷によって測定デバイスの視野が妨害される可能性があるため、このように取得されたデータは、低品質/ノイズが発生することがある。低品質のデータサンプルでは、ツイストロックなどの小さなオブジェクトを信頼性をもって検出することは通常不可能であるため、シャーシの特徴を使用して着地位置を計算することは不可能である。さらに、パスが1つしかない場合、動作するシャーシの状態によっては、測定デバイスから見た障害物や視界不良のため、シャーシの一部がまったく視認可能ではない場合がある。これらの要因により、システムには、測定点で表される着地面の完全なサンプルがない場合がある。測定デバイスからのデータの品質にもかかわらず、システムは類似のフィルタリングおよび処理技術を使用して現在のシャーシ測定データを処理し、提供されたデータから代表的な着地面を除くすべてを排除する。次いで、複数の測定点(例えば、ポイントクラウド)のフィルタリングおよび処理されたサブセットは、着地面の現在の視野のクラウドと見なされる。密にサンプリングされたモデルクラウドの例を図27に示し、動作されているシャーシのデータを図28に示す。
単純なメタデータ比較の実施形態が、図29に示されている−バイナリ類似性比較。一番上の行は、シャーシの現在の視野からのメタデータを表し、その後に2つの既知のシャーシタイプの格納されたメタデータが続く。このメタデータは、X、Y平面に沿った占有/非占有ボックスを表している。このデータを比較する1つの方法は、モデル配列から現在の視野配列を単に差し引くことである。この減算の結果は、2行目に表示される。モデルAの場合、両方の配列で1つのボックスのみが一般的に使用されることはないが、モデルBの場合、5つのボックスが一般的に使用されることはない。この結果、このメトリックの全体的なエラースコアは、バイナリ類似性と呼ばれ、モデルAでは1、モデルBでは5になる。
別の実施形態では、同じメタデータからスコアを生成する別の方法は、所与の次元に沿ってデータを圧縮し、再度比較することである。各列の占有ボックスの数を合計して結果を比較することにより、図30−バイナリ列比較が生成される。この比較では、Aの一致エラーは1であるが、Bの一致エラーは3しかない。
実施形態では、現在の着地面の潜在的に低品質の測定点のセットを、このステップの前に作成され、取得されたシャーシのモデルとともに使用することにより、システムは、2つの類似オブジェクトの位置と方向を比較する、よく研究された方法を使用して、このシャーシのどこに正確にコンテナを着地させるかを決定できる。システムは、シャーシがクレーンの下に配置されている場所の大まかな推測から始まる。通常、現在のシャーシ場所のこの大まかな推測は、現在の動作のカタログおよびクレーンの座標系におけるその推定場所を持つ外部システム(ターミナルオペレーティングシステム−TOS)から提供され、図31は、レーンのシャーシの通常予想される位置を示す。アルゴリズムを開始するには、モデルクラウドを図32のようにこの予想される位置に配置する。
実施形態によると、次いで、システムは、コンテナをこの場所の近くに配置する場所について、より正確であるが大まかな推測を生成することを試みる。大まかな推定は、現在のシャーシデータクラウドに対応するノイズの多いデータをシャーシ着地面のみにフィルタリングし、フィルタリングされたシャーシポイントクラウドの最大および最小測定点の平均をとって、着地面の中心を取得することで得られる。図33は、シャーシが実際にレーンに駐車される方法を示している。図34A〜Bは、この駐車されたシャーシがどのように現在のデータクラウドを生成することができるかを示している。図35は、理想的な位置にあるモデルクラウドと実際の位置にある実際のデータクラウドとの間の初期位置合わせ不良を示している。
実施形態では、システムが着地面の場所の大まかな推測を行うと、システムは、着地面のモデルを、その原点、シャーシがサポートする最大のコンテナの中心のモデル内の着地位置が現在のャーシのこの中心に位置合わせされるように、着地面のモデルを方向付ける。図36は、理想的なモデルクラウドと実際のデータクラウドの中心を大まかに位置合わせされることによる初期の大まかな位置合わせを示している。この段階でのモデルの位置合わせはやや不十分であるが、残りのプロセスの開始点として役立つ。
実施形態によると、ICPおよび格納されたシャーシモデルを使用することにより、システムは、図37にあるように、クレーンの動作基準系内の現在のシャーシクラウド上にモデルクラウドの非常に正確な位置づけを生成することができる。
自動化は、過去20年間にわたってコンテナ業界で進化している。自動スタッキングクレーン(ASC)は2000年代初頭に登場し、コンテナヤードのレイアウトと運用に革命をもたらした。理想的には、ASCヤードは水辺移送ゾーン(WSTZ)、スタッキング領域、および陸側移送ゾーン(LSTZ)で岸壁に垂直に方向づけされる。WSTZは、岸壁とスタッキング領域の間の交換領域として機能し、通常、ストラドルキャリアまたは無人搬送車両(AGV)によって整備される。これらの車両はWSTZのコンテナから降ろされる。ASCは、車両が出発すると、これらの領域にあるコンテナを自動的に受け取り、降ろすことができる。スタッキング領域は、ASCが全自動モードで動作する無人領域である。LSTZは、コンテナが輸送用のロードトラックに積み込まれる場所である。従来、これらのASCは無人領域(WSTZおよびスタッキング領域)内での完全自動動作のみを可能にし、LSTZ内のすべての移動をリモートオペレータに依存する。この方法では、純粋な手動動作に比べて多くの改善点があるが、LSTZ内のすべての移動をリモートオペレータに依存しているため、移送プロセスに遅延が生じる。
本発明の実施形態は、ロードシャーシを含む、上部に積み込まれたコンテナ荷役機器に完全に自律的な着地を提供する新しいシステムを提供する。このシステムは、従来のASCに必要なものと同じセンサを利用し、通常は付加的なインフラストラクチャを必要としない。さらに、新しいASCまたは既存のASCを改造するための経済的なソリューションを提供する。このシステムは、クレーンに取り付けられたレーザスキャナ(LiDAR)を使用して、スプレッダの下の領域のモデルを作成する。ASCがLSTZに入ると、クレーンの下の領域の走査が開始され、クレーンの基準系に一連のデカルト座標が生成される。時間の経過とともにこれらのポイントを収集すると、対象となる領域を表すポイントクラウドが作成される。生のポイントクラウドをフィルタリングすると、ターゲットを明確に表示できる。図38AおよびBは、装填されたシャーシの生の(図38A)、そしてフィルタリングされた(図38B)両方のポイントクラウドデータを示す。フィルタリングされたデータは、クレーンがコンテナをシャーシから自律的に取り外し、コンテナをスタッキング領域に移送するために使用するコンテナの正確な場所を提供する。
コンテナをロードシャーシに着地させるプロセスを自動化することは、上記の受け取りよりもはるかに多くの課題をもたらす。異なるシャーシタイプ間の固有のばらつき、ツイストロックに必要な25mmの組み合わせ精度、およびクレーンに取り付けられたスキャナの解像度機能が主な障害である。本発明の実施形態は、適切な着地ソリューションを決定するためにツイストロックを「見る」ことを試みる代わりに、シャーシの幾何学形状および形状を分析することによってこれらの問題に対処する新しいLSTZ自動化ソリューションを提供する。空のシャーシのポイントクラウドデータは前述のように構築され、システムは主要な幾何学的特徴を評価してコンテナの正しい積み込み位置を決定し、空のシャーシにコンテナを配置する。図39A〜Fは、いくつかの異なるシャーシタイプからの走査データを示す。

Claims (59)

  1. ISOコンテナの着地ソリューションを決定する方法であって、
    ターゲット機器またはシャーシを走査して、1つ以上のツイストロックなどの前記ターゲット機器またはシャーシの着地面の特徴が区別可能であるポイントクラウドを生成することと、
    プロセッサによって前記ポイントクラウドを分析して、前記特徴および/またはツイストロックの場所を決定することと、
    前記特徴および/またはツイストロックの場所に基づいて、前記ターゲット機器またはシャーシの前記着地面の中心を決定することと、を含む、方法。
  2. 前記プロセッサが、前記ターゲット機器もしくはシャーシの前記着地面の極小値および極大値、ならびに/またはモデル畳み込みなどの技術を使用して、隆起および陥凹した特徴ならびに/またはツイストロックの場所を決定する、請求項1に記載の方法。
  3. 前記走査することが、1つ以上のカメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせを使用して実行される、請求項1または2に記載の方法。
  4. ターゲット機器の着地面上のオブジェクトに対する着地場所を決定する方法であって、
    コンテナなどの第1のオブジェクトが積み込まれたシャーシなどのターゲット機器を提供することと、
    空間内の前記第1のオブジェクトまたはコンテナの1つ以上の座標を生成することと、
    前記ターゲット機器またはシャーシから前記第1のオブジェクトまたはコンテナを取り除いて、前記ターゲット機器またはシャーシの着地面を明らかにすることと、
    前記ターゲット機器またはシャーシを走査し、前記ターゲット機器またはシャーシ着地面のモデルを生成することと、
    前記第1のオブジェクトまたはコンテナの前記1つ以上の座標に基づいて、前記モデル内の前記ターゲット機器またはシャーシ着地面の中心を決定することにより、前記第1のオブジェクトまたはコンテナの前記ターゲット機器またはシャーシ上の着地場所を決定することと、を含む、方法。
  5. 1つ以上のオブジェクトまたはコンテナオフセットを決定して、前記ターゲット機器またはシャーシ着地面上の付加的な着地場所を識別することをさらに含む、請求項4に記載の方法。
  6. 前記1つ以上のオフセットが、
    1つ以上の第2のオブジェクトまたはコンテナを前記ターゲット機器またはシャーシ着地面に配置することと、
    空間内の前記第2のオブジェクトまたはコンテナの1つ以上の座標を生成することと、
    前記第2のオブジェクトまたはコンテナの前記1つ以上の座標に基づいて、前記第2のオブジェクトまたはコンテナが、前記ターゲット機器またはシャーシ着地面の前記中心からオフセットされる距離を決定することと、によって決定される、請求項5に記載の方法。
  7. 任意の数の着地位置が1つ以上のオフセットから決定され、例えば、前記1つ以上のコンテナオフセットが、前部コンテナオフセット、後部コンテナオフセット、または前部および後部コンテナオフセットの両方を含む、請求項5または6に記載の方法。
  8. 前記第1のオブジェクトまたはコンテナの前記着地場所および前記1つ以上のオフセットを格納して、前記ターゲット機器またはシャーシの前記着地面に対する複数の着地場所を表すモデルのライブラリを作成することをさらに含む、請求項5または6に記載の方法。
  9. 前記生成することが、1つ以上のカメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせを含む、1つ以上の測定デバイスによって実行される、請求項5または6に記載の方法。
  10. 前記ターゲット機器またはシャーシが、無人搬送車両(AGV)シャーシ、AGVラック、爆弾カートシャーシ、鉄道車両、ストリートシャーシ、またはカセットである、請求項5または6に記載の方法。
  11. 前記コンテナが、国際標準化機構(ISO)に従って形状設定およびサイズ設定された輸送コンテナである、請求項5または6に記載の方法。
  12. 前記ターゲット機器またはシャーシ着地面の前記モデルが、データの3Dポイントクラウドによって表される、請求項5または6に記載の方法。
  13. 前記ターゲット機器またはシャーシ着地面の前記モデルが、前記ターゲット機器またはシャーシを1回または複数回、例えば、2〜20回、例えば、3〜18回、または4〜15回、または5〜10回走査することから生成される、請求項5または6に記載の方法。
  14. 前記モデルが、1回走査することから、かつ、高解像度データを達成する方法で走査することによって生成される、請求項5または6に記載の方法。
  15. シャーシなどのターゲット機器の着地面上で、コンテナなどのオブジェクトに対する着地場所を決定する方法であって、
    第1のターゲット機器またはシャーシを走査し、前記第1のターゲット機器またはシャーシのモデルを提供することと、
    前記第1のターゲット機器またはシャーシの前記モデルを1つ以上の基準ターゲット機器またはシャーシと比較して、どの基準ターゲット機器またはシャーシが、選択された一致度内で前記第1のターゲット機器またはシャーシに一致するかを識別することと、
    前記一致する基準ターゲット機器またはシャーシの既知のオブジェクトまたはコンテナ着地場所を、前記第1のターゲット機器またはシャーシのオブジェクトまたはコンテナ着地場所のプロキシとして使用することと、を含む、方法。
  16. 前記コンテナが、ISO輸送コンテナである、請求項15に記載の方法。
  17. 前記走査することが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせのうちの1つ以上を使用して実行される、請求項15または16に記載の方法。
  18. 前記第1のターゲット機器またはシャーシの前記モデル、および前記基準ターゲット機器またはシャーシが、データの3Dポイントクラウドによって表される、請求項15または16に記載の方法。
  19. 前記比較することが、前記第1のターゲット機器またはシャーシの長さの指定された範囲内の長さを有する1つ以上の基準ターゲット機器またはシャーシを識別すること、および/あるいは、ボクセルフィルタを使用して、前記基準ターゲット機器またはシャーシと前記第1のターゲット機器またはシャーシとの間の類似性を識別すること、を含む、請求項15または16に記載の方法。
  20. 前記ボクセルフィルタが、前記3Dデータクラウドの1つ以上の次元にわたってデータを比較する、請求項19に記載の方法。
  21. 前記ボクセルフィルタが、x−、y、および/またはz−値の任意の組み合わせを比較する、請求項19に記載の方法。
  22. 前記一致する基準ターゲット機器シャーシの前記既知のオブジェクトまたはコンテナ着地場所が、
    第1の基準オブジェクトまたはコンテナが積み込まれた基準ターゲット機器またはシャーシを提供することと、
    空間内の前記第1の基準オブジェクトまたはコンテナの1つ以上の座標を生成することと、
    前記第1の基準オブジェクトまたはコンテナを前記基準ターゲット機器またはシャーシから取り除いて、前記基準ターゲット機器またはシャーシの着地面を明らかにすることと、
    前記基準ターゲット機器またはシャーシを走査し、前記基準ターゲット機器またはシャーシ着地面のモデルを生成することと、
    前記第1の基準オブジェクトまたはコンテナの前記1つ以上の座標に基づいて、前記モデル内の前記基準ターゲット機器またはシャーシの前記着地面の中心を決定することにより、前記基準ターゲット機器またはシャーシ上の前記第1の基準オブジェクトまたはコンテナに対する着地場所を決定することと、によって決定される、請求項15または16に記載の方法。
  23. コンテナ荷役機器の動作基準系内のターゲット機器またはシャーシの配向を決定する方法であって、
    基準ターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、
    現在のターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、
    前記基準ターゲット機器またはシャーシデータポイントクラウドをコンテナ荷役機器の動作基準系内の予想される仮想位置に位置づけることと、
    前記基準ターゲット機器またはシャーシの着地面の第1の中心および前記現在のターゲット機器またはシャーシの着地面の第2の中心を、それらのそれぞれのデータポイントクラウド内で推定することと、
    前記第1の中心を前記第2の中心と位置合わせすることによって、第1の位置合わせを実行することと、
    XYZ座標などで、前記第1の中心の場所から前記第2の中心の場所への、前記第1の位置合わせを達成するために必要な任意の平行移動(複数可)を決定することと、
    前記基準ターゲット機器またはシャーシの前記着地面と前記現在のターゲット機器またはシャーシの前記着地面を別の方法で位置合わせすることにより、少なくとも1回の第2の位置合わせを実行することと、
    第2の位置合わせを達成するために必要とされる、XYZ軸(複数可)周囲などの前記基準シャーシデータポイントクラウドの任意の回転(複数可)を決定することと、
    前記平行移動(複数可)および/または回転(複数可)を使用して、前記コンテナ荷役機器の前記動作基準系内の前記現在のターゲット機器またはシャーシの実際の配向を推定することと、を含む、方法。
  24. 前記少なくとも1回の第2の位置合わせの1回以上が、反復最近傍点技術を使用して実行される、請求項23に記載の方法。
  25. 前記現在のターゲット機器またはシャーシを表す前記データポイントクラウドのノイズの多いデータが低減されるか、または除去されて、フィルタリングされた現在のターゲット機器またはシャーシポイントクラウドを提供する、請求項23または24に記載の方法。
  26. 前記フィルタリングされた現在のターゲット機器またはシャーシポイントクラウドの最大および最小測定点が、前記現在のターゲット機器またはシャーシの前記着地面の前記中心を推定するために使用される、請求項25に記載の方法。
  27. ターゲット機器またはシャーシの位置および配向に従って、ISO輸送コンテナのターゲット機器またはシャーシ上の着地位置を識別する方法であって、
    コンテナ荷役機器の基準系に配列されている現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、
    基準ターゲット機器またはシャーシ着地面のポイントクラウドモデルを、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルと位置合わせすることと、
    前記位置合わせの結果として、前記基準系内に一連の座標を生成することであって、前記座標が、前記現在のターゲット機器またはシャーシの前記着地面にISO輸送コンテナを配置するための着地位置を表す、生成することと、を含む、方法。
  28. 前記位置合わせが、
    前記基準ターゲット機器またはシャーシ着地面を、前記コンテナ荷役機器の前記基準系の予想される位置および配向で位置づけること、を含む、請求項27に記載の方法。
  29. 前記位置合わせが、
    前記現在のターゲット機器またはシャーシポイントクラウドモデル内の前記現在のターゲット機器またはシャーシの前記着地面の第1の中心を決定することと、
    前記基準ターゲット機器またはシャーシポイントクラウドモデル内の前記基準ターゲット機器またはシャーシの前記着地面の第2の中心を決定することと、
    前記第1および第2の中心を位置合わせすることにより、進路位置合わせを取得することと、
    前記現在のシャーシポイントクラウドモデルの対応する点と前記基準シャーシポイントクラウドモデルの点との間の距離を反復的に最小化することにより、精密な位置合わせを取得して、前記精密な位置合わせに到達することと、を含む、請求項27または28に記載の方法。
  30. 前記距離を反復的に最小化することが、反復最近傍点(ICP)アルゴリズムを含む、請求項29に記載の方法。
  31. ISO輸送コンテナを保持できるターゲット機器またはシャーシのタイプを識別する方法であって、
    現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、
    前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルを1つ以上の基準ターゲット機器またはシャーシ着地面と比較して、どの基準ターゲット機器またはシャーシ着地面が、選択された一致度内で前記現在のターゲット機器またはシャーシ着地面に一致するかを識別することか、または、
    前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルを分析して、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルが関連付けられているターゲット機器またはシャーシのタイプを識別することか、を含む、方法。
  32. ニューラルネットワークおよび基準ターゲット機器またはシャーシ着地面のサンプルを使用して、一致するターゲット機器またはシャーシクラウドが何であるかを前記ニューラルネットワークに教育することをさらに含む、請求項31に記載の方法。
  33. 前記比較が、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデル、および前記基準ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルのうちの1つ以上から取得したメタデータを比較することを含む、請求項31に記載の方法。
  34. 前記比較することおよび/または分析することが、前記現在のターゲット機器またはシャーシ着地面と前記基準ターゲット機器またはシャーシ着地面のうちの1つ以上との間、かつ/または、前記現在のターゲット機器もしくはシャーシ着地面と既知のターゲット機器またはシャーシ着地面との間の表面特性における類似性または差異を識別するように実行される、請求項31に記載の方法。
  35. 前記比較することおよび/または分析することが、
    連続または不連続面、
    データ異常、
    着地面特徴のタイプ、
    ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの1つ以上の着地面特徴の有無、
    同様の着地面特徴に対して、もしくは互いに対して、もしくは別の基準点に対して、ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの1つ以上の着地面特徴の間隔、
    ガーダ、クロスメンバ、サポート、および/もしくはガイドなどの着地面特徴の実際の、もしくは相対的な形状、寸法(複数可)、および/もしくはサイズ、ならびに/または、
    ベンド、ステップダウン、ワーピング、および/もしくはランプなどの1つ以上の着地面プロファイルの1つ以上の特性、
    またはこれらのうちの1つ以上の組み合わせ、のうちの1つ以上を識別するために実行される、請求項33に記載の方法。
  36. 前記メタデータが、ボクセルフィルタから取得される、請求項33に記載の方法。
  37. 前記ボクセルフィルタが、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルおよび/または前記基準ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルのうちの1つ以上を、それぞれが3D空間をカバーする一連のボックスとして分析するように動作する、請求項36に記載の方法。
  38. 前記メタデータが、
    各ボックス内のいくつかのポイントか、
    X−Y平面のボックスのそれぞれの最大Z座標値か、または、
    特定のボックスが占有されているかどうか、を含む、請求項37に記載の方法。
  39. 前記メタデータが、
    バイナリ類似性比較、
    前記クラウドポイントモデル(複数可)のX−Y平面において視認可能なポイントを有するボックスの数に基づくなどして、クロスメンバおよびそれらの場所を探すこと、
    前記シャーシの前記長さに沿って最大値を測定し、特定のシャーシを定義する、関心対象のそれらの最大値オブジェクトを呼び出すこと、
    またはこれらのうちの1つ以上の組み合わせ、によって比較される、請求項37に記載の方法。
  40. 前記バイナリ類似性比較が、前記基準ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルからの前記メタデータから、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルからのメタデータを差し引いて、各比較のエラーに到達することを含む、請求項39に記載の方法。
  41. 前記メタデータが、バイナリ列比較によって比較される、請求項37に記載の方法。
  42. 前記バイナリ列比較が、
    前記現在のターゲット機器またはシャーシ着地面に関して、かつ、各基準ターゲット機器またはシャーシ着地面に関して、各列の占有ボックスの数を合計して、一連の列合計に到達させることと、
    前記現在のターゲット機器またはシャーシ着地面と各基準ターゲット機器またはシャーシ着地面との間で前記一連の列合計を比較して、各比較のエラーに到達させることと、を含む、請求項41に記載の方法。
  43. コンテナ荷役機器と、
    前記コンテナ荷役機器の上または近くに配置された1つ以上の測定デバイスと、
    1つ以上のプロセッサと、
    請求項1、12、20、24、および28のいずれか一項に記載の方法を実行するために、前記1つ以上のプロセッサに命令するように構成された一連のコンピュータ実行可能命令を含むメモリと、を備える、システム。
  44. 前記メモリが、非一時的なコンピュータ可読記憶媒体に格納される、請求項43に記載のシステム。
  45. 前記1つ以上の測定デバイスが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらのうちの1つ以上の組み合わせを備える、請求項43または44に記載のシステム。
  46. 前記コンテナ荷役機器が、
    モーションコントロールシステムと、
    スプレッダなどのコンテナ持ち上げ装置と、を備える、請求項43または44に記載のシステム。
  47. 前記1つ以上の測定デバイスが、前記コンテナ荷役機器またはその可動部分に配置される、請求項43に記載のシステム。
  48. オブジェクトを着地面に着地させる方法であって、
    ターゲット機器またはシャーシを走査することと、
    前記ターゲット機器またはシャーシのモデルを提供することと、
    前記モデルを1つ以上の基準機器またはシャーシと比較することと、
    前記1つ以上の基準機器またはシャーシのどれが、選択された一致度内で前記ターゲット機器またはシャーシに一致するかを識別することと、
    前記一致する基準機器またはシャーシ上の既知の着地場所の高さをプロキシとして使用して、前記ターゲット機器またはシャーシ上のターゲット着地場所の高さを決定することと、
    オブジェクトまたはコンテナをある速度で降ろすことによって、前記オブジェクトまたは前記コンテナを前記ターゲット着地場所に着地させることと、次いでプロキシによって決定されたとおり、前記オブジェクトまたはコンテナが前記ターゲット着地場所の高さに近づくにつれて前記速度を下げることと、を含む、方法。
  49. 前記オブジェクトまたはコンテナが、ISO輸送コンテナである、請求項48に記載の方法。
  50. 前記走査することが、カメラ、LiDAR、ソナー、もしくは光学センサ、またはそれらの組み合わせのうちの1つ以上を使用して実行される、請求項48または49に記載の方法。
  51. 前記ターゲット機器またはシャーシおよび前記基準機器またはシャーシの前記モデルが、データの3Dポイントクラウドによって表される、請求項48または49に記載の方法。
  52. 前記比較することが、前記ターゲット機器またはシャーシの長さの指定された範囲内の長さを有する1つ以上の基準機器またはシャーシを識別すること、および/あるいは、ボクセルフィルタを使用して前記基準機器またはシャーシと前記ターゲット機器またはシャーシとの間の類似性を識別すること、を含む、請求項48または49に記載の方法。
  53. 前記ボクセルフィルタが、前記3Dデータクラウドの1つ以上の次元にわたってデータを比較する、請求項52に記載の方法。
  54. 前記ボクセルフィルタが、x−、y−、および/またはz−値の任意の組み合わせを比較する、請求項52に記載の方法。
  55. ISO輸送コンテナをターゲット機器またはシャーシ上に着地させる方法であって、
    コンテナ荷役機器の基準系に配列されている現在のターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、
    基準機器またはシャーシの着地面のポイントクラウドモデルを、前記現在のターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルと位置合わせすることと、
    前記位置合わせの結果として、前記基準系内に一連の座標を生成し、これにより、座標が、前記現在のターゲット機器またはシャーシの前記着地面にISO輸送コンテナを配置するための、そのターゲット着地場所、およびその高さを表すことと、
    前記ISO輸送コンテナをある速度で降ろすことによって、前記ISO輸送コンテナを前記現在のターゲット機器またはシャーシの前記着地面に着地させることと、次いで前記ISO輸送コンテナが前記ターゲット着地場所の高さに近づくにつれて前記速度を下げることと、を含む、方法。
  56. 前記位置合わせが、
    前記基準機器またはシャーシの着地面を、前記コンテナ荷役機器の前記基準系内の予想される位置および配向で位置づけることを含む、請求項55に記載の方法。
  57. ISO輸送コンテナを着地させる方法であって、
    ターゲット機器またはシャーシ着地面のポイントクラウドモデルを取得することと、
    前記ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルを1つ以上の基準機器またはシャーシ着地面と比較して、どの基準機器またはシャーシ着地面が、選択された一致度内で前記ターゲット機器またはシャーシ着地面に一致するかを識別することか、または、
    前記ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルを分析して、前記ターゲット機器またはシャーシ着地面の前記ポイントクラウドモデルが関連付けられている機器またはシャーシのタイプを識別することと、
    前記ターゲット機器またはシャーシの前記着地面の少なくとも高さを決定することと、
    ISO輸送コンテナをある速度で降ろすことによって、前記ISO輸送コンテナを前記ターゲット機器またはシャーシの前記着地面に着地させることと、次いで前記ISO輸送コンテナが前記ターゲット機器またはシャーシの前記着地面の高さに近づくにつれて前記速度を下げることと、を含む、方法。
  58. オブジェクトまたはコンテナを着地面に着地させる方法であって、
    基準機器またはシャーシを表すデータポイントクラウドを提供することと、
    ターゲット機器またはシャーシを表すデータポイントクラウドを提供することと、
    前記基準機器またはシャーシデータポイントクラウドを、コンテナ荷役機器の動作基準系内の予想される仮想位置に位置づけることと、
    前記基準機器またはシャーシの着地面の第1の中心および前記ターゲット機器またはシャーシの着地面の第2の中心を、それらのそれぞれのデータポイントクラウド内で推定することと、
    前記第1の中心を前記第2の中心と位置合わせすることによって、第1の位置合わせを実行することと、
    XYZ座標などで、前記第1の中心の場所から前記第2の中心の場所への、前記第1の位置合わせを達成するために必要な任意の平行移動(複数可)を決定することと、
    前記基準機器またはシャーシの前記着地面と前記ターゲット機器またはシャーシの前記着地面を別の方法で位置合わせすることにより、少なくとも1回の第2の位置合わせを実行することと、
    前記第2の位置合わせを達成するために必要とされる、XYZ軸(複数可)の周囲などの前記基準シャーシデータポイントクラウドの任意の回転(複数可)を決定することと、
    前記平行移動(複数可)および/または回転(複数可)を使用して、前記ターゲット機器またはシャーシの前記着地面の実際の高さを推定することと、
    オブジェクトまたはコンテナをある速度で降ろすことによって、前記オブジェクトまたはコンテナを前記ターゲット機器またはシャーシの前記着地面に着地させることと、次いで前記オブジェクトまたはコンテナが前記ターゲット機器またはシャーシの前記着地面の高さに近づくにつれて前記速度を下げることと、を含む、方法。
  59. 前記オブジェクトまたはコンテナが、ISO輸送コンテナである、請求項58に記載の方法。
JP2020527896A 2017-11-24 2018-11-23 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景 Pending JP2021504262A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022208441A JP2023040090A (ja) 2017-11-24 2022-12-26 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762590443P 2017-11-24 2017-11-24
US62/590,443 2017-11-24
US201862626990P 2018-02-06 2018-02-06
US62/626,990 2018-02-06
PCT/US2018/062394 WO2019104251A1 (en) 2017-11-24 2018-11-23 Methods and systems for generating landing solutions for containers on landing surfaces

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022208441A Division JP2023040090A (ja) 2017-11-24 2022-12-26 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景

Publications (1)

Publication Number Publication Date
JP2021504262A true JP2021504262A (ja) 2021-02-15

Family

ID=66631157

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020527896A Pending JP2021504262A (ja) 2017-11-24 2018-11-23 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景
JP2022208441A Pending JP2023040090A (ja) 2017-11-24 2022-12-26 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022208441A Pending JP2023040090A (ja) 2017-11-24 2022-12-26 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景

Country Status (5)

Country Link
US (1) US11873195B2 (ja)
EP (1) EP3713866A4 (ja)
JP (2) JP2021504262A (ja)
CN (1) CN111587215A (ja)
WO (1) WO2019104251A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750842B1 (de) 2019-06-11 2021-10-20 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem
US11574085B2 (en) * 2019-11-07 2023-02-07 Consulting Engineers, Corp. Method and system for identifying conflicts in a floor joist and wall panel vertical interface
JP7259165B2 (ja) * 2020-01-15 2023-04-18 株式会社日立プラントメカニクス 出荷トレーラへのコイルの自動積載方法
CN111302226B (zh) * 2020-05-11 2020-08-25 上海驭矩信息科技有限公司 基于专家系统的集装箱自动着箱装置及其控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2724972A1 (de) * 2012-10-25 2014-04-30 Lase GmbH Industrielle Lasertechnik Verfahren zur Bestimmung der Position, in der ein ISO-Container auf ein Trägerfahrzeug aufzusetzen ist, sowie 3D-Laserscan-Messanlage dafür

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3606363C2 (de) 1986-02-27 1995-04-13 Vulkan Kocks Gmbh Einrichtung zur Bestimmung der Lage eines Fahrzeugs relativ zu einer Container-Hebevorrichtung
GB2276507B (en) 1993-03-25 1996-02-14 Port Of Singapore Authority An alignment system
JPH08101008A (ja) 1994-09-29 1996-04-16 Asia Marine Kk 車両の位置決め装置
DE60005598D1 (de) * 1999-06-04 2003-11-06 Robert Dennison Sattelaufliegeranhänger
US7123132B2 (en) 2001-10-26 2006-10-17 Abb Ab Chassis alignment system
NL1029188C2 (nl) * 2005-06-03 2006-12-05 Vlastuin Rolling Equipment B V Chassis.
FI118698B (fi) 2007-03-02 2008-02-15 Kalmar Ind Oy Ab Kontinkäsittelylaitteen paikoitusjärjestelmä
US7725287B2 (en) 2007-07-27 2010-05-25 Tm Ge Automation Systems, Llc System and method for using structured shapes to increase laser scanner accuracy
DE102007055316A1 (de) 2007-08-02 2009-02-05 Siemens Ag Verfahren zur rechnergestützten Bestimmung der Auflageposition einer Last auf einem Lastaufnahmemittel
DE102008014125A1 (de) 2007-08-14 2009-02-26 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Lokalisierung eines Objekts
AU2010260462B2 (en) * 2009-06-18 2015-10-22 International Transport Equipment Corporation Intermodal tank transport system, components, and methods
WO2011027305A1 (en) * 2009-09-01 2011-03-10 Peter Geoffrey Bennetto A freight carrier
EP2327652B1 (de) 2009-11-30 2012-09-19 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Position und Orientierung eines dreidimensionalen Objekts, Steuerungsprogramm und Postionierungserfassungssystem
DE102009060513B4 (de) * 2009-12-23 2013-11-14 Siemens Aktiengesellschaft Verfahren zur Ausrichtung eines Zugfahrzeugs, Steuerungsprogramm und Zielführungssystem
US8452527B2 (en) 2010-10-11 2013-05-28 Containertrac, Inc. Method of automatic positioning for loading and unloading of container ships in container terminals
CA2831901C (en) 2011-04-13 2014-09-16 Tmeic Corporation Container handler alignment system and method
US9171277B2 (en) * 2011-05-04 2015-10-27 Victaulic Company Generation of plans for loading and unloading a container
EP2574587B1 (de) 2011-09-30 2014-06-25 Siemens Aktiengesellschaft Verfahren zur Bestimmung einer Zielposition für ein Containergeschirr und Containergeschirr
KR101699672B1 (ko) 2013-08-12 2017-01-24 에이비비 테크놀로지 리미티드 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
ES2627498T3 (es) * 2014-09-24 2017-07-28 Siemens Aktiengesellschaft Método para la determinación óptica, automática, de una posición objetivo para un dispositivo de elevación de contenedores
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
CA2988326C (en) * 2015-06-11 2023-10-03 Queen's University At Kingston Automated mobile geotechnical mapping
US9912862B2 (en) * 2016-02-29 2018-03-06 Aquifi, Inc. System and method for assisted 3D scanning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2724972A1 (de) * 2012-10-25 2014-04-30 Lase GmbH Industrielle Lasertechnik Verfahren zur Bestimmung der Position, in der ein ISO-Container auf ein Trägerfahrzeug aufzusetzen ist, sowie 3D-Laserscan-Messanlage dafür

Also Published As

Publication number Publication date
JP2023040090A (ja) 2023-03-22
US11873195B2 (en) 2024-01-16
EP3713866A1 (en) 2020-09-30
CN111587215A (zh) 2020-08-25
US20200369493A1 (en) 2020-11-26
WO2019104251A1 (en) 2019-05-31
EP3713866A4 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
JP2021504262A (ja) 着地面上のコンテナのための着地ソリューションを生成するための方法およびシステム背景
EP3683721B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
US10328578B2 (en) Methods and systems for detecting, recognizing, and localizing pallets
CN105431370B (zh) 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和系统
CN110054121B (zh) 一种智能叉车以及容器位姿偏移检测方法
DE112019000172T5 (de) Ein Robotersystem mit automatisiertem Paketabtast- und Registrierungsmechanismus und Verfahren zum Betreiben dieses Systems
CN106573381A (zh) 卡车卸载机可视化
CN107390679A (zh) 存储设备、激光导航叉车
CN110837814A (zh) 车辆导航方法、装置及计算机可读存储介质
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN108897246B (zh) 堆箱控制的方法、装置、系统及介质
CN113165853A (zh) 将集装箱装载在着落目标上的系统和方法
US10697757B2 (en) Container auto-dimensioning
CN115546300A (zh) 紧密摆放的托盘位姿识别方法和装置、计算机设备、介质
CN113658255A (zh) 集装箱堆存位置自动识别系统及识别方法
CN115180512B (zh) 基于机器视觉的集装箱卡车自动装卸方法及系统
CN112581519A (zh) 一种放射性废物包识别定位方法与装置
EP4116941A2 (en) Detection system, processing apparatus, movement object, detection method, and program
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN115586552A (zh) 一种港口轮胎吊或桥吊下无人集卡精确二次定位方法
CN115909204A (zh) 一种基于集装箱吊具检测的车辆运动策略确定方法及装置
CN115057362A (zh) 集装箱装卸引导方法、装置、系统、设备及集装箱起重机
WO2023151603A1 (zh) 货箱存放方法和机器人
US20230400858A1 (en) Identifying transport structures
CN116385533A (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230421