現代の製造は、概して、それを通して、仕掛品が、仕掛品を搬送する、輸送の手段、例えば、コンベヤベルト、ローラステージ、車両(フォークリフト、カート、または台車等、誘導される、自律的である、または人間によって制御または運転される)、または作業セルの間を歩行または運転する人間によって移動される、固定された作業セルにおける製造プロセス(溶接、塗装、および組立等)のセットの逐次的実行を伴う。製造に関する単純かつ周知の配列は、組立ラインであり、作業セルは、ライン内に配列され、固定された経路を通して仕掛品(「ワークピース」)を移動させるコンベヤベルトまたはチェーンラインを通して接続される。あまり一般的ではない代替物は、ワークピースが作業セル内に留まり、製造プロセスが定位置で実施され、部品およびツールが逐次的製造ステップのために必要に応じて作業セルに進行するものである。本配列は、製造されているアイテムが大きい、または重すぎて作業セルの間で移動させることができない状況において一般的である。
なおも別の配列は、セル製造と呼ばれ、作業セルは、ワークピース通過時間、部品送達、または作業命令の混合等の因子を最適化するために、工場床の周囲に柔軟に配列される。セル製造では、個々の作業セルは、「柔軟」である、すなわち、ある時間周期において生産されている製品の混合に従って、異なるワークピースに対して異なるプロセスステップを実施することが可能であり得、いくつかの作業セルは、個々のワークピースに対していくつかの逐次的ステップを実施し得る。セル製造は、工場レイアウトおよびワークフローが、迅速またはさらには動的に再構成され得るため、作業命令の変動が多い工場において特に有利である。
各作業セルは、関連するプロセスステップのために必要な機械類および固定具を含む。例えば、塗装作業セルは、塗装ロボット、塗料分注および保護機器、および塗装されるアイテムを装填および装填解除するために必要な工具を有し得る。塗装作業セルはまた、作業セル内の機器を起動および管理するようにプログラムされ得る、コンピュータまたは電子制御システムを含む可能性が高いであろう。組立作業セルは、組み立てられるべきワークピースを保持するために必要な固定具、機械または人間が組立ステップを実行するためのツール、およびワークピースを作業セルから出し入れするためのコンベヤまたは装填機器を有し得る。同様に、ミリング作業セルは、手動または自動的のいずれかで、ミリング機械を装填および装填解除するための固定具および機器とともに、その中心にミリング機械を有し得る。ミリング機械は、ワークピースに対して必要な動作を統御する、コンピュータ化数値制御システムを有する可能性が高いであろう。
作業セルは、完全に自動化され、それによって、ワークピースの装填および装填解除および製造ステップは全て、機械によって実施されるか、完全に手動であり、全てのステップは、人間(手または電動ツールを使用する可能性が高い)によって実行されるか、またはその間の何らかのものであり得、例えば、機械が、人間によって装填または装填解除される、または人間が、機械によって扱われている部品に対して製造ステップを実行する。自動化レベルは、絶えず増加しているが、人間は、依然として、工場床を支配し、工場タスクの大部分は、人間によって実施される。
工場または製造現場は、いくつかの作業セルのみから成ることができる(例えば、単純な塗装部門)、またはこれは、それぞれ、自動車工場におけるもの等の製造ステップを実装する、数百の作業セルを有することができる。作業セルは、相互に隣接し得、したがって、仕掛品は、作業セルから作業セルに(例えば、コンベヤベルト、ガイドレール、または重力シュートを介して)渡される、または作業セルは、代わりに、人間または車両が通過することを可能にするためのレーンによって分離されることができる。時として、あるタイプの作業セル(例えば、溶接または塗装作業セル)は、物理的空間内でともに群化され、したがって、塗装または溶接される必要がある全てのワークピースは、塗装または溶接部門から出し入れされる。
工場プロセスフローおよび生産プロファイルは、製造実行システム(MES)または他の工場制御システムを使用して、コンピュータを介して制御されることが増えている。工場制御システムは、それらが動作しているかどうか、それらの生産率、障害状態、保守要件、および他のインジケータ等の作業セルからの工場床レベル状態情報を集約する。より広範には、MESは、工場においてだけではなく、また、倉庫または配送センター等の多数のアイテムおよび機器の状態および条件を追跡することが必要である他の用途においても使用される。倉庫または配送センターにおけるMESシステムの同等物は、倉庫管理システム(WMS)として公知である。WMSは、保管中の商品の場所および可用性により焦点を当てるが、また、ピッキングステーションまたはパレタイザ等の倉庫内で使用される特殊化作業セルの状態を追跡する。
最も低いレベルにおいて、本情報は、作業セル内、作業セル内の機械内、または仕掛品(または倉庫内の進行中の商品)を含有する面積内のフィールドセンサおよびアクチュエータによって収集される。これらのセンサおよびアクチュエータは、位置、圧力、温度、重量、運動、振動、またはそれから機械の状態が確認され得るインジケータの不在または存在に関する情報を連続的に収集し得る。本情報はまた、作業空間内の人間によって提供されることができ、人間は、機械類および仕掛品の状態を確認し、その情報を工場床上の人間-機械インターフェースを介して提供することができる。
センサおよびアクチュエータによって、または人間によって収集されたこれらの低レベルデータ点は、次いで、プログラマブル論理コントローラ(PLC)または産業マイクロコントローラユニット等の周辺デバイスを通して、監督制御およびデータ入手(SCADA)システムに集約される。SCADA(または同等の)システムは、本情報を収集し、分析し、MESシステムに提示し、グラフィカルおよび他のユーザインターフェースを通して工場オペレータおよび作業者に提示し、それらの人々が個々の作業セルおよび製造工場全体の状態を確認し、それに応答することを可能にする。倉庫では、SCADAシステムは、例えば、バーコード走査装置および物体識別センサおよびアクチュエータを使用して、在庫管理およびアイテム追跡により焦点を当て得る。
算出性能の増加およびセンサおよび作動費用の激減は、これらのSCADAおよびMESシステムの採用を加速させ、事実上、製造プラットフォームを「よりスマート」にしている。知覚、能動、およびコンテキストアウェア製造制御システムを導入することによって生産を編成するための本モデルは、多くの場合、「インダストリ4.0」と称される。開ループの低データ強度静的製造プロセスの代わりに、増加するコンピュータ化制御のレベルは、工場床上の自動化および自律性を導入している。そのような自動化および自律性は、個々の製造ステップまたは作業セルが、サービスと見なされ得るように、工場床にコンテキストアウェアネスを追加する。これらのサービスは、次いで、可能性として恣意的な方法で組み合わせられ、小ロットサイズであっても、または高い製品変動性を伴っても、柔軟かつ費用効果のある製造を可能にすることができる。セル組立は、これが、仕掛品が無人輸送システムまたは自律的可動ロボット上で作業セルの間で往復される多方向レイアウトを可能にするため、自動化から特に利益を享受することができる。組立ラインの固定されたコンベヤの代わりに、自律的輸送システムは、レーザ走査装置、無線周波数識別(RFID)技術、基準、または他の誘導およびマッピング技術によって作業セルの間で誘導される。そのようなアプローチは、迅速な組立レイアウト変更および柔軟な製造を可能にする。
上記のように、代替製造配列は、仕掛品が、いくつかのステップにおいて定常のままであり、作業を実施する機械および人間が、自律的である、または人間によって運転され得る可動デバイス上で作業セルにもたらされるものである。例えば、自動車組立では、自動車本体は、単一の場所に留まることができる一方、可動ロボットアーム(単純に、自律車両上に搭載されるロボットであり得る)が、車両上に搭載されるべき部品(タイヤ、扉、または機関ブロック等)を搬送する可動車両とともに、作業セルに接近する。可動ロボットは、可能性として人間と協働して、そのタスクを実施し、次いで、別の自動車本体を伴う別の作業セルに続けて移動することができる。極端に言えば、作業セル自体が、可動性であり、製造タスクを実施すると同時に、工場の周囲の仕掛品を付加的定常作業セルに往復させることができる。
自動車製造業者等の資本財製造業者は、自動車モデルの多様性の問題に対する解決策として、これらのセル製造概念を実験している。単一のモデルが、セダン、ハッチバック、およびコンバーチブルバージョンにおいて利用可能であり得るが、また、ディーゼル、プラグインハイブリッド、またはさらには電気等の異なるパワートレインにおいて利用可能であり得る。いくつかのモデルは、電気システムを配線する、または暖房シートまたはサンルーフ等の顧客特有オプションを配設するためにより多くの時間を要求する。本余分な時間は、ラインが、最も遅い製造作業セルステップとともに移動するため、作業セルが相互に隣接し、仕掛品を引動するコンベヤベルトまたはチェーンと接続される従来的組立ラインを減速させる。さらに、これらの顧客特有作業セル内の作業者および機械は、組立ラインに流れてきた自動車が、サンルーフ等の具体的オプションを要求しないとき、アイドル状態のままである。セル組立は、車両を空いているワークステーションに一定のペースで向け直すことによって、ラインを高速化し、アイドル時間を低減させることができる。
倉庫オペレータもまた、自動化の度合いを増加させており、自動化回収および保管システム、コンベヤ、自動化ピッキングステーション、パレタイザ、およびデパレタイザに加えて、多数の自動化誘導または自律車両およびロボットを導入している。これらの増加する自動化のレベルは、倉庫内の人間および機械が、今後ますます相互に近接近して相互作用し、WMSが、機器および在庫だけではなく、また、倉庫内の人間も管理する必要性が存在することを意味する。
これらの高度なSCADAおよびMES工場および倉庫制御システムは、より強力であり、柔軟であり、普及したものになっているが、それらの焦点は、工場床上の(可動および固定両方の)機械類および機器に当てられており、監視されている機械とともに、かつそれに隣り合って作業する人間、または人間と機械との間の相互作用に当てられていない。工場床における製造作業セルおよび仕掛品輸送の圧倒的大部分は、依然として、人間による入力および労力を要求する。人間は、高頻度において、機械を装填および装填解除し、機械の支援を受けて製造動作を実行し、工場の周囲でワークピースを移動させている。「消灯された」工場または倉庫床(動作の間に人間による入力を要求しない)であっても、保守、障害復旧、または機器アップグレードのために人間を「消灯された」空間に定期的に進入させる。
産業機械類は、多くの場合、人間にとって危険であるため、人間への害を防止することに対する最も一般的なアプローチは、防護として公知の機器を使用して、人間および機器を分離した状態に保つことである。1つの非常に単純かつ一般的なタイプの防護は、機械類を囲繞するケージであり、ケージの扉を開放することが、電気回路に、機械類を運転停止させるように構成される。これは、人間が、これが動作している間に機械類に決して接近し得ないことを確実にする。より洗練されたタイプの防護は、例えば、光学センサを伴い得る。実施例は、任意の物体が1つ以上の光エミッタおよび検出器によって定義された領域の中に侵入したかどうかを決定する、光カーテン、およびセンサから発出する一連の光線に沿った障害物までの最小距離を検出するために能動的光学感知を使用し、したがって、事前構成された2D区域の中への近接または侵入のいずれかを検出するように構成され得る、2D LIDARセンサを含む。ロボット安全コントローラの進歩は、静的および動的安全領域のより洗練されたプログラミングを可能にし、より近接する人間-機械相互作用を可能にしている。
協働的ロボットと併用されるもの等のいくつかのアプローチは、力、トルク、または容量センサを通して機械との衝突を検出すること、能動的または受動的応従性を通して力を限定すること、機械またはロボット速度を限定すること、または機械類上の危険な衝打区域またはピンチポイントにクッションを備える、またはパッドを入れることに依拠する。しかしながら、これらのアプローチのいずれも、衝突を防止せず、安全システムにおけるそれらの実行可能性および有用性を限定する。
移動車両(人間によって動作される、および無人の両方であり、測位システムを介して誘導される、または完全に自律的であり得る)は、それらが、関連のあるとき、例えば、商品搬送機を装填または装填解除する、またはフォークリフトに進入するとき、車両へのアクセスを可能にしながら、工場床上の人間との意図せぬ衝突を防止しなければならないため、特別な問題を課す。いくつかの解決策が、可動車両と人間との間の安全な相互作用のために開発されている。最も単純なアプローチは、人間の周囲で動作する可動プラットフォームの速度に対して厳密な上限を設け、それらが、人間に到達する前に停止し得る、または人間が、機械との衝突を回避するために十分に迅速に反応し得るように、十分に遅い速度で進行することである。しかしながら、車両が、安全のためのオンボード感知を有し、その感知が、角を曲がった所を見ることができない場合、動作空間内の障害物は、人間が、車両に近接して出現することを可能にし、車両が安全に進行し得る最高速度を実質的に低減させ得る。
他のアプローチは、車両または周辺環境のいずれかの上に搭載される、受動的警告信号または能動的感知を伴う。受動的アプローチは、移動車両を囲繞する面積内の人間によって聞こえ得る可聴信号または車両の経路の前方および後方にビームを投影し、その存在を人間にアラートするために移動車両上に搭載される警告スポットライトを含む。より情報が豊富な受動的警告システムは、2Dカメラの使用であり、これは、車両(例えば、人間が動作させるフォークリフト)上または遠隔のいずれかの車両運転者によって監視されることができる。これらの受動的アプローチは全て、限界を有する。可聴信号は、騒音の大きい工場床上の人間に聞こえない場合があり、視覚信号は、十分に明るくない場合がある、または機器または固定具によってオクルードされる場合があり、2Dカメラは、危険条件をトリガするために一定のオペレータの注意に依拠し、したがって、事故を防止するそれらの能力において限定される。
能動的アプローチは、人間オペレータが工場床上にいる間に装着する、RFIDタグまたは他の応答機方法の使用を含む。車両上または周辺環境上の受信機は、これらのRFIDタグまたは応答機を検出し、衝突または危険な状況が迫っているときに人間または車両にシグナリングすることができる。他のアプローチは、通常、移動車両の前部および後部上に、またはその角に搭載される、レーダ、LIDAR、または超音波技術に基づく。
これらの2Dアプローチは全て、3Dにおいて侵入を明確に検出するそれらの能力によって限定され、温度変化および照明等の周囲条件に非常に敏感である。さらに、それらの視野は、移動車両上のそれらの配向および配設によって限定される。移動車両の角に設置される前向き2D LIDAR(2D LIDARの頻繁な用途)は、その視界内にあるものしか「見る」ことができず、車両の後方または角を曲がった所を見ることができない。また、これは、2Dにおいてのみそのように行うことができるため、その視野の上方または下方からの障害物の進入は、検出されずにいるであろう。これらのビジョン視野制約およびオクルージョンは、車両の動作速度を限定し、効率およびサイクル時間を低減させる。
別のアプローチは、障害物追跡および識別のために、移動車両上の2Dまたは3Dカメラを利用する。カメラを使用する既存のビジョンベースのシステムは、人間がオクルードされず、十分に分離され、明確に可視であるときに良好に稼働する。うつ伏せになる、屈む、または機械類または他の人間によって部分的にオクルードされる人間は、識別および追跡することがはるかに困難である。ステレオおよびRGBカメラもまた、温度、採光、または振動等の環境条件の変化からの性能変動が生じやすい。
必要とされるものは、人間および固定および可動機械類を含む作業空間内、および異なる作業セル間の全ての物体を確実かつ安全に検出、分類、および追跡するためのシステムおよび方法である。本検出、分類、および追跡は、それらが、工場または倉庫のもう1つの要素として工場または倉庫制御システムに組み込まれ得るように、3Dであり、全ての方向からのものであり、動的オクルージョンを考慮するべきである。これは、工場または倉庫内の機械が、人間の近接を「感知」し、(例えば)運転停止する、停止する、またはそれらの存在を人間にアラートすることによって、人間の存在に安全に応答することを可能にするであろう。
以下の議論では、作業空間を監視し、安全目的のためにその中の領域を分類し、安全状態を動的に識別するための統合システムを説明する。ある場合には、後者の機能は、作業空間内のロボットの意味論分析およびこれが相互作用するワークピースの識別を伴う。しかしながら、これらの種々の要素が、別個に、または所望の組み合わせでともに実装され得、本明細書に議論される発明的側面が、説明される要素の全てを要求するわけではなく、これが、単に、提示を容易にするために、およびそれらの相互運用性を例証するためにともに記載されることを理解されたい。説明されるようなシステムは、単に、一実施形態を表す。
1.作業セル監視
最初に、1021および1022に代表的に示される複数のセンサによって監視される、代表的3D作業セル100を図示する、図1を参照する。センサ102は、理想的には、高フレームレート(例えば、30Hz~100Hz)を伴うカメラ、例えば、3D飛行時間カメラ、ステレオビジョンカメラ、または3D LIDARセンサまたはレーダベースのセンサ等の従来の光学センサであってもよい。センサ102の動作モードは、作業セル100の3D表現がセンサ102によって取得される画像または他のデータから取得可能である限り、重要ではない。図に示されるように、センサ102は、集合的に網羅し、従来のロボットコントローラ108によって制御されるロボット106を含む作業セル100を監視することができる。ロボットは、種々のワークピースWと相互作用し、作業セル100内の人物Pは、ワークピースおよびロボット108と相互作用し得る。作業セル100はまた、補助機器110の種々のアイテムを含有し得、これは、センサからその種々の部分をオクルードすることによって作業セルの分析を複雑にし得る。実際に、センサの任意の現実的な配列は、高頻度において、アクティブな作業セルの少なくとも一部を「見る」ことができないであろう。これは、図1の簡略化された配列に図示され、人物Pの存在に起因して、ロボットコントローラ108の少なくとも一部は、全てのセンサからオクルードされ得る。人々が横断し、定常物体でさえも時々移動され得る環境では、観察不可能な領域は、偏移および変動するであろう。
図2に示されるように、本発明の実施形態は、作業セル領域を占有、非占有(または空)、または未知として分類する。図示を容易にするために、図2は、2次元における作業セル200内の2つのセンサ2021、2022およびそれらのカバレッジの区域2051、2052を示し、同様に、3D物体の2D占有面積210のみが、示される。物体境界とセンサ200との間のカバレッジ区域205の一部は、各センサが、本介在空間内にいかなる障害物も肯定的に検出しないため、非占有としてマーキングされる。物体境界における空間は、占有としてマーキングされる。物体境界を越えたカバレッジ区域205では、全ての空間が、未知としてマーキングされ、対応するセンサは、本領域内の占有を感知するように構成されるが、介在する物体210のため、そうすることができない。
図1を再び参照すると、各センサ102からのデータが、制御システム112によって受信される。典型的には、立体の円錐である各センサによって網羅される空間のボリュームは、任意の好適な方式で表されてもよく、例えば、空間は、小さい(例えば、5cm)立方体または「ボクセル」の3Dグリッドまたは他の好適な形態のボリューム表現に分割されてもよい。例えば、作業セル100は、2Dまたは3D光線追跡を使用して表されてもよく、センサ102から発出する2Dまたは3D光線の交差部が、作業セル100のボリューム座標として使用される。本光線追跡は、動的に、または作業セル100内の物体が制御システム112によって先に識別および捕捉される、事前算出されたボリュームの使用を介して実施されることができる。提示の便宜のために、続く議論は、ボクセル表現を仮定し、制御システム112は、ボクセルレベルにおいて作業セル100の内部表現を維持し、ボクセルは、占有、非占有、または未知としてマーキングされる。
図3は、汎用コンピュータ上で実装され得る、制御システム112の代表的実施形態をより詳細に図示する。制御システム112は、中央処理ユニット(CPU)305と、システムメモリ310と、1つ以上の不揮発性大容量記憶デバイス(1つ以上のハードディスクおよび/または光学記憶ユニット等)312とを含む。システム112はさらに、それにわたってCPU305、メモリ310、および記憶デバイス312が、相互と、およびキーボードまたはマウス等の従来的入力デバイスを含み得る、ディスプレイ320および周辺機器322等の内部または外部入力/出力(I/O)デバイスと通信する、双方向性システムバス315を含む。制御システム112はまた、無線送受信機325と、1つ以上のI/Oポート327とを含む。送受信機325およびI/Oポート327は、ネットワークインターフェースを提供してもよい。用語「ネットワーク」は、本明細書では、コンピュータまたは電気通信デバイス(有線または無線電話、タブレット等)の有線または無線ネットワークを内包するように広く使用される。例えば、コンピュータネットワークは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)であってもよい。LANネットワーキング環境内で使用されるとき、コンピュータは、ネットワークインターフェースまたはアダプタを通してLANに接続されてもよく、例えば、監督者が、ネットワークを無線で繋ぐタブレットを使用して制御システム112との通信を確立してもよい。WANネットワーキング環境内で使用されるとき、コンピュータは、典型的には、モデムまたは他の通信機構を含む。モデムは、内部または外部であってもよく、ユーザ入力インターフェースまたは他の適切な機構を介してシステムバスに接続されてもよい。ネットワーク化されたコンピュータは、インターネット、イントラネット、エクストラネット、イーサネット(登録商標)、または通信を提供する任意の他のシステムを経由して接続されてもよい。いくつかの好適な通信プロトコルは、例えば、TCP/IP、UDP、またはOSIを含む。無線通信に関して、通信プロトコルは、IEEE 802.11x(「Wi-Fi」)、Bluetooth(登録商標)、ZigBee、IrDa、近距離無線通信(NFC)、または他の好適なプロトコルを含んでもよい。さらに、本システムの構成要素は、有線または無線経路の組み合わせを通して通信してもよく、通信は、コンピュータおよび電気通信ネットワークの両方を伴ってもよい。
CPU305は、典型的には、マイクロプロセッサであるが、種々の実施形態では、マイクロコントローラ、周辺集積回路要素、CSIC(特定顧客向け集積回路)、ASIC(特定用途向け集積回路)、論理回路、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、PLD(プログラマブル論理デバイス)、PLA(プログラマブル論理アレイ)等のプログラマブル論理デバイス、RFIDプロセッサ、グラフィックス処理ユニット(GPU)、スマートチップ、または本発明のプロセスのステップを実装することが可能である任意の他のデバイスまたはデバイスの配列であってもよい。
システムメモリ310は、一連のフレームバッファ335、すなわち、デジタル形態において(例えば、ピクセルまたはボクセルとして、または深度マップとして)、センサ102によって取得された画像を記憶するパーティションを含有し、データは、実際には、上記に議論されるようなI/Oポート327および/または送受信機325を介して着信し得る。システムメモリ310は、CPU305の動作および他のハードウェア構成要素とのその相互作用を制御する、モジュールの群として概念的に例証される命令を含有する。オペレーティングシステム340(例えば、Windows(登録商標)またはLinux(登録商標))が、メモリ配分、ファイル管理、および大容量記憶デバイス312の動作等の低レベル基本システム機能の実行を指示する。より高いレベルでは、下記により詳細に説明されるように、分析モジュール342が、フレームバッファ335内に画像を登録し、それらを分析し、監視される作業セル100の領域を分類する。分類の結果は、空間マップ345内に記憶されてもよく、これは、本明細書に説明されるように、空間マップ内に標識化された各ボクセル(または他の表現の単位)を伴う作業セル100のボリューム表現を含有する。代替として、空間マップ345は、単純に、ボクセルの3Dアレイであってもよく、ボクセル標識が、別個のデータベース内(メモリ310内または大容量記憶装置312内)に記憶される。
制御システム112はまた、350に集合的に示される従来の制御ルーチンを使用して、作業セル100内の動作または機械類を制御してもよい。下記に解説されるように、作業セルの構成、その結果、そのボクセル表現と関連付けられる分類は、人物および/または機械が動き回る際に経時的に明確に変化し得、制御ルーチン350は、高レベルの安全性を達成するために、機械類を動作させる際にこれらの変化に応答し得る。システムメモリ310内のモジュールは全て、限定ではないが、C、C++、C#、Ada、Basic、Cobra、Fortran、Java(登録商標)、Lisp、Perl、Python、Ruby等の高レベル言語または低レベルアセンブリ言語を含む、任意の好適なプログラミング言語でプログラムされてもよい。
1.1 センサ位置合わせ
典型的なマルチセンサシステムでは、全ての他のセンサに対する各センサ102の精密な場所が、設定の間に確立される。センサ位置合わせは、通常、自動的に実施され、容易な設定および再構成を可能にするために可能な限り単純であるべきである。簡易化のために、各フレームバッファ335が、特定のセンサ102からの画像(周期的にリフレッシュされ得る)を記憶すると仮定して、分析モジュール342は、各センサからの画像の全てまたは一部をフレームバッファ335内の他のセンサからの画像と比較し、従来のコンピュータビジョン技法を使用し、それらの画像内の対応を識別することによって、センサ102を位置合わせしてもよい。初期位置合わせ近似を要求しない好適な大域的位置合わせアルゴリズムは、概して、2つのカテゴリ、すなわち、特徴ベースの方法および強度ベースの方法に分類される。特徴ベースの方法は、エッジ等の画像特徴の間の対応を識別する一方、強度ベースの方法は、強度パターンの間の相関メトリックを使用する。いったんおおよその位置合わせが、識別されると、反復最近接点(ICP)アルゴリズムまたはその好適な変形が、位置合わせを微調整するために使用されてもよい。
明確に異なるセンサ画像を提供するために、種々のセンサ102の視野の間に十分な重複が、存在し、作業セル100内の十分な詳細が、存在する場合、静的作業セルの画像を比較することが、十分であり得る。これが当てはまらない場合、3Dにおいて特色のあるシグネチャを有する「位置合わせ物体」が、これが全てのセンサによって見られ得る作業セル100内の場所に設置されることができる。代替として、位置合わせは、ある時間周期にわたって作業セル内で立っている、または作業セル全体を通して歩行している1人以上の人々の画像をセンサ102に記録させ、正確な位置合わせが達成されるまで十分な数の部分的に合致する画像を組み合わせることによって達成されることができる。
作業セル100内の機械類への位置合わせは、ある場合には、機械類が、その他に対して位置合わせされた少なくとも1つのセンサに可視である限り、特に、機械類が、特色のある3D形状(例えば、ロボットアーム)を有する場合、いかなる付加的器具使用も伴わずに達成されることができる。代替として、位置合わせ物体が、使用されることができる、またはディスプレイ320に示され、センサによって観察される場面を表示するユーザインターフェースが、ユーザが、画像のある部分を制御下の機械類の重要な要素として指定することを可能にしてもよい。いくつかの実施形態では、インターフェースは、構成を支援するために全てのセンサのカバレッジを示す双方向性3Dディスプレイを提供する。本システムが、機械類の危険な部分または複数の部分の場所および停止時間および/または距離等、(例えば、制御ルーチン350の目的のために)制御されている機械類についてのある程度の高レベル情報を用いて構成される場合、分析モジュール342は、センサが十分なカバレッジを提供しているかどうかに関する知的フィードバックを提供し、付加的センサの設置を示唆するように構成されてもよい。
例えば、分析モジュール342は、歩行速度の保守的推定を前提として、人物がこれ(またはこれの周囲の安全区域)に到達する時間までに機械類を停止するために、これが人物を検出しなければならない観察される機械類からの最小距離を決定するようにプログラムされることができる。(代替として、要求される検出距離は、ディスプレイ320を介して本システムに直接入力されることができる。)随意に、分析モジュール342は、次いで、空間が全ての接近を検出するために十分に網羅されているかどうかを決定するために、全てのセンサの視野を分析することができる。センサカバレッジが、不十分である場合、分析モジュール342は、不足を改善するであろう、既存のセンサのための新しい場所または付加的センサのための場所を提案することができる。そうでなければ、制御システムは、デフォルトの安全状態になり、制御ルーチン350は、分析モジュール342が、事実上、全ての接近が監視され得ることを検証しない限り、機械類が動作することを可能にしないであろう。機械学習および遺伝的または進化的アルゴリズムの使用が、セル内の最適なセンサ設置を決定するために使用されることができる。最適化するべきパラメータは、限定ではないが、動作の間のロボットの周囲のオクルージョンの最小化およびロボットおよびワークピースの観察可能性を含む。
所望される場合、本静的分析は、「背景」減算を含んでもよい。初期始動周期の間、いかなる物体も作業セル100の中に侵入していないと安全に仮定され得るとき、分析モジュール342は、静的要素によって占有される全てのボクセルを識別する。それらの要素は、次いで、将来の測定値から減算され、潜在的な侵入物体と見なされることはできない。それにもかかわらず、連続的監視が、観察される背景画像が始動周期の間に記憶された空間マップ345と一貫することを確実にするために実施される。背景はまた、定常物体が、除去される、または作業セルに追加される場合、更新されることができる。
センサ102が安全性を提供するために十分に観察することができないが、ケージ等の他の方法によって防護される一部の面積が、存在し得る。この場合では、ユーザインターフェースは、ユーザが、これらの面積を安全として指定することを可能にし、センサベースの安全性分析をオーバーライドすることができる。安全定格ソフト軸および律速もまた、ロボットのエンベロープを限定し、本システムの性能を改良するために使用されることができる。
いったん位置合わせが、達成されると、センサ102は、作業セル100が監視される間に同一の場所および配向に留まるべきである。1つ以上のセンサ102が、偶発的に移動される場合、結果として生じる制御出力は、無効であり、安全上の危険をもたらし得る。分析モジュール342は、位置合わせの継続した正確度を監視するために、初期位置合わせのために使用されるアルゴリズムを拡張してもよい。例えば、初期位置合わせの間、分析モジュール342は、位置合わせプロセスの間に捕捉される作業セルの静的要素のモデルへの観察されたデータの適合の正確度を捕捉するメトリックを算出してもよい。本システムが、動作する際、同一のメトリックが、再計算されることができる。任意の時点でそのメトリックが、規定された閾値を超える場合、位置合わせは、無効と見なされ、エラー条件が、トリガされ、応答して、任意の機械類が動作している場合、制御ルーチン350は、これを中止する、または機械類を安全状態に遷移させてもよい。
1.2 占有される面積および潜在的に占有される面積の識別
いったんセンサが、位置合わせされると、制御システム112は、作業セル100の中への全ての侵入を識別することが可能であるために、高い固定頻度で(例えば、分析サイクル毎に)空間マップ345を周期的に更新する。空間マップ345は、センサ102のうちのいくつかまたは全てからのデータの融合を反映する。しかし、3Dデータの性質を前提として、センサ102の場所および作業セル100の構成に応じて、オクルードする物体よりも危険な機械類に近接する物体(人々または人々の一部、例えば、腕を含み得る)を含む、1つの場所における物体が他の場所におけるセンサの物体のビューをオクルードするであろうことが、可能性として考えられる。したがって、確実に安全なシステムを提供するために、本システムは、占有される空間だけでなく、オクルードされる空間も監視する。
一実施形態では、空間マップ345は、ボクセルグリッドである。一般に、各ボクセルは、占有、非占有、または未知としてマーキングされてもよく、空の空間のみが、任意の付加的安全基準、例えば、一式の制御された機械類からの最小距離が満たされるときのみ、最終的に安全と見なされることができる。各センサからの未加工データが、ボクセル毎に、3Dマッピングされた空間の物体または境界が、そのボクセルに対応するボリューム内で決定的に検出されたかどうかを決定するために分析される。安全性を強化するために、分析モジュール342は、1つを上回るセンサ102によって空であると観察されるボクセルのみを空として指定してもよい。再び、空として確認されることができない全ての空間は、未知としてマーキングされる。したがって、センサ102と光線に沿った検出された物体またはマッピングされた3D空間境界との間の空間のみが、空としてマーキングされてもよい。
センサが、所与のボクセル内で任意のものを検出する場合、そのセンサの焦点から始まり、占有されるボクセルを通して通過する光線上に位置し、焦点と占有されるボクセルとの間に存在する全てのボクセルは、非占有として分類される一方、その光線上の占有されるボクセルを越えて位置する全てのボクセルは、そのセンサに関してオクルードされるとして分類され、全てのそのようなオクルードされるボクセルは、「未知」と見なされる。全てのセンサからの情報は、全てのセンサからオクルードされる面積を決定するために組み合わせられてもよく、これらの面積は、未知と見なされ、したがって、非安全である。分析モジュール342は、最後に、少なくとも一度(またはいくつかの実施形態では、少なくとも二度)「非占有」として事前にマーキングされたボクセルまたは作業セルボリュームのみを「非占有」としてマーキングしてもよい。作業セル内のボクセルまたは離散ボリュームと関連付けられるマーキングに基づいて、分析モジュール342は、空間マップ345内に1つ以上の安全ボリューム区域をマッピングしてもよい。これらの安全区域は、機械類の安全区域の外側であり、非占有としてマーキングされたボクセルまたは作業セルボリュームのみを含む。
LIDARおよび飛行時間カメラ等の反射に依存する能動的光学センサの一般的故障モードは、それらが不十分に反射性である表面からいかなる信号も返さないことである、および/またはセンサと表面との間の入射角が過剰に浅いときである。これは、本信号が、いかなる障害物にも遭遇しない場合に返される結果と区別不可能であり得るため、危険な失敗につながり得、言い換えると、センサは、障害物の可能性として考えられる存在にもかかわらず、空のボクセルを報告するであろう。これは、例えば、2D LIDARセンサに関するISO規格が、検出されなければならない物体の最小反射率に関する仕様を有する理由であるが、しかしながら、これらの反射率規格は、ToF等のいくつかの3Dセンサモダリティにとって満たすことが困難であり得る。本故障モードを軽減するために、分析モジュール342は、一部の障害物が、同一の光線に沿ったさらなる範囲で決定的に検出される場合のみ、空間を空としてマーキングする。いかなる障害物も存在しない場合、光線の大部分が床に遭遇するであろうようにセンサをわずかに下向きに向けることによって、作業セル100の大部分を確証的に分析することが、可能である。しかし、所与のボクセル内の感知された光レベルが、空または境界の存在を決定的に確立するために不十分である場合、ボクセルは、未知としてマーキングされる。信号および閾値は、使用されているセンサのタイプに依存し得る。強度ベースの3Dセンサ(例えば、ToFカメラ)の場合では、閾値は、信号強度であり得、これは、低反射率の作業セル内の物体によって減衰され得る。ステレオビジョンシステムの場合では、閾値は、視野内の個々の物体を分解する能力であり得る。他の信号および閾値の組み合わせも、使用されるセンサのタイプに応じて利用されることができる。
安全システムが、全ての未知の空間をこれが占有されているように見なすことによって作成されることができる。しかしながら、ある場合には、これは、過度に保守的であり、不良な性能をもたらし得る。したがって、これが潜在的に占有され得るかどうかに従って未知の空間をさらに分類することが、望ましい。人物が、3D空間内で移動する際、人物は、典型的には、いくつかのセンサから一部の面積をオクルードし、一時的に未知である空間の面積をもたらすであろう(図1参照)。加えて、産業ロボットアーム等の移動する機械類もまた、一部の面積を一時的にオクルードし得る。人物または機械類が、異なる場所に移動すると、1つ以上のセンサは、未知の空間を再度観察することが可能であり、これをロボットまたは機械が動作するために安全である確認された空の状態に戻すであろう。故に、いくつかの実施形態では、空間はまた、「潜在的に占有」として分類されてもよい。未知の空間は、未知の空間が占有され得る条件が生じると、潜在的に占有されていると見なされる。これは、未知の空間が、作業セルへの進入点に隣接するとき、または未知の空間が、占有される、または潜在的に占有される空間に隣接する場合に起こり得る。潜在的に占有される空間は、作業セルを通して移動する人間を表す、あるレートで、未知の空間に「入る」。潜在的に占有される空間は、これが空であると観察されるまで、潜在的に占有されたままである。安全目的のために、潜在的に占有される空間は、占有される空間と同一と見なされる。各ボクセルの状態を決定し、本システムが、複数のサンプルからのデータを組み合わせ、結果においてより高いレベルの信頼性を提供することを可能にするために、ベイジアンフィルタリングに基づくもの等の確率的技法を使用することが、望ましくあり得る。予測される速度(例えば、腕が人物が歩行し得るよりも速く上げられ得る)を含む、人間移動の好適なモデルが、容易に利用可能である。
2.物体の分類
多くの用途に関して、上記に説明されるような作業セル内の領域の分類は、例えば、制御システム112が、通常動作の間にいかなる物体も全く存在するべきではない空間を監視している場合に十分であり得る。しかしながら、多くの場合では、1つ以上の機械および機械が作用しているワークピース等、通常動作の間に少なくともいくつかの物体が存在する面積を監視することが、望ましい。これらの場合では、分析モジュール342は、予期せぬ、または人間であり得る侵入する物体を識別するように構成されてもよい。そのような分類に対する1つの好適なアプローチは、個々の占有されるボクセルをより高いレベルで分析され得る物体にクラスタ化することである。
これを達成するために、分析モジュール342は、ユークリッドクラスタリング、K平均クラスタリング、およびギブズサンプリングクラスタリング等のいくつかの従来の周知のクラスタリング技法のうちのいずれかを実装してもよい。これらまたは類似するアルゴリズムのうちのいずれかが、3D点群データから占有されるボクセルのクラスタを識別するために使用されることができる。点群データに最良に適合するメッシュを決定し、次いで、最適なクラスタリングを決定するためにメッシュ形状を使用するメッシュ技法もまた、使用されてもよい。いったん識別されると、これらのクラスタは、種々の方法で有用であり得る。
クラスタリングが使用され得る1つの単純な方法は、小さすぎて、場合によっては人物を含有することができない、占有される、または潜在的に占有されるボクセルの小群を排除することである。そのような小クラスタは、上記に説明されるように、占有およびオクルージョン分析から生じ得、そうでなければ、制御システム112に、危害を誤って識別させ得る。クラスタは、各画像フレーム内の識別されたクラスタを前のフレーム内の近傍クラスタと単純に関連付けることによって、またはより洗練された画像処理技法を使用することによって経時的に追跡されることができる。クラスタの形状、サイズ、または他の特徴は、フレーム毎に識別および追跡されることができる。そのような特徴は、フレーム毎にクラスタの間の関連付けを確認するために、またはクラスタの運動を識別するために使用されることができる。本情報は、下記に説明される分類技法のうちのいくつかを強化する、または可能にするために使用されることができる。加えて、点のクラスタの追跡は、不正確な、したがって、潜在的に有害な状況を識別するために採用されることができる。例えば、前のフレーム内に存在しておらず、視野の既知の境界に近接していないクラスタは、エラー条件を示し得る。
ある場合には、あるサイズを下回るクラスタをフィルタ処理して除去し、エラー状態を示すクラスタ遷移を識別することが、十分であり得る。しかしながら、他の場合では、物体を4つのカテゴリのうちの1つ以上のもの、すなわち、(1)システム112によって制御されている機械類の要素、(2)機械類が作用しているワークピースまたは複数のワークピース、および(3)予測不可能な方法で移動している場合があり、機械類によって害を及ぼされ得る、人々を含む他の異物にさらに分類することが、必要であり得る。人々対他の未知の異物を確証的に分類することが、必要である場合とそうではない場合がある。定義上、これらは、常時、機械類自体との「衝突」の状態にあり、したがって、検出され、適切に分類されない場合、本システムに機械類を誤って停止させるであろうため、機械類の要素をそのように決定的に識別することが、必要であり得る。同様に、機械類は、典型的には、ワークピースと接触するが、典型的には、機械類が人々と接触することは、有害である。したがって、分析モジュール342は、ワークピースと未知の異物、特に、人々とを区別することが可能となるべきである。
機械類自体の要素は、分類目的のために、上記に説明される随意の背景減算較正ステップによって取り扱われてもよい。機械類が形状を変化させる場合では、機械類の要素は、例えば、分析モジュール342にこれらの要素についての情報(例えば、拡張可能3D表現として)を供給し、ある場合(産業ロボットアーム等)には、機械類の状態についての瞬間的情報の源を提供することによって、識別および分類されることができる。分析モジュール342は、センサ102による観察下で、単独で、機械類、コンベヤ等を動作させることによって「訓練」され、分析モジュール342が、運動および姿勢の全レパートリの実行からもたらされるそれらの精密な動作の領域を学習することを可能にしてもよい。分析モジュール342は、結果として生じる空間領域を占有として分類してもよい。
従来のコンピュータビジョン技法が、分析モジュール342がワークピースと人間とを区別することを可能にするために採用されてもよい。これらは、深層学習、すなわち、データにおけるより高いレベルの抽象化を使用するように設計される機械学習の分野を含む。最も成功したこれらの深層学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)であり、より最近では、リカレントニューラルネットワーク(RNN)であった。しかしながら、そのような技法は、概して、人間ではないとしての人間の偶発的誤認が安全上の危険を引き起こさない状況において採用される。本環境内でそのような技法を使用するために、いくつかの修正が、必要とされ得る。第1に、機械学習アルゴリズムが、概して、誤検出または未検出を優先するように調整されることができる(例えば、ロジスティック回帰分析が、高特異性および低感度のために調整されることができる)。本シナリオにおける誤検出は、安全上の危険を生じず、ロボットが、ワークピースを人間と間違える場合、これは、保守的に反応するであろう。加えて、異なる画像性質に基づく複数のアルゴリズムまたはニューラルネットワークが、使用され、安全定格のための十分な信頼性を達成するために重要であり得る多様性を助長することができる。1つの特に有益な多様性の源は、同一の物体の3Dおよび2D両方の画像データを提供するセンサを使用することによって取得されることができる。任意の1つの技法が、物体を人間として識別する場合、物体は、人間と見なされるであろう。全てが未検出よりも誤検出を優先するように調整される、複数の技法または機械学習アルゴリズムを使用して、十分な信頼性が、達成されることができる。加えて、複数の画像が、経時的に追跡され、信頼性をさらに強化することができ、再び、全ての物体が、信頼性メトリックを達成するために十分な識別がこれを人間ではないとして特性評価するまで、人間と見なされることができる。本質的に、本多様なアルゴリズムアプローチは、人間を識別するのではなく、決定的に人間ではないものを識別する。
分類技法を組み合わせることに加えて、任意のタイプの人間分類に全く依拠しない方法でワークピースを識別することが、可能である。1つのアプローチは、ワークピースのモデルを提供することによって本システムを構成することである。例えば、システム構成における「教示」ステップが、単純に、ワークピースの画像または重要な特徴を分析モジュール342に供給してもよく、これは、空間マップ345内で合致する構成を検索する、または代わりに、空間マップ内でそのようにワークピースを自動的に分類するためのニューラルネットワークの訓練を伴ってもよい。いずれの場合も、記憶されたモデルに正確に合致する物体のみが、ワークピースと見なされる一方、全ての他の物体は、人間と見なされる。
別の好適なアプローチは、空間マップ345内で表されるように、ワークピースが進入するであろう作業セル内の特定の領域(コンベヤベルトの上部等)を規定することである。その場所における作業セルに進入する物体のみが、ワークピースとして見なすために適格である。ワークピースは、次いで、それらが作業セルに進入する時間からそれらが離れる時間までモデル化および追跡されることができる。ロボット等の監視される機械が、ワークピースを取り扱っている間、制御システム112は、ワークピースが、ロボットエンドエフェクタの予期される運動と一貫する様式でのみ移動することを確実にする。コンベヤベルト等の公知の機器もまた、このようにモデル化されることができる。人間は、ワークピースの様式で作業セルに進入すること、例えば、コンベヤ上に座ることを禁止され得る。
これらの技法は全て、設計要件および環境制約に応じて、別個に、または組み合わせて使用されることができる。しかしながら、全ての場合に、分析モジュール342が、識別された物体がワークピースであるかどうかを見逃す状況が、存在し得る。これらの状況では、本システムは、安全状態に戻るべきである。インターロックが、次いで、人間作業者がいかなる異物も存在しないことを確認し得る作業セルの安全面積内に設置され、本システムが動作を再開することを可能にすることができる。
いくつかの状況では、異物が、作業セルに進入するが、続けて、無視される、またはワークピースと見なされるべきである。例えば、構成時間に作業セル内に存在していなかった箱のスタックが、続けて、その中に設置され得る。柔軟なシステムが固定防護に取って代わるにつれてより一般的になるであろう本タイプの状況は、人間作業者が新しい物体を将来の相互作用のために安全として指定することを可能にするユーザインターフェース(例えば、ディスプレイ320内、または制御システム112と無線通信するデバイス上に示される)を提供することによって対処されてもよい。当然ながら、分析モジュール342および制御ルーチン350は、依然として、機械類が新しい物体と衝突しないように防止するように作用し得るが、新しい物体は、機械類に向かって移動し得る潜在的に人間の物体と見なされず、したがって、本システムがこれをより保守的ではない様式で取り扱うことを可能にするであろう。
3.制御出力の発生
本段階において、分析モジュール342は、安全目的のために考慮されなければならない、監視される面積100内の全ての物体を識別している。これらのデータを前提として、種々の措置が、とられ、制御出力が、発生されることができる。静的較正の間、または人間のいないデフォルト構成における作業セルで、空間マップ345は、センサカバレッジ、展開される機械類の構成、および人間と機械との間の不要な相互作用の機会を評価するために人間にとって有用であり得る。ケージまたは固定防護を設定しなくても、全体的作業セルレイアウトは、上記に説明されるように安全区域としてマーキングされる領域を通した、および不良なセンサカバレッジを伴う領域から離れるような人間移動を方向付ける、または促すことによって改良されてもよい。
制御ルーチン350は、分析モジュール342に応答して、ある条件が検出されると、作業セル100内のロボット等の動作する機械類への制御信号を発生させてもよい。本制御は、安全または非安全条件のいずれかを示すバイナリであり得る、または安全および非安全である行動のインジケーション等、より複雑であり得る。最も単純なタイプの制御信号は、占有される、または潜在的に占有されるボリュームのいずれかの侵入が特定の区域内で検出されるかどうかを示すバイナリ信号である。最も単純な場合では、単一の侵入区域が、存在し、制御システム112は、侵入を示す単一の出力を提供する。本出力は、機械類の動作を停止または限定するために、例えば、I/Oポート327を介して制御される機械類上の相補的ポートに配信されることができる。より複雑なシナリオでは、複数の区域が、別個に監視され、制御ルーチン350は、I/Oポート327またはアドレス指定される送受信機325を介して、ネットワークを経由して、標的の一式の機械類に(例えば、インターネットプロトコルまたは他の好適なアドレス指定スキームを使用して)デジタル出力を発行する。
監視され得る別の条件は、2D近接センサの出力に匹敵する、作業セル内の任意の物体と機械との間の距離である。これは、それを下回ると出力がアサートされるべきである近接閾値を確立することによってバイナリ出力に変換されてもよい。本システムが、機械に最も近接する物体の場所および範囲を記録し、利用可能にすることもまた、望ましくあり得る。協働的産業ロボットのための安全システム等の他の用途では、所望の制御出力は、センサ102によって網羅される面積内で観察される全ての物体の場所、形状、および範囲を含んでもよい。
4.安全行動制約および安全区域の動的決定
ISO 10218およびISO/TS 15066は、産業ロボットと人間作業者との間の協働を可能にし得る安全機能として、速度および分離監視を説明している。リスク低減が、ロボット運動の周期の間に人間作業者とロボットとの間に少なくとも保護分離距離を維持することによって達成される。本保護分離距離は、ロボットおよび人間作業者の位置および移動、ロボット停止距離、測定不確定性、システム待ち時間、およびシステム制御頻度を含む情報を使用して計算される。計算された分離距離が、保護分離距離を下回る値まで減少すると、ロボットシステムは、停止される。本方法論は、産業ロボットを超えて機械類に一般化されることができる。
便宜上、以下の議論は、作業セル100内で動作するロボットの周囲に安全区域を動的に定義することに焦点を当てる。しかしながら、本明細書に説明される技法が、複数のロボットにだけではなく、過剰に密接に接近すると危険であり得、経時的に変動し得る最小安全分離距離を有し、特定の活動が機械によって行われる任意の形態の機械類にも適用されることを理解されたい。上記に説明されるように、センサアレイが、各分析サイクルにおいて、ロボットおよびロボットを囲繞する面積内の全ての関連する物体の場所および範囲を3Dにおいて特性評価するために十分な画像情報を取得する。(各分析サイクルは、画像捕捉、フレームバッファのリフレッシュ、および算出分析を含み、故に、分析または制御サイクルの周期は、効果的な監視がリアルタイムで起こるために十分に短いが、これは、多くのコンピュータクロックサイクルを伴う。)分析モジュール342は、各サイクルにおけるロボットの現在の状態についての瞬間的情報とともに本情報を利用し、ロボットの運動に関する瞬間的な現在の安全行動制約を決定する。制約は、ロボットに、分析モジュール342によって直接、または制御ルーチン350を介してのいずれかで、送受信機325および/またはI/Oポート327を介してロボットに通信されてもよい。
本システムの動作は、図4のシステム編成および動作の概念図示を参照して最も深く理解される。上記に説明されるように、センサアレイ102は、ロボット402を含む作業セル400を監視する。ロボットの移動は、ロボット自体の一部である、またはそれと別個であり得る、従来のロボットコントローラ407によって制御され、例えば、単一のロボットコントローラが、1つを上回るロボットにコマンドを発行してもよい。ロボットの活動は、主として、ロボットアームを伴い得、その移動は、所望の移動をもたらすようにロボットアームジョイントを動作させるジョイントコマンドを使用して、ロボットコントローラ407によって指揮される。物体監視システム(OMS)410が、センサ102から物体についての情報を取得し、作業セル400内の関連する物体を識別するために本センサ情報を使用する。OMS410は、任意の好適な有線または無線プロトコルを介してロボットコントローラ407と通信する。(産業ロボットでは、制御電子機器は、典型的には、外部制御ボックス内に常駐する。しかしながら、内蔵コントローラを伴うロボットの場合では、OMS410は、ロボットのオンボードコントローラと直接通信する。)ロボット(典型的には、センサ102)から取得された情報を使用して、OMS410は、ロボットの現在の状態を決定する。OMS410は、それに応じて、ロボットの現在の状態および全ての識別された関連する物体を前提として、ロボット402に関する安全行動制約を決定する。最後に、OMS410は、安全行動制約をロボット407に通信する。(図3を参照して、OMS410の機能が、分析モジュール342によって、ある場合には、制御ルーチン350によって制御システム112内で実施されることを理解されたい。)
4.1 関連する物体の識別
センサ102は、上記に議論される様式で、固定頻度で物体分析モジュール415によって分析されるリアルタイム画像情報を提供し、特に、各サイクルにおいて、物体分析モジュール415は、ロボットの届く範囲内であるか、または保守的に予期される速度でロボットの届く範囲に移動し得るかのいずれかである、作業セル400内の全ての物体の3D場所および範囲を識別する。関連するボリュームの全てが、センサ102の集合的視野内にあるわけではない場合、OMS410は、そのように決定し、その領域内の全ての固定物体(またはそれらの物体の保守的上位セット)の場所および範囲を示す、および/または他の防護技法が監視されていない面積へのアクセスを防止するために使用されていることを検証するように構成されてもよい。
4.2 ロボット状態の決定
ロボット状態決定モジュール(RSDM)420が、ロボットの瞬間的状態を決定するために、センサ102からのデータおよびロボット402および/またはロボットコントローラ407からの信号に応答する。特に、RSDM420は、作業セル400内のロボット402の姿勢および場所を決定し、これは、センサ102、ロボットおよび/またはそのコントローラからの信号、またはこれらの源のある組み合わせからのデータを使用して達成されてもよい。RSDM420はまた、ロボット402またはその任意の付属品の瞬間的速度を決定してもよく、加えて、ロボットの瞬間的ジョイント加速度またはトルク、または計画される将来の軌道の知識が、下記に説明されるような後続サイクルに関する安全運動制約を決定するために必要とされてもよい。典型的には、本情報は、ロボットコントローラ407から発するが、ある場合には、下記に説明されるように、センサ102によって記録された画像から直接推測されてもよい。
例えば、これらのデータは、安全定格データへのアクセスを提供する安全定格通信プロトコルを介して、ロボット402またはロボットコントローラ407によって提供され得る。ロボットの3D姿勢は、次いで、ロボット402全体の3D形状を取得するために、提供されるジョイント位置を各連結部の静的3Dモデルと組み合わせることによって決定されてもよい。
ある場合には、ロボットは、安全定格ではないジョイント位置を通信するためのインターフェースを提供してもよく、その場合では、ジョイント位置は、(例えば、安全定格ソフトウェアを使用して)センサ102からの画像に対して検証されることができる。例えば、受信されたジョイント位置は、ロボット402全体の3Dモデルを発生させるために、各連結部の静的3Dモデルと組み合わせられてもよい。本3D画像は、ロボット自体の一部である感知データ内の任意の物体を除去するために使用されることができる。ジョイント位置が、正しい場合、これは、ロボット402に起因する全ての物体データを完全に排除するであろう。しかしながら、ジョイント位置が、不正確である場合、ロボット402の真の位置は、モデルから逸脱するであろう。前のサイクルでは、ジョイント位置は、そうでなければロボット402が中止されていたであろうため、正しかったと仮定されることができる。不正確な報告されたロボット位置の検出は、次いで、エラー条件をトリガするために使用されることができ、これは、制御システム112(図1参照)に、ロボット402を安全状態に遷移させるであろう。センサデータは、位置合わせの節において上記に説明される等の相関アルゴリズムを使用してロボットの位置を識別するために使用されることができ、本検出された位置は、ロボットによって報告されたジョイント位置と比較されることができる。ロボット402によって提供されたジョイント位置情報が、このように検証された場合、これは、ジョイント速度情報を検証するために使用されることができ、これは、次いで、将来のジョイント位置を予測するために使用されることができる。これらの位置が、以前に検証された実際のジョイント位置と一貫しない場合、プログラムは、エラー条件を同様にトリガすることができる。これらの技法は、非安全定格インターフェースの使用が、次いで、付加的安全機能を実施するために使用され得るデータを生成することを可能にする。
最後に、RSDM420は、ロボット402またはコントローラ407によって提供されるいかなる情報も伴わず、センサ102によって提供される画像情報のみを使用してロボットのジョイント状態を決定するように構成されてもよい。ロボットにおける連結部の全てのモデルを前提として、いくつかの従来の周知のコンピュータビジョン技法のうちのいずれかが、モデルをセンサデータに位置合わせするためにRSDM420によって使用され、したがって、画像内のモデル化された物体の場所を決定することができる。例えば、ICPアルゴリズム(上記に議論される)は、2つの3D点群の間の差異を最小限にする。ICPは、多くの場合、局所的に最適な解決策を効率的に提供し、したがって、おおよその場所が、既知である場合、正確に使用されることができる。ロボット402は、その前の位置から遠くに移動できないため、これは、アルゴリズムがサイクル毎に起動される場合であろう。故に、リアルタイムで起動するために十分に効率的ではない場合がある、大域的に最適な位置合わせ技法は、要求されない。カルマンフィルタまたは粒子フィルタ等のデジタルフィルタが、次いで、位置合わせアルゴリズムによって識別されたジョイント位置を前提として、瞬間的ジョイント速度を決定するために使用されることができる。
これらの画像ベースの監視技法は、多くの場合、各システムサイクルにおいて起動されること、および本システムが前のサイクルにおいて安全状態にあったという仮定に依拠する。したがって、試験が、ロボット402が始動されるときに実行されてもよく、例えば、ロボットが既知の事前構成された「ホーム」位置にあり、全てのジョイント速度がゼロであることを確認する。自動化機器が、固定間隔において、例えば、機器が始動される、またはシフト変更されるとき、オペレータによって実行される試験のセットを有することは、一般的である。信頼性のある状態分析は、典型的には、各ロボット連結部の正確なモデルを要求する。本モデルは、事前に、例えば、ロボット製造業者によって提供される、または具体的計画のために産業エンジニアによって発生される3D CADファイルから取得されることができる。しかしながら、そのようなモデルは、少なくともロボットおよびこれが有し得る可能性として考えられるアタッチメントの全てに関して入手可能ではない場合がある。
この場合では、RSDM420が、例えば、センサ102を使用して、モデル自体を作成することが可能である。これは、ロボット402が、運動のセット、例えば、所与の用途における使用のために意図される運動および/またはセンサ102に各連結部の適切なビューを提供するように設計される運動のセットを通して起動する別個の訓練モードで行われてもよい。必要ではないが、各連結部の長さおよび回転軸等のロボットについてのいくつかの基本情報を事前に提供することが、可能である。本訓練モードの間、RSDM420は、全ての必要なアタッチメントを完備した各連結部の3Dモデルを発生させる。本モデルは、次いで、ロボット状態を決定するために、センサ画像と併せてRSDM420によって使用されることができる。
4.3 安全行動制約の決定
従来的な軸および律速用途では、産業エンジニアは、ロボットの計画される軌跡および作業セルのレイアウトを前提として、ロボットに関して安全である行動を計算し、ロボットの運動の範囲の一部の面積を完全に禁止し、他の面積内で速度を限定する。これらの限定は、固定された静的作業空間環境を仮定する。ここでは、物体および人々が行き来し、位置を変化させる動的環境に関係し、したがって、安全行動が、全ての感知される関連する物体に基づいて、かつロボット402の現在の状態に基づいて、リアルタイムで安全行動決定モジュール(SADM)425によって計算され、これらの安全行動は、サイクル毎に更新されてもよい。安全と見なされるために、行動は、ロボット402がいかなる定常物体とも衝突せず、また、ロボット402がロボットに向かって移動している場合がある人物と接触しないことを確実にするべきである。ロボット402は、ある程度の最大可能減速度を有するため、コントローラ407は、接触が行われる前にこれが完全な停止に到達し得ることを確実にするために、前もって十分にロボットを減速させ始めるように命令されるべきである。
これを達成することに対する1つのアプローチは、ロボットの最大速度(ロボット自体またはその任意の付属品の速度を意味する)をロボット上の任意の点と回避されるべき感知された物体の関連するセットにおける任意の点との間の最小距離に比例的に変調することである。ロボットは、最近接する物体がそれを超えると衝突が懸念されないある閾値距離から遠く離れているとき、最大速度で動作することを可能にされ、ロボットは、物体がある最小距離内にある場合、完全に中止される。十分なマージンが、ある最大の現実的速度でロボットに向かう関連する物体または人間の移動を考慮するために、規定される距離に追加されることができる。これは、図5に図示される。外側エンベロープまたは3D区域502が、ロボット504の周囲にSADM425によって算出的に発生される。本区域502の外側では、人物Pの全ての移動は、動作サイクル内で、それらが危険をもたらすほど十分に人物をロボット504に近接させることができないため、安全と見なされる。区域502内に算出的に定義される、第2の3D区域508内の人物Pの身体の任意の部分の検出が、SADM425によって位置合わせされるが、ロボット504は、全速で動作し続けることを可能にされる。人物Pの任意の部分が、区域508の閾値を横切るが、依然として、内部危険区域510の外側にある場合、ロボット504は、より緩慢な速度で動作するようにシグナリングされる。人物Pの任意の部分が、危険区域510の中に横切る、または人物移動のモデルに基づいて次のサイクル内でそうすることが予測される場合、ロボット504の動作は、中止される。これらの区域は、ロボット504が、環境内で移動される(または移動する)場合、更新されてもよい。
本技法の精緻化は、SADM425が、最大速度を最小距離の平方根に比例的に制御することであり、これは、一定減速度シナリオでは、速度が進行する距離の平方根に比例的に変化し、依然として等しく安全であるが、より平滑かつより効率的な結果をもたらすという事実を反映する。さらなる精緻化は、SADM425が、最大速度を衝突までの最短可能時間に比例的に変調することであり、すなわち、将来的時間のロボットの現在の状態を予想し、ロボット軌道に向かう侵入を予想し、最近傍の潜在的衝突を識別することである。本精緻化は、ロボットがこれに向かうよりも障害物からより迅速に離れるように移動するであろう利点を有し、これは、依然として安全性を正しく保全しながら、処理能力を最大限にする。ロボットの将来の軌道は、その現在の速度だけではなく、後続コマンドにも依存するため、SADM425は、その現在のジョイント位置および速度を前提として、ある反応時間内にロボット402によって到達可能な全ての点を考慮し、これらの状態のうちのいずれかの中の最短衝突時間に基づいて、制御信号を発行させてもよい。またさらなる精緻化は、SADM425が、単純に瞬間的ジョイント速度ではなく、本計算を行うときにロボットの計画される軌道全体を考慮することである。加えて、SADM425は、その軌道に沿った最大速度を単純に改変するのではなく、ロボットコントローラ407を介して、ロボットの軌道を改変してもよい。軌道の固定セットの中から潜在的衝突を低減または排除するものを選定する、またはさらにはオンザフライで新しい軌道を発生させることが、可能である。
必ずしも安全性違反ではないが、作業セルの静的要素との衝突は、概して、望ましくない。関連する物体のセットは、壁および台等の静的背景およびワークピースおよび人間作業者等の移動する物体の両方を含む、作業空間内の全ての物体を含むことができる。事前構成またはランタイム検出のいずれかから、センサ102および分析モジュール342は、可能性として移動し得る物体を推測することが可能であってもよい。この場合では、上記に説明されるアルゴリズムのうちのいずれかが、不必要に処理能力を低減させないが、依然として、作業セルの静的部分との衝突の可能性を自動的に排除するように、移動し得る物体を考慮するために付加的マージンを残すが、静的であることが把握される物体のためのそれらのマージンを排除するように精緻化されることができる。
潜在的に移動する物体の最大速度を考慮するために単純にマージンを残すことの他に、感知システムによって検出される情報に基づく推定技法が、将来的時間の人間および他の物体の移動を予想するために使用され、したがって、制御ルーチン350に利用可能な制御オプションを拡大することができる。例えば、骨格追跡技法が、検出された人間の移動する肢を識別し、人体の性質および、例えば、人物全体ではなく人物の腕の推定される移動に基づいて、潜在的衝突を限定するために使用されることができる。
4.4 ロボットへの安全行動制約の通信
SADM425によって識別された安全行動制約は、ロボット通信モジュール430を介して、各サイクルでOMS410によってロボットコントローラ407に通信されてもよい。上記に説明されるように、通信モジュールは、ロボットコントローラ407上の相補的ポートへのI/Oポート327インターフェースに対応してもよい、または送受信機325に対応してもよい。殆どの産業ロボットは、外部デバイスとの併用のための種々のインターフェースを提供する。好適なインターフェースは、少なくとも本システムの制御頻度において短い待ち時間で動作するべきである。インターフェースは、ロボットが通常通りプログラムされ、起動されることを可能にするように構成されることができ、最大速度が、インターフェースを経由して送信される。代替として、いくつかのインターフェースは、軌道がウェイポイントの形態で配信されることを可能にする。本タイプのインターフェースを使用して、ロボット402の意図される軌道が、OMS410内に受信および記憶されることができ、これは、次いで、安全行動制約に応じて、ともにより近接する、またはさらに離れるウェイポイントを発生させてもよい。同様に、標的ジョイントトルクの入力を可能にするインターフェースが、本明細書に従って算出される軌道を駆動するために使用されることができる。これらのタイプのインターフェースもまた、SADM425が、安全行動制約に応じて新しい軌道を選定する、または軌道を修正する場合に使用されることができる。
ロボット状態を決定するために使用されるインターフェースのように、ロボット402が、関連する安全定格制御入力へのリアルタイムアクセスを提供する安全定格プロトコルをサポートする場合、これは、十分であり得る。しかしながら、安全定格プロトコルが、利用可能ではない場合、本システム上の付加的安全定格ソフトウェアが、システム全体が安全なままであることを確実にするために使用されることができる。例えば、SADM425は、ロボットが、通信された安全行動に従って動作している場合、ロボットの予期される速度および位置を決定してもよい。SADM425は、次いで、上記に説明されるように、ロボットの実際の状態を決定する。ロボットの行動が、予期される行動に対応しない場合、SADM425は、典型的には、緊急停止信号を使用して、ロボットを安全状態に遷移させる。これは、事実上、安全定格停止機構を超えるリアルタイム安全定格インターフェースを要求することなく、リアルタイム安全定格制御スキームを実装する。
ある場合には、ハイブリッドシステムが、最適であり得、多くのロボットが、安全監視停止装置を保持するために使用され得るデジタル入力を有する。例えば、侵入する物体が、ロボットから比較的に遠いとき、可変速度のための通信プロトコルを使用することが、望ましいが、ロボットが、完全に停止しなければならないとき、例えば、侵入する物体が、ロボットに近接するとき、デジタル安全監視停止装置を使用することが、望ましくあり得る。
5.マルチセル作業空間の監視
図6に図示されるように、複数の作業セル(それぞれ、その独自の監視システムを伴う)1001 … 1005が、近接して、または作業空間、レーン、または製造活動が行われないが、循環、保管、および/または作業セル100へのアクセスを促進する他の面積によって分離されるかのいずれかで、工場床600上に整列されてもよい。例えば、輸送レーン610は、仕掛品または材料の車両移動を促進してもよい一方、人間アクセスレーン612は、人間往来専用であり、車両を除外してもよい。製造が行われない面積もまた、連続する工場床面積(「網羅空間」)が、1つ以上のOMS410(図4参照)によって完全に管理され得るように、センサ102のアレイによって網羅されてもよい。
1つの動作モードでは、複数のOMS410が、センサ102を共有し、すなわち、特定の作業セル100または他の区域(例えば、輸送レーン610)に関与するOMS410が、隣接する区域のOMSとセンサデータを共有する。しかし、各OMS410は、実際には、コントローラ407と通信するという意味で、その区域にのみ関与する。網羅空間600は、それによって、別個の、可能性として重複する安全区域に分割され、そのそれぞれは、単一のOMS410の担当である。しかしながら、各センサからのデータは、監視される区域に関与するOMS410にだけではなく、また、隣接する区域に関与するOMSにも送信される。各OMS410は、上記に説明されるように独立して動作し、1つのセンサからの照明が、別のものによって不適切に感知されないようにタイミングを協調させるようにセンサと通信するが、また、可能性として隣接する区域からデータを受信する。本構成は、例えば、センサ102の別個のセットが各組立ライン作業セルの上方に整列される、組立ラインの場合に使用されてもよい。組立ラインに沿ったセンサの間の間隔は、作業セルの長さに応じて、固定または可変であってもよい。
図6では、5つの作業セル1001 … 1005はそれぞれ、仕掛品が、隣接して(例えば、コンベヤベルトによって作業セル1から作業セル2に)、人間を使用して(人間アクセスレーン612を使用して作業セル2と作業セル3との間で)、または輸送レーン610を使用して、フォークリフト、自動化誘導車両、自律車両、またはさらには手押し車であり得る車両を介して(作業セル3と作業セル4との間のように)のいずれかで、作業セルの間で引き渡される、製造ステップを表す。
本明細書に説明されるアプローチは、人間および他の移動する機器の存在下で複数の作業セルおよび他の区域(そのそれぞれは、離散制御システム112と関連付けられ得るOMS410によって監視される、またはいくつかの実装では、単一の制御システム112が、それぞれ、異なる監視される区域と関連付けられる複数のOMS410をサポートし得る)の安全監視および制御を可能にする。本監視および制御は、人間および機械(移動または固定のいずれか)が、工場内の複数の作業セルおよび作業空間を横断する同一の空間内で安全に動作することを可能にする。本発明の実施形態は、上記に説明されるように、他の区域のセンサに対して、および監視される区域100内の制御下の任意の固定機器に対して各監視される区域100に関与するセンサ102を位置合わせし、工場の動作の間に本位置合わせを安全に監視し続け、監視される区域100毎に、区域自体からの、および隣接する区域からのセンサ入力を分析し、人間または他の移動する機械類によって占有され得る、または将来占有され得る領域を識別し、各監視される区域内の物体、隣接する監視される区域の間の物体の運動を識別および分類し、識別された物体およびそれらの位置および軌道、および監視される区域のそれぞれの中のオクルージョンおよび非安全空間の記録を維持し、いくつかの実施形態では、人間および機械類が、区域の間で移動する際、隣接する区域に関与するOMSにその情報を転送し、人間との安全な相互作用を可能にするように、監視される区域内の機械類および移動する機器に関する制御出力を発生させることによって動作する。
これらの制御出力は、これが、人間または障害物として分類される他の物体と近接近または接触する場合、危険として指定された機器または移動する機械類に関する安全減速または停止信号を含んでもよい。本指定は、例えば、人間相互作用から独立して仕掛品を搬送し得る、自律車両として識別される物体に関して一時的であり得、停止されている間、車両は、人間が接近することが安全である。指定は、代わりに、動作の間のいずれの時点でも人間と相互作用しないロボットに関して恒久的であり得る。
本発明の実施形態は、個々のセンサを同一または隣接する監視される区域内の他のセンサにマッピングするための方法および機器、および具体的区域に割り当てられるOMS(ある場合には、離散制御システム112)、ある区域内のセンサ間および隣接する区域内のセンサ間の干渉およびクロストーク軽減のための方法および機器、具体的区域内のオクルージョンおよび非安全空間データを隣接する区域に安全に転送するための方法および機器、および定常(例えば、固定基部上に搭載されるロボット)または可動性(例えば、自動化誘導車両)であり得る具体的機械類に制御信号を動的にマッピングするための方法および機器を含んでもよい。
図3-6を参照すると、別の動作モードでは、上記に説明されるように、隣接する作業空間面積に関与するコントローラを個々に相互と協調させる代わりに、中央監督制御システム615が、区域特有センサ102の複数のセットまたはさらには作業空間600全体を統括し、その監督下の全てのセンサ102からデータを受信する。制御システム112と同一の全体的アーキテクチャを有し得る、中央制御システム615は、これが監視する複数の区域面積の空間マップ345を記憶し、空間マップの構成区域は、各区域内の機器402を制御するコントローラ407との通信を簡略化するために、区域マップとして別個に表されてもよい。区域マップは、ボクセルレベルにおいて連続し、したがって、異なる区域内のセンサ間の明示的位置合わせは、不必要である。区域から区域への人々または機器の移動は、容易に予測され、本実施形態では、中央制御システム615は、差し迫った侵入の詳細を影響を受ける区域に関与するOMS410に伝送する。そのOMSは、伝送された詳細をその区域表現のその空間マップ表現に統合し、それに応じて反応し、それにおける安全条件を維持し、例えば、侵入する人間の算出された経路内の機器を運転停止させる、またはその動作を限定する、または侵入者が、例えば、衝突を回避するために作業セル機器と相互作用するように装備した運搬システムである場合、いかなる措置もとらない。
5.1 区域間のセンサの位置合わせおよび監視
隣接する区域に割り当てられるOMS間のローカル通信を利用する実施形態に関して、センサ102(同一の区域内および隣接する区域内の両方)間の位置合わせは、各センサ画像の全てまたは一部を他のセンサによって発生された画像と比較し、それらの画像間の対応を識別するために従来のコンピュータビジョン技法を使用することによって達成されることができる。種々のセンサの視野間の十分な重複および明確に異なる画像を提供するための監視される空間内の十分な詳細が、存在する場合、静的区域の画像を比較することが、十分であり得る。これが、該当しない場合、上記に説明されるように、3Dにおいて特色のあるシグネチャを有する位置合わせ物体が、これが十分な数のセンサによって見られ得る場所に設置されることができる。本物体は、全ての区域を網羅するセンサの共同位置合わせ、それによって、隣接する区域の間の位置合わせを促進するように、カート上に搭載され、異なる監視される区域を通して移動されることができる。センサ視野の間の十分な重複が、存在しない場合、位置合わせは、代わりに、機械類の相対的位置および配向の知識に基づくことができる。
代替として、位置合わせは、本システム、すなわち、センサ102の全てを介した中央コントローラ615が、ある時間周期にわたる全体的網羅空間600全体を通して歩行する1人以上の人間、または区域の間で移動する可動車両を観察することを可能にし、隣接する作業セルおよび作業空間の間の正確な位置合わせが取得されるまで、十分な数の部分的に合致する画像を組み合わせることによって達成されることができる。工場床上600上のセンサ102の視覚表現を提供する従来のマッピングツールが、適切な場所に要求される数のセンサをレイアウトし、空間カバレッジ間隙を伴わずに面積全体を網羅することに役立つために採用されてもよい。
位置合わせに対する他のアプローチは、その唯一の目的が位置合わせであり、区域毎のセンサ(およびその視野がマーカを含む隣接する区域のもの)間の位置合わせの連続的検証を可能にする、恒久的マーカまたは基準の区域内での設置を含む。これらのマーカは、例えば、センサと恒久的に整合されるRGBカメラが、位置合わせデバイスとしての役割を果たし得るように、可視光に敏感であってもよい、または代替として、マーカは、それらが、IR飛行時間センサ等の他の感知モダリティによって検出され得るように、IR感受性であってもよい。
初期位置合わせのために使用される同一のアルゴリズムは、位置合わせの継続した正確度を監視するために拡張されることができる。あるメトリック(例えば、二乗誤差)が、初期位置合わせの間に計算され、全体的空間600内の静的要素(例えば、固定具またはライトポール)のモデルへの観察されたデータの適合の正確度を捕捉することができる。本システムが、動作する際、同一のメトリックは、再計算されることができる。そのメトリックが、規定された閾値を超える場合、位置合わせは、無効と見なされ、エラー条件が、ソフトウェアにおいてトリガされ、これは、機械類を安全状態に遷移させるであろう。本安全状態は、工場600の具体的区域または面積に限られ得る、または区域の一部または全てを網羅し得る。他のモダリティによって防護される不十分に観察可能な面積は、安全と見なされ、内蔵された固有の安全性をオーバーライドし得る。
5.2 作業セルおよび作業空間の間の占有される面積および潜在的に占有される面積の識別
いったんセンサが、全てのアクティブな区域を横断して位置合わせされると、本システムは、高い固定頻度において、本システムによって監視される区域内の全ての侵入を識別する。区域内の複数のセンサからのデータは、ボクセルレベルにおいて、区域の3D境界を識別するために集約される。中央制御システム615を採用する実施形態では、本境界データは、ボクセルレベルにおいて網羅空間600全体をマッピングするために、隣接する区域からのデータと整合される。上記に説明されるように、センサが、所与のボクセルにおける任意のものを検出する場合、そのセンサの焦点から始まり、占有されるボクセルを通して通過する光線上のセンサからより遠くに位置する全てのボクセルは、そのセンサに関してオクルードされると決定される一方、センサと占有されるボクセルとの間に位置する全てのものは、空と見なされることができる。
制御システム615は、全てのセンサ102からの情報を組み合わせ、具体的区域内および隣接する区域を横断する全てのセンサから共同でオクルードされる面積を決定する。必要な場合、冗長センサが、ボクセルが、本システムによって空と見なされるために、1つを上回るセンサによって観察されなければならないように使用されることができる。空として確認されることができない全ての空間は、未知としてマーキングされる。中央制御システム615はまた、上記に説明されるような背景減算を実施し、区域の静的要素によって占有される全てのボクセルを識別してもよい。区域間を移動するように設計される機械類(例えば、フォークリフト、自動化誘導車両、レール、コンベヤ、および可動ロボットまたは車両上に搭載されるロボット)の3Dモデルは、「背景」の部分と見なされるが、区域の内側またはその間で移動することが可能な物体として識別される。工場600の本3Dデータモデルは、商業的に入手可能な工場設計ソフトウェアツールによって発生されることができる。
再度、教示ステップもまた、含まれることができる。1つのアプローチでは、個々の一式の可動機械類、コンベヤ等が、単独で、動作され、中央制御システム615が、教示ステップに基づいて、各一式の可動機器の予期される運動を学習する機械学習構成要素(例えば、ニューラルネットワーク)を含んでもよい。加えて、上記のように、教示ステップは、ワークピースの画像または重要な特徴を供給してもよい。訓練されたシステムは、それによって、区域内または区域の間の可能性として考えられる衝突を予測するために、移動可能機器の予期される運動(および/または最大速度)の内部モデルを開発してもよい。可動機器およびワークピースを認識する能力を用いて、本システムは、全ての認識されない物体を潜在的に人間として、回避されるべきであると保守的に見なすことができる。代替として、または加えて、物体運動および最大速度の単純な基準ライブラリからのエントリが、それらが、具体的に、またはカテゴリ(例えば、フォークリフトまたは電動カート)によってのいずれかで識別される際に可動物体と関連付けられ、運動予測のための基礎を提供することができる。
第2のアプローチは、区域縁等、可動要素が区域に進入するであろう工場レベル空間マップ345内の特定の領域を規定することである。そのような規定された場所における区域に進入する物体のみが、区域の中に、およびその中で移動することが適格であると見なされ、そうでなければ、物体は、侵入として識別される。移動する物体は、次いで、モデル化され、それらが網羅空間に進入した時間からそれらがこれを離れる時間まで追跡されることができる。モデル化は、障害物およびそれらの周囲の可能性のある経路を考慮して、現在の物体軌道の単純な外挿を伴うことができる、または物体またはそのクラスと関連付けられる移動能力に基づくことができる。実際の軌道は、次のマッピングサイクルにおいて確認され、新しい軌道が、再算出されてもよい。代替として、計画された軌道は、移動する物体によって、例えば、無線伝送として作業空間レベル制御システム615に、または局所区域OMSに供給されてもよく、これは、区域を跨ぐ物体軌道が、追跡され得るように、隣接する区域のOMSとデータを共有してもよい。
侵入として識別されない可動要素は、将来の測定から減算されることができるが、連続的監視は、観察される背景画像が、始動周期の間に記憶された画像と一貫することを確実にする。加えて、背景内の物体によってオクルードされる面積を識別し、上記に説明されるように正しくこれらの未知の面積を取り扱うことが、必要である。これらのオクルージョンは、作業セル内の固定機械類によって作成されるもの等、恒久的であり得る、またはそれらは、区域内の移動する車両または人間によって作成されるもの等、一時的であり得る。区域内で動作することが適格であるとして前に識別された移動する物体は、中央制御システム615または局所区域OMSによって監視され、全ての可能性として考えられる物体構成、物理的位置、および速度に基づいて、先を見越して追跡されてもよい。
5.3 区域内およびその間の物体の分類
それらの最も単純なレベルにおいて、上記のプロシージャは、中央制御システム615に、占有される、および/または潜在的に占有されることが把握される領域を規定する、各監視される区域100の内部のボクセルレベル表現を提供する。いくつかの用途に関して、本初歩的表現は、すなわち、本システムが、背景の一部として識別されるもの以外にいかなる移動する物体も存在するべきではない空間を監視している場合、十分であり得る。しかしながら、より一般的には、物体レベル識別が、例えば、通常動作が、移動する機械類部分、仕掛品、可動ロボットまたは他の車両等を伴う場合に必要である。そのような物体は、通常、固定および可動物体の元の背景マップの一部ではなく、それらを識別するために、概して、上記に説明されるように、より高い(すなわち、物体)レベルにおいて分析のための個々の占有されるボクセルをクラスタ化することが、有用である。
特に、クラスタは、区域内または隣接する区域の間のいずれかで、単純に、現在のセンサ画像フレーム内のクラスタを前のフレーム内の近傍クラスタと関連付ける、またはより洗練された技法(K平均クラスタリングまたはサポートベクトルマシン等)を使用することによって、経時的に追跡されることができる。クラスタの形状、サイズ、または他の特徴は、識別され、これが既知の区域境界を横切る際、1つの区域から次の区域まで追跡されることができる。いったんクラスタが、識別されると、付加的技法が、それらが移動する際のそれらの精密な場所を分類およびマッピングするために適用されることができる。可動ロボットまたは自動化誘導車両等のある移動する物体が、それらの分類、場所、および配向を外部感知要素に、または中央制御システム615またはローカル制御システム112に直接無線で(例えば、上記のような通信プロトコルのうちの1つを使用して)伝送する能力を有してもよい。移動する物体が、これがその場所を確認するために識別し得る場所ビーコンまたは基準マーカを利用してもよい。従来的にセンサと適合されないものを含む、他の移動する物体(フォークリフト、ワークピース、仕掛品、またはさらには人間等)が、場所センサと独立して適合されることができ、これは、次いで、分類のために識別されたボクセルクラスタにマッピングされてもよい。
別のアプローチは、ユーザインターフェースを通して具体的クラスタを人間、機械類、仕掛品、またはワークピースとしてマーキングするために、外部入力を使用することである。識別されたクラスタの初期物体レベル分類が、本外部入力に基づいて実施されることができる。入力データは、具体的クラスタを機械、人間、ワークピース、または仕掛品として手動で識別するオペレータから、またはそのデータベース内の情報または事前知識から具体的クラスタを自動的に分類する学習ソフトウェア(例えば、ベイズ分類器または物体検出および分類のために構成されたシステム)から生じてもよい。本アプローチの一実施形態は、空間内の全ての既知の物体を識別し、それ以外の任意のものを障害物として分類することである。別の実施形態では、人間等の保護を必要するそれらのアイテムのみが、肯定的に識別される。初期ステップにおいて分類されていない任意のクラスタ(分類後に網羅面積に進入する人間等)は、移動する機械類によって回避されるべき障害物と見なされてもよい。
5.4 作業セルおよび作業空間内の物体、オクルージョン、および非安全空間の記録の維持および更新
中央コントローラ実装では、区域レベルオクルージョンデータは、低減され、全ての区域の境界は、識別され、工場レベル空間マップ内に合体されてもよい。一実施形態では、区域レベルデータ構造が、移動する物体の位置、現在および将来の軌道、および関連付けられる区域内の全てのオクルージョンおよび障害物を記憶する。中央制御システム615は、人間、可動機械、または仕掛品が、区域の間で移動する(または可能性として移動することが予測される)際、本データ構造を隣接する区域に渡す。データ構造は、C構造または連結リスト、Pythonリストまたはディクショナリ、テーブル、関係またはフラットファイルデータベース、または他の好適な表現であってもよい。
一方、分散区域レベル実装では、各OMSは、データ構造を区域内の各識別および分類された可動物体(人間、機械、または仕掛品等)と関連付け、分類された可動物体が、区域の間で移動する(またはその間で移動することが予測される)際、本データ構造を隣接する区域のOMSに渡す。物体のデータ構造は、物体が移動するにつれてリアルタイムで、その新しい場所、軌道、および可能性として考えられる将来の位置を用いて更新される。物体運動が、区域内のオクルージョンおよび非安全空間を改変する際、オクルージョンおよび非安全空間マップもまた、更新される。
例えば、人間が、作業セル内で移動する際、具体的センサによって見られるような人間によってオクルードされる空間は、可視状態になる一方、前に可視であった他の空間は、オクルードされた状態になる。本情報は、区域レベルデータ構造および/または区域内の移動する物体のそれぞれと関連付けられるデータ構造を更新するために使用される。これらの移動する物体は、定位置に固定されるが、固定されたボリュームにわたってそのアームを移動させることが可能であり、これが移動する際にオクルージョン、妨害、および非安全空間(例えば、ピンチポイント)を発生させる、ロボット等の定位置において移動する機械類を含み得る。
5.5 網羅区域からの安全制御出力の発生
本段階において、中央制御システム615は、または区域特有OMSは集合的に、安全目的のために考慮されなければならない全ての物体(固定、移動可能、および人間等の侵入)、それらの場所、およびそれらの軌道を識別している。物体(固定および移動可能の両方)と関連付けられる全てのオクルージョンおよび非安全空間は、識別およびマッピングされている。これらのデータを前提として、種々の制御出力が、発生されることができる。これまでに実施されたステップの全ては、安全重視用途のために実装されることができるため、これらの制御出力は、関連する信頼性規格を満たすことができる。
最も単純なタイプの出力は、種々の区域内の侵入を示すバイナリ信号である。これらのバイナリ信号は、独立する、または作業空間マッピングシステム(例えば、分析モジュール342)に専用のPLCを通して接続されることができる。これらの信号はさらに、工場レベルSCADAまたはMESシステムに集約するために外部安全PLCに、および即時の応答のために作業空間内の機器に直接接続されることができる。区域侵入情報もまた、フィールドバス、イーサネット(登録商標)、または無線等のデジタル通信プロトコルを経由して配信されることができる。SCADAまたはMESシステムは、次いで、減速、停止、または他の安全情報を網羅空間の内側の機械類(固定または可動のいずれか)に中継することができ、その専用コントローラは、適切なコマンドを発行するであろう。本情報転送は、有線または無線手段を通して行われることができる。無線信号インターフェースが、例えば、安全情報を可動ロボットに中継するときに要求されてもよい。
別の望ましい出力は、2D近接センサの出力に匹敵する、感知される面積内の任意の侵入と移動する機械または定常機械との間の距離である。本量は、それを下回ると出力がアサートされる近接閾値を使用して、バイナリ信号に変換されてもよい。本システム(すなわち、中央制御システム615またはOMS)が、機械に最も近接する侵入の場所、範囲、および/または形状を提供することもまた、望ましくあり得る。
衝突の可能性は、同心円3D安全エンベロープを使用して、図5に関して上記に説明されるように監視されてもよい。これらの安全エンベロープの場所および3D範囲は、機械類が、動作し、侵入として分類された人間または可動機械類が、安全エンベロープ502、508、510を中心として、その間を移動する際、各時間ステップにおいて更新される。これらの更新は、作業セル内の全ての物体の場所および軌道、およびそれらが作業セル内および区域の間で移動する際にそれらが発生させるオクルージョンおよび非安全空間をリアルタイムで維持する、データ構造をリフレッシュすることによってもたらされる。近傍の物体のボリュームが重複することが非安全と見なされる移動する物体を囲繞するボリューム(それらの位置および推定される軌道によって決定される)は、衝突またはそれらを潜在的衝突コース上にもたらす移動に関して連続的にチェックされる。
種々の実施形態では、安全エンベロープが、相互に接近する場合、機械類は、減速または停止され、作業セル内の人間は、警告を用いてアラートされる。エンベロープが、交差する場合、機械類は、中止され、安全違反アラートが、鳴らされる。警告または違反を引き起こす人間が、進路を外れて移動すると、アラームは、終了し、機械類は、その通常動作を再開する。物体が、区域を通して移動する際、具体的機械類と関連付けられる信号(例えば、可動ロボットに関する緊急停止)は、可動機械類および人間が、区域の間で移動する際、異なるコントローラ407に動的にマッピングされてもよい。これは、一式の機械類に関する具体的制御ループが、これが進行する際に機械に「追従する」ことを可能にする。本信号ハンドオフは、デュアルチャネル信号経路およびフェイルセーフアーキテクチャを用いて、安全定格様式で実施されてもよい。
5.6 安全アーキテクチャ説明および考慮事項
本明細書に説明されるアプローチを利用するシステムは、人間の安全性に関与するため、本システムのアーキテクチャおよび動作は、稼働時間、待ち時間、および干渉からの保護に関する産業安全規格を満たすべきである。分散実施形態では、区域センサアレイおよび関連付けられるOMSはそれぞれ、その独自の安全プロトコルおよび動作を伴う独立した動作単位と見なされることができる。上記に詳述されるように、これらの区域レベルシステムは、通信が、独立し、隣接する最近傍の近隣にのみ行われるように、隣接する区域のシステムに(例えば、区域から区域に移動する侵入を識別するために)接続されることができる。区域の間の通信は、望ましくは、デュアルチャネルおよびフェイルセーフであるプロトコルを使用して行われ、安全定格通信および動作を可能にする。
分散実施形態では、現場面積600全体は、連結されるが、独立した感知システムの集合と見なされることができ、制御の単位が、少数のセンサおよびOMSであるため、短い待ち時間を伴う。しかしながら、能動感知(ToFセンサ等)を使用する場合、本アーキテクチャは、各OMSが、独立して動作し、区域を横断するセンサトリガリングが、協調されないため、隣接する区域の間の干渉を呈し得る。これを軽減するために、完全分散実施形態であっても、区域の各小群は、作業セルのその小群のセンサのトリガリングおよびデータ捕捉を協調させるローカルマスタOMSを有してもよい。全ての群化された作業セルのローカルマスタは、区域群間の干渉を軽減し、したがって、区域レベルにおいても同様に干渉を軽減するように協調する。軽減は、それらが、干渉することができないように、センサを時間多重化すること、または、信号干渉が、最小限にされるように、励起の周波数を時間変動させることを伴い得る。代替として、区域の各小群は、ランダムバックオフ等のピアツーピア通信アルゴリズムを使用して通信することができる。
一元化実施形態では、全てのセンサは、中央制御システム615によって制御され、これは、センサ間の干渉を回避するように、データ捕捉を順次トリガする。これは、例えば、時分割または周波数分割多重化を使用して達成されることができ、中央制御システム615は、始動または構成相の間に周波数またはタイムスライスを区域およびセンサに割り当てる。代替として、中央制御システム615は、高速安全定格接続(無線であり得る)を経由してセンサからデータを受信し、待ち時間を最小限にし、別個の施行機構の必要性を排除することができる。
区域レベルプロセッサに加えて、全体的システムは、各センサ、センサ群、およびコントローラの機能および状態を連続的にチェックし、侵入および機器故障または干渉の両方からの障害条件を識別する、監督プロセッサを有してもよい。さらに、識別された物体毎の位置、軌道、オクルージョン、および非安全空間データを含有するデータ構造もまた、安全定格様式で記憶および維持されてもよい。データ構造が、更新される際、バックアップコピーが、中央制御システム615に送信されてもよく、これは、データ構造の2つのコピー(その独自のものおよび区域OMSによって発生されたもの)が常時同じであることを連続的に検証する。形態または内容における任意の逸脱が、データ不整合が存在する具体的物体、またはシステム全体に関するアラームおよび停止信号をトリガしてもよい。コントローラの間で物体データ構造を転送する通信プロトコルもまた、望ましくは、通信チャネルの故障が、工場床上の潜在的衝突または非安全条件に関連のないシステム故障をトリガしないように、デュアルチャネルである。
本発明のある実施形態が、上記に説明される。しかしながら、本発明が、それらの実施形態に限定されず、むしろ、本明細書に明確に説明されるものへの追加および修正もまた、本発明の範囲内に含まれることに明確に留意されたい。