JP2020511325A - 作業空間安全監視および機器制御 - Google Patents

Abstract

本発明の分野は、概して、人間および機械類が相互作用する、または近接する産業環境の監視に関し、特に、監視される作業空間内の危険条件を検出するためのシステムおよび方法に関する。システムおよび方法は、作業空間を中心として分散されるセンサを使用して、安全目的のために作業空間を監視する。センサは、相互に対して位置合わせされ、本位置合わせは、経時的に監視される。遮蔽される空間および占有される空間が、識別され、本マッピングは、頻繁に更新される。

Description

（関連出願の相互参照）
本願は、２０１７年２月７日に出願された米国仮特許出願第６２／４５５，８２８号および第６２／４５５，８３４号に対する優先権およびこれらの利益を主張するものである。

本発明の分野は、概して、人間および機械類が相互作用する、または近接する産業環境の監視に関し、特に、監視される作業空間内の危険条件を検出するためのシステムおよび方法に関する。

産業用機械類は、多くの場合、人間にとって危険である。いくつかの機械類は、これが完全にシャットダウンされない限り危険である一方、他の機械類は、種々の動作状態を有し得、そのうちのいくつかは、危険であり、そのうちのいくつかは、危険ではない。ある場合には、危険度は、機械類に対する人間の場所に依存し得る。その結果、多くの「保護」アプローチが、機械類が人間への危害を引き起こすことを防止するために開発された。１つの非常に単純かつ一般的なタイプの保護は、単純に、ケージの扉の開放が電気回路に機械類をシャットダウンさせるように構成される、機械類を囲繞するケージである。これは、人間が、機械類が動作している間にこれに決して接近し得ないことを確実にする。当然ながら、これは、人間と機械との間の全ての相互作用を妨害し、作業空間の使用を極度に制約する。

より洗練されたタイプの保護は、光学センサを伴う。実施例は、任意の物体が１つ以上の光エミッタおよび検出器によって監視される領域の中に侵入したかどうかを決定するライトカーテン、およびセンサから発生する一連の光線に沿って障害物までの最小距離を検出するために能動的光学感知を使用し、したがって、事前構成された２次元（２Ｄ）区域への近接または侵入のいずれかを検出するように構成され得る２Ｄ ＬＩＤＡＲセンサを含む。より最近では、システムは、例えば、３Ｄ飛行時間カメラ、３Ｄ ＬＩＤＡＲ、およびステレオビジョンカメラを使用して、３Ｄ深度情報を採用し始めている。これらのセンサは、３Ｄにおいて産業用機械類を囲繞する面積の中への侵入を検出および位置特定する能力を提供し、これは、いくつかの利点を有する。例えば、産業用ロボットを保護する２Ｄ ＬＩＤＡＲシステムは、侵入が人物の脚を表す場合、その人物の腕がはるかに近接し得、平面ＬＩＤＡＲによって検出不可能であろうため、侵入がロボットから腕の長さの距離を明確に超えて検出されると、ロボットを停止する必要性があるであろう。しかしながら、３Ｄシステムは、人物が実際に自身の腕をロボットに向かって差し伸ばすまで、ロボットが動作し続けることを可能にすることができる。これは、機械の行動と人間の行動との間のはるかに緊密なインターロックを可能にし、これは、多くの用途を促進し、常時貴重である工場床上の空間を節約する。

人間の安全性が問題となるため、保護機器は、典型的には、厳重な業界基準を遵守しなければならない。これらの基準は、ハードウェアコンポーネントに関する故障率およびハードウェアおよびソフトウェアコンポーネントの両方に関する厳密な開発実践を規定し得る。基準準拠のシステムは、危険な条件が非常に高い確率で検出され得、システム自体の故障が検出され、システムが安全状態で制御されている機器に遷移することによって検出された故障に応答することを確実にしなければならない。保護機器の設計は、人間および機械がともに協調的に作業するタスクと関連して、特に困難になる。機械は、人間よりも強く、より速く、より精密であり、より繰り返し可能であり得るが、それらは、人間の柔軟性、器用さ、および判断力が欠如する。協調的用途の実施例は、自動車内のダッシュボードの配設であり、ダッシュボードは、重く、人間が操作することが困難であるが、これを取り付けることは、正しく取り扱う人間の能力を要求する種々のコネクタおよび締結具を要求する。単純に人間および機械を離しておくことが、したがって、人間が人間を傷つけ得る機械と能動的に協働するときに危険な条件を検出する、はるかに単純な保護タスクを表す。従来の保護システムは、そのような環境を確実に監視するために動作時に十分に粒度が細かくない。

３Ｄセンサシステムは、保護システムにおける改良された粒度の可能性を提供する。しかし、３Ｄデータシステムは、２Ｄセンサシステムと比較して、構成することが困難であり得る。第１に、具体的区域が、機械類によってもたらされる具体的危険、作業空間内の人間の可能性として考えられる行動、作業空間レイアウト、および各個々のセンサの場所および視野を考慮して、使用事例毎に設計および構成されなければならない。特に、床面積およびシステム処理能力を最適化しながら安全性を保全しようとするとき、１つの物体がセンサに対して遮蔽を提示し得る場合、および光レベルが異なるセンサに対して変動する場合、立入禁止区域の最適な形状を計算することは、困難であり得る。構成の誤りは、深刻な安全上の危険をもたらし、設計および試験における有意なオーバーヘッドを要求し得る。また、任意の変更が作業空間に行われる場合、本作業は全て、完全にやり直されなければならない。３Ｄシステムによって提示される余剰自由度は、可能性として考えられる構成および危険のはるかに多いセットをもたらす。故に、高い粒度で作業空間を監視するための改良されたコンピュータ的に従順な技法の必要性が存在する。

作業空間が精密にマッピングおよび監視され得る場合であっても、ロボットおよび人間が急速かつ不均一な方法で移動する、すなわち、位置および構成の両方を変化させ得る動的環境において安全性を維持することは、困難である。典型的な産業用ロボットは、定常であるが、それにもかかわらず、可能性として考えられる移動軌跡の広い「エンベロープ」にわたって傷害を引き起こし得る強力なアームを有する。一般に、ロボットアームは、精密に制御され得る回転ジョイントによって接続されるいくつかの機械的リンクから成り、コントローラが、具体的用途のために産業エンジニアによって決定される軌跡を達成するようにジョイントの全てを協調させる。

産業用ロボット用途は、ロボットの運動の全範囲の一部のみを使用し得る。しかしながら、ロボットの軌跡を制御するソフトウェアは、典型的には、ロボットの安全システムの一部として見なされていない、または開発されていない。したがって、ロボットは、その軌跡エンベロープのわずかな部分のみを使用し得るが、保護システム（再び、ケージ等）は、ロボットの運動の全体的範囲を包含するように構成されている。他のタイプの保護のように、そのようなデバイスは、単純な機械的解決策から電子センサおよびソフトウェア制御に発展した。近年では、ロボット製造業者はまた、いわゆる「ソフト」軸および速度限定システム、すなわち、ロボットをその運動の範囲のある部分およびある速度に制約する安全適合ソフトウェアを導入している。本制約は、次いで、安全適合ソフトウェアにおいて施行され、任意の時点でロボットがソフト軸および速度限定設定から違反していることが見出される場合、緊急停止が、アサートされる。本アプローチは、ロボットの周囲に有効安全面積を増加させ、協調的用途を可能にする。

これらのシステムは、それにもかかわらず、少なくとも２つの有意な欠点を呈する。第１に、具体的区域が、典型的には、ロボットの軌跡、作業空間内の人間の可能性として考えられる行動、作業空間レイアウト、および各個々のセンサの場所および視野を考慮して、産業エンジニアによって使用事例毎にプログラムされなければならない。区域自体の精度が特性評価および監視され得るかにかかわらず、これらの区域の最適な形状を計算することは、困難であり得る。構成の誤りは、深刻な安全上の危険をもたらし得、安全区域は、任意の変更がロボットプログラムまたは作業空間に行われる場合、再構成されなければならない。第２に、これらの区域および速度限定は、離散的であり、通常、ロボットと検出された障害物との間の精密な距離のために必要な量だけロボットを比例的に減速させるいかなる方法も存在しないため、それらは、したがって、非常に消極的でなければならない。なおも別の複雑性は、ロボットがピックアップしたワークピースを含む、または別様にロボットと関連付けられる状態になった予測される可能性として考えられるロボット軌跡を計画する必要性である。故に、新しいアプローチが、作業空間占有およびロボットタスクが進展する際に動的方式で安全区域を構成および再構成するために必要とされる。

一側面では、本発明の実施形態は、作業空間を中心として分散されるセンサを使用して、安全目的のために作業空間を監視するためのシステムおよび方法を提供する。作業空間は、人間にとって危険であり得る１台以上の数の機器、例えば、部品供給装置、レール、クランプ、または他の機械等の産業用ロボットおよび補助機器を含有し得る。センサは、相互に対して位置合わせされ、本位置合わせは、経時的に監視される。遮蔽される空間および占有される空間が、識別され、本マッピングは、頻繁に更新される。

監視される空間内の領域は、占有、非占有、または未知とマーキングされてもよく、空の空間のみが、任意の付加的安全基準、例えば、１台の制御された機械類からの最小距離が満たされるときのみ、最終的に安全と見なされることができる。一般に、各センサからの未加工データは、センサに対応するカバレッジの区域全体を通して、３Ｄマッピングされた空間の物体または境界が決定的に検出されたかどうかを決定するように分析される。

人物が３Ｄ空間内で移動する際、人物は、典型的には、いくつかのセンサから一部の面積を遮蔽し、一時的に未知である空間の面積をもたらすであろう。加えて、産業用ロボットアーム等の可動機械類もまた、一部の面積を一時的に遮蔽し得る。人物または機械類が異なる場所に移動すると、１つ以上のセンサは、未知の空間を再度観察することが可能であり、これを確認された空の状態、したがって、ロボットまたは機械が本空間内で動作するために安全である状態に戻すであろう。故に、いくつかの実施形態では、空間はまた、「潜在的に占有」と分類されてもよい。未知の空間は、未知の空間が占有され得る条件が生じると、潜在的に占有されると見なされる。これは、未知の空間が作業空間への進入点に隣接するとき、または未知の空間が占有される、または潜在的に占有される空間に隣接する場合に起こり得る。潜在的に占有される空間は、作業空間を通して移動する人間を表す速度で未知の空間に「伝染」する。潜在的に占有される空間は、これが空であると観察されるまで、潜在的に占有されたままである。安全目的のために、潜在的に占有される空間は、占有される空間と同一と見なされる。

アクティブ光学信号に依拠するもの等のいくつかのセンサモダリティに関して、物体または境界を決定的に検出するセンサの能力は、距離に伴って急速に低下し、すなわち、ある距離を超えると、センサは、関連付けられる照明レベルが過剰に類似するため、物体と空の空間との間を区別することが可能ではなくなり得る。そのような場所における点または領域は、関連するセンサに対して「未知」とマーキングされ、そのようにマーキングされた領域は、そのセンサによって空として確認されることができない。

別の側面では、本発明の実施形態は、安全行動が、全ての感知された関連する物体に基づいて、かつ作業空間内の機械類（例えば、ロボット）の現在の状態に基づいてリアルタイムで計算される、作業空間内の安全区域を決定するためのシステムおよび方法を提供する。これらの実施形態は、必要ではないが、下記の詳細な説明に説明される作業空間監視アプローチを利用してもよい。本発明の実施形態は、例えば、人間移動のモデルおよび他の形態の制御を使用して、ロボット幾何学形状の動的モデル化を実施し、ロボットおよび／または人間の将来の軌跡を予想する。ロボットのモデル化および予想は、いくつかの実施形態では、安全性保証を含む場合とそうではない場合があるロボットコントローラによって提供されるデータを利用してもよい。しかしながら、本発明の実施形態は、本データの独立した検証および安全適合停止機能の使用によって、いずれの場合も安全性保証を提供することができる。

本発明の実施形態は、空間内の機械類の運動および人間の可能性として考えられる運動の両方をリアルタイムで予想し、機械類が動作し、人間が作業空間内で移動する際に予想を連続的に更新してもよい。本システムが追跡および予想する際、これは、未知であり、場合によっては人間によって占有され得る、遮蔽されたボリュームまたは未知のボリュームに遭遇し得る。本システムは、そのようなボリュームを、それらが現在人間によって占有されているかのように見なす。本発明者のアプローチは、具体的区域をプログラムする必要性を克服し、動作するために離散速度限定を要求せず、作業空間内のより広い範囲の人間行動にわたってロボット運動を維持し、それによって、ロボットが動作を継続する際であっても、人間が立入禁止と指定される作業空間面積を縮小する。

なおも別の側面では、本発明の実施形態は、ワークピースの構成を決定し、これがロボット等の監視される部分の機械類によって実際に取り扱われているかどうかを決定する。これらの実施形態によって解決される問題は、その殆どがワークピースではない多くの物体が機械類に近接し得るため、特に、実世界の工場環境において困難である。故に、そのような実施形態は、機械類と関連付けられた状態になり得るワークピースとそうではないであろう作業空間内の他の物体（および人間）との間を区別し、例えば、ロボットがワークピースを運搬しているときを検出するために、意味論的な理解を利用してもよい。本事例では、ワークピースは、可能性として考えられるロボット軌跡のエンベロープを確立する目的のために、ロボットの一部と見なされる。エンベロープは、ロボットおよびワークピースが作業セル内でともに移動する際に追跡され、それに対応する占有される空間は、空ではなく、安全ではないと動的にマーキングされる。ロボット−ワークピースの組み合わせによって遮蔽される３Ｄ空間は、空の独立した検証が付加的センサから取得され得ない限り、空ではないとマーキングされる。

種々の実施形態では、本システムは、作業空間を中心として分散される複数のセンサを含む。センサはそれぞれ、センサ視野内の作業空間の一部の表現を記録するためのピクセルのグリッドを含む、またはそれと関連付けられ、作業空間部分は、集合的に作業空間全体をカバーする。コンピュータメモリが、（ｉ）センサからの一連の画像と、（ｉｉ）ロボットおよびその許可された移動のモデルと、（ｉｉｉ）人間に近接するロボットの速度制限およびロボットと人間との間の最小分離距離を規定する安全性プロトコルとを記憶する。プロセッサが、記憶された画像から、作業空間の空間表現（例えば、ボクセルに対応し得るボリューム、すなわち、３Ｄピクセルとして）を生成するように構成される。プロセッサは、作業空間内のロボットによって占有される空間の表現を、ボリューム内のロボット領域として経時的に識別および監視する。プロセッサは、記憶されたモデルに従って、ロボットの許可された移動に及ぶエンベロープ領域をロボット領域の周囲に生成する。

プロセッサはまた、ワークピースを表すボリュームを識別および監視する。本認識は、構成プロセスの間に決定されたワークピースの物理的形状についての情報によって支援されてもよく、これは、教示フェーズの間に本システムによって学習されるＣＡＤモデル、３Ｄ走査、または３Ｄモデルから成り得る。これらのワークピースボリュームは、次いで、人間によって決定的に占有されていないと特性評価され、したがって、安全性プロトコルに従ってロボットが接近することが許容可能である。加えて、プロセッサは、作業空間内のロボットとワークピースとの間の相互作用を認識し、認識された相互作用に応答して、ワークピースを含むようにロボット領域を更新し、記憶されたモデルおよび更新されたロボット領域に従ってエンベロープ領域を更新する。プロセッサは、安全性プロトコルに従って、更新される際にロボット領域の周囲に安全区域を生成する。

一般に、本明細書で使用されるように、用語「実質的に」は、±１０％、いくつかの実施形態では、±５％を意味する。加えて、本明細書全体を通した「一実施例」、「ある実施例」、「一実施形態」、または「ある実施形態」の言及は、実施例と関連して説明される特定の特徴、構造、または特性が、本技術の少なくとも１つの実施例に含まれることを意味する。したがって、本明細書全体を通した種々の箇所における語句「一実施例では」、「ある実施例では」、「一実施形態」、または「ある実施形態」の出現は、必ずしも全てが同一の実施例を指すわけではない。さらに、特定の特徴、構造、ルーチン、ステップ、または特性は、本技術の１つ以上の実施例において任意の好適な様式で組み合わせられてもよい。本明細書に提供される見出しは、便宜上のためだけのものであり、請求される技術の範囲または意味を限定または解釈することを意図していない。

図面では、同様の参照文字が、概して、異なる図全体を通して同一の部分を指す。また、図面は、必ずしも縮尺通りではなく、代わりに、概して、本発明の原理を図示することに重点が置かれている。以下の説明では、本発明の種々の実施形態が、以下の図面を参照して説明される。

図１は、本発明のある実施形態による、監視される作業空間の斜視図である。

図２は、本発明のある実施形態による、監視される作業空間内の領域の分類を図式的に図示する。

図３は、本発明のある実施形態による、制御システムを図式的に図示する。

図４は、本発明のある実施形態による、物体監視システムを図式的に図示する。

図５は、１台の産業用機械類に近接する漸進的安全エンベロープの定義を図式的に図示する。

以下の議論では、作業空間を監視し、安全目的のためにその中の領域を分類し、安全状態を動的に識別するための統合システムを説明する。ある場合には、後者の機能は、作業空間内のロボットの意味論分析およびこれが相互作用するワークピースの識別を伴う。しかしながら、これらの種々の要素は、別個に、または所望の組み合わせでともに実装され得、本明細書に議論される発明的側面は、説明される要素の全てを要求するわけではなく、これは、単に、提示を容易にするために、およびそれらの相互運用性を例証するためにともに記載されることを理解されたい。説明されるようなシステムは、単に、一実施形態を表す。

１．作業空間監視
最初に、１０２_１、１０２_２、１０２_３に代表的に示される複数のセンサによって監視される、代表的３Ｄ作業空間１００を図示する、図１を参照する。センサ１０２は、理想的には、高フレームレート（例えば、３０Ｈｚ〜１００Ｈｚ）を伴うカメラ、例えば、３Ｄ飛行時間カメラ、ステレオビジョンカメラ、または３Ｄ ＬＩＤＡＲセンサまたはレーダベースのセンサ等の従来の光学センサであってもよい。センサ１０２の動作モードは、作業空間１００の３Ｄ表現がセンサ１０２によって取得される画像または他のデータから取得可能である限り、重要ではない。図に示されるように、センサ１０２は、作業空間１００を集合的にカバーし、監視することができ、これは、従来のロボットコントローラ１０８によって制御されるロボット１０６を含む。ロボットは、種々のワークピースＷと相互作用し、作業空間１００内の人物Ｐは、ワークピースおよびロボット１０８と相互作用し得る。作業空間１００はまた、補助機器１１０の種々のアイテムを含有し得、これは、センサからその種々の部分を遮蔽することによって作業空間の分析を複雑にし得る。実際に、センサの任意の現実的な配置は、頻繁に、アクティブな作業空間の少なくとも一部を「見る」ことができないであろう。これは、図１の簡略化された配列に図示され、人物Ｐの存在に起因して、ロボットコントローラ１０８の少なくとも一部は、全てのセンサから遮蔽され得る。人物が横断し、定常物体でさえも時々移動され得る環境では、観察不可能な領域は、偏移および変動するであろう。

図２に示されるように、本発明の実施形態は、作業空間領域を占有、非占有（または空）、または未知と分類する。図示を容易にするために、図２は、２次元における作業空間２００内の２つのセンサ２０２_１、２０２_２およびそれらのカバレッジの区域２０５_１、２０５_２を示し、同様に、３Ｄ物体の２Ｄ占有面積２１０のみが、示される。物体境界とセンサ２００との間のカバレッジ区域２０５の一部は、各センサが本介在空間内にいかなる障害物も肯定的に検出しないため、非占有とマーキングされる。物体境界における空間は、占有とマーキングされる。物体境界を越えたカバレッジ区域２０５では、全ての空間が、未知とマーキングされ、対応するセンサは、本領域内の占有を感知するように構成されるが、介在する物体２１０のため、そうすることができない。

図１を再び参照すると、各センサ１０２からのデータが、制御システム１１２によって受信される。典型的には立体の円錐である各センサによってカバーされる空間のボリュームは、任意の好適な様式で表されてもよく、例えば、空間は、小さい（例えば、５ｃｍ）立方体または「ボクセル」の３Ｄグリッドまたは他の好適な形態のボリューム表現に分割されてもよい。例えば、作業空間１００は、２Ｄまたは３Ｄ光線追跡を使用して表されてもよく、センサ１０２から発生する２Ｄまたは３Ｄ光線の交差が、作業空間１００のボリューム座標として使用される。本光線追跡は、動的に、または作業空間１００内の物体が制御システム１１２によって先に識別および捕捉される、事前算出されたボリュームの使用を介して実施されることができる。提示の便宜のために、続く議論は、ボクセル表現を仮定し、制御システム１１２は、ボクセルレベルにおいて作業空間１００の内部表現を維持し、ボクセルは、占有、非占有、または未知とマーキングされる。

図３は、汎用コンピュータ上で実装され得る、制御システム１１２の代表的実施形態をより詳細に図示する。制御システム１１２は、中央処理ユニット（ＣＰＵ）３０５と、システムメモリ３１０と、１つ以上の不揮発性大容量記憶デバイス（１つ以上のハードディスクおよび／または光学記憶ユニット等）３１２とを含む。システム１１２はさらに、それにわたってＣＰＵ３０５、メモリ３１０、および記憶デバイス３１２が、相互に通信する、および、キーボードまたはマウス等の伝統的入力デバイスを含み得るディスプレイ３２０および周辺機器３２２等の内部または外部入力／出力（Ｉ／Ｏ）デバイスと通信する、双方向性システムバス３１５を含む。制御システム１１２はまた、無線送受信機３２５と、１つ以上のＩ／Ｏポート３２７とを含む。送受信機３２５およびＩ／Ｏポート３２７は、ネットワークインターフェースを提供してもよい。用語「ネットワーク」は、本明細書では、コンピュータまたは遠隔通信デバイス（有線または無線の電話、タブレット等）の有線または無線のネットワークを内包するように広く使用される。例えば、コンピュータネットワークは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）であってもよい。ＬＡＮネットワーキング環境内で使用されるとき、コンピュータは、ネットワークインターフェースまたはアダプタを通してＬＡＮに接続されてもよく、例えば、監督者が、ネットワークを無線で結合するタブレットを使用して制御システム１１２との通信を確立してもよい。ＷＡＮネットワーキング環境内で使用されるとき、コンピュータは、典型的には、モデムまたは他の通信機構を含む。モデムは、内部または外部であってもよく、ユーザ入力インターフェースまたは他の適切な機構を介してシステムバスに接続されてもよい。ネットワーク化されたコンピュータは、インターネット、イントラネット、エクストラネット、イーサネット（登録商標）、または通信を提供する任意の他のシステムを経由して接続されてもよい。いくつかの好適な通信プロトコルは、例えば、ＴＣＰ／ＩＰ、ＵＤＰ、またはＯＳＩを含む。無線通信に関して、通信プロトコルは、ＩＥＥＥ ８０２．１１ｘ（「Ｗｉ−Ｆｉ」）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、ＩｒＤａ、近距離無線通信（ＮＦＣ）、または他の好適なプロトコルを含んでもよい。さらに、本システムのコンポーネントは、有線または無線の経路の組み合わせを通して通信してもよく、通信は、コンピュータおよび遠隔通信ネットワークの両方を伴ってもよい。

ＣＰＵ３０５は、典型的には、マイクロプロセッサであるが、種々の実施形態では、マイクロコントローラ、周辺集積回路要素、ＣＳＩＣ（特定顧客向け集積回路）、ＡＳＩＣ（特定用途向け集積回路）、論理回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）、ＲＦＩＤプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、スマートチップ等のプログラマブル論理デバイス、または本発明のプロセスのステップを実装することが可能である任意の他のデバイスまたはデバイスの配列であってもよい。

システムメモリ３１０は、一連のフレームバッファ３３５、すなわち、デジタル形態において（例えば、ピクセルまたはボクセルとして、または深度マップとして）、センサ１０２によって取得された画像を記憶するパーティションを含有し、データは、実際には、上記に議論されるようなＩ／Ｏポート３２７および／または送受信機３２５を介して着信し得る。システムメモリ３１０は、ＣＰＵ３０５の動作および他のハードウェアコンポーネントとのその相互作用を制御する、モジュールの群として概念的に例証される命令を含有する。オペレーティングシステム３４０（例えば、Ｗｉｎｄｏｗｓ（登録商標）またはＬｉｎｕｘ（登録商標））が、メモリ割当、ファイル管理、および大容量記憶デバイス３１２の動作等の低レベル基本システム機能の実行を指図する。より高いレベルでは、下記により詳細に説明されるように、分析モジュール３４２が、フレームバッファ３３５内に画像を登録し、それらを分析し、監視される作業空間１００の領域を分類する。分類の結果は、空間マップ３４５内に記憶されてもよく、これは、本明細書に説明されるように、空間マップ内に標識化された各ボクセル（または他の表現の単位）を伴う作業空間１００のボリューム表現を含有する。代替として、空間マップ３４５は、単純に、ボクセルの３Ｄアレイであってもよく、ボクセル標識が、別個のデータベース内（メモリ３１０内または大容量記憶装置３１２内）に記憶される。

制御システム１１２はまた、３５０に集合的に示される従来の制御ルーチンを使用して、作業空間１００内の動作または機械類を制御してもよい。下記に解説されるように、作業空間の構成、結果として、そのボクセル表現と関連付けられる分類は、人物および／または機械が動き回る際に経時的に明確に変化し得、制御ルーチン３５０は、高レベルの安全性を達成するために、機械類を動作させる際にこれらの変化に応答し得る。システムメモリ３１０内のモジュールは全て、限定ではないが、Ｃ、Ｃ＋＋、Ｃ＃、Ａｄａ、Ｂａｓｉｃ、Ｃｏｂｒａ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、Ｌｉｓｐ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ等の高レベル言語または低レベルアセンブリ言語を含む、任意の好適なプログラミング言語でプログラムされてもよい。

１．１ センサ位置合わせ
典型的なマルチセンサシステムでは、全ての他のセンサに対する各センサ１０２の精密な場所が、設定の間に確立される。センサ位置合わせは、通常、自動的に実施され、容易な設定および再構成を可能にするために可能な限り単純であるべきである。簡易化のために、各フレームバッファ３３５が、特定のセンサ１０２からの画像（周期的にリフレッシュされ得る）を記憶すると仮定して、分析モジュール３４２は、各センサからの画像の全てまたは一部をフレームバッファ３３５内の他のセンサからの画像と比較し、従来のコンピュータビジョン技法を使用し、それらの画像内の対応を識別することによって、センサ１０２を位置合わせしてもよい。初期位置合わせ近似を要求しない好適な大域的位置合わせアルゴリズムは、概して、２つのカテゴリ、すなわち、特徴ベースの方法および強度ベースの方法に分類される。特徴ベースの方法は、エッジ等の画像特徴の間の対応を識別する一方、強度ベースの方法は、強度パターンの間の相関メトリックを使用する。いったんおおよその位置合わせが識別されると、反復最近接点（ＩＣＰ）アルゴリズムまたはその好適な変形が、位置合わせを微調整するために使用されてもよい。

明確に異なるセンサ画像を提供するために、種々のセンサ１０２の視野の間に十分な重複が存在し、作業空間１００内の十分な詳細が存在する場合、静的作業空間の画像を比較することが、十分であり得る。これが当てはまらない場合、３Ｄにおいて特色のあるシグネチャを有する「位置合わせ物体」が、これが全てのセンサによって見られ得る作業空間１００内の場所に設置されることができる。代替として、位置合わせは、ある時間周期にわたって作業空間内で立っている、または作業空間全体を通して歩行している１人以上の人物の画像をセンサ１０２に記録させ、正確な位置合わせが達成されるまで十分な数の部分的に合致する画像を組み合わせることによって達成されることができる。

作業空間１００内の機械類への位置合わせは、ある場合には、機械類がその他に対して位置合わせされた少なくとも１つのセンサに可視である限り、特に、機械類が特色のある３Ｄ形状（例えば、ロボットアーム）を有する場合、いかなる付加的器具使用も伴わずに達成されることができる。代替として、位置合わせ物体が、使用されることができる、またはディスプレイ３２０に示され、センサによって観察される場面を表示するユーザインターフェースが、ユーザが、画像のある部分を制御下の機械類の重要な要素として指定することを可能にしてもよい。いくつかの実施形態では、インターフェースは、構成を支援するために全てのセンサのカバレッジを示す双方向性３Ｄディスプレイを提供する。本システムが、機械類の危険な部分または複数の部分の場所および停止時間および／または距離等、（例えば、制御ルーチン３５０の目的のために）制御されている機械類についてのある程度の高レベル情報を用いて構成される場合、分析モジュール３４２は、センサが十分なカバレッジを提供しているかどうかに関する知的フィードバックを提供し、付加的センサの設置を示唆するように構成されてもよい。

例えば、分析モジュール３４２は、歩行速度の消極的推定を前提として、人物がこれ（またはこれの周囲の安全区域）に到達する時間までに機械類を停止するために、これが人物を検出しなければならない観察される機械類からの最小距離を決定するようにプログラムされることができる。（代替として、要求される検出距離は、ディスプレイ３２０を介して本システムに直接入力されることができる。）随意に、分析モジュール３４２は、次いで、空間が全ての接近を検出するために十分にカバーされているかどうかを決定するために、全てのセンサの視野を分析することができる。センサカバレッジが不十分である場合、分析モジュール３４２は、不足を改善するであろう、既存のセンサのための新しい場所または付加的センサのための場所を提案することができる。そうでなければ、制御システムは、デフォルトの安全状態になり、制御ルーチン３５０は、分析モジュール３４２が全ての接近が効果的に監視され得ることを検証しない限り、機械類が動作することを可能にしないであろう。機械学習および遺伝的または進化的アルゴリズムの使用が、セル内の最適なセンサ設置を決定するために使用されることができる。最適化するためのパラメータは、限定ではないが、動作の間のロボットの周囲の遮蔽の最小化およびロボットおよびワークピースの観察可能性を含む。

所望される場合、本静的分析は、「背景」減算を含んでもよい。初期始動周期の間、いかなる物体も作業空間１００の中に侵入していないと安全に仮定され得るとき、分析モジュール３４２は、静的要素によって占有される全てのボクセルを識別する。それらの要素は、次いで、将来の測定値から減算され、潜在的な侵入物体と見なされることはできない。それにもかかわらず、連続的監視が、観察される背景画像が始動周期の間に記憶された空間マップ３４５と一貫することを確実にするために実施される。背景はまた、定常物体が除去される、または作業空間に追加される場合、更新されることができる。

センサ１０２が安全性を提供するために十分に観察することができないが、ケージ等の他の方法によって保護される一部の面積が存在し得る。この場合、ユーザインターフェースは、ユーザが、これらの面積を安全として指定することを可能にし、センサベースの安全性分析を無効にすることができる。安全適合ソフト軸および速度限定もまた、ロボットのエンベロープを限定し、本システムの性能を改良するために使用されることができる。

いったん位置合わせが達成されると、センサ１０２は、作業空間１００が監視される間に同一の場所および配向に留まるべきである。１つ以上のセンサ１０２が偶発的に移動される場合、結果として生じる制御出力は、無効であり、安全上の危険をもたらし得る。分析モジュール３４２は、位置合わせの継続した正確度を監視するために、初期位置合わせのために使用されるアルゴリズムを拡張してもよい。例えば、初期位置合わせの間、分析モジュール３４２は、位置合わせプロセスの間に捕捉される作業セルの静的要素のモデルへの観察されたデータの適合の正確度を捕捉するメトリックを算出してもよい。本システムが動作する際、同一のメトリックが、再計算されることができる。任意の時点でそのメトリックが規定された閾値を超える場合、位置合わせは、無効と見なされ、エラー条件が、トリガされ、応答して、任意の機械類が動作している場合、制御ルーチン３５０は、これを中止する、または機械類を安全状態に遷移させてもよい。

１．２ 占有される面積および潜在的に占有される面積の識別
いったんセンサが位置合わせされると、制御システム１１２は、作業空間１００の中への全ての侵入を識別することが可能であるように、高い固定頻度で（例えば、分析サイクル毎に）空間マップ３４５を周期的に更新する。空間マップ３４５は、センサ１０２のうちのいくつかまたは全てからのデータの融合を反映する。しかし、３Ｄデータの性質を前提として、センサ１０２の場所および作業空間１００の構成に応じて、遮蔽する物体よりも危険な機械類に近接する物体（人物または人物の一部、例えば、腕を含み得る）を含む、１つの場所における物体が他の場所におけるセンサの物体のビューを遮蔽するであろうことが、可能性として考えられる。したがって、確実に安全なシステムを提供するために、本システムは、占有される空間だけでなく、遮蔽される空間も監視する。

一実施形態では、空間マップ３４５は、ボクセルグリッドである。一般に、各ボクセルは、占有、非占有、または未知とマーキングされてもよく、空の空間のみが、任意の付加的安全基準、例えば、１台の制御された機械類からの最小距離が満たされるときのみ、最終的に安全と見なされることができる。各センサからの未加工データが、ボクセル毎に、３Ｄマッピングされた空間の物体または境界がそのボクセルに対応するボリューム内で決定的に検出されたかどうかを決定するように分析される。安全性を強化するために、分析モジュール３４２は、１つを上回るセンサ１０２によって空であると観察されるボクセルのみを空として指定してもよい。再び、空として確認されることができない全ての空間は、未知とマーキングされる。したがって、センサ１０２と光線に沿った検出された物体またはマッピングされた３Ｄ空間境界との間の空間のみが、空とマーキングされてもよい。

センサが所与のボクセル内で任意のものを検出する場合、そのセンサの焦点から始まり、占有されるボクセルを通過する光線上に位置し、焦点と占有されるボクセルとの間に存在する全てのボクセルは、非占有と分類される一方、その光線上の占有されるボクセルを越えて位置する全てのボクセルは、そのセンサに関して遮蔽されると分類され、全てのそのような遮蔽されるボクセルは、「未知」と見なされる。全てのセンサからの情報は、全てのセンサから遮蔽される面積を決定するために組み合わせられてもよく、これらの面積は、未知と見なされ、したがって、危険である。分析モジュール３４２は、最終的に、少なくとも一度（またはいくつかの実施形態では、少なくとも二度）「非占有」と予備的にマーキングされたボクセルまたは作業空間ボリュームのみを「非占有」とマーキングしてもよい。作業空間内のボクセルまたは離散ボリュームと関連付けられるマーキングに基づいて、分析モジュール３４２は、空間マップ３４５内に１つ以上の安全ボリューム区域をマッピングしてもよい。これらの安全区域は、機械類の安全区域の外側であり、非占有とマーキングされたボクセルまたは作業空間ボリュームのみを含む。

ＬＩＤＡＲおよび飛行時間カメラ等の反射に依存する能動的光学センサの一般的故障モードは、それらが不十分に反射性である表面からいかなる信号も返さないことである、および／またはセンサと表面との間の入射角が過剰に浅いときである。これは、本信号がいかなる障害物にも遭遇しない場合に返される結果と区別不可能であり得るため、危険な故障につながり得、言い換えると、センサは、障害物の可能性として考えられる存在にもかかわらず、空のボクセルを報告するであろう。これは、例えば、２Ｄ ＬＩＤＡＲセンサに関するＩＳＯ基準が、検出されなければならない物体の最小反射率に関する仕様を有する理由であるが、しかしながら、これらの反射率基準は、ＴｏＦ等のいくつかの３Ｄセンサモダリティにとって満たすことが困難であり得る。本故障モードを軽減するために、分析モジュール３４２は、一部の障害物が同一の光線に沿ったさらなる範囲で決定的に検出される場合のみ、空間を空とマーキングする。いかなる障害物も存在しない場合、光線の大部分が床に遭遇するであろうようにセンサをわずかに下向きに向けることによって、作業空間１００の大部分を確証的に分析することが、可能である。しかし、所与のボクセル内の感知された光レベルが、空または境界の存在を決定的に確立するために不十分である場合、ボクセルは、未知とマーキングされる。信号および閾値は、使用されているセンサのタイプに依存し得る。強度ベースの３Ｄセンサ（例えば、飛行時間カメラ）の場合では、閾値は、信号強度であり得、これは、低反射率の作業空間内の物体によって減衰され得る。ステレオビジョンシステムの場合では、閾値は、視野内の個々の物体を分解する能力であり得る。他の信号および閾値の組み合わせも、使用されるセンサのタイプに応じて利用されることができる。
安全システムが、全ての未知の空間をこれが占有されているように見なすことによって作成されることができる。しかしながら、ある場合には、これは、過度に消極的であり、不良な性能をもたらし得る。したがって、これが潜在的に占有され得るかどうかに従って未知の空間をさらに分類することが、望ましい。人物が３Ｄ空間内で移動する際、人物は、典型的には、いくつかのセンサから一部の面積を遮蔽し、結果として一時的に未知である空間の面積を生じるであろう（図１参照）。加えて、産業用ロボットアーム等の可動機械類もまた、一部の面積を一時的に遮蔽し得る。人物または機械類が異なる場所に移動すると、１つ以上のセンサは、未知の空間を再度観察することが可能であり、これをロボットまたは機械が動作するために安全である確認された空の状態に戻すであろう。故に、いくつかの実施形態では、空間はまた、「潜在的に占有」と分類されてもよい。未知の空間は、未知の空間が占有され得る条件が生じると、潜在的に占有されていると見なされる。これは、未知の空間が作業空間への進入点に隣接するとき、または未知の空間が占有される、または潜在的に占有される空間に隣接する場合に起こり得る。潜在的に占有される空間は、作業空間を通して移動する人間を表す速度で未知の空間に「伝染」する。潜在的に占有される空間は、これが空であると観察されるまで、潜在的に占有されたままである。安全目的のために、潜在的に占有される空間は、占有される空間と同一と見なされる。各ボクセルの状態を決定し、本システムが、複数のサンプルからのデータを組み合わせ、結果においてより高いレベルの信頼性を提供することを可能にするために、ベイジアンフィルタリングに基づくもの等の確率的技法を使用することが、望ましくあり得る。予測される速度（例えば、腕が人物が歩行し得るよりも速く上げられ得る）を含む、人間移動の好適なモデルが、容易に利用可能である。

２．物体の分類
多くの用途に関して、上記に説明されるような作業空間内の領域の分類は、例えば、制御システム１１２が、通常動作の間にいかなる物体も全く存在するべきではない空間を監視している場合に十分であり得る。しかしながら、多くの場合では、１つ以上の機械および機械が作用しているワークピース等、通常動作の間に少なくともいくつかの物体が存在する面積を監視することが、望ましい。これらの場合では、分析モジュール３４２は、予期せぬ、または人間であり得る侵入する物体を識別するように構成されてもよい。そのような分類に対する１つの好適なアプローチは、個々の占有されるボクセルをより高いレベルで分析され得る物体にクラスタ化することである。

これを達成するために、分析モジュール３４２は、ユークリッドクラスタリング、Ｋ平均クラスタリング、およびギブズサンプリングクラスタリング等のいくつかの従来の周知のクラスタリング技法のうちのいずれかを実装してもよい。これらまたは類似するアルゴリズムのうちのいずれかが、３Ｄ点群データから占有されるボクセルのクラスタを識別するために使用されることができる。点群データに最良に適合するメッシュを決定し、次いで、最適なクラスタリングを決定するためにメッシュ形状を使用するメッシュ技法もまた、使用されてもよい。いったん識別されると、これらのクラスタは、種々の方法で有用であり得る。

クラスタリングが使用され得る１つの単純な方法は、小さすぎて、場合によっては人物を含有することができない、占有される、または潜在的に占有される、ボクセルの小群を排除することである。そのような小クラスタは、上記に説明されるように、占有および遮蔽分析から生じ得、そうでなければ、制御システム１１２に、危険を誤って識別させ得る。クラスタは、各画像フレーム内の識別されたクラスタを前のフレーム内の近傍クラスタと単純に関連付けることによって、またはより洗練された画像処理技法を使用することによって経時的に追跡されることができる。クラスタの形状、サイズ、または他の特徴は、フレーム毎に識別および追跡されることができる。そのような特徴は、フレーム毎にクラスタ間の関連付けを確認するために、またはクラスタの運動を識別するために使用されることができる。本情報は、下記に説明される分類技法のうちのいくつかを強化する、または可能にするために使用されることができる。加えて、点のクラスタの追跡は、不正確な、したがって、潜在的に危険な状況を識別するために採用されることができる。例えば、前のフレーム内に存在しておらず、視野の既知の境界に近接していないクラスタは、エラー条件を示し得る。

ある場合には、あるサイズを下回るクラスタをフィルタ処理して除去し、エラー状態を示すクラスタ遷移を識別することが、十分であり得る。しかしながら、他の場合では、物体を４つのカテゴリのうちの１つ以上のもの、すなわち、（１）システム１１２によって制御されている機械類の要素、（２）機械類が作用しているワークピースまたは複数のワークピース、および（３）予測不可能な方法で移動している場合があり、機械類によって害を及ぼされ得る、人物を含む他の異物にさらに分類することが、必要であり得る。人物対他の未知の異物を確証的に分類することが、必要である場合とそうではない場合がある。定義上、これらは、常時、機械類自体との「衝突」の状態にあり、したがって、検出され、適切に分類されない場合、本システムに機械類を誤って停止させるであろうため、機械類の要素をそのように決定的に識別することが、必要であり得る。同様に、機械類は、典型的には、ワークピースと接触するが、典型的には、機械類が人物と接触することは、危険である。したがって、分析モジュール３４２は、ワークピースと未知の異物、特に、人物との間を区別することが可能となるべきである。

機械類自体の要素は、分類目的のために、上記に説明される随意の背景減算較正ステップによって取り扱われてもよい。機械類が形状を変化させる場合では、機械類の要素は、例えば、分析モジュール３４２にこれらの要素についての情報（例えば、拡張可能３Ｄ表現として）を供給し、ある場合（産業用ロボットアーム等）には、機械類の状態についての瞬間的情報源を提供することによって、識別および分類されることができる。分析モジュール３４２は、センサ１０２による観察下で、孤立して、機械類、コンベヤ等を動作させることによって「訓練」され、分析モジュール３４２が、運動および姿勢の全レパートリの実行からもたらされるそれらの精密な動作の領域を学習することを可能にしてもよい。分析モジュール３４２は、占有されるような結果として生じる空間領域を分類してもよい。

従来のコンピュータビジョン技法が、分析モジュール３４２がワークピースと人間との間を区別することを可能にするために採用されてもよい。これらは、ディープラーニング、すなわち、データにおけるより高いレベルの抽象化を使用するように設計される機械学習の分野を含む。最も成功したこれらのディープラーニングアルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）であり、より最近では、リカレントニューラルネットワーク（ＲＮＮ）であった。しかしながら、そのような技法は、概して、人間ではないとしての人間の偶発的誤認が安全上の危険を引き起こさない状況において採用される。本環境内でそのような技法を使用するために、いくつかの修正が、必要とされ得る。第１に、機械学習アルゴリズムが、概して、誤検出または未検出を優先するように調整されることができる（例えば、ロジスティック回帰分析が、高特異性および低感度のために調整されることができる）。本シナリオにおける誤検出は、安全上の危険を生じず、ロボットがワークピースを人間と間違える場合、これは、消極的に反応するであろう。加えて、異なる画像性質に基づく複数のアルゴリズムまたはニューラルネットワークが、使用され、安全適合のための十分な信頼性を達成するために重要であり得る多様性を助長することができる。１つの特に有益な多様性の源は、同一の物体の３Ｄおよび２Ｄ両方の画像データを提供するセンサを使用することによって取得されることができる。任意の１つの技法が物体を人間として識別する場合、物体は、人間と見なされるであろう。全てが未検出よりも誤検出を優先するように調整される、複数の技法または機械学習アルゴリズムを使用して、十分な信頼性が、達成されることができる。加えて、複数の画像が、経時的に追跡され、信頼性をさらに強化することができ、再び、全ての物体が、信頼性メトリックを達成するために十分な識別がこれを人間ではないとして特性評価するまで、人間と見なされることができる。本質的に、本多様なアルゴリズムアプローチは、人間を識別するのではなく、決定的に人間ではないものを識別する。

分類技法を組み合わせることに加えて、任意のタイプの人間分類に全く依拠しない方法でワークピースを識別することが、可能である。１つのアプローチは、ワークピースのモデルを提供することによって本システムを構成することである。例えば、システム構成における「教示」ステップが、単純に、ワークピースの画像または重要な特徴を分析モジュール３４２に供給してもよく、これは、空間マップ３４５内で合致する構成を検索する、または代わりに、空間マップ内でそのようにワークピースを自動的に分類するためのニューラルネットワークの訓練を伴ってもよい。いずれの場合も、記憶されたモデルに正確に合致する物体のみが、ワークピースと見なされる一方、全ての他の物体は、人間と見なされる。

別の好適なアプローチは、空間マップ３４５内で表されるように、ワークピースが進入するであろう作業空間内の特定の領域（コンベヤベルトの上部等）を規定することである。その場所における作業空間に進入する物体のみが、ワークピースとして見なすために適格である。ワークピースは、次いで、それらが作業空間に進入する時間からそれらが離れる時間までモデル化および追跡されることができる。ロボット等の監視される機械がワークピースを取り扱っている間、制御システム１１２は、ワークピースが、ロボットエンドエフェクタの予期される運動と一貫する様式でのみ移動することを確実にする。コンベヤベルト等の公知の機器もまた、このようにモデル化されることができる。人間は、ワークピースの様式で作業セルに進入すること、例えば、コンベヤ上に座ることを禁止され得る。

これらの技法は全て、設計要件および環境制約に応じて、別個に、または組み合わせて使用されることができる。しかしながら、全ての場合に、分析モジュール３４２が、識別された物体がワークピースであるかどうかを見逃す状況が存在し得る。これらの状況では、本システムは、安全状態に戻るべきである。インターロックが、次いで、人間作業者がいかなる異物も存在しないことを確認し得る作業空間の安全面積内に設置され、本システムが動作を再開することを可能にすることができる。

いくつかの状況では、異物が、作業空間に進入するが、続けて、無視される、またはワークピースと見なされるべきである。例えば、構成時間に作業空間内に存在していなかった箱のスタックが、続けて、その中に設置され得る。柔軟なシステムが固定保護に取って代わるにつれてより一般的になるであろう本タイプの状況は、人間作業者が新しい物体を将来の相互作用のために安全として指定することを可能にするユーザインターフェース（例えば、ディスプレイ３２０内、または制御システム１１２と無線通信するデバイス上に示される）を提供することによって対処されてもよい。当然ながら、分析モジュール３４２および制御ルーチン３５０は、依然として、機械類が新しい物体と衝突することを防止するように作用し得るが、新しい物体は、機械類に向かって移動し得る潜在的に人間の物体と見なされず、したがって、本システムがこれをより消極的ではない様式で取り扱うことを可能にするであろう。

３．制御出力の生成
本段階で、分析モジュール３４２は、安全目的のために考慮されなければならない、監視される面積１００内の全ての物体を識別している。本データを前提として、種々の措置が、とられ、制御出力が、生成されることができる。静的較正の間、または人間のいないデフォルト構成における作業空間で、空間マップ３４５は、センサカバレッジ、展開される機械類の構成、および人間と機械との間の不要な相互作用の機会を評価するために人間にとって有用であり得る。ケージまたは固定保護を設定しなくても、全体的作業空間レイアウトは、上記に説明されるように安全区域とマーキングされる領域を通した、および不良なセンサカバレッジを伴う領域から離れるような人間移動を誘導する、または促すことによって改良されてもよい。

制御ルーチン３５０は、分析モジュール３４２に応答して、ある条件が検出されると、作業空間１００内のロボット等の動作する機械類への制御信号を生成してもよい。本制御は、安全または危険条件のいずれかを示すバイナリであり得る、または安全および危険である行動のインジケーション等、より複雑であり得る。最も単純なタイプの制御信号は、占有される、または潜在的に占有されるボリュームのいずれかの侵入が特定の区域内で検出されるかどうかを示すバイナリ信号である。最も単純な場合では、単一の侵入区域が存在し、制御システム１１２は、侵入を示す単一の出力を提供する。本出力は、機械類の動作を停止または限定するために、例えば、Ｉ／Ｏポート３２７を介して制御される機械類上の相補的ポートに送達されることができる。より複雑なシナリオでは、複数の区域が、別個に監視され、制御ルーチン３５０は、Ｉ／Ｏポート３２７またはアドレス指定される送受信機３２５を介して、ネットワークを経由して、機械類の標的部分に（例えば、インターネットプロトコルまたは他の好適なアドレス指定スキームを使用して）デジタル出力を発行する。

監視され得る別の条件は、２Ｄ近接センサの出力に匹敵する、作業空間内の任意の物体と機械との間の距離である。これは、それを下回ると出力がアサートされるべきである近接閾値を確立することによってバイナリ出力に変換されてもよい。本システムが、機械に最も近接する物体の場所および範囲を記録し、利用可能にすることもまた、望ましくあり得る。協調的産業用ロボットのための安全システム等の他の用途では、所望される制御出力は、センサ１０２によってカバーされる面積内で観察される全ての物体の場所、形状、および範囲を含んでもよい。
４．安全行動制約および安全区域の動的決定

ＩＳＯ １０２１８およびＩＳＯ／ＴＳ １５０６６は、産業用ロボットと人間作業者との間の協調を可能にし得る安全機能として、速度および分離監視を説明している。リスク低減が、ロボット運動の周期の間に人間作業者とロボットとの間に少なくとも保護分離距離を維持することによって達成される。本保護分離距離は、ロボットおよび人間作業者の位置および移動、ロボット停止距離、測定不確定性、システム待ち時間、およびシステム制御頻度を含む情報を使用して計算される。計算された分離距離が保護分離距離を下回る値まで減少すると、ロボットシステムは、停止される。本方法論は、産業用ロボットを超えて機械類に一般化されることができる。

便宜上、以下の議論は、作業空間１００内で動作するロボットの周囲に安全区域を動的に定義することに焦点を当てる。しかしながら、本明細書に説明される技法は、複数のロボットにだけではなく、過剰に密接に接近すると危険であり得、経時的に変動し得る最小安全分離距離を有し、特定の活動が機械によって行われる任意の形態の機械類にも適用されることを理解されたい。上記に説明されるように、センサアレイが、各分析サイクルにおいて、ロボットおよびロボットを囲繞する面積内の全ての関連する物体の場所および範囲を３Ｄにおいて特性評価するために十分な画像情報を取得する。（各分析サイクルは、画像捕捉、フレームバッファのリフレッシュ、およびコンピュータ分析を含み、故に、分析または制御サイクルの周期は、効果的な監視がリアルタイムで起こるために十分に短いが、これは、多くのコンピュータクロックサイクルを伴う。）分析モジュール３４２は、各サイクルにおけるロボットの現在の状態についての瞬間的情報とともに本情報を利用し、ロボットの運動に関する瞬間的な現在の安全行動制約を決定する。制約は、ロボットに、分析モジュール３４２によって直接、または制御ルーチン３５０を介してのいずれかで、送受信機３２５および／またはＩ／Ｏポート３２７を介してロボットに通信されてもよい。

本システムの動作は、図４のシステム編成および動作の概念図示を参照して最も深く理解される。上記に説明されるように、センサアレイ１０２は、ロボット４０２を含む作業空間４００を監視する。ロボットの移動は、ロボット自体の一部である、またはそれと別個であり得る、従来のロボットコントローラ４０７によって制御され、例えば、単一のロボットコントローラが、１つを上回るロボットにコマンドを発行してもよい。ロボットの活動は、主として、ロボットアームを伴い得、その移動は、所望の移動をもたらすようにロボットアームジョイントを動作させるジョイントコマンドを使用して、ロボットコントローラ４０７によって指揮される。物体監視システム（ＯＭＳ）４１０が、センサ１０２から物体についての情報を取得し、作業空間４００内の関連する物体を識別するために本センサ情報を使用する。ＯＭＳ４１０は、任意の好適な有線または無線のプロトコルを介してロボットコントローラ４０７と通信する。（産業用ロボットでは、制御電子機器は、典型的には、外部制御ボックス内に常駐する。しかしながら、内蔵コントローラを伴うロボットの場合では、ＯＭＳ４１０は、ロボットのオンボードコントローラと直接通信する。）ロボット（典型的には、センサ１０２）から取得された情報を使用して、ＯＭＳ４１０は、ロボットの現在の状態を決定する。ＯＭＳ４１０は、それに応じて、ロボットの現在の状態および全ての識別された関連する物体を前提として、ロボット４０２に関する安全行動制約を決定する。最後に、ＯＭＳ４１０は、安全行動制約をロボット４０７に通信する。（図３を参照して、ＯＭＳ４１０の機能は、分析モジュール３４２によって、ある場合には、制御ルーチン３５０によって制御システム１１２内で実施されることを理解されたい。）

４．１ 関連する物体の識別
センサ１０２は、上記に議論される様式で、固定頻度で物体分析モジュール４１５によって分析されるリアルタイム画像情報を提供し、特に、各サイクルにおいて、物体分析モジュール４１５は、ロボットの届く範囲内であるか、または消極的に予期される速度でロボットの届く範囲に移動し得るかのいずれかである、作業空間４００内の全ての物体の精密な３Ｄ場所および範囲を識別する。関連するボリュームの全てがセンサ１０２の集合的視野内にあるわけではない場合、ＯＭＳ４１０は、そのように決定し、その領域内の全ての固定物体（またはそれらの物体の消極的上位セット）の場所および範囲を示す、および／または他の保護技法が監視されていない面積へのアクセスを防止するために使用されていることを検証するように構成されてもよい。

４．２ ロボット状態の決定
ロボット状態決定モジュール（ＲＳＤＭ）４２０が、ロボットの瞬間的状態を決定するために、センサ１０２からのデータおよびロボット４０２および／またはロボットコントローラ４０７からの信号に応答する。特に、ＲＳＤＭ４２０は、作業空間４００内のロボット４０２の姿勢および場所を決定し、これは、センサ１０２、ロボットおよび／またはそのコントローラからの信号、またはこれらの源のある組み合わせからのデータを使用して達成されてもよい。ＲＳＤＭ４２０はまた、ロボット４０２またはその任意の付属品の瞬間的速度を決定してもよく、加えて、ロボットの瞬間的ジョイント加速度またはトルク、または計画される将来の軌跡の知識が、下記に説明されるような後続サイクルに関する安全運動制約を決定するために必要とされてもよい。典型的には、本情報は、ロボットコントローラ４０７から発するが、ある場合には、下記に説明されるように、センサ１０２によって記録された画像から直接推測されてもよい。

例えば、これらのデータは、安全適合データへのアクセスを提供する安全適合通信プロトコルを介して、ロボット４０２またはロボットコントローラ４０７によって提供され得る。ロボットの３Ｄ姿勢は、次いで、ロボット４０２全体の３Ｄ形状を取得するために、提供されるジョイント位置を各連結部の静的３Ｄモデルと組み合わせることによって決定されてもよい。

ある場合には、ロボットは、安全適合ではないジョイント位置を取得するためのインターフェースを提供してもよく、その場合では、ジョイント位置は、（例えば、安全適合ソフトウェアを使用して）センサ１０２からの画像に対して検証されることができる。例えば、受信されたジョイント位置は、ロボット４０２全体の３Ｄモデルを生成するために、各連結部の静的３Ｄモデルと組み合わせられてもよい。本３Ｄ画像は、ロボット自体の一部である感知データ内の任意の物体を除去するために使用されることができる。ジョイント位置が正しい場合、これは、ロボット４０２に起因する全ての物体データを完全に排除するであろう。しかしながら、ジョイント位置が不正確である場合、ロボット４０２の真の位置は、モデルから逸脱し、検出されるロボットのいくつかの部分は、除去されないであろう。これらの点は、次いで、新しいサイクルにおいて異物として現れるであろう。前のサイクルでは、ジョイント位置は、そうでなければロボット４０２が中止されていたであろうため、正しかったと仮定されることができる。ロボットの基部ジョイントは移動しないため、逸脱する点のうちの少なくとも１つは、ロボットに近接しなければならない。ロボット４０２に近接する予期せぬ物体の検出が、次いで、エラー条件をトリガするために使用されることができ、これは、制御システム１１２（図１参照を）に、ロボット４０２を安全状態に遷移させるであろう。代替として、センサデータは、位置合わせの節において上記に説明されるような相関アルゴリズムを使用してロボットの位置を識別するために使用されることができ、本検出された位置は、ロボットによって報告されたジョイント位置と比較されることができる。ロボット４０２によって提供されたジョイント位置情報がこのように検証された場合、これは、ジョイント速度情報を検証するために使用されることができ、これは、次いで、将来のジョイント位置を予測するために使用されることができる。これらの位置が以前に検証された実際のジョイント位置と一貫しない場合、プログラムは、エラー条件を同様にトリガすることができる。これらの技法は、非安全適合インターフェースの使用が、次いで、付加的安全機能を実施するために使用され得るデータを生産することを可能にする。

最後に、ＲＳＤＭ４２０は、ロボット４０２またはコントローラ４０７によって提供されるいかなる情報も伴わず、センサ１０２によって提供される画像情報のみを使用してロボットのジョイント状態を決定するように構成されてもよい。ロボットにおける連結部の全てのモデルを前提として、いくつかの従来の周知のコンピュータビジョン技法のうちのいずれかが、モデルをセンサデータに位置合わせするためにＲＳＤＭ４２０によって使用され、したがって、画像内のモデル化された物体の場所を決定することができる。例えば、ＩＣＰアルゴリズム（上記に議論される）は、２つの３Ｄ点群の間の差異を最小限にする。ＩＣＰは、多くの場合、局所的に最適なソリューションを効率的に提供し、したがって、おおよその場所が既知である場合、正確に使用されることができる。ロボット４０２は、それの前の位置から遠くに移動できなかったため、これは、アルゴリズムがサイクル毎に実行される場合であろう。故に、リアルタイムで実行するために十分に効率的ではない場合がある、大域的に最適な位置合わせ技法は、要求されない。カルマンフィルタまたは粒子フィルタ等のデジタルフィルタが、次いで、位置合わせアルゴリズムによって識別されたジョイント位置を前提として、瞬間的ジョイント速度を決定するために使用されることができる。

これらの画像ベースの監視技法は、多くの場合、各システムサイクルにおいて実行されること、および本システムが前のサイクルにおいて安全状態にあったという仮定に依拠する。したがって、試験が、ロボット４０２が始動されるときに実行されてもよく、例えば、ロボットが既知の事前構成された「ホーム」位置にあり、全てのジョイント速度がゼロであることを確認する。自動化機器が、固定間隔において、例えば、機器が始動される、またはシフト変更されるとき、オペレータによって実行される試験のセットを有することは、一般的である。信頼性のある状態分析は、典型的には、各ロボット連結部の正確なモデルを要求する。本モデルは、事前に、例えば、ロボット製造業者によって提供される、または具体的計画のために産業エンジニアによって生成される３Ｄ ＣＡＤファイルから取得されることができる。しかしながら、そのようなモデルは、少なくともロボットおよびこれが有し得る可能性として考えられるアタッチメントの全てに関して入手可能ではない場合がある。

この場合、ＲＳＤＭ４２０が、例えば、センサ１０２を使用して、モデル自体を作成することが可能である。これは、ロボット４０２が、運動のセット、例えば、所与の用途において使用することが意図される運動および／またはセンサ１０２に各連結部の適切なビューを提供するように設計される運動のセットを通して起動する別個の訓練モードで行われてもよい。必要ではないが、各連結部の長さおよび回転軸等のロボットについてのいくつかの基本情報を事前に提供することが、可能である。本訓練モードの間、ＲＳＤＭ４２０は、全ての必要なアタッチメントを完備した各連結部の３Ｄモデルを生成する。本モデルは、次いで、ロボット状態を決定するために、センサ画像と併せてＲＳＤＭ４２０によって使用されることができる。

４．３ 安全行動制約の決定
伝統的な軸および速度限定用途では、産業エンジニアは、ロボットの計画される軌跡および作業空間のレイアウトを前提として、ロボットに関して安全である行動を計算し、ロボットの運動の範囲の一部の面積を完全に禁止し、他の面積内で速度を限定する。これらの限定は、固定された静的作業空間環境を仮定する。ここでは、物体および人物が行き来し、位置を変化させる動的環境に関係し、したがって、安全行動が、全ての感知される関連する物体に基づいて、かつロボット４０２の現在の状態に基づいて、リアルタイムで安全行動決定モジュール（ＳＡＤＭ）４２５によって計算され、これらの安全行動は、サイクル毎に更新されてもよい。安全と見なされるために、行動は、ロボット４０２がいかなる定常物体とも衝突せず、また、ロボット４０２がロボットに向かって移動している場合がある人物と接触しないことを確実にするべきである。ロボット４０２は、ある程度の最大可能減速度を有するため、コントローラ４０７は、接触が行われる前にこれが完全な停止に到達し得ることを確実にするために、前もって十分にロボットを減速させ始めるように命令されるべきである。

これを達成することに対する１つのアプローチは、ロボットの最大速度（ロボット自体またはその任意の付属品の速度を意味する）をロボット上の任意の点と回避される感知された物体の関連するセットにおける任意の点との間の最小距離に比例的に変調することである。ロボットは、最近接する物体がそれを超えると衝突が懸念されないある閾値距離から遠く離れているとき、最大速度で動作することを可能にされ、ロボットは、物体がある最小距離内にある場合、完全に中止される。十分なマージンが、ある最大の現実的速度でロボットに向かう関連する物体または人間の移動を考慮するために、規定される距離に追加されることができる。これは、図５に図示される。外側エンベロープまたは３Ｄ区域５０２が、ロボット５０４の周囲にＳＡＤＭ４２５によってコンピュータ的に生成される。本区域５０２の外側では、人物Ｐの全ての移動は、動作サイクル内で、それらが危険をもたらすほど十分に人物をロボット５０４に近接させることができないため、安全と見なされる。区域５０２内にコンピュータ的に定義される、第２の３Ｄ区域５０８内の人物Ｐの身体の任意の部分の検出が、ＳＡＤＭ４２５によって位置合わせされるが、ロボット５０４は、全速で動作し続けることを可能にされる。人物Ｐの任意の部分が区域５０８の閾値を横断するが、依然として、内部危険区域５１０の外側にある場合、ロボット５０４は、より緩慢な速度で動作するように信号伝達される。人物Ｐの任意の部分が危険区域５１０の中に横断する、または人物移動のモデルに基づいて次のサイクル内でそうすることが予測される場合、ロボット５０４の動作は、中止される。これらの区域は、ロボット５０４が環境内で移動される（または移動する）場合、更新されてもよい。

本技法の精緻化は、ＳＡＤＭ４２５が、最大速度を最小距離の平方根に比例的に制御することであり、これは、一定減速度シナリオでは、速度が進行する距離の平方根に比例的に変化し、依然として等しく安全であるが、より平滑かつより効率的な結果をもたらすという事実を反映する。さらなる精緻化は、ＳＡＤＭ４２５が、最大速度を衝突までの最短可能時間に比例的に変調することであり、すなわち、時間において進行するロボットの現在の状態を計画し、ロボット軌跡に向かう侵入を計画し、最近傍の潜在的衝突を識別することである。本精緻化は、ロボットがこれに向かうよりも障害物からより迅速に離れるように移動するであろう利点を有し、これは、依然として安全性を正しく保全しながら、処理能力を最大限にする。ロボットの将来の軌跡は、その現在の速度だけではなく、後続コマンドにも依存するため、ＳＡＤＭ４２５は、その現在のジョイント位置および速度を前提として、ある反応時間内にロボット４０２によって到達可能な全ての点を考慮し、これらの状態のうちのいずれかの中の最短衝突時間に基づいて、制御信号を発行させてもよい。なおもさらなる精緻化は、ＳＡＤＭ４２５が、単純に瞬間的ジョイント速度ではなく、本計算を行うときにロボットの計画される軌跡全体を考慮することである。加えて、ＳＡＤＭ４２５は、その軌跡に沿った最大速度を単純に改変するのではなく、ロボットコントローラ４０７を介して、ロボットの軌跡を改変してもよい。軌跡の固定セットの中から潜在的衝突を低減または排除するものを選定する、またはさらにはその場で新しい軌跡を生成することが、可能である。

必ずしも安全性違反ではないが、作業空間の静的要素との衝突は、概して、望ましくない。関連する物体のセットは、壁および台等の静的背景およびワークピースおよび人間作業者等の可動物体の両方を含む、作業空間内の全ての物体を含むことができる。事前構成または実行時間検出のいずれかから、センサ１０２および分析モジュール３４２は、場合によっては移動し得る物体を推測することが可能であってもよい。この場合、上記に説明されるアルゴリズムのうちのいずれかが、不必要に処理能力を低減させないが、依然として、作業セルの静的部分との衝突の可能性を自動的に排除するように、移動し得る物体を考慮するために付加的マージンを残すが、静的であることが把握される物体のためのそれらのマージンを排除するように精緻化されることができる。

潜在的に移動する物体の最大速度を考慮するために単純にマージンを残すことの他に、感知システムによって検出される情報に基づく推定技法が、時間において進行する人間および他の物体の移動を計画するために使用され、したがって、制御ルーチン３５０に利用可能な制御オプションを拡大することができる。例えば、骨格追跡技法が、検出された人間の移動する肢を識別し、人体の性質および、例えば、人物全体ではなく人物の腕の推定される移動に基づいて、潜在的衝突を限定するために使用されることができる。
４．４ ロボットへの安全行動制約の通信

ＳＡＤＭ４２５によって識別された安全行動制約は、ロボット通信モジュール４３０を介して、各サイクルでＯＭＳ４１０によってロボットコントローラ４０７に通信されてもよい。上記に説明されるように、通信モジュールは、ロボットコントローラ４０７上の相補的ポートへのＩ／Ｏポート３２７インターフェースに対応してもよい、または送受信機３２５に対応してもよい。殆どの産業用ロボットは、外部デバイスと併用するための種々のインターフェースを提供する。好適なインターフェースは、少なくとも本システムの制御頻度において低待ち時間で動作するべきである。インターフェースは、ロボットが通常通りプログラムされ、起動することを可能にするように構成されることができ、最大速度が、インターフェースを経由して送信される。代替として、いくつかのインターフェースは、軌跡がウェイポイントの形態で送達されることを可能にする。本タイプのインターフェースを使用して、ロボット４０２の意図される軌跡が、ＯＭＳ４１０内に受信および記憶されることができ、これは、次いで、安全行動制約に応じて、ともにより近接する、またはさらに離れるウェイポイントを生成してもよい。同様に、標的ジョイントトルクの入力を可能にするインターフェースが、本明細書に従って算出される軌跡を駆動するために使用されることができる。これらのタイプのインターフェースもまた、ＳＡＤＭ４２５が、安全行動制約に応じて新しい軌跡を選定する、または軌跡を修正する場合に使用されることができる。

ロボット状態を決定するために使用されるインターフェースのように、ロボット４０２が、関連する安全適合制御入力へのリアルタイムアクセスを提供する安全適合プロトコルをサポートする場合、これは、十分であり得る。しかしながら、安全適合プロトコルが利用可能ではない場合、本システム上の付加的安全適合ソフトウェアが、システム全体が安全なままであることを確実にするために使用されることができる。例えば、ＳＡＤＭ４２５は、ロボットが通信された安全行動に従って動作している場合、ロボットの予期される速度および位置を決定してもよい。ＳＡＤＭ４２５は、次いで、上記に説明されるように、ロボットの実際の状態を決定する。ロボットの行動が予期される行動に対応しない場合、ＳＡＤＭ４２５は、典型的には、緊急停止信号を使用して、ロボットを安全状態に遷移させる。これは、安全適合停止機構を超えるリアルタイム安全適合インターフェースを要求することなく、リアルタイム安全適合制御スキームを効果的に実装する。

ある場合には、ハイブリッドシステムが、最適であり得、多くのロボットが、安全監視停止装置を保持するために使用され得るデジタル入力を有する。例えば、侵入する物体がロボットから比較的に遠いとき、可変速度のための通信プロトコルを使用することが、望ましいが、ロボットが完全に停止しなければならないとき、例えば、侵入する物体がロボットに近接するとき、デジタル安全監視停止装置を使用することが、望ましくあり得る。

本発明のある実施形態が、上記に説明される。しかしながら、本発明は、それらの実施形態に限定されず、むしろ、本明細書に明確に説明されるものへの追加および修正もまた、本発明の範囲内に含まれることに明確に留意されたい。

特許請求の範囲

一般に、本明細書で使用されるように、用語「実質的に」は、±１０％、いくつかの実施形態では、±５％を意味する。加えて、本明細書全体を通した「一実施例」、「ある実施例」、「一実施形態」、または「ある実施形態」の言及は、実施例と関連して説明される特定の特徴、構造、または特性が、本技術の少なくとも１つの実施例に含まれることを意味する。したがって、本明細書全体を通した種々の箇所における語句「一実施例では」、「ある実施例では」、「一実施形態」、または「ある実施形態」の出現は、必ずしも全てが同一の実施例を指すわけではない。さらに、特定の特徴、構造、ルーチン、ステップ、または特性は、本技術の１つ以上の実施例において任意の好適な様式で組み合わせられてもよい。本明細書に提供される見出しは、便宜上のためだけのものであり、請求される技術の範囲または意味を限定または解釈することを意図していない。
本発明は、例えば、以下を提供する。
（項目１）
制御された機械類を含む、３次元作業空間内の安全領域を識別するための安全システムであって、前記システムは、
前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、複数のセンサと、
コントローラであって、前記コントローラは、
前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせすることと、
前記作業空間の３次元表現を複数のボリュームとして生成することと、
閾値を上回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、遮蔽の前記関連付けられるセンサからの推定される距離において終了するボリュームを非占有とマーキングし、前記光線路の終端に対応するボリュームを占有とマーキングし、前記光線路に沿った前記遮蔽を越える任意のボリュームを未知とマーキングすることと、
前記閾値を下回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、前記作業空間の境界において終了する全てのボクセルを未知とマーキングすることと、
少なくとも一度非占有と予備的にマーキングされたボリュームを非占有と最終的にマーキングすることと、
前記作業空間内の１つ以上の安全ボリューム区域をマッピングすることであって、前記ボリューム区域は、前記機械類の安全区域の外側であり、非占有とマーキングされたボリュームのみを含む、ことと
を行うように構成される、コントローラと
を備える、システム。
（項目２）
点は、ボクセルである、項目１に記載の安全システム。
（項目３）
前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、項目１に記載の安全システム。
（項目４）
前記コントローラは、前記センサによる前記作業空間のリアルタイム監視に応答し、前記センサによって検出される前記安全区域の中への侵入に応答して、前記機械類の動作を改変するように構成される、項目３に記載の安全システム。
（項目５）
前記安全区域は、前記３Ｄボリューム内で複数のネスト化サブ区域に分割され、前記サブ区域のそれぞれの中への検出された侵入は、前記機械類の動作の異なる改変度をもたらす、項目４に記載の安全システム。
（項目６）
前記センサは、３Ｄセンサである、項目１に記載の安全システム。
（項目７）
前記センサのうちの少なくともいくつかは、飛行時間カメラである、項目６に記載の安全システム。
（項目８）
前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、項目６に記載の安全システム。
（項目９）
前記センサのうちの少なくともいくつかは、ステレオビジョンカメラである、項目６に記載の安全システム。
（項目１０）
前記コントローラは、前記機械類によって取り扱われているワークピースを認識し、前記安全区域を生成する際に前記ワークピースをその一部として見なすように構成される、項目１に記載の安全システム。
（項目１１）
前記コントローラは、人間移動のモデルに従って、前記作業空間の中への前記侵入をコンピュータ的に拡張するように構成される、項目４に記載の安全システム。
（項目１２）
３次元作業空間内で機械類を安全に動作させる方法であって、前記方法は、
作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、ステップと、
前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
コンピュータメモリ内に記憶された前記作業空間の３次元表現をコンピュータ的に生成するステップと、
閾値を上回る強度レベルを有するセンサピクセル毎に、予備的に、前記コンピュータメモリ内で、前記ピクセルを通る視通線光線路によってインターセプトされ、遮蔽の前記関連付けられるセンサからの推定される距離において終了するボリュームを非占有とマーキングし、前記光線路の終端に対応するボリュームを占有とマーキングし、前記光線路に沿った前記遮蔽を越える任意のボリュームを未知とマーキングするステップと、
前記閾値を下回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、前記作業空間の境界において終了する全てのボリュームを未知とマーキングするステップと、
少なくとも一度非占有と予備的にマーキングされたボリュームを非占有と最終的にマーキングするステップと、
前記作業空間内の１つ以上の安全ボリューム区域をコンピュータ的にマッピングするステップであって、前記ボリューム区域は、前記機械類の安全区域の外側であり、非占有とマーキングされたボリュームのみを含む、ステップと
を含む、方法。
（項目１３）
点は、ボクセルである、項目１２に記載の方法。
（項目１４）
前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、項目１２に記載の方法。
（項目１５）
応答して、前記機械類の動作を改変することによって、前記安全区域の中への検出された侵入に応答するステップをさらに含む、項目１４に記載の方法。
（項目１６）
前記安全区域は、前記３Ｄボリューム内で複数のネスト化サブ区域に分割され、前記サブ区域のそれぞれの中への検出された侵入は、前記機械類の動作の異なる改変度をもたらす、項目１５に記載の方法。
（項目１７）
前記機械類によって取り扱われているワークピースをコンピュータ的に認識し、前記安全区域を生成する際に前記ワークピースをその一部として見なすステップをさらに含む、項目１２に記載の方法。
（項目１８）
人間移動のモデルに従って、前記作業空間の中への前記侵入をコンピュータ的に拡張するステップをさらに含む、項目１５に記載の方法。
（項目１９）
前記コンピュータ認識ステップは、ニューラルネットワークを使用して実施される、項目１７に記載の方法。
（項目２０）
前記機械類に関する安全行動制約を生成し、それに従って前記機械類を制御するステップをさらに含む、項目１２に記載の方法。
（項目２１）
前記機械類は、少なくとも１つのロボットである、項目１２に記載の方法。
（項目２２）
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全な動作を施行するための安全システムであって、前記システムは、
前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、集合的に前記作業空間全体をカバーする、複数のセンサと、
コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および前記活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶する、コンピュータメモリと、
プロセッサであって、前記プロセッサは、
前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成することと、
前記記憶されたモデルに従って、前記許可された移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域を識別することと、
所定の将来の時間内の前記作業空間内の人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記人間によって占有される、または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を識別することと、
前記第１および第２の領域の間の近接性に基づいて、前記安全性プロトコルに従って前記機械類の活動を制限することと
を行うように構成される、プロセッサと
を備える、システム。
（項目２３）
前記作業空間は、複数のボクセルとしてコンピュータ的に表される、項目２２に記載の安全システム。
（項目２４）
前記プロセッサは、少なくとも部分的に、前記機械類によって提供される状態データに基づいて、前記機械類に対応する領域を識別するように構成される、項目２２に記載の安全システム。
（項目２５）
前記状態データは、安全適合であり、安全適合通信プロトコルを経由して提供される、項目２４に記載の安全システム。
（項目２６）
前記状態データは、安全適合ではないが、前記センサから受信された情報によって検証される、項目３に記載の安全システム。
（項目２７）
前記状態データは、ロボットモデルを構築し、前記モデル内に検出された物体を除去し、任意の残りの物体が前記機械類に隣接する場合、前記機械類を停止させることによって検証される、項目２４に記載の安全システム。
（項目２８）
前記状態データは、前記機械類の位置を識別するようにコンピュータビジョンを使用し、これを報告された位置と比較することによって検証される、項目２４に記載の安全システム。
（項目２９）
前記状態データは、前記機械類へのいかなるインターフェースも伴わずに前記センサによって決定される、項目２４に記載の安全システム。
（項目３０）
前記第１の３Ｄ領域は、複数のネスト化された空間的に明確に異なる３Ｄサブ区域に分割される、項目２２に記載の安全システム。
（項目３１）
前記第２の３Ｄ領域と前記サブ区域のそれぞれとの間の重複は、前記機械類の動作の異なる改変度をもたらす、項目２５に記載の安全システム。
（項目３２）
前記プロセッサはさらに、前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域を識別する際に前記ワークピースをその一部として見なすように構成される、項目２４に記載の安全システム。
（項目３３）
前記プロセッサは、前記機械類が停止されるときを除いて、前記機械類と人間との間の接触を防止するように、前記機械類の最大速度を動的に制御するように構成される、項目２２に記載の安全システム。
（項目３４）
前記プロセッサは、前記近接性に基づいて、衝突までの最短可能時間を算出するように構成される、項目２２に記載の安全システム。
（項目３５）
前記プロセッサは、前記センサによる前記作業空間のリアルタイム監視に応答し、前記センサによって検出された前記作業空間の中への侵入に応答して、前記機械類の動作を改変するように構成される、項目２２に記載の安全システム。
（項目３６）
前記機械類は、少なくとも１つのロボットである、項目２２に記載の安全システム。
（項目３７）
３次元（３Ｄ）作業空間内で機械類を安全に動作させる方法であって、前記方法は、
作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、ステップと、
前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
コンピュータメモリ内に、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および機械と人間との間の最小分離距離を規定する安全性プロトコルとを記憶するステップと、
前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成するステップと、
前記記憶されたモデルに従って、前記許可された移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域をコンピュータ的に識別するステップと、
所定の将来の時間内の前記作業空間内の人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記人間によって占有される、または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域をコンピュータ的に識別するステップと、
前記第１および第２の領域の間の近接性に基づいて、前記安全性プロトコルに従って前記機械類の活動を制限するステップと
を含む、方法。
（項目３８）
前記作業空間は、複数のボクセルとしてコンピュータ的に表される、項目３１に記載の方法。
（項目３９）
前記第１の３Ｄ領域は、複数のネスト化された空間的に明確に異なる３Ｄサブ区域に分割される、項目３１に記載の方法。
（項目４０）
前記第２の３Ｄ領域と前記サブ区域のそれぞれとの間の重複は、前記機械類の動作の異なる改変度をもたらす、項目３３に記載の方法。
（項目４１）
前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域をコンピュータ的に識別する際に前記ワークピースをその一部として見なすステップをさらに含む、項目３１に記載の方法。
（項目４２）
前記機械類の活動を制限するステップは、前記近接性の平方根に比例して前記機械類の最大速度を制御するステップを含む、項目３１に記載の方法。
（項目４３）
前記機械類の活動を制限するステップは、前記近接性に基づいて、衝突までの最短可能時間を算出するステップを含む、項目３１に記載の方法。
（項目４４）
前記センサによって検出された前記作業空間の中への侵入に応答して、前記機械類の動作を改変するステップをさらに含む、項目３１に記載の方法。
（項目４５）
前記機械類は、少なくとも１つのロボットである、項目３１に記載の方法。
（項目４６）
活動を実施する機械類を含む３次元（３Ｄ）作業空間内で安全領域を識別するための安全システムであって、前記システムは、
前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドを備え、前記作業空間部分は、集合的に前記作業空間全体をカバーする、複数のセンサと、
コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および前記活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶する、コンピュータメモリと、
プロセッサであって、前記プロセッサは、
前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成することと、
３Ｄ機械類領域として前記作業空間内の前記機械類によって占有される空間の表現を経時的に識別および監視し、前記記憶されたモデルに従って、前記機械類の許可された移動に及ぶ３Ｄエンベロープ領域を前記機械類領域の周囲に生成することと、
前記機械類と前記作業空間内のワークピースとの間の相互作用を認識することと、
前記認識された相互作用に応答して、前記ワークピースを含むように前記機械類領域を更新し、前記記憶されたモデルおよび前記更新された機械類領域に従って前記エンベロープ領域を更新することと、
前記安全性プロトコルに従って、更新される際に前記ロボット領域の周囲に３Ｄ安全区域をコンピュータ的に生成することと
を行うように構成される、プロセッサと
を備える、システム。
（項目４７）
前記プロセッサはさらに、
前記作業空間内の人間によって占有される、または潜在的に占有される空間に対応するボリュームにおける領域を識別することと、
前記ロボット領域と前記人間占有領域との間の近接性に基づいて、前記安全性プロトコルに従って前記ロボットの活動を制限することと
を行うように構成される、項目４６に記載の安全システム。
（項目４８）
前記人間占有領域は、所定の将来の時間内の前記作業空間内の前記人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、項目４７に記載の安全システム。
（項目４９）
前記プロセッサはさらに、前記画像内で、前記ロボットおよび前記ワークピース以外の前記作業空間内のアイテムを認識するように構成され、前記プロセッサは、前記ロボットまたはワークピースの一部ではなく、別様に認識されない検出されたアイテムを人間として識別する、項目４６に記載の安全システム。
（項目５０）
前記プロセッサは、前記画像内で、前記作業空間内のアイテムを検出し、外部から提供されるその識別を受信するように構成され、前記プロセッサは、前記ロボットまたはワークピースの一部ではなく、いかなる外部から提供される識別も受信されなかった検出されたアイテムを人間として識別する、項目４９に記載の安全システム。
（項目５１）
前記作業空間は、複数のボクセルとしてコンピュータ的に表される、項目４６に記載の安全システム。
（項目５２）
前記機械類は、少なくとも１つのロボットである、項目４６に記載の安全システム。
（項目５３）
３次元（３Ｄ）作業空間内で機械類を安全に動作させる方法であって、前記方法は、
作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドを備え、前記作業空間部分は、部分的に相互に重複する、ステップと、
前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
コンピュータメモリ内に、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および機械と人間との間の最小分離距離を規定する安全性プロトコルとを記憶するステップと、
前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成するステップと、
３Ｄ機械類領域として前記作業空間内の前記機械類によって占有される空間の表現を経時的にコンピュータ的に識別および監視し、前記記憶されたモデルに従って、前記機械類の許可された移動に及ぶ３Ｄエンベロープ領域を前記機械類領域の周囲に生成するステップと、
前記機械類と前記作業空間内のワークピースとの間の相互作用を認識するステップと、
前記認識された相互作用に応答して、前記ワークピースを含むように前記機械類領域をコンピュータ的に更新し、前記記憶されたモデルおよび前記更新された機械類領域に従って前記エンベロープ領域をコンピュータ的に更新するステップと、
前記安全性プロトコルに従って、更新される際に前記ロボット領域の周囲に３Ｄ安全区域をコンピュータ的に生成するステップと
を含む、方法。
（項目５４）
前記作業空間内の人間によって占有される空間に対応するボリュームにおける領域を識別するステップと、
前記ロボット領域と前記人間占有領域との間の近接性に基づいて、前記安全性プロトコルに従って前記ロボットの活動を制限するステップと
をさらに含む、項目５３に記載の方法。
（項目５５）
所定の将来の時間内の前記作業空間内の前記人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって、前記人間占有領域を増強するステップをさらに含む、項目５４に記載の方法。
（項目５６）
（ｉ）前記画像内で、前記機械類および前記ワークピース以外の前記作業空間内のアイテムを認識するステップと、（ｉｉ）前記機械類またはワークピースの一部ではなく、別様に認識されない検出されたアイテムを人間として識別するステップとをさらに含む、項目５３に記載の方法。
（項目５７）
（ｉ）前記画像内で、前記作業空間内のアイテムを検出し、外部から提供されるその識別を受信するステップと、（ｉｉ）前記機械類またはワークピースの一部ではなく、いかなる外部から提供される識別も受信されなかった検出されたアイテムを人間として識別するステップとをさらに含む、項目５６に記載の方法。
（項目５８）
前記作業空間は、複数のボクセルとしてコンピュータ的に表される、項目５３に記載の方法。
（項目５９）
前記機械類は、少なくとも１つのロボットである、項目５３に記載の方法。

Claims (59)

1. 制御された機械類を含む、３次元作業空間内の安全領域を識別するための安全システムであって、前記システムは、
   前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、複数のセンサと、
   コントローラであって、前記コントローラは、
   前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせすることと、
   前記作業空間の３次元表現を複数のボリュームとして生成することと、
   閾値を上回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、遮蔽の前記関連付けられるセンサからの推定される距離において終了するボリュームを非占有とマーキングし、前記光線路の終端に対応するボリュームを占有とマーキングし、前記光線路に沿った前記遮蔽を越える任意のボリュームを未知とマーキングすることと、
   前記閾値を下回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、前記作業空間の境界において終了する全てのボクセルを未知とマーキングすることと、
   少なくとも一度非占有と予備的にマーキングされたボリュームを非占有と最終的にマーキングすることと、
   前記作業空間内の１つ以上の安全ボリューム区域をマッピングすることであって、前記ボリューム区域は、前記機械類の安全区域の外側であり、非占有とマーキングされたボリュームのみを含む、ことと
   を行うように構成される、コントローラと
   を備える、システム。
2. 点は、ボクセルである、請求項１に記載の安全システム。
3. 前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、請求項１に記載の安全システム。
4. 前記コントローラは、前記センサによる前記作業空間のリアルタイム監視に応答し、前記センサによって検出される前記安全区域の中への侵入に応答して、前記機械類の動作を改変するように構成される、請求項３に記載の安全システム。
5. 前記安全区域は、前記３Ｄボリューム内で複数のネスト化サブ区域に分割され、前記サブ区域のそれぞれの中への検出された侵入は、前記機械類の動作の異なる改変度をもたらす、請求項４に記載の安全システム。
6. 前記センサは、３Ｄセンサである、請求項１に記載の安全システム。
7. 前記センサのうちの少なくともいくつかは、飛行時間カメラである、請求項６に記載の安全システム。
8. 前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、請求項６に記載の安全システム。
9. 前記センサのうちの少なくともいくつかは、ステレオビジョンカメラである、請求項６に記載の安全システム。
10. 前記コントローラは、前記機械類によって取り扱われているワークピースを認識し、前記安全区域を生成する際に前記ワークピースをその一部として見なすように構成される、請求項１に記載の安全システム。
11. 前記コントローラは、人間移動のモデルに従って、前記作業空間の中への前記侵入をコンピュータ的に拡張するように構成される、請求項４に記載の安全システム。
12. ３次元作業空間内で機械類を安全に動作させる方法であって、前記方法は、
    作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、ステップと、
    前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
    コンピュータメモリ内に記憶された前記作業空間の３次元表現をコンピュータ的に生成するステップと、
    閾値を上回る強度レベルを有するセンサピクセル毎に、予備的に、前記コンピュータメモリ内で、前記ピクセルを通る視通線光線路によってインターセプトされ、遮蔽の前記関連付けられるセンサからの推定される距離において終了するボリュームを非占有とマーキングし、前記光線路の終端に対応するボリュームを占有とマーキングし、前記光線路に沿った前記遮蔽を越える任意のボリュームを未知とマーキングするステップと、
    前記閾値を下回る強度レベルを有するセンサピクセル毎に、予備的に、前記ピクセルを通る視通線光線路によってインターセプトされ、前記作業空間の境界において終了する全てのボリュームを未知とマーキングするステップと、
    少なくとも一度非占有と予備的にマーキングされたボリュームを非占有と最終的にマーキングするステップと、
    前記作業空間内の１つ以上の安全ボリューム区域をコンピュータ的にマッピングするステップであって、前記ボリューム区域は、前記機械類の安全区域の外側であり、非占有とマーキングされたボリュームのみを含む、ステップと
    を含む、方法。
13. 点は、ボクセルである、請求項１２に記載の方法。
14. 前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、請求項１２に記載の方法。
15. 応答して、前記機械類の動作を改変することによって、前記安全区域の中への検出された侵入に応答するステップをさらに含む、請求項１４に記載の方法。
16. 前記安全区域は、前記３Ｄボリューム内で複数のネスト化サブ区域に分割され、前記サブ区域のそれぞれの中への検出された侵入は、前記機械類の動作の異なる改変度をもたらす、請求項１５に記載の方法。
17. 前記機械類によって取り扱われているワークピースをコンピュータ的に認識し、前記安全区域を生成する際に前記ワークピースをその一部として見なすステップをさらに含む、請求項１２に記載の方法。
18. 人間移動のモデルに従って、前記作業空間の中への前記侵入をコンピュータ的に拡張するステップをさらに含む、請求項１５に記載の方法。
19. 前記コンピュータ認識ステップは、ニューラルネットワークを使用して実施される、請求項１７に記載の方法。
20. 前記機械類に関する安全行動制約を生成し、それに従って前記機械類を制御するステップをさらに含む、請求項１２に記載の方法。
21. 前記機械類は、少なくとも１つのロボットである、請求項１２に記載の方法。
22. ３次元（３Ｄ）作業空間内で活動を実施する機械類の安全な動作を施行するための安全システムであって、前記システムは、
    前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、集合的に前記作業空間全体をカバーする、複数のセンサと、
    コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および前記活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶する、コンピュータメモリと、
    プロセッサであって、前記プロセッサは、
    前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成することと、
    前記記憶されたモデルに従って、前記許可された移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域を識別することと、
    所定の将来の時間内の前記作業空間内の人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記人間によって占有される、または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を識別することと、
    前記第１および第２の領域の間の近接性に基づいて、前記安全性プロトコルに従って前記機械類の活動を制限することと
    を行うように構成される、プロセッサと
    を備える、システム。
23. 前記作業空間は、複数のボクセルとしてコンピュータ的に表される、請求項２２に記載の安全システム。
24. 前記プロセッサは、少なくとも部分的に、前記機械類によって提供される状態データに基づいて、前記機械類に対応する領域を識別するように構成される、請求項２２に記載の安全システム。
25. 前記状態データは、安全適合であり、安全適合通信プロトコルを経由して提供される、請求項２４に記載の安全システム。
26. 前記状態データは、安全適合ではないが、前記センサから受信された情報によって検証される、請求項３に記載の安全システム。
27. 前記状態データは、ロボットモデルを構築し、前記モデル内に検出された物体を除去し、任意の残りの物体が前記機械類に隣接する場合、前記機械類を停止させることによって検証される、請求項２４に記載の安全システム。
28. 前記状態データは、前記機械類の位置を識別するようにコンピュータビジョンを使用し、これを報告された位置と比較することによって検証される、請求項２４に記載の安全システム。
29. 前記状態データは、前記機械類へのいかなるインターフェースも伴わずに前記センサによって決定される、請求項２４に記載の安全システム。
30. 前記第１の３Ｄ領域は、複数のネスト化された空間的に明確に異なる３Ｄサブ区域に分割される、請求項２２に記載の安全システム。
31. 前記第２の３Ｄ領域と前記サブ区域のそれぞれとの間の重複は、前記機械類の動作の異なる改変度をもたらす、請求項２５に記載の安全システム。
32. 前記プロセッサはさらに、前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域を識別する際に前記ワークピースをその一部として見なすように構成される、請求項２４に記載の安全システム。
33. 前記プロセッサは、前記機械類が停止されるときを除いて、前記機械類と人間との間の接触を防止するように、前記機械類の最大速度を動的に制御するように構成される、請求項２２に記載の安全システム。
34. 前記プロセッサは、前記近接性に基づいて、衝突までの最短可能時間を算出するように構成される、請求項２２に記載の安全システム。
35. 前記プロセッサは、前記センサによる前記作業空間のリアルタイム監視に応答し、前記センサによって検出された前記作業空間の中への侵入に応答して、前記機械類の動作を改変するように構成される、請求項２２に記載の安全システム。
36. 前記機械類は、少なくとも１つのロボットである、請求項２２に記載の安全システム。
37. ３次元（３Ｄ）作業空間内で機械類を安全に動作させる方法であって、前記方法は、
    作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業空間部分は、部分的に相互に重複する、ステップと、
    前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
    コンピュータメモリ内に、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および機械と人間との間の最小分離距離を規定する安全性プロトコルとを記憶するステップと、
    前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成するステップと、
    前記記憶されたモデルに従って、前記許可された移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域をコンピュータ的に識別するステップと、
    所定の将来の時間内の前記作業空間内の人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、前記作業空間内の前記人間によって占有される、または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域をコンピュータ的に識別するステップと、
    前記第１および第２の領域の間の近接性に基づいて、前記安全性プロトコルに従って前記機械類の活動を制限するステップと
    を含む、方法。
38. 前記作業空間は、複数のボクセルとしてコンピュータ的に表される、請求項３１に記載の方法。
39. 前記第１の３Ｄ領域は、複数のネスト化された空間的に明確に異なる３Ｄサブ区域に分割される、請求項３１に記載の方法。
40. 前記第２の３Ｄ領域と前記サブ区域のそれぞれとの間の重複は、前記機械類の動作の異なる改変度をもたらす、請求項３３に記載の方法。
41. 前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域をコンピュータ的に識別する際に前記ワークピースをその一部として見なすステップをさらに含む、請求項３１に記載の方法。
42. 前記機械類の活動を制限するステップは、前記近接性の平方根に比例して前記機械類の最大速度を制御するステップを含む、請求項３１に記載の方法。
43. 前記機械類の活動を制限するステップは、前記近接性に基づいて、衝突までの最短可能時間を算出するステップを含む、請求項３１に記載の方法。
44. 前記センサによって検出された前記作業空間の中への侵入に応答して、前記機械類の動作を改変するステップをさらに含む、請求項３１に記載の方法。
45. 前記機械類は、少なくとも１つのロボットである、請求項３１に記載の方法。
46. 活動を実施する機械類を含む３次元（３Ｄ）作業空間内で安全領域を識別するための安全システムであって、前記システムは、
    前記作業空間を中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドを備え、前記作業空間部分は、集合的に前記作業空間全体をカバーする、複数のセンサと、
    コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および前記活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶する、コンピュータメモリと、
    プロセッサであって、前記プロセッサは、
    前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成することと、
    ３Ｄ機械類領域として前記作業空間内の前記機械類によって占有される空間の表現を経時的に識別および監視し、前記記憶されたモデルに従って、前記機械類の許可された移動に及ぶ３Ｄエンベロープ領域を前記機械類領域の周囲に生成することと、
    前記機械類と前記作業空間内のワークピースとの間の相互作用を認識することと、
    前記認識された相互作用に応答して、前記ワークピースを含むように前記機械類領域を更新し、前記記憶されたモデルおよび前記更新された機械類領域に従って前記エンベロープ領域を更新することと、
    前記安全性プロトコルに従って、更新される際に前記ロボット領域の周囲に３Ｄ安全区域をコンピュータ的に生成することと
    を行うように構成される、プロセッサと
    を備える、システム。
47. 前記プロセッサはさらに、
    前記作業空間内の人間によって占有される、または潜在的に占有される空間に対応するボリュームにおける領域を識別することと、
    前記ロボット領域と前記人間占有領域との間の近接性に基づいて、前記安全性プロトコルに従って前記ロボットの活動を制限することと
    を行うように構成される、請求項４６に記載の安全システム。
48. 前記人間占有領域は、所定の将来の時間内の前記作業空間内の前記人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって増強される、請求項４７に記載の安全システム。
49. 前記プロセッサはさらに、前記画像内で、前記ロボットおよび前記ワークピース以外の前記作業空間内のアイテムを認識するように構成され、前記プロセッサは、前記ロボットまたはワークピースの一部ではなく、別様に認識されない検出されたアイテムを人間として識別する、請求項４６に記載の安全システム。
50. 前記プロセッサは、前記画像内で、前記作業空間内のアイテムを検出し、外部から提供されるその識別を受信するように構成され、前記プロセッサは、前記ロボットまたはワークピースの一部ではなく、いかなる外部から提供される識別も受信されなかった検出されたアイテムを人間として識別する、請求項４９に記載の安全システム。
51. 前記作業空間は、複数のボクセルとしてコンピュータ的に表される、請求項４６に記載の安全システム。
52. 前記機械類は、少なくとも１つのロボットである、請求項４６に記載の安全システム。
53. ３次元（３Ｄ）作業空間内で機械類を安全に動作させる方法であって、前記方法は、
    作業空間を中心として分散される複数のセンサを用いて前記作業空間を監視するステップであって、前記センサはそれぞれ、センサ視野内の前記作業空間の一部の画像を記録するためのピクセルのグリッドを備え、前記作業空間部分は、部分的に相互に重複する、ステップと、
    前記センサによって取得された前記画像が集合的に前記作業空間を表すように、相互に対して前記センサを位置合わせするステップと、
    コンピュータメモリ内に、（ｉ）前記センサからの複数の画像と、（ｉｉ）前記機械類および活動の実施の間のその許可された移動のモデルと、（ｉｉｉ）人間に近接する前記機械類の速度制限および機械と人間との間の最小分離距離を規定する安全性プロトコルとを記憶するステップと、
    前記記憶された画像から、前記作業空間の３Ｄ空間表現をコンピュータ的に生成するステップと、
    ３Ｄ機械類領域として前記作業空間内の前記機械類によって占有される空間の表現を経時的にコンピュータ的に識別および監視し、前記記憶されたモデルに従って、前記機械類の許可された移動に及ぶ３Ｄエンベロープ領域を前記機械類領域の周囲に生成するステップと、
    前記機械類と前記作業空間内のワークピースとの間の相互作用を認識するステップと、
    前記認識された相互作用に応答して、前記ワークピースを含むように前記機械類領域をコンピュータ的に更新し、前記記憶されたモデルおよび前記更新された機械類領域に従って前記エンベロープ領域をコンピュータ的に更新するステップと、
    前記安全性プロトコルに従って、更新される際に前記ロボット領域の周囲に３Ｄ安全区域をコンピュータ的に生成するステップと
    を含む、方法。
54. 前記作業空間内の人間によって占有される空間に対応するボリュームにおける領域を識別するステップと、
    前記ロボット領域と前記人間占有領域との間の近接性に基づいて、前記安全性プロトコルに従って前記ロボットの活動を制限するステップと
    をさらに含む、請求項５３に記載の方法。
55. 所定の将来の時間内の前記作業空間内の前記人間の予測される移動に対応する前記人間の周囲の３Ｄエンベロープによって、前記人間占有領域を増強するステップをさらに含む、請求項５４に記載の方法。
56. （ｉ）前記画像内で、前記機械類および前記ワークピース以外の前記作業空間内のアイテムを認識するステップと、（ｉｉ）前記機械類またはワークピースの一部ではなく、別様に認識されない検出されたアイテムを人間として識別するステップとをさらに含む、請求項５３に記載の方法。
57. （ｉ）前記画像内で、前記作業空間内のアイテムを検出し、外部から提供されるその識別を受信するステップと、（ｉｉ）前記機械類またはワークピースの一部ではなく、いかなる外部から提供される識別も受信されなかった検出されたアイテムを人間として識別するステップとをさらに含む、請求項５６に記載の方法。
58. 前記作業空間は、複数のボクセルとしてコンピュータ的に表される、請求項５３に記載の方法。
59. 前記機械類は、少なくとも１つのロボットである、請求項５３に記載の方法。