JP2018049592A - 人間運動センサを使用して油圧ロボットの近くにいるときの動きを検出すること - Google Patents

Abstract

【課題】機械の周りの人間の存在を検出し、人間が存在するならば警報を発し、人間がいないのに存在すると判定される誤検出を除去するシステムを提供する。
【解決手段】製造環境内で機械を操作するためのシステムはセンサシステムとコンピュータを含む。センサシステムは、人間ではない物体の姿勢から人間の骨格姿勢を区別し、１以上の人間が所定の領域内に存在するか否かを判定する。コンピュータは、１以上の人間だけが制限された領域内にいると判定したことに応じて、誤検出が生じたか否かを判定する。誤検出は、人間が実際には存在しないときに１以上の人間が存在するとの第１の判定による。誤検出が生じなかったとの判定に応じて、警報を発すること、機械を停止すること、又はそれらの組み合わせから成る群から選択された動作をとる。
【選択図】図１５

Description

本開示は、機械の周りの人間の存在を検出し、人間が存在するならば警報を発し、及び、人間がいないのに存在すると判定される誤検出の結果を除去するシステムに関する。

産業ロボットを使用する会社は、安全性に対して関心を持っている。最初の関心は、人間が、産業ロボットの近くで安全であり続けることを確実にすることである。安全性は、ロボットの挙動のみならず人間の挙動に関する手順及び規則によって実現され得る。しかし、産業ロボットのサイズ、複雑さ、及び速度のために、更なる安全システムが望まれ得る。

例示的な実施形態は、製造環境内で機械を操作するためのシステムを提供する。該システムは、人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステムを含む。センサシステムは、環境に関して制限された領域内に１以上の人間が存在するか否かを判定するように更に設定されている。システムは、コンピュータも含む。コンピュータは、１以上の人間だけが制限された領域内にいると判定したことに応じて、誤検出の結果が生じたか否かを判定するように設定されている。誤検出は、人間が実際には存在しないのに１以上の人間が存在するとの第１の判定であり得る。コンピュータは、誤検出の結果が生じなかったと判定したことに応じて、警報を発すること、機械を停止する若しくは遅くすること、又はそれらの組み合わせから成る群から選択された動作をとるようにも設定されている。

有利な実施形態は、機械を操作している間に機械を操作する方法も含む。該方法は、機械を操作している間に、１以上の人間が機械の制限された領域内に存在するか否かを判定することを含む。「判定すること」は、人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステムによって実行される。方法は、１以上の人間だけが制限された領域内にいると判定したことに応じて、誤検出の結果が生じたか否かをコンピュータによって判定することも含む。誤検出は、人間が実際には存在しないのに１以上の人間が存在するとの第１の判定であり得る。方法は、誤検出の結果が生じなかったと判定したことに応じて、警報を発すること、機械を停止する若しくは遅くすること、又はそれらの組み合わせから成る群から選択された動作をとることも含む。

例示的な実施形態の特性と考えられる新規の機能は、添付の特許請求の範囲に明記される。しかし、例示的な実施形態と、好ましい使用モードと、その更なる目的及び特徴とは、添付図面を参照して本開示の例示的な実施形態の後述の詳細な説明を読むことによって、最もよく理解されるであろう。

例示的な一実施形態による、製造環境を示す。 例示的な一実施形態による、フェンスを有する製造環境の一実施例を示す。 例示的な一実施形態による、人間運動センサの一実施例を示す。 例示的な一実施形態による、人間の骨格の関節のポイントを使用する、携帯電話で通話しながら歩いている人間の検出の一実施例を使用する動き／身振りの認識を示す。 例示的な一実施形態による、機械の近くでの人間の誤検出の測定値を除去するためのプロセスのフローチャートである。 例示的な一実施形態による、人間の骨格の関節のポイントを検出する一実施例を示す。 例示的な一実施形態による、機械の近くでの人間の誤検出を示すベン図である。 例示的な一実施形態による、機械の近くでの人間の誤検出の一実施例を示す。 例示的な一実施形態による、機械の近くでの人間の誤検出の別の一実施例を示す。 例示的な一実施形態による、正当化された動き、正当化されない動き、及び望ましくない動きの実施例を示す。 例示的な一実施形態による、人間の骨格の関節の幾つかのポイントを選択する一方で、関節の他のポイントを無視する一実施例を示す。 例示的な一実施形態による、デイジーチェーン（ｄａｉｓｙ ｃｈａｉｎｅｄ）運動センサの一実施例を示す。 例示的な一実施形態による、製造環境内で機械を操作するためのシステムの可能な一実施例を示す。 例示的な一実施形態による、製造環境内で機械を操作するための別のシステムを示す。 例示的な一実施形態による、機械を操作するためのフローチャートである。 例示的な一実施形態による、ロボット運動制御システムのブロック図である。 例示的な一実施形態による、データ処理システムの図である。

例示的な実施形態は、産業ロボットを使用する会社が、人間が、機械、特に、製造環境内の産業ロボットと相互作用し得るときに生じる安全性の問題に、概して、気が付いていることを認識し考慮する。１つの懸念は、人間が動作している機械に近付き過ぎたときに何が起きるかである。それらのサイズ、複雑さ、及び速度のために、安全性が重要である。したがって、有利な実施形態は、人間が物理的に機械が動作する製造環境内にいるときに、人間と設備の両方に対する安全性を高める方法及び装置を提供する。同様に、有利な実施形態は、人間運動センサを使用して、油圧ロボットの近くにいるときの動きを検出することを提供する。

有利な実施形態は、ロボットなどの機械の周りで作業するときに、従業員が、ロボットの運動経路内などの望ましくない位置に無意識に入ってしまう可能性があることを更に認識し考慮する。この状況は、ロボットが動作の間に人間と近付き過ぎて相互作用するならば、より頻繁に生じ得る。

有利な実施形態は、ロボットが作業している領域への権限を与えられていないアクセスも問題を起こし得ることを更に認識し考慮する。権限を与えられていない領域内の人間の安全性を高めること、及び、設備に対する損傷を妨げることの両方が望ましい。

有利な実施形態は、ほとんどのロボット作業領域が、作業者を保護するための安全機構と作業者を保護するために設定された規則を有していることを更に認識し考慮する。しかし、誰かがこれらの手順に気付かず又は忘れたならば、彼らはそれらに従わないだろう。

有利な実施形態は、ロボットに接続されたセンサが、概して、動きを監視するために使用されてきたことを更に認識し考慮する。動きが検出されたならば、警報が発せられ又は機械の動作が停止する。このアプローチの問題は、ほとんどのセンサが、物体を正確に特定できず、その結果として、多くの誤検出を報告することである。更に、そのようなセンサは、ユーザが機械の正常な動作の部分として機械と相互作用すると考えられている状況では、最適ではない。

有利な実施形態は、人間の工場長がロボット作業領域を監視し得ることを更に認識し考慮する。彼又は彼女が誰かがこの領域に入ったことを見たならば、彼らはロボットを停止させ得るか又はその人に警告し得る。しかし、このアプローチの問題は、一時的に対応できない場合がある工場長に頼り過ぎていることである。更に、製造機械は、通常、一日中及び一週間中、連続的に動作するので、ロボット作業領域を人間が監視することは、物理的にも費用的にも重荷であり得る。

有利な実施形態は、ロボット作業領域内に安全警告標識が掲げられ得ることを更に認識し考慮する。しかし、このアプローチは、作業者の安全性の責任を彼ら自身の手に渡す。このアプローチも、皆が標識の警告を読み、理解し、それに従うことを想定している。

したがって、有利な実施形態は、これらの問題及び他の問題に対処する。有利な実施形態は、人間運動センサから集められた情報を使用して、人間が機械の近くにいることを機械に知らせる。更に、有利な実施形態は、誤検出物体と本当の人間の検出とを区別することができる能力を有する。更に、有利な実施形態は、運動センサを共にデイジーチェーンして、さもなければ人間と物体の認識を妨げ得る、妨害を避け得る。

有利な実施形態は、人間を特定するときに、誤検出を考慮することも提供する。例えば、有利な実施形態は、選択された関節のポイントを無視し、代わりにシステムが、「手動プレス」の近くの指などの、より怪我する可能性が高い手足に集中することを可能にし得る。

別のアプローチでは、「動き認識」が使用されて、権限を与えられた作業者又は動きを特定する。「動き認識」という用語は、「運動認識」から区別されるべきである。「運動認識」が、任意の種類の動きが生じたか否かを単に認識する一方で、「動き認識」は、特定の動き、特に人間の動きを認識する。したがって、有利な実施形態は、「動き認識」を実行して、人間が歩いている又は走っているか否かを特定し得る。運動技術を使用して、有利な実施形態は、権限を与えられた作業者の動きを学習する能力を有する。この特徴は、近くにいることが許容される動き、及び、そうではない動きを認識することを可能にする。例えば、有利な実施形態は、ロボットの部品を供給するときに、供給運動を許容可能であると特定することができる。一方、有利な実施形態は、近くで電話で通話している誰かに関連付けられた動きを特定し、それを不適切であると特定することができる。したがって、有利な実施形態は、どの人間たちが被害に会いそうで、どの人間たちがそうではないかを取り上げ選別する能力を有する。更に、有利な実施形態は、制限された領域内で携帯電話で通話しながら歩いている誰かに対して、制限された領域内で歩いている誰かなどの、動きの重大度を判定することができる。この種類の挙動を如何にして区別するかを説明する詳細は、以下で図面との関連で与えられる。

有利な実施形態は、変形され得る。例えば、有利な実施形態は、複雑な製造環境内でセンサに対する妨害を避けるために、運動センサを共にデイジーチェーンし得る。

有利な実施形態は、幾つかの利点と用途を有する。有利な実施形態は、柔軟であり、使用することが比較的安価である。有利な実施形態は、製造業者が、ロボットが作業する工場内の安全性を向上させることを助ける機構を提供する。有利な実施形態は、近接警報、サイレン、光、及びシステムシャットダウンなどの、多くの異なる種類の警報と組み合わされ得る。有利な実施形態は、同時に複数のロボット又は他の機械と共に働き得る。有利な実施形態は、ロボット作業領域を監視するために使用され得る。有利な実施形態は、人間だけの動きを認識することができるので、人間以外のものの頻繁な移動を有する領域内で特に有用である。有利な実施形態は、言語から独立し、大きな設備に拡大可能であり、普遍的に展開可能である。有利な実施形態は、以下で更に説明されるように、他の特徴を有する。

図１は、例示的な一実施形態による、製造環境を示す。製造環境１００は、機械１０２、機械１０４を含み、それらの両方が使用されて、物体又はアセンブリを製造する。機械１０２と機械１０４は、油圧機械、アーム、プレス、ツール、ドリル、鋸、リベッター、及び多くの他の自動若しくは半自動装置などの、ロボット又は他の製造装備であり得るが、それらに限定されるものではない。製造環境１００は、航空機の製造設備に特に適合され得る。

例示的な一実施例では、センサ１０６、センサ１０８、及びセンサ１１０などのセンサが使用されて、機械１０２又は機械１０４の近くの人間又は人間の動きを検出する。スキャン領域１１２とスキャン領域１１４などのスキャン領域も、図１で示されており、それらの間に所与のセンサの見通し線がある。

これらのセンサが使用されて、人間１１６の存在、形状、又は特定の動きを検出し得る。しかし、任意のそのような検出システムに関する問題は、壁からぶら下がり得る静止した衣服１１８などの物体によって誤検出がもたらされる可能性である。

違う言い方をすれば、製造環境１００は、人間の周囲に対する彼若しくは彼女の位置における変化、又は人間に対する周囲における変化を検出するために使用される、人間運動センサ又はセンサシステムとして特徴付けられ得る。ＭＩＣＲＯＳＯＦＴ ＣＯＲＰＯＲＡＴＩＯＮ（登録商標）からのＫＩＮＥＣＴ（登録商標）システムが、そのような装置の一例である。

上述されたように、機械１０２と機械１０４は、産業用業務を完了するために使用される機械装置である。特定の一実施例では、大きいスケールの製造で通常使用される、油圧ロボットが、３つ以上の軸で動くことができる、自動制御され、再プログラム可能で、多目的の機械である。通常、油圧ロボットは、図１の機械１０２と機械１０４で示されているように、ベース状の構造物に据え付けられた油圧で駆動される大きなアームを有する。ほとんどの油圧ロボットは、溶接、塗装、及び／又は成形などの大きな繰り返し作業を取り扱う。これらの機械は、高速で動作することができ、重い荷重を担うことができ、それらを製造作業のために理想的なものとする。そのようなロボットは、製造業者を、より競争力が高く効率的にする一方で、繰り返しによってもたらされる作業に関連する損傷を低減させる。

ロボットは、多くの産業を通して広く使用されている。産業用ロボットは、通常、１日に２４時間、週に７日動作している。しかし、これらの機械の絶え間ない作業は、人間に問題を生じ得る。ほとんどのロボットは、それらの周囲に全く気を配ることなく動作するので、高められた安全性を有するシステムが望ましい。

図２は、例示的な一実施形態による、フェンスを有する製造環境の一実施例を示している。したがって、製造環境２００は、図１の製造環境１００であり得る。

図１の製造環境１００などの製造環境における安全性を高めるための最も一般的なアプローチは、図２で示されているフェンス２０２などの、ロボットの作業領域を取り囲むフェンスを生成することである。フェンス２０２は、機械２０４が働いている間に、人々が近付き過ぎることを妨げ得る。フェンス２０２は、ロボットと従業員との間の境界の視覚的なリマインダーとして作用し得る。

残念なことに、このアプローチは、警報なしに作業者又は手足がフェンスを通り抜ける可能性がある静的解（ｓｔａｔｉｃ ｓｏｌｕｔｉｏｎ）である。更に、このアプローチは、人間の機械２０４との相互作用が機械２０４の通常の動作の部分であるときに適切ではない。

ある場合では、従業員が容易に製造環境２００に入ることができるエントリ２０６のポイントがある。しかし、このアプローチは、ロボットの近くで作業する必要がある作業者を考慮することができない。これらの場合では、従業員がフェンスで囲まれた領域に入らなければならない。

他の問題は、現在の安全システムを超えている場合がある。最も一般的な問題は、運動センサなどのセンサが、他の機械の動きにおける又は存在する権限をあたえられた人間の動きにおける多くの誤検出表示を与え得ることである。誤検出の結果は、不必要な警報及び恐らく不必要なシャットダウンをもたらす。したがって、誤検出の結果は望ましくない。

図３は、例示的な一実施形態による、人間運動センサの一実施例を示している。人間運動センサ３００は、図１の製造環境１００又は図２の製造環境２００などの、製造環境における動作設備のためのシステムと共に使用され得る。

有利な実施形態は、図３で示されている人間運動センサ３００を使用して、人間の動きを特定することを熟慮している。人間運動センサ３００は、上で定義された「動き認識」を実行するように設定されている。人間運動センサ３００は、人間の周囲３０６に対する彼又は彼女のフォーム３０２の位置変化を検出する。そのような装置の実施例は、人間運動センサ３００の実施例である、ＭＩＣＲＯＳＯＦＴ（登録商標）ＫＩＮＥＣＴ（登録商標）及びＮＩＮＴＥＮＤＯ（登録商標）ＷＩＩＵ（登録商標）を含むが、それらに限定されるものではない。

例示的な一実施形態では、人間運動センサ３００が、スティックマン（ｓｔｉｃｋ ｍａｎ）又は骨格３０４の形態にある対象者の動きの３次元座標を検出する。この種類の特定は、骨格追跡（ｓｋｅｌｅｔａｌ ｔｒａｃｋｉｎｇ）と称され得る。

人間運動センサ３００の目的は、動きを検出するだけである通常の運動センサとは異なり、人間の動き認識を検出することである。例示的な一実施形態では、人間運動センサ３００が、人間のような形態を検出し、人間の形態の関節のポイントの座標を集める。その後、人間運動センサ３００又は人間運動センサ３００に接続されたコンピュータが、任意の動きに対するその形態を監視する。任意の動きが生じたならば、人間運動センサ３００は、その動きの座標を報告する。

座標は、通常、関節のポイント又は対象者のジョイントに関する。対象者の動きをより優れて解釈するために、有利な実施形態は、球座標であれ直交座標であれ、もしも必要であるならば測定値が標準化され得るように、座標を相対的な位置に関連付ける。例えば、有利な実施形態は、各対象物を標準化するために、頭、胴体、又は尻を相対的な位置として使用することを熟慮している。相対的な位置を用いて作業することは、ある場合の詳細な座標を計算するよりも容易であり、したがって、有利な実施形態が使用することを熟慮している計算上の利点をもたらす。

図４は、例示的な一実施形態による、人間の骨格の関節のポイントを使用する、携帯電話で通話しながら歩いている人間の検出の一実施例を使用する動き／身振りの認識を示している。骨格４００は、図３の人間運動センサ３００などの人間運動センサによって生成された図３の人間のフォーム３０２を表す骨格３０４の別の一実施例であり得る。

ジェスチャー認識が、コンピュータが、人間の身体言語を理解することを試みるやり方、したがって、原始的なテキストユーザインターフェース又は更にグラフィカルユーザインターフェース（ＧＵＩ）に対する機械と人間との間のより強いブリッジを建造することを試みるやり方として見られ得る。それらは、未だ、キーボード及びマウスへの入力の大部分を制限する。ジェスチャー認識は、数学的アルゴリズムと共にコンピュータ技術を使用して、種々の人間の動きを特定する。

有利な実施形態の文脈では、動き認識が、誰かが自分の手を振っているなどのジェスチャーの単なる特定を超えて上手くいく。代わりに、有利な実施形態で使用されるコンピュータは、実際に、人間の運動又は動きを規定する。この規定は、コンピュータが、図４で示された携帯電話で通話している間に歩くなどの実際の動きを認識することを可能にする。

この技能を実現する１つのやり方は、システムが対応する記述を用いて特定の運動を分類する学習プロセスを含む。他の方法は、どんな動作が生じているのかを判定するために、それらの周囲に対する運動の差異を検出する。何れの場合でも、最終的な目的は、人間が、彼らの運動に関して何をしているのかを確認することである。

図５は、例示的な一実施形態による、機械の近くでの人間の誤検出の測定値を除去するためのプロセスのフローチャートである。方法５００は、図３の人間運動センサ３００などの人間運動センサと併せてコンピュータを使用して実装され得る。

油圧ロボットなどの産業用機械の使用は、大きなスケールの製造において極めて一般的である。会社は、これらの機械を使用して、生産性を高め、費用を削減し、品質を改良し、及び／又は重い大きなスケールの作業を実現する。しかし、これらのロボットはより多く人間と相互作用するので、安全性の懸念も高まる。

有利な実施形態は、人間が動作している機械の近くにいる又は機械に関して望ましくないと考えられる何らかの動作を取っているか否かを判定するために、人間運動センサを使用することによって、この問題に対処する。その後、コンピュータは、検出された物体が本当に人間であるか又は誤検出の結果であるかを判定する。「誤検出」の結果は、何かが検出され、それが最初は人間だと考えられたが、そうではなかったという結果である。誤検出は、たとえ人間運動センサであっても、運動センサにおいて、非常によくあることである。しかし、警報を発したり又は機械の動作を停止したりすることは必ずしも望ましくないので、誤検出は望ましくない。何れにせよ、コンピュータが、物体が人間のものであり且つ機械に関して望ましくない位置にあると判定したならば、コンピュータは、機械が作業を停止するように指示命令し得るか又は人間に警報を発し得る。本明細書で使用される際に、「望ましくない」という用語は、人間に怪我をもたらし又は機械に損傷をもたらし得るやり方で、機械と相互作用することに対して人間を危険に晒す動きを意味する。

図５を参照すると、方法５００は、情報を集めることによって開始する（動作５０２）。その情報に基づいて、コンピュータは、人間が存在するか否かを判定する（動作５０４）。存在しないと判定したならば、該プロセスは、動作５０２に戻る。

存在すると判定したならば、コンピュータは、検出された人間が誤検出の結果を表すか否かを判定するように設定されたシステム又はソフトウェアに通知する（動作５０６）。誤検出の結果は、多くの異なる理由で生じ得るが、有利な実施形態は、誤検出の結果の少なくとも４つの源を熟慮している。これらは、衣服などの静止した物体が人間と間違われること、物体がセンサの届く範囲内にあるが機械から許容可能な距離を有すること、運動又は人間が正当化されると考えられること、又は人間の一部分が正当化されると考えられることである。以下の動作は、これらの誤検出を排除することに関するが、有利な実施形態は、他の種類の誤検出を排除するための更なるステップを熟慮している。

この特定の例示的な実施形態では、動作５０６でシステムに通知した後で、コンピュータは、検出された物体が静止しているか否かを判定する（動作５０８）。静止していないならば、システムはその事実を通知される（動作５１０）。静止しているならば、すなわち、物体が静止しているならば、システムは、物体を無視するか又は誰かに物体を移動させるように指示命令され（動作５１２）、何れの場合でも、システムは、情報を集める動作（５０２）へ戻る。

しかし、動作５１０で、システムが、検出された物体が静止していないと通知されたならば、システムは、検出された物体が問題となっている機械から許容可能な距離にあるか否かの別の判定を行う（動作５１４）。許容可能な距離にないならば、システムは、物体が許容可能な距離にないことを再び通知される（動作５１６）。許容可能な距離にあるならば、すなわち、物体が許容可能な距離にあるならば、物体は無視され又は移動され（動作５１２）、引き続いて、該方法は、動作５０２において情報を集めることに戻る。

一旦、システムが、検出された物体が静止しておらず機械から許容可能な距離にないと通知されたならば、システムは、センサによって検出された物体の動きが正当化されるか否かを判定する（動作５１８）。正当化されなければ、警報がトリガされる（動作５２０）。警報は、人間に機械を避けるために行動が取られるべきであることを知らせるように構成された、視覚的、聴覚的、その両方、又は何らかの他の警報であり得る。代替的に又は追加的に、機械の動作は、推定された人間、機械、他の装備若しくは電源、及びそれらの組み合わせの安全性を高めるように計算されたやり方で停止又は修正される。

しかし、動作５１８を参照すると、動きが正当化されると考えられたならば、システムはそのように通知される（動作５２２）。コンピュータが動きを正当化されたものとして認識するように予めプログラムされていれば、動きは正当化されると考えられる。例えば、人間の身体の検出された骨格姿勢は、その人が機械に入力することに関して入力運動を実行していることを示し得る。この運動は、機械の通常の動作の部分と考えられ、したがって、正当化される。別の一実施例では、立ち上がる、屈伸する、手を振る、又は跪くなどの運動は、正当化され得る。例えば、手若しくは他の身体部分を機械の操作部分の中へ挿入する又は権限が与えられてない領域の中へ歩いていくなどの全ての運動は、正当化されると規定されたそれらの運動を除いて正当化されないと考えられる。更に、システムが、正当化された動きを認識するように訓練され得るように、システムは、「望ましくない」動きを認識するようにも訓練され得る。「望ましくない」動きは、正当化されない動きのように警報をトリガし得る（動作５２０）。望ましくない動きに対する警報は、より重要であり厳密であり得る。再び、本明細書で使用される際に、「望ましくない」という用語は、人間に怪我をもたらし又は機械に損傷をもたらし得るやり方で、機械と相互作用することに対して人間を危険に晒す動きを意味する。

方法５００を参照すると、動作５２２でその運動が正当化されるとシステムに通知した後で、コンピュータ又はシステムは、身体部分を無視するか否かを判定する（動作５２４）。システムは、システムが頭の運動を無視するが手の運動には注意を払うなどのように指示命令されているならば、身体の特定の部分を無視する。システムが、身体部分が無視されるべきであると判定したならば、方法５００は、動作５１２に戻り、物体を無視するか又は移動させ、そこから動作５０２に戻って情報の収集を継続する。さもなければ、システムは、警報をトリガし（動作５２０）若しくは機械の動作を修正し、又は上述されたような何らかの他の動作をとる。

何れにせよ、一旦、警報が動作５２０でトリガされたならば、該方法は、その後、終了する。代替的に、特に、システムが多くの異なる機械を同時に支配又は管理している場合には、該方法は、動作５０２に戻り、情報の収集を継続する。

対象者に警告することに加えて、システムは、フィードバック機構としても働き、それによって、従業員たちは、機械から自分たちまでの距離を学習し、又は機械を操作することに関するより優れた動きを学習する。更に、フィードバックは、両方向に働き、システムそれ自体も同様に学習する。特に、システムは、動き、近さ、及び周囲の物体に関して学習した上で、機械を使用し得る。したがって、システムは、安全であると考えられ得る新しい動きを判定し得る。究極的には、これらの動作は、人間又は可能性としては製造環境内の他の機械が、安全な作業環境を生成している間に怪我をしたり又は損傷を受けたりすることを妨げる。

したがって、有利な実施形態は、この作業を実現するために使用される基本コア技術よりもむしろ、機械の近くにいるときに人間の動きを検出するプロセスを説明する。例示的な実施形態は、人間運動感知入力装置に対するインターフェースを使用することによって、動きを検出する能力を有する。このインターフェースは、範囲及び機能性において変化し得るが、センサが取り扱うことができる如何なる容量においても、人間を認識する作業を保存する。

有利な実施形態は、同時に複数の機械を用いて複数の人々と共に作業し得る。同様に、有利な実施形態は、製造環境内の人々の各々の複数の動きを特定し得る。有利な実施形態は、製造環境内の輸送体又は他の移動する機械の安全な運動を特定することも熟慮している。

有利な実施形態は、安全性が、互いに相互作用する機械と人々の間で改良され得るところではどこでも使用され得る。したがって、例えば、有利な実施形態は、業務用厨房若しくは研究室、又は強力な機械、火、若しくは化学物質との相互作用が生じる他の環境内で使用され得る。

人間が検出され、一般的な誤検出の結果が除去されたときに、有利な実施形態は、組み合わされ得る若しくは組み合わされ得ない又は排他的にとられ得る若しくは排他的にとられ得ない多くの異なる動作を熟慮している。そのような動作は、警告、警報、又は機械の動作の修正を含み、機械を遅くし停止し別の位置へ移動させること、異なる方向への機械の移動、機械の部分の停止若しくは修正、又は多くの他の動作を含む。

有利な実施形態に関して使用される人間運動センサは、任意の有利な位置に配置され得る。そのような位置の例は、機械若しくはロボットの上、製造設備の天井若しくは壁の上、床の上、スタンドの上、又は潜在的に製造環境内で移動する人間自身の上さえ含むが、それらに限定されるものではない。

有利な実施形態は、人間運動センサと通信するコンピュータで動作するソフトウェアを使用して、可能性としては製造機械と併せて、実装され得る。ソフトウェアは、任意の有用な言語で書かれ得るが、携帯用途のために特にＪＡＶＡ（登録商標）が熟慮されている。しかし、他のプログラミング言語も使用され得る。更に、有利な実施形態は、専用コンピュータ又は特定用途向け集積回路を使用して実装され、したがって、純粋にハードウェアの形態を採り得る。

図６は、例示的な一実施形態による、人間の骨格の関節のポイントを検出する一実施例を示している。例えば、人間運動センサ６００は、図３の人間運動センサ３００であり、図５の方法５００などの製造環境内の方法において使用され得る。図６に関して説明される有利な実施形態は、人間のフレームすなわち骨格の関節のポイントの検出及び動き追跡に関して更なる詳細を提供する。

上述されたように、有利な実施形態は、人間運動センサ６００などの人間運動センサから集められた情報を使用する。人間運動センサ６００が物体を人間のようであると認識するや否や、矢印６０２によって示されているように、人間運動センサ６００は、骨格６０４で示されているように、人間が存在するという信号をコンピュータ又はソフトウェアに送信する。

コンピュータは、リスナー６０６を使用して、その信号をコンピュータで使用できる情報へと変換または解釈する。リスナー６０６は、本明細書で説明される機能を実行するように設定されたソフトウェア又はハードウェアの形態を採る。人間運動センサ６００は、人間運動センサ６００によって集められた情報を、矢印６０８によって示されるように、関節の特定のために他のソフトウェア又はハードウェアに渡す。この他のソフトウェア又はハードウェアは、スティックマン又は骨格６１０の形状に対して、各々のジョイントに対して、識別子を構築する。他のソフトウェア又はハードウェアは、この情報を使用して、人間のような物体の正当性を判定する。

識別子は、テキストのみの識別子であり、後の処理を容易にするために、テキストによって規定された相対的な位置に関連付けられ得る。したがって、例えば、図で示されている関節の上側左のポイントは、骨格６１０におけるＨＡＮＤ＿ＬＥＦＴ６１２である。ＨＡＮＤ＿ＬＥＦＴ６１２は、空間座標の範囲に対応する特定の位置に関連付けられ得る。例えば、ＨＡＮＤ＿ＬＥＦＴ６１２は、「高い」、「低い」、「幾らか高い」、「頭に近い」、「頭から離れている」、「遠方を指している」などの、又は潜在的に多くの他のテキスト識別子などの、テキストによって規定された相対的な位置が与えられ得る。したがって、コンピュータが、人間の位置若しくは人間の動き又はそれらの両方の何れかを検出しているときに、コンピュータは、これらのテキスト記述の特定のパターンを、それに対してコンピュータ又はソフトウェアが訓練されるところの既知のパターンと比較する。より具体的な実施例では、ＨＡＮＤ＿ＬＥＦＴ６１２が、「頭に近い」及び「高い」ときに、コンピュータは、人間が彼又は彼女の頭に対して携帯電話を保持している可能性があるという結果を返し、それに従って動作するように訓練されている。

違う言い方をすれば、有利な実施形態は、運動が生じているという事実だけを検出する運動センサから区別される。有利な実施形態は、上述の技術を使用して、ある形態及びその形態の関節のポイントの動きを追跡して、人間の挙動及び位置を特定することを熟慮している。この技術は、運動検出（ｍｏｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）ではなく、動き検出（ｍｏｖｅｍｅｎｔ ｄｅｔｅｃｔｉｏｎ）と称される。

したがって、有利な実施形態は、関節のポイント、ジョイント、及び手足を識別子として使用して、その形態の動きを追跡する。有利な実施形態は、スティックマン又は骨格の形状においてこれらの識別子を表現する。通常、各識別子は、（ＨＡＮＤ＿ＬＥＦＴ６１２などの）ラベル、ＸＹ若しくはＸＹＺ座標、及び距離を含み得る。この種類の特定は、骨格追跡（ｓｋｅｌｅｔａｌ ｔｒａｃｋｉｎｇ）と称され得る。

人間運動センサ６００は、先ず人間のような物体を検出し、その後、運動を検出する。だから、動いていない人間のような何かを検出することが可能である。例えば、有利な実施形態は、最初に電源が入れられたときに、その近くにいる動いていない人を検出することができる。更に、有利な実施形態は、図２に関して説明されたように、フェンスで囲まれた作業領域に入るなどの事象を誰かがトリガしたときに、開始することができる。

図７は、例示的な一実施形態による、機械の近くでの人間の誤検出を示すベン図である。ベン図７００は、人間動き検出システム内で生じ得る、もし可能であれば除去されるべき、誤検出の種類を理解する助けとなる。

示されているように、コンピュータが、人間運動センサから信号を受信したときに、その信号は誤検出であり得る。誤検出は、例えば、壁に掛かっているレインコートなどの、システムが人間と考えたが実際にはそうではなかったというものである。誤検出は、人間認識ソフトウェアにおいて極めてよくあることである。

ベン図７００は、人間７０２、ロボット７０４、及び物体７０６の間の相互作用を示している。人間又は物体がロボットと相互作用したときに、それは無視される７０８か又は警報がトリガされる７１０うちの何れか（又はロボット若しくは他の機械に関してとられる何らかの他の動作）である。更に、コンピュータは、静止した物体７１２、許容可能な距離にある物体７１４、物体の正当な部分７１６、及び正当化された動き７１８を無視する。物体の正当化されない部分７２０及び正当化されない動き７２２に対して、コンピュータは、機械又はロボットに作業を停止させ又はさもなければその動作を修正させるように指示命令し得る。

人間運動センサが潜在的に物体を誤検出であると特定することができる多くのやり方を取り扱うために、一実施例では、本発明が、物体が如何にしてそれ自身を存在させるかに応じて、４つの顕著な方法を利用する。最初に、壁に掛かっているレインコートなどの物体が静止しているならば、ユーザは、コンピュータにそれを無視するように指示命令できる。第２に、物体が動いているか又は静止しているが、動作しているロボットから許容可能な距離にあるならば、ユーザは、本発明にそれらを無視するように指示命令できる。第３に、物体が動いているならば、但し、その動きが正当化されるならば、ユーザは、コンピュータに、特定された物体と同じ動きを共有する全ての物体を無視するように指示命令できる。最後に、物体の部分が他の部分よりも重要である［又は重要でない］ならば、ユーザは、コンピュータにどの部分を検出しどの部分を無視するか指示命令できる。

図８は、例示的な一実施形態による、機械の近くでの人間の誤検出の一実施例を示している。例えば、機械８００は、図１の機械１０２若しくは１０４又は図２の機械２０４であり得る。

例示的な一実施形態では、コンピュータが、プレビュー画面８０２に、物体８０６を検出した場所におけるスティックマンのシルエット８０４を表示し得る。特定された物体８０６が人間ではなかったならば、ユーザは、それを誤検出であると考え得る。

静止した物体が本発明によって誤検出として特定された場合、状況を修正する少なくとも２つのやり方が存在する。先ず、それが可能であれば、その物体を運動検出器のスキャン領域から離れるように移動させ、物体８０６は移動されるべきである。さもなければ、コンピュータが、物体８０６を無視するように指示命令され得る。

静止している物体を無視するために、コンピュータは、人間運動センサ８０８によって検出される際に、その物体に関連付けられた骨格追跡器内の全ての識別子を集める。コンピュータは、これらの識別子を、「安全」であるとして記録し、それらを含む任意の物体を無視する。この種の検出は、有利な実施形態の操作上の使用の前に生じ得る。要約すると、製造環境内の機械がスタートする前に、誤検出の静止している物体の領域をスウィープ（ＳＷＥＥＰ）し得る。

図９は、例示的な一実施形態による、機械の近くでの人間の誤検出の別の一実施例を示している。したがって、人間運動センサ９００は、図３の人間運動センサ３００であり、機械９０２は、図１の機械１０２若しくは１０４又は図２の機械２０４であり得る。

例示的な一実施形態では、コンピュータが、動作している機械から許容可能な距離にあると特定された物体を考慮すべきではない。それは、それらの物体が誤検出であるか否かを問わず、それらが、スキャナーがターゲットとして到達する範囲内にある場合であってもそうである。図９で示されているように、コンピュータは、ユーザが、矢印９０４で示されているように、運動検出器又は運動センサのスキャン領域を調整することを可能にする。このやり方では、骨格追跡器ソフトウェア９０６が、動作している機械の特定の近傍にある物体だけを取り上げる。

更に、ユーザは、スケール９０８によって示されているように、スキャナーの範囲に対しても同様に重大度を割り当てることができる。コンピュータは、物体がより近付くと、その重大度が増加することをもたらし得る。これらの場合では、コンピュータが、重大度が所定の範囲に到達したときに、警報を発し又は機械の動作を修正し得る。更に、第１の高さの重大度において警報を発することから、第２の高さの重大度において機械を修正し、第３の高さの重大度においてさえも機械を停止することまで、重大度の異なる測定値において異なる動作がとられ得る。更に、コンピュータは、対象物が動作している機械の近くにあれば、近接警報を開始することができる。その警報は、対象物が近付けば近付くほど強くなり得る。

別の救済法は、静止している物体のように、物体を運動検出器のスキャン経路の外へ移動させることであり得る。好ましくは、その種の動作は、有利な実施形態の操作上の使用の前に生じ得る。要約すると、機械がスタートする前に、検出された距離の物体の領域をスウィープし得る。

図１０は、例示的な一実施形態による、正当化された動き、正当化されない動き、及び望ましくない動きの実施例を示している。矢印１００２は、警報が発せられず機械の動作の修正が実行されないように、許容可能であると予め規定された、人間運動センサ１０００によって検出された正当化された動きである。例えば、人間運動センサ１０００は、図３の人間運動センサ３００であり得る。

上述されたように、ある場合では、個人が、動作している機械に関して近付く又は特定の動作をとることについて権限を与えられる。例えば、作業者は、図１０において矢印１００２で示されているように、機械に部品を供給することが必要であり得る。この懸念に対処するために、コンピュータは、「動き認識」を使用して、正当化され又は安全であると予め規定された動きを特定する。

一方、矢印１００４で示されているように、人間が機械の近くの権限を与えられていない空間において歩いている場合などの、権限を与えられていない動きが検出されたならば、コンピュータは、警報を起動させ又は機械の動作を修正し得る。同じやり方で、コンピュータは、安全又は許容可能な動きを学習することができる。それは、矢印１００６で示されているように、望ましくない動きを学習し又は認識することもできる。望ましくない動きの一実施例は、携帯電話で通話しながら、若しくは恐らく何かを運びながら、又は望ましくないと予め規定された任意の他の動きをしながら、歩いているということであり得る。

コンピュータは、異なる種類の動きに対して特定の警報を開始することができる。結果として、コンピュータは、各々に対して異なる動作を取りながら、認められていない挙動若しくは位置又は動きのみならず、望ましくない挙動を探すことができる。

したがって、運動感知技術と骨格追跡を使用して、コンピュータは、特定の動きを学習する能力を有する。コンピュータは、各々、学習した動きを正当化された動き又は望ましくない動きとして特定し得る。その後、コンピュータは、人間運動センサ１０００から受信したデータを、既知の正当化された又は望ましくない動きと比較し、人間運動センサ１０００からの各々の所与の入力を、正当化されたものとして又は無視されるべきであるとして分類する。例示的な一実施形態では、動きが認識されなければ、コンピュータは、それを正当化されない動きであると考え、警報をトリガし又は機械の動作の修正をもたらす。正当化されない動きと望ましくない動きの両方は、警報をトリガし又は機械の動作の修正をもたらす。

コンピュータが、「動き」を学習し、それらを行っている人々を学習しないことに留意されたい。この事実は、任意の誰かが、認識された動きを実行することを可能にする。

有利な実施形態は、ロボット又は他の機械の関節のポイントの動き又は挙動を解析するように適合され得ることにも留意されたい。ロボット又は他の機械が意図しないやり方で動作を開始するならば、有利な実施形態は、この事実を認識し、警報を発し、又は問題の機械若しくは問題の機械の近くにある他の機械の何れかの動作を修正し得る。したがって、有利な実施形態は、必ずしも上述した実施例に限定されない。

図１１は、例示的な一実施形態による、人間の骨格の関節の幾つかのポイントを選択する一方で、関節の他のポイントを無視する一実施例を示している。関節のポイントは、図４、図９、又は図１０に関して説明されたようなものであり得る。

正当化された作業者でさえも高められた安全性から利益を受け得る状況が存在する。動作している機械の近くで作業しているときに、安全性が懸念され得る。その理由のために、コンピュータは、ハンドプレスの近くの指、又は空気ドリルの近くの何らかの他の身体部分などの、怪我をする可能性がより高い特定の手足に集中し得る。グラフィカルユーザインターフェース１１００を使用して、ユーザは、どれを検出し及びどれを無視するべきか（チェックボックス１１０２）をユーザに知らせるようにコンピュータを設定することができる。グラフィカルユーザインターフェース１１００は、特定された関節のポイントを有する人間の身体の外形を使用する。ユーザは、各ポイントをオン又はオフすることができ、例えば、チェックボックス１１０２で示されているように、それを検出可能又は検出不可能にすることができる。これらのポイントは、骨格追跡器１１０４において、スティックマン又は骨格によって取得された識別子を正確に映し出す。

図１１は、構成の特定の一実施例を示している。この構成では、人のＨＥＡＤ、ＳＨＯＵＬＤＥＲ＿ＣＥＮＴＥＲ、ＳＨＯＵＬＤＥＲ＿ＬＥＦＴ、ＥＬＢＯＷ＿ＬＥＦＴ、ＳＨＯＵＬＤＥＲ＿ＲＩＧＨＴ、ＥＬＢＯＷ＿ＲＩＧＨＴ、ＳＰＩＮＥ、ＨＩＰ＿ＣＥＮＴＥＲ、ＨＩＰ＿ＬＥＦＴ、ＫＮＥＥ＿ＬＥＦＴ、ＡＮＫＬＥ＿ＬＥＦＴ、ＦＯＯＴ＿ＬＥＦＴ、ＨＩＰ＿ＲＩＧＨＴ、ＫＮＥＥ＿ＲＩＧＨＴ、ＡＮＫＬＥ＿ＲＩＧＨＴ、及びＦＯＯＴ＿ＲＩＧＨＴが無視されている。関節のこれらのポイントが機械の近くにあるときに、警報はトリガされず、機械の動作も修正されない。ＷＲＩＳＴ＿ＬＥＦＴ、ＨＡＮＤ＿ＬＥＦＴ、ＷＲＩＳＴ＿ＲＩＧＨＴ、及びＨＡＮＤ＿ＲＩＧＨＴを選択することによって、コンピュータは、これらの関節のポイントを追跡する。それによって、それらが機械に対して所定の距離未満に近付いたときに、警報がトリガされ又は機械の動作が変化する。このやり方では、個人の手又は手首だけが、警報を起動し又は動作している機械を停止する。

図１１で示されているように、ユーザは、グラフィカルユーザインターフェース１１００を使用し、どの関節のポイントが追跡され得るかを選択し得る。したがって、例えば、各関節のポイントは、所与のチェックボックスに関連付けられ得る。この実施例では、ユーザが、チェックボックス１１０２などの、追跡されるべき身体の部分の特定のチェックボックスをチェックした。この結果の別の図は、骨格追跡器１１０４であり、それは、追跡される身体の部分に含まれ得る円１１０６と円１１０８を示し、残りの円は追跡されていない。

この原理は、図９に関して説明されたように、重大度のスケールと組み合わされ得る。したがって、例えば、コンピュータは、特定の身体の部分だけ又は特定の運動だけを追跡し、各身体の部分の重大度（可能性としては、機械に対する接近の程度）を測定するように設定され得る。したがって、例えば、手がプレスから第１の距離にあるならば、警報をトリガするが、手がプレスからより近い第２の距離にあるならば、機械の動作が自動的に停止され得る。有利な実施形態は、多くの他の実施例を熟慮している。したがって、上述の実施例は、他の有利な実施形態又は特許請求された発明を必ずしも限定しない。

図１２は、例示的な一実施形態による、デイジーチェーン運動センサの一実施例を示している。この例示的な実施形態では、２つのセンサ、すなわち、人間運動センサ１２００と人間運動センサ１２０２が存在する。例えば、これらのセンサの各々は、図３の人間運動センサ３００であり得る。

図１２で示されているように、妨害を避けるために又はオーバーラッピング若しくは余剰なカバーを提供するために、人間運動センサをデイジーチェーンすることが可能である。したがって、何かが人間運動センサ１２００を遮断しているならば、人間運動センサ１２０２は、人１２０４を未だ追跡又は検出し得る。

図１３は、例示的な一実施形態による、製造環境内で機械を操作するためのシステムの可能な一実施例を示している。システム１３００は、例えば、図５の例示的な方法５００などの、製造環境内で機械を操作するための方法を実装するために使用され得る。例えば、製造環境は、図１の製造環境１００又は図２の製造環境２００であり得る。

図１３の例示的な実施例では、人間運動センサ１３０２又は人間運動センサ１３０４などの１以上の人間運動センサが、機械１３０６に接続されている。人間運動センサ１３０２と人間運動センサ１３０４は、図３の人間運動センサ３００であり得る。ワイヤー１３０８で示されているように、センサの接続は、機械の中へ直接的に又は機械によって提供されるインターフェースの中へプラグされ得る。接続は、コンピュータ１３１０に対しても行われ得る。コンピュータは、人間運動センサ１３０２又は人間運動センサ１３０４と機械１３０６との間の媒介物として働く。

任意選択的に、コンピュータ１３１０は、追跡された関節のポイントを有する骨格をディスプレイ装置に表示することができ、それによって、人々が、コンピュータが人間運動センサ１３０２と人間運動センサ１３０４からの入力に基づいて何を追跡しているかを観察することを可能にする。このディスプレイは、誰かが動作している機械に近付き過ぎているならば、警告を示すこともできる。聴覚的な警報もあり得る。コンピュータ１３１０は、上述されたように、人間の追跡された運動の結果として、動作を修正又は停止するように機械１３０６に指示命令もし得る。

最後に、有利な実施形態は、ラップトップ１３１２を使用して、システムをインストール、構成、又は最適化することを熟慮している。ラップトップ１３１２は、物理的なプラグを介して又は固定されたネットワーク接続を通して機械に接続され得る。したがって、有利な実施形態は、専用コンピュータ又はコンピュータ１３１０に必ずしも限定されない。

図１４は、例示的な一実施形態による、製造環境内で機械を操作するための別のシステムを示している。システム１４００は、例えば、図５の例示的な方法５００などの、製造環境内で機械を操作するための方法を実装するために使用され得る。例えば、製造環境は、図１の製造環境１００又は図２の製造環境２００であり得る。システム１４００は、図１３のシステム１３００に対する代替例であり得る。

システム１４００は、機械１４０２を含む製造環境内で機械を操作するためのシステムである。システム１４００は、人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステム１４０４を含む。センサシステム１４０４は、所定の領域内に１以上の人間が存在するか否かを判定するように更に設定されている。センサシステム１４０４は、人間運動センサシステムであり得る。センサシステム１４０４は、骨格の関節のポイントを使用して、人間の動きを追跡することもできる。

システム１４００は、コンピュータ１４０６を含む。コンピュータ１４０６は、１以上の人間だけが所定の領域内にいると判定したことに応じて、誤検出の結果が生じたか否かを判定するように設定されている。誤検出は、人間が実際には存在しないのに１以上の人間が存在するとの第１の判定であり得る。コンピュータ１４０６は、誤検出の結果が生じなかったと判定したことに応じて、警報を発すること、機械１４０２を停止すること、又はそれらの組み合わせから成る群から選択された動作をとるようにも設定されている。したがって、コンピュータ１４０６は、機械１４０２に接続されている。

この例示的な実施形態は、修正又は拡大され得る。例えば、コンピュータ１４０６は、所定の領域内に１以上の人間が存在するか否かを判定するように設定され、コンピュータ１４０６は、センサシステム１４０４を使用して、１以上の人間の骨格姿勢の複数の関節のポイントを追跡し、追跡された関節のポイントを生成するように更に設定されている。この場合では、コンピュータ１４０６が、追跡された関節のポイントを、既知の組の関節のポイントと比較するようにプログラムされている。コンピュータ１４０６は、追跡された関節のポイントが既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、１以上の人間だけが所定の領域内に存在すると判定するように更に設定されている。

関連する例示的な実施形態では、コンピュータ１４０６が、追跡された関節のポイントが１以上の人間の禁止された骨格姿勢に相当するとのコンピュータ１４０６による第２の判定に応じて、警報を変更するように更に設定されている。また更に、禁止された骨格姿勢は、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、機械１４０２に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び機械１４０２を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択され得る。

また更に別の一実施例では、警報を変更するように設定されたコンピュータ１４０６が、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせのうちの１つを実行するように設定されている。

また更に別の例示的な一実施形態では、コンピュータ１４０６が、誤検出が生じなかったと判定する前に、運動センサを使用して、１以上の人間の骨格姿勢の複数の関節のポイントの動きを追跡し、追跡された関節のポイントを生成するように更に設定されている。この場合では、コンピュータ１４０６が、追跡された関節のポイントを、既知の組の関節のポイントと比較する。その後、コンピュータ１４０６は、追跡された関節のポイントが、機械１４０２に関する人間の権限を与えられた動きに対応する権限を与えられた組の関節のポイントと合致したことに応じて、誤検出の結果が生じたと判定する。

また更に別の例示的な一実施形態では、コンピュータ１４０６が、運動センサを使用して物体を検出するように更に設定され、誤検出の結果が生じたか否かを判定するように設定されていることにおいて、コンピュータ１４０６は、物体が静止しているか否かを判定するように更に設定されている。物体が静止しているならば、コンピュータ１４０６は、誤検出が生じたと判定するように更に設定されている。

また更に別の例示的な一実施形態では、コンピュータ１４０６が、運動センサを使用して、物体を検出するように更に設定されている。誤検出の結果が生じたか否かを判定するように設定されていることにおいて、コンピュータ１４０６は、物体が機械１４０２から所定の距離を超えているか否かを判定するように更に設定されている。物体が所定の距離を超えているならば、コンピュータ１４０６は、誤検出が生じたと判定するように更に設定されている。

更に異なる例示的な一実施形態では、コンピュータ１４０６が、運動センサを使用して、物体を検出するように更に設定されている。誤検出の結果が生じたか否かを判定するように設定されていることにおいて、コンピュータ１４０６は、物体が権限を与えられた動きに従事しているか否かを判定するように更に設定されている。物体が権限を与えられた動きに従事しているならば、コンピュータ１４０６は、誤検出が生じたと判定するように更に設定されている。

図１５は、例示的な一実施形態による、機械を操作するためのフローチャートである。方法１５００は、図１４のシステム１４００又は図１３のシステム１３００などの、システムを使用して実装され得る。方法１５００は、図１の製造環境１００又は図２の製造環境２００などの、製造環境内で実行され得る。方法１５００は、図３から図１３までに関して説明された方法及び装置を使用して実行され得る。

方法１５００は、機械を操作している間に、１以上の人間が機械の制限された領域内に存在するか否かを判定することを含み、判定することは、人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステムによって実行される（動作１５０２）。方法１５００は、１以上の人間だけが制限された領域内にいると判定したことに応じて、誤検出の結果が生じたか否かをコンピュータによって判定することも含み、誤検出は、人間が実際には存在しないときに１以上の人間が存在するとの第１の判定を含む（動作１５０４）。方法１５００は、誤検出の結果が生じなかったと判定したことに応じて、コンピュータが、警報を発すること、機械を停止する若しくは遅くすること、又はそれらの組み合わせから成る群から選択された動作をとることも含む（動作１５０６）。その後、方法は終了し得る。

方法１５００は、変形され得る。例えば、１以上の人間が制限された領域内に存在するか否かを判定する動作は、１以上の人間の骨格姿勢の複数の関節のポイントを追跡して、追跡された関節のポイントを生成すること、追跡された関節のポイントを既知の組の関節のポイントと比較すること、及び追跡された関節のポイントが既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、１以上の人間だけが制限された領域内に存在すると判定することを更に含み得る。

方法１５００は、追跡された関節のポイントが１以上の人間の禁止された骨格姿勢に相当するとの第２の判定に応じて、警報を変更することも含み得る。この場合では、禁止された骨格姿勢は、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、機械に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び機械を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択され得る。しかし、他の骨格姿勢が可能である。別の一実施例では、警報を変更することが、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせから成る群から選択され得る。

異なる例示的な一実施形態では、方法１５００が、誤検出が生じなかったと判定する前に、コンピュータと運動センサを使用して、１以上の人間の骨格姿勢の複数の関節のポイントの動きを追跡し、追跡された関節のポイントを生成することを更に含み得る。この場合では、方法１５００が、コンピュータによって、追跡された関節のポイントを既知の組の関節のポイントと比較することも含む。更に、この実施例では、方法１５００が、追跡された関節のポイントが、機械に関する人間の権限を与えられた動きに対応する権限を与えられた組の関節のポイントと合致したことに応じて、コンピュータが、誤検出の結果が生じたと判定することも含む。

更に異なる例示的な一実施形態では、方法１５００が、運動センサを使用して、物体を検出することを更に含み得る。この場合では、誤検出の結果が生じたか否かをコンピュータによって判定することが、物体が静止しているか否かを判定することを含む。物体が静止しているならば、コンピュータは、誤検出が生じたと判定する。

更に異なる例示的な一実施形態では、方法１５００が、運動センサを使用して、物体を検出することも含み得る。この場合では、誤検出の結果が生じたか否かをコンピュータによって判定することが、物体が機械から所定の距離を超えているか否かを判定することを含む。物体が所定の距離を超えているならば、コンピュータは、誤検出が生じたと判定する。

更に異なる例示的な一実施形態では、方法１５００が、運動センサを使用して、物体を検出することも含み得る。この場合では、誤検出の結果が生じたか否かをコンピュータによって判定することが、物体が権限を与えられた動きに従事しているか否かを判定することを含む。物体が権限を与えられた動きに従事しているならば、コンピュータは、誤検出が生じたと判定する。

更に別の例示的な一実施形態では、方法１５００が、１以上の人間の骨格姿勢の複数の関節のポイントを追跡し、追跡された関節のポイントを生成することを更に含み得る。この場合では、方法１５００が、追跡された関節のポイントを、既知の組の関節のポイントと比較することも含み得る。既知の組の関節のポイントは、人間の権限を与えられた動き又は権限を与えられた位置に対応する。更に、この場合に、方法１５００は、追跡された関節のポイントが、既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、誤検出が生じたと判定することを更に含み得る。

上述のことから、多くの変形例が可能である。更なる変形例も可能である。ある有利な実施形態では、より多くの又は少ない動作が存在し得る。異なる動作が、図１から図１３に関して説明されたように存在し得る。したがって、図１５に関して説明された有利な実施形態は、特許請求された発明を必ずしも限定しない。

図１６は、例示的な一実施形態による、ロボット運動制御システムのブロック図である。ロボット運動制御システム１６００は、多数軸ロボット１６０２を含み得る。「多数軸ロボット」は、全体の装置として見られたときに、３次元の移動及び関節の動きを可能にする、ロボット機械として定義される。ロボット運動制御システム１６００は、作業領域１６０６内の多数軸ロボット１６０２の運動を制御する運動制御指示命令を受信する、運動コントローラ１６０４と通信する。

ロボット運動制御システム１６００は、運動コントローラ１６０４と通信する人間センサ１６０８も含む。人間センサ１６０８は、構造化された光センサ１６１０を使用して作業領域１６０６をスキャンし、作業領域１６０６内の人間１６１２と人間１６１２の運動とを特定するように調整されている。構造化された光センサの一実施例は、画像を解釈するためのソフトウェアを有するカメラである。別の一実施例は、人又は動いている物体に取り付けられた装置から光入力を受信するように設定された光センサである。その他の実施例も可能である。

人間センサ１６０８は、人間１６１２などの特定された人間が、多数軸ロボット１６０２の第１の距離内で動くか否かを検出し、警報を伝達し、特定された人間が第１の距離未満の多数軸ロボット１６０２の第２の距離内で動くならば、停止運動指示命令を運動コントローラ１６０４に通信する。

ある有利な実施形態では、より多くの又は少ない装置が、ロボット運動制御システム１６００内に存在し得る。したがって、図１６に関して説明された有利な実施形態は、特許請求された発明を必ずしも限定しない。

次に、図１７を参照すると、例示的な一実施形態による、データ処理システムの図が描かれている。図１６のデータ処理システム１７００は、例示的な実施形態、図１から図１５に関して説明されたもの、又は本明細書で説明される任意の他のモジュール若しくはシステム若しくはプロセスを、実装するために使用され得る、データ処理システムの一実施例である。この例示的な実施例では、データ処理システム１７００が、通信ファブリック１７０２を含み、これにより、プロセッサユニット１７０４、メモリ１７０６、固定記憶装置１７０８、通信ユニット１７１０、入出力（Ｉ／Ｏ）ユニット１７１２、及びディスプレイ１７１４の間で通信が行われる。

プロセッサユニット１７０４は、メモリ１７０６に読み込まれ得るソフトウェアの命令を実行する役割を果たす。このソフトウェアは、本明細書のどこかで開示された任意の連想メモリ、又は本明細書のどこかで開示されたプロセスを実施するためのソフトウェアであり得る。したがって、例えば、メモリ１７０６の中に読み込まれたソフトウェアは、図５の方法５００又は図１５の方法１５００を実行するためのソフトウェアであり得る。プロセッサユニット１７０４は、特定の実装態様に応じて、幾つかのプロセッサ、マルチプロセッサコア、又は何らかの他の種類のプロセッサであり得る。本明細書でアイテムを参照する際に使用される「幾つかの」は、１以上のアイテムを意味する。更に、プロセッサユニット１７０４は、単一チップ上でメインプロセッサが二次プロセッサと共存する幾つかの異種プロセッサシステムを使用して実装され得る。別の例示的な一実施例として、プロセッサユニット１７０４は、同じ種類のプロセッサを複数個含む対称型マルチプロセッサシステムであってもよい。

メモリ１７０６及び固定記憶装置１７０８は、記憶デバイス１７１６の例である。記憶デバイスは、一時的及び／又は恒久的に、限定する訳ではないが例としては、データ、機能的な形態のプログラムコード、及び／又は他の好適な情報などの情報の記憶が可能な、任意のハードウェアである。記憶デバイス１７１６は、これらの実施例では、コンピュータ可読記憶デバイスと称されることもある。これらの実施例で、メモリ１７０６は、例えば、ランダムアクセスメモリ又は他の任意の好適な揮発性又は不揮発性の記憶デバイスであってもよい。固定記憶装置１７０８は、具体的な実装形態に応じて様々な形態を取り得る。

例えば、固定記憶装置１７０８は、１以上の構成要素又はデバイスを含み得る。例えば、固定記憶装置１７０８は、ハードドライブ、フラッシュメモリ、書換え型光学ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであり得る。固定記憶装置１７０８によって使用される媒体はまた、着脱可能であり得る。例えば、着脱可能なハードドライブが、固定記憶装置１７０８に使用され得る。

通信ユニット１７１０は、これらの例では、他のデータ処理システム又はデバイスとの通信を提供する。これらの例では、通信ユニット１７１０は、ネットワークインターフェースカードである。通信ユニット１７１０は、物理的通信リンク及び無線通信リンクの何れか又はそれら両方を使用することによって、通信を提供し得る。

入出力（Ｉ／Ｏ）ユニット１７１２により、データ処理システム１７００に接続され得る他のデバイスとのデータの入出力が可能になる。例えば、入出力（Ｉ／Ｏ）ユニット１７１２は、キーボード、マウス、及び／又は他の何らかの好適な入力デバイスを通じて、ユーザ入力のための接続を提供し得る。更に、入出力（Ｉ／Ｏ）ユニット１７１２は、プリンタに出力を送信し得る。ディスプレイ１７１４は、ユーザに情報を表示するための機構を提供する。

オペレーティングシステム、アプリケーション、及び／又はプログラムに対する指示命令は記憶デバイス１７１６の上に配置可能で、この記憶デバイス１７１６は通信ファブリック１７０２を介してプロセッサユニット１７０４と通信を行う。これらの実施例では、指示命令は、固定記憶装置１７０８上で機能形態を採る。これらの指示命令は、プロセッサユニット１７０４による実行のために、メモリ１７０６の中へ読み込まれ得る。種々の実施形態のプロセスは、メモリ１７０６などのメモリに位置し得るコンピュータ実装命令を使用して、プロセッサユニット１７０４によって実行されてもよい。

これらの命令は、プロセッサユニット１７０４内のプロセッサによって読み取られ実行され得る、プログラムコード、コンピュータ可用プログラムコード、又はコンピュータ可読プログラムコードと呼ばれる。種々の実施形態のプログラムコードは、メモリ１７０６又は固定記憶装置１７０８といった、種々の物理的記憶媒体又はコンピュータ可読記憶媒体上で具現化され得る。

プログラムコード１７１８は、選択的に着脱可能であるコンピュータ可読媒体１７２０に機能的形態で置かれ、プロセッサユニット１７０４によって実行するためにデータ処理システム１７００に読み込ませたり、転送したりしてもよい。これらの実施例では、プログラムコード１７１８及びコンピュータ可読媒体１７２０は、コンピュータプログラム製品１７２２を形成する。１つの例では、コンピュータ可読媒体１７２０は、コンピュータ可読記憶媒体１７２４又はコンピュータ可読信号媒体１７２６であり得る。コンピュータ可読記憶媒体１７２４は、例えば、固定記憶装置１７０８の一部であるハードディスクなどのように、記憶デバイス上に転送するための固定記憶装置１７０８の一部であるドライブ又は他のデバイスに挿入又は配置される、光ディスク又は磁気ディスクなどを含み得る。コンピュータ可読記憶媒体１７２４は、データ処理システム１７００に接続された固定記憶装置（例えば、ハードドライブ、サムドライブ、又はフラッシュメモリ）の形態を採り得る。幾つかの例では、コンピュータ可読記憶媒体１７２４は、データ処理システム１７００から着脱可能でなくてもよい。

あるいは、プログラムコード１７１８は、コンピュータ可読信号媒体１７２６を使用してデータ処理システム１７００に転送され得る。コンピュータ可読信号媒体１７２６は、例えば、プログラムコード１７１８を含む伝搬されたデータ信号であり得る。例えば、コンピュータ可読信号媒体１７２６は、電磁信号、光信号、及び／又は他の任意の適切な種類の信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線などの通信リンク、及び／又は他の任意の適切な種類の通信リンクによって送信され得る。すなわち、例示的な実施例では、通信リンク及び／又は接続は、物理的なもの又は無線によるものになり得る。

幾つかの例示的実施形態では、プログラムコード１７１８は、データ処理システム１７００内で使用するため、コンピュータ可読信号媒体１７２６を通して、別のデバイス又はデータ処理システムからネットワークを介して固定記憶装置１７０８へダウンロードされ得る。例えば、サーバデータ処理システム内のコンピュータ可読記憶媒体に保存されているプログラムコードは、ネットワークを介してサーバからデータ処理システム１７００にダウンロードし得る。プログラムコード１７１８を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコード１７１８を保存及び送信し得る何らか他のデバイスであってもよい。

データ処理システム１７００に関して図示されている異なる構成要素は、異なる実施形態が実施され得る態様に対して構造的制限を設けることを意図していない。種々の例示の実施形態は、データ処理システム１７００に対して図解されている構成要素に対して追加的又は代替的な構成要素を含むデータ処理システムに実装されてもよい。図１７に示されている他の構成要素は、図示された例示的例から変更することができる。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを用いて実装され得る。１つの実施例として、データ処理システムは、無機的構成要素と一体化した有機的構成要素を含んでいてもよく、及び／又は人間を除く有機的構成要素から全体が構成されてもよい。例えば、記憶デバイスは、有機半導体から構成されてもよい。

別の実施例では、プロセッサユニット１７０４は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態を採り得る。この種類のハードウェアは、動作を実行するように構成された記憶デバイスからメモリに読み込まれるプログラムコードを必要とせずに、動作を実行し得る。

例えば、プロセッサユニット１７０４がハードウェアユニットの形態を採る場合、プロセッサユニット１７０４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス、又は幾つかの動作を実行するように構成された何らか他の適切な種類のハードウェアであり得る。プログラマブル論理デバイスにより、デバイスは任意の数の作業を実行するように構成されている。デバイスは後で再構成することができるか、又は任意の数の作業を実行するように恒久的に構成することができる。プログラマブル論理デバイスの例には、例えば、プログラマブル論理アレイ、プログラマブルアレイ論理、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスが含まれる。この種の実装態様の場合、種々の実施形態のためのプロセスがハードウェアユニット内に実装されることから、プログラムコード１７１８は、除外されることがある。

更に別の実施例では、プロセッサユニット１７０４は、コンピュータ及びハードウェアユニットに含まれるプロセッサの組み合わせを使用して実行され得る。プロセッサユニット１７０４は、プログラムコード１７１８を実行するように構成されている幾つかのハードウェアユニット及び幾つかのプロセッサを有することがある。図示した実施例の場合、幾つかのハードウェアユニットにおいて幾つかのプロセスを実行することができ、幾つかのプロセッサにおいてその他のプロセスを実行することができる。

別の実施例として、データ処理システム１７００の記憶デバイスは、データを保存し得る任意のハードウェア装置である。メモリ１７０６、固定記憶装置１７０８、及びコンピュータ可読媒体１７２０は、有形の形態の記憶デバイスの例である。

別の実施例では、バスシステムは、通信ファブリック１７０２を実装するために使用することができ、システムバス又は入出力バスなどの一又は複数のバスを含むことができる。当然ながらバスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実装することができる。加えて、通信ユニットは、モデム又はネットワークアダプタといったデータの送受信に使用される一又は複数のデバイスを含むことができる。更に、メモリは例えば、通信ファブリック１７０２に備わっている場合があるインターフェース及びメモリコントローラハブにみられるような、メモリ１７０６又はキャッシュであってもよい。

データ処理システム１７００はまた、（図示せぬ）少なくとも１つの連想メモリ１７２８を含み得る。連想メモリ１７２８は、通信ファブリック１７０２と通信することができる。連想メモリ１７２８は、また、記憶装置１７１６と通信することができ、又は幾つかの例示的な実施形態において、固定記憶装置１７１６の部分として考えることができる。１つの連想メモリ１７２８が示された一方で、付加的な連想メモリが存在してもよい。

更に、本開示は、下記の条項に係る実施形態を含む。
条項１
機械を含む製造環境内で機械を操作するためのシステムであって、
人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステムであって、１以上の人間が所定の領域内に存在するか否かを判定するように更に設定された、センサシステム、及び
コンピュータを備え、前記コンピュータが、
前記１以上の人間だけが前記所定の領域内にいると判定したことに応じて、誤検出の結果が生じたか否かを判定するように設定され、前記誤検出が、人間が実際には存在しないときに前記１以上の人間が存在するとの第１の判定を含み、且つ
前記誤検出の結果が生じなかったと判定したことに応じて、前記コンピュータが、警報を発すること、前記機械を停止すること、又はそれらの組み合わせから成る群から選択された動作をとるように設定されている、システム。
条項２
前記コンピュータが、１以上の人間が前記所定の領域内に存在するか否かを判定するように設定されていることにおいて、前記コンピュータが、
前記センサシステムを使用して、前記１以上の人間の前記骨格姿勢の複数の関節のポイントを追跡し、追跡された関節のポイントを生成し、
前記追跡された関節のポイントを既知の組の関節のポイントと比較し、及び
前記追跡された関節のポイントが、前記既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、前記１以上の人間だけが前記所定の領域内に存在すると判定するように更に設定されている、条項１に記載のシステム。
条項３
前記コンピュータが、
前記追跡された関節のポイントが、前記１以上の人間の禁止された骨格姿勢に相当するとの前記コンピュータによる第２の判定に応じて、前記警報を変更するように更に設定されている、条項２に記載のシステム。
条項４
前記禁止された骨格姿勢が、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、前記機械に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び前記機械を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択されている、条項３に記載のシステム。
条項５
前記警報を変更するように設定された前記コンピュータが、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせのうちの１つを実行するように設定されている、条項４に記載のシステム。
条項６
前記コンピュータが、
前記誤検出が生じなかったと判定する前に、前記センサシステムを使用して、前記１以上の人間の前記骨格姿勢の複数の関節のポイントの動きを追跡し、追跡された関節のポイントを生成し、
前記追跡された関節のポイントを既知の組の関節のポイントと比較し、及び
前記追跡された関節のポイントが、前記機械に関する前記人間の権限を与えられた動きに対応する権限を与えられた組の関節のポイントと合致したことに応じて、前記誤検出の結果が生じたと判定するように更に設定されている、条項１に記載のシステム。
条項７
前記コンピュータが、
前記センサシステムを使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータが、前記物体が静止しているか否かを判定するように更に設定され、前記物体が静止しているならば、前記コンピュータが、前記誤検出が生じたと判定するように更に設定されている、条項１に記載のシステム。
条項８
前記コンピュータが、
前記センサシステムを使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータが、前記物体が前記機械から所定の距離を超えているか否かを判定するように更に設定され、前記物体が前記所定の距離を超えているならば、前記コンピュータが、前記誤検出が生じたと判定するように更に設定されている、条項１に記載のシステム。
条項９
前記コンピュータが、
前記センサシステムを使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータが、前記物体が権限を与えられた動きに従事しているか否かを判定するように更に設定され、前記物体が前記権限を与えられた動きに従事しているならば、前記コンピュータが、前記誤検出が生じたと判定するように更に設定されている、条項１に記載のシステム。
条項１０
機械を操作する方法であって、
機械を操作している間に、１以上の人間が前記機械の所定の領域内に存在するか否かを判定することであって、人間ではない物体の姿勢から人間の骨格姿勢を区別するように設定されたセンサシステムによって実行される、判定すること、
前記１以上の人間だけが前記所定の領域内にいると判定したことに応じて、誤検出の結果が生じたか否かをコンピュータによって判定することであって、前記誤検出が、人間が実際には存在しないときに前記１以上の人間が存在するとの第１の判定を含む、判定すること、及び
前記誤検出の結果が生じなかったと判定したことに応じて、前記コンピュータが、警報を発すること、機械を停止すること、又はそれらの組み合わせから成る群から選択された動作をとることを含む、方法。
条項１１
１以上の人間が前記所定の領域内に存在するか否かを判定することが、
前記１以上の人間の前記骨格姿勢の複数の関節のポイントを追跡して、追跡された関節のポイントを生成すること、前記追跡された関節のポイントを既知の組の関節のポイントと比較すること、及び前記追跡された関節のポイントが、前記既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、前記１以上の人間だけが前記所定の領域内に存在すると判定することを含む、条項１０に記載の方法。
条項１２
前記追跡された関節のポイントが、前記１以上の人間の禁止された骨格姿勢に相当するとの第２の判定に応じて、前記警報を変更することを更に含む、条項１１に記載の方法。
条項１３
前記禁止された骨格姿勢が、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、機械に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び機械を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択される、条項１２に記載の方法。
条項１４
前記警報を変更することが、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせから成る群から選択される、条項１３に記載の方法。
条項１５
前記誤検出が生じなかったと判定する前に、前記コンピュータと前記センサシステムを使用して、前記１以上の人間の前記骨格姿勢の複数の関節のポイントの動きを追跡し、追跡された関節のポイントを生成すること、
前記コンピュータによって、前記追跡された関節のポイントを既知の組の関節のポイントと比較すること、及び
前記追跡された関節のポイントが、前記機械に関する前記人間の権限を与えられた動きに対応する権限を与えられた組の関節のポイントと合致したことに応じて、前記コンピュータが、前記誤検出の結果が生じたと判定することを更に含む、条項１０に記載の方法。
条項１６
前記センサシステムを使用して物体を検出することを更に含み、前記コンピュータによって、前記誤検出の結果が生じたか否かを判定することが、前記物体が静止しているか否かを判定することを含み、前記物体が静止しているならば、前記コンピュータが、前記誤検出が生じたと判定する、条項１０に記載の方法。
条項１７
前記センサシステムを使用して物体を検出することを更に含み、前記コンピュータによって、前記誤検出の結果が生じたか否かを判定することが、前記物体が前記機械から所定の距離を超えているか否かを判定することを含み、前記物体が前記所定の距離を超えているならば、前記コンピュータが、前記誤検出が生じたと判定する、条項１０に記載の方法。
条項１８
前記センサシステムを使用して物体を検出することを更に含み、前記コンピュータによって、前記誤検出の結果が生じたか否かを判定することが、前記物体が権限を与えられた動きに従事しているか否かを判定することを含み、前記物体が前記権限が与えられた動きに従事しているならば、前記コンピュータが、前記誤検出が生じたと判定する、条項１０に記載の方法。
条項１９
前記１以上の人間の前記骨格姿勢の複数の関節のポイントを追跡して、追跡された関節のポイントを生成すること、
前記追跡された関節のポイントを既知の組の関節のポイントであって、前記人間の権限を与えられた動き又は権限を与えられた位置に対応する、既知の組の関節のポイントと比較すること、及び
前記追跡された関節のポイントが前記既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、前記誤検出が生じたと判定する、条項１０に記載の方法。
条項２０
作業領域内で多軸ロボットの運動を制御する運動制御指示命令を受信する運動コントローラと通信する前記多軸ロボット、
前記運動コントローラと通信する人間センサであって、構造化された光センサを使用して前記作業領域をスキャンし、前記作業領域内の人間と前記人間の運動を特定するように調整された、人間センサ、及び
特定された人間が前記多軸ロボットの第１の距離内で動くか否かを検出して、警報を伝達するように設定された人間センサであって、前記特定された人間が前記第１の距離未満の前記多軸ロボットの第２の距離内で動くならば、前記運動コントローラに運動停止指示命令を通信する、人間センサを備える、ロボット運動制御システム。
条項２１
検出するように設定されている前記人間センサが、
前記人間の前記骨格姿勢の複数の関節のポイントを追跡して、追跡された関節のポイントを生成し、
前記追跡された関節のポイントを既知の組の関節のポイントと比較し、及び
前記追跡された関節のポイントが、前記既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、前記特定された人間だけが前記作業領域内に存在すると判定するように更に設定されている、条項２０に記載のロボット運動制御システム。
条項２２
前記人間センサが、
前記追跡された関節のポイントが、前記人間の禁止された骨格姿勢に相当するとの第２の判定に応じて、前記人間に対する前記伝達を変更するように更に設定されている、条項２１に記載のロボット運動制御システム。
条項２３
前記禁止された骨格姿勢が、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、機械に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び機械を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択される、条項２２に記載のロボット運動制御システム。
条項２４
前記警報を変更するように設定された前記コンピュータが、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせのうちの１つを実行するように設定されている、条項２３に記載のロボット運動制御システム。

本明細書で使用される際に、「連想メモリ」という用語は、連想記憶装置を指す。連想メモリは、複数のデータ、及び複数のデータ間の複数の関連性と考えられ得る。複数のデータ、及び複数の関連性は、非一時的コンピュータ可読記憶媒体に記憶され得る。複数のデータは、関連するグループの中へ収集され得る。連想メモリは、複数のデータ間の直接的な相互関係に加えて、複数のデータ間の少なくとも間接的な関係性に基づいて問い合わせされるように構成され得る。それ故、連想メモリは、もっぱら直接的な関係性に基づいて、もっぱら少なくとも間接的な関係性に基づいて、同様に直接的及び少なくとも間接的な関係性の組み合わせに基づいて、問い合わせされるように構成され得る。連想メモリは、内容アドレス記憶装置であり得る。

それ故、連想メモリは、複数のデータ、及び複数のデータ間の複数の関連性として特徴付けられ得る。複数のデータは、関連するグループの中へ収集され得る。更に、連想メモリは、直接的及び少なくとも間接的な関係性を含むグループから、又は複数のデータ間の直接的な相互関係に加えて複数のデータ間から選択された、少なくとも一つの関係性に基づいて問い合わせされるように構成され得る。連想メモリは、またソフトウェアの形態をとり得る。それ故、連想メモリは、また、それによって情報が、直接的な相互関係よりもむしろ関係性に基づいて新しい洞察を獲得する興味のある関連グループの中へ収集される、プロセスと考えられ得る。連想メモリは、また、特殊化したプロセッサ又はフィールドプログラマブルゲートアレイなどの、ハードウェアの形態をとり得る。

本明細書において使用されているように、「エンティティー」という用語は、明確な分離された存在である物体を言及するが、そのような存在は物質的な存在である必要はない。それ故、抽象的な概念及び合法的な構成概念が、エンティティーであるとみなされ得る。本明細書において使用されるように、エンティティーは生きているものである必要はない。連想メモリは、エンティティーと共に働く。

種々の例示的な実施形態は、全面的にハードウェアの実施形態、全面的にソフトウェアの実施形態、又は、ハードウェアエレメントとソフトウェアエレメントの両方を包含する実施形態という形態を採り得る。幾つかの実施形態は、例えば、限定するものではないが、ファームウェア、常駐ソフトウェア、及びマイクロコードなどの形態を含むソフトウェアで実装される。

また更に、種々の実施形態は、命令を実行するコンピュータ或いは任意のデバイス又はシステムにより使用される、若しくはそれらに接続される、プログラムコードを提供する、コンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能な、コンピュータプログラム製品の形態を採り得る。本開示の目的のために、コンピュータ使用可能媒体又はコンピュータ可読媒体は、一般的に、命令実行システム、装置、又はデバイスによって使用される、或いはそれらに接続されるプログラムの収容、保存、通信、伝播、又は運搬を行うことができる任意の有形装置とすることができる。

コンピュータ使用可能媒体又はコンピュータ可読媒体は、例えば、限定するものではないが、電子システム、磁気システム、光学システム、電磁システム、赤外線システム、又は半導体システムであるか、或いは伝播媒体であってもよい。コンピュータ可読媒体の非限定的な例には、半導体又は固体メモリ、磁気テープ、着脱式コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛体磁気ディスク、及び光ディスクが含まれる。光ディスクは、コンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読出し／書込み（ＣＤ−Ｒ／Ｗ）、及びＤＶＤを含みうる。

更に、コンピュータ使用可能媒体又はコンピュータ可読媒体は、コンピュータ可読プログラムコード又はコンピュータ使用可能プログラムコードがコンピュータ上で実行されるときに、このコンピュータ可読プログラムコード又はコンピュータ使用可能プログラムコードの実行により、コンピュータが、通信リンクを通じて別のコンピュータ可読プログラムコード又はコンピュータ使用可能プログラムコードを伝送するように、コンピュータ可読プログラムコード又はコンピュータ使用可能プログラムコードを収容又は保存しうる。この通信リンクは、例えば、限定するものではないが、物理的又は無線の媒体を使用しうる。

コンピュータ可読又はコンピュータ使用可能プログラムコードを記憶し及び／又は実行するために適切なデータ処理システムは、システムバスなどの通信ファブリックを介して、メモリ要素と直接的に又は間接的に結合される、１以上のプロセッサを含む。メモリ要素は、プログラムコードの実際の実行の間に採用される局所的なメモリ、大容量記憶装置、及びキャッシュメモリを含み得、それらは、コードの実行の間に大容量記憶装置からコードが回収され得る回数を低減させるために、少なくともいくつかのコンピュータ可読又はコンピュータ使用可能プログラムコードの一時的な記憶を提供する。

入出力デバイスすなわちＩ／Ｏデバイスは、直接的に、或いは介在するＩ／Ｏコントローラを通じて、システムに連結され得る。これらのデバイスは、例えば、限定するものではないが、キーボード、タッチスクリーンディスプレイ、及びポインティングデバイスを含みうる。データ処理システムが、介在する民間ネットワーク又は公衆ネットワークを通じて他のデータ処理システム、或いは遠隔のプリンタ又は記憶デバイスに連結可能にするために、種々の通信アダプタもシステムに結合され得る。モデムおよびネットワークアダプタの非限定的な例は、現在利用可能な種類の通信アダプタのうちのごく一部に過ぎない。

種々の例示的な実施形態の説明は、例示及び説明を目的として提示されており、網羅的であること、又は開示された形態の実施形態に限定することは意図されていない。当業者には、多くの修正例及び変形例が自明となろう。更に、種々の例示的な実施形態は、それ以外の例示的な実施形態と比較して、異なる特徴を提供し得る。選択された１以上の実施形態は、実施形態の原理と実際の応用を最もよく説明するため、及び、他の当業者が、様々な修正例を伴う様々な実施形態の開示内容は想定される特定の用途に適すると理解することを可能にするために、選ばれ且つ説明されている。

Claims (10)

1. 機械（１４０２）を含む製造環境内で機械（１４０２）を操作するためのシステムであって、
   人間ではない物体の姿勢から人間の骨格姿勢を区別する（１５０２）ように設定されたセンサシステム（１４０４）であって、１以上の人間（７０２）が所定の領域内に存在するか否かを判定するように更に設定された、センサシステム（１４０４）、及び
   コンピュータ（１３１０、１４０６）を備え、前記コンピュータ（１３１０、１４０６）が、
   前記１以上の人間（７０２）だけが前記所定の領域内にいると判定したことに応じて、誤検出の結果が生じたか否かを判定するように設定され、前記誤検出が、人間が実際には存在しないときに前記１以上の人間（７０２）が存在するとの第１の判定を含み、且つ
   前記誤検出の結果が生じなかったと判定したことに応じて、前記コンピュータ（１３１０、１４０６）が、警報を発すること、前記機械（１４０２）を停止すること、又はそれらの組み合わせから成る群から選択された動作をとるように設定されている、システム。
2. 前記コンピュータ（１３１０、１４０６）が、１以上の人間（７０２）が前記所定の領域内に存在するか否かを判定するように設定されていることにおいて、前記コンピュータ（１３１０、１４０６）が、
   前記センサシステム（１４０４）を使用して、前記１以上の人間（７０２）の前記骨格姿勢の複数の関節のポイントを追跡し、追跡された関節のポイントを生成し、
   前記追跡された関節のポイントを既知の組の関節のポイントと比較し、及び
   前記追跡された関節のポイントが、前記既知の組の関節のポイントのうちの少なくとも１つと合致したことに応じて、前記１以上の人間（７０２）だけが前記所定の領域内に存在すると判定するように更に設定されている、請求項１に記載のシステム。
3. 前記コンピュータ（１３１０、１４０６）が、
   前記追跡された関節のポイントが、前記１以上の人間（７０２）の禁止された骨格姿勢に相当するとの前記コンピュータ（１３１０、１４０６）による第２の判定に応じて、前記警報を変更するように更に設定されている、請求項２に記載のシステム。
4. 前記禁止された骨格姿勢が、携帯通信機で通話していることに対応する第１の姿勢、走っていることに対応する第２の組の姿勢、前記機械（１４０２）に対して特定の方向へ移動していることに対応する第３の組の姿勢、及び前記機械（１４０２）を操作することに関する権限を与えられていない運動に対応する第４の組の姿勢から成る群から選択されている、請求項３に記載のシステム。
5. 前記警報を変更するように設定された前記コンピュータ（１３１０、１４０６）が、聴覚的な警報のピッチを変更すること、聴覚的な警報の音量を変更すること、視覚的な警報の色を変更すること、視覚的な警報の強度を変更すること、及びそれらの組み合わせのうちの１つを実行するように設定されている、請求項４に記載のシステム。
6. 前記コンピュータ（１３１０、１４０６）が、
   前記誤検出が生じなかったと判定する前に、前記センサシステム（１４０４）を使用して、前記１以上の人間（７０２）の前記骨格姿勢の複数の関節のポイントの動きを追跡し、追跡された関節のポイントを生成し、
   前記追跡された関節のポイントを既知の組の関節のポイントと比較し、及び
   前記追跡された関節のポイントが、前記機械（１４０２）に関する前記人間の権限を与えられた動きに対応する権限を与えられた組の関節のポイントと合致したことに応じて、前記誤検出の結果が生じたと判定するように更に設定されている、請求項１から５のいずれか一項に記載のシステム。
7. 前記コンピュータ（１３１０、１４０６）が、
   前記センサシステム（１４０４）を使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータ（１３１０、１４０６）が、前記物体が静止しているか否かを判定するように更に設定され、前記物体が静止しているならば、前記コンピュータ（１３１０、１４０６）が、前記誤検出が生じたと判定するように更に設定されている、請求項１から６のいずれか一項に記載のシステム。
8. 前記コンピュータ（１３１０、１４０６）が、
   前記センサシステム（１４０４）を使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータ（１３１０、１４０６）が、前記物体が前記機械（１４０２）から所定の距離を超えているか否かを判定するように更に設定され、前記物体が前記所定の距離を超えているならば、前記コンピュータ（１３１０、１４０６）が、前記誤検出が生じたと判定するように更に設定されている、請求項１から７のいずれか一項に記載のシステム。
9. 前記コンピュータ（１３１０、１４０６）が、
   前記センサシステム（１４０４）を使用して物体を検出するように更に設定され、前記誤検出の結果が生じたか否かを判定するように設定されていることにおいて、前記コンピュータ（１３１０、１４０６）が、前記物体が権限を与えられた動きに従事しているか否かを判定するように更に設定され、前記物体が前記権限を与えられた動きに従事しているならば、前記コンピュータ（１３１０、１４０６）が、前記誤検出が生じたと判定するように更に設定されている、請求項１から８のいずれか一項に記載のシステム。
10. 機械（１４０２）を操作する方法であって、
    機械（１４０２）を操作している間に、１以上の人間（７０２）が前記機械（１４０２）の所定の領域内に存在するか否かを判定することであって、人間ではない物体の姿勢から人間の骨格姿勢を区別する（１５０２）ように設定されたセンサシステム（１４０４）によって実行される、判定すること、
    前記１以上の人間（７０２）だけが前記所定の領域内にいると判定したことに応じて、誤検出の結果が生じたか否かをコンピュータ（１３１０、１４０６）によって判定することであって、前記誤検出が、人間が実際には存在しないときに前記１以上の人間が存在するとの第１の判定を含む、判定すること、及び
    前記誤検出の結果が生じなかったと判定したことに応じて、前記コンピュータ（１３１０、１４０６）が、警報を発すること、機械（１４０２）を停止すること、又はそれらの組み合わせから成る群から選択された動作をとることを含む、方法。
    

Images