JP2009545457A - 機械の衝突防止のためのカメラを利用した監視方法及び装置 - Google Patents

Abstract

【課題】高速度で動く現代の産業ロボットにおいて、衝突は一般にロボット及び衝突する物体に深刻な損害を引き起こす。これはけがや費用のかかる生産停止につながりかねない。
【解決手段】可動式機械要素を備える機械とその周辺の物体との、衝突のない相互作用のための方法において、現在位置及び動的な挙動の知識を使用して、安全な領域を画定し、監視する。特に、可動式機械要素の画像データを画像取得システムによって記録し、データベースと相関させる。データベースは調整段階において、少なくとも一つの可動式機械要素の画像データを蓄積している。データベースは、機械の移動工程内の複数の移動段階に関する画像データを含んでいる。現在記録されている画像データをこのデータベースと相関させる目的で、可動式機械要素の現在位置が確認されるとともに、停止時間内に到達可能な将来位置が判断される。衝突の危険がある場合の機械の動的な挙動は、この判断に基づいて最適化される。

Description

本発明は、可動式機械要素を備える機械の衝突防止のためのカメラを利用した監視方法及び装置に関するものである。

高速度で動く現代の産業用ロボットでは、衝突は一般に、ロボット及びロボットが扱う加工物の両方に深刻な損害を与える。これは、費用のかかる生産停止につながりかねない。また、自動運転を行うロボットと相互作用する人間の安全は最高の優先事項である。ゆえに、その動きが人間及び他の物体にとって危険な可動式機械要素を備える現代の産業用ロボット又は他の機械において、移動中の機械要素と物体との間で起きる衝突を防止するために、保護装置を使用しなければならない。この目的のために、通常は過失による接触が起きる前に機械を静止させれば十分である。シャットダウン命令が出されてから静止するまでの時間を停止時間とし、これによりそこから離れるべき距離を決定する。

機械要素を保護するための種々のセンサ及び評価方法が、従来より知られている。最も簡単な選択肢は、入り口（例えばドア）がセンサに連結された固定式の柵で機械を囲み、それによって柵内に何かが進入した場合に機械を停止することである。入り口と移動中の機械との間に十分な距離があれば、人間と接触する前に機械はすでに静止していることになる。

移動中の機械の周辺に配置され、光線が遮断されたときに機械に対してシャットダウン信号を送る光バリア及び光カーテンが普及しているが、発光器とセンサとを互いに正確に配置しなければならないため、設計費用が比較的高い。
下記特許文献１には、機械及びその周辺を複数のカメラを含むシステムにより監視することのできる安全システムが記載されている。対象となる点の空間的位置を、同期して記録された画像から、三角測量により決定することができる。点の数があらかじめ定められた領域(volume)内であれば、機械がシャットダウンされる。光バリア及び光アレイを使用するのと異なり、この方法では事実上いかなる領域をも監視することができる。しかし、このような領域は静的であり、プログラム制御によってのみ活性化（activated）又は非活性化（deactivated）することができる。

下記特許文献２において、人間と移動中の機械との間の距離を柔軟に設定するため、個々のロボットのための現在及び前回の位置（articulation）及び速度を決定すること、並びに停止時間中のロボットの移動経路の構成に関して、そこから予測を導き出すことが提案されている。停止時間中の移動経路を導き出す際、移動中の機械要素の最大速度及び最大の負の加速度に関する知識をも使用する。考慮すべきパラメータが通常は多数ある中でシステムのリアルタイムの性能を実現するため、現在の停止時間及びそれによる現在の停止距離を、ニューラルネットワークにより確認することが提案されている。ロボットの可動部分とその周辺の人間／物体との間の距離はセンサによって記録され、確認された停止時間又は停止距離と相関させられ、その結果、衝突の危険がある場合にシャットダウン信号を生成することができる。

自動運転機械用の別の安全システムが、下記特許文献３に記載されている。この場合、機械の周りに区画され、機械に取り付けられたセンサにより監視される安全領域は、過去の瞬間的な及び将来の移動挙動に適応する。人間が安全領域の一つに進入した場合、安全領域への進入が意図的であるか偶然であるかに関し、人間の視線の方向から又はその移動挙動から判断がなされる。意図的な進入の場合、通常は稼働中の機械に対して人間が計画的に介入することに関係しており、安全領域が修正される。

独国特許出願公開第103 58 770 A1号公報 独国特許出願公開第102 26 140 A1号公報 独国特許出願公開第103 24 627 A1号公報

U. Franke, C. Rabe, H. Bardino, S. Gehrig; 6D-Vision: Fusion of Stereo and Motion for Robust Environment Perception, in Walter G. Kropatsch, Robert Sablatnig, Allan Hanbury (Eds.): Pattern Recognition, 27th DAGM Symposium, Vienna, Austria, August 31 - September 2, 2005, Proceedings. Lecture Notes in Computer Science 3663 Springer 2005, 216〜223ページ

正確な停止時間又は正確な安全領域の寸法をいつでも判断できるようにするために、先行技術の方法においては、機械又はその制御プログラムによって提供されるデータの使用が必要である。これが可能であるのは、機械が適切なデータインターフェースを有し、そのインターフェースを通じて機械を動的に保護するために必要なデータすべてを利用できる場合のみである。しかし、多くの場合、そのようなインターフェースは利用できない。

本発明の目的は、可動式機械要素を備える機械とその周辺の物体との、衝突のない相互作用のための方法及び装置を提供することである。それらは機械及びその制御プログラムによる完全なデータ交信がなくても運転することができる。

本目的は、特許請求の範囲に係る方法及び装置によって実現される。本発明の有利な構成及び改良形態は、従属請求項に記載される。
機械とその周辺の物体との間の衝突のない相互作用のための本新規な方法において、機械の現在位置及び動的挙動の知識を使用する。この知識及びシャットダウンから機械要素が静止するまでの期間（停止時間）についての情報は、可動式機械要素がこの停止時間内に到達するかもしれない将来位置を判断するために使用される。通常の標準的な産業用ロボットにおいて、例えば、第1の関節(articulation)の最大速度及び最大の負の加速度は典型的にそれぞれ240度／ｓ及び880度／ｓ²であり、それにより最大速度での停止角度は約33度となる。

この判断に基づいて、次に機械及び／又は可動式機械要素の周りの安全領域の寸法が画定される。これらの安全領域は、物体の進入を検知するために、センサにより監視される。これらの安全領域の少なくとも一つをこのように監視することで、安全領域に物体が進入したことが検知された場合、機械及び／又は可動式機械要素の駆動が制御され、機械要素の動的な移動挙動が修正される。

可動式機械要素の画像データは、画像取得システムにより有利に記録される。これらの画像データはデータベースと相関させられる。データベースには調整段階（training phase）において、機械及び／又は少なくとも一つの可動式機械要素の画像データが蓄積されている。特に、データベースは、可動式機械要素の移動工程内の複数の移動段階に関する、及びこの複数の移動段階の動的な関係に関する画像データを含んでいる。現在記録されている画像データをこのデータベースと相関させる目的で、可動式機械要素の現在位置が確認されるとともに、停止時間内に到達可能な可動式機械要素の将来位置が判断される。

画像センサにより記録されたデータから現在位置及び将来位置を決定し、対応するデータベースに相関させることで、機械又はその駆動により伝達される情報からの独立が実現される。ゆえに、本発明の方法により運転される装置は、機械から与えられるデータそれ自体が十分でなくても、可動式機械要素を備える機械を監視することができる。ゆえに、本方法は種々の機械において柔軟に使用することができる。可動式機械要素の移動工程を観察することでデータベースを生成する短い調整段階のあとで、本方法及び本新規な装置を、機械の（ソフトウェア技術により実現されるものであろうと、ハードウェア技術により実現されるものであろうと）制御プログラムから独立して、あらゆる種類の機械の衝突監視のために使用することができる。

画像データは、複眼（multi-ocular）カメラシステムにより記録することが好ましい。有利なことに、このカメラシステムは規定の立体ベース（stereo base）を有しており、それにより空間におけるカメラシステムと個々の対象点との間の距離を、立体的評価方法により決定することができる。
位置決定及び将来位置の判断にとって適切なデータベースを提供するために、機械又は可動式機械要素の移動工程の調整段階において、できるだけ多くの移動段階の画像データを保存せねばならない。この場合、この移動段階の複数の画像データを相関させる（特に平均する）ことにより、データベースに保存された移動段階の画像データの情報を確認することができる。このデータベースを生成したのちに、現在の画像データからの情報が、移動段階に関してデータベースに保存されているデータと比較され、現在位置として決定される可動式機械要素の位置は、画像データにより現在確認されている情報に最も類似した情報の移動段階に割り当てられた位置となる。

データベースは有利なことに、少なくとも一つの可動式機械要素の現在位置を決定するために個々の移動段階の画像データから導き出される情報に加えて、移動工程のこの複数の移動段階の動的な関係に関する情報をも含んでいる。現在の移動段階により、次にどの移動段階が続くかだけでなく、個々の移動段階の切り替わりがどのような時間間隔で起きるかをも、データベースから知ることができる。

可動式機械要素の現在位置を確認するための、考えられる多くの有利な選択肢の一つは、現在記録されている画像データを、テンプレートマッチングにより、データベースに保存された画像データと相関させることである。この場合、現在位置として決定された可動式機械要素の位置は、テンプレートマッチングにより、現在記録されている画像データに最も類似していると識別されている保存画像の移動段階に割り当てられた位置となる。

別のやり方では、調整段階中にデータベースを蓄積するときに画像取得システムにより記録される画像データは、変換されてこの形式で保存され、対応する変換ののちに、現在記録されている画像データとの将来の相関のために使用される。この場合に、主軸変換は、データベースに保存される又は相関されるデータの量を大幅に減少させることができるため、特に適切である。ここでも、現在位置として決定された可動式機械要素の位置は、現在記録されている画像データの変換に最も類似していると識別されている変換画像の移動段階に相当する位置となる。調整段階中に多次元空間内で移動段階に割り当てられる軌跡は、複数のマッピング又はそれぞれの移動段階のこれらのマッピングの変換から、特に平均化することで決定してもよい。

多次元空間において類似演算子（similarity operator）を最も有利に適用するため、多次元空間においてそれぞれ割り当てられる点を通る軌道により、一連の移動段階をマッピングすることが勧められる。次いで、変換された現在の画像データは移動中の機械要素のこの移動段階に割り当てられ、多次元空間における軌道に沿った軌跡は、現在計測されている軌跡に最も類似している。

停止時間内に到達可能な可動式機械要素の将来位置は、多次元空間における軌道の持続を考慮することにより、現在の移動段階として決定された移動段階の軌跡に基づいて最もよく確認されてもよい。
機械要素がシャットダウン後にもどれほど移動するかは、例えば、その物理特性に関する推測的な知識から導き出してもよい。しかし、他方で、シャットダウンの場合のこの挙動を、画像データによってあらかじめ記録されている複数の移動段階に基づき、調整段階中に実験的に確認しておくことも可能である。

確認された可動式機械要素の現在位置に基づき、かつ将来に到達可能な位置に関する知識を使用し、可動式機械に割り当てられるべき安全領域が確立される。この目的のために、機械要素が停止時間中に進む位置すべてが有利に決定される。これに基づき、可動式機械要素の周辺に存在する可能性のある、又は周辺で検知される物体が停止時間内に進むことのできる距離により区画される寸法に、これらの位置が領域拡大される。例えば、周辺で人間が検知された場合、その人間が大きく跳んで動かないのは明らかである。人間の最大速度及び加速度も公知であり、適切であれば、追加で行われる移動分析により、その方向について現時点で正確に判断してもよい。

停止時間中の移動工程用に決定した位置により、全方向に拡大した少なくとも一つの安全領域の寸法を決めることは、特に簡単で有益である。
一つの安全領域中の物体、特に人間を検知するには、複数の非常に異なるセンサ、特にライダー（lidar）、レーダ又は超音波センサが適切である。このために、カメラセンサが特に有利に使用されてもよい。このように、例えば、可動式機械要素の移動工程を記録するために使用される画像取得装置は、少なくとも一つの安全領域への物体の進入を検知するために同時に使用してもよい。

一般的な定義に従えば、衝突は空間の同じ領域に同じ時間に存在する2つの物体の間で起きる。ゆえに、衝突の決定は、機械要素及び物体が占める空間に関して決まる交点を決定するだけで、非常に簡単に行うことができる。
上記非特許文献１によれば、３Ｄ画像データに変換されたセンサ情報は移動情報と合わせると、画像衝突決定に特に有効である。この場合、各３Ｄ点はカルマンフィルタにかけられて、その移動の予測を示す。十分に大きな数の３Ｄ点の予測された軌道が規定の安全領域を通過する場合、衝突の危険がある。

少なくとも一つの安全領域への物体の進入が検知されたために衝突の危険が検知されている場合、機械要素の動的な移動挙動を修正するために、機械及び／又は可動式機械要素の駆動が制御される。最も簡単な場合、この修正により可動式機械要素の移動がシャットダウンされる。しかし、衝突に関する決定は純粋に２元的であるので、危険な場合、特に、例えば人間が機械の正面を移動している場合、シャットダウンが機械要素の突発的な動きにつながることがある。これは一方で機械工を悩ませ、他方で周辺にいる人間が機械の挙動を理解することを困難にする。

ゆえに、衝突の可能性がある場合、まず可動式機械要素の移動速度を修正する、特に遅くすることが好ましい。これは衝突の起きる可能性が高いほど当てはまる。この目的のために、差し迫った衝突について判断された確率に比例して、速度が変化することが勧められる。この衝突確率の判断は、機械の安全領域への物体の進入を検知したのちに行われ、可動式機械要素が安全領域中の物体に実際に衝突する確率を表す。

衝突確率の評価に関する数量すべては測定誤差の影響を受けるため、確率密度に代入されるのが好ましい。このような方法によれば保護領域は比較的小さくなる。これは、機械の周りの可能性がより低い領域での測定は速度の減少につながるだけで、完全なシャットダウンとならないためである。
衝突確率を判断するために、可動式機械要素が停止時間内に通過する空間を量子化し、個々の衝突の確率を各量子化要素について決定することが好ましい。次いで、すべての要素に対する個々の確率の合計から、実際の衝突確率を導き出す。

別の方法での衝突確率を判断するために、関係する成分すべてを確率密度関数に代入し、これら確率密度関数をベイズの定理に従って組み合わせてもよい。この目的のために、連続映像（training video sequence）の画像に基づいて、可動式機械要素の推測的な確率が特定又は近似される。

Claims (14)

1. 少なくとも一つの可動式機械要素を備える機械と前記可動式機械要素の周辺の物体との間の、衝突のない相互作用のための方法であって、
   前記機械要素が静止する前の停止のための時間内に到達可能な、前記機械要素の将来位置を、前記可動式機械要素の現在位置及び動的挙動についての知識を使用し、かつ前記停止のための時間の知識を使用して判断し、
   前記機械要素の周りの少なくとも一つの安全領域を、前記判断された到達可能な位置の関数として画定し、
   前記安全領域への物体の進入を、物体センサからのセンサデータにより検知し、
   前記安全領域への物体の進入が検知されたときに、前記機械要素の動的な移動挙動を修正するために、前記機械要素の駆動を制御する各手順を備え、
   前記機械要素の画像データは、画像取得システムによって記録され、前記記録された画像データは、画像データに基づき蓄積された、前記機械要素の移動工程内の複数の移動段階に関する画像データを含むデータベースのデータに相関付けられ、前記機械要素の前記現在位置及び前記停止時間内に到達可能な前記位置の両方は、前記データベースの関数として判断されることを特徴とする、方法。
2. 前記画像データは複眼カメラシステムにより記録されることを特徴とする、請求項１に記載の方法。
3. 前記機械要素の前記現在位置は、現在記録されている画像データを前記データベースに保存されている画像データと相関させることにより決定され、
   前記現在位置は、保存された画像が前記現在記録されている画像データに最も類似していると識別されている作動段階に割り当てられる、前記可動式機械要素の位置として決定されることを特徴とする、請求項１又は請求項２に記載の方法。
4. 前記機械要素の前記現在位置を決定するために、現在記録されている画像データは変換され、特に主軸変換され、前記データベースに保存されている前記データと相関され、
   前記可動式機械要素の前記現在位置は、前記機械要素の前記移動工程により表される軌道に沿った、変換された座標系におけるマッピングが、前記現在記録されている画像データの前記変換に最もよく一致する移動段階に対応する位置として決定されることを特徴とする、請求項１ないし請求項３のいずれか１項に記載の方法。
5. 現在決定されている位置から始めて停止時間内に到達する前記機械要素の前記将来位置は、前記変換された座標系における前記機械要素の前記移動工程を表す前記軌道を使用することで判断されることを特徴とする、請求項４に記載の方法。
6. 前記安全領域は、前記データベースに基づき、前記停止時間内に到達可能な前記機械要素の複数の位置を決定することで画定され、
   前記複数の到達可能な位置が、好ましくは前記可動式機械要素の周辺で検知される物体が前記停止時間内に進むことのできる距離の関数として、領域拡大されることを特徴とする、請求項１ないし請求項５のいずれか１項に記載の方法。
7. 前記決定された位置は、前記安全領域を画定するために、全方向に拡大されることを特徴とする、請求項６に記載の方法。
8. 前記安全領域のうちの少なくとも一つへの物体の進入を検知するための前記センサデータは、少なくとも一つのカメラセンサにより取得されることを特徴とする、請求項１ないし請求項７のいずれか１項に記載の方法。
9. 前記センサデータは、進入を検知するために、移動情報を含む３Ｄデータに変換されることを特徴とする、請求項８に記載の方法。
10. 前記動的な移動挙動の前記修正は、前記機械要素の移動を停止することを含むことを特徴とする、請求項１ないし請求項９のいずれか１項に記載の方法。
11. 前記動的な移動挙動の前記修正は、前記機械要素の移動の速度変更を含むことを特徴とする、請求項１ないし請求項１０のいずれか１項に記載の方法。
12. 前記速度変更は相関的な仕方で、特に、判断された衝突確率と比例して行われ、前記判断は前記安全領域への前記物体の進入を検知したのちに行われ、前記衝突確率は、前記機械要素が前記安全領域中の前記物体と実際に衝突する確率を表すことを特徴とする、請求項１１に記載の方法。
13. 前記可動式機械要素が通過する空間は量子化され、個々の衝突の確率が各量子化要素について決定され、前記実際の衝突確率は、すべての要素に対する前記個々の確率の合計から導き出されることを特徴とする、請求項１２に記載の方法。
14. 少なくとも一つの可動式機械要素を備える機械と前記可動式機械要素の周辺の物体との間の、衝突のない相互作用のための装置であって、
    前記可動式機械要素の現在位置及び動的な挙動を検知するための第1のユニットと、
    前記機械要素が静止する前の停止時間内に到達可能な前記機械要素の将来位置を、前記現在位置に基づき、かつ前記可動式機械要素のシャットダウンから前記可動式機械要素が静止するまでの停止時間についての知識を使用して判断するための第2のユニットと、
    少なくとも一つの安全領域を、前記判断された到達可能な位置の関数として決定するための第3のユニットと、
    前記安全領域への物体の進入を検知するための少なくとも一つのセンサと、
    前記機械要素の動的な移動挙動を修正するために、前記安全領域への前記物体の進入を検知したときに、前記機械要素を制御するための第4のユニットとを備え、
    前記可動式機械要素の画像データを記録するための画像取得ユニットと、データベースと、前記記録された画像データを前記データベースのデータと相関させるための比較ユニットとを含むとともに、前記データベースは、前記機械要素の移動工程内の複数の移動段階に関する画像データを含み、前記比較ユニットは、前記機械要素の前記現在位置及び前記停止時間内に到達可能な前記機械要素の将来位置の両方を判断するよう設計されていることを特徴とする、装置。