JP2022543865A - 製品をハンドリングするための自動化システム及び方法 - Google Patents

Abstract

本発明は、自動化システムを使用して製品（１７）をハンドリングする方法及び自動化システム（１０）に関し、製品は、自動化システムの制御装置（１２）の画像センサ（１８）によって捕捉され、自動化システムのハンドリング装置（１１）のハンドリング機構（１３）によってハンドリングされ、制御装置は、画像センサからのセンサ画像データを処理し、制御装置のデータメモリ（２１）に含まれるトレーニングデータセットによって指定されるようにハンドリング装置を制御し、トレーニングデータセットは、トレーニング画像データ及び／又は幾何学的データ及びそれに関連する制御命令を含み、統計モデルとして、製品のトレーニング画像データに含まれる幾何学的データのみから、そこで実行されるコンピュータプログラム製品を使用するコンピュータによって生成され、制御装置に送信される。【選択図】図１

Description

本発明は、自動化システムを使用して製品をハンドリングする方法、及び自動化システムに関し、製品は、自動化システムの制御装置の画像センサによって捕捉され、自動化システムのハンドリング装置のハンドリング機構によってハンドリングされ、制御装置は、画像センサからのセンサ画像データを処理し、制御装置のデータメモリに含まれるトレーニングデータセットによって指定されるようにハンドリング装置を制御するものに関する。

この種の方法及び自動化システムは、十分に知られており、製品をハンドリングするために一般に使用されている。これに関連して、ハンドリング装置は、ロボット、又は工作機械の把持又は搬送装置のような、製品をハンドリングするのに適した任意のタイプの機械とすることができる。ここで、製品は、ハンドリングを開始するための様々な開始位置にある様々な製品及び／又は同じタイプの製品であり得ることが必須である。各製品は画像センサ、例えばカメラ等により撮像され、画像センサのセンサ画像データは自動化システムの制御装置により処理される。ここで、制御装置は、例えば、異なる製品（場合によっては異なる位置にある）がロボットによって自動的に把持され、分類されるか、又は所定の順序で別のスポットに配置されるように、関連するロボットを制御する。ここで、制御装置は、複数の可能な製品を含むトレーニングデータセットと、ロボットを制御するためのそれに関連する制御命令を含むそれらの開始位置とを含むデータメモリを備える。このようにして、ロボットは、その位置や開始位置に関係なく、適切な把持点で自動的に製品を把持し、指定通りに扱えるようにすることができる。

トレーニングデータセットは、例えば、ロボットに以前に教示された画像データ及びそれに関連する制御命令を含むことができる。これは、ロボットが手動で製品の方に移動され、この移動が制御命令としてデータメモリに記憶されることによって達成され得る。さらに、この種のハンドリングタスクのために、いわゆる人工知能を使用することが知られている。ここでは、コンピュータがハンドリングタスクの統計モデルを生成する。様々な制御命令が、例えば、一連の可能性のある製品及びそれらの位置に対して提供され、この場合の正しい制御命令を適用するための規則は、制御命令の実際の実行又はシミュレーションによってコンピュータによって統計的に決定される。トレーニングデータセットは、ハンドリング装置又はロボットとは独立に、コンピュータを用いたシミュレーションによって収集することができる。しかしながら、ハンドリングされるべき製品の種類及び前記製品をハンドリング方法に応じて、対応するトレーニングデータセットを作成するには、個々に高い修正、したがってプログラミング労力が必要である。例えば、把持タスクが最も確実な方法で実行されると想定される場合には、把持タスクをシミュレートするために、製品の重量及び運動のダイナミクスを考慮に入れることが必要である。これは、個々の修正、したがってプログラミングの労力が非常に高いという欠点を有する。同時に、大量のデータを処理しなければならず、これは、トレーニングデータセットを生成するための技術的労力及び時間の費用をさらに増加させる。

したがって、本発明の目的は、ハンドリングタスクのための人工知能の単純化された適用を可能にする自動化システム及び自動化システムを使用して製品を処理するための方法を提案することである。

この目的は、請求項１の特徴を有する方法及び請求項１８の特徴を有する自動化システムによって達成される。

自動化システムを使用して製品をハンドリングするための本発明の方法では、製品は、自動化システムの制御装置の画像センサによって捕捉され、自動化システムのハンドリング装置のハンドリング機構によってハンドリングされ、制御装置は、画像センサからのセンサ画像データを処理し、制御装置のデータメモリに含まれるトレーニングデータセットによって指定されるように、ハンドリング装置を制御し、トレーニングデータセットは、トレーニング画像データ及び／又は幾何学的データと、それに関連する制御命令とを含み、トレーニングデータセットは、製品のトレーニング画像データに含まれる幾何学的データのみから、コンピュータによって生成され、トレーニングデータセットは、そこで実行されるコンピュータプログラム製品を使用し、制御装置に送信される。

本発明による方法に使用されるハンドリング機構は、産業プロセスの一部として物体の形の製品を操作するのに適した任意のタイプの機構とすることができる。ここで、製品をハンドリングすることは、例えば、製品を機械加工することも含むことができる。さらに、画像センサは、製品の画像又はその幾何学的形状の画像を捕捉することを可能にする任意のタイプのセンサとすることができる。特に、制御装置は、画像処理によって画像センサからの実センサ画像データを処理し、ハンドリング装置は、実センサ画像データの機能として、且つ、トレーニングデータセットによって指定されるように、制御装置によって制御されることが想定される。トレーニングデータセットは、トレーニング画像データと、それに関連する制御命令とを含むか、あるいは、それぞれの製品の幾何学的データとそれに関連する制御命令とを含む。制御装置は、センサ画像データをトレーニング画像データに割り当て、又はその逆を行い、画像センサによって取り込まれた製品を、それに関連する制御命令に従ってハンドリングする。トレーニングデータセットは、コンピュータ及びそこで実行されるコンピュータプログラム製品又はソフトウェアを用いて、ハンドリング装置とは独立して収集される。ここで、トレーニングデータセットは、画像処理によってトレーニング画像データから収集される幾何データからのみソフトウェアによって生成される。特に、統計モデルは、それに関連する制御命令と共に製品のそれぞれの幾何学的データに対して生成され、この幾何学的データは、製品自体及びその位置によって決定される。適切な制御命令は、他の物理的パラメータを考慮することなく、単に幾何学的データに基づいて、様々な制御命令のシミュレートされた適用によって識別される。このため、他のパラメータを考慮しないことにより、トレーニングデータセットの簡略化されたプログラム及びより高速な計算が可能になるので、様々なアプリケーションのためのトレーニングデータセットを作成することがはるかに容易になる。したがって、自動化システムは、様々なハンドリングタスクにより容易に適合させることができ、より普遍的に使用することができる。

トレーニングデータセットは、方法の第１のステップで生成することができ、このトレーニングデータセットは、方法の第２のステップで制御装置に送信される。したがって、制御装置又はハンドリング装置とは別個の場所でコンピュータを使用してトレーニングデータセットを生成することが想定され得る。そして、コンピュータと制御装置との局所的又は空間的な分離は、例えばインターネットを介した接続があることが可能であっても、データ伝送のための接続を必ずしも必要としない。したがって、第１のステップで完了したトレーニングデータセットは、データ接続を介して制御装置に送信することもでき、次いで、制御装置は、制御のためにトレーニングデータセットを使用する。

製品をハンドリングする際に、存在する機械的変数、特に力、トルク及び／又は摩擦は、統計モデルを適用する際に無視することができる。ハンドリング機構の運動をシミュレートするときに力及びトルクを考慮することは、コンピュータの特に高い計算能力を必要とし、時間がかかる。上述したように、これらの機械的変数は考慮される必要はなく、十分に多数の使用可能なトレーニングデータセットが結果として依然として得られる。

あるいは、製品をハンドリングするとき、現在の機械的変数、特に力、トルク及び／又は摩擦は、制御装置の少なくとも１つの他のセンサによって決定することができ、統計モデルを適用するときに考慮に入れることができる。他の決定センサとして、力センサ、トルクセンサ、電流センサ、触覚センサ及び／又は圧力センサを使用することができる。このようにして、特に多数の非常に精密なトレーニングデータセットをシミュレーションによって得ることができ、ハンドリングタスク中の実際の状態に適応させることができる。さらに、他方のセンサによるトレーニング画像データにおける制御指示のための品質規格を示すことができる。これにより、実トレーニング画像データの品質を向上させることができる。

製品の実画像データ及び／又は人工的に作成された代表画像データをトレーニング画像データとして使用することができる。実画像データを使用することにより、実際の状況が実際に示されているので、トレーニングデータセットの精度を高めることができる。しかしながら、製品の人工的に作成された代表的な画像データを得ることができ、かなり少ない労力でより多くの製品を製造することができる。

統計モデルは、トレーニング画像データの指定された公差なしに生成することができる。トレーニング画像データ及び／又は幾何学的データは、意図的に指定された公差なしに、他の変数及び制御命令と共にトレーニングデータセットを計算するための統計モデルを使用して処理することができる。トレーニングデータセットを編集する際の努力は、トレーニングデータセットの品質を劣化させることなく、計算に使用されるデータの指定された公差なしに行うことによって、さらに低減可能であることが示されている。同様に、計算に使用されるデータの特定の許容範囲又は意図的な不確実性を想定することが可能である。

統計モデルは、経験的又は解析的方法を用いて生成することができる。経験的方法は、ハンドリング機構が手元のケースに対して最良の動きを行わないように、例えば、製品とその位置及び制御命令に従ったハンドリング機構の動きを一般化したものである。

統計モデルは、近似法、特にディープラーニング、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、確率機械、ランダムフォレスト、又はサポートベクタマシンによって生成することができる。これらの近似方法は、入力層と出力層との間に多数の中間層を有し、その内部構造がトレーニング画像データ及び制御命令を使用するトレーニングの一部として形成され得る人工ニューラルネットワークの異なる最適化方法に関する。

統計モデルは、教師付き学習及び／又は強化学習によって生成することができる。次いで、コンピュータプログラム製品又はコンピュータのソフトウェアは、統計モデル又はトレーニング画像データ及び／又はそれに関連する制御命令のための入力を生成することができ、それらのカテゴリ及び接続を認識することができる。教師付き学習では、クラスタリング方法を使用することができる。

制御装置は、製品をハンドリングするハンドリング機構のモーションシーケンスをキャプチャするように構成され、画像センサは、製品のハンドリングシーケンスをキャプチャするように構成され、制御装置は、画像センサのセンサ画像データを処理し、シーケンス及びモーションシーケンスの機能として制御装置のデータメモリに含まれるトレーニングデータセットを変更するように構成され、トレーニングデータセットの統計モデルは、変更することができる。したがって、制御装置がトレーニングデータセットを使用しているとき、又はハンドリング装置の実際の動作中に、トレーニングデータセットがさらに最適化されることを想定することができる。この最適化は、画像センサからのセンサ画像データが、画像処理によって制御装置によって処理され、制御装置の実行された制御命令と相関関係にあるという点で行うことができる。制御命令の代わりに、制御装置は、統計モデルを最適化するために、近距離センサ、力センサ、及び／又は加速度センサなど、ハンドリング機構の他のセンサを使用することもできる。ハンドリング装置のオフライン動作においてコンピュータを使用してコンパイルされたトレーニングデータセットが、統計モデルを適合させることによって、ハンドリング装置のオンライン動作においてさらに最適化され得ることが不可欠である。

制御装置は、製品ハンドリングの品質を決定し、トレーニングデータセットの統計モデルを変更するときに前記品質を考慮に入れるように構成される。製品ハンドリングの品質は、例えば、製品をハンドリングすることができない場合、又はハンドリング機構の他のセンサのセンサデータがハンドリング機構の制御命令に対応していない場合、画像センサからのセンサ画像データを介して検出することができる。例えば、製品をハンドリングするときにエラーが発生した場合、エラーの原因となるセンサ画像データ及び制御命令を、統計モデルの変更に統合することができる。

画像センサとしては、カメラ、立体カメラ、構造化照明カメラ、ライトフィールドカメラ又はライダシステムを用いることができる。ハンドリングする製品の種類によっては、製品の二次元画像で十分な場合がある。画像センサの補助を受けて当該製品の三次元画像又はモデルを得ることができるように、複数のカメラを使用することは有利である。センサ画像データの高品質を一貫して確保するために、例えば、照明状況から独立したセンサを使用することができる。上記のセンサとは別に、用途に応じて、製品を走査するための機械的センサ又は超音波センサも画像センサとして使用することができる。

したがって、それぞれの製品の２次元及び／又は３次元形状を記述するトレーニング画像データ及び／又はセンサ画像データを有利に使用することができる。

ハンドリング装置は、製品を把持し、接合し、試験し、適用し、又は機械加工するように構成される。したがって、製品のハンドリングは、製品を搬送することとは別に、製品に対して実行されるすべての操作又はアクティビティを含むものと理解される。

それぞれの製品における把持点は、トレーニング画像データ及び／又はセンサ画像データから検出することができる。ハンドリング機構が製品を把持する場合にのみ把持点を検出することは合理的である。把持は、機械的平行グリッパ、真空グリッパ、磁気グリッパ、接着グリッパ等の、一般に知られており、それぞれの製品に適したグリッパを使用して行うことができる。把持点を検出するか、又はそれらを予め選択することによって、製品のハンドリングを大幅に改善することができる。

把持点が画像処理によって決定されると有利である。把持点は、例えば、画像の特徴、いわゆる特徴マッチングアルゴリズムを比較することによって検出することができる。さらに、画像処理によって、製品及び把持点の位置特定、物体認識、及び／又は位置認識を含む座標分析を行うことができる。把持点を検出するために、座標分析は必ずしも必要ではない。

使用されるハンドリング機構は、少なくとも、２つ又は３つの空間軸で移動可能であり、好ましくは、多軸ロボットであり得る。多軸ロボットは、複数のヒンジを有することができ、ここで、距離センサ、力センサ及び／又は加速度センサをそれぞれのヒンジ内に統合することができる。これらの他のセンサは、例えば、力センサ、トルクセンサ、電流センサ、触覚センサ及び／又は圧力センサであってもよく、制御装置による製品の実ハンドリング配列の評価に使用することができる。

本発明による自動化システムは、特にロボットなどであり、製品をハンドリングするためのハンドリング機構と、ハンドリング装置を制御するための制御装置とを有するハンドリング装置を備え、制御装置は、トレーニングデータセットと、製品を取り込むための少なくとも１つの画像センサとを備え、制御装置は、画像センサからの画像センサデータを処理し、トレーニングデータセットによって指定されるようにハンドリング装置を制御するように構成され、トレーニングデータセットは、トレーニング画像データ及び／又は幾何学的データと、それに関連する制御命令とを備え、トレーニングデータセットは、製品のトレーニング画像データに含まれる幾何学的データのみから、コンピュータによって生成されるように構成され、トレーニングデータセットは、制御装置に送信されるように構成される。

本発明による自動化システムの利点に関しては、本発明による方法の利点の説明を参照されたい。自動化システムの他の有利な実施形態は、方法請求項１に従属する従属クレームの特徴の説明から明らかである。

以下、添付図面を参照して、本発明の好ましい実施形態をより詳細に説明する。

自動化システムの概略図である。 トレーニングデータセットの作成の概略図である。

図１は、自動化システム１０を示しており、これは簡略化されて図示されており、ハンドリング装置１１と制御装置１２とによって形成されている。ハンドリング装置１１は、駆動制御装置１４を有する多軸ロボット１３と、容器１６内に位置する異なる製品１７を把持するために実現されるグリッパ１５とを備える。製品１７はそれぞれ異なる形状を有し、構造化されていない状態で配置され、グリッパ１５によって把持され、ロボット１３によってハンドリングされ、又は仕分けられる。

制御装置１２は、ここではカメラ１９によって実現される画像センサ１８と、画像処理手段２０と、トレーニングデータセットを含むデータメモリ２１と、制御ユニット２２とを備える。次いで、カメラ１９によって、製品１７の画像を撮像し、センサ画像データとして画像処理手段２０に送信することができる。次いで、画像処理の一部として、製品１７の位置特定又は物体認識及び把持点認識が行われる。把持点のタイプ及び位置に応じて、それに関連する制御命令がトレーニングデータセットから選択され、制御ユニット２２によって駆動制御装置１４に送信され、この駆動制御装置１４は、関連する製品１７を把持し、ハンドリングするためにロボット１３又はグリッパ１５の移動を開始する。

図２は、図１に示した制御装置とは独立にトレーニングデータセットを生成する方法の概略図である。第１に、トレーニング画像データ２３及び制御命令２４が提供され、実際のトレーニング画像データ及び制御命令、並びにコンピュータによって人工的に作成されたトレーニング画像データ及び制御命令の両方を使用することが可能である。トレーニング画像データ２３及び制御命令２４は、コンピュータプログラム製品又はソフトウェアとしてコンピュータ（ここでは図示せず）上で実行される統計モデル２５によって処理される。統計モデル２５では、近似法、例えばディープラーニングが使用され、それを用いてトレーニングデータセット２６が生成される。トレーニングデータセット２６は、トレーニング画像データ２３及び／又はそれに関連する制御命令２４を含む幾何学的データを含み、これらは統計モデル２５によってトレーニング画像データ２３に割り当てられている。このようにして生成されたトレーニングデータセット２６は、次に、使用されるために図１の例に対応するロボットに送信することができる。

Claims (18)

1. 自動化システム（１０）を使用して製品（１７）をハンドリングする方法であって、
   前記製品は、前記自動化システムの制御装置（１２）の画像センサ（１８）によって捕捉され、前記自動化システムのハンドリング装置（１１）のハンドリング機構（１３）によってハンドリングされ、
   前記制御装置は、前記画像センサによって生成されたセンサ画像データを処理し、前記制御装置のデータメモリ（２１）に含まれるトレーニングデータセット（２６）によって指定されるようにハンドリング装置を制御し、
   前記トレーニングデータセットが、
   トレーニング画像データ（２３）及び／又はそれに関連する幾何学的データ並びに制御命令（２４）を含み、
   前記製品の前記トレーニング画像データに含まれる幾何学的データのみから、そこで実行されるコンピュータプログラム製品を使用するコンピュータによって、統計モデル（２５）として生成され、
   前記制御装置に送信される。
   ことを特徴とする製品（１７）をハンドリングする方法。
2. 前記トレーニングデータセット（２６）が、
   第１のステップで生成され、
   第２のステップで制御装置（１２）に送信される
   ことを特徴とする請求項１に記載の方法。
3. 前記製品（１７）をハンドリングするとき、現在の機械的変数、特に力、トルク及び／又は摩擦が、前記統計モデル（２５）を適用するときに考慮されない
   ことを特徴とする請求項１又は２に記載の方法。
4. 前記製品（１７）をハンドリングするとき、現在の機械的変数、特に力、トルク及び／又は摩擦が、前記制御装置（１２）の少なくとも１つの他のセンサ（１８）によって決定され、前記統計モデル（２５）を適用するときに考慮される
   ことを特徴とする請求項１又は２に記載の方法。
5. 実画像データ及び／又は製品（１７）の人工的に生成された代表画像データが、トレーニング画像データ（２３）として使用される。
   ことを特徴とする請求項１から４のいずれか１つに記載の方法。
6. 前記統計モデル（２５）が、前記トレーニング画像データ（２３）の指定された公差なしに生成される
   ことを特徴とする請求項１から５のいずれか１つに記載の方法。
7. 前記統計モデル（２５）が、経験的又は解析的方法を用いて生成される
   ことを特徴とする請求項１から６のいずれか１つに記載の方法。
8. 前記統計モデル（２５）が、近似法、特にディープラーニング、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、確率機械、ランダムフォレスト、又はサポートベクタマシンによって生成される
   ことを特徴とする請求項１から７のいずれか１つに記載の方法。
9. 前記統計モデル（２５）が、教師付き学習及び／又は強化学習によって生成される
   ことを特徴とする請求項１から８のいずれか１つに記載の方法。
10. 前記制御装置（１２）が、製品（１７）をハンドリングする前記ハンドリング機構（１３）の動作シーケンスを取り込み、
    前記画像センサ（１８）が前記製品のハンドリングシーケンスを取り込み、
    前記制御装置が前記画像センサのセンサ画像データを処理し、前記制御装置のデータメモリ（２１）に含まれる前記トレーニングデータセット（２６）をシーケンス及び動作シーケンスの機能として変更し、前記トレーニングデータセットの統計モデルが変更される
    ことを特徴とする請求項１から９のいずれか１つに記載の方法。
11. 前記制御装置（１２）が、前記製品のハンドリングの品質を決定し、前記トレーニングデータセット（２６）の前記統計モデル（２５）を変更するときに前記品質を考慮に入れる
    ことを特徴とする請求項１０に記載の方法。
12. 前記画像センサ（１８）として、カメラ（１９）、立体カメラ、構造光カメラ、ライトフィールドカメラ又はライダシステムが用いられる
    ことを特徴とする請求項１から１１のいずれか１項に記載の方法。
13. トレーニング画像データ（２３）及び／又はそれぞれの製品（１７）の２次元及び／又は３次元形状を記述するセンサ画像データが使用される
    ことを特徴とする請求項１から１２のいずれか１項に記載の方法。
14. 前記ハンドリング装置（１１）が、前記製品（１７）を把持し、接合し、試験し、適用し、又は機械加工する
    ことを特徴とする請求項１から１３のいずれか１項に記載の方法。
15. それぞれの製品（１７）における把持点が、前記トレーニング画像データ（２３）及び／又はセンサ画像データから検出される
    ことを特徴とする請求項１から１４のいずれか１項に記載の方法。
16. 前記把持点が画像処理によって決定される
    ことを特徴とする請求項１５記載の方法。
17. 使用される前記ハンドリング機構が、少なくとも２つ又は３つの空間軸で移動可能であり、好ましくは多軸ロボット（１３）である
    ことを特徴とする請求項１から１６のいずれか１項に記載の方法。
18. 特にロボット等の、製品（１７）を扱う自動化システム（１０）であって、
    製品（１７）を扱うハンドリング機構（１３）を有するハンドリング装置（１１）と、
    前記ハンドリング装置を制御する制御装置（１２）と、
    トレーニングデータセット（２６）及び製品をキャプチャするための少なくとも１つの画像センサ（１８）を有するデータメモリ（２１）とを備え、
    前記制御装置が、
    前記画像センサから画像センサデータを処理し、
    前記トレーニングデータセット（２６）が指定したように前記ハンドリング装置を制御するように構成され、
    前記トレーニングデータセットが、
    トレーニング画像データ（２３）及び／又はそれに関連する幾何学的データ及び制御命令（２４）を含み、
    製品のトレーニング画像データに含まれる幾何学的データのみから、コンピュータ上で実行可能なコンピュータプログラム製品を使用するコンピュータによって、統計モデル（２５）として生成されるように構成され、
    前記制御装置に送信されるように構成される
    ことを特徴とする自動化システム（１０）。

Images