JP2020529932A - 少なくとも１つの作業ステップを実行するためのハンドリング装置を有するハンドリングアセンブリ、方法及びコンピュータプログラム - Google Patents

Abstract

ハンドリングアセンブリ（１）であって、前記ハンドリングアセンブリ（１）は、ハンドリング装置（２）を有し、前記ハンドリング装置（２）は、当該ハンドリング装置（２）の作業領域（３）内の被加工物（６）に関する及び／又は被加工物（６）における少なくとも１つの作業ステップを実行するために使用され、前記作業領域（３）内には、ステーション（５，５ａ〜５ｆ）が配置されており、前記ハンドリングアセンブリ（１）は、前記作業領域（３）を光学的に監視して、監視データとして提供するための少なくとも１つの監視センサ（７）を有し、前記ハンドリングアセンブリ（１）は、位置特定モジュール（９）を有し、当該位置特定モジュール（９）は、ステーション（５，５ａ〜５ｆ）を識別し、前記ステーション（５，５ａ〜５ｆ）に対してそれぞれ１つのステーション位置（１１）を特定するように構成されている。

Description

ハンドリングアセンブリであって、当該ハンドリングアセンブリは、ハンドリング装置を有し、ハンドリング装置は、当該ハンドリング装置の作業領域内の被加工物に関する及び／又は被加工物における少なくとも１つの作業ステップを実行するために使用され、作業領域内には、ステーションが配置されており、当該ハンドリングアセンブリは、作業領域を光学的に監視して、監視データとして提供するための少なくとも１つの監視センサを有する、ハンドリングアセンブリが提案される。さらに、方法と、対応するコンピュータプログラムとが提案される。

産業的な製造の際には、例えば産業用ロボットのようなハンドリング装置がしばしば使用される。産業用ロボットのプログラムは、ロボットが時間的及び／又は論理的なシーケンスで巡回する空間点の空間的な姿勢及び方向性を設定する。複数のスイッチング信号を位置に依存して連鎖させることにより、例えばグリッパ、溶接バーナ、ディスペンサなどのツールが制御され、このようにして、ロボットを用いた種々の用途を提示することができる。

ハンドリング装置のための現在公知の学習方法は、特にオンラインプログラミングと、オフラインプログラミングとに大まかに分類することができる。
オンラインプログラミングは、ハンドリング装置が手動操作機器によって手動で目標位置へと移動され、到達後にこの目標位置が制御装置に保存されることを特徴としている。これに代わる形態においては、一部のロボット運動学は、アームを無力に切り替えて、このアームを直接的に誘導することにより空間点を学習するという手段を提供する。フローシーケンスの設定は、特にソースコードのプログラミングによって実施される。
オフラインプログラミングは、ハンドリング装置の構造モデル、例えばＣＡＤモデルと、製造環境全体の構造モデル、例えばＣＡＤモデルが格納されていることを特徴としている。オンラインプログラミングと同様に、シミュレーション環境において、オンラインプログラミングのメカニズムが仮想的に実行され、又は、移動点がＣＡＤモデルから直接的に導出される。

おそらく最も近い従来技術である独国特許出願公開第１０２０１６００２７８１号明細書は、少なくとも１つのロボットによって少なくとも１つの作業工程を実行するための作業ステーションに関するものであり、このロボットは、相互に相対的に可動である関節式に相互接続された複数のロボット軸を有し、床接触要素と、少なくとも１つの作業プレートとを有する運搬車が設けられており、運搬車は、床接触要素を介して床に沿って移動可能であり、作業プレートは、複数の固定要素を有し、これらの固定要素によってロボットを、作業プレートの種々異なる位置に固定可能となっている。

独国特許出願公開第１０２０１６００２７８１号明細書

発明の開示
本発明の枠内においては、請求項１の特徴を有する、少なくとも１つの作業ステップを実行するためのハンドリング装置を有するハンドリングアセンブリが提案される。さらに、請求項１４の特徴を有する、作業ステップを実行するための方法と、請求項１５の特徴を有する、方法を実施するためのコンピュータプログラムとが提案される。本発明の好ましい実施形態及び／又は有利な実施形態は、従属請求項、以下の説明及び添付の図面から明らかになる。

本発明によれば、ハンドリングアセンブリであって、前記ハンドリングアセンブリは、ハンドリング装置を有し、前記ハンドリング装置は、当該ハンドリング装置の作業領域内の被加工物に関する及び／又は被加工物における少なくとも１つの作業ステップを実行するために使用される、ハンドリングアセンブリが提案される。前記ハンドリングアセンブリは、少なくとも１つ又は複数のハンドリング装置を含む。特に、ハンドリング装置は、作業領域内に静止して配置されているが、これに代わる形態においては、ハンドリング装置は、作業領域内で可搬的に移動可能である。ハンドリング装置は、特にロボットである。ハンドリング装置は、特にマルチアームロボット、例えば２アームロボット又は３アームロボットである。ハンドリング装置が、多軸ロボットであることが特に好ましく、多軸ロボットは、好ましくは少なくとも３つの軸を有し、及び／又は、これらの軸を中心にして回転可能及び／又は移動可能である。任意選択的に、ハンドリング装置は、例えば協調ロボット及び／又は協働ロボットである。ハンドリング装置は、例えば、作業ステップを実行するための他の、特に同種のハンドリング装置と協働するように構成されており、及び／又は、作業ステップを実行するために人と協働するように構成されている。

ハンドリング装置は、特に、作業領域内において作業ステップを実行するように構成されている。作業領域は、例えば製造現場又は生産区域である。作業領域は、好ましくは３次元の空間領域である。ハンドリング装置が、作業領域内に配置されていることが特に好ましい。

被加工物は、例えば、加工されるべき構成部材及び／又は部品である。ハンドリング装置は、例えば、特にハンドリング装置及び／又はステーションの加工要素によって被加工物を把持及び／又は加工するように構成されている。例えば、ハンドリング装置は、被加工物を把持、加工、例えば穿孔、研削、溶接、及び／又は、載置するように構成されている。代替的及び／又は追加的に、ハンドリング装置は、複数の被加工物を、加工、組立及び／又は搬送するように構成されている。

ハンドリング装置の作業領域内には、少なくとも１つのステーションが配置されている。ステーションは、作業領域内に静止して配置されているが、これに代わる形態においては、ステーションは、作業領域内で可搬的に配置されている。ステーションは、特に、ハンドリング装置の作業領域の平面的及び／又は空間的な区域である。ステーションは、特にプロセスステーションであり、例えば被加工物を加工することができるステーションである。代替的及び／又は追加的に、ステーションは、被加工物が提供される場所、例えば未加工品を有するパレットであり、及び／又は、ステーションは、完成した被加工物を載置することができるステーション、例えばパレットである。例えば、ステーションは、被加工物ソースと被加工物シンクとに区別される。

ハンドリングアセンブリは、少なくとも１つの監視センサを含む。監視センサは、好ましくは静止して配置されているが、これに代わる形態においては、監視センサは、手で誘導されるか、ロボットによって誘導されるか、又は、そうでなければ、作業領域内で移動可能に配置されている。監視センサは、作業領域を光学的に監視するように構成されており、光学的な監視は、監視データとして提供される。監視センサは、好ましくは３Ｄセンサ、例えばステレオカメラである。監視センサは、好ましくは監視カメラ、例えばビデオカメラ又はスチールカメラである。監視カメラは、例えば白黒カメラ又はカラーカメラであり、特にＣＣＤカメラ又はＣＭＯＳカメラである。監視データは、特に作業領域の光学的な監視の画像を含む。画像は、特に監視画像とも呼ばれる。ハンドリングアセンブリはさらに、複数の監視センサを有することが可能であり、これらの監視センサは、同一の区域を部分的に重なり合うように撮像するように配置及び構成されており、従って、複数の異なる監視センサの光学的な監視を組み合わせて、作業領域の１つの大域的な監視にすることが可能である。

ハンドリングアセンブリは、位置特定モジュールを含む。位置特定モジュールは、例えば、プロセッサモジュール、マイクロコントローラ又はコンピュータユニットである。特に、位置特定モジュールは、監視センサにデータ技術的に接続されており、位置特定モジュールに、監視データが提供されている。位置特定モジュールは、監視データをデータ技術的に評価及び／又は分析するように構成されている。

位置特定モジュールは、ステーションを識別するように構成されており、特に監視データに基づいて又は監視データ内において、ステーションを識別するように構成されている。特に、位置特定モジュールは、監視データ内において、例えば監視領域の監視画像内においてステーションを識別し、及び／又は、作業領域内におけるステーションが位置する場所に対応付けることができる。位置特定モジュールはさらに、監視データに基づいて、識別されたステーションに対してステーションの位置をステーション位置として特定するように構成されている。位置特定モジュールはさらに、ステーション内の被加工物の有無及び／又は位置も特定するように構成され得る。例えば、位置特定モジュールによって、ステーション内、特にパレット内又はネステナ内の被加工物の有無がチェックされ、ハンドリング装置は、好ましくは、被加工物が完全に充填されたものだけをハンドリングする。代替的及び／又は追加的に、位置特定モジュールは、ステーション内の被加工物の絶対位置及び／又は絶対姿勢を特定するように構成され得る。特に、ステーション位置の特定は、１ミリメートルよりも良好な精度での特定である。位置特定モジュールは、特に、ステーションを恒常的及び／又は周期的に識別するように構成されており、及び／又は、ステーション位置を恒常的及び／又は周期的に特定するように構成されている。例えば、位置特定モジュールは、作業ステップの間にステーション位置を少なくとも５回は特定するように構成されている。

本発明の着想は、ハンドリング装置、特にマルチアームロボットを省時間で学習させ及び／又は初期化し、特に専門家を省略することができるような、ハンドリング装置を有するハンドリングアセンブリを提供することである。特に、本発明の着想は、４つ以上の軸を有する多軸ロボットの迅速な初期化を可能にするハンドリングアセンブリを提供することである。特に、３Ｄセンサを使用して作業領域内のステーションをほぼ自動的に識別することができ、それをハンドリング装置が実行することができるようにすることによって、このことが可能となる。

本発明の可能な１つの実施形態においては、位置特定モジュールは、トレーニングデータを有する学習モジュールを含む。特に、トレーニングデータは、学習モジュールに提供可能であり及び／又は学習モジュールに格納可能である。トレーニングデータは、好ましくは画像データである。トレーニングデータは、例えば、通常の幾何形状、形態及び／又は寸法を有するステーションを認識することができる画像である。学習モジュールは、トレーニングデータに基づいて、ステーションを検出するための識別特徴を決定するように構成されている。例えば、識別特徴は、ステーションの幾何形状、寸法、形態、構造、コントラスト、及び／又は、他の特性である。ステーション識別データは、識別特徴を含む。ステーション識別データは、特に、作業領域の監視データ及び／又は光学的な監視においてどのようにしてステーションを発見及び／又は検出することができるかに関する情報を含む。位置特定モジュールは、ステーション識別データに基づいて、ステーションを識別するように構成されている。識別特徴は、監視データ内における、即ち、作業領域の画像及び／又は作業領域のモデルにおけるそれぞれの要素を分類するために、特に有用である。

学習モジュールは、好ましくは、機械学習に基づいて識別特徴を特定するように構成されている。例えば、学習モジュールは、ニューラルネットワークとして構成されている。代替的及び／又は追加的に、学習モジュールは、教師あり学習によって、部分的教師あり学習によって、教師なし学習によって、及び／又は、強化学習によって、トレーニングデータから識別特徴を抽出するように構成されている。この実施形態は、種々異なる作業領域内においてステーションを識別する、全般的に使用可能なハンドリングアセンブリを提供するという着想に基づいている。

任意選択的に、ハンドリングアセンブリは、モデル生成モジュールを含む。モデル生成モジュールは、作業領域のモデルを生成するように構成されている。作業領域のモデルは、特に３Ｄモデルである。作業領域のモデルは、好ましくはＣＡＤモデルである。特に、モデルは、センサによって生成されたモデルであり、及び／又は、監視データに基づいたモデルである。作業領域のモデルは、特に作業領域内のステーションの位置及び／又はハンドリング装置の位置を含む。

ハンドリングアセンブリは、モデルを表示するための表示ユニットを含む。表示ユニットは、例えばモニタ、特にタッチスクリーンモニタであり、これによってユーザは、データを入力すること、及び／又は、物事を選択することが可能である。表示ユニットは、モデルを図表的及び／又は画像的に、２次元又は３次元で表示するように構成されている。

任意選択的に、ユーザにより、表示されたモデルにおいて追加的な識別特徴として区域を選択可能である。例えば、ユーザは、モデルにおいて自身がステーションとして識別及び／又は認識している領域及び／又は区域を選択することができる。選択された追加特徴は、プロセス識別データに含まれている。特に、ユーザは、例えば、識別されたステーションが完全には検出及び／又は識別されていない場合に、この識別されたステーションを拡張することもできる。この実施形態は、追加情報及び／又は未識別のステーションを、ユーザによってハンドリングアセンブリに通知する及び／又は学習させるという着想に基づいている。

本発明の実施形態によれば、ハンドリングアセンブリは、制御モジュールを含む。制御モジュールは、特に、コンピュータユニット、プロセッサ又はマイクロコントローラである。制御モジュールは、１つ又は複数のステーション位置に基づいて作業ステップを実行するように、ハンドリング装置を制御するように構成されている。特に、制御モジュールは、ステーション位置に基づいて厳密に１つの作業ステップ及び／又は複数の作業ステップを実行するように、ハンドリング装置を制御するように構成されている。例えば、制御モジュールは、被加工物を第１のステーション位置から第２のステーション位置に移動及び／又は搬送するように、ハンドリング装置を制御するように構成されている。特に、作業ステップは、第１のステーション位置を有する第１のステーションにおいて開始され、第２のステーション位置を有する第２のステーションにおいて終了するプロセスである。さらに、第１のステーションと第２のステーションとの間に、さらなるステーション位置を有するさらなるステーションを立ち上げること及び／又は組み込むことも可能であろう。この実施形態は、プロセスを独立して計画することができるハンドリングアセンブリを提供するという着想に基づいており、なお、この計画は、位置特定モジュールによって特定されたステーション位置に基づいている。

ハンドリングアセンブリは、好ましくはタスク定義モジュールを含む。タスク定義モジュールは、コンピュータユニット、プロセッサ又はマイクロコントローラである。特に、タスク定義モジュールを、制御モジュールの一部とすることができる。タスク定義モジュールは、ユーザによって作業ステップを選択及び／又は定義することができるように構成されており、作業ステップを、特に意味論的に、定義及び／又は選択することができるように構成されている。代替的及び／又は追加的に、所定及び／又は上記の表示ユニット上における視覚的表現を用いて作業ステップを選択及び／又は定義することが可能である。特に、第１のステーションを定義して、第２のステーションを定義及び／又は設定するなどのように、開始状態及び目標状態を記述及び／又は設定することによって、作業ステップの定義及び／又は選択が実施される。例えば、作業ステップのこの定義は、被加工物ソース及び被加工物シンクを選択することによって実施され、この場合、被加工物ソースにはある１つのステーションが対応付けられ、被加工物シンクにはまた他のステーションが対応付けられる。ユーザによる選択及び／又は定義は、特に、例えば、「全ての被加工物をパレットＡからパレットＢにセットする」などの純粋なテキスト形式により実施することができる。好ましくは、第１のステーションを、表示ユニット上において視覚的に選択することができ、特に、第２のステーションも、表示ユニット上において選択することができる。この実施形態は、プロセス及び／又は作業ステップを設定するためにソフトウェアの専門家が必要とされないハンドリングアセンブリを提供するという着想に基づいている。

作業ステップが、定義されるべき少なくとも２つのパラメータを有することが特に好ましい。特に、作業ステップは、定義されるべき厳密に２つのパラメータを有するが、これに代わる形態においては、作業ステップは、定義されるべき複数のパラメータを有する。定義されるべき２つのパラメータは、開始位置及び終了位置を含む。特に、ユーザにより、表示されたモデルにおいてステーションのうちの１つを開始位置として選択可能であり、表示されたモデルにおいて他のステーション及び／又は同一のステーションを終了位置として選択可能である。特に、作業ステップは、定義されるべき２つのパラメータによって開始位置において開始され、終了位置において終了する。

任意選択的に、作業ステップの完了後、被加工物は、終了姿勢にある。特に、終了姿勢は、３次元空間内の所定の点として定義されており、この点における被加工物に、特に例えばオイラー角を用いて角度姿勢を対応付けることが可能である。特に、終了姿勢は、ユーザによってタスク定義モジュールを用いて選択可能である。例えばユーザは、タスク定義モジュールにおいて座標及び角度姿勢の形態で、特に視覚的に、姿勢を設定及び／又は選択することができる。好ましくは、タスク計画モジュールは、被加工物の載置場所を、監視データに基づいて、例えばフィッティングアルゴリズムに基づいて決定するように構成されている。特に、フィッティングアルゴリズムが、複数の載置場所の可能性を特定した場合には、ユーザが、優先すべき載置場所を選択することができる。

ハンドリングアセンブリが、セキュリティモジュールを含むことが特に好ましい。セキュリティモジュールは、好ましくは、コンピュータユニット、プロセッサ又はマイクロチップである。セキュリティモジュールは、作業ステップ中に監視データを引き継ぐために監視センサにデータ技術的に接続されている。特に、セキュリティモジュールは、監視センサの監視データを周期的に、例えば１秒ごとに又は１０秒ごとに受信する。セキュリティモジュールは、監視領域内での変化に基づいてハンドリング装置を制御するように構成されている。例えば、セキュリティモジュールは、ハンドリング装置の作業領域内のステーションの配置が変化した場合にこれに応答するように構成されており、例えば、このためにセキュリティモジュールは、ステーション位置を新たに特定するように、位置特定モジュールを制御する。

代替的及び／又は追加的に、セキュリティモジュールは、ハンドリング装置の作業領域内に人がいることを識別するように構成されており、特に、セキュリティモジュールは、人に対する負傷の危険性が存在するかどうかを識別し、人が検出された場合、及び／又は、人に対する負傷の危険性が存在する場合に、ハンドリング装置を停止するように構成されている。さらに、セキュリティモジュールは、ハンドリング装置の作業領域から人が離れたときに作業ステップを再開及び／又は継続するように、ハンドリング装置を制御するように構成され得る。この実施形態は、特に安全なハンドリングアセンブリを提供するという着想に基づいている。

本発明の１つの実施形態においては、ハンドリングアセンブリは、経路計画モジュールを含む。経路計画モジュールは、コンピュータユニット、プロセッサ又はマイクロチップである。経路計画モジュールは、ハンドリング装置及び／又は被加工物の軌道を決定するように構成されており、なお、軌道とは、作業ステップの実行時における被加工物の空間時間的な経路である。特に、経路計画モジュールは、ハンドリング装置及び／又は被加工物の軌道を、衝突がないように決定するように構成されており、なお、衝突がないようにとは、特にハンドリング装置の作業領域内のハンドリング装置及び／又は物体と被加工物との衝突を回避することに関する。代替的及び／又は追加的に、経路計画モジュールは、ハンドリング装置の第１のアームと第２のアームとの間の衝突を防止するように構成される。特に、ハンドリング装置の軌道は、ステーション位置に基づいて、及び／又は、監視センサの監視データに基づいて、経路計画モジュールによって決定される。

ハンドリングアセンブリが、テストモジュールを含むことが特に好ましい。テストモジュールは、特にルールを有する。ルールは、特にユーザによって設定可能であり、及び／又は、テストモジュールに格納可能である。ルールは、例えば被加工物及び／又はステーションの特性を含む。例えば、ある１つのルールは、「被加工物をこの位置又はその位置で傾けない」であり得る。ルールのさらなる例は、例えば「被加工物が水平でない場合には下へ置かない」又は「被加工物の蓋を取り外して初めて被加工物を加工する」である。テストモジュールは、ルールの充足に基づいて作業ステップを実行及び／又は中止するように、ハンドリング装置を制御するように構成されている。例えば、テストモジュールは、ルールが充足されていない場合に作業ステップ及び／又はハンドリング装置を停止するように構成されている。

本発明の特に好ましい実施形態によれば、ハンドリングアセンブリは、作業領域の１つの区域又は全体を高解像するための追加的なセンサを含む。追加的なセンサは、例えば、検知器、カメラ又はレーザスキャナである。追加的なセンサを、作業領域内に空間的に固定して配置することができるが、これに代わる形態においては、追加的なセンサは、ハンドリング装置に共に搭載される追加的なセンサである。特に、追加的なセンサは、高解像度データを提供するように構成されており、高解像度データは、追加的なセンサによる区域の高解像を含む。ハンドリングアセンブリは、ステーション位置、高解像度データ、ステーション識別データ、及び／又は、センサデータに基づいて、ステーションの位置をより精確に特定するための高精度位置特定モジュールを含む。例えば、追加的なセンサは、ハンドリング装置に共に搭載される追加的なセンサであり、追加的なセンサによる高解像のために、ハンドリング装置によって対応する領域内が巡回され、追加的なセンサによってこの領域が記録及び／又は測定され、高精度位置特定モジュールによってこの領域がより精確に解像される。この実施形態は、ハンドリングアセンブリにおいて区域をより精確に定義するための省データの手段を提供するという着想に基づいている。

本発明のさらなる対象を提供するのは、ハンドリング装置によって少なくとも１つの作業ステップを実行するための方法である。監視センサによって、ハンドリング装置の作業領域が光学的に監視される。監視センサは、監視データとして光学的な監視を提供する。監視データと、格納されているステーション識別データとに基づいて、作業領域内のステーションが検出及び／又は識別され、識別されたステーションに対して位置がステーション位置として特定される。

本発明のさらなる対象を提供するのは、コンピュータ及び／又はハンドリングアセンブリにおいてプログラムが実行されると、本方法の全てのステップを実行するための、プログラムコード手段を有するコンピュータプログラムである。

本発明のさらなる特徴、利点及び効果は、本発明の好ましい実施例の以下の説明から明らかになる。

ハンドリングアセンブリの１つの実施例の概略図である。 図２ａ及び２ｂは、図１のハンドリングアセンブリの表示ユニットの概略図である。 ハンドリングアセンブリによって作業ステップを実行するための方法の１つの実施例に関するフローチャートである。

図１は、ハンドリングアセンブリ１の概略図を示す。ハンドリングアセンブリ１は、ハンドリング装置２を含む。ハンドリング装置２は、作業領域３内に配置されている。ハンドリング装置２は、多軸ロボットとして構成されており、特に、少なくとも３つの軸を中心にして移動可能及び／又は旋回可能である。ハンドリング装置２は、グリッパ４を有する。グリッパ４は、ハンドリング装置２によって作業領域３内で移動可能である。特に、グリッパ４は、作業領域３内で３次元的に移動可能である。作業領域３は、例えば、製造工場、生産区域、及び／又は、工場ホール区域である。

作業領域３内には、複数のステーション５が配置されている。ステーション５は、例えば被加工物６のための載置場所である。例えば、ある１つのステーション５を、被加工物ソースとして捉えることができ、また他のステーション５を、被加工物シンクとして捉えることができる。ある１つのステーション５は、例えばパレットであり、このパレットの上に被加工物が配置されており、及び／又は、このパレットの上に被加工物を配置可能である。ステーション５は、好ましくは作業領域３内の固定された場所に配置されているが、これに代わる形態においては、ステーション５は、ハンドリング装置２の作業領域３内で変位可能及び／又は移動可動である。

ハンドリング装置２は、所定の作業ステップを実行するように構成されている。作業ステップは、例えば「グリッパ４によって第１のステーション５内の被加工物６を把持し、この被加工物６を他のステーション５に搬送して、そこに載置する」ことであり得る。ハンドリング装置２はさらに、例えば、グリッパ４によって被加工物６を把持する、例えばドリルによって被加工物６を加工するなどの、多数の作業ステップを実行することができる。

ハンドリングアセンブリ１は、２つの監視センサ７を含む。監視センサ７は、監視カメラとして構成されている。監視センサ７は、作業領域３を光学的に監視するように構成されている。このために監視センサ７は、作業領域３を監視画像の形態で記録する。監視センサ７は、監視データを提供するように構成されており、監視データは、特に監視画像を含む。特に、監視センサ７は、複数の監視画像が１つの重なり合い領域を有するように配置されており、この重なり合い領域は、作業領域３の１つの共通領域を示すものである。監視センサ７がステレオカメラであり、これらのステレオカメラが作業領域３の１つの３次元画像を作成することが特に好ましい。監視データは、中央評価ユニット８に提供されている。

中央評価ユニット８は、例えばコンピュータユニットとして構成されている。中央評価ユニット８を、例えばサーバルームに分散して配置することができるが、これに代わる形態においては、評価ユニット８は、例えばハンドリング装置２に組み込まれた中央評価ユニット８である。

中央評価ユニット８は、位置特定モジュール９を含む。位置特定モジュール９には、監視データが提供されている。位置特定モジュール９は、ステーション識別データ１０を含む。ステーション識別データ１０は、特に、監視データ内及び／又は監視画像内においてステーションを推定することができるようにする情報及び／又は特徴を含む。例えば、ステーション識別データ１０は、監視データ内及び／又は監視画像内におけるステーション５の幾何形状、輪郭、コントラスト及び／又は構造に関する情報を有する。位置特定モジュール９は、監視データと、ステーション識別データ１０とに基づいてステーションを識別し、これに基づいて、識別されたステーションに対してステーション位置１１を特定するように構成されている。ステーション位置１１は、特に３次元空間内の座標であり、作業領域３内及び／又は監視画像内におけるステーション５の位置を表している。ステーション位置１１はさらに、姿勢に関する情報、例えば角度姿勢に関する情報も有することができる。

中央評価ユニット８は、モデル生成モジュール１２を含む。モデル生成モジュール１２は、提供されたステーション位置１１と監視データとを受信する。モデル生成モジュール１２は、監視データとステーション位置１１とに基づいて、ステーション５とハンドリング装置２とが含まれた作業領域３のモデル１３を生成するように構成されている。モデル１３は、３次元モデルである。好ましくは、モデル１３は、ステーション５とハンドリング装置２とが含まれた作業領域３のＣＡＤモデルである。モデル１３においてステーション５及び／又はハンドリング装置２の姿勢及び／又は位置を記述するために、モデル生成モジュール１２は、補助座標系１４を含むことができる。

中央評価ユニット８は、タスク定義モジュール１５を有する。タスク定義モジュール１５は、作業領域３内のハンドリング装置２によって被加工物６に対して実行すべき作業ステップを定義及び／又は選択するように構成されている。特に、タスク定義モジュール１５は、ユーザがタスク及び／又は作業ステップを意味論に基づいてより詳細に定義及び／又は選択することが可能となるように構成されている。例えば、このためにタスク定義モジュール１５は、例えば、「把持する」、「持ち上げる」又は「搬送する」などの意味論的フレーズ１６を含む。ユーザは、ステーション位置１１を設定及び／又は入力することにより、これらの意味論的フレーズ１６を定義及び／又は連結することができる。ユーザはさらに、終了姿勢１７を決定することにより、タスク及び／又は意味論的フレーズ１６を完全なものにすることもできる。終了姿勢１７は、載置位置を決定するために座標に加えて、空間内での姿勢に関する情報、例えば３つのオイラー角に関する情報も含む。これに代わる形態においては、タスク定義モジュール１５によってユーザが、視覚的な選択肢及び／又は視覚的なマーキングを用いてタスク及び／又は作業ステップを定義及び／又は選択することが可能となるようにすることができる。

中央評価ユニット８は、経路計画モジュール１８を含む。経路計画モジュール１８は、タスク、作業ステップ及び／又はステーション位置１１に基づいて軌道Ｘ（ｔ）を計画するように構成されており、なお、この軌道Ｘ（ｔ）は、作業ステップ中における被加工物６の経路−時間の推移を記述したものである。経路計画モジュール１８はさらに、軌道Ｘ（ｔ）同士が衝突しないように、即ち、被加工物６とハンドリング装置２との衝突及び／又は被加工物６と作業領域３内の物体との衝突が発生しないように、軌道Ｘ（ｔ）を決定するように構成されている。

中央評価ユニット８はさらに、制御モジュールを含み、制御モジュールは、作業ステップを実行するように、ハンドリング装置２を制御するように構成されている。例えば、制御モジュールは、ハンドリング装置２がグリッパ４によって被加工物６を把持して、軌道Ｘ（ｔ）に沿って搬送するように、ハンドリング装置２を制御する。

図２ａは、表示ユニットの概観図を示し、ここには作業領域３のモデル１３が表示される。モデル１３は、４つのステーション５ａ，５ｂ，５ｃ及び５ｄを含む。ステーション５ａ，５ｃ及び５ｄは、被加工物シンクを形成しており、ステーション５ｂは、被加工物ソースを形成している。このモデルを使用して定義及び／又は選択される作業ステップは、被加工物をベースにした作業ステップである。作業ステップは、３つのプロセス１９ａ，１９ｂ及び１９ｃを含む。プロセス１９ａ，１９ｂ及び１９ｃは、ハンドリング装置２の単一のアームによって実行可能なプロセスを表している。プロセス１９ａは、例えば、「ステーション５ｂから被加工物６を把持して、ステーション５ａに載置する」として定義されている。プロセス１９ｂは、例えば、「ステーション５ｂにおいてオブジェクト６を把持し、ステーション５ｂへと搬送して、そこに載置する」として定義されている。プロセス１９ｃは、例えば、「被加工物６を把持して、ステーション５ｃに載置する」として定義されている。例えば、ユーザがある１つのステーション５の被加工物６を他のステーション５へとドラッグすることによって、作業ステップを定義可能であり、この場合には、この作業ステップは、第１のステーションから第２のステーションへの被加工物の搬送に相当する。

図２ｂも、作業領域３のモデル１３を示し、このモデル１３は、被加工物ソースとしてステーション５ａ，５ｂ及び５ｅを含む。モデル１３は、被加工物シンクとしてステーション５ｃ，５ｄ及び５ｆを含む。このモデルによって定義及び／又は選択された作業ステップは、パレットをベースにした作業ステップである。このことはつまり、特にこのステップが、被加工物６を搬送及び／又は加工するのではなく、被加工物パレット全体を搬送及び／又は加工するということを意味している。特に、作業ステップを実行するためのプロセス１９ａ，１９ｂ及び１９ｃは、ハンドリング装置２の２つのアームによって実行されるべきプロセスである。例えば、プロセス１９ａは、被加工物６のパレットをステーション５ａからステーション５ｃに搬送するように構成されている。例えば、プロセス１９ｂは、パレットをステーション５ｂからステーション５ｆに搬送するように定義されている。プロセス１９ｃは、被加工物６のパレットをステーション５ｄからステーション５ｅに搬送するように構成されている。特に、このモデル１３は、複数のステーションがそれぞれ異なる形状及び／又は寸法を有する可能性があることも示しており、ここでは、ステーション５ｄは、正方形であり、長方形のステーション５ａよりも格段に小さい。

図３は、ハンドリング装置２によって作業ステップを実行するための方法のフローチャートを示す。学習ステップ１００においては、ハンドリングアセンブリ１及び／又は位置特定モジュール９に多数のトレーニングデータが提供される。トレーニングデータは、例えば、複数のステーション５が含まれた作業領域３を示す画像を含む。位置特定モジュール９は、学習モジュールを含み、学習ステップ１００においては、学習モジュールによって、監視データ内においてステーションを検出するための識別特徴が、トレーニングデータから抽出される。これらの識別特徴は、ステーション識別データ１０に提供される。特に、このステップにおいては、ステーションを識別するための分類及び／又は構造が取得される。このステップは、例えばニューラルネットワークによって実施することができる。学習ステップ１００の後には、位置特定ステップ２００が後続する。位置特定ステップ２００においては、監視データに基づいて１つ及び／又は複数のステーション５のステーション位置１１が定義される。この際には、例えば監視データ及び／又は監視画像が、ステーション５を示唆する構造及び／又は特徴について検査される。発見されたステーション５に基づいて、ステーション５の位置及び／又は姿勢がステーション位置１１として特定される。

タスク定義ステップ３００においては、人によってタスクが定義される。特に、タスクは、意味論的及び／又は視覚的な選択肢に基づいて人によって定義及び／又は選択される。例えば、このためにユーザは、既成のタスクの集合から、例えば「被加工物を搬送して、穿孔する」を選択することができる。これらの選択されたタスクは、特にステーション位置１１を用いてより詳細に、例えば、「ステーション位置１１にあるステーション５の被加工物を把持して、この被加工物６を穿孔する」などと定義することができる。

計画ステップ４００においては、定義されたタスクとステーション位置とに基づいて、作業ステップが計画されると共に、軌道Ｘ（ｔ）が決定される。なお、この軌道は、作業領域３内における被加工物と物体との衝突が発生しない軌道である。ハンドリング装置２は、この軌道Ｘ（ｔ）に基づいて、作業ステップを実行するように制御される。

Claims (15)

1. ハンドリングアセンブリ（１）であって、
   前記ハンドリングアセンブリ（１）は、ハンドリング装置（２）を備えており、前記ハンドリング装置（２）は、当該ハンドリング装置（２）の作業領域（３）内の被加工物（６）に関する及び／又は被加工物（６）における少なくとも１つの作業ステップを実行するために使用され、
   前記作業領域（３）内には、ステーション（５，５ａ〜５ｆ）が配置されており、
   前記ハンドリングアセンブリ（１）は、前記作業領域（３）を光学的に監視して、監視データとして提供するための少なくとも１つの監視センサ（７）を備えている、
   ハンドリングアセンブリ（１）において、
   位置特定モジュール（９）が設けられており、
   前記位置特定モジュール（９）は、前記ステーション（５，５ａ〜５ｆ）を識別し、前記ステーション（５，５ａ〜５ｆ）に対してそれぞれ１つのステーション位置（１１）を特定するように構成されている
   ことを特徴とするハンドリングアセンブリ（１）。
2. 前記位置特定モジュールは、トレーニングデータを有する学習モジュールを含み、
   前記学習モジュールは、前記トレーニングデータに基づいて、前記ステーション（５，５ａ〜５ｆ）を検出するためのステーション識別データ（１０）として識別特徴を決定するように構成されており、
   前記位置特定モジュール（９）は、前記ステーション識別データ（１０）に基づいて、前記ステーション（５，５ａ〜５ｆ）を識別するように構成されている、
   請求項１に記載のハンドリングアセンブリ（１）。
3. 前記作業領域（３）のモデル（１３）を生成するためのモデル生成モジュール（１２）が設けられている、
   請求項１又は２に記載のハンドリングアセンブリ（１）。
4. 前記モデル（１３）を表示するための表示ユニットが設けられており、
   ユーザにより、表示された前記モデル（１３）において追加的な識別特徴として区域を選択可能であり、前記ステーション識別データ（１０）は、前記追加的な識別特徴を含む、
   請求項３に記載のハンドリングアセンブリ（１）。
5. 制御モジュールが設けられており、
   前記制御モジュールは、前記ステーション位置（１１）に基づいて前記作業ステップを実行するように、前記ハンドリング装置（２）を制御するように構成されている、
   請求項１乃至４のいずれか一項に記載のハンドリングアセンブリ（１）。
6. タスク定義モジュール（１５）が設けられており、
   前記タスク定義モジュール（１５）は、前記作業ステップを、特に意味論的に、選択及び／又は定義するために使用される、
   請求項１乃至５のいずれか一項に記載のハンドリングアセンブリ（１）。
7. 前記作業ステップは、定義されるべき少なくとも２つのパラメータを有し、
   前記２つのパラメータは、開始位置及び終了位置を含み、
   前記ユーザのために、表示された前記モデル（１３）において前記ステーション（５，５ａ〜５ｆ）のうちの１つを前記開始位置として選択可能であり、表示された前記モデル（１３）において前記ステーション（５，５ａ〜５ｆ）のうちの１つを前記終了位置として選択可能及び／又は設定可能である、
   請求項６に記載のハンドリングアセンブリ（１）。
8. 前記作業ステップの完了後、前記被加工物（６）は、終了姿勢にあり、
   前記終了姿勢は、前記ユーザによって前記タスク定義モジュール（１５）を用いて選択可能であり、及び／又は、前記監視データに基づいて決定されている、
   請求項６又は７に記載のハンドリングアセンブリ（１）。
9. 経路計画モジュール（１８）が設けられており、
   前記経路計画モジュール（１８）は、前記作業ステップの実行時に、前記ハンドリング装置（２）及び／又は前記被加工物（６）の軌道（Ｘ（ｔ））を決定するために使用される、
   請求項１乃至８のいずれか一項に記載のハンドリングアセンブリ（１）。
10. セキュリティモジュールが設けられており、
    前記セキュリティモジュールは、前記作業ステップ中に前記監視データを引き継ぐために前記監視センサ（７）にデータ技術的に接続されており、前記作業領域（３）内での変化に基づいて前記ハンドリング装置を制御するように構成されている、
    請求項１乃至９のいずれか一項に記載のハンドリングアセンブリ（１）。
11. テストモジュールが設けられており、
    前記テストモジュールは、ルールを有し、前記ルールの充足に基づいて前記作業ステップを実行及び／又は中止するように、前記ハンドリング装置（２）を制御するように構成されている、
    請求項１乃至１０のいずれか一項に記載のハンドリングアセンブリ（１）。
12. 前記作業領域の１つの区域を高解像して高解像度データとして提供するための追加的なセンサが設けられており、
    前記ステーション位置（１１）、前記高解像度データ、前記ステーション識別データ（１０）及び／又は前記センサデータに基づいて、前記ステーション（５，５ａ〜５ｆ）の位置をより精確に特定するための高精度位置特定モジュールが設けられている、
    請求項１乃至１１のいずれか一項に記載のハンドリングアセンブリ（１）。
13. 前記追加的なセンサは、前記ハンドリング装置（２）に搭載されている、
    請求項１２に記載のハンドリングアセンブリ（１）。
14. 特に請求項１乃至１３のいずれか一項に記載のハンドリングアセンブリによってハンドリング装置（２）を動作させるための方法において、
    監視センサ（７）によって、前記ハンドリング装置（２）の作業領域（３）を光学的に監視し、
    前記監視センサ（７）は、前記作業領域（３）の監視データを提供し、
    前記監視データに基づいて、前記作業領域（３）内のステーション（５，５ａ〜５ｆ）を検出及び／又は識別し、
    識別されたステーション（５，５ａ〜５ｆ）に対してステーション位置（１１）を特定する
    ことを特徴とする方法。
15. プログラムコード手段を有するコンピュータプログラムにおいて、
    コンピュータ及び／又は請求項１乃至１３のいずれか一項に記載のハンドリングアセンブリ（１）において当該プログラムが実行されると、請求項１４に記載の方法の全てのステップが実行される
    ことを特徴とするコンピュータプログラム。

Images