JP2023023193A - 制御システム及び制御方法 - Google Patents

Abstract

【課題】環境センサとロボットと作業対象物のお互いの位置関係が変わる作業環境に適切に対応し、ロボット装置の動作の教示に関する作業を軽減することが可能なロボット装置の制御システムを提供する。【解決手段】制御システム100は、環境センサ12の出力に基づいて、動作パターン生成部864の入出力データが、動作パターン生成部864が学習したときと同様なデータになる変換内容を判定し出力するデータ変換調整部865とを備える。さらに、制御システム100は、環境情報およびロボット装置1の状態の入力を、データ変換調整部865が判定した変換内容に基づいて変換し、動作パターン生成部864へ出力する環境情報変換部866と、動作パターン生成部864の出力内容を、データ変換調整部865が判定した変換内容に基づいて変換し、ロボット装置1へ出力する制御信号変換部867と、を備える。【選択図】図５

Description

本発明は、作業を実行するロボット装置の制御システムに関する。

産業用ロボットに代表されるロボット装置は、主に記憶された位置のみに対して動作を繰り返し行うため、ロボット装置に作業を実行させるためには作業内容に則した位置を指定するプログラミングが必要である。このため、作業対象物の位置ずれや作業内容の変更に対して柔軟に対応できない場合があった。

そこで、ニューラルネットワークを含む機械学習技術を用いてロボット装置に所定の作業を実行させるように制御することが知られている。作業対象物の位置等が異なる複数の作業状況において、カメラ等の環境センサの情報とロボット装置の動作指令の対応を機械学習した学習モデルを構築し、学習モデルに環境センサの出力を入力して生成した動作指令を用いてロボット装置を制御することで、作業対象物の位置等が異なる作業状況においてもロボット装置に作業を実行させることができる。

機械学習した学習器を用いたロボット装置の制御システムとして、特許文献１に記載された制御システムがある。特許文献１に記載された制御システムは、ロボットカメラにより取得した画像に対して、ロボットが適切な動作をした際に撮像された画像を推測するように機械学習された画像予測部を有している。そして、この制御システムは、現在の画像が画像予測部から出力する推測画像に近づくように動作指令を生成する。

特許文献１に記載された技術によれば、ロボットカメラの取得画像に対して、機械学習された画像予測部を用いて動作を生成するため、作業対象物の位置ずれに対して柔軟に対応して動作を生成することができる。

特開２０１９－１０７７０４号公報

ところで、ロボット装置は同じ作業を異なる位置や異なる条件下で実施することがあり、その場合は環境センサとロボットと作業対象物の向き等の位置関係が変化した環境で、同じ作業を実施する必要がある。

特許文献１に記載の制御システムでは、カメラ画像に対するロボットの適切な動作を機械学習した学習モデルを使用しているが、学習モデルは機械学習した際の画像センサとロボットと作業対象物のお互いの位置関係が成り立つ環境でのみ適切な推測結果を出力できる。画像センサとロボットと作業対象物の向きなどの位置関係が機械学習した際と異なる環境の場合は、画像に対するロボットの適切な動作を出力できず、ロボットを適切に動作できない。

そのため、再度、異なる環境に対応するように機械学習し、ロボット装置の構築を行わねばならず、そのための煩雑な作業を要することがあった。

本発明は、機械学習された学習モデルを用いる制御システムにおいて、環境センサとロボットと作業対象物のお互いの位置関係が変わる作業環境に適切に対応し、ロボット装置の動作の教示に関する作業を軽減することが可能なロボット装置の制御システム及び制御方法を提供することを目的とする。

上記目的を達成するため、本発明は次のように構成される。

制御システムにおいて、１つ以上の関節で構成されたロボットアームと、エンドエフェクタとを有するロボット装置と、前記ロボット装置、及び前記ロボット装置が取り扱う作業対象物を含む前記ロボット装置の作業環境に関する環境情報を取得する環境センサと、前記環境情報と前記ロボット装置の状態に対する前記ロボット装置の制御パターンの対応関係を学習し、前記環境情報と前記ロボット装置の状態の入力に対応する前記ロボット装置の制御信号を出力する動作パターン生成部と、を有する学習型制御装置と、を備え、前記学習型制御装置は、さらに、前記環境センサの出力に基づいて、前記動作パターン生成部の入出力データが、前記動作パターン生成部が学習したときと同様なデータになる変換内容を判定し出力するデータ変換調整部と、前記環境情報、および前記ロボット装置の状態の入力を、前記データ変換調整部が判定した変換内容に基づいて変換し、前記動作パターン生成部へ出力する環境情報変換部と、前記動作パターン生成部の出力内容を、前記データ変換調整部が判定した変換内容に基づいて変換し、前記ロボット装置へ出力する制御信号変換部と、を備える。

ロボットアームと、エンドエフェクタとを有するロボット装置と、前記ロボット装置、及び前記ロボット装置が取り扱う作業対象物を含む前記ロボット装置の作業環境に関する環境情報を取得する環境センサと、前記環境情報と前記ロボット装置の状態に対する前記ロボット装置の制御パターンの対応関係を学習し、前記環境情報と前記ロボット装置の状態の入力に対応する前記ロボット装置の制御信号を出力する動作パターン生成部とを有する学習型制御装置と、を備える制御システムの制御方法であって、前記環境センサにより、前記作業環境を取得して、予め記憶された前記ロボット装置及び前記作業対象物の作業環境基準座標と比較して、取得した前記作業環境の相対座標を推定し、前記推定した相対座標と前記作業環境基準座標とに基づいて、前記推定した相対座標における前記ロボット装置と前記作業対象物の画像が前記作業環境基準座標における前記ロボット装置と前記作業対象物の画像と同様な位置関係となるためのロボット状態変換量を設定し、前記ロボット変換量に基づいて、前記ロボット装置の制御信号を変換する。

本発明によれば、機械学習された学習モデルを用いる制御システムにおいて、環境センサとロボットと作業対象物のお互いの位置関係が変わる作業環境に適切に対応し、ロボット装置の動作の教示に関する作業を軽減することが可能なロボット装置の制御システム及び制御方法を提供することができる。

本発明が適用されるロボット装置および制御システムの概略構成図である。 本発明の制御システムにおいて、ソフトウェアを実行するハードウェア構成を示す概略図である。 ロボット装置による作業の一例を示す外観図である。 本発明の実施例１による制御システムにおいて、学習モデルを機械学習する時のソフトウェア構成の一例を示す模式図である。 本発明の実施例１による制御システムにおいて、機械学習した学習モデルを用いて制御を実行する時のソフトウェア構成の一例を示す模式図である。 本発明の実施例１による制御システムにおいて、機械学習した学習モデルを用いて制御を実行する方法を示すフローチャートである。 本発明の実施例１による制御システムにおいて、データ変換の調整内容を示す概略図である。 本発明の実施例１による制御システムにおいて、データ変換の調整内容を示す概略図である。 本発明の実施例１による制御システムにおいて、データ変換の調整内容を示す概略図である。 本発明の実施例２による制御ロボット装置、システムの構成を示す概略図である。 本発明の実施例２による制御システムにおける、機械学習した学習モデルを用いて制御を実行する時のソフトウェア構成の一例を示す模式図である。 本発明の実施例２による制御システムにおいて、データ変換の調整内容を示す概略図である。 本発明の実施例２による制御システムにおいて、データ変換の調整内容を示す概略図である。 本発明の実施例３による制御システムにおける、機械学習した学習モデルを用いて制御を実行する時のソフトウェア構成の一例を示す模式図である。

以下、本発明の実施形態について図面を用いて説明する。

（実施例１）
図１及び図２を用いて、実施例１におけるロボット装置１及びロボット装置１の制御システム１００の構成について説明する。

図１は、本発明を適用したロボット装置１の制御システム１００の構成例を示す概略図である。図１において、制御システム１００は、ロボット装置１と、環境センサであるカメラ１２と、学習型制御装置８とを備えている。ロボット装置１は、移動台車９と、移動台車９に取り付けられたロボットアーム１０と、ロボットアーム１０の先端に取り付けられたエンドエフェクタ１１を有し、作業台３上の作業対象物２に対して作業を実行する。

ロボット装置１の各装置は、ロボット制御装置７に接続され、ロボット制御装置７の制御指令（ロボットアーム１０のモータ電流、エンドエフェクタ１１のモータ電流、等）を受け動作するとともに、ロボット装置１の状態（ロボットアーム１０の関節に取り付けられた角度センサの電圧、等）をロボット制御装置７に送信する。

ロボット制御装置７は、ネットワーク６を介して学習型制御装置８に接続され、ロボット装置１から得られたロボット装置１の状態を変換（ロボットアーム１０の関節角度、エンドエフェクタ１１の手先位置等）して学習型制御装置８に送信する。ロボット制御装置７は、学習型制御装置８が出力する動作指令（エンドエフェクタ１１の目標手先位置、等）とロボット装置１から入力したロボット装置１の状態を基にロボット装置１に対する制御指令を演算するように構成されている。

また、作業台３上の作業対象物２とロボット装置１の状態を計測するカメラ１２は、ネットワーク６を介して学習型制御装置８に接続されており、撮像した作業対象物２とロボット装置１に関する画像を学習型制御装置８に送信する。

図２は本発明を適用した実施例１によるロボット装置１の制御システムにおいて、ソフトウェアを実行するためのハードウェア構成例を示す概略図である。なお、図２ではインタフェースを「Ｉ／Ｆ」と記載している。

図２において、ロボット装置１のロボット制御装置７は、制御装置７１、通信インタフェース７２、制御インタフェース７３及び記憶装置７４が互いに電気的に接続されたコンピュータである。

制御装置７１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。

記憶装置７４は、ハードディスクドライブ等の補助記憶装置であり、制御装置７１が実行する制御プログラム７４１を記憶する。

制御インタフェース７３は、ロボット装置１のロボットアーム１０、エンドファクタ１１及び移動台車９と接続し、ロボット装置１のロボットアーム１０、エンドファクタ１１及び移動台車９への制御指令と、ロボットアーム１０、エンドファクタ１１及び移動台車９ロボット装置１の状態に関するデータを送受信するためのインタフェースであり、ロボット装置１を構成する機器に応じて適宜構成される。

通信インタフェース７２は、学習型制御装置８と接続し、ロボット装置１への動作指令とロボット装置１の状態に関するデータを送受信するためのインタフェースであり、ネットワーク６を介して学習型制御装置８の通信インタフェース８２と通信する。

ロボット制御装置７は、電源の投入等により起動すると、記憶装置７４に記憶されている制御プログラム７４１を制御装置７１に展開し実行する。制御プログラム７４１は通信インタフェース７２から入力される学習型制御装置８の動作指令と制御インタフェース７３から入力されるロボット装置１のロボットアーム１０等の状態に基づいてロボット装置１への制御指令を生成し、制御インタフェース７３からロボット装置１へ制御指令を出力する。また、ロボット制御装置７は、制御インタフェース７３から入力されるロボット装置１のロボットアーム１０等の状態を通信インタフェース７２から学習型制御装置８へ出力する。

学習型制御装置８は、制御装置８１、通信インタフェース８２、入力装置８３、記憶装置８４が互いに電気的に接続されたコンピュータである。制御装置８１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。通信インタフェース８２は、ロボット制御装置７と接続し、ロボット制御装置７へのロボット装置１の動作指令とロボット装置１の状態を送受信するためのインタフェースであり、ネットワーク６を介してロボット制御装置７の通信インタフェース７２と通信する。

また、通信インタフェース８２は、ネットワーク６を介してカメラ１２と通信する。入力装置８３はマウスやキーボード等のユーザーからの入力を取り込む装置であり、学習型制御装置８のプログラムの実行等を制御する。記憶装置８４はハードディスクドライブ等の補助記憶装置であり、制御装置８１が実行する学習プログラム８５１、工程実行プログラム８６１、動作指令プログラム８６２、学習用データ８５２、モデルパラメータデータ８６３を記憶する。

学習型制御装置８は電源の投入等により起動すると、記憶装置８４に記憶されている学習プログラム８５１、工程実行プログラム８６１、動作指令プログラム８６２を制御装置８１に展開する。

学習プログラム８５１は、入力装置８３を介してユーザーから学習の実行が指示されると、通信インタフェース８２から入力されるロボット装置１の状態を用いて学習用データ８５２を生成し記憶装置８４に記憶し、学習用データ８５２を用いて後述する学習モデルを機械学習し、モデルパラメータデータ８６３を生成する。

工程実行プログラム８６１は、入力装置８３を介してユーザーからロボット装置１による作業開始が指示されると、通信インタフェース８２から得られるロボット装置１の状態に基づいて動作指令プログラム８６２を実行するタイミングを判定し、動作プログラム８６２の実行指示を出力する。

動作指令プログラム８６２は、工程実行プログラム８６１から動作の実行が指示されると、モデルパラメータデータ８６２を読込み、通信インタフェース８２から得られるロボット装置１の状態とカメラ１２の画像と後述する学習モデルを用いてロボット装置１の動作指令を生成し、動作指令を通信インタフェース８２からロボット制御装置７に出力する。

なお、学習型制御装置８とロボット制御装置７は同一のハードウェアで構成してもよく、制御プログラム７４１、学習プログラム８５１、工程実行プログラム８６１、制御指令プログラム８６２を同一のハードウェア上で実行されるように構成されていても良い。
学習型制御装置８をハードウェアで構成する場合は、学習プログラム８５１は学習部、工程実行プログラム８６１は工程実行部、動作指令プログラム８６２は動作指令部となる。

動作指令プログラム８６２をハードウェアで構成する場合は、動作パターン生成部８６４、データ変換調整部８６５、環境情報変換部８６６及び制御信号変換部８６７もハードウェアで構成する。

制御インタフェース７３と通信インタフェース７２が同一の構成であってもよく、ロボット制御装置７はネットワーク６を介してロボット装置１を制御するように構成されていてもよい。また、ロボット制御装置７と学習型制御装置８の接続はネットワーク６を介して接続されなくてもよく、通信インタフェース７２、８２が直接接続されている構成であってもよい。動作指令プログラム８６２は作業内容に応じて複数用意するように構成されていてもよく、工程実行プログラム８６１がロボット装置１の状態やカメラ１２の撮像画像に基づいて作業の進捗を判断し、複数の動作指令プログラムの中で実行するプログラムを選択するように構成してもよい。

また、学習プログラム８５１と、工程実行プログラム８６１、および制御指令プログラム８６２は同一の学習型制御装置８に記憶されていなくてもよく、ネットワーク６を介して異なる学習型制御装置８が学習用データ８５２やモデルパラメータデータ８６３を通信するように構成されていてもよい。

次に、本発明の実施例１であるロボット装置１の制御システム１００において、環境情報に対する動作を学習し、ロボット装置１への制御指令として出力するように構成した学習型制御装置８が、作業対象物とロボットの位置関係を推定し、制御指令を変換して出力する方法を図３乃至図７Ｃを用いて説明する。

図３は、ロボット装置１によって実行される作業の一例を示す外観図である。

図３を用いてロボット装置１の作業例を説明する。

多品種少量生産を行う現場では、いくつかの作業（組立て作業、等）を複数の作業場所に分散して行うことがある。

例えば、図３に示すように、複数のロボット装置１が、複数の作業台３上に配置された作業対象物２や自動搬送車５により搬送される作業対象物２を組み立てる作業などがある。このような現場における作業では、需要変動に応じて作業内容の入替えが発生することがある。例えば、ある作業台３で組立て作業を行っていたロボット装置１が、生産計画の変更に応じて異なる作業台３に移動して作業を行うことがある。

このとき、ロボット装置１は移動距離の短縮や、他のロボット装置１との干渉を回避するために作業台３に対して異なる方向から作業を行うことがある。また、生産計画の変更に応じて、自動搬送車５により搬送される作業対象物２の受け渡し場所が変更され、組立て作業におけるロボット装置１と作業対象物２の位置関係が変更されることがある。

上述した現場において、ロボット装置１が適切に作業を実行するためには、ロボット装置１の停止位置のずれや自動搬送車５の部品供給位置のずれ等により発生する作業対象物２の位置ずれなどに対して柔軟に対応するとともに、ロボット装置１と作業対象物２の位置や向き等の位置関係の変更に対応する必要がある。

図４は学習型制御装置８が実行する学習プログラム８５１のソフトウェア構成を示す模式図である。図４を用いて学習型制御装置８が、ロボット装置１の動作指令の生成方法を学習する方法を説明する。なお、学習プログラム８５１は、制御装置８１に展開され実行するときに、データ収集部８５３、データ収集指示部８５４、学習処理部８５５をソフトウェアモジュールとして備えるように構成される。

データ収集部８５３は、入力装置８３を介したユーザーの指示に基づいて学習用データ８５２の収集を指示するデータ収集指示部８５４を備え、ロボット装置１が稼働している時のカメラ１２のカメラ画像、エンドエフェクタ１１の手先位置であるロボット手先位置、エンドエフェクタ１１の目標手先位置であるロボット動作指令を、通信インタフェース８２を介して取得し、学習用データ８５２として保存する。例えば、予めロボット制御装置７の制御プログラム７４１に、ロボット装置１の手先位置を複数指定し、所定の時間で指定した手先位置に移動するようにプログラミングし、そのプログラムにて作業を実行している際の、予め定められたサンプリング毎のデータを取得し、時系列データを１つの学習用データとして保存する。

そして、データ収集部８５３は、作業対象物２の位置を僅かに変更する等、作業の条件を変更した状態で複数の作業を実行している際の、複数の学習用データを収集する。

学習処理部８５５は、データ収集部８５３により収集された学習用データ８５２を用いて学習モデル８５６を機械学習する。学習処理部８５５は、学習用データ８５２のカメラ画像とロボット手先位置を入力とし、ロボット動作指令の推定結果を出力するニューラルネットワークである学習モデル８５６と、学習用データ８５２の動作指令と、学習モデル８５６の推定動作指令を比較して、学習用データ８５２の内容と学習モデル８５６の出力が一致するように学習モデル８５６のモデルパラメータ（ニューラルネットワークの各ニューロン間の結合度やニューロンの発火閾値等の重み）の更新量を演算するパラメータ更新量演算部８５７を備える。

そして、学習処理部８５５は、予め定められた条件に達するまで学習モデル８５６のモデルパラメータを、パラメータ更新量演算部８５７が演算する更新量に従い更新し続け、予め定められた条件に達した場合、その時の学習モデル８５６のモデルパラメータをモデルパラメータデータ８６３として保存する。

なお、図４に示す学習モデル８５６のニューラルネットワークは単純な多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）を図示しているが、異なるネットワークを用いてもよく、例えば畳み込みネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や再帰型ネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いる構成にしてもよく、さらにこれらのネットワークを組み合わせた構成としてもよい。

図５は学習型制御装置８が実行する動作指令プログラム８６２のソフトウェア構成を示す模式図である。図６は動作指令プログラム８６２の動作パターン生成部８６４、データ変換調整部８５５、環境情報変換部８６６、制御信号変換部８６７がロボット装置１へ動作指令を出力しロボット装置１の動作を生成する方法を示すフローチャートである。

図７Ａ、図７Ｂ及び図７Ｃはデータ変換調整部８６５がデータの変換内容を設定し、環境情報変換部８６６、および制御信号変換部８６７が環境情報、およびロボット動作指令を変換する方法を示す概略図である。

図７Ａはモデルパラメータデータ８６３を学習した際のロボット装置１と作業対象物２ａおよび２ｂとカメラ１２の位置関係を示している。図７Ｂ及び図７Ｃはモデルパラメータデータ８６３を学習したときと異なるロボット装置１と作業対象物２ａおよび２ｂとカメラ１２の位置関係を示している。

図５乃至図７Ｃを用いて学習型制御装置８が、作業対象物２ａ及び２ｂとロボット装置１の位置関係を推定し、制御指令を変換して出力する方法を説明する。なお、図６の全てのステップは学習型制御装置８において、予め定められたサンプリング毎に実行される。また、動作指令プログラム８６２は、工程実行プログラム８６１から動作実行指示を受けると記憶装置８４に記憶された動作指令プログラム８６１を制御装置８１に展開し実行することで、動作パターン生成部８６４、データ変換調整部８６５、環境情報変換部８６６、制御信号変換部８６７をソフトウェアモジュールとして備えるように構成する。図７Ａ、図７Ｂ及び図７Ｃに示した位置関係における作業は説明の一例として作業対象物２ａの凹部に作業対象物２ｂを把持して挿入する作業を示している。

動作指令プログラム８６２は、通信インタフェース８２を介して入力されるカメラ１２からのカメラ画像に基づいて、カメラ画像とロボット手先位置に関する環境情報の変更内容、およびロボット動作指令の変更内容を設定するデータ変換調整部８６５と、カメラ画像とロボット手先位置を入力とし、入力された２つの情報の位置や向きに関する内容を変更する環境情報変換部８６６と、モデルパラメータデータ８６３を反映した学習モデル８５６を備え、環境情報変換部８６６により変換されたカメラ画像とロボット手先位置を入力とし、ロボット動作指令を出力する動作パターン生成部８６４と、動作パターン生成部８６４のロボット動作指令の位置や向きに関する内容を変更する制御信号変換部８６７により構成され、工程実行プログラム８６１から動作実行指示が入力されプログラムが実行されると、通信インタフェース８２を介して、制御信号変換部８６７から出力されるロボット動作指令を、ロボット制御装置７へ出力する。

工程実行プログラム８６１により動作指令プログラム８６２が起動されると、データ変換調整部８６５は、ステップＳ１００でカメラ画像を取得し、続いてステップＳ１０１でカメラ１２の基準座標に対する作業対象物２ａ、２ｂの相対座標（作業対象物座標）を推定する。

作業対象物座標は図７Ａ、図７Ｂ及び図７Ｃに示すように、作業対象物２ａの凹部方向にｘ軸、そこから作業対象物２ｂが置かれている方向をｙ軸と予め定義する。

図７Ａに示すモデルパラメータデータ８６３を学習した際の、カメラ基準座標と作業対象物座標の向きが一致しており、かつカメラ座標におけるｘ軸上に作業対象物２ａの座標の原点がある状態を基準状態とする。

図７Ｂに示す状態の作業対象物座標は、基準状態に対し作業対象物座標をカメラ基準座標の正のｘ方向と負のｙ方向に移動した後、９０度回転した相対座標であると推定する。図７Ｃに示す状態の作業対象座標は、作業対象物２ａに対する作業対象物２ｂの位置が図７Ａに示した位置と異なっているため、基準状態に対し作業対象物座標のｘ軸を中心に反転した相対座標であると推定する。

なお、作業対象物２ａ、２ｂの相対座標の推定は、画像中からテンプレート画像に一致する箇所を見つけるテンプレートマッチングを用いて作業対象物２ａ、２ｂの位置や形状を認識し、認識結果に基づいて作業対象物座標を推定するように構成してもよく、またＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）に基づく物体検出手法を用いて作業対象物２ａ、２ｂの位置や形状を認識して作業対象物座標を推定してもよい。

ステップＳ１０２では、作業対象物座標に対するロボット装置１の相対座標（ロボット座標）を推定する。ロボット装置１の座標はロボット制御装置７がロボット装置１の制御に用いる固有の座標定義（ロボットアーム１０と移動台車９の接続部を中心とした座標）を使用する。

そして、図７Ａに示すように、ロボット座標が作業対象物座標のｘ軸の正方向、ｙ軸の負方向に移動した後に９０度回転した状態を基準状態とする。

図７Ｂに示す状態のロボット座標は、基準状態に対し作業対象物座標のｘ軸の正方向とｙ軸の正方向に移動した後、‐９０度回転した相対座標と推定する。

図７Ｃに示す状態のロボット座標は、作業対象物座標のｘ軸の正方向とｙ軸の正方向に移動した後、ロボット座標のｙ軸を中心に反転した相対座標と推定する。なお、ロボット座標はロボット装置１の移動台車９の移動量に基づく自己位置推定結果を用いて、作業現場全体に対するグローバル座標を求め、グローバル座標における作業対象物の座標の差分から求めるように構成していてもよい。

ステップＳ１０３では環境情報変換部８６６における画像の変換量を設定する。

図７Ｂに示す状態において、作業対象物２ａ、２ｂの撮像結果が図７Ａに示す基準状態と同様になるためには、画像をカメラ基準座標のｘ軸の負方向とｙ軸の正方向に移動した後、‐９０度回転すると基準状態と同様な画像となる。このため、変換量をカメラ基準座標のｘ軸の負方向とｙ軸の正方向への移動と‐９０度の回転と設定する。

図７Ｃに示す状態において、作業対象物２ａ、２ｂの撮像結果が図７Ａに示す基準状態と同様になるためには、画像をカメラ基準座標のｘ軸を中心に反転すると、基準状態と同様の画像となるので、変換量をカメラ基準座標のｘ軸を中心とした反転と設定する。

ステップＳ１０４では環境情報変換部８６６におけるロボット状態の変換量を設定する。

図７Ｂに示す状態において、作業対象物座標とロボット座標の相対位置が図７Ａに示す基準状態と同様になるためには、ロボット座標をロボット座標上で９０度回転した後、ｘ軸の負方向とｙ軸の正方向に移動すると基準状態と同様な位置関係になるので、変換量をロボット座標上の９０度の回転とｘ軸の負方向とｙ軸の正方向への移動と設定する。

図７Ｃに示す状態において、作業対象物の座標とロボット座標の相対位置が図７Ａに示す基準状態と同様になるためには、ロボット座標の原点をロボット座標上のｙ軸を中心に反転し、ロボット座標上でｘ軸の負方向とｙ軸の正方向に移動すると基準状態と同様な位置関係になるので、変換量をロボット座標のｙ軸を中心とした反転とロボット座標上のｘ軸の負方向とｙ軸の正方向への移動と設定する。

ステップＳ１０５では制御信号変更部８６７における制御指令の変更量を設定する。制御指令の変更量は、ステップＳ１０４で設定したロボット状態の変換と反対の変換となるように設定する。

次に、ステップＳ１０６では、ロボット装置１に動作指令を出力し、動作の初期位置に移動する。動作の初期位置はモデルパラメータデータ８６３を学習した際の動作の開始点であり、図７Ａに示すように、作業対象物座標上のｘ軸上の正の位置を初期位置として予め設定される。

そして、図７Ｂ、および図７Ｃに示すように、ステップＳ１０１で推定した作業対象物座標における初期位置を設定し、設定した初期位置に対しステップＳ１０５で設定した変換量を用いて変換した位置を目標位置として、ロボット装置１が目標位置へ移動するようにロボット装置１への動作指令を出力する。

なお、ステップＳ１０６における動作指令は一般的な産業用ロボットにおける動作指令でありエンドエフェクタ１１が所定の位置と姿勢に移動するように動作するＰｏｉｎｔ ｔｏ Ｐｏｉｎｔ（ＰｔＰ）による動作指令としてもよく、一般的な軌道計画手法を用いたその他の動作指令としてもよい。

環境情報変換部８６６は、ステップＳ１０７でロボット装置１の環境情報であるカメラ画像とロボット手先位置を取得し、続いてステップＳ１０８で、データ変換調整部８６５がステップＳ１０３とステップＳ１０４で設定した変換量を取得したデータに適用し、出力する。環境情報変換部８６６は、環境センサであるカメラ１２の出力データを、カメラ１２の座標系を基準とした回転または反転する変換を行う。

なお、画像の変換はアフィン変換を用いた画像処理を行うように構成してもよく、ロボット手先位置の変換は同時変換行列を用いた座標の変換を行うように構成してもよい。

動作パターン生成部８６４は、モデルパラメータデータ８６３を適用した学習モデル８５６に環境情報変更部８６６がステップＳ１０８で変更した環境情報を入力し、ステップＳ１０９でロボット装置１の動作指令を推定して生成し、出力する。

制御信号変換部８６７は、ステップＳ１１０でデータ変換調整部８６５がステップＳ１０５で設定した変換量を動作パターン生成部８６４から出力された動作指令に適用し、出力する。データ変換調整部８６５は、環境センサであるカメラ１２の座標系における、作業対象物２ａ、２ｂの基準座標、およびロボット装置１の基準座標を推定し、環境センサであるカメラ１２の座標系に対する、作業対象物２ａ、２ｂ、およびロボット装置１の座標系の位置と姿勢の差分に基づいて、環境情報変換部８６６および制御信号変換部８６７の変換内容を調整する。

動作指令プログラム８６２は、ステップＳ１１１で、制御信号変換部８６７が出力した動作指令を、通信インタフェース８２を介してロボット制御装置７に出力し、続くステップＳ１１２において動作が完了したか判定する。

動作が完了していない場合はステップＳ１０７の前に処理を戻し、動作指令を繰り返し出力する。

そして、ステップＳ１１２において、動作が完了している場合は処理を終了する。
環境情報変換部８６６は、環境センサであるカメラ１２の出力データを、カメンラ１２の座標系を基準とした回転、または反転する変換を行い、制御信号変換部８６７は、ロボット装置１への制御信号を、ロボット装置１の座標系を基準とした回転、または平行移動、または反転する変換を行う。

なお、動作の完了の判断は予め設定した時間が経過したときに動作を終了したと判定してもよく、また、所定の位置に移動したときに動作を終了したと判定するように構成してもよく、他の条件に基づいて動作を終了したと判定してもよい。

なお、説明を簡単にするため、図７Ａ、図７Ｂ及び図７Ｃでは、２次元平面座標における回転と移動に関する変換を用いているが、３次元空間座標による変換にしてもよい。また、ステップＳ１０１、およびステップＳ１０６における作業対象物の座標推定や初期位置の設定は予め設定されているものとしたが、固定された設定に限定される必要はなく、データ収集部８５３で学習用データ８５２を生成する際に作業対象物２ａ、２ｂの座標の定義や初期位置を定義するとともに、座標の定義や初期位置の定義をモデルパラメータデータ８６３に含むように構成してもよく、データ変換調整部８６５は座標の定義や初期位置の定義が含まれたモデルパラメータデータ８６３を読込み、定義された座標の定義や初期位置を用いて変換量を設定されるように構成していてもよい。

このように、本発明の実施例１によれば、ロボット装置１と作業対象物２ａ、２ｂと画像センサであるカメラ１２の位置関係を判別し、学習モデル８５６を学習したときと同様の位置関係となるように環境情報と制御信号を変換することで、環境に対応するための再学習が不要となり、ロボット装置１の動作の教示に関する作業を軽減することができる。

つまり、機械学習された学習モデルを用いる制御システムにおいて、環境センサとロボットと作業対象物のお互いの位置関係が変わる作業環境に適切に対応し、ロボット装置の動作の教示に関する作業を軽減することが可能なロボット装置の制御システム及び制御方法を提供することができる。

また、学習モデル８５６は、ロボット装置１と作業対象物２ａ、２ｂと画像センサ１２の位置関係が変わるなどの、大きく異なる作業状況での動作を学習しようとすると、条件が多岐にわたりモデルの最適化が適切に行われないために動作精度が低下することがあるが、本発明の実施例１を適用することで、学習モデル８５６は作業状況の変化への対応が不要となり、動作精度を向上することができる。

実施例１による制御システムの制御方法を以下に記載する。

ロボットアーム１０と、エンドエフェクタ１１とを有するロボット装置１と、ロボット装置１、及びロボット装置１が取り扱う作業対象物２ａ、２ｂを含むロボット装置１の作業環境に関する環境情報を取得するカメラ（環境センサ）１２と、環境情報とロボット装置１の状態に対するロボット装置１の制御パターンの対応関係を学習し、環境情報とロボット装置１の状態の入力に対応するロボット装置１の制御信号を出力する動作パターン生成部８６４とを有する学習型制御装置８と、を備える制御システムの制御方法であって、カメラ（環境センサ）１２により作業環境を取得して、予め記憶されたロボット装置１及び作業対象物２ａ、２ｂの作業環境基準座標と比較して、取得した作業環境の相対座標を推定し、推定した相対座標と作業環境基準座標とに基づいて、推定した相対座標におけるロボット装置１と作業対象物２ａ、２ｂの画像が作業環境基準座標におけるロボット装置１と作業対象物２ａ、２ｂの画像と同様な位置関係となるためのロボット状態変換量を設定し、ロボット変換量に基づいて、ロボット装置１の制御指令を変換する。

（実施例２）
次に、本発明の実施例２であるロボット装置１の制御システム２００として、学習型制御装置８が、作業対象物２ａ、２ｂと複数のロボット装置１ａ、１ｂの位置関係を推定し、制御指令を変換して出力するともに作業に適切なロボット装置１ａまたはロボット装置１ｂを選択する例を図８乃至図１０を用いて説明する。

図８は、本発明の実施例２を適用したロボット装置１ａ、１ｂの制御システム２００の構成例を示す概略図である。

図８において、制御システム２００は、ロボット装置１ａ（ロボットアーム１０ａとエンドエフェクタ１１ａを備える）と異なるロボット装置１ｂ（ロボットアーム１０ｂとエンドエフェクタ１１ｂａを備える）を有し、２つのロボット装置１ａと１ｂは一つの作業台３上の作業対象物２（２ａ、２ｂ）に対して作業を実行する。

ロボット装置１ａ及びロボット装置１ｂのロボット制御装置７ａ、及び７ｂは、ネットワーク６を介して学習型制御装置８に接続される。

図９は、本発明の実施例２を適用した異なるロボット装置１ａ、１ｂの学習型制御装置８が実行する動作指令プログラム８６２のソフトウェア構成を示す模式図である。

図９において、動作指令プログラム８６２は、実施例１における図５の例に、さらに、データ変換調整部８６５の指示を受けて制御信号変換部８６７が出力する動作指令の出力先をロボット装置１ａまたはロボット装置１ｂのどちらかに切り替える（選択する）制御指令送信先設定部８６８を有するように構成される。つまり、データ変換調整部８６５は、作業対象物２ａ、２ｂと複数のロボット装置１ａ、１ｂの位置関係に基づいて、作業に使用するロボット装置を複数のロボット装置１ａ、１ｂから選択する。

図１０Ａ及び図１０Ｂは、本発明の実施例２を適用した異なるロボット装置１ａ、１ｂのデータ変換調整部８６５と制御指令送信先設定部８６８が動作指令の出力先を切り替える方法を示す概略図である。

図１０Ａは、図７Ａと同じくモデルパラメータデータ８６３を学習した際のロボット装置１と作業対象物２ａおよび２ｂとカメラ１２の位置関係を示している。図１０Ｂは、ロボット装置１ａおよびロボット装置１ｂと作業対象物２ａおよび２ｂとカメラ１２の位置関係を示している。ロボット装置１ａ、１ｂの動作を生成する方法は、以下に示すステップＳ１０２及びＳ１１１以外は、図６に示すフローチャートと同様となる。

データ変換調整部８６５は、図６のステップＳ１０２において、作業対象物２ａ、２ｂに対するロボット装置１ａの相対座標（ロボットａ座標）とロボット装置１ｂの相対座標（ロボットｂ座標）を推定し、それぞれの相対座標における変化量をさらに算出する。

図１０Ｂに示すように、ロボットａ座標は、図１０Ａに示した基準状態の作業対象物座標に対して、移動および回転がない状態である一方、ロボットｂ座標は図７Ｂと同様に、基準状態に対し作業対象物座標の正のｘ方向と正のｙ方向に移動した後、‐９０度回転した相対座標と推定される。これより、ロボット装置１ａを用いて作業を行う場合は、環境情報変換部８６６にて画像を回転させる処理を行うのみで十分であるが、ロボット装置１ｂを用いて作業を行う場合は、画像の回転とロボット状態の入力と動作指令の変換が必要になる。

このとき、ロボット状態の入力と動作指令の変換を行う場合、ロボットアーム１０が実現できない動作目標を出力する可能性があり、作業を遂行できない場合があるので、ロボット状態の入力と動作指令の変換量はなるべく小さい方が望ましい。

データ変換調整部８６５は、それぞれの相対座標における変化量を算出し、変化量が小さいロボット装置１ａまたは１ｂの判別結果を制御指令送信先設定部８６８に出力する。

制御指令送信先設定部８６８は、図６のステップＳ１１１において、制御指令をロボット装置１ａに出力するように、通信インタフェース８２の送信先を変更する。

実施例２によれば、実施例１と同様な効果を得ることができる他、２つのロボット装置１ａと１ｂが一つの作業台３上の作業対象物２（２ａ、２ｂ）に対して作業を実行する場合において、複数のロボット装置１ａ、１ｂに対して環境情報や制御信号の変換量を推定し、変換量が小さいロボット装置１ａ、１ｂを選択することで、ロボットアーム１０が実現不可能となる姿勢になるような動作指令の出力を回避するので、作業成功率を向上することができる。

（実施例３）
次に、本発明の実施例３について説明する。

本発明の実施例３であるロボット装置１の制御システムとして、複数の環境情報変換部８６６ａ、８６６ｂ・・・、および制御信号変換部８６７ａ、８６７ｂ・・・の変換結果から適切な変換量を推定する例図１１を用いて説明する。

図１１は、本発明の実施例３を適用した異なるロボット装置の学習型制御装置８が実行する動作指令プログラム８６２のソフトウェア構成を示す模式図である。

図１１において、動作指令プログラム８６２は、予め変換量が設定された複数の環境情報変換部８６６ａ、８６６ｂ・・・と、複数の制御信号変換部８６７ａ、８６７ｂ・・・と、複数の動作パターン生成部８６４ａ、８６４ｂ・・・とを備え、複数の環境情報変換部８６６ａ、８６６ｂ・・・からの変換画像と、複数の動作パターン生成部８６４ａ、８６４ｂ・・・からの予測画像をデータ変換調整部８６５に入力するように構成する。複数の環境情報変換部８６６ａ、８６６ｂ・・・からの変換画像は、複数の動作パターン生成部８６４ａ、８６４ｂ・・・に出力され、複数の動作パターン生成部８６４ａ、８６４ｂ・・・からの予測画像は、複数の制御信号変換部８６７ａ、８６７ｂ・・・に出力される。

そして、データ変換調整部８６５の出力結果に基づいて複数の制御信号変換部８６７の出力結果から１つの制御信号を選択する制御信号選択部８６９をさらに備えるように構成される。制御信号選択部８６９は、選択した制御信号をロボット動作指令として通信インタフェース８２に出力する。

動作パターン生成部８６４ａ、８６４ｂ・・・の内部の学習モデル８５６は制御信号の推定結果とともに、入力されたカメラ画像を予測（再現）した予測画像をさらに出力するように構成する。

このとき、学習モデル８５６は、入力したカメラ画像が学習した時と同様の画像であれば入力した画像を精度よく再現するが、学習した時と異なる環境の画像を入力された場合、学習時の画像を再現しようとし、入力したカメラ画像と異なる画像を出力する。

換言すれば、入力された画像と予測画像の差分を取ることで、現在の環境が学習時とどの程度近い環境であるかを判定することができる。

データ変換調整部８６５は、複数の環境情報変換部８６６ａ、８６６ｂ・・・により変換された画像と、変換された画像に対応する複数の予測画像の組み合わせ（ペア）の差分を取り、差分が最も小さい組合せを判別し、判別した環境情報の変換内容となるように制御信号選択部８６９の選択を変更する指示を出力する。

なお、説明を簡単にするため予め変換量が設定された複数の環境情報変換部８６６ａ、８６６ｂ・・・の中から変換画像と予測画像の差分が最も小さい組合せを選択する構成としたが、予め定められた設定でなくてもよく、設定値を変更しながら繰り返し演算を行い、変換画像と予測画像の差分が最も小さくなる設定値を探索する構成としてもよいことは明白である。

このように、実施例３によれば、実施例１と同様な効果を得ることができる他、学習モデルの予測結果を用いて変換内容を選択するように構成することで、学習モデルにより適合する変換内容を適用することができ、ロボット装置１の動作精度を向上することができる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。

例えば、本実施例１～３の説明に用いたロボットアーム１１は垂直多関節型ロボットとして図示しているが、直交座標型ロボット、水平多関節型ロボット、パラレルリンクロボット等であっても良い。ロボット装置１の作業状況を計測するデバイス（環境センサ）としてカメラ１２以外の機器を用いてもよく、例えばレーザーを用いた測距計であるＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いて、作業対象物２や周囲の物体の形状を計測することで環境条件を計測するように構成してもよいことは明白である。

また、実施例２において、ロボット装置１ａ、１ｂの２つのみならず、２つ以上とすることもできる。

また、動作パターン生成部８６４は、カメラ１２の撮像画像とロボットアーム１０の手先位置の情報に基づいて目標手先位置を動作指令として出力しているが、ロボットアーム１０の関節角度に基づいて目標関節角度を動作指令として出力しても良い。

また、一定のサンプリング周期で動作するように構成し、手先位置の相対移動量（１サンプリングの動作量）を動作指令として出力するように構成していても良い。

さらに、学習用データ８５２やモデルパラメータデータ８６２はネットワーク６を介して、他の現場における学習型制御装置８と共有するように構成してもよいことは明白である。

１、１ａ、１ｂ・・・ロボット装置、２、２ａ、２ｂ・・・作業対象物、３・・・作業台、６・・・ネットワーク、７・・・ロボット制御装置、８・・・学習型制御装置、９・・・移動台車、１０、１０ａ、１０ｂ・・・ロボットアーム、１１、１１ａ、１１ｂ・・・エンドエフェクタ、１２・・・カメラ、７１、８１・・・制御装置、７２、８２・・・通信インタフェース、７３・・・制御インタフェース、７４、８４・・・記憶装置、８３・・・入力装置、１００、２００・・・制御システム、８５１・・・学習プログラム、８５２・・・学習用データ、８５３・・・データ収集部、８５４・・・データ記録指示部、８５５・・・学習処理部、８５６・・・学習モデル、８５７・・・パラメータ更新量演算部、８６１・・・工程実行プログラム、８６２・・・動作指令プログラム、８６３・・・モデルパラメータデータ、８６４・・・動作パターン生成部、８６５・・・データ変換調整部、８６６・・・環境情報変換部、８６７・・・制御信号変換部、８６９・・・制御信号選択部

Claims (10)

1. １つ以上の関節で構成されたロボットアームと、エンドエフェクタとを有するロボット装置と、
   前記ロボット装置、及び前記ロボット装置が取り扱う作業対象物を含む前記ロボット装置の作業環境に関する環境情報を取得する環境センサと、
   前記環境情報と前記ロボット装置の状態に対する前記ロボット装置の制御パターンの対応関係を学習し、前記環境情報と前記ロボット装置の状態の入力に対応する前記ロボット装置の制御信号を出力する動作パターン生成部と、を有する学習型制御装置と、
   を備え、
   前記学習型制御装置は、さらに、
   前記環境センサの出力に基づいて、前記動作パターン生成部の入出力データが、前記動作パターン生成部が学習したときと同様なデータになる変換内容を判定し出力するデータ変換調整部と、
   前記環境情報、および前記ロボット装置の状態の入力を、前記データ変換調整部が判定した変換内容に基づいて変換し、前記動作パターン生成部へ出力する環境情報変換部と、
   前記動作パターン生成部の出力内容を、前記データ変換調整部が判定した変換内容に基づいて変換し、前記ロボット装置へ出力する制御信号変換部と、
   を備えることを特徴とする制御システム。
2. 請求項１に記載の制御システムにおいて、
   前記データ変換調整部は、前記環境センサの座標系における、前記作業対象物の基準座標および前記ロボット装置の基準座標を推定し、前記環境センサの座標系に対する、前記作業対象物および前記ロボット装置の座標系の位置と姿勢の差分に基づいて、前記環境情報変換部および前記制御信号変換部の変換内容を調整することを特徴とする制御システム。
3. 請求項１に記載の制御システムにおいて、
   前記環境情報変換部は、前記環境センサの出力データを、前記環境センサの座標系を基準とした回転、または反転する変換を行い、
   前記制御信号変換部は、前記ロボット装置への制御信号を、前記ロボット装置の座標系を基準とした回転、または平行移動、または反転する変換を行うことを特徴とする制御システム。
4. 請求項１に記載の制御システムにおいて、
   前記ロボット装置は、２つ以上のロボット装置を有し、
   前記データ変換調整部は、前記作業対象物と前記複数のロボット装置の位置関係に基づいて、作業に使用するロボット装置を前記複数のロボット装置から選択する制御指令送信先設定部を備えることを特徴とする制御システム。
5. 請求項１記載の制御システムにおいて、
   前記動作パターン生成部は、前記環境情報と前記ロボット装置の状態の入力に対応する前記ロボット装置の制御信号と前記環境情報の予測情報をさらに出力し、
   前記学習型制御装置は、変換内容が異なる複数の環境情報変換部と制御信号変換部を有し、
   前記データ変換調整部は、前記複数の環境情報変換部を介して得られる前記動作パターン生成部の複数の環境情報の予測情報と、前記環境センサが出力する環境情報を比較し、最も一致する前記環境情報変換部の変換内容を選択する制御信号選択部を備えることを特徴とする制御システム。
6. ロボットアームと、エンドエフェクタとを有するロボット装置と、前記ロボット装置、及び前記ロボット装置が取り扱う作業対象物を含む前記ロボット装置の作業環境に関する環境情報を取得する環境センサと、前記環境情報と前記ロボット装置の状態に対する前記ロボット装置の制御パターンの対応関係を学習し、前記環境情報と前記ロボット装置の状態の入力に対応する前記ロボット装置の制御信号を出力する動作パターン生成部とを有する学習型制御装置と、を備える制御システムの制御方法であって、
   前記環境センサにより、前記作業環境を取得して、予め記憶された前記ロボット装置及び前記作業対象物の作業環境基準座標と比較して、取得した前記作業環境の相対座標を推定し、
   前記推定した相対座標と前記作業環境基準座標とに基づいて、前記推定した相対座標における前記ロボット装置と前記作業対象物の画像が前記作業環境基準座標における前記ロボット装置と前記作業対象物の画像と同様な位置関係となるためのロボット状態変換量を設定し、
   前記ロボット変換量に基づいて、前記ロボット装置の制御信号を変換することを特徴とする制御システムの制御方法。
7. 請求項６に記載の制御システムの制御方法において、
   前記環境センサの座標系における、前記作業対象物の基準座標および前記ロボット装置の基準座標を推定し、前記環境センサの座標系に対する、前記作業対象物および前記ロボット装置の座標系の位置と姿勢の差分に基づいて、前記ロボット装置の前記制御信号の変換内容を調整することを特徴とする制御システムの制御方法。
8. 請求項６に記載の制御システムの制御方法において、
   前記環境センサの出力データを、前記環境センサの座標系を基準とした回転、または反転する変換を行い、
   前記ロボット装置への制御信号を、前記ロボット装置の座標系を基準とした回転、または平行移動、または反転するように変換することを特徴とする制御システムの制御方法。
9. 請求項６に記載の制御システムの制御方法において、
   前記ロボット装置は、２つ以上のロボット装置を有し、
   前記作業対象物と前記複数のロボット装置の位置関係に基づいて、作業に使用するロボット装置を前記複数のロボット装置から選択することを特徴とする制御システムの制御方法。
10. 請求項６記載の制御システムの制御方法において、
    前記環境情報と前記ロボット装置の状態に対応する前記ロボット装置の制御信号と前記環境情報の予測情報を出力し、
    複数の環境情報の予測情報と、前記環境センサが出力する前記環境情報を比較し、最も一致する環境情報の変換内容を選択するように変換内容を調整することを特徴とする制御システムの制御方法。

Images