JP2021094677A - ロボット制御装置、ロボット制御方法、プログラム及び学習モデル - Google Patents

Abstract

【課題】個々の工程を組み合わせた作業をロボットに実行させる場合に、工程を実行可能な手段の組み合わせを人手によらず定めることが可能なロボット制御装置を提供する。【解決手段】本実施形態に係るロボット制御装置は、複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置であって、複数の作業工程のうちの作業工程ごとに１つ以上のロボットの動作を制御する第１制御手段と、複数の作業工程のなかで第１制御手段を実行する組み合わせ及び順序を特定して、組み合わせ及び順序でそれぞれの第１制御手段を動作させる第２制御手段と、を有する。【選択図】図２

Description

本発明は、ロボット制御装置、ロボット制御方法、プログラム及び学習モデルに関する。

近年、ロボットが歩行したり特定の物体をつかむなどの複雑な作業を行うロボット制御に、例えばニューラルネットワークなどの機械学習技術を適用する技術が知られている（特許文献１）。歩行や把持は複雑であるがそれぞれ一つの作業と考えることができる一方で、人間の行う作業には、物体を把持したり移動したりする作業を組み合わせた複数の工程により一つの目的を実現するような作業が存在する。そして、複数の工程により一つの目的を実現するような複雑な作業をロボット制御において実現するための有効な技術が模索されている。

再表２００４／０３３１５９号公報

複数の工程からなる作業をロボット制御により実現するために、人間が作業を予め分解し、各作業に特化したニューラルネットワークを人手で予め設定することで上記制御を実現する方法が考えられる。しかしながら、工程の数が多くなったり選択可能な処理の数が増大して組み合わせが複雑になると、人手により予め定めることが困難になる。

本発明は、上記課題に鑑みてなされ、その目的は、個々の工程を組み合わせた作業をロボットに実行させる場合に、工程を実行可能な手段の組み合わせを人手によらず定めることが可能な技術を提供することである。

本発明によれば、
複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置であって、
前記複数の作業工程のうちの作業工程ごとに前記１つ以上のロボットの動作を制御する第１制御手段と、
複数の作業工程のなかで前記第１制御手段を実行する組み合わせ及び順序を特定して、前記組み合わせ及び順序でそれぞれの前記第１制御手段を動作させる第２制御手段と、を有することを特徴とするロボット制御装置が提供される。

本発明によれば、個々の工程を組み合わせた作業をロボットに実行させる場合に、工程を実行可能な手段の組み合わせを人手によらず定めることが可能になる。

本発明の実施形態に係るロボット制御装置の機能構成例を示すブロック図 本実施形態に係るロボット制御処理のための構成例を説明する図 本実施形態に係るロボット制御処理のための単体の学習モデルの構成例を説明する図 本実施形態に係るロボット制御における作業工程の学習の例を説明する図 本実施形態に係る作業工程に対応する学習モデルの例を説明する図（１） 本実施形態に係る作業工程に対応する学習モデルの例を説明する図（２） 本実施形態に係る、学習段階におけるロボット制御処理の一連の動作を示すフローチャート 本実施形態に係る、学習段階における下位階層のモデルの制御動作を示すフローチャート 本実施形態に係る、学習済み段階におけるロボット制御処理の一連の動作を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜ロボット制御装置の構成＞
次に、図１を参照して、本実施形態に係るロボット制御装置１００の機能構成例について説明する。なお、以降の図を参照して説明する機能ブロックの各々は、統合されまたは分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。

電源部１０１は、例えばリチウムイオンバッテリ等で構成されるバッテリを含み、ロボット制御装置１００内の各部に電力を供給する。通信部１０２は、例えば通信用回路等を含む通信デバイスであり、例えばＷｉＦｉ通信、或いはＬＴＥ−Ａｄｖａｎｃｅｄ等や所謂５Ｇとして規格化された移動体通信を介して外部のサーバなどと通信する。例えば、外部のサーバから、後述するモデル情報に更新がある場合などに最新のモデル情報を取得してよい。

センサ部１０３は、ロボット制御装置１００によって制御されるロボットアーム（不図示）のマニピュレータの動作や姿勢を計測する各種センサを含む。ロボットアームは、例えば、物体（オブジェクト）を把持するための複数の指と、把持したオブジェクトを振ったり移動させたするための多関節のアームとを含み、例えば、ロボット制御装置１００と一体的に構成される。ロボットアームは、１つに限らず複数あってよい。本実施形態に係るロボットアームは、例えば、食材、調理道具、調味料などを把持し、振ったり、移動させることができる既知のロボットアームを用いることができる。

各種センサは、例えば、ロボットアームの各関節の角度、及び指やアームの加速度を計測するセンサを含む。そのほか、ロボットアームの姿勢を（複数の方向から）撮像する撮像センサと、ロボットアームが扱うオブジェクトの位置や状態を（複数の方向から）撮影する撮像センサとを含み、センサ部１０３は撮像した画像情報を出力する。

ロボットアーム駆動部１０４は、１つ以上のロボットアームのそれぞれのアームや指の動作を駆動させるマニピュレータを含む。ロボットアーム駆動部１０４は、１つ以上のロボットアームのそれぞれを独立して駆動することができる。本実施形態はロボットアーム（及びロボットアーム駆動部１０４とロボットアームに係るセンサ）がロボット制御装置１００に含まれる場合を例に説明するが、ロボットアームがロボット制御装置１００と別体で構成されてもよい。

記憶部１０５は、半導体メモリなどの不揮発性の大容量のストレージデバイスであり、センサ部１０３で収集されたセンサデータを一時的或いは永続的にに記憶する。また、記憶部１０５はモデル情報ＤＢ２２０を含み、後述する複数の強化学習モデルのそれぞれの学習モデルの情報を含む。学習モデルの情報は、例えば、学習モデルのプログラムコード、学習済みパラメータの情報、各強化学習モデルが位置付けられてる階層構造の情報などを含む。なお、本実施形態では、学習済みパラメータの情報は、ニューラルネットワークのニューロン間の重み付けパラメータの値を指す場合を例に説明する。しかし、他の機械学習モデルが用いられる場合にはその学習モデルに応じたパラメータの値が用いられてよい。

各強化学習モデルは、ロボットアームの動作を制御する強化学習モデルと、下位階層の複数の強化学習モデルの実行を制御する上位階層の強化学習モデルとを含む。下位階層の強化学習モデルは、その一つ一つが、ロボットアームがオブジェクトを把持して動かすような、例えば「卵をつかむ」、「卵の殻を割る」、「塩をふる」、「フライパンに油を注ぐ」などの１つ１つの作業をさせる。

制御部２００は、例えば、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２を含み、ロボット制御装置１００の各部の動作を制御する。また、制御部２００は、センサ部１０３からのセンサデータや学習モデルの情報に基づいて、ロボット制御処理の学習段階の処理や学習済み段階の処理を実行する。制御部２００は、ＣＰＵ２１０がＲＯＭ２１２に格納されたコンピュータプログラムを、ＲＡＭ２１１に展開、実行することにより、制御部２００内の各部の機能を発揮させる。

ＣＰＵ２１０は、１つ以上のプロセッサを含む。ＲＡＭ２１１は、例えばＤＲＡＭ等を含み、ＣＰＵ２１０のワークメモリとして機能する。ＲＯＭ２１２は、不揮発性の記憶媒体で構成され、ＣＰＵ２１０によって実行されるコンピュータプログラムや制御部２００を動作させる際の設定値などを記憶する。なお、以下の実施形態では、ＣＰＵ２１０がロボット動作制御部２１４の処理を実行する場合を例に説明するが、ロボット動作制御部２１４の処理は不図示の１つ以上の他のプロセッサ（例えばＧＰＵ）で実行されてもよい。

モデル情報取得部２１３は、記憶部１０５に記憶されている学習モデルの情報の中から、ロボット動作制御部２１４の動作に必要な、階層ごとの学習モデルの情報を取得して、ロボット動作制御部２１４に供給する。階層ごとの学習モデルの情報は、上位階層の強化学習モデルが学習された際に特定されて、記憶部１０５に記憶される。

ロボット動作制御部２１４は、例えば深層強化学習などの機械学習アルゴリズム（強化学習モデル）の演算を行って、ロボットアーム駆動部１０４に制御変数を出力することにより、ロボットアームの動作を制御する。また、ロボット動作制御部２１４は、階層構造を有する複数の強化学習アルゴリズムについて、例えば、上位階層の強化学習アルゴリズムを実行することにより、下位階層の複数の強化学習アルゴリズムを最適な組み合わせ及び順序で実行させる。これにより、ロボットアームに複数の工程からなる一連の作業を実行させる。ロボット動作制御部２１４は、学習段階の処理では、下位階層の強化学習アルゴリズムの組み合わせ及び実行順序を、試行錯誤を通して学習する。

＜階層的に強化学習モデルを用いたロボット制御処理の概要＞
次に、図２を参照して、階層的に強化学習モデルを用いたロボット制御処理の概要について説明する。

本ロボット制御処理では、上位の強化学習モデルが、下位の強化学習モデルの中から実行すべき強化学習モデルを選択し、実行する強化学習モデルを適切なタイミングで活性化しながらロボットアームの動作を制御する。

図２の例では、例えば、上位階層の強化学習モデル２５１を実行することにより、当該学習モデルより下位階層の１つ以上の強化学習モデル（例えば、強化学習モデル２５３）の実行を制御する構成を示している。

強化学習モデル２５１は、下位階層の強化学習モデル２５３に対して選択信号を提供することにより、複数の強化学習モデルを選択する。そして、下位階層の強化学習モデル２５３を活性化させ（すなわちロボットアームを動作させ）、この強化学習モデル２５３の実行が終了（すなわち非活性化）すると、別の強化学習モデル２５３を活性化する。このようにして、ロボットアームの１つの作業を実行させる下位の強化学習モデルを組み合わせて、複数の作業を含む一連のロボットアームの動作を制御する。

上位階層にある強化学習モデル２５１は、例えば、図４に示すような、下位階層の強化学習モデル２５３によって実行される作業の組み合わせと順序を制御する。例えば、強化学習モデル２５１は、複数の作業が含まれる「卵焼きを焼く」作業をロボットアームに実行させる強化学習モデルである。下位階層の強化学習モデルのそれぞれは、「卵を割る」作業４０１、「塩をふる」作業４０２、「フライパンに油を注ぐ」作業４０３、「フライパンに卵を注ぐ」作業４０４などの個々の作業をロボットアームに実行させる。

図４に示す例は、強化学習モデル２５１が「卵焼きを焼く」作業を強化学習を用いて学習する過程を示している。例えば、作業ｎ回目では、（下位階層の強化学習モデルに）「卵を割る」作業４０１、「塩をふる」作業４０２、「フライパンに油を注ぐ」作業４０３、「フライパンに卵を注ぐ」作業４０４などを順番にロボットアームに実行させている。４０１〜４０４などの各作業では、下位階層の対応する強化学習モデルがロボットアームに対応する作業を行わせる。強化学習モデル２５１が実行させた複数の下位階層の一連の動作（エピソードともいう）が完了すると、報酬決定部２５２は、実行した結果として得られる環境の状態（実績値）と目標値との乖離に基づいて、強化学習アルゴリズムに与える報酬を出力する。

強化学習モデル２５１は、より上位階層の強化学習モデルから、卵焼きを焼く作業の目標値として、例えば、焼いた卵焼きの画像情報を取得している。目標値となる画像情報は、例えば予め撮影された画像であってよく、強化学習モデル２５１がモデル情報ＤＢ２２０から取得した画像を、環境に応じて明るさや色を補正してもよい。

報酬決定部２５２は強化学習モデル２５１に報酬を与えるモジュールであり、下位階層の強化学習モデルを制御した結果として得られた卵焼きの画像情報を実績値として取得する。報酬決定部２５２は、目的地と実績値との乖離に基づいて、強化学習モデル２５１に与える報酬を決定する。例えば、報酬決定部２５２は、目標値である卵焼きの画像と実績値である卵焼きの画像との相違（例えば、卵焼きの色、形、大きさなど）に基づいて、その乖離に応じた報酬を強化学習モデル２５１に入力する。

強化学習モデル２５１は、例えば、報酬決定部２５２から出力された報酬（目標値と実績値との乖離に基づく報酬）に基づいて、強化学習モデルで用いる方策のパラメータを修正する。そのうえで、作用ｎ＋１回目の作業では、「卵を割る」作業４０１の後に、「コショウをふる」作業４０５の作業を行うようにしている。また、「フライパンに油を注ぐ」作業４０３の後に、「待つ」作業４０６を実行し、そのうえで、「フライパンに卵を注ぐ」作業４０４を行うようにしている。このように、強化学習モデル２５１は、下位階層の強化学習モデルの組み合わせについて試行錯誤を行って、最適な作業工程を学習する。

図５には、上位階層の学習モデルと下位階層の学習モデルとの関係の例を示している。例えば、上位階層ｍの「卵を割る」作業４０１は、「卵をつかむ」作業５０１と、「卵の殻を割る」作業５０２と、「割った卵を容器に入れる」作業５０３などの下位階層（ｍ−１）の強化学習モデルを動作させて実現される。図５には図示していないが、「塩をふる」作業４０２や「フライパンに油を注ぐ」作業４０３なども、下位階層にその作業を実行するためのそれぞれの強化学習モデルが関連付けられている。このように、上位階層ｍで用いられる作業４０１〜４０４等を実行するために、下位階層の各作業が実行される。例えば、下位階層ｍ−１が最も下位の階層である場合、この強化学習モデルはロボットアームを制御するように構成されている。

強化学習モデルの階層関係は、例えば、図６に示すように、予め定められていてよく、モデル情報ＤＢに、各強化学習モデルが位置付けられてる階層構造の情報として含まれてよい。例えば、上述の「卵をつかむ」作業５０１と、「卵の殻を割る」作業５０２と、「割った卵を容器に入れる」作業５０３などのための強化学習モデルは、「卵を割る」作業４０１のための強化学習モデルより下位に位置づけられる。また、階層ｍ＋１の上位階層には、「卵を割る」作業を含んだより工程の長い作業（例えば、卵焼きを作る作業）のためのモデルが位置づけられている。例えば、「卵焼きを作る（厚み大）」６０１、「卵焼きを作る（厚み小）」６０２、及び「卵入りのスープを作る」６０３のための各モデルは、「卵を割る」作業４０１のためのモデルを含む、より上位階層のモデルである。

例えば、ユーザが、「卵焼きを作る（厚み大）」ための作業をロボット制御装置１００に指示した場合、「卵焼きを作る（厚み大）」作業６０１に係る強化学習モデルは、階層ｍにおける複数の強化学習モデルを選択する。そして、学習済みの組み合わせ及び順序に基づいて、階層ｍの選択された強化学習モデルを順に活性化・不活性化して、ロボットアームに「卵を割る」作業４０１や「塩をふる」作業４０２などを実行させる。「卵を割る」作業４０１の強化学習モデルは、活性化されると、更に下位階層のモデルにロボットアームを制御させて、卵をつかむ、卵の殻を割る、などの一連の動作を行わせる。

モデル情報ＤＢ２２０に格納される各階層の強化学習モデルの情報は、例えば、強化学習による学習を終えた学習済みの強化学習モデルとしてプログラムコードや学習済みのパラメータを含む。強化学習モデルがロボットアームを用いた実環境において学習済みとなっていてもよいし、外部にある情報処理サーバにおいて、シュミレーションによって学習済み状態となっていてもよい。学習済みの下位階層の学習モデルがモデル情報ＤＢに格納されていれば、上位階層の強化学習モデルは、学習済みの下位階層のモデルを用いて学習を進めることができる。このため、全階層のモデルを学習させる場合と比較して大幅に学習効率が向上する。それぞれの強化学習モデルは、学習の際に探索と活用を繰り返して、使用する下位階層の強化学習モデルを自律的に特定することができるため、人手を用いて下位階層のモデルを設定する必要がない。

再び図２を参照すると、下位階層の強化学習モデル２５３は、ロボットアーム駆動部１０７に制御変数を出力して、例えばロボットアームがオブジェクトを把持したり移動させたりするように制御する。すなわち、図５に示した「卵をつかむ」作業５０１の例では、強化学習モデル２５３は、（ロボットアーム駆動部１０７により）ロボットアームを制御してロボットアームが卵をつかむように制御する。

ロボットアームが動作すると、センサ部１０３は、関節角や加速度、或いはロボットアームの姿勢を撮影した画像、オブジェクトの姿勢（例えば卵）を撮影した画像などを取得して、環境からのフィードバックを取得する。また、後述する１エピソード分の制御を行ったタイミングで環境から取得するフィードバックは実績値として報酬決定部２５４における報酬の算出に用いられる。

更に、図３を参照して、強化学習モデル２５３のより詳細な構成例を説明する。なお、出力の形式（すなわち出力に係るニューラルネットワークの構成）は上位階層の強化学習モデルの出力の形式と異なり得るものの、当該強化学習モデル２５３に入力される入力信号や、出力層以外のニューラルネットワークの構成は同様であってよい。

本実施形態に係る強化学習モデル２５３は、上位階層の強化学習モデル２５１から選択信号３０４によって選択されると、記憶部１０５のモデル情報ＤＢから読み出される。そして、強化学習モデル２５３は、上位階層の強化学習モデル２５１からの使用待ち状態、すなわちインアクティブ（不活性状態）となる。

また強化学習モデル２５３は、上位階層の強化学習モデル２５１からの活性化フラグが１である活性化信号が入力されている間には、アクティブ（活性状態）となってニューラルネットワークによる演算や情報の出力を行う。再び活性化フラグが０になると、その間はインアクティブ（不活性状態）となり、ニューラルネットワークの演算を行ったり、出力情報を出力することはしない。

強化学習モデル２５３は、更に、上位階層の強化学習モデル２５１から、目標値３０５を入力として取得する。上述したように目標値３０５は、例えば、対応する強化学習モデルを実行した際に得るべき目標値を表す画像情報である。

強化学習モデル２５３は、目標値３０５と、センサデータ（姿勢情報）３０６と、センサデータ（オブジェクト撮影画像）３０７とを入力し、ニューラルネットワーク３１０及びニューラルネットワーク３０１とを用いた演算を行う。強化学習モデル２５３が直接的にロボットアーム駆動部１０７を制御するモデルである場合、ニューラルネットワークの演算結果は、当該ロボットアーム駆動部１０７を制御するための制御変数を出力する。一方、強化学習モデル２５３がロボットアーム駆動部１０７を直接的に制御しないモデルである場合、下位階層のモデルを制御するための選択信号と活性化信号と目標値とを出力する。

ニューラルネットワーク３０１は、入力に応じて強化学習モデルの方策を出力するニューラルネットワークである。一方、ニューラルネットワーク３１０は、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのネットワーク構造を有する。例えば、入力画像に畳み込み処理とプーリング処理を段階的に施して、画像情報の優位な特徴量を抽出し、抽出した特徴量をニューラルネットワーク３０１に入力する。

センサデータ３０６及び３０７は、強化学習における環境の状態（ｓ_ｔ）に相当し、制御変数（或いは、選択信号、活性化信号及び目標値）は、環境に対する行動（ａ_ｔ）に相当する。また、行動（ａ_ｔ）がロボットアーム駆動部１０７により実行されると、センサ部１０３は、時刻ｔ＋１におけるセンサデータを取得して、制御部２００に出力する。強化学習では、この新たなセンサデータは、環境における状態（ｓ_ｔ＋１）に相当する。

学習段階では、強化学習モデル２５３は、１エピソードごと（強化学習モデル２５３が目的を果たすための一連の動作をいう。例えば「卵をつかむ」など）に、上述の実績値と目標値との乖離から得られる報酬を入力する。そして、入力した報酬に応じて、例えば、ニューラルネットワーク３０１を構成するニューロンの重み付けパラメータをバックプロパゲーションにより変更する。

＜学習段階におけるロボット制御処理に係る一連の動作＞
次に、ロボット制御装置１００におけるロボット制御処理の一連の動作について、図７を参照して説明する。本処理は、ある階層の１つの強化学習モデルの学習段階の処理を示している。なお、モデル情報取得部２１３及びロボット動作制御部２１４などの制御部２００内の構成による処理は、ＣＰＵ２１０がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１１に展開、実行することにより実現される。また、本実施形態の例では、本処理の対象である強化学習モデルの階層より下位階層の動作は、学習済みの強化学習モデルによって実行されるものとする。この場合、下位階層の強化学習モデルにおいて試行錯誤を含む学習を行う必要がないため、上位階層のモデルの学習を効率的かつ高速に行うことができる。

Ｓ７０１において、ロボット動作制御部２１４は、対象となる処理が最下層の強化学習モデルによる処理であるかを判定する。ロボット動作制御部２１４は、モデル情報取得部２１３が取得したモデル情報ＤＢの階層構造の情報に基づいて、対象となる処理が最下層の強化学習モデルによる処理であると判定した場合、処理をＳ７０３に進める。最下層の強化学習モデルは、ロボットアームを直接制御するための、最もプリミティブな強化学習モデルであり、下階層に他の強化学習モデルを有しない。一方、ロボット動作制御部２１４は、対象となる処理が最下層の強化学習モデルによる処理でないと判定した場合、処理をＳ７０２に進める。

Ｓ７０２において、ロボット動作制御部２１４は、現時点の方策に基づいて、下位階層の強化学習モデルに対する活性化信号等を出力（すなわち行動ａ_ｔに相当）し、下位階層の強化学習モデルの動作を制御する。なお、下位階層の強化学習モデルの動作を制御する処理の詳細については、図８を参照して後述する。一方、Ｓ７０３では、ロボット動作制御部２１４は、最下層の強化学習モデルによる処理であるため、現時点の方策に基づいて、ロボットアームに対する制御変数を出力（すなわち行動ａ_ｔに相当）する。

Ｓ７０４において、ロボット動作制御部２１４は、１エピソードの制御を終了したかを判定する。例えば、「卵を割る」作業４０１であれば、１エピソードは、「卵をつかむ」作業５０１から、例えば「卵の殻を捨てる」作業５０４までの作業が終了した場合に、１エピソードの制御が終了したと判定する。すなわち、ロボット動作制御部２１４は、選択された強化学習モデルによる全ての動作が終了した場合、１エピソードの制御が終了したと判定する。ロボット動作制御部２１４は、１エピソードの制御が終了していないと判定した場合、エピソードの制御を終了させるまで処理を繰り返すため、Ｓ７０１に戻る。一方、１エピソードの制御が終了したと判定した場合、処理をＳ７０５に進める。

Ｓ７０５において、ロボット動作制御部２１４は、所定のエポック数の制御が終了したかを判定する。所定のエポック数は、１エピソードの制御を何回繰り返すかを定めたハイパーパラメータである。所定のエポック数は、実験等によって定められる、十分にニューラルネットワークの重みパラメータが最適化された値に収束する回数であって且つ過学習を起こさない程度の適切な値である。ロボット動作制御部２１４は、予め定められたエポック数の制御を繰り返したと判定した場合、学習段階の処理は終了したと判定することができるため、本一連の処理を終了する。一方、所定のエポック数の制御が終了していないと判定した場合、処理をＳ７０６に進める。

Ｓ７０６において、ロボット動作制御部２１４の報酬決定部２５２（又は報酬決定部２５４）は、センサ部１０３から出力されるセンサデータに基づいて、エピソード終了時（時刻ｔ＋ｘ）における目標値との差を取得する。上述したように、報酬決定部２５２又は２５４は、目標値として与えられている画像情報と、センサ部１０３から取得されるオブジェクト及びロボットアームの姿勢を撮影した画像情報とを比較する。このとき、報酬決定部は、単に画像情報を比較だけでなく、画像内のオブジェクトの種類、姿勢、色、大きさを認識したうえで、目標値と比較してもよい。

Ｓ７０７において、報酬決定部２５２（又は報酬決定部２５４）は、センサデータと目標値との差に基づいて、報酬ｒ_ｔ＋ｘを算出する。報酬は、例えば、時刻ｔ＋ｘのセンサデータ（実績値）と目標値との相違が小さくなるほど報酬が高くなるように設定することができる。目標値と実績値の差が小さくなるようにする報酬の決定方法であれば任意の方法を用いることができ、公知の方法であってよい。

Ｓ７０８において、ロボット動作制御部２１４は、強化学習モデルにおいて用いられる方策に係るニューラルネットワーク（例えばニューラルネットワーク３０１）の重み付けパラメータを、報酬を最大化するように変更する。ロボット動作制御部２１４は、ニューラルネットワークの重み付けパラメータを変更すると、処理をＳ７０１に戻す。このように、図７に示すロボット制御処理では、本実施形態に係る単一の強化学習モデルが、学習段階において目標値と実績値との相違に基づいて学習を進めることができる。

＜下位階層の強化学習モデルの制御処理に係る一連の動作＞
次に、上記Ｓ７０２に相当する、下位階層の強化学習モデルの制御処理の詳細について、図８を参照して説明する。なお、本処理は、図７に示した処理と同様、制御部２００がプログラムを実行することによって実現される。また、本処理は、階層ｎより上の階層の強化学習モデルを学習させる処理である。

Ｓ８０１において、ロボット動作制御部２１４は、モデル情報ＤＢ２２０の階層構造の情報を用いて、処理対象の強化学習モデル（階層ｎ）に対する下位階層（階層ｎ−１）の強化学習モデルのデータを取得する。

Ｓ８０２において、ロボット動作制御部２１４は、上位（階層ｎ）の強化学習モデルが、下位（階層ｎ−１）の強化学習モデルの組み合わせを学習する。すなわち、本ステップの処理は、図４のおいて例示した作業工程の組み合わせを変更して新たな作業工程の組み合わせにおいて制御処理を実行することに相当する。

Ｓ８０３において、ロボット動作制御部２１４は、同階層である階層ｎに他の未処理の強化学習モデルが存在するかを判定する。未処理の強化学習モデルとは、例えば、図５に示した例において、Ｓ８０２で「卵を割る」作業４０１に係る強化学習モデルを制御した場合、行動を出力していない他の強化学習モデル（例えば「塩をふる」作業４０２に対応）が存在する場合を指す。Ｓ８０３において、ロボット動作制御部２１４は、未処理の強化学習モデルが存在する場合、処理をＳ８０５に進める。一方、ロボット動作制御部２１４は、同階層に他の未処理の強化学習モデルが存在しないと判定した場合、処理をＳ８０４に進める。

Ｓ８０４において、ロボット動作制御部２１４は、更に上位（階層ｎ＋１）の強化学習モデルが存在するかを判定する。ロボット動作制御部２１４は、モデル情報ＤＢ２２０の階層構造の情報を用いて、更に上位の強化学習モデルが存在するかを判定し、あると判定した場合には、処理をＳ８０６に進める。一方、更に上位に強化学習モデルがないと判定した場合、最上位の階層の最後の強化学習モデルの制御を実行したものとして、本一連の処理を終了する（すなわち呼び出し元に戻る）。

Ｓ８０５において、ロボット動作制御部２１４は、（上位階層の強化学習モデルにより）階層ｎの他の強化学習モデルを活性化させて、活性化された強化学習モデルについて再びＳ８０１から処理を繰り返す。

Ｓ８０６において、ロボット動作制御部２１４は、更に上位（階層ｎ＋１）の強化学習モデルを活性化させて、活性化された強化学習モデルについて再びＳ８０１から処理を繰り返す。

このように、下位階層の強化学習モデルの組み合わせを学習しながら、より上位階層の強化学習モデルを学習対象とすることで、階層ごとに強化学習モデルの学習を進めることができる。

＜学習済みの強化学習モデルの制御処理に係る一連の動作＞
次に、学習済みの強化学習モデルの制御処理に係る一連の動作について、図９を参照して説明する。なお、本処理は、全ての強化学習モデルが学習済みの段階であり、ある階層の１つの強化学習モデルに対して、下位階層のいかなる強化学習モデルがどの組み合わせでどの順序で用いられるかが学習された（すなわち環境に対して最適化された）状態である。また、本処理では、最上位の階層に位置する強化学習モデルをユーザが選択して、作業開始指示が行われた場合に開始される。例えば、上述の例では、階層ｍ＋１における「卵焼きを作る」作業６０１がユーザによって選択され、作業の開始指示が与えられた場合が対応する。

なお、図７において説明した学習段階の処理は、学習済みの段階では実行不要であるため、階層状態の強化学習モデルの制御処理に係る部分について説明する。また、図９に示す処理は、他の処理と同様、制御部２００がプログラムをＲＡＭ２１１に展開、実行することにより実現される。

Ｓ９０１において、ロボット動作制御部２１４は、上位（階層ｎ）の強化学習モデルが、下位（階層ｎ−１）の強化学習モデルの学習済みの組み合わせを選択する。ロボット動作制御部２１４は、例えば、モデル情報取得部２１３を介してモデル情報ＤＢ２２０に格納された階層構造の情報を参照し、ある強化学習モデルの動作に関連付けられている下位の強化学習モデルの組み合わせを取得する。

Ｓ９０２において、ロボット動作制御部２１４は、上位（階層ｎ）の強化学習モデルの処理を実行して、関連付けられている下位の強化学習モデルを順に（再帰的に）実行させる。更に、Ｓ９０３において、ロボット動作制御部２１４は、処理対象の強化学習モデルに関連付けられている階層ｎ−１以下の全ての強化学習モデルが実行済みであるかを判定する。ロボット動作制御部２１４は、関連付けられている階層ｎ−１以下の全ての強化学習モデルが実行済みであると判定した場合、本処理を終了する。一方、関連付けられている階層ｎ−１以下の全ての強化学習モデルが実行済みではないと判定した場合、全てのモデルの実行を完了するまでＳ９０２の処理を繰り返すため、処理をＳ９０２に戻す。

以上説明したように、本実施形態では、複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置１００において、作業を行うようにロボットアームを制御する強化学習モデルを階層化するようにした。また、上位階層に置かれた強化学習モデルが下位階層に置かれる複数の強化学習モデルをどの組み合わせでどの順序で実行するかを学習して特定し、その組み合わせを制御するようにした。このようにすることで、個々の工程を組み合わせた作業をロボットに実行させる場合に、工程を実行可能な手段の組み合わせを人手によらず定めることが可能になる。

また、上位階層の強化学習モデルが複数の下位階層の強化学習モデルの組み合わせを制御する構成により、新たな上位階層のモデルを、ユーザが容易に開発可能になる。また、下位階層の強化学習モデルが学習済みであれば、上位階層の強化学習モデルを学習させる際に下位階層のモデルを再度学習させる必要がないため、効率的に学習を進めることができる。また、多様な下位階層の強化学習モデルのなかから必要なモデルを任意に選択して上位階層の作業を実現することができるため、ニッチなニーズを含む多様にニーズに対応した強化学習モデルを生成することが可能になる。

なお、上述の実施形態では、ロボットアームがロボット制御装置１００に含まれる形態を例に説明した。しかし、ロボット制御装置１００がロボットアームと別体として構成され、ロボット制御装置が情報処理サーバとして遠隔からロボットアームを制御するようにしてもよい。この場合、センサ部１０３とロボットアーム駆動部１０４はロボット制御装置の外部に配置される。サーバとして動作するロボット制御装置は、センサ部からのセンサデータをネットワークを介して受信する。そして、ロボット動作制御部２１４による制御変数がネットワークを介してロボットアームに送信される。

また、上述の実施形態では、卵を用いた料理に必要な複数の工程を、ロボットアームを制御して実現する場合を例に説明したが、本発明は上述の例に限定されない。他の材料を用いた料理に必要な工程をロボットアームを制御して実現することができるのは勿論、他の道具を用いた作業に必要な複数の工程をロボットアームを制御して実現することもできる。

例えば、サイズや形状の異なる工具を用いて、ボルトを締めたり、ボルトからナットを外したりする場合にも本発明を適用することができる。このような複数の工程の作業を行う場合、例えば、ボルトやナットのサイズや形状に応じた工具を把持するそれぞれ異なる強化学習モデル、把持した工具によってボルト或いはナットを締める、或いは緩める作業を行う強化学習モデルなどを階層的に組み合わせ、その活性を制御することができる。

＜実施形態のまとめ＞
１．上記実施形態のロボット制御装置（例えば、１００）は、
複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置であって、
複数の作業工程のうちの作業工程ごとに１つ以上のロボットの動作を制御する第１制御手段（例えば、２１４、２５３）と、
複数の作業工程のなかで第１制御手段を実行する組み合わせ及び順序を特定して、組み合わせ及び順序でそれぞれの第１制御手段を動作させる第２制御手段（例えば、２１４、２５１）と、を有する。

この実施形態によれば、個々の工程を組み合わせた作業をロボットに実行させる場合に、工程を実行可能な手段の組み合わせを人手によらず定めることが可能になる。

２．上記実施形態では、
複数の作業工程のなかで複数の第２制御手段（例えば、２５１）を実行する組み合わせ及び順序を特定して、特定した第２制御手段を実行する組み合わせ及び順序でそれぞれの第２制御手段を動作させる第３制御手段（例えば、２５１）を更に有する。

この実施形態によれば、第２制御手段を更に制御する第３制御手を備えるように構成することで、階層的に制御手段を構成することができ、多様な制御手段を実現することが可能になる。

３．上記実施形態では、
第１制御手段と第２制御手段とは、強化学習を用いた学習モデル（例えば、２５３及び２５１）により構成される。

この実施形態によれば、モデルを学習させるための教師データを十分に用意することができない作業であっても、学習モデルにおいて試行錯誤を行って学習を進めることができる。

４．上記実施形態では、
第２制御手段が、第１制御手段を実行する組み合わせ及び順序を学習する際に、予め学習された学習済みの第１制御手段を用いる。

この実施形態によれば、上位階層の学習モデルを学習させる際に、下位階層の学習モデルには学習済みのモデルを使用することができるため、学習を効率的に行うことができ、全てのモデルの学習を同時に行わないため高精度な学習を行うことが可能になる。

５．上記実施形態では、
第２制御手段は、第１制御手段を実行する組み合わせ及び順序を、強化学習を用いた学習モデルから複数の第１制御手段のそれぞれを活性化する活性化信号を出力することにより制御する。

この実施形態によれば、上位階層の学習モデルが、下位階層のそれぞれの学習モデルによる作業を単純な方法で順次切り替えて動作させることが可能になる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１０３…センサ部、１０４…ロボットアーム駆動部、２００…制御部、２１４…ロボット動作制御部、２２０…モデル情報ＤＢ

Claims (8)

1. 複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置であって、
   前記複数の作業工程のうちの作業工程ごとに前記１つ以上のロボットの動作を制御する第１制御手段と、
   複数の作業工程のなかで前記第１制御手段を実行する組み合わせ及び順序を特定して、前記組み合わせ及び順序でそれぞれの前記第１制御手段を動作させる第２制御手段と、を有することを特徴とするロボット制御装置。
2. 複数の作業工程のなかで複数の前記第２制御手段を実行する組み合わせ及び順序を特定して、特定した前記第２制御手段を実行する組み合わせ及び順序でそれぞれの前記第２制御手段を動作させる第３制御手段を更に有する、ことを特徴とする請求項１に記載のロボット制御装置。
3. 前記第１制御手段と前記第２制御手段とは、強化学習を用いた学習モデルにより構成される、ことを特徴とする請求項１または２に記載のロボット制御装置。
4. 前記第２制御手段が、前記第１制御手段を実行する組み合わせ及び順序を学習する際に、予め学習された学習済みの前記第１制御手段を用いる、ことを特徴とする請求項３に記載のロボット制御装置。
5. 前記第２制御手段は、前記第１制御手段を実行する前記組み合わせ及び順序を、前記強化学習を用いた学習モデルから複数の前記第１制御手段のそれぞれを活性化する活性化信号を出力することにより制御する、ことを特徴とする請求項３または４に記載のロボット制御装置。
6. ロボット制御装置によって実行される、複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御方法であって、
   第１制御手段により、前記複数の作業工程のうちの作業工程ごとに前記１つ以上のロボットの動作を制御する第１制御工程と、
   第２制御手段により、複数の作業工程のなかで前記第１制御手段を実行する組み合わせ及び順序を特定して、前記組み合わせ及び順序でそれぞれの前記第１制御手段を動作させる第２制御工程と、を有することを特徴とするロボット制御方法。
7. コンピュータを、ロボット制御装置の各手段として機能させるためのプログラムであって、
   前記ロボット制御装置は、複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置であって、
   前記複数の作業工程のうちの作業工程ごとに前記１つ以上のロボットの動作を制御する第１制御手段と、
   複数の作業工程のなかで前記第１制御手段を実行する組み合わせ及び順序を特定して、前記組み合わせ及び順序でそれぞれの前記第１制御手段を動作させる第２制御手段と、を有する、ことを特徴とするプログラム。
8. 複数の作業工程からなる所定の作業を１つ以上のロボットに実施させるロボット制御装置において実行される学習モデルであって、
   前記複数の作業工程のうちの作業工程ごとに前記１つ以上のロボットの動作を制御する第１学習モデルと、
   複数の作業工程のなかで前記第１学習モデルを実行する組み合わせ及び順序を学習により特定して、前記組み合わせ及び順序でそれぞれの前記第１学習モデルを動作させる第２学習モデルと、を有することを特徴とする学習モデル。

Images