JP2023128332A

JP2023128332A - 学習装置、その制御方法、プログラム

Info

Publication number: JP2023128332A
Application number: JP2022032614A
Authority: JP
Inventors: 航平江口; Kohei Eguchi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-03-03
Filing date: 2022-03-03
Publication date: 2023-09-14

Abstract

【課題】制御動作を正しく学習するための観測周期を学習中に見つけることが難しい場合があった。
【解決手段】一定の観測周期ごとに、制御対象の状態を観測する観測手段と、前記観測手段で観測したデータに応じた操作量を制御対象へ出力する推論手段と、前記推論手段が制御対象へ出力する操作量を強化学習する学習手段とを備え、現在までの少なくとも２つのタイミングにおける、前記推論手段が制御対象へ出力した操作量のタイミングの間の差分である操作量差分と、前記観測手段が観測した制御対象から出力される制御量のタイミングの間の差分である制御量差分、とを算出し、前記操作量差分と前記制御量差分の比率に応じて、観測周期を変更することを特徴とする。
【選択図】図５

Description

本発明は、強化学習の学習を実行することができる学習装置に関する。

従来より、制御対象の時定数に応じて観測周期を定める技術が開示されている。例えば、特許文献１ではモータの制御時に目標トルクに応じて定まる電気的時定数に応じて電流制御周期を、交流電動機の回転速度に応じて電圧制御周期を、それぞれ設定する技術が開示されている。

特開２０１１―１２０３２２号公報

強化学習においてエージェントと呼ばれる学習主体は、環境と呼ばれる学習対象の状態を観測し、その状態に応じた行動を環境に指示する。そして、その指示の結果観測周期後の環境の状態がどう変化したかを観測し報酬という指標を基に初めの状態で指示した行動が良かったか判断する。強化学習は初めの状態を観測してから次の状態を観測するまでを１観測周期間で行う。

強化学習を制御に応用する場合、エージェントは制御器、環境は制御対象となるが、環境の時定数によって、エージェントが環境に指示した行動に対して環境の状態の変化に違いがでる。時定数が大きい場合は、時定数が小さい時よりも環境の状態の変化量が小さくなる。そして時定数が大きい場合に観測周期が短いと行動の作用時間が短くなり、環境の状態変化量が極小となるためエージェントはどの行動を環境に指示することも正しいという誤った学習をしてしまう可能性がある。制御の観点では、制御対象の細かい変化に対応するために観測周期を短くしたいが、強化学習では、観測周期が短いと学習が収束しないというトレードオフ関係を解消することが課題となっている。

上述の特許文献１に開示された従来技術では、目標トルクと回転速度に応じた制御周期の適切化は行っているが、強化学習で誤った学習をしないための時定数に応じた観測周期の適切化はできない。

本発明の目的は、制御動作を正しく学習するための観測周期を学習中に見つけることを可能にすることである。

上記目的を達成するために、本発明における学習装置は、一定の観測周期ごとに、制御対象の状態を観測する観測手段と、前記観測手段で観測したデータに応じた操作量を制御対象へ出力する推論手段と、前記推論手段が制御対象へ出力する操作量を強化学習する学習手段とを備え、現在までの少なくとも２つのタイミングにおける、前記推論手段が制御対象へ出力した操作量のタイミングの間の差分である操作量差分と、前記観測手段が観測した制御対象から出力される制御量のタイミングの間の差分である制御量差分、とを算出し、前記操作量差分と前記制御量差分の比率に応じて、観測周期を変更することを特徴とする。

本発明によれば制御動作をより正しく学習するための観測周期を学習中に見つけることができる。

本発明に第１の実施形態における強化学習の概念を示す図である。本発明に第１の実施形態における学習に使用するディープニューラルネットワークを示す図である。本発明に第１の実施形態における強化学習方法の構成を示すブロック図である。本発明の第１の実施形態におけるＤＣモータの速度応答の一例を示す図である。本発明の第１の実施形態におけるモータの時定数と観測周期を説明するための図である。本発明の第１の実施形態における処理の流れを示すフローチャートである。本発明の第２の実施形態における処理の流れを示すフローチャートである。本発明の第２の実施形態における比率許容範囲を用いた観測周期の変更を説明するための図である。

［第１の実施形態］
図１は、本発明の第１の実施形態にかかわる強化学習の概念図である。

強化学習は学習主体をエージェント、学習対象と学習対象が影響を及ぼす系をまとめて環境と定義する。エージェントは実際に学習を行うディープニューラルネットワーク（ＤＮＮ）と、学習中の経験を蓄積する経験データ記憶部で構成される。ＤＮＮへの入力は状態Ｓ、ＤＮＮの出力は行動Ａで、状態Ｓは学習対象である環境の状態を十分に表現できる情報を設定する。強化学習は状態Ｓを観測し、ＤＮＮに入力することで行動Ａを出力する。次に環境はＤＮＮが出力した行動Ａを実行し、状態Ｓが次の状態である状態Ｓａに遷移する。環境はあらかじめ定められた報酬算出方法を参照し、状態Ｓａを基に報酬Ｒを算出してエージェントへ渡す。強化学習では１回の観測周期で上記の処理を行い、得られた１回の観測周期での状態Ｓ、行動Ａ、報酬Ｒ、次の状態Ｓａを経験データ記憶部に蓄積し、あらかじめ定めた学習タイミングで蓄積した経験データを呼び出しＤＮＮの学習を行う。

図２は、図１のディープニューラルネットワーク（ＤＮＮ）の構造の一例を示したものである。丸はノードを、ノード間を繋ぐ矢印は重みを表し、各ノードでは重みと前層の出力の積と固定の値であるバイアスの総和を活性化関数と呼ばれる非線形関数に入力し、関数出力を次の層に出力する。図１の説明で示したように入力は状態Ｓである。出力はＱ値と呼ばれる各行動の価値を表す値であり、図２中のＱａ～Ｑｆが各行動のＱ値を表す。ＤＮＮは入力された各状態Ｓにおける各行動の価値を予測し、最もＱ値が大きい行動を選択する。学習時にはＤＮＮの重みを更新し、より正しく各行動の価値を予測できるようにしていく。

図３は、本実施形態の強化学習装置３００のハードウェア構成をブロック図で示したものである。通信部３０１は外部との通信を行い他のブロックに対してのやり取りを行う。入出力インターフェース３０２はユーザーが機械学習装置３００に対しての入力を行うためのインターフェースである。ＤＮＮ処理部３０３は強化学習に使用するディープニューラルネットワーク演算を行う。ＣＰＵ３０４は通信部３０１を通したユーザーの指示の実施などを行う。ＲＯＭ３０５にはＣＰＵ３０４が実施すべき処理内容が格納されているものとする。メモリ３０６は機械学習装置３００の処理で必要なパラメータを格納するためのもので、行列演算の重み行列の値を格納する役割などを担う。

図４は、モータの速度制御を行った際のモータの応答の一例である。本実施形態では強化学習対象をモータとし、その一定速制御を学習する。一般的に、速度制御を行う場合、目標速度を超えるオーバーシュートと、オーバーシュートから目標速度を下回るアンダーシュートを繰り返しながら定常的に目標速度を出すように制御する。強化学習では図４よりもオーバーシュートとアンダーシュートを低減し、より早く定常速度を出すことを目標とする。

図５は、本実施形態において時定数と観測周期を説明する図であり、図６（ａ）は制御動作を強化学習で獲得する際のフローチャート、図６（ｂ）は観測周期の変更を行う際のフローチャートである。以後、図６（ａ）のフローチャートの流れに沿って、本発明の第１の実施形態による、強化学習によるＤＣモータの速度制御動作の獲得について説明する。本実施形態では図１のエージェント１０１が強化学習器（ＤＮＮ）で、環境１０４がＤＣモータとなる。図６（ａ）のＳ６０１では環境の状態Ｓを観測する。本実施形態では状態Ｓは目標速度と現時刻の回転速度との差分である速度偏差とする。一番初めの状態Ｓはモータの回転速度を０とするため速度偏差＝目標速度となる。Ｓ６０２ではＳ６０１で観測した状態Ｓを図１のＤＮＮ１０３に入力し、ＤＮＮ１０３は各行動のＱ値を出力し最もＱ値が大きい行動Ａを操作量としてＤＣモータに入力する推論を行う。図２の出力Ｑａ～Ｑｆが各行動のＱ値を示す。本実施形態での行動Ａ（操作量）は、ＤＣモータに入力する電圧であり、０Ｖから最大印可電圧までをあらかじめ定めた分解能で分割する。例えば、最大印可電圧が５．５Ｖで分解能を０．５Ｖとする場合、行動は０Ｖ、０．５Ｖ、１．０Ｖ、…、５．５Ｖで１２パターンある。Ｓ６０３では、環境１０４であるＤＣモータがＳ６０２でＤＮＮ１０３が出力した電圧を印可され、制御量である回転速度が変化する。Ｓ６０２で出力された操作量を印可される時間は観測周期Ｔで定められ、時間Ｔ後の回転速度が新たな状態Ｓａとなる。Ｓ６０４では、新たな状態Ｓａに応じてあらかじめ定められた報酬算出方法に則り報酬Ｒを算出し、エージェント１０１に送る。本実施形態ではＤＣモータの速度制御を獲得するために、報酬算出方法は速度偏差が小さいほど高い報酬Ｒを与えるように設定し、図４のように速度偏差が０になる制御動作を獲得することをエージェント１０１が目指すように学習を行う。Ｓ６０５では、１回の観測周期Ｔでの状態Ｓ、行動Ａ、新たな状態Ｓａ、報酬Ｒを同じ観測周期Ｔでのデータとしてまとめて、エージェント１０１の経験データ記憶部１０２に保存する。ここまでの時間を強化学習ではステップという単位で表す。Ｓ６０６では所定のステップ数に到達しているかを判定する。所定のステップ数は環境の特性を鑑みて、定常的に目標速度を出力するのに十分なステップ数をあらかじめ定めておく。到達していた場合は、Ｓ６０８に移行し経験データ記憶部１０２に蓄積されているデータからランダムな複数のステップの状態Ｓ、行動Ａ、新たな状態Ｓａ、報酬Ｒを読み出し、ＤＮＮ１０３の重みの更新を行う。

Ｓ６０８での重みの更新方法を説明する。強化学習は観測した状態Ｓに対して、その状態Ｓでの各行動の価値を表すＱ値を出力する。そして最もＱ値が大きい行動を環境に対して行うため、様々な状態における各行動のＱ値を正しく出力するように重みを更新する。Ｑ値は報酬を用いて（式１）で更新する。

γは将来の行動価値をどれぐらい考慮するかを制御する割引率と呼ばれるパラメータである。（式１）は状態Ｓの時に行動Ａを行った結果貰った報酬Ｒ（Ｓ，Ａ）と、行動Ａにより遷移した新たな状態Ｓａにおいて最も大きいＱ値の和と、状態Ｓにおける行動Ａの現在のＱ値（Ｑ（Ｓ，Ａ））との差分で重みを更新することを表している。

Ｓ６０６で所定のステップ数に到達していなかった場合、Ｓ６０７でステップ数を１増やし、Ｓ６０２に戻りＳ６０３で遷移した新たな状態ＳａをＤＮＮ１０３に入力し、次の行動Ａを出力する。

Ｓ６０９の処理内容を図６（ｂ）のフローチャートで説明する。Ｓ６１２では観測周期の変更が完了しているか判定する。判定方法はＳ６１８の処理を終了しているかどうかで決定する。Ｓ６１３では制御量差分を算出する。制御量差分は図６（ａ）のＳ６０１で取得したＤＣモータの回転速度と、Ｓ６０３で遷移した新たな回転速度の差分で算出する。本実施形態の対象であるＤＣモータにおいては、制御量は回転速度、制御量差分は回転速度の変化量となる。Ｓ６１４では操作量差分を算出する。操作量差分は直前のＳ６０２で出力した操作量とその１ステップ前のＳ６０２で出力した操作量の差分で算出する。本実施形態の対象であるＤＣモータにおいては、操作量はモータへ印可する電圧値、操作量差分は電圧の変化量となる。Ｓ６１５ではＳ６１３で算出した制御量差分をＳ６１４で算出した操作量差分で割ることで２つの差分の比率を算出する。Ｓ６１６ではＳ６１５で算出した比率があらかじめ定めた閾値を超えているか判定する。比率が閾値を超えていなかった場合（定められた閾値以下である場合）、Ｓ６１７で観測周期の変更を行う。図６（ａ）の学習開始時の観測周期を単位周期長とし、Ｓ６１７では観測周期に単位周期長を加算する。図５の場合、単位周期長はｔ０～ｔ１の長さであるＴ０である。図６（ａ）の１ステップ目の観測をｔ０からＴ０の時間行った結果、Ｓ６１６で閾値を超えていなかった場合、図６（ｂ）のＳ６１７で観測周期は単位周期長Ｔ０を加算しＴ１となる。そのため、次のＳ６０２の処理から始まるステップは観測を時刻ｔ１からＴ１の時間行う。同様に次のステップのＳ６１６で閾値を超えていなかった場合、Ｓ６１７で再び観測周期Ｔ１に単位周期長Ｔ０を加算し、観測周期はＴ２となり、時刻ｔ３からＴ２の時間観測を行う。Ｓ６１６で比率が閾値を超えていた場合、Ｓ６１８で観測周期の変更は完了しそれ以降Ｓ６１２の判定はＹｅｓとなるため観測周期の変更を行わない。

図５の５０１と５０２は同じ一定値の操作量（電圧）を環境（ＤＣモータ）に入力し続けた際の制御量である回転速度の例で、５０１は環境の時定数が小さい場合を、５０２は環境の時定数が大きい場合を表している。観測周期がＴ０だとすると、時刻ｔ１での５０２の速度ｂは図６（ｂ）のＳ６１５の閾値に対応した閾値ａに対して非常に小さく、状態Ｓの変化はほとんどなく報酬も変化しない。そのためこの観測周期のまま学習を進めても、ある状態Ｓに対する各行動のＱ値に違いが無くなり、どの行動も同じ価値を持つと学習する。このような場合でも、本実施形態の処理による観測周期の変更で適切な学習ができる観測周期を設定することができる。

Ｓ６１０では所定のエピソード数に到達しているかを判定する。エピソードとは、所定のステップ数到達回数を表す単位で、所定のステップ数到達後はエピソード数を１増やし、状態Ｓとステップ数を初期状態に戻す（リセットする）。Ｓ６１０で所定のエピソード数に到達していなかった場合、Ｓ６１１でエピソード数を１増やし、モータの回転速度を０に戻しステップ数を０にする。所定のエピソード数に到達していた場合、学習処理を終了する。

以上の処理により、環境の時定数が大きい場合でも何度も学習を繰り返して観測周期を設定することなく、学習中に自動で時定数に適した観測周期を設定することができる。

本実施形態では操作量差分と制御量差分を算出するための操作量と制御量の取得タイミングを現在ステップと前ステップとしたが、任意の複数ステップで取得して実施してもよい。

また本実施形態では比率を毎ステップ算出し毎ステップ観測周期を変更したが、毎エピソード終了時にエピソード間の比率を平均しその平均比率で閾値判定を行い、観測周期がエピソードを経るにつれて長くなるように変更してもよい。

また本実施形態では１エピソード中に毎ステップ観測周期の変更を行ったが、１エピソード中に制御量が目標速度を超えるまで、観測周期の変更を行うにつれて観測周期が長くなるように変更するとして実施してもよい。

また本実施形態では１エピソード中に毎ステップ観測周期の変更を行ったが、所定のステップ数よりも少ないあらかじめ定められたステップ数まで、観測周期の変更を行うにつれて観測周期が長くなるように変更するとして実施してもよい。

また本実施形態では観測周期の変更は算出した比率が閾値を超えるまでとしているが、あらかじめ定められたエピソードまで、観測周期の変更を行うにつれて観測周期が長くなるように変更するとして実施してもよい。

また本実施形態では初期状態におけるモータの回転速度を０としたが、任意の回転速度として実施してもよい。

また本実施形態では環境をＤＣモータとしたが、他のモータを使用してもよい。複数の操作量を持つモータを用いた場合、比率を算出するための操作量差分は各操作量の差分を各操作量の操作レンジで割った値の合計として実施してもよい。

［第２の実施形態］
以下、図を参照しながら、本発明の第２の実施形態における処理について説明する。

第１の実施形態においては制御器の設計段階での学習時の観測周期の変更について説明した。これに対し本実施形態では、製品に搭載する制御器である場合ユーザーの元に渡ってから制御について強化学習を行う。これにより、モータの劣化やグリスの硬化等の経年劣化に合わせた制御を行うことができる。本実施形態では、実装置内で稼働中のＤＣモータを例にして説明する。

図７（ａ）はユーザーの元で学習を行う際のフローチャートである。図７（ｂ）はユーザーの元で学習を行う際の観測周期の変更に関わる部分のフローチャートである。

図８は図７（ｂ）における比率許容範囲と比率の関係を表す図である。

以後、図７（ａ）のフローチャートの流れに沿って、本発明の第２の実施形態によるユーザーの元での実装置内で稼働中のＤＣモータ制御の強化学習による獲得について説明する。

図７（ａ）のＳ７０１では最新日時の取得を行う。

Ｓ７０２では所定の日数が経過しているかをＳ７０１で取得した日時を用いて判定する。本実施形態でユーザーの元で学習を行う目的は、経年劣化による制御性の変化に対応するためであるため所定の日数ごとに強化学習を行い、最新の駆動系の状態に対応する。所定の日数は出荷前にあらかじめ定めておく。Ｓ７０３では所定の日数が経過していた場合に、学習を行ってよいかの確認をユーザーに行う。学習時はＣＰＵ負荷がかかるため他の操作ができなくなる。そのためユーザーにすぐに他の操作を行う予定がある場合は学習を行わない。Ｓ７０３でユーザーが「学習を開始して良い」を選択した場合、Ｓ７０４の学習処理を開始する。Ｓ７０４の処理内容は図６（ａ）のフローチャートと同様の処理内容であるため、詳細な説明は省略する。第１の実施形態と異なる点は、出荷前に新品状態に合わせた学習は行われておりすでに重みがある程度最適化されている点である。第１の実施形態と同様に、図６のＳ６０９では観測周期の変更を行う。

図７（ｂ）のフローチャートを用いてＳ６０９の観測周期の変更について説明する。

Ｓ７０５～Ｓ７０８は第１の実施形態の図６（ｂ）のフローチャート、Ｓ６１２～Ｓ６１５と同様であるため詳細説明は省略する。Ｓ７０９ではＳ７０８で算出した比率が、あらかじめ定められた比率許容範囲内に入っているかを判定する。比率許容範囲内に入っていた場合、Ｓ７１０で観測周期の変更を完了とし、それ以降Ｓ７０５での判定はＹｅｓとなり以後観測周期の変更は行わない。ただし、Ｓ７１０で完了とするのはＳ７０２で一度Ｙｅｓと判定された際の学習中のみで、再度所定の日数経過した際の学習では観測周期の変更は完了していないとし、Ｓ７０５ではＮｏと判定する。Ｓ７０９で比率が比率許容範囲内に入っていなかった場合、Ｓ７１１で観測周期の変更を行う。Ｓ７１１では（式２）に従って、観測周期の増減を行う。

（式２）のαは比例定数で、モータ特性に合わせてあらかじめ定めておく。（式２）のＡは比率許容範囲内にあらかじめ定めておく比率の基準値で、ＢはＳ７０８で算出した比率である。Ｓ７１１では元の観測周期に（式２）で算出したＬを加算し、図８のように観測周期を変更する。図８について説明する。ＸステップのＳ７０９において比率が比率許容範囲内に入っていなかったため（式２）により観測周期を長くする。その結果、次のＸ＋１ステップのＳ７０９で図８のように比率が許容範囲を超えていたため、（式２）により観測周期を短くする。次にＸ＋２ステップにおいてＳ７０９で比率が許容範囲を下回ってしまったため再び（式２）により観測周期を長くする。その結果、次のＸ＋３ステップのＳ７０９では比率が許容範囲内に入っていたためＳ７１０の処理を行い、以降はこの観測周期で学習を行う。

以上の処理により、ユーザーが実装置を使用していく中での経年劣化によるＤＣモータの制御性の低下を防ぐための学習を適切な観測周期でより正しく行うことができる。

本実施形態ではＳ７０１で最新日時を取得し、Ｓ７０２の判定に所定の日数を使用したが、これらは経時したことが分かればどのような値を用いてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

一定の観測周期ごとに、制御対象の状態を観測する観測手段と、
前記観測手段で観測したデータに応じた操作量を制御対象へ出力する推論手段と、
前記推論手段が制御対象へ出力する操作量を強化学習する学習手段とを備え、
現在までの少なくとも２つのタイミングにおける、前記推論手段が制御対象へ出力した操作量のタイミングの間の差分である操作量差分と、前記観測手段が観測した制御対象から出力される制御量のタイミングの間の差分である制御量差分、とを算出し、前記操作量差分と前記制御量差分の比率に応じて、観測周期を変更することを特徴とする学習装置。
前記操作量差分は、最新の観測周期の間に前記推論手段が制御対象へ出力する操作量と、その一つ前の観測周期の間に制御対象へ出力する操作量の差分で算出し、
前記制御量差分は、最新の観測周期の終了の時刻と、一つ前の観測周期の終了の時刻での制御対象が出力する制御量の差分で算出し、前記操作量差分と前記制御量差分の比率に応じて、前記観測周期を変更することを特徴とする請求項１に記載の学習装置。
前記学習手段は前記観測手段により観測が行われた回数があらかじめ定められた所定の数になるまで学習を行わず、
前記観測手段により観測が行われた回数があらかじめ定められた所定の数になった後に一度だけ学習を行い、
制御対象が初期状態から前記所定の観測周期の数と１回の学習を経るまでの処理である１エピソードが終了した後、制御対象の状態をあらかじめ定められた初期状態にリセットし、
前記観測手段により観測が行われた回数を０にしたのち次のエピソードを始めることを
特徴とする請求項１または２に記載の学習装置。
前記観測周期は、あらかじめ定められた長さから始めて、前記比率が定められた閾値以下であれば観測周期を長くすることを特徴とする請求項１乃至３のいずれか１項に記載の学習装置。
前記観測周期は、観測周期の変更を行うにつれて長くすることを特徴とする請求項４に記載の学習装置。
前記観測周期は、あらかじめ定められた長さから始めて、前記比率があらかじめ定められた許容範囲の外であれば許容範囲内に入るように前記観測周期を変更することを特徴とする請求項１乃至３のいずれか１項に記載の学習装置。
前記観測周期は、観測周期の変更を行うにつれて増減することを特徴とする請求項６に記載の学習装置。
前記観測周期は、前記許容範囲内にあらかじめ定められた前記比率の基準値と、前記比率の差分に応じた時間だけ増減することを特徴とする請求項６に記載の学習装置。
前記比率は前記制御量の差分を前記操作量差分で割って算出することを特徴とする請求項１乃至８のいずれか１項に記載の学習装置。
前記比率の観測は観測周期ごとに行い、比率の平均の値に応じて前記観測周期を変更することを特徴とする請求項１乃至９のいずれか１項に記載の学習装置。
前記比率の算出及び前記観測周期の変更は少なくとも、１エピソード中に制御対象が出力する制御量が制御の目標となる値を超えるまでとすることを特徴とする請求項１乃至１０のいずれか１項に記載の学習装置。
前記比率の観測は少なくとも、所定の観測周期の数よりも少ない、あらかじめ定められた観測周期の数までとすることを特徴とする請求項１乃至１１のいずれか１項に記載の学習装置。
前記観測周期の変更は少なくとも、学習開始からあらかじめ定められたエピソード数までとすることを特徴とする請求項１乃至１２のいずれか１項に記載の学習装置。
一定の観測周期ごとに、制御対象の状態を観測する観測ステップと、
前記観測ステップで観測したデータに応じた操作量を制御対象へ出力する推論ステップと、
前記推論ステップで制御対象へ出力する操作量を強化学習する学習ステップとを備え、
現在までの少なくとも２つのタイミングにおける、前記推論手段が制御対象へ出力した操作量のタイミングの間の差分である操作量差分と、前記観測手段が観測した制御対象から出力される制御量のタイミングの間の差分である制御量差分、とを算出し、前記操作量差分と前記制御量差分の比率に応じて、観測周期を変更することを特徴とする学習装置の制御方法。
コンピュータを請求項１乃至１３のいずれか１項に記載の学習装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。