JP2019029856A - 無線中継器選択装置及び機械学習装置 - Google Patents

Abstract

【課題】複数の無線機器が混在する環境において、それぞれの無線機器が快適に通信できるように多重化無線通信に用いる無線通信路を割り当てることが可能な無線中継器選択装置及び機械学習装置を提供すること。【解決手段】本発明の無線中継器選択装置１が備える機械学習装置１００は、多重化通信路の構築状況を示す多重化通信路データ、前記管理対象機器の多重化無線通信の状態を示す多重化無線通信状態データを、環境の現在状態を表す状態変数として観測する状態観測部１０６と、多重化通信路の構築状況の適否判定結果を示す判定データを取得する判定データ取得部１０８と、状態変数と判定データとを用いて、多重化通信路の構築状況と、多重化無線通信状態データとを関連付けて学習する学習部１１０とを備える。【選択図】図２

Description

本発明は、無線中継器選択装置及び機械学習装置に関する。

ロボットや数値制御工作機械等の機械の教示や操作を行う際は、該機械の制御装置と無線で通信可能な無線式操作盤を使用することがある。例えば特許文献１，２には、教示操作盤と制御装置との間で無線通信することにより、教示操作盤からの指令に応じてロボット等の機械を制御するシステムが開示されている。

ロボットの教示操作等に無線教示操作盤を使用する場合、ロボットの安全規格により安全信号が途切れたらロボットが保護停止しなければならないことが定められている。その為、作業現場にて無線機器（他の無線教示操作盤だけでなく、作業者が所持する携帯電話や、外部の無線機器等）が多数使用されるなどして無線が混み合うような状況にある場合、無線通信が途切れる可能性が高くロボットがたびたび停止してしまうため快適な教示作業ができない。多数の無線機器が存在する環境では、例えば特許文献３等に開示される技術を用いて無線チャンネルを変更する等して対処することも可能ではあるが、このような技術を用いたとしても、教示操作盤と操作対象を制御する制御装置との距離や位置関係、他の機械の配置や動作による影響で無線通信が途切れてしまうことを完全に防止することは難しい。

特開２００７−２３３８１７号公報 特開２０１１−０００６５２号公報 特開２０１５−２０１７２８号公報

このような問題を解決する一つの方法として、例えば図７に示されるように、無線信号を制御装置に送信するルートを複数にすることで、各無線中継機からデータを冗長的に送信（例えば、同一のデータを複数の無線通信経路から送信する等）して無線通信が途切れにくくすることが考えられる。図７に示した例では、無線教示操作盤から教示対象のロボットを制御する制御装置に対して直接無線で通信する無線通信路以外に、無線中継器や非教示対象のロボットを制御する制御装置に組み込まれている無線モジュール等を無線中継器と見立て、これら無線中継器を介した複数の無線通信路を接続した多重化通信路を形成し、該多重化通信路を介した多重化無線通信を行うことで、例えば教示作業者が移動したことが原因で一部の無線通信路が工場内の設置物に遮られたりした場合であっても無線教示操作盤と制御装置との間の通信が途切れないようにすることができる。

このような技術を用いる場合、それぞれの無線教示操作盤に対して、どの無線通信路を何本割り当てるのか、を決定し、割り当てた無線通信路を用いて多重化通信路を形成する。また、多重化通信路を用いた多重化無線通信中には、それぞれの無線機器間の電波の発信状態を監視し、通信ができなくなった場合や電波が弱まった場合に他の無線通信路への変更（利用する無線中継機の変更やチャンネルの変更等）を行う。作業現場には、複数の無線教示操作盤が存在するため、多重化無線通信を行う機器のそれぞれが快適に通信できるように、多重化通信路の形成や動的な無線通信路の変更を行う必要がある。

しかしながら、無線は反射・回折・フェージング（弱め合い）を起こし、他の無線機器の信号からの影響も含め、リアルタイムに環境が変化していくので、適切な無線通信路の割り当て（多重化無線通信に利用する無線中継器やサブとなる制御装置、チャンネルの割り当て）をすることは、環境の状態を適時把握しながらリアルタイムに行う必要があり、困難な作業となる。

そこで本発明の目的は、複数の無線機器が混在する環境において、それぞれの無線機器が快適に通信できるように多重化無線通信に用いる無線通信路を割り当てることが可能な無線中継器選択装置及び機械学習装置を提供することである。

本発明の無線中継器選択装置は、それぞれの管理対象機器による多重化無線通信に用いられる複数の無線中継機（無線を中継する機能を備えた無線機器）を選択し、多重化通信路の構築（乃至変更）の機械学習を強化学習で行う機械学習装置で行うことにより上記課題を解決する。

そして、本発明の一態様は、管理対象機器の間での通信に用いられる多重化通信路を構築乃至変更する無線中継器選択装置であって、前記多重化通信路の構築状況を学習する機械学習装置を備え、前記機械学習装置は、前記多重化通信路の構築状況を示す多重化通信路データ、前記管理対象機器の多重化無線通信の状態を示す多重化無線通信状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記多重化通信路の構築状況の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記多重化通信路の構築状況と、前記多重化無線通信状態データとを関連付けて学習する学習部と、を備える無線中継器選択装置である。

本発明の他の態様は、管理対象機器の間での通信に用いられる多重化通信路の構築状況を学習する機械学習装置であって、前記多重化通信路の構築状況を示す多重化通信路データ、前記管理対象機器の多重化無線通信の状態を示す多重化無線通信状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記多重化通信路の構築状況の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記多重化通信路の構築状況と、前記多重化無線通信状態データとを関連付けて学習する学習部と、を備える機械学習装置である。

本発明により、複数の無線機器のそれぞれが利用する無線中継器を適切に選択することが可能となるため、無線教示操作盤からロボットの無線中継器選択装置に対して送信される信号が途切れなくなり、作業者は快適な教示作業を行うことができるようになる。

第１の実施形態による無線中継器選択装置の概略的なハードウェア構成図である。 第１の実施形態による無線中継器選択装置の概略的な機能ブロック図である。 無線中継器選択装置の一形態を示す概略的な機能ブロック図である。 機械学習方法の一形態を示す概略的なフローチャートである。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による無線中継器選択装置の概略的な機能ブロック図である。 多重化通信を行うシステムの例を示す図である。

以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による無線中継器選択装置と該無線中継器選択装置によって制御される工作機械の要部を示す概略的なハードウェア構成図である。無線中継器選択装置１は、例えば工場などの現場に配置される複数のロボット（図示せず）を制御する制御装置（図示せず）や数値制御工作機械（図示せず）、無線中継器、無線教示操作盤等の管理対象機器を管理する上位装置（ホストコンピュータ、セルコントローラ等）として実装することができる。本実施形態による無線中継器選択装置１が備えるＣＰＵ１１は、無線中継器選択装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って無線中継器選択装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データが一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、無線中継器選択装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、図示しないキーボード等の入力機器を介して入力されたデータや、図示しないインタフェースを介して入力された動作用のプログラムの他、管理対象機器に関する管理用データ（管理対象機器の種類や使用可能な通信プロトコル、通信アドレス、設置されている現在位置等の情報）が記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、管理対象機器に対する指令を実行するための各種のシステム・プログラム（後述の機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。

無線中継器選択装置１は、有線通信インタフェース１５又は無線通信インタフェース１６を介した有線／無線通信により管理対象危機との間で指令やデータのやり取りを行うことができるようになっている。これら通信インタフェースは、管理対象機器との間で指令やデータのやり取りが可能で有れば、どのような通信プロトコルを用いるものであっても良い。

インタフェース２１は、無線中継器選択装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して無線中継器選択装置１で取得可能な各情報（管理対象機器の接続状態や現在位置等）を観測することができる。また、無線中継器選択装置１は、機械学習装置１００から出力される、多重化無線通信の接続設定の指令を受けて、管理対象機器に対する多重化通信路の構築乃至変更の指令を有線通信インタフェース１５又は無線通信インタフェース１６を介して行う。

図２は、第１の実施形態による無線中継器選択装置１と機械学習装置１００の概略的な機能ブロック図である。機械学習装置１００は、各管理対象機器の多重化無線通信の状態に対する、該多重化通信路の構築乃至変更を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。無線中継器選択装置１が備える機械学習装置１００が学習するものは、各管理対象機器の多重化無線通信の状態と、該多重化通信路の構築乃至変更との、相関性を表すモデル構造に相当する。

図２に機能ブロックで示すように、無線中継器選択装置１が備える機械学習装置１００は、多重化通信路の構築状況を示す多重化通信路データＳ１と、各管理対象機器の多重化無線通信の状態（多重化無線通信品質）を示す多重化無線通信状態データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、多重化通信路の構築状況の適否判定結果を示す多重化通信路判定データＤ１を含む判定データＤを取得する判定データ取得部１０８と、状態変数Ｓと判定データＤとを用いて、各管理対象機器の多重化無線通信の状態に、多重化通信路データＳ１を関連付けて学習する学習部１１０とを備える。

状態観測部１０６は、例えばプロセッサ１０１の一機能として構成できる。或いは状態観測部１０６は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。状態観測部１０６が観測する状態変数Ｓのうち、多重化通信路データＳ１は、それぞれの無線教示操作盤に対する無線通信路の割り当て（それぞれの無線教示操作盤に対する多重化無線通信に利用する無線中継器や制御装置の無線モジュール、無線通信チャンネルの割り当て）として取得することができる。

多重化通信路データＳ１は、学習の初期においては、例えば多重化無線通信の構築に熟練した作業者により申告されて無線中継器選択装置１に与えられた多重化通信路の構築状況を用いることができる。また、多重化通信路データＳ１は、学習がある程度進んだ段階では、機械学習装置１００が学習部１１０の学習結果に基づいて１つ前の学習周期において決定した多重化通信路の構築状況を用いることができ、このような場合においては、機械学習装置１００は決定した多重化通信路の構築状況を学習周期毎にＲＡＭ１０３に一時的に記憶しておき、状態観測部１０６は、ＲＡＭ１０３から１つ前の学習周期において機械学習装置１００が決定した多重化通信路の構築状況を取得するようにしても良い。

状態変数Ｓのうち、多重化無線通信状態データＳ２は、例えば無線中継器選択装置１が各管理対象機器から取得した無線通信の電波強度や無線通信成功率（データの送信回数に対するデータ送信の成功回数の割合、予め定められた所定期間だけデータが到達しなかった割合等のように、通信プロトコルに応じて決定される通信成功率）等を用いることができる。無線中継器選択装置１は、管理対象機器に対して無線通信の状態に係る情報を要求し、これに対する管理対象機器からの応答として無線通信の電波強度や無線通信成功率等のデータを得ることができる。状態観測部１０６は、取得した各管理対象機器の無線通信の電波強度や無線通信成功率等のデータを、そのまま多重化無線通信状態データＳ２として用いても良いし、各管理対象機器の無線通信の電波強度や無線通信成功率等のデータから所定の式を用いて算出されることで標準化された無線通信の状態（無線通信の品質）を示す値を多重化無線通信状態データＳ２として用いても良い。

判定データ取得部１０８は、例えばプロセッサ１０１の一機能として構成できる。或いは判定データ取得部１０８は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。判定データ取得部１０８は、判定データＤとして、多重化通信路の構築状況の適否判定値である多重化通信路判定データＤ１を用いることができる。判定データ取得部１０８は、状態観測部１０６が多重化無線通信状態データＳ２を観測する際に得られる各管理対象機器から取得した無線通信の電波強度や無線通信成功率等から求めることができる。判定データＤは、状態変数Ｓの下で各々の無線教示操作盤を用いて多重化無線通信による教示作業を行った場合における結果を表す指標である。

学習部１１０に対して同時に入力される状態変数Ｓは、学習部１１０による学習周期で考えた場合、判定データＤが取得された１学習周期前のデータに基づくものとなる。このように、無線中継器選択装置１が備える機械学習装置１００が学習を進める間、環境においては、多重化無線通信状態データＳ２の取得、多重化通信路データＳ１に基づいて構築乃至変更された多重化通信路の元での無線教示操作盤を用いた教示作業の実行、判定データＤの取得が繰り返し実施される。

学習部１１０は、例えばプロセッサ１０１の一機能として構成できる。或いは学習部１１０は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。学習部１１０は、各管理対象機器の多重化無線通信の状態に対する、多重化通信路データＳ１を学習する。学習部１１０は、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。各管理対象機器の多重化無線通信の状態に対する、多重化通信路データＳ１の学習サイクルの反復中、状態変数Ｓのうち、多重化無線通信状態データＳ２は、上記したように１学習周期前に取得された多重化無線通信の状態から取得し、多重化通信路データＳ１は、前回までの学習結果に基づいて得られた多重化通信路の構築状況とし、また判定データＤは、多重化通信路データＳ１に基づいて多重化無線通信路の構築乃至変更が行われた状態での今回の学習周期における各管理対象機器の現在の多重化無線通信の状態に対する適否判定結果とする。

このような学習サイクルを繰り返すことにより、学習部１１０は、各管理対象機器の多重化無線通信の状態（多重化無線通信状態データＳ２）と該状態に対する多重化通信路の構築状況との相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時には多重化無線通信状態データＳ２と、多重化通信路の構築状況との相関性は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。多重化無線通信状態データＳ２と多重化通信路の構築状況との相関性が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、現在状態（つまり各管理対象機器の現在の多重化無線通信の状態）に対して、多重化通信路の構築状況をどうするべきか（どのように構築するべきか、又はどのように変更するべきか）という行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部１１０は、学習アルゴリズムの進行に伴い、各管理対象機器の現在の多重化無線通信の状態と、当該状態に対して多重化通信路の構築状況をどうするべきか（どのように構築するべきか、又はどのように変更するべきか）という行動との、相関性を最適解に徐々に近づけることができる。

上記したように、無線中継器選択装置１が備える機械学習装置１００は、状態観測部１０６が観測した状態変数Ｓと判定データ取得部１０８が取得した判定データＤとを用いて、学習部１１０が機械学習アルゴリズムに従い、多重化通信路の構築状況（多重化通信路の構築乃至変更）を学習するものである。状態変数Ｓは、多重化通信路データＳ１、多重化無線通信状態データＳ２といった、外乱の影響を受け無いデータで構成され、また判定データＤは、無線中継器選択装置１を介して各管理対象機器の現在の多重化無線通信の状態を取得することにより一義的に求められる。したがって、無線中継器選択装置１が備える機械学習装置１００によれば、学習部１１０の学習結果を用いることで、各管理対象機器の多重化無線通信の状態に応じた、多重化通信路の構築状況を、演算や目算によらずに自動的に、しかも正確に求めることができるようになる。

そして、多重化通信路の構築状況を、演算や目算によらずに自動的に求めることができれば、各管理対象機器の現在の多重化無線通信の状態（多重化無線通信状態データＳ２）を把握するだけで、多重化通信路の構築状況の適切な値を迅速に決定することができる。したがって、状態に応じた多重化通信路の構築乃至変更を効率よく行うことができる。

無線中継器選択装置１が備える機械学習装置１００の一変形例として、状態観測部１０６は、状態変数Ｓとして、各管理対象機器の位置を示す位置情報データＳ３を用いることができる。各管理対象機器の位置は、固定的に設置される管理対象機器（ロボットの制御装置、数値制御工作機械、無線中継器等）については、予め無線中継器選択装置１の不揮発性メモリ１４に記憶された管理対象機器に関する管理用データとして設定しておいても良く、また、移動可能な管理対象機器（無線教示操作盤等）については、当該管理対象機器の無線電波の強度を他の管理対象機器が備える無線モジュールで検出した結果に基づいて算出するようにしても良い。

上記変形例によれば、機械学習装置１００は、各管理対象機器の多重化無線通信の状態と、各管理対象機器の位置との双方に対して、多重化通信路の構築状況の学習をすることが可能となり、例えば無線教示操作盤を利用している作業者が現場を移動している場合に、その移動位置をも考慮して最適な多重化通信路の構築乃至変更を指令することができるようになる。

無線中継器選択装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６が観測する状態変数Ｓとして、無線教示操作盤から通信先の制御装置までの通信データの時間遅延の度合いを示す通信遅延データＳ４を用いることができる。

上記変形例によれば、機械学習装置１００は、各管理対象機器の多重化無線通信の状態と、無線教示装置から通信先の制御装置までの通信データの時間遅延の度合いとの双方に対して、多重化通信路の構築状況の学習をすることが可能となる。

無線中継器選択装置１が備える機械学習装置１００の他の変形例として、判定データ取得部１０８が取得する判定データＤとして、多重化通信路の構築状況の適否判定値である多重化通信路判定データＤ１に加えて、無線教示操作盤から通信先の制御装置までの通信データの時間遅延の度合いを示す通信遅延判定データＤ２を用いることができる。

上記変形例によれば、機械学習装置１００は、各管理対象機器の多重化無線通信の状態に対する、多重化通信路の構築状況の学習に際して、無線教示操作盤と通信先の制御装置との間での通信データの時間遅延をも考慮することができる。

上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図３は、図１に示す無線中継器選択装置１の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部１１０を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置では多重化通信路の構築状況の決定）を最適解として学習する手法である。

図３に示す無線中継器選択装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓに基づいて決定された多重化通信路の構築状況の適否判定結果（状態変数Ｓが取得された次の学習周期で用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部１１２と、報酬Ｒを用いて、多重化通信路の構築状況の価値を表す関数Ｑを更新する価値関数更新部１１４とを備える。学習部１１０は、価値関数更新部１１４が関数Ｑの更新を繰り返すことによって各管理対象機器の多重化無線通信の状態に対する多重化通信路の構築状況を学習する。

学習部１１０が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。

価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。

学習部１１０がＱ学習を実行する場合、状態観測部１０６が観測した状態変数Ｓ及び判定データ取得部１０８が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまり、各管理対象機器の現在の多重化無線通信の状態）に対する多重化通信路の構築状況をどうするべきか（どのように構築するべきか、又はどのように変更するべきか）という行動は、更新式の行動ａに該当し、報酬計算部１１２が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部１１４は、現在状態に対する多重化通信路の構築状況の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。

報酬計算部１１２が求める報酬Ｒは、例えば、多重化通信路の構築状況を決定した後に、決定した内容に基づいて実際に多重化通信路の構築乃至変更を行い、その状態において無線教示操作盤を用いた教示作業を行った時に、多重化通信路の構築状況の適否判定結果が「適」と判定される場合（例えば、無線通信成功率が向上した予め定めた閾値以上に向上した場合、無線教示操作盤と通信先の制御装置との間の通信データの時間遅延が予め定めた所定の許容値内であった場合等）に正（プラス）の報酬Ｒとし、多重化通信路の構築状況を決定した後に、決定した内容に基づいて実際に多重化通信路の構築乃至変更を行い、その状態において無線教示操作盤を用いた教示作業を行った時に、多重化通信路の構築状況の適否判定結果が「否」と判定される場合（例えば、無線通信成功率が向上した予め定めた閾値以下に低下した場合、無線教示操作盤と通信先の制御装置との間の通信データの時間遅延が予め定めた所定の閾値を越えた場合等）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。

また、多重化通信路の構築状況の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、通信データの時間遅延が許容値の最大値がＤＲ_maxの場合、無線教示操作盤と通信先の制御装置との間の通信データの時間遅延の値ＤＲが、０≦ＤＲ＜ＤＲ_max／５のときは報酬Ｒ＝５を与え、ＤＲ_max／５≦ＤＲ＜ＤＲ_max／２のときは報酬ＤＲ＝２を与え、ＤＲ_max／２≦ＤＲ≦ＤＲ_maxのときは報酬Ｒ＝１を与えるような構成とすることができる。さらに、学習の初期段階はＤＲ_maxを比較的大きく設定し、学習が進行するにつれてＤＲ_maxを縮小する構成とすることもできる。

価値関数更新部１１４は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部１１４が関数Ｑを更新するという行為は、価値関数更新部１１４が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態と多重化通信路の構築状況との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部１１２は、判定データＤが分かればこれ対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。

多重化通信路の構築状況の適否判定に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動ほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（各管理対象機器の現在の多重化無線通信の状態）とそれに対する行動（多重化通信路の構築乃至変更）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、各管理対象機器の現在の多重化無線通信の状態と、多重化通信路の構築状況との関係が最適解に徐々に近づけられる。

図４を参照して、学習部１１０が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部１１４は、その時点での行動価値テーブルを参照しながら、状態観測部１０６が観測した状態変数Ｓが示す現在状態で行う行動として多重化通信路の構築状況（多重化通信路の構築乃至変更）を無作為に選択する。次に価値関数更新部１１４は、ステップＳＡ０２で、状態観測部１０６が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部１０８が取得している現在状態の判定データＤを取り込む。次に価値関数更新部１１４は、ステップＳＡ０４で、判定データＤに基づき、多重化通信路の構築状況が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部１１２が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、多重化通信路の構築状況が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部１１２が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部１１０は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、多重化通信路の構築状況の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。

前述した強化学習を進める際に、例えばＱ学習の代わりに、ニューラルネットワークを用いることができる。図５Ａは、ニューロンのモデルを模式的に示す。図５Ｂは、図５Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図５Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する結果ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆ_kは活性化関数である。

図５Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す)が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図５Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。

図５Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。

無線中継器選択装置１が備える機械学習装置１００においては、状態変数Ｓと判定データＤとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、多重化通信路の構築状況（結果ｙ）を出力することができる。また、無線中継器選択装置１が備える機械学習装置１００においては、ニューラルネットワークを強化学習における価値関数として用い、状態変数Ｓと行動ａとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値（結果ｙ）を出力することもできる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。

上記した無線中継器選択装置１の構成は、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、多重化通信路の構築状況を学習する機械学習方法であって、コンピュータのＣＰＵが、多重化通信路データＳ１，多重化無線通信状態データＳ２を、多重化無線通信を行う環境の現在状態を表す状態変数Ｓとして観測するステップと、決定された多重化通信路の構築状況の適否判定を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、多重化無線通信状態データＳ２と、多重化通信路の構築状況とを関連付けて学習するステップとを有する。

図６は、第２の実施形態による無線中継器選択装置２を示す。無線中継器選択装置２は、機械学習装置１２０と、状態観測部１０６が観測する状態変数Ｓの多重化通信路データＳ１、多重化無線通信状態データＳ２を状態データＳ０として取得する状態データ取得部３とを備える。状態データ取得部３は、無線中継器選択装置２のメモリ上に記憶された各データや、有線通信インタフェース１５、無線通信インタフェース１６などを介して各管理対象機器から取得したデータ、作業者による適宜のデータ入力等から、状態データＳ０を取得することができる。

無線中継器選択装置２が有する機械学習装置１２０は、多重化通信路の構築状況を機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）に加えて、学習結果に基づいて求めた多重化通信路の構築状況を無線中継器選択装置２への指令として出力するためのソフトウェア（演算アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含むものである。無線中継器選択装置２が含む機械学習装置１２０は、１つの共通のプロセッサが、学習アルゴリズム、演算アルゴリズム等の全てのソフトウェアを実行する構成を有することもできる。

意思決定部１２２は、例えばプロセッサ１０１の一機能として構成できる。或いは意思決定部１２２は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。意思決定部１２２は、学習部１１０が学習した結果に基づいて、各管理対象機器の現在の多重化無線通信の状態に対する、多重化通信路の構築乃至変更を決定する指令を含む指令値Ｃを生成し、生成した指令値Ｃとして出力する。指令値Ｃは、それぞれの無線教示操作盤が多重化通信路として用いる無線通信路のための無線中継器（無線中継器、及び無線中継器として用いる制御装置等が備える無線通信モジュール）を指令するものであっても良く、また、現在構築されている多重化通信路と新たに構築する多重化通信路との差分を示すものであっても良い。意思決定部１２２が指令値Ｃを無線中継器選択装置２に対して出力した場合、無線中継器選択装置２は、当該指令に基づいて、各管理対象機器に対して多重化無線通信に利用する無線中継器を指示したり、無線中継器（及び、無線中継器として用いられる制御装置等）に対しては、該無線中継器を用いる管理対象機器からの接続の許可と、必要に応じて該無線中継器を用いる管理対象機器以外からの接続の禁止をするように指令する。これに応じて、環境の状態が変化する。

状態観測部１０６は、意思決定部１２２による環境への指令値Ｃを出力した後に変化した状態変数Ｓを次の学習周期において観測する。学習部１１０は、変化した状態変数Ｓを用いて、例えば価値関数Ｑ（すなわち行動価値テーブル）を更新することで、多重化通信路の構築状況を学習する。なお、その際に状態観測部１０６は、多重化通信路データＳ１を状態データ取得部３が取得する状態データＳ０から取得するのではなく、第１の実施形態で説明したように機械学習装置１２０のＲＡＭ１０３から観測するようにしても良い。

意思決定部１２２は、学習結果に基づいて求めた多重化通信路の構築状況（多重化通信路の構築乃至変更）を指令する指令値Ｃを無線中継器選択装置２へと出力する。この学習周期を繰り返すことにより、機械学習装置１２０は多重化通信路の構築状況の学習を進め、自身が決定する多重化通信路の構築状況の信頼性を徐々に向上させる。

上記構成を有する無線中継器選択装置２が備える機械学習装置１２０は、前述した機械学習装置１００と同等の効果を奏する。特に機械学習装置１２０は、意思決定部１２２の出力によって環境の状態を変化させることができる。他方、機械学習装置１００では、学習部１１０の学習結果を環境に反映させるための意思決定部に相当する機能を、外部装置に求めることができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、機械学習装置１００，１２０が実行する学習アルゴリズム、機械学習装置１２０が実行する演算アルゴリズム、無線中継器選択装置１、２が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。

また、上記した実施形態では無線中継器選択装置１（又は２）と機械学習装置１００（又は１２０）が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００（又は１２０）は無線中継器選択装置１（又は２）が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。

更に、上記した実施形態では機械学習装置１００（又は１２０）が無線中継器選択装置１（又は２）に内蔵されている実施例を示したが、機械学習装置１２０（又は１００）は有線乃至無線通信ネットワークを介して無線中継器選択装置１（又は２）と通信可能なクラウドサーバ等に存在する構成を有することができる。

１，２ 無線中継器選択装置
３ 状態データ取得部
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１５ 有線通信インタフェース
１６ 無線通信インタフェース
２０ バス
２１ インタフェース
１００ 機械学習装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 不揮発性メモリ
１０６ 状態観測部
１０８ 判定データ取得部
１１０ 学習部
１１２ 報酬計算部
１１４ 価値関数更新部
１２０ 機械学習装置
１２２ 意思決定部

Claims (8)

1. 管理対象機器の間での通信に用いられる多重化通信路を構築乃至変更する無線中継器選択装置であって、
   前記多重化通信路の構築状況を学習する機械学習装置を備え、
   前記機械学習装置は、
   前記多重化通信路の構築状況を示す多重化通信路データ、前記管理対象機器の多重化無線通信の状態を示す多重化無線通信状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記多重化通信路の構築状況の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記多重化通信路の構築状況と、前記多重化無線通信状態データとを関連付けて学習する学習部と、
   を備える無線中継器選択装置。
2. 前記状態変数に、前記管理対象機器の位置を示す位置情報データを含み、
   前記学習部は、前記多重化通信路の構築状況と、前記多重化無線通信状態データ及び位置情報データを関連付けて学習する、
   請求項１に記載の無線中継器選択装置。
3. 前記判定データには、前記多重化通信路の構築状況の適否判定結果に加えて、前記管理対象機器の間の通信データの時間遅延の適否判定結果を含む、
   請求項１または２に記載の無線中継器選択装置。
4. 前記学習部は、
   前記適否判定結果に関連する報酬を求める報酬計算部と、
   前記報酬を用いて、前記各管理対象機器の多重化無線通信の状態に対する前記多重化通信路の構築状況の価値を表す関数を更新する価値関数更新部とを備える、
   請求項１に記載の無線中継器選択装置。
5. 前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
   請求項１〜４のいずれか１つに記載の無線中継器選択装置。
6. 前記学習部による学習結果に基づいて、前記多重化通信路の構築状況に基づく指令値を出力する意思決定部を更に備える、
   請求項１〜５のいずれか１つに記載の無線中継器選択装置。
7. 前記機械学習装置は、クラウドサーバに存在する、
   請求項１〜６のいずれか１つに記載の無線中継器選択装置。
8. 管理対象機器の間での通信に用いられる多重化通信路の構築状況を学習する機械学習装置であって、
   前記多重化通信路の構築状況を示す多重化通信路データ、前記管理対象機器の多重化無線通信の状態を示す多重化無線通信状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記多重化通信路の構築状況の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記多重化通信路の構築状況と、前記多重化無線通信状態データとを関連付けて学習する学習部と、
   を備える機械学習装置。

Images