JP2020063429A - 制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法 - Google Patents

Abstract

【課題】可燃性ごみを工業原料として高効率で再利用することができる制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法を提供する。【解決手段】制御装置は、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する制御情報取得部と、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備える。【選択図】図１

Description

本発明は、制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法に関する。

日本で排出される可燃性ごみのエネルギー換算量は、プラスチック素材を生産するのに用いられる化石資源に比べて大きいにも関わらず、多くの可燃性ごみは焼却又は埋立処分されている。

特許文献１には、ごみ焼却炉から排出した焼却灰から磁性物を磁力選別し、選別された磁性物を還元金属化処理することにより、従来、埋立処分されていた酸化鉄を還元処理して、埋立処分量を低減することができるごみ処理施設が開示されている。

特開２０１１−５６３９２号公報

しかし、特許文献１のようなごみ処理施設では、可燃性ごみの再利用は一部に留まる。また、可燃性のごみは、雑多・不均質であり、含まれる成分・組成の変動が大きいため、工業原料として再利用することが困難であった。

本発明は、斯かる事情に鑑みてなされたものであり、可燃性ごみを工業原料として高効率で再利用することができる制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法を提供することを目的とする。

本発明の実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得する制御情報取得部と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備える。

本発明の実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、前記ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御する制御情報を出力する出力部とを備える。

本発明の実施の形態に係るサーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報を収集する収集部と、前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部とを備える。

本発明の実施の形態に係る管理サーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部とを備える。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する処理と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する処理と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する処理とを実行させる。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する処理とを実行させる。

本発明の実施の形態に係る学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習してある。

本発明の実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得し、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する。

本発明の実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する。

本発明によれば、可燃性ごみを工業原料として高効率で再利用することができる。

本実施の形態のエタノール生成システムの構成の一例を示す模式図である。 ガス精製装置の要部構成の一例を示す模式図である。 圧力変動吸着法の原理を示す説明図である。 本実施の形態の強化学習の一例を示す模式図である。 本実施の形態のニューラルネットワークモデル部の構成の一例を示す模式図である。 行動の一例を示す説明図である。 本実施の形態のニューラルネットワークモデル部の構成の他の例を示す模式図である。 制御装置によりガス精製装置の運転制御を行った場合の不純物ガスの濃度の一例を示す模式図である。 本実施の形態の機械学習の処理手順の一例を示すフローチャートである。 本実施の形態の制御装置の運転制御モードでの処理手順の一例を示すフローチャートである。 複数のプラントを管理する管理システムの構成の一例を示す模式図である。 表示装置が表示するプラント一覧画面の一例を示す模式図である。 管理サーバの処理の手順の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態のエタノール生成システム１００の構成の一例を示す模式図である。エタノール生成システムは、例えば、ごみ処理施設に設置され、ガス化炉１０、ガス精製装置２０、エタノール生成装置３０、制御装置５０を備える。

ガス化炉１０は、ごみ（可燃性ごみ）を低酸素状態で蒸し焼きして、分子レベル（例えば、一酸化炭素ガス及び水素ガスを含む）にまで分解することができる炉である。ガス精製装置２０は、ガス化炉１０が変換したガスに含まれる不純物ガスを除去・精製して、所要のガス（例えば、一酸化炭素ガス及び水素ガス）を取り出すことができる。エタノール生成装置３０は、ガス精製装置２０が取り出した所要のガスを用いて、触媒（例えば、金属触媒、微生物触媒など）によりエタノールを生成することができる。エタノールは、石油化学製品の６割程度を占めるエチレンと同様のＣ₂ 構造を有し、既存の化学プロセスによってエチレンモノマー又はブタジエンモノマーに変換することで、プラスチック等の誘起化学素材に誘導することができる。なお、可燃性ごみとは、可燃性であればよく、産業廃棄物、一般廃棄物、農業廃棄物などが一例として挙げられるが、特にこれらに限定されない。また、可燃性ごみとは異なり、例えば有機化合物及び／又は無機化合物を、本実施の形態のごみの代替物として用いてもよく、当該有機化合物及び／又は無機化合物は、変換されるガスの主たる成分として、ＣＯ、ＣＯ２、及びＨ２のうちの１つ以上を含むガスに変換されるものであれば、本発明を適用可能である。

制御装置５０は、装置全体を制御する制御部５１、ガス情報取得部５２、特性情報取得部５３、通信部５４、記憶部５５、センサ情報取得部５６、記録媒体読取部５７、判定部５８、及び処理部６０を備える。処理部６０は、報酬算出部６１、行動選択部６２、及び行動評価部６３を備える。

制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。

ガス情報取得部５２は、ガス化炉１０が変換したガスのガス情報を取得する。ガス情報は、例えば、ガス化炉１０から取り出された不純物ガス（夾雑物質）の濃度を含む。不純物ガスは、例えば、シアン化水素、ベンゼン、トルエン、エチルベンゼン、キシレン、ダイオキシンなどのガスを含むが、これらに限定されない。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。

処理部６０は、制御情報取得部としての機能を有し、ガス精製装置２０の運転を制御するための制御情報を取得する。制御情報の詳細は後述する。

特性情報取得部５３は、ガス精製装置２０が精製した精製ガスの情報を含む特性情報を取得する。精製ガスの情報は、例えば、一酸化炭素ガス及び水素ガスの純度を含む。また、精製ガスの情報は、二酸化炭素ガスの純度を含めてもよく、あるいは、除去できなかった不純物ガスの濃度を含めることもできる。また、特性情報は、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒（公知の触媒であってもよく、例えば、金属触媒や微生物）の各種活性度、エタノール生成装置３０によって生成されたエチレンの純度又は量などを含む。

通信部５４は、後述のネットワーク１を介して、管理サーバ２００及び学習サーバ３００との間で通信を行う機能を有し、所要の情報の送受信を行うことができる。管理サーバ２００及び学習サーバ３００については、後述する。

記憶部５５は、ハードディスク又はフラッシュメモリなどで構成され、制御装置５０の外部から取得した情報、制御装置５０内部での処理結果などの情報を記憶することができる。

センサ情報取得部５６は、ガス精製装置２０からセンサ情報を取得する。センサ情報の詳細は後述する。

記録媒体読取部５７は、制御装置５０の処理を定めたコンピュータプログラムを記録した記録媒体（不図示）から、記録媒体に記録されたコンピュータプログラムを読み取ることができる。

判定部５８は、エタノール生成装置３０において、触媒の一例として、微生物を用いてエタノールを生成する場合、微生物の状態に基づいて、微生物の活性度を判定する。活性度は、例えば、微生物の反応速度、生存率などを含む。微生物の状態を培養液層の外部からリアルタイムに監視して微生物の活性度を判定することができる。なお、微生物の状態をオフラインで監視して微生物の活性度を判定してもよい。これにより、例えば、微生物の活性度が低下した場合、栄養剤を投入して再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。なお、触媒の一例として、金属触媒を用いる場合には、判定部５８を具備しなくてもよい。

処理部６０は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。また、処理部６０は、仮想マシン又は量子コンピュータなどで構成してもよい。後述のエージェントは、コンピュータ上に存在する仮想的なマシンであり、エージェントの状態はパラメータ等によって変更される。また、処理部６０は、別の（制御装置５０）以外のコンピュータで学習してもよい。

処理部６０は、生成部としての機能を有し、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成することができる。機械学習は、例えば、深層学習、強化学習、深層強化学習などを用いることができる。例えば、強化学習を用いる場合、ガス情報を「状態」とし、制御情報を「行動」とし、特性情報に基づいて「報酬」を算出して、Ｑ値又はＱ関数（行動価値関数）の値を学習すればよい。

すなわち、行動選択部６２は、行動出力部としての機能を有し、ガス情報取得部５２で取得したガス情報及び行動評価部６３のＱ値又はＱ関数の値（行動評価情報）に基づいて制御情報を出力する。行動評価部６３は、強化学習において、行動の評価値を含み、具体的には、Ｑ値又はＱ関数の値（行動価値関数）を含む。すなわち、行動選択部６２は、取得した状態（ガス情報）での行動の評価値に基づいて、取得した状態において取り得る行動の中から行動を選択して出力する。

報酬算出部６１は、取得した特性情報に基づいて報酬を算出する。報酬の算出は、特性情報が所要の値又は範囲内になる場合、正（報酬あり）となるようにし、特性情報が所要の値にならない、又は範囲内にならない場合、０（報酬なし）又は負（ペナルティ）となるようにすることができる。

行動選択部６２は、更新部としての機能を有し、報酬算出部６１で算出した報酬が大きくなるように行動評価部６３のＱ値又はＱ関数の値を更新する。これにより、ごみの成分や組成の変動が大きいために、ガス精製装置２０に入力されるガス（不純物ガス）の濃度が閾値を超えるような場合でも、ガス精製装置２０の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。

学習させた学習モデルを用いることにより、ごみの成分や組成が変動する場合でも、ガス精製装置２０の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。

制御部５１は、更新された行動評価部６３のＱ値又はＱ関数の値（行動評価情報）を記憶部５５に記憶することができる。記憶部５５に記憶した行動評価情報を読み出すことにより、学習済の学習モデルを再現することができる。

図２はガス精製装置２０の要部構成の一例を示す模式図である。ガス精製装置２０は、ガス化炉１０の出力側に連通するとともに、エタノール生成装置３０の入力側に連通するガス管路を備え、ガス管路の中途には、ガス化炉１０側から、バッファタンク２１、二つの吸着装置２２、２３、圧縮機２５、バッファタンク２４が介装されている。バッファタンク２１、２４は、一時的にガスを貯留するためのものである。吸着装置２２、２３の入口側のガス管路及び出口側のガス管路には、電磁弁を設けてある。

吸着装置２２は、ガス吸着部材２２１を収容してあり、吸着装置２３は、ガス吸着部材２３１を収容してある。吸着装置２２及び吸着装置２３それぞれの所要の箇所には、センサ部２７を設けてある。なお、図２では、便宜上、センサ部２７を吸着装置２２、２３の外部に図示しているが、センサ部２７の設置位置は、図２の例に限定されない。

吸着装置２２及び吸着装置２３は、片方ずつ交互に使用され、例えば、一のサイクルタイムでは、吸着装置２２が使用され、次のサイクルタイムでは、吸着装置２２に代わって吸着装置２３が使用される。以降、同様の切替が繰り返される。一のサイクルタイムでは、吸着装置内の圧力の昇降、吸着装置（例えば、ガス吸着部材）の脱着及び洗浄などの操作が行われる。

図３は圧力変動吸着法の原理を示す説明図である。図中、縦軸は吸着容量を示し、横軸はガスの圧力を示す。図３では、不純物ガスの吸着等温線と、一酸化炭素ガス又は水素ガスの吸着等温線を模式的に図示している。圧力変動吸着（ＰＳＡ：Pressure Swing Adsorption）法の原理は以下の如くである。すなわち、吸着装置内の圧力を上下（昇降）させると、不純物ガスの吸着容量差（符号Ａ１とＡ２との差）は、一酸化炭素ガス又は水素ガスの吸着容量差（符号Ｂ１とＢ２との差）よりも大きい。これにより、不純物ガスの方が一酸化炭素ガス又は水素ガスよりも多くガス吸着部材に吸着し除去される。ガス吸着部材に吸着しなかった一酸化炭素ガス及び水素ガスは、エタノール生成装置３０へ送出される。

運転制御部２６は、ガス流量制御部２６１、温度調整部２６２、湿度調整部２６３、吸着装置２２、２３の運転の切替を行う吸着装置切替部２６４、及び通信部２６５を備える。通信部２６５は、通信機能を備え、制御装置５０との間で所定の情報の送受信を行うことができる。

運転制御部２６は、使用履歴取得部としての機能を有し、吸着装置２２、２３（例えば、ガス吸着部材２２１、２３１）の使用履歴を取得する。使用履歴は、例えば、累積使用時間、洗浄回数などを含む。

センサ部２７は、種類が異なる複数のセンサで構成され、吸着装置２２、２３（例えば、ガス吸着部材２２１、２３１）の劣化度を検出することができる。劣化度は、例えば、ガス吸着部材２２１、２３１を洗浄した後のガス吸着部材２２１、２２３表面の色又は汚れ、所定のサイクルタイムにおいて吸着した不純物の量などにより判定することができる。

センサ部２７は、吸着装置２２、２３（例えば、ガス吸着部材２２１、２３１）の脱着操作の有無を検出することができる。吸着装置２２、２３の脱着操作は、例えば、意図しない脱着操作とすることができる。

通信部２６５は、吸着装置２２、２３の使用履歴、劣化度、脱着操作の有無などの情報を制御装置５０へ送信することができる。

ガス流量制御部２６１は、制御装置５０が出力する制御情報に基づいて、ガスの流量を制御する。

温度調整部２６２は、制御装置５０が出力する制御情報に基づいて、ガスの温度を調整する。

湿度調整部２６３は、制御装置５０が出力する制御情報に基づいて、ガスの湿度を調整する。

吸着装置切替部２６４は、制御装置５０が出力する制御情報に基づいて、吸着装置２２、２３の運転の切替のサイクルタイムを調整する。

次に、制御装置５０の処理部６０の学習モードについて説明する。

図４は本実施の形態の強化学習の一例を示す模式図である。強化学習は、ある環境下に置かれたエージェントが環境に対して行動をし、得られる報酬が最大化されるような方策（エージェントが行動する際の指標となるルール）を求める機械学習アルゴリズムである。強化学習において、エージェントは、環境に対して行動を起こす学習者のようなものであり、学習対象である。環境は、エージェントの行動に対して状態の更新と報酬の付与を行う。行動は、環境のある状態に対してエージェントが取ることができる行動である。状態は、環境が保持する環境の様子である。報酬は、エージェントが環境に対して望ましい結果を作用させたときにエージェントに付与される。報酬は、例えば、正、負、０の値とすることができ、正の場合は報酬そのものであり、負の場合はペナルティとなり、０の場合は報酬なしとなる。また、行動評価関数は、ある状態での行動の評価値を定める関数であり、表のようなテーブル形式で表すこともでき、Ｑ学習においては、Ｑ関数、Ｑ値、評価値などという。Ｑ学習は、強化学習の中でよく用いられている手法の一つである。以下では、Ｑ学習について説明するが、強化学習は代替的にＱ学習と異なるものでもよい。

本実施の形態では、ガス化炉１０、ガス精製装置２０、エタノール生成装置３０及び処理部６０内の報酬算出部６１が、「環境」に相当し、行動選択部６２及び行動評価部６３が「エージェント」に相当する。行動評価部６３は、上述のＱ関数、Ｑ値に相当し、行動評価関数（行動評価情報）に対応する。

まず、行動選択部６２は、状態ｓ_t を取得すると、行動評価部６３に基づいて、状態ｓ_t において取り得る行動の中から、最も評価の高い（例えば、Ｑ関数の値が最も大きい）行動ａ_t を選択して制御情報としてガス精製装置２０に出力する。ガス精製装置２０は、制御情報に基づいて運転制御を行う。

次に、行動選択部６２は、状態ｓ_t+1 を取得するとともに、報酬算出部６１から報酬ｒ_t+1を取得する。状態ｓ_t を取得する時刻ｔと状態ｓ_t+1 を取得する時刻ｔ＋１との間の時間（インターバル）は、適宜設定することができ、例えば、１秒、１０秒、３０秒、１分、２分などとすることができるが、これらに限定されない。

ガス精製装置２０が、行動ａ_t （制御情報）に基づいて運転制御を行うと、特性情報が変化する。報酬算出部６１は、行動ａ_t （制御情報）に基づいて変化した特性情報に基づいて報酬ｒ_t+1を算出することができる。行動選択部６２がガス精製装置２０に対して望ましい結果を作用させたときに高い値（正値）の報酬が算出される。報酬が０のときは、報酬なしであり、報酬が負値のときはペナルティとなる。報酬算出部６１は、ガス精製装置２０が精製した一酸化炭素ガス及び水素ガスの純度、エタノール生成装置３０が精製したエタノールの純度又は量、並びにエタノール生成装置３０内の触媒の活性度の少なくとも一つに基づいて報酬を算出することができる。これにより、特性情報が所要の値又は範囲内になるようにガス精製装置２０の運転制御を行うことができる。なお、ガス精製装置２０が出力する不純物ガスの濃度を用いて報酬を算出してもよい。この場合、不純物ガスの濃度が高いほど、大きなペナルティとすることができる。

行動選択部６２は、取得した状態ｓ_t+1及び報酬ｒ_t+1に基づいて、行動評価部６３の、例えば、Ｑ関数の値、あるいはＱ値を更新する。より具体的には、行動選択部６２は、行動に対する報酬を最大化する方向へＱ関数の値又はＱ値を更新する。これにより、環境のある状態において最大の価値が期待される行動を学習できる。

上述の処理を繰り返して、行動評価部６３の更新を繰り返すことにより、報酬を最大化できる行動評価部６３を学習することができる。

Ｑ学習では、（状態数ｓ×行動数ａ）のサイズのテーブル（Ｑテーブルとも称する）を更新することができるが、本実施の形態のように状態数が大きくなる場合には、Ｑ関数をニューラルネットワークで表現する手法を採用することができる。

図５は本実施の形態のニューラルネットワークモデル部の構成の一例を示す模式図である。ニューラルネットワークモデル部は、処理部６０（具体的には、行動選択部６２及び行動評価部６３）を表したものである。ニューラルネットワークモデル部は、入力層６０１、中間層６０２及び出力層６０３を有する。入力層６０１の入力ニューロンの数は、不純物ガスの種類の数とすることができ、入力層６０１の入力ニューロンには、不純物ガスＧ１の濃度、不純物ガスＧ２の濃度、…、不純物ガスＧｎの濃度が入力される。不純物ガスの種類の数は、例えば、約４００であるが、これに限定されない。

出力層６０３の出力ニューロンの数は、行動の選択肢の数とすることができる。図５では、便宜上、出力層６０３の出力ニューロンの数を２とし、一方の出力ニューロンは、サイクルタイムを長くしたときのＱ関数の値を出力し、他方の出力ニューロンは、サイクルタイムを短くしたときのＱ関数の値を出力する。

ニューラルネットワークモデル部を用いた機械学習（深層強化学習）は、次のようにすることができる。すなわち、ニューラルネットワークモデル部の入力ニューロンに状態ｓ_t を入力すると、出力ニューロンは、Ｑ（ｓ_t ,ａ_t ）を出力する。ここで、Ｑは、状態ｓでの行動ａの評価を格納する関数である。Ｑ関数の更新は、式（１）により行うことができる。

式（１）において、ｓ_ｔは時点ｔでの状態を示し、ａ_ｔは状態ｓ_ｔで取ることができる行動を示し、αは学習率（ただし、０＜α＜１）を示し、γは割引率（ただし、０＜γ＜１）を示す。学習率αは学習係数とも称され、学習の速度（ステップサイズ）を決定するパラメータである。すなわち、学習率αはＱ値又はＱ関数の値の更新量を調整するパラメータである。割引率γは、Ｑ関数を更新する際に、未来の状態の評価（報酬又はペナルティ）をどれだけ割り引いて考慮するかを決定するパラメータである。すなわち、ある状態での評価が、過去の状態での評価と繋がっている場合、どの程度報酬やペナルティを割り引くかを定めるパラメータである。

式（１）において、ｒ_t+1 は行動の結果得られた報酬であり、報酬が得られない場合は０となり、ペナルティの場合は負値となる。Ｑ学習では、式（１）の第２項、{ｒ_t+1 ＋γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ）−Ｑ（ｓ_t ,ａ_t ）}が０になるように、すなわち、Ｑ関数のＱ（ｓ_t ,ａ_t ）が、報酬（ｒ_t+1 ）と、次の状態ｓ_t+1 で可能な行動の中で最大の価値（γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ））との和になるようにニューラルネットワークモデル部のパラメータを学習する。報酬の期待値と現在の行動評価との誤差を０に近づけるように、ニューラルネットワークモデル部のパラメータが更新される。別言すれば、（γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ））の値は、現在のＱ（ｓ_t ,ａ_t ）の値と、行動ａ_tを実行した後の状態ｓ_t+1 で実行可能な行動の中で得られる最大の評価値に基づいて修正される。

ある状態において行動を実行したときに、必ず報酬が得られるとは限らない。例えば、行動を何回か繰り返した後に報酬が得られる場合もある。式（２）は、式（１）において、発散の問題を回避して、報酬が得られたときのＱ関数の更新式を表す。式（３）は、式（１）において、報酬が得られなかったときのＱ関数の更新式を表す。

図５の例では、出力ニューロンの数は２であったが、これに限定されない。

図６は行動ａ_tの一例を示す説明図である。図６に示すように、行動ａ_tがサイクルタイム（吸着装置２２及び吸着装置２３の切替のサイクルタイム）の制御である場合、具体的には、サイクルタイムを長くする、サイクルタイムを短くする、あるいはサイクルタイムを変更しない行動を用いることができる。ここで、サイクルタイムをどの程度長く、あるいは短くするかは、適宜設定することができる。行動ａ_tがガス温度の制御である場合、具体的には、温度を上げる、温度を下げる、温度を変更しない行動を用いることができる。ここで、温度をどの程度上下させるかは、適宜設定することができる。行動ａ_tがガス量の制御である場合、具体的には、ガス量を増やす、ガス量を減らす、あるいはガス量を変更しない行動を用いることができる。ここで、ガス量をどの程度増減させるかは、適宜設定することができる。また、行動ａ_tがガス湿度の制御である場合、具体的には、湿度を上げる、湿度を下げる、あるいは湿度を変更しない行動を用いることができる。ここで、湿度をどの程度上下させるかは、適宜設定することができる。出力ニューロンは、図６に例示した行動の全部又は一部を組み合わせてＱ関数を出力するように構成することができる。なお、図示していないが、行動ａ_tにガスの圧力を含めてもよく、例えば、ガスの圧力を上げる、ガスの圧力を下げる、ガスの圧力を変更しない等を含めることができる。

図７は本実施の形態のニューラルネットワークモデル部の構成の他の例を示す模式図である。図５に例示したニューラルネットワークモデル部との違いは、出力ニューロンの数を２ではなく、増やした点である。図７の例では、種類の異なる行動を組み合わせている。例えば、図７に示すように、出力ニューロンは、何もしないときのＱ関数の値、サイクルタイムを長くし、ガス量を増加したときのＱ関数の値、サイクルタイムを長くし、ガス量を減少させたときのＱ関数の値、…、サイクルタイムを短くし、ガス量を増やし、ガス温度を上げたときのＱ関数の値、…、サイクルタイムを長くし、微生物に栄養剤を投入したときのＱ関数の値などとすることができる。なお、出力ニューロンの数、出力の種類は図７の例に限定されない。

なお、図５及び図７に示すニューラルネットワークモデル部としては、いわゆる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いてもよい。

次に、制御装置５０によるガス精製装置２０の運転制御モードについて説明する。

処理部６０（具体的には、学習モデルとしての行動選択部６２及び行動評価部６３）は、ガス化炉１０が変換したガスのガス情報、ガス精製装置２０を制御する制御情報、及びガス精製装置２０が精製した精製ガスの情報を含む特性情報に基づいて学習されている。

処理部６０は、ガス化炉１０が変換したガスのガス情報を取得する。

処理部６０は、ガス情報を学習モデル（行動選択部６２及び行動評価部６３）に入力してガス精製装置２０を制御する制御情報を出力する。

制御部５１は、処理部６０が出力した制御情報に基づいてガス精製装置２０を制御することができる。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置２０の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。

図８は制御装置５０によりガス精製装置２０の運転制御を行った場合の不純物ガスの濃度の一例を示す模式図である。左側の図はガス精製装置２０に入力される不純物ガスを示し、右側の図はガス精製装置２０から出力される不純物ガスを示す。図中、縦軸はガスの濃度を示し、横軸は時間を示す。左側の図に示すように、収集された可燃ごみがガス化炉１０に投入される都度（例えば、１分〜３０分に１回程度）、ごみの成分や組成が変動するための、不純物ガスの濃度も変動し、閾値を超える場合がある。濃度が閾値を超えた不純物ガスがガス精製装置２０から取り出されてエタノール生成装置３０に入力されると、例えば、生成されるエタノールの純度が低くなる。

本実施の形態では、学習済の学習モデルを用いてガス精製装置２０の運転制御を行うので、右側の図に示すように、不純物ガスの濃度は、閾値未満になり、濃度が閾値を超えた不純物ガスがエタノール生成装置３０に入力されることを防止できる。

制御部５１は、ガス精製装置２０の運転制御モードにおいて、ガス精製装置２０が精製した精製ガスの情報を含む特性情報を記憶部５５に記憶することができる。これにより、ごみの成分や組成が変動する場合に、ガス精製装置２０の運転を最適化した結果得られた特性情報を収集することができる。

制御部５１は、ガス精製装置２０の運転制御モードにおいて、取得したガス情報、出力した制御情報、及び取得した特性情報を、通信部５４を介して後述の学習サーバ３００へ送信することができる。

処理部６０は、ガス精製装置２０の運転制御モードにおいて、取得したガス情報、出力した制御情報、及び取得した特性情報に基づいて学習モデルを再学習させることができる。これにより、ガス精製装置２０の運転をさらに最適化することができる。

制御部５１は、ガス精製装置２０から取得した、吸着装置２２、２３の使用履歴、劣化度、脱着操作の有無などの情報を、通信部５４を介して後述の管理サーバ２００へ送信することができる。

次に、本実施の形態の学習モードでの処理について説明する。

図９は本実施の形態の機械学習の処理手順の一例を示すフローチャートである。なお、便宜上、処理の主体を処理部６０として説明する。処理部６０は、ニューラルネットワークモデル部のパラメータを初期値に設定する（Ｓ１１）。処理部６０は、状態ｓ_t を取得する（Ｓ１２）。状態ｓ_t は、ガス化炉１０が変換したガスのガス情報であり、具体的には、不純物ガスの濃度である。

処理部６０は、状態ｓ_t で取ることのできる行動ａ_t を選択して実行する（Ｓ１３）。行動ａ_t はガス精製装置２０の運転制御のための制御情報であり、具体的には、サイクルタイム、ガス量、ガス温度及びガス湿度の全部又は一部を組み合わせることができる。また、行動ａ_t に微生物（触媒）に与える栄養剤に関する行動を含めてもよい。

処理部６０は、行動ａ_t の結果得られる状態ｓ_t+1 を取得し（Ｓ１４）、報酬ｒ_t+1 を取得する（Ｓ１５）。報酬は、特性情報に基づいて算出することができる。ここで、特性情報は、ガス精製装置２０が精製した精製ガスの情報（例えば、一酸化炭素ガス及び水素ガスの純度）、エタノール生成装置３０が精製するエタノールの純度又は量、触媒の一例として微生物を用いる場合の微生物の活性度の少なくとも一つを含めることができる。なお、報酬は０（報酬なし）の場合もある。

処理部６０は、前記の式（１）を用いて、現在（ｓ_t、ａ_t）のＱ関数の値が、状態ｓ_t+1 で実行可能な行動の中で得られる最大の報酬になるようにニューラルネットワークモデル部のパラメータを学習（更新）する（Ｓ１６）。

処理部６０は、処理を終了するか否かを判定する（Ｓ１７）。ここで、処理を終了するか否かは、ニューラルネットワークモデル部のパラメータの更新を所定回数行ったか否かによって判定してもよく、あるいは特性情報が許容値又は許容範囲内に至ったか否か等で判定することができる。

処理を終了しない場合（Ｓ１７でＮＯ）、処理部６０は、状態ｓ_t+1 を状態ｓ_t とし（Ｓ１８）、ステップＳ１３以降の処理を続ける。処理を終了する場合（Ｓ１７でＹＥＳ）、処理部６０は、ニューラルネットワークモデル部のパラメータを記憶部５５に記憶し（Ｓ１９）、処理を終了する。なお、図９に示す処理は、繰り返し行うことができる。また、図９に示す処理は、異なる学習モデル毎に繰り返し実施することができる。

なお、上述のようなニューラルネットワークモデル部のパラメータを更新する学習に代わりに、Ｑテーブルを用いる学習では、Ｑ学習の初期の状態では、ＱテーブルのＱ値は、例えば、乱数で初期化することができる。Ｑ学習の初期段階で一旦報酬の期待値に差が生じると、未だ経験したことがない状態に遷移することができず、目標に到達することができない事態が起こり得る。そこで、ある状態に対する行動を決定する場合に、確率εを用いることができる。具体的には、ある確率εで全ての行動の中からランダムに行動を選択して実行し、確率（１−ε）でＱ値が最大の行動を選択して実行することができる。これにより、Ｑ値の初期状態によらず適切に学習を進めることができる。

図１０は本実施の形態の制御装置５０の運転制御モードでの処理手順の一例を示すフローチャートである。なお、便宜上、処理の主体を制御部５１として説明する。制御部５１は、ニューラルネットワークモデル部のパラメータを読み込み（Ｓ３１）、状態ｓ_t を取得し（Ｓ３２）、取得した状態ｓ_t を記憶部５５に記憶する（Ｓ３３）。状態ｓ_t は、ガス化炉１０が変換したガスのガス情報であり、具体的には、不純物ガスの濃度である。

制御部５１は、学習モデルに基づいて状態ｓ_t に対する行動ａ_t を出力し（Ｓ３４）、出力した行動ａ_t を記憶部５５に記憶する（Ｓ３５）。行動ａ_t はガス精製装置２０の運転制御のための制御情報であり、具体的には、サイクルタイム、ガス量、ガス温度及びガス湿度の全部又は一部を組み合わせることができる。また、行動ａ_t に微生物（触媒）に与える栄養剤に関する行動を含めてもよい。

制御部５１は、出力した行動ａ_t に基づいてガス精製装置２０の運転制御を行い（Ｓ３６）、特性情報を取得する（Ｓ３７）。制御部５１は、取得した特性情報を記憶部５５に記憶する（Ｓ３８）。

制御部５１は、ガス精製装置２０の運転が終了するか否かを判定し（Ｓ３９）、運転が終了しない場合（Ｓ３９でＮＯ）、状態ｓ_t+1 を取得し（Ｓ４０）、状態ｓ_t+1 を状態ｓ_t とし（Ｓ４１）、ステップＳ３４以降の処理を続ける。ガス精製装置２０の運転が終了する場合（Ｓ３９でＹＥＳ）、制御部５１は、記憶部に記憶した状態、行動及び特性情報をサーバ（学習サーバ３００）に送信し（Ｓ４２）、処理を終了する。

また、処理部６０は、ガス情報取得部５２で取得したガス情報、処理部６０が出力した制御情報、及び特性情報取得部５３で取得した特性情報に基づいて学習モデル（行動選択部６２及び行動評価部６３）を再学習させることができる。これにより、ガス精製装置２０の運転をさらに最適化することができる。

本実施の形態の制御部５１及び処理部６０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えたコンピュータを用いて実現することもできる。例えば、記録媒体（例えば、ＣＤ−ＲＯＭ等の光学可読ディスク記憶媒体）に記録されたコンピュータプログラムやデータ（例えば、学習済のＱ関数又はＱ値など）を記録媒体読取部５７（例えば、光学ディスクドライブ）で読み取ってＲＡＭに格納することができる。ハードディスク（図示しない）に格納しコンピュータプログラム実行時にＲＡＭに格納してもよい。図９及び図１０に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で制御部５１及び処理部６０を実現することができる。

上述の実施の形態では、機械学習の一例として、Ｑ学習について説明したが、代替的に、別のＴＤ学習（Temporal Difference Learning）などの他の学習アルゴリズムを用いてもよい。例えば、Ｑ学習のように、行動の価値を更新するのではなく状態の価値の更新を行う学習方法を用いてもよい。この方法では、現在の状態Ｓｔの価値Ｖ（ｓ_t ）を、Ｖ（ｓ_t ）＜−Ｖ（ｓ_t ）＋α・δｔという式で更新する。ここで、δｔ＝r_t+1 ＋γ・Ｖ（ｓ_t+1 ）−Ｖ（ｓ_t ）であり、αは学習率、δｔはＴＤ誤差である。

上述のように、本実施の形態によれば、収集した可燃性ごみを極めて高い生産効率でエタノールに変換することができ、可燃性ごみを工業原料として高効率で再利用することができる。

上述の実施の形態では、一つのごみ処理施設（プラントとも称する）について説明したが、本実施の形態は、複数の場所（地域）に設置された複数のプラントに対しても適用することができる。

図１１は複数のプラントを管理する管理システムの構成の一例を示す模式図である。図１１に示すように、複数のプラント内に設けられた各制御装置５０は、インターネットなどのネットワーク１に接続されている。ネートワーク１には、管理サーバ２００、学習サーバ３００が接続されている。各制御装置５０と、管理サーバ２００及び学習サーバ３００との間では、ネットワーク１を介して情報の送受信を行うことができる。管理サーバ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３及びプラントＤＢ２０４を備え、表示装置２１０が接続されている。なお、管理サーバ２００（ＣＰＵ２０１）は表示装置２１０の処理を制御することができる。学習サーバ３００は、処理部３０１及びプラントＤＢ３０２を備える。処理部３０１は、制御装置５０の処理部６０と同様の構成とすることができる。

各制御装置５０は、ガス精製装置２０の運転制御モードにおいて、取得したガス情報、出力した制御情報、取得した特性情報及びプラントを識別する識別情報を学習サーバ３００へ送信することができる。学習サーバ３００は、各制御装置５０から、プラントを識別する識別情報、ガス化炉１０が変換したガスのガス情報、ガス精製装置２０を制御する制御情報、及びガス精製装置２０が精製した精製ガスの情報を含む特性情報を収集することができる。学習サーバ３００は、収集したガス情報、制御情報及び特性情報を識別情報と関連付けてプラントＤＢ３０２に記憶することができる。これにより、プラント毎に、ガス精製装置２０の運転を最適化するのに必要な情報を収集して記録することができる。

学習サーバ３００では、ごみの成分や組成が変動する場合に、ガス精製装置２０の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置５０から同様の情報を送信することにより、学習サーバ３００では、各プラントにおいて、ガス精製装置２０の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。

処理部３０１は、収集したガス情報、制御情報及び特性情報に基づいて学習モデルを学習させることができる。これにより、学習サーバ３００は、様々な地域に設置されたごみ処理施設（プラント）毎に、カスタマイズした学習モデルを生成することができる。既存のごみ処理施設に制御装置５０を新たに設置する場合や新たにプラントを建設するような場合に、それぞれのプラントに適した学習モデルを配信することができる。なお、学習モデルをプラント（具体的には制御装置５０内）に配信する場合には、秘密鍵などを用いて学習モデル（アルゴリリズム及びパラメータなど）を暗号化して配信することができる。各制御装置５０では、固有の秘密鍵を用いて復号すればよい。

また、各制御装置５０は、ガス精製装置２０から取得した、吸着装置２２、２３の使用履歴、劣化度、脱着操作の有無、触媒（例えば、微生物）の活性度などの情報を管理サーバ２００へ送信することができる。

管理サーバ２００では、使用履歴に基づいて、吸着装置２２、２３を交換するまでの残余使用回数、残余使用時間などを算出することにより、吸着装置２２、２３の交換時期を推定することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置から同様の情報を送信することにより、管理サーバ２００では、各プラントにおいて、ガス精製装置２０内の吸着装置２２、２３の交換時期を推定することができる。

図１２は表示装置２１０が表示するプラント一覧画面２１１の一例を示す模式図である。図１２に示すように、プラント一覧画面２１１は、プラントＩＤ表示領域２１２、吸着装置の劣化度表示領域２１３、アラート表示領域２１４、触媒（例えば、微生物）の活性度表示領域２１５を有する。管理サーバ２００では、すなわち、表示装置２１０の表示画面を監視する作業員は、吸着装置の劣化度表示領域２１３に表示される、各プラントの各吸着装置の劣化度に基づいて、各プラントにおいて、吸着装置２２、２３の保守・点検、あるいは交換の要否を判定することができる。なお、図１２の例では、いずれのプラントにおいても、吸着装置の劣化度は交換すべき値まで至っていない。

また、管理サーバ２００では、すなわち、表示装置２１０の表示画面を監視する作業員は、アラート表示領域２１４のアラートが点灯又は点滅した場合、吸着装置２２、２３の意図しない脱着操作があったことを認識することができる。これにより、例えば、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置５０から同様の情報を送信することにより、管理サーバ２００では、各プラントにおいて、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。

また、管理サーバ２００では、すなわち、表示装置２１０の表示画面を監視する作業員は、触媒の活性度表示領域２１５での活性度がＯＫかＮＧかを識別することができる。図１２では、活性度はＯＫとしている。これにより、例えば、微生物の活性度が低下した場合、遠隔で栄養剤を投入する指示を行うことができ、微生物を再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。

図１３は管理サーバ２００の処理の手順の一例を示すフローチャートである。以下では、便宜上、処理の主体をＣＰＵ２０１として説明する。ＣＰＵ２０１は、複数のプラントそれぞれのガス精製装置２０内のガスの吸着装置２２、２３の劣化情報を取得し（Ｓ１０１）、プラント毎にガスの吸着装置２２、２３の劣化度を表示する（Ｓ１０２）。

ＣＰＵ２０１は、ガスの吸着装置２２、２３の脱着操作情報を取得したか否かを判定する（Ｓ１０３）。ここで、脱着操作情報は、ガスの吸着装置２２、２３の意図しない脱着操作があったことを示す情報であり、ガスの吸着装置２２、２３を洗浄する際の脱着操作は含まない。

ガスの吸着装置２２、２３の脱着操作情報を取得した場合（Ｓ１０３でＹＥＳ）、ＣＰＵ２０１は、該当するプラントのアラート（例えば、図１２に例示するアラート表示領域２１４のアラート）を出力する（Ｓ１０４）。アラートの出力は、表示灯の点灯又は点滅でもよく、音声で出力してもよい。また、作業員の携帯端末装置（不図示）に通知するようにしてもよい。ガスの吸着装置２２、２３の脱着操作情報を取得していない場合（Ｓ１０３でＮＯ）、ＣＰＵ２０１は、後述のステップＳ１０５の処理を行う。

ＣＰＵ２０１は、エタノール生成用の触媒（例えば、微生物）の活性度情報を取得したか否かを判定し（Ｓ１０５）、活性度情報を取得した場合（Ｓ１０５でＹＥＳ）、プラント毎に触媒（例えば、微生物）の活性度を表示し（Ｓ１０６）、処理を終了するか否かを判定する（Ｓ１０７）。活性度情報を取得していない場合（Ｓ１０５でＮＯ）、ＣＰＵ２０１は、ステップＳ１０７の処理を行う。処理を終了しない場合（Ｓ１０７でＮＯ）、ＣＰＵ２０１は、ステップＳ１０１以降の処理を続け、処理を終了する場合（Ｓ１０７でＹＥＳ）、処理を終了する。

上述の実施形態において、管理サーバ２００又は学習サーバ３００それぞれは複数のサーバで構成してもよく、また、管理サーバ２００及び学習サーバ３００を一つのサーバに統合してもよい。

本実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得する制御情報取得部と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備える。

本実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する処理と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する処理と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する処理とを実行させる。

本実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得し、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する。

ガス情報取得部は、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する。ガス化炉は、ごみを低酸素状態で蒸し焼きして、分子レベル（例えば、一酸化炭素ガス及び水素ガスを含む）にまで分解することができる炉である。ガス情報は、例えば、ガス化炉によって生成された不純物ガス（夾雑物質）の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。

制御情報取得部は、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する。ガス精製装置は、ガス化炉が変換したガスに含まれる不純物ガスを除去・精製して、所要のガス（例えば、一酸化炭素ガス及び水素ガス）を取り出すことができる。制御情報は、ガス精製装置を運転制御するための情報である。

特性情報取得部は、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する。精製ガスの情報は、例えば、一酸化炭素ガス及び水素ガスの純度を含む。また、精製ガスの情報は、除去できなかった不純物ガスの濃度を含めることもできる。精製ガスは、触媒（例えば、金属触媒、微生物触媒など）を用いてエタノールに変換することができる。エタノールは、石油化学製品の６割程度を占めるエチレンと同様のＣ₂ 構造を有し、既存の化学プロセスによってエチレンモノマー又はブタジエンモノマーに変換することで、プラスチック等の誘起化学素材に誘導することができる。特性情報は、例えば、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒（例えば、微生物）の活性度、生成されたエチレンの純度又は量などを含む。

生成部は、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する。機械学習は、例えば、深層学習、強化学習、深層強化学習などを用いることができる。例えば、強化学習を用いる場合、ガス情報を「状態」とし、制御情報を「行動」とし、特性情報に基づいて「報酬」を算出して、Ｑ値又はＱ関数（行動価値関数）の値を学習すればよい。

上述の構成により、ごみの成分や組成の変動が大きいために、ガス精製装置に入力されるガス（不純物ガス）の濃度が閾値を超えるような場合でも、ガス精製装置の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。学習させた学習モデルを用いることにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。

本実施の形態に係る制御装置において、前記生成部は、前記ガス情報取得部で取得したガス情報及び行動評価情報に基づいて前記制御情報を出力する行動出力部と、前記特性情報取得部で取得した特性情報に基づいて報酬を算出する報酬算出部と、前記報酬算出部で算出する報酬が大きくなるように前記行動評価情報を更新する更新部とを備える。

行動出力部は、ガス情報取得部で取得したガス情報及び行動評価情報に基づいて制御情報を出力する。行動評価情報は、強化学習において、行動の評価値であり、Ｑ値又はＱ関数（行動価値関数）と同意である。すなわち、行動出力部は、取得した状態での行動の評価値に基づいて、取得した状態において取り得る行動の中から行動を選択して出力する。

報酬算出部は、特性情報取得部で取得した特性情報に基づいて報酬を算出する。報酬の算出は、特性情報が所要の値又は範囲内になる場合、正（報酬あり）となるようにし、特性情報が所要の値にならない、又は範囲内にならない場合、０（報酬なし）又は負（ペナルティ）となるようにすることができる。

更新部は、報酬算出部で算出する報酬が大きくなるように行動評価情報を更新する。これにより、ごみの成分や組成の変動が大きいために、ガス精製装置に入力されるガス（不純物ガス）の濃度が閾値を超えるような場合でも、ガス精製装置の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。

本実施の形態に係る制御装置は、前記更新部で更新した行動評価情報を記憶する記憶部を備える。

記憶部は、更新部で更新した行動評価情報を記憶する。記憶部に記憶した行動評価情報を読み出すことにより、学習済の学習モデルを再現することができる。

本実施の形態に係る制御装置において、前記ガス情報取得部は、不純物ガスの濃度を含むガス情報を取得する。

ガス情報取得部は、不純物ガスの濃度を含むガス情報を取得する。不純物ガスは、例えば、シアン化水素、ベンゼン、トルエン、エチルベンゼン、キシレン、ダイオキシンなどのガスを含むが、これらに限定されない。これにより、不純物ガスを除去することができ、ガス化炉からのガスに含まれる夾雑物質を徹底的に除去することが可能になる。

本実施の形態に係る制御装置において、前記特性情報取得部は、一酸化炭素ガス及び水素ガスの純度、エタノールの純度又は量、並びに一酸化炭素ガス及び水素ガスからエタノールを生成する触媒の活性度の少なくとも一つを含む特性情報を取得する。

特性情報取得部は、一酸化炭素ガス及び水素ガスの純度、エタノールの純度又は量、並びに一酸化炭素ガス及び水素ガスからエタノールを生成する触媒（例えば、微生物）の活性度の少なくとも一つを含む特性情報を取得する。これにより、特性情報が所要の値又は範囲内になるようにすることができる。

本実施の形態に係る制御装置において、前記制御情報取得部は、前記ガス精製装置のガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムの少なくとも一つを含む制御情報を取得する。

制御情報取得部は、ガス精製装置のガス量、ガス温度及びガス湿度、並びにガス精製装置内の吸着装置の切替サイクルタイムの少なくとも一つを含む制御情報を取得する。ガス吸着部材は、吸着装置内に設けられ、不純物を吸着させて捕獲する部材である。切替サイクルタイムは、例えば、二つの吸着装置を交互に切り替えて使用する場合の一方の吸着装置の使用時間である。切替サイクルタイムの間に、使用していない吸着装置のガス吸着部材を脱着し、ガス吸着部材に付着した不純物を洗浄することができる。これにより、特性情報が所要の値又は範囲内になるようにガス精製装置の運転制御を行うことができる。

本実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、前記ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御する制御情報を出力する出力部とを備える。

本実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する処理とを実行させる。

本発明の実施の形態に係る学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習してある。

本実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する。

学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習されている。

ガス情報は、例えば、ガス化炉によって生成された不純物ガス（夾雑物質）の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。制御情報は、ガス精製装置を運転制御するための情報である。特性情報は、例えば、一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒（例えば、微生物）の活性度、生成されたエチレンの純度又は量などを含む。

学習モデルは、例えば、深層学習、強化学習、深層強化学習などを用いて学習されている。

ガス情報取得部は、ガス化炉が変換したガスのガス情報を取得する。ガス化炉は、ごみを低酸素状態で蒸し焼きして、分子レベル（例えば、一酸化炭素ガス及び水素ガスを含む）にまで分解することができる炉である。ガス情報は、例えば、ガス化炉によって生成された不純物ガス（夾雑物質）の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。

出力部は、ガス情報取得部で取得したガス情報を学習モデルに入力してガス精製装置を制御する制御情報を出力する。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。

本実施の形態に係る制御装置は、前記出力部が出力した制御情報に基づいて前記ガス精製装置を制御する。

出力部が出力した制御情報に基づいてガス精製装置を制御する。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。

本実施の形態に係る制御装置は、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、前記特性情報取得部で取得した特性情報を記憶する記憶部とを備える。

特性情報取得部は、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、記憶部は、取得した特性情報を記憶する。これにより、ごみの成分や組成が変動する場合に、ガス精製装置の運転を最適化した結果得られた特性情報を収集することができる。

本実施の形態に係る制御装置は、前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報をサーバへ送信する送信部を備える。

送信部は、ガス情報取得部で取得したガス情報、出力部が出力した制御情報、及び特性情報取得部で取得した特性情報をサーバへ送信する。これにより、サーバでは、ごみの成分や組成が変動する場合に、ガス精製装置の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置から同様の情報を送信することにより、サーバでは、各プラントにおいて、ガス精製装置の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。

本実施の形態に係る制御装置は、前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報に基づいて前記学習モデルを再学習させる学習処理部を備える。

学習処理部は、ガス情報取得部で取得したガス情報、出力部が出力した制御情報、及び特性情報取得部で取得した特性情報に基づいて学習モデルを再学習させる。これにより、ガス精製装置の運転をさらに最適化することができる。

本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の使用履歴を取得する使用履歴取得部と、前記使用履歴取得部で取得した使用履歴を管理サーバへ送信する送信部と を備える。

使用履歴取得部は、ガス精製装置内の吸着装置の使用履歴を取得する。使用履歴は、例えば、累積使用時間、洗浄回数などを含む。

送信部は、使用履歴取得部で取得した使用履歴を管理サーバへ送信する。管理サーバでは、使用履歴に基づいて、吸着装置を交換するまでの残余使用回数、残余使用時間などを算出することにより、吸着装置の交換時期を推定することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、ガス精製装置内の吸着装置の交換時期を推定することができる。

本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の劣化度を取得する劣化度取得部を備え、前記送信部は、前記劣化度取得部で取得した劣化度を前記管理サーバへ送信する。

劣化度取得部は、ガス精製装置内の吸着装置の劣化度を取得する。劣化度は、例えば、ガス吸着部材を洗浄した後のガス吸着部材表面の色又は汚れ、所定のサイクルタイムにおいて吸着した不純物の量などにより判定することができる。

送信部は、劣化度取得部で取得した劣化度を管理サーバへ送信する。管理サーバでは、劣化度に基づいて、吸着装置の保守・点検、あるいは交換の要否を判定することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、ガス精製装置内の吸着装置の保守・点検、あるいは交換の要否を判定することができる。

本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の脱着操作の有無を取得する脱着操作取得部を備え、前記送信部は、前記脱着操作取得部で脱着操作ありを取得した場合、前記脱着操作があったことを前記管理サーバへ送信する。

脱着操作取得部は、ガス精製装置内の吸着装置の脱着操作の有無を取得する。吸着装置の脱着操作は、例えば、意図しない脱着操作とすることができる。

送信部は、脱着操作取得部で脱着操作ありを取得した場合、脱着操作があったことを管理サーバへ送信する。管理サーバでは、吸着装置の意図しない脱着操作の有無を判定することができるので、例えば、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。また、複数のごみ処理施設（プラント）それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。

本実施の形態に係る制御装置は、前記ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、前記微生物の活性度を判定する判定部を備える。

判定部は、ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、微生物の活性度を判定する。活性度は、例えば、微生物の反応速度、生存率などを含む。微生物の活性度は、微生物の状態を培養液層の外部からリアルタイムに監視して判定することができる。なお、微生物の活性度をオフラインで判定してもよい。これにより、例えば、微生物の活性度が低下した場合、栄養剤を投入して再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。

本実施の形態に係るサーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報を収集する収集部と、前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部とを備える。

収集部は、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報を収集する。

記憶部は、収集部で収集したガス情報、制御情報及び特性情報を識別情報と関連付けて記憶する。これにより、プラント毎に、ガス精製装置の運転を最適化するのに必要な情報を収集して記録することができる。

本実施の形態に係る管理サーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部とを備える。

収集部は、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する。

記憶部は、収集部で収集した劣化度を識別情報と関連付けて記憶する。これにより、プラント毎に、ガス精製装置内の吸着装置の劣化度を把握することができる。

なお、本実施の形態において、ごみの代替物として有機化合物及び／又は無機化合物を用いることができる。この場合、制御装置は、有機化合物及び／又は無機化合物をガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する制御情報取得部と、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備えることができる。また、制御装置は、有機化合物及び／又は無機化合物をガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス情報取得部で取得したガス情報を学習モデルに入力してガス精製装置を制御する制御情報を出力する出力部と備えることができる。

１ ネットワーク
１０ ガス化炉
２０ ガス精製装置
２２、２３ 吸着装置
２２１、２３１ ガス吸着部材
２６ 運転制御部
２６１ ガス流量制御部
２６２ 温度調整部
２６３ 湿度調整部
２６４ 吸着装置切替部
２６５ 通信部
３０ エタノール生成装置
５０ 制御装置
５１ 制御部
５２ ガス情報取得部
５３ 特性情報取得部
５４ 通信部
５５ 記憶部
５６ センサ情報取得部
５７ 記録媒体読取部
５８ 判定部
６０ 処理部
６１ 報酬算出部
６２ 行動選択部
６３ 行動評価部
２００ 管理サーバ
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ プラントＤＢ
２１０ 表示装置
３００ 学習サーバ
３０１ 処理部
３０２ プラントＤＢ

Claims (22)

1. ガス精製装置を制御する制御装置であって、
   収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、
   前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得する制御情報取得部と、
   前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、
   前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部と
   を備える制御装置。
2. 前記生成部は、
   前記ガス情報取得部で取得したガス情報及び行動評価情報に基づいて前記制御情報を出力する行動出力部と、
   前記特性情報取得部で取得した特性情報に基づいて報酬を算出する報酬算出部と、
   前記報酬算出部で算出する報酬が大きくなるように前記行動評価情報を更新する更新部と
   を備える請求項１に記載の制御装置。
3. 前記更新部で更新した行動評価情報を記憶する記憶部を備える請求項２に記載の制御装置。
4. 前記ガス情報取得部は、
   不純物ガスの濃度を含むガス情報を取得する請求項１から請求項３のいずれか一項に記載の制御装置。
5. 前記特性情報取得部は、
   一酸化炭素ガス及び水素ガスの純度、エタノールの純度又は量、並びに一酸化炭素ガス及び水素ガスからエタノールを生成する触媒の活性度の少なくとも一つを含む特性情報を取得する請求項１から請求項４のいずれか一項に記載の制御装置。
6. 前記制御情報取得部は、
   前記ガス精製装置のガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムの少なくとも一つを含む制御情報を取得する請求項１から請求項５のいずれか一項に記載の制御装置。
7. ガス精製装置を制御する制御装置であって、
   収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、
   前記ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、
   前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御する制御情報を出力する出力部と
   を備える制御装置。
8. 前記出力部が出力した制御情報に基づいて前記ガス精製装置を制御する請求項７に記載の制御装置。
9. 前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、
   前記特性情報取得部で取得した特性情報を記憶する記憶部と
   を備える請求項７又は請求項８に記載の制御装置。
10. 前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報をサーバへ送信する送信部を備える請求項９に記載の制御装置。
11. 前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報に基づいて前記学習モデルを再学習させる学習処理部を備える請求項９又は請求項１０に記載の制御装置。
12. 前記ガス精製装置内の吸着装置の使用履歴を取得する使用履歴取得部と、
    前記使用履歴取得部で取得した使用履歴を管理サーバへ送信する送信部と
    を備える請求項１から請求項１１のいずれか一項に記載の制御装置。
13. 前記ガス精製装置内の吸着装置の劣化度を取得する劣化度取得部を備え、
    前記送信部は、
    前記劣化度取得部で取得した劣化度を前記管理サーバへ送信する請求項１２に記載の制御装置。
14. 前記ガス精製装置内の吸着装置の脱着操作の有無を取得する脱着操作取得部を備え、
    前記送信部は、
    前記脱着操作取得部で脱着操作ありを取得した場合、前記脱着操作があったことを前記管理サーバへ送信する請求項１２又は請求項１３に記載の制御装置。
15. 前記ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、前記微生物の活性度を判定する判定部を備える請求項１から請求項１４のいずれか一項に記載の制御装置。
16. 複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報を収集する収集部と、
    前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部と
    を備えるサーバ。
17. 複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、
    前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部と
    を備える管理サーバ。
18. コンピュータに、
    収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、
    前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する処理と、
    前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する処理と、
    前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する処理と
    を実行させるコンピュータプログラム。
19. コンピュータに、
    収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、
    前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する処理と
    を実行させるコンピュータプログラム。
20. 収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習してある学習モデル。
21. ガス精製装置を制御する制御方法であって、
    収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、
    前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得し、
    前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、
    前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する制御方法。
22. ガス精製装置を制御する制御方法であって、
    収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、
    前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する制御方法。

Images