JP2023098427A - 情報処理装置、制御内容決定方法、ごみ調整方法、制御内容予測モデルの生成方法、強化学習モデルの生成方法、制御内容決定プログラム、およびごみ調整プログラム - Google Patents

Abstract

【課題】ホッパに収容された収容物を安定して排出する。
【解決手段】情報処理装置（１）は、ホッパ内の収容物の状態を判定する状態判定部（１０１）と、過去に行われたホッパへの収容物の投入について、投入直前のホッパ内の収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報（１１１）と、状態判定部（１０１）の判定結果とに基づいて収容物の投入時の制御内容を決定する制御内容決定部（１０３）と、を備える。
【選択図】図１

Description

本発明は、ホッパに収容物を投入する際の制御の内容を決定する情報処理装置等に関する。

一般的なごみの焼却施設には、ホッパと呼ばれる漏斗状の装置が設けられている。ごみピットと呼ばれる貯留設備に貯留されたごみは、クレーン等により掴み上げられてホッパに投入される。ホッパの下流側には、給じん装置と呼ばれるごみの排出装置が設けられており、ホッパ内のごみはホッパの下端に達したものから順に給じん装置により焼却炉内に送り込まれて焼却される。

焼却炉内のごみの量が減少したり、ごみが無くなったりすると、焼却炉内の温度が低下してバーナー等による加温が必要になったり、場合によっては焼却炉を停止させる必要が生じたりすることもある。このため、ホッパと給じん装置によりごみを安定して焼却炉に供給することは重要である。

焼却炉での安定した燃焼を実現させるためのごみ供給制御に関する技術としては、例えば、下記の特許文献１が挙げられる。特許文献１には、ホッパに投入されるごみの比重とごみの移動容積からごみの移動重量を演算し、移動重量とごみの熱量から焼却炉に供給される単位時間あたりのごみの供給熱量を演算するごみ供給熱量計測装置が開示されている。

特許第３９２６１７３号

特許文献１のごみ供給熱量計測装置では、ホッパと給じん装置によるごみの供給が安定して行われていることを前提としてごみの供給熱量を演算している。このため、これらの装置によるごみの供給が不安定化すると演算結果が妥当性を欠いたものとなり、焼却炉の燃焼状態が不安定化し得る。

例えば、ホッパの内部にごみが詰まった閉塞状態（ブリッジとも呼ばれる）となったときには、閉塞箇所より上方のごみは移動しなくなり、閉塞箇所より下方のごみが給じん装置により全て排出された後は焼却炉にごみが送り込まれない状態となる。この場合、焼却炉の燃焼状態は不安定化する。

上述した焼却施設の例から分かるように、ホッパに収容された収容物を安定して排出するためには、ホッパ内で閉塞等のトラブルが発生しないようにすることが重要である。しかしながら、特許文献１のような技術では、上記のようなトラブルの発生を回避することはできず、それゆえ、ホッパに収容された収容物を安定して排出することが難しい場合がある。

本発明の一態様は、ホッパに収容された収容物を安定して排出することを可能にする情報処理装置等を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ホッパの内部に収容された収容物の状態を判定する状態判定部と、過去に行われた前記ホッパへの前記収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報と、前記状態判定部の判定結果とに基づいて前記収容物の投入時の制御内容を決定する制御内容決定部と、を備える。

上記の課題を解決するために、本発明の他の態様に係る情報処理装置は、ホッパの内部に収容されたごみの状態を判定する状態判定部と、過去に行われた前記ホッパへのごみの投入について、当該投入の直前の前記ホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、前記状態判定部の判定結果とに基づいて前記ホッパに投入すべきごみの性状を決定する投入ごみ決定部と、前記ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、前記投入ごみ決定部が決定した性状のごみを前記ごみピット内に生成する投入ごみ調整部と、を備える。

上記の課題を解決するために、本発明の一態様に係る制御内容決定方法は、１または複数の情報処理装置が実行する制御内容決定方法であって、ホッパの内部に収容された収容物の状態を判定する状態判定ステップと、過去に行われた前記ホッパへの前記収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報と、前記状態判定ステップの判定結果とに基づいて前記収容物の投入時の制御内容を決定する制御内容決定ステップと、を含む。

上記の課題を解決するために、本発明の一態様に係るごみ調整方法は、１または複数の情報処理装置が実行するごみ調整方法であって、ホッパの内部に収容されたごみの状態を判定する状態判定ステップと、過去に行われた前記ホッパへのごみの投入について、当該投入の直前の前記ホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、前記状態判定ステップの判定結果とに基づいて前記ホッパに投入すべきごみの性状を決定する投入ごみ決定ステップと、前記ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、前記投入ごみ決定ステップで決定した性状のごみを前記ごみピット内に生成する投入ごみ調整ステップと、を含む。

上記の課題を解決するために、本発明の一態様に係る制御内容予測モデルの生成方法は、１または複数の情報処理装置が実行する、制御内容予測モデルの生成方法であって、過去に行われたホッパへの収容物の投入のうち、当該投入の後にホッパの状態が維持または改善された投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と、当該投入の際に行われた制御内容とを対応付けた教師データを取得する教師データ取得ステップと、前記教師データを用いた学習により、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態から、前記ホッパの状態を維持または改善するために前記ホッパへの投入時に行うべき制御内容を予測する制御内容予測モデルを生成する学習ステップと、を含む。

上記の課題を解決するために、本発明の一態様に係る強化学習モデルの生成方法は、１または複数の情報処理装置が実行する、強化学習モデルの生成方法であって、過去に行われたホッパへの収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報を取得する履歴取得ステップと、前記履歴情報に示される、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態を環境とし、前記収容物の投入時の制御を行動とし、投入の結果の評価値を報酬とした強化学習により強化学習モデルを生成する学習ステップと、を含む。

本発明の一態様によれば、ホッパに収容された収容物を安定して排出することが可能になる。

本発明の実施形態１に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置を含む管理システムの概要を示す図である。 分類情報を説明する図である。 上記情報処理装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態２に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置が実行する制御内容予測モデルの生成方法の一例を示すフローチャートである。 予測分布の更新例を示す図である。 本発明の実施形態３に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置が実行する制御内容予測モデルの生成方法の一例を示すフローチャートである。 上記情報処理装置が実行する強化学習モデルの生成方法の一例を示すフローチャートである。 本発明の実施形態４に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置が実行する処理の一例を示すフローチャートである。

〔実施形態１〕
（システム概要）
本実施形態に係る管理システム５の概要を図２に基づいて説明する。図２は、管理システム５の概要を示す図である。管理システム５は、ごみ焼却施設ａを管理するためのシステムであり、情報処理装置１とクレーン制御装置２を含む。また、図２に示すごみ焼却施設ａは、ごみピットａ１、クレーンａ２、ホッパａ３、給じん装置ａ４、焼却炉ａ５、および火格子ａ６を備えている。

ごみピットａ１は、ごみ焼却施設ａに搬入されたごみを貯留する貯留設備である。クレーンａ２は、ごみピットａ１内のごみを運搬させるための機器であり、ごみを掴むバケットａ２１、バケットａ２１を昇降させるワイヤａ２２、ごみ焼却施設ａの建屋の対向する壁面間に架け渡されたガーダａ２３、およびガーダａ２３上を移動する横行台車ａ２４を含む。

ワイヤａ２２は横行台車ａ２４に取り付けられている。そして、ガーダａ２３はごみ焼却施設ａの建屋の対向する壁面に沿って設けられた図示しないレール上を、図２の奥行き方向に移動し、横行台車ａ２４は同図の左右方向に移動する。よって、ガーダａ２３と横行台車ａ２４により、バケットａ２１をごみピットａ１中の任意の位置に移動させることができる。クレーン制御装置２は、クレーンａ２の動作を制御する装置であり、上述したようなバケットａ２１の移動、昇降、開閉等の制御を行う。

ごみピットａ１中のエリアは、例えば図２のｂに示すような複数の区画に区分して管理することができる。図２のｂは、上方から見下ろしたごみピットａ１を模式的に示しており、５行×６列の３０個の区画を破線で示している。この例では、各区画は、１～５の行番号とＡ～Ｆの列番号の組み合わせで特定される。また、ごみの深さ方向についても同様に区分し、深さ方向のごみの状態についても管理するようにしてもよい。

管理システム５では、このようにして設定した各区画におけるごみの高さや、ごみの性状（性質または状態）をごみ管理情報として記録し、ごみの性状が変化するに応じてそれを更新してもよい。例えば、ごみの性状を示す情報としてごみ質指数を記録してもよい。ごみ質指数は、ごみの性状を示す数値であり、ごみの質を所定の評価基準で評価することにより算出できる。例えば、ごみの水分量や撹拌回数をごみ質指数としてもよい。また、例えば、ごみ表面を撮影した画像から、フラクタル解析手段により算出されたフラクタル次元や、同画像の色相特徴分析により得られたごみの色の特徴を示す数値等をごみ質指数としてもよい。フラクタル次元は、ごみの大きさを示す指標となる。ごみの大きさは、ごみの撹拌度合いや均質化の程度と相関があり、ホッパにおけるブリッジの発生とも相関がある。ごみ管理情報の記録および更新は、人手で行ってもよいし、情報処理装置１等の装置により自動で行ってもよい。

ホッパａ３は、焼却炉ａ５に送り込むごみを一時的に貯留する装置である。ホッパａ３の上部は頂部が開口した漏斗状の構造となっており、この開口からクレーンａ２によりごみが投入される。また、ホッパａ３の下部には給じん装置ａ４が設けられており、給じん装置ａ４がホッパａ３内のごみを焼却炉ａ５内に押し出して排出する。また、焼却炉ａ５は、ごみを焼却するための炉であり、火格子ａ６は焼却炉ａ５内でごみを移動させる装置である。つまり、給じん装置ａ４が焼却炉ａ５内に排出したごみは、焼却炉ａ５内において火格子ａ６により移動させられつつ焼却される。なお、ごみ焼却施設ａは、ボイラと発電機を備え、焼却炉ａ５で発生した熱を利用して発電するものであってもよい。

なお、管理システム５の管理対象はごみ焼却施設ａに限られない。管理システム５は、任意の収容物を収容する任意のホッパを含む任意の施設を管理対象とすることができる。例えば、同じくごみ焼却施設ａで管理システム５を使用する場合であっても、ごみ用のホッパａ３の代わりにあるいはホッパａ３に加えて焼却灰ホッパを管理対象とすることもできる。無論、ごみ焼却施設ａ以外にも、任意のホッパを含む任意の施設を管理対象とすることが可能である。したがって、以下の説明における「ホッパ」は任意のホッパに読み替えることができ、「ごみ」は任意の収容物に読み替えることができ、「給じん装置」は任意の排出装置に読み替えることができる。

情報処理装置１は、ホッパａ３の内部に収容されたごみの状態を判定する。そして、情報処理装置１は、過去に行われたホッパａ３へのごみの投入についての履歴情報と、ごみの状態についての上記判定結果とに基づいてごみの投入時の制御内容を決定する。なお、上記履歴情報は、ごみを投入する直前のホッパａ３の内部のごみの状態と、投入時の制御内容と、投入の結果とを示す情報である。

上記の構成によれば、投入の直前のホッパの内部のごみの状態に応じた妥当な制御内容を決定することができ、これにより、ホッパに収容されたごみを安定して焼却炉ａ５に排出することが可能になる。

（情報処理装置の構成）
図１に基づいて情報処理装置１の構成を説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部１１を備えている。また、情報処理装置１は、情報処理装置１が他の装置と通信するための通信部１２、情報処理装置１に対する各種データの入力を受け付ける入力部１３、および情報処理装置１が各種データを出力するための出力部１４を備えている。

また、制御部１０には、状態判定部１０１、投入物情報取得部１０２、制御内容決定部１０３、機器制御部１０４、および分類部１０５が含まれる。また、記憶部１１には、履歴情報１１１および分類情報１１２が記憶されている。

履歴情報１１１は、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す情報である。例えば、履歴情報１１１は、ごみを投入する直前のホッパの内部のごみの高さ（後述するホッパレベル）と、投入したごみの重量およびみかけ比重と、投入後の所定期間にブリッジが発生したか否かを示す情報とが対応付けられた情報であってもよい。この場合、ごみの高さがごみの状態を示し、投入したごみの重量およびみかけ比重が、そのような重量およびみかけ比重のごみを投入するという制御の内容を示し、ブリッジが発生したか否かを示す情報が投入の結果を示している。なお、ごみのみかけ比重は、ごみの重量をその体積で割った値である。また、ブリッジとは、ホッパ内でごみが架橋状に詰まるトラブルであり、閉塞とも呼ばれる。

分類情報１１２は、状態判定部１０１の判定結果から、ホッパ内のごみが当該判定結果に示される状態であるときに、機器に対して行う制御内容を決定するために用いられる情報である。詳細は後述するが、分類情報１１２は、分類部１０５により生成される。

状態判定部１０１は、ホッパの内部に収容されたごみの状態を判定する。状態判定部１０１が判定するごみの状態は、当該ごみの排出状態に関連するものであればよい。例えば、状態判定部１０１がごみの状態として、ホッパレベルを判定してもよい。ホッパレベルとは、ホッパに収容されているごみの高さを示す指標である。ホッパレベルは、センサ等を用いて判定することができる他、ＬｉＤＩＡ等のレーザスキャナを用いて判定することもできるし、ホッパを上方から撮影した画像を解析することにより判定することもできる。この他にも、例えばホッパへのごみの投入から排出までのごみの流れをモデル化したごみ流れモデルを用いてホッパレベルを判定することもできる。

また、ホッパ内におけるごみの高さは、ホッパ内の位置によってばらつくことがある。このため、状態判定部１０１は、上方から見下ろしたホッパの開口を複数のエリア（例えば３×３の９つのエリア）に区分して各エリアの高さを求め、それらの高さに基づいてホッパレベルを算出してもよい。この場合、例えば、状態判定部１０１は、各エリアのごみの高さの算術平均値や重み付け平均値等をホッパレベルとしてもよい。

投入物情報取得部１０２は、ホッパに投入された、あるいは投入されるごみに関する情報である投入物情報を取得する。投入物情報は、ホッパに投入された、あるいは投入されるごみに関する情報であればよい。例えば、ごみのみかけ比重を投入物情報としてもよい。クレーンのバケットの一掴みで掴むことができるごみの体積は概ね一定であり、また、クレーンで掴んでいるごみの重量は計測可能であるから、投入物情報取得部１０２は、当該重量を当該体積で割ることによりみかけ比重を算出することができる。

制御内容決定部１０３は、分類情報１１２と状態判定部１０１の判定結果とに基づいてごみの投入時の制御内容を決定する。後述するように、分類情報１１２は履歴情報１１１から生成されるから、制御内容決定部１０３は、履歴情報１１１と状態判定部１０１の判定結果とに基づいて制御内容を決定するものであるといえる。制御内容の決定方法については後述する。

機器制御部１０４は、制御内容決定部１０３が決定した制御内容に従って機器を制御する。本実施形態では、機器制御部１０４が、クレーン制御装置２（図２参照）を介してクレーン（例えば図２のクレーンａ２）を制御する例を説明する。無論、制御対象の機器は当該機器に対する制御により、ホッパ内のごみの状態、ホッパからのごみの排出状態、および焼却炉内におけるごみの搬送状態の維持または改善が期待できるものであればよく、クレーンに限られない。例えば、機器制御部１０４は、給じん装置（例えば図２の給じん装置ａ４）や、火格子（例えば図２の火格子ａ６）を制御してもよい。

分類部１０５は、履歴情報１１１から分類情報１１２を生成する。分類情報１１２の生成方法については後述する。

以上のように、情報処理装置１は、ホッパの内部に収容されたごみの状態を判定する状態判定部１０１と、履歴情報１１１と状態判定部１０１の判定結果とに基づいてごみの投入時の制御内容を決定する制御内容決定部１０３とを備えている。また、履歴情報１１１は、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す情報である。この構成によれば、投入の直前のホッパの内部のごみの状態に応じた妥当な制御内容を決定することができ、これにより、ホッパに収容されたごみを安定して焼却炉に排出することが可能になる。

（分類情報について）
分類情報１１２とその生成方法について図３に基づいて説明する。図３は、分類情報１１２を説明する図であり、履歴情報１１１に示される投入の結果の良否に応じた、当該投入の直前のホッパの内部のごみの状態と当該投入の際の制御内容との組み合わせの分類結果を示している。

具体的には、図３には、履歴情報１１１に示される過去に行われたホッパへのごみの投入事例における、ホッパレベル、投入量、およびみかけ比重を、互いに直交する３つの軸からなる座標系で表している。ホッパレベルが投入直前のごみの状態を示し、投入量とみかけ比重が投入時の制御内容を示している。なお、投入量とはホッパに投入するごみの重量である。

図３のＣでは、投入量が５トン、６トン、７トンの場合のそれぞれについて、その投入によりホッパにブリッジが発生した事例における、ホッパレベルおよび投入されたごみのみかけ比重をプロットしている。図３のｃ１～ｃ３は、図３のＣから、投入量が５トン～７トンの各場合のプロット部分を抽出したものである。

ｃ１に示されるように、投入量７トンに対応する平面ｃ１１において、ブリッジが発生した事例のプロットはまとまった領域に現れている。このことから、ホッパレベルとみかけ比重の組み合わせは、ブリッジの発生と相関があるといえる。言い換えれば、ブリッジを発生させる確率が高いホッパレベルとみかけ比重の組み合わせと、ブリッジを発生させる確率が低いホッパレベルとみかけ比重の組み合わせとが存在するといえる。

したがって、ホッパレベルとみかけ比重の組み合わせを、ブリッジを発生させる確率が低いか否かで分類できれば、ブリッジを発生させる確率が低くなるような制御を行うことが可能になる。

例えば、図３のｃ１の平面ｃ１１において、エリアｃ１２は、ブリッジが発生した事例のプロットから離れた位置にある。このため、エリアｃ１２内のホッパレベルとみかけ比重の組み合わせは、ブリッジを発生させる確率が低い組み合わせであると考えられる。同様に、ｃ２の平面ｃ２１においてはエリアｃ２２がブリッジの発生した事例のプロットから離れた位置にあり、ｃ３の平面ｃ３１においてはエリアｃ３２がブリッジの発生した事例のプロットから離れた位置にある。

したがって、分類部１０５は、例えば上記のような各エリアを示す分類情報１１２を生成してもよい。例えば、分類部１０５は、履歴情報１１１に含まれる事例のうち、ブリッジが発生した事例のホッパレベル、みかけ比重、および投入量の組み合わせの分布範囲から、各種の統計手法により、ブリッジが発生する事例の確率分布を推定してもよい。分類部１０５は、この確率分布を用いて、ブリッジが発生しない確率が高い（例えばユーザが設定した閾値以上の）エリアを特定し、そのエリアを示す分類情報１１２を生成することができる。なお、確率分布の推定に用いる事例のデータが不足している場合、仕様が類似したホッパやクレーンを備えた他のごみ焼却施設、あるいは処理するごみの種類や性状が類似した他のごみ焼却施設における事例のデータを流用してもよい。

また、分類情報１１２は、事例のデータ（ホッパレベルとみかけ比重と投入量）をブリッジ発生確率が高い事例とブリッジ発生確率が低い事例に分類する分類モデルであってもよい。この場合、分類部１０５は、ブリッジが発生した事例のデータに対して、ブリッジ発生確率が高いことを示すラベルを対応付けた教師データを用いて機械学習を行うことにより、上記の分類モデルを生成することができる。なお、この機械学習には、ブリッジが発生していない事例のデータに対して、ブリッジ発生確率が低いことを示すラベルを対応付けた教師データを用いることもできる。分類モデルとしては、例えばニューラルネットワークモデル等を適用することもできる。また、教師なし学習により分類モデルを生成することもできるし、統計的な手法により分類モデルを生成することもできる。

また、分類部１０５は、入力部１３を介したユーザの入力に従って分類情報１１２を生成してもよい。この場合、例えば、ベテランのクレーンオペレータが、経験上ブリッジ発生確率が低いと判断するエリアを指定し、分類部１０５は、指定されたエリアを示す分類情報１１２を生成してもよい。

また、分類部１０５は、ブリッジ発生確率が高いエリアを示す分類情報１１２を生成してもよい。この場合、制御内容決定部１０３は、当該分類情報１１２に示されるエリア外となるような制御内容を決定すればよい。

なお、制御内容決定部１０３は、分類情報１１２を用いずに制御内容を決定することもできる。例えば、制御内容決定部１０３は、履歴情報１１１に含まれる、ブリッジが発生した事例のプロットの何れからも所定距離以上離れた位置にプロットが現れる、という条件を満たすように制御内容を決定してもよい。

（制御内容の決定方法）
ホッパレベルとみかけ比重と投入量を利用して制御内容を決定する場合、投入物情報取得部１０２がみかけ比重を算出し、状態判定部１０１がホッパレベルを判定すればよい。これにより、制御内容決定部１０３は、算出されたみかけ比重と、判定されたホッパレベルと、分類情報１１２とを用いて、ホッパレベルとみかけ比重の組み合わせが、ブリッジを発生させる確率が低い組み合わせとなるような制御内容を決定することができる。

例えば、７トンのごみをホッパに投入する必要がある場合、制御内容決定部１０３は、ホッパレベルとみかけ比重の組み合わせが、分類情報１１２に示されるエリアｃ１２内となるようにクレーンの動作を制御すればよい。具体的には、クレーンがホッパに投入するごみを掴んだときに、掴まれたごみのみかけ比重を投入物情報取得部１０２が算出する。その後、クレーンが掴むごみの量は７トンに調整される。次に、制御内容決定部１０３が、算出されたみかけ比重から、当該みかけ比重との組み合わせがエリアｃ１２内に収まるホッパレベルの範囲を特定する。つまり、制御内容決定部１０３は、ホッパレベルが当該範囲となったときにごみを投入するという制御内容を決定する。そして、機器制御部１０４は、状態判定部１０１が随時判定するホッパレベルが上記範囲内になったタイミングで、ホッパへのごみの投入を行うようにクレーン制御装置２に指示する。

同様に、制御内容決定部１０３は、投入するごみのみかけ比重を決定してもよい。この場合、予めごみピット内の各所（例えば図２のｂに示した各区画）におけるごみのみかけ比重を測定あるいは予測し、ごみ管理情報に記録しておく。そして、機器制御部１０４は、必要な投入量（例えば７トン）と、状態判定部１０１が判定する最新のホッパレベルから、当該ホッパレベルとの組み合わせがエリアｃ１２内に収まるみかけ比重の範囲を特定する。つまり、制御内容決定部１０３はみかけ比重が当該範囲であるごみを投入するという制御内容を決定する。そして、機器制御部１０４は、みかけ比重が当該範囲のごみが存在する区画からホッパへのごみの投入を行うようにクレーン制御装置２に指示する。

また、制御内容決定部１０３は、ごみの投入量を決定してもよい。この場合、機器制御部１０４は、状態判定部１０１が判定する最新のホッパレベルと、投入物情報取得部１０２が算出したみかけ比重の組み合わせが、エリアｃ１２、ｃ２２、およびｃ３２の何れに含まれるか判定する。そして、機器制御部１０４は、含まれると判定したエリアに対応する投入量を特定する。つまり、制御内容決定部１０３は当該投入量のごみを投入するという制御内容を決定する。そして、機器制御部１０４は、決定された投入量のごみをホッパに投入するようにクレーン制御装置２に指示する。

無論、制御内容決定部１０３は、投入直前のホッパレベルと、投入するごみのみかけ比重と、投入量との組み合わせが、エリアｃ１２、ｃ２２、およびｃ３２の何れかに含まれるような制御内容を決定すればよく、その制御内容は上述の各例に限られない。例えば、制御内容決定部１０３は、投入タイミングと投入量の両方を決定する等、複数の制御の内容を決定してもよい。

また、制御内容決定部１０３は、給じん装置や火格子の制御内容についても同様にして決定することができる。給じん装置や火格子を適切に制御することにより、ホッパ内のごみの状態が変化したときにも、安定した量のごみを焼却炉に送り込み、そのごみを適正な速度で移動させて、安定した燃焼状態を維持することができる。

以上のように、制御内容決定部１０３は、履歴情報１１１に示される投入の結果の良否に応じた、当該投入の直前のホッパの内部のごみの状態と当該投入の際の制御内容との組み合わせの分類結果に基づいて投入時の制御内容を決定してもよい。

履歴情報１１１に示される、過去に行われたホッパへの収容物の投入に関する各種情報は、投入の結果の良否で分類することができ、この分類結果に基づけば、良い結果が期待できる制御内容、あるいは悪い結果とならない可能性が高い制御内容を推定することができる。したがって、上記の構成によれば、妥当な制御内容を決定することができる。

（ごみ焼却施設の稼働期間中に行われる処理の流れ）
ごみ焼却施設の稼働期間中に情報処理装置１が実行する処理（制御内容決定方法）の流れを図４に基づいて説明する。図４は、情報処理装置１が実行する処理の一例を示すフローチャートである。

Ｓ１１では、状態判定部１０１が、ホッパの内部に収容されたごみの状態を判定する。例えば、状態判定部１０１は、上述のホッパレベルを判定してもよい。

Ｓ１２では、投入物情報取得部１０２が、投入物情報を取得する。例えば、投入物情報取得部１０２は、投入物情報として、ホッパに投入するごみのみかけ比重を算出してもよい。

Ｓ１３では、制御内容決定部１０３が、分類情報１１２と、Ｓ１１の判定結果と、Ｓ１２で取得された投入物情報とに基づいて、ごみの投入時の制御内容を決定する。なお、上述のように分類情報１１２は履歴情報１１１から生成されたものであるから、Ｓ１３の処理は履歴情報１１１に基づいて行われる処理であるといえる。

例えば、分類情報１１２が、図３に示したブリッジの発生する確率が低いエリアｃ１２、ｃ２２、ｃ２３を示す情報であるとする。この場合、制御内容決定部１０３は、投入直前のホッパレベルと、投入するごみのみかけ比重と、投入量との組み合わせが、エリアｃ１２、ｃ２２、ｃ２３の何れかに含まれるような制御内容を決定すればよい。

Ｓ１４では、機器制御部１０４が、Ｓ１３で決定された制御内容に従って機器を制御する。例えば、機器制御部１０４は、クレーン制御装置２を介してクレーンを制御してもよい。

以上のように、本実施形態に係る制御内容決定方法は、ホッパの内部に収容されたごみの状態を判定する状態判定ステップ（Ｓ１１）と、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す履歴情報１１１と、Ｓ１１の判定結果とに基づいてごみの投入時の制御内容を決定する制御内容決定ステップ（Ｓ１３）と、を含む。これにより、ホッパの内部のごみの状態に応じた妥当な制御内容を決定して、ホッパに収容されたごみを安定して焼却炉に排出することが可能になる。

なお、実施形態１では、状態判定部１０１がホッパレベルを判定する例を中心に説明を行ったが、状態判定部１０１が判定する状態は、ごみの排出状態に関連するものであればよく、この例に限られない。例えば、状態判定部１０１は、ホッパ内のごみの水分量、撹拌度合い、みかけ比重、種類、外観等を判定してもよいし、ブリッジが発生している、軽度の閉塞状態である、正常な状態である、等のトラブルの発生状態を判定してもよい。トラブルの発生状態は、そのトラブルに関連した各種の情報（例えば投入されたごみの種類、ごみがホッパに吸い込まれる速度、ホッパからごみが排出される速度等）から判定することが可能である。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態３以降についても同様である。

（情報処理装置の構成）
図５に基づいて本実施形態に係る情報処理装置１Ａの構成を説明する。図５は、本発明の実施形態２に係る情報処理装置１Ａの要部構成の一例を示すブロック図である。情報処理装置１Ａの制御部１０Ａは、図１に示した情報処理装置１の制御部１０と比べて、制御内容決定部１０３の代わりに制御内容決定部１０３Ａを含み、分類部１０５の代わりにモデル生成部１０５Ａを含む点で相違している。また、情報処理装置１Ａの記憶部１１Ａは、図１に示した情報処理装置１の記憶部１１と比べて、履歴情報１１１の代わりに履歴情報１１１Ａを記憶しており、分類情報１１２の代わりに制御内容予測モデル１１２Ａを記憶している点で相違している。

制御内容決定部１０３Ａは、制御内容予測モデル１１２Ａと状態判定部１０１の判定結果とに基づいてごみの投入時の制御内容を決定する。詳細は後述するが、制御内容予測モデル１１２Ａは履歴情報１１１Ａから生成されるから、制御内容決定部１０３Ａは、制御内容決定部１０３と同様に、履歴情報１１１Ａと状態判定部１０１の判定結果とに基づいて制御内容を決定するものである。

制御内容予測モデル１１２Ａは、履歴情報１１１Ａを用いて確率過程により算出された予測分布であって、ホッパへのごみの投入時の制御内容と投入の結果の評価値との関係を示す関数の予測分布に基づいて生成されたものである。したがって、制御内容決定部１０３Ａは、上記予測分布に基づいてごみの投入時の制御内容を決定するものであるともいえる。

上記の構成によれば、履歴情報１１１Ａを用いて確率過程により算出された予測分布に基づいて制御内容を決定するので、妥当な制御内容を決定することができる。また、上記の予測分を収束させるために必要なデータ量は比較的少ないため、十分なデータ量の履歴情報１１１Ａが手に入らない場合であっても、妥当な制御内容を決定することができる。

モデル生成部１０５Ａは、履歴情報１１１Ａを用いて制御内容予測モデル１１２Ａを生成する。制御内容予測モデル１１２Ａの生成方法については後述する。

履歴情報１１１Ａは、履歴情報１１１と同様に、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す情報である。履歴情報１１１Ａは、各事例に制御結果の良し悪しを示す評価値が対応付けられている点で履歴情報１１１と相違している。例えば、制御後にブリッジ等のトラブルが発生した事例には低い評価値が、制御後に安定した排出が続いていれば高い評価値が対応付けられている。

（制御内容予測モデルの生成方法）
上述のように、モデル生成部１０５Ａは、履歴情報１１１Ａを用いて制御内容予測モデル１１２Ａを生成する。制御内容予測モデル１１２Ａは、例えば、状態判定部１０１の判定結果を示す説明変数と、制御内容を示す目的変数とを少なくとも含む関数として表すことができる。この関数を用いれば、制御内容を説明変数で表すことができる。

使用する説明変数としては、例えば、履歴情報に含まれる各種の値、ごみ質指数、およびホッパレベル等が挙げられる。これらの値はタイムスタンプ付きの時系列値であってもよい。ごみ質指数は上述したようにごみの性状を示す数値である。ごみ質指数は、例えば、ごみ表面の評価指数（例えば、ごみ表面を撮影した画像をフラクタル解析することにより算出されたフラクタル次元や、ごみ表面を撮影した画像を色相特徴分析することにより算出したごみの色の特徴を示す評価指数）であってもよい。また、ごみ質指数は、例えば、ごみの種類、撹拌度合い、水分量等を総合して評価したごみの燃えやすさを示す値であってもよい。

上記のような説明変数を用いる場合、目的変数は、例えば、投入タイミング、投入重量、および投入するごみの種類や性状等とすることができる。この他にも、例えば火格子の速度等のように、ホッパから排出されたごみを処理する装置の制御内容を目的変数に含めることも可能である。

ここで、履歴情報１１１ＡにＮ個の事例が含まれていた場合、それらの事例は、

と表され、
それに対する評価値は、

と表される。

モデル生成部１０５Ａは、履歴情報１１１Ａを用いて、例えば、制御内容とその評価値との関係を示す関数の予測分布を算出する。なお、この関数を以下では評価関数ｆ（θ）と呼ぶ。また、履歴情報１１１Ａに新たな事例のデータが追加されたときには、モデル生成部１０５Ａは、そのデータが反映されるように予測分布を更新する。

制御内容とその評価値との関係を、ガウスノイズε_ｎ～Ν（０，β）を用いて

と仮定すると、ガウス過程による評価関数の予測分布として以下の分布が得られる。

ここで、ｋ_＊＝ｋ（θ，θ）であり、Ｋ_Θは［Ｋ_Θ］_ｉ，ｊ＝ｋ（θ_ｉ，θ_ｊ）で得られるグラム行列である。また

である。ｋ_Θ，_＊は、［ｋ_Θ，_＊］_ｉ＝ｋ（θ_ｉ，θ）の縦ベクトルであり、ｋ（・，・）は、カーネル関数である。ここではカーネル関数のパラメータをα_ｋとする。

平均関数μ（θ）は、履歴情報１１１Ａから予測される評価関数の平均値を示す。また、分散関数σ（θ）は、履歴情報１１１Ａから予測される評価関数の分散である。σ（θ）は、予測の不確実性を示し、履歴情報１１１Ａが不足している領域ではその値が大きくなる傾向がある。なお、後述する図７のｄ１２が分散σを示している。σが大きいと、ｄ１２の幅が広がり、予測が不確実であることを把握できる。すなわち、予測の確実性を上げるために必要な履歴情報１１１Ａが不足していることがわかる。数式（３）から明らかなように、分散関数σ（θ）に含まれるカーネル関数およびカーネル関数のパラメータα_ｋは、予測分布の算出に影響を与える。詳細は後述するが、予測分布の算出の際には、パラメータα_ｋの最適化が行われる。

モデル生成部１０５Ａは、最適な制御内容を予測可能な制御内容予測モデル１１２Ａを生成するために、最適な制御内容を表す変数θ^＊の候補を探索する。変数θ^＊は、例えば上述の説明変数を含む関数であってもよい。

上記探索において、モデル生成部１０５Ａは、平均関数μ（θ）と分散関数σ（θ）を用いて、下記の獲得関数ａ（θ）を最大にする変数θ^＊を探索する。この探索で検出された変数θ^＊が、最適な制御内容を表す変数の候補となる。この探索は、ＵＣＢ（Upper Confidence Bound）戦略に基づいている。なお、数式（５）におけるκは探索と利用を調節するためのパラメータである。無論、他の方法で新たな制御変数を探索することも可能である。例えば、ＰＩ（Probability of Improvement）戦略や、ＥＩ（Expected Improvement）戦略で最適な制御変数の候補を探索してもよい。

モデル生成部１０５Ａは、以上のような候補の探索を、事例の追加と予測分布の更新を行うごとに実施することにより、最適な候補すなわち変数θ^＊を求め、その変数θ^＊から制御内容予測モデル１１２Ａを導出することができる。なお、ガウス過程以外の確率過程（例えばマルコフ過程等）により制御内容予測モデル１１２Ａを導出することもできる。

（制御内容予測モデルを生成する処理の流れ）
モデル生成部１０５Ａが制御内容予測モデル１１２Ａを生成する処理の流れを図６に基づいて説明する。図６は、制御内容予測モデル１１２Ａの生成方法の一例を示すフローチャートである。

Ｓ２１では、モデル生成部１０５Ａは、履歴情報１１１Ａに示される事例のデータを初期データに設定する。この段階では、履歴情報１１１Ａには、少なくとも１回の試行に基づく制御結果（１つの変数θと、その変数θを用いた制御の結果を評価した評価値）が含まれていればよい。

Ｓ２２では、モデル生成部１０５Ａは、カーネル関数のパラメータを最適化する。上述のように、カーネル関数のパラメータはα_ｋである。最適化の方法は特に限定されず、例えば一般的なベイズ最適化で適用されている最適化手法を適用することもできる。

Ｓ２３では、モデル生成部１０５Ａは、Ｓ２１で設定された初期データと、Ｓ２２で最適化したカーネル関数のパラメータとを用いて、評価関数の予測分布を算出する。上述のように、この予測分布は数式（１）～（３）で表される。

Ｓ２４では、モデル生成部１０５Ａは、獲得関数が最大となる変数θ^＊を探索する。変数θ^＊は、変数θの最適値の候補である。上述のように、この処理は上述の数式（４）（５）で表される。

Ｓ２５では、モデル生成部１０５Ａは、Ｓ２４で特定された変数θ^＊が最適値であるか否かを判定する。最適値であるか否かの判定方法は特に限定されない。例えば、モデル生成部１０５Ａは、直近のＳ２４で検出された変数θ^＊が、それ以前に検出された変数と一致した場合に、変数θ^＊が最適値であると判定し、一致しない場合には最適値ではないと判定してもよい。なお、それ以前に検出された変数とは、履歴情報１１１Ａに含まれている制御内容に対応する変数であり、その制御結果についての評価値の算出が済んでいるものを指す。

Ｓ２５にて最適値であると判定された場合（Ｓ２５でＹＥＳ）には処理はＳ３０に進む。Ｓ３０では、モデル生成部１０５Ａは、変数の最適値θ^＊により規定される制御内容予測モデル１１２Ａを記憶部１１Ａに記憶し、これにより図６の処理は終了する。

一方、Ｓ２５にて変数θ^＊が最適値ではないと判定した場合（Ｓ２５でＮＯ）、モデル生成部１０５Ａは、当該変数θ^＊を出力部１４に出力させる等して情報処理装置１Ａのユーザに通知する。ユーザは、この通知に基づいて、当該変数θ^＊に従った制御内容の制御を実行し、その制御結果を観測し、評価する。評価結果は、入力部１３を介して情報処理装置１Ａに入力される。

Ｓ２６では、モデル生成部１０５Ａは、上述のようにして入力された評価結果を取得する。そして、Ｓ２７では、モデル生成部１０５Ａは、Ｓ２６で取得した評価結果と、直近のＳ２４で決定された変数θ^＊とを対応付けて、履歴情報１１１Ａに追加する。

Ｓ２８では、モデル生成部１０５Ａは、Ｓ２７で評価結果と変数θ^＊が追加された履歴情報１１１Ａを用いてカーネル関数のパラメータを最適化する。そして、Ｓ２９では、モデル生成部１０５Ａは、Ｓ２７で評価結果と変数θ^＊が追加された履歴情報１１１Ａと、Ｓ２８で最適化したカーネル関数のパラメータとを用いて、評価関数の予測分布を算出する。この後処理はＳ２４に戻り、変数の探索が行われる。このように、変数の追加と予測分布の更新とを繰り返すことにより、所望の制御結果が期待できる変数を決定することができる。

なお、上述の処理の手順は一例であり、この例に限られない。例えば、Ｓ２５の処理をＳ２９の後で行うようにしてもよい。この場合、Ｓ２５でＹＥＳと判定された場合にはＳ３０の処理に進み、Ｓ２５でＮＯと判定された場合にはＳ２４の処理に戻る。

ここで、予測分布の更新について図７に基づいて説明する。図７は、予測分布の更新例を示す図である。図７のｄ１～ｄ４は、制御内容を示す変数θ^＊を横軸とし、その評価値を縦軸として予測分布を示したグラフである。図７のｄ１において、ｄ１１は、履歴情報１１１Ａに含まれる事例について、その事例の制御内容を示す変数とその制御内容予測モデル１１２Ａの評価値を示すプロットである。また、ｄ１２は予測分布であり、ｄ１３は真の関数（評価値と変数の関係を正しく表した関数）であり、ｄ１４はブリッジが発生した事例を示している。

図７のｄ１～ｄ４に示されるように、ｄ１１で示すプロットが追加されていくことにより、予測分布ｄ１２は収束して真の関数ｄ１３に近付いていく。よって、事例の追加と予測分布ｄ１２の更新を繰り返すことにより、制御内容予測モデル１１２Ａを規定する最適な変数を精度よく推測することができる。

〔実施形態３〕
（情報処理装置の構成）
図８に基づいて本実施形態に係る情報処理装置１Ｂの構成を説明する。図８は、本発明の実施形態３に係る情報処理装置１Ｂの要部構成の一例を示すブロック図である。情報処理装置１Ｂの制御部１０Ｂは、図１に示した情報処理装置１の制御部１０と比べて、制御内容決定部１０３の代わりに制御内容決定部１０３Ｂを含み、分類部１０５の代わりに学習部１０５Ｂを含む点で相違している。また、情報処理装置１Ｂの記憶部１１Ｂは、図１に示した情報処理装置１の記憶部１１と比べて、履歴情報１１１の代わりに教師データ１１１Ｂを記憶しており、分類情報１１２の代わりに制御内容予測モデル１１２Ｂを記憶している点で相違している。

制御内容決定部１０３Ｂは、状態判定部１０１の判定結果に基づき、制御内容予測モデル１１２Ｂを用いてごみの投入時の制御内容を決定する。また、制御内容決定部１０３Ｂは、制御内容の決定に投入物情報取得部１０２が取得する投入物情報についても用いてもよい。後述するように、制御内容予測モデル１１２Ｂは履歴情報から生成されるから、制御内容決定部１０３Ｂは、制御内容決定部１０３と同様に、履歴情報と状態判定部１０１の判定結果とに基づいて制御内容を決定するものである。

学習部１０５Ｂは、教師データ１１１Ｂを用いて機械学習を行うことにより制御内容予測モデル１１２Ｂを生成する。学習部１０５Ｂによる制御内容予測モデル１１２Ｂの生成方法については後述する。

教師データ１１１Ｂは、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す履歴情報から生成されたものである。より詳細には、教師データ１１１Ｂは、ごみを投入する直前のホッパの内部のごみの状態と、当該ごみの投入後にホッパの内部のごみの状態が維持または改善されたときの投入時の制御内容との関係を示す。

制御内容予測モデル１１２Ｂは、ごみを投入する直前のホッパの内部のごみの状態と、当該ごみの投入後にホッパの内部のごみの状態が維持または改善されたときの投入時の制御内容との関係を学習することにより生成されたものである。制御内容予測モデル１１２Ｂの目的変数は上記制御内容であり、説明変数はごみの状態を示す情報である。ごみの状態としては実施形態１で説明したもの等、各種の情報を適用できる。また、説明変数には投入物情報が含まれていてもよい。上述のように、制御内容予測モデル１１２Ｂは、学習部１０５Ｂにより生成される。

以上のように、制御内容決定部１０３Ｂは、ごみを投入する直前のホッパの内部のごみの状態と、当該ごみの投入後にホッパの内部のごみの状態が維持または改善されたときの投入時の制御内容との関係を示す教師データ１１１Ｂを用いて学習することにより生成された制御内容予測モデル１１２Ｂを用いてごみの投入時の制御内容を決定する。これにより、ホッパの状態の維持または改善が期待できる制御内容を決定することができる。

（制御内容予測モデルの生成方法の流れ）
学習部１０５Ｂによる制御内容予測モデル１１２Ｂの生成方法の流れを図９に基づいて説明する。図９は、制御内容予測モデル１１２Ｂの生成方法の一例を示すフローチャートである。

Ｓ３１（教師データ取得ステップ）では、学習部１０５Ｂは、記憶部１１Ｂから教師データ１１１Ｂを取得する。上述のように、教師データ１１１Ｂは、過去に行われたホッパへのごみの投入のうち、当該投入の後にホッパの状態が維持または改善された投入について、当該投入の直前のホッパの内部のごみの状態と、当該投入の際に行われた制御内容とを対応付けたデータである。

Ｓ３２（学習ステップ）では、学習部１０５Ｂは、Ｓ３１で取得した教師データ１１１Ｂを用いた学習により、ごみを投入する直前のホッパの内部のごみの状態から、ホッパの状態を維持または改善するためにホッパへの投入時に行うべき制御内容を予測する制御内容予測モデル１１２Ｂを生成する。

Ｓ３３では、学習部１０５Ｂは、学習を終了するか否かを判定する。Ｓ３３でＹＥＳと判定された場合にはＳ３４の処理に進み、学習部１０５Ｂは、生成した制御内容予測モデル１１２Ｂを記憶部１１に記憶し、処理を終了する。学習の終了条件は予め定めておけばよい。例えば、学習部１０５Ｂは、所定個数の教師データ１１１Ｂを用いた、制御内容予測モデル１１２Ｂの生成および更新が完了した時点（言い換えればＳ３１～Ｓ３３のループが所定回数繰り返された時点）で学習を終了してもよい。

Ｓ３３でＮＯと判定された場合にはＳ３１の処理に戻る。Ｓ３１の処理に戻った場合、学習部１０５Ｂは、新たな教師データ１１１Ｂを取得して再度学習を行い、制御内容予測モデル１１２Ｂを更新する。

以上のように、本実施形態に係る制御内容予測モデル１１２Ｂの生成方法は、過去に行われたホッパへのごみの投入のうち、当該投入の後にホッパの状態が維持または改善された投入について、当該投入の直前のホッパの内部のごみの状態と、当該投入の際に行われた制御内容とを対応付けた教師データ１１１Ｂを取得する教師データ取得ステップ（Ｓ３１）と、教師データ１１１Ｂを用いた学習により、ごみを投入する直前のホッパの内部のごみの状態から、ホッパの状態を維持または改善するためにホッパへの投入時に行うべき制御内容を予測する制御内容予測モデル１１２Ｂを生成する学習ステップ（Ｓ３２）と、を含む。

上記の構成によれば、投入直前のホッパの内部のごみの状態から、ホッパの状態を維持または改善するためにホッパへの投入時に行うべき制御の内容を予測することができる制御内容予測モデル１１２Ｂを生成することができる。そして、この制御内容予測モデル１１２Ｂにて予測された内容の制御を行うことにより、ホッパに収容されたごみを安定して排出することが可能になる。

（強化学習について）
制御内容決定部１０３Ｂは、履歴情報に示される、ごみを投入する直前のホッパの内部のごみの状態を環境とし、ごみの投入時の制御内容を行動とし、投入の結果の評価値を報酬とした強化学習により生成された強化学習モデルを用いてごみの投入時の制御内容を決定してもよい。

上記の構成によれば、前記収容物を投入する直前の環境すなわちホッパの内部の収容物の状態に応じた、良い結果が期待できる行動すなわち収容物の投入時の制御内容を決定することができる。

強化学習モデルは、他の装置で生成されたものを用いてもよいし、学習部１０５Ｂが強化学習モデルを生成する構成としてもよい。後者の場合、教師データ１１１Ｂの代わりに実施形態２の履歴情報１１１Ａを記憶部１１Ｂに記憶しておけばよい。

強化学習モデルは、例えば図１０のような流れで生成することができる。図１０は、強化学習モデルの生成方法の一例を示すフローチャートである。

Ｓ３１Ａでは、（履歴取得ステップ）では、学習部１０５Ｂは、履歴情報を取得する。ここで取得される履歴情報は、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とその評価値を示す情報である。

Ｓ３２Ａ（学習ステップ）では、学習部１０５Ｂは、Ｓ３１Ａで取得した履歴情報に示される、ごみを投入する直前のホッパの内部のごみの状態を環境とし、ごみの投入時の制御を行動とし、投入の結果の評価値を報酬とした強化学習により強化学習モデルを生成する。

Ｓ３３Ａでは、学習部１０５Ｂは、学習を終了するか否かを判定する。Ｓ３３ＡでＹＥＳと判定された場合にはＳ３４Ａの処理に進み、学習部１０５Ｂは、生成した強化学習モデルを記憶部１１Ｂに記憶し、処理を終了する。学習の終了条件は予め定めておけばよい。例えば、学習部１０５Ｂは、所定個数の教師データ１１１Ｂを用いた、強化学習モデルの生成および更新が完了した時点（言い換えればＳ３１Ａ～Ｓ３３Ａのループが所定回数繰り返された時点）で学習を終了してもよい。

一方、Ｓ３３ＡでＮＯと判定された場合にはＳ３１Ａの処理に戻る。Ｓ３１Ａの処理に戻った場合、学習部１０５Ｂは、履歴情報に基づいて再度学習を行い、強化学習モデルを更新する。

以上のように、本実施形態に係る強化学習モデルの生成方法は、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入時の制御内容と投入の結果とを示す履歴情報を取得する履歴取得ステップ（Ｓ３１Ａ）と、履歴情報に示される、ごみを投入する直前のホッパの内部のごみの状態を環境とし、ごみの投入時の制御を行動とし、投入の結果の評価値を報酬とした強化学習により強化学習モデルを生成する学習ステップ（Ｓ３２Ａ）と、を含む。

上記の構成によれば、ごみを投入する直前のホッパの内部のごみの状態に応じた、投入の結果が最良となるような制御内容を決定することが可能な強化学習モデルを生成することができる。そして、この強化学習モデルにて予測された内容の制御を行うことにより、ホッパに収容されたごみを安定して排出することが可能になる。

〔実施形態４〕
図１１に基づいて本実施形態に係る情報処理装置１Ｃの構成を説明する。図１１は、本発明の実施形態４に係る情報処理装置１Ｃの要部構成の一例を示すブロック図である。情報処理装置１Ｃの制御部１０Ｃは、図１に示した情報処理装置１の制御部１０と比べて、投入物情報取得部１０２が含まれていない点、および制御内容決定部１０３の代わりに制御内容決定部１０３Ｃを含む点、およびごみ調整部１０６Ｃを備えている点で相違している。

制御内容決定部１０３Ｃは、ホッパに投入すべきごみの性状を決定する。そして、投入ごみ調整部１０６Ｃは、ごみピット内でクレーンにごみの調整を行わせて、決定された上記性状のごみをごみピット内に生成する。この構成によれば、クレーンにごみピット内のごみの調整を行わせるので、投入すべき性状のごみがごみピットにない状態を自動的に解消して、ホッパの内部のごみの状態に応じた妥当な性状のごみを投入することができる。

上記性状は、ホッパからのごみの排出状態に関連したものであればよい。例えば、制御内容決定部１０３Ｃは、ごみのみかけ比重、撹拌度、および種類の少なくとも何れかを決定してもよい。

投入すべきごみの性状は、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報に基づいて決定することができる。

例えば、制御内容決定部１０３Ｃは、図３に示すようなホッパレベルと投入量とみかけ比重との関係に基づいて、ホッパに投入するごみのみかけ比重を決定してもよい。この場合、制御内容決定部１０３Ｃは、分類情報１１２を用いてみかけ比重を決定すればよい。また、例えば、制御内容決定部１０３Ｃは、実施形態２、３に示したような制御内容予測モデル１１２Ａ、１１２Ｂ、あるいは強化学習モデルを用いてごみの性状を決定することもできる。この場合、目的変数をごみの性状として学習したモデルを用いればよい。分類情報１１２、制御内容予測モデル１１２Ａ、１１２Ｂ、および上記強化学習モデルは、何れも履歴情報に基づくものであるから、上記の何れの方法においても履歴情報に基づいてごみの性状を決定することになる。また、投入すべきごみの性状を決定することは、当該性状のごみをホッパに投入するという制御の内容を決定しているともいえる。

制御内容決定部１０３Ｃは、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、状態判定部１０１の判定結果とに基づいてホッパに投入すべきごみの性状を決定する投入ごみ決定部と表現することもできる。

なお、ごみ調整部１０６Ｃによるごみの調整方法は特に限定されない。例えば、投入するごみの撹拌度が決定された場合、投入ごみ調整部１０６Ｃは、クレーンにごみの撹拌を行わせて、決定された撹拌度のごみを生成すればよい。ごみピット内の各所におけるごみの撹拌度は、ごみ管理情報として管理しておけばよい。また、みかけ比重や水分量をごみ管理情報に記録しておけば、投入ごみ調整部１０６Ｃは、ごみ管理情報を参照して、決定されたみかけ比重や水分量のごみを調整することができる。例えば、標準的な水分量のごみを投入することが決定された場合、投入ごみ調整部１０６Ｃは、水分量が標準より高いごみと標準より低いごみとを混合することにより、標準的な水分量のごみを生成してもよい。

以上のように、情報処理装置１Ｃは、ホッパの内部に収容されたごみの状態を判定する状態判定部１０１と、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、状態判定部１０１の判定結果とに基づいてホッパに投入すべきごみの性状を決定する制御内容決定部１０３Ｃ（投入ごみ決定部）と、ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、決定された性状のごみをごみピット内に生成するごみ調整部１０６Ｃと、を備える。これにより、投入すべき性状のごみがごみピットにない状態を自動的に解消して、ホッパの内部のごみの状態に応じた妥当な性状のごみを投入することができる。

（ごみ焼却施設の稼働期間中に行われる処理の流れ）
ごみ焼却施設の稼働期間中に情報処理装置１Ｃが実行する処理（制御内容決定方法／ごみ調整方法）の流れを図１２に基づいて説明する。図１２は、情報処理装置１Ｃが実行する処理の一例を示すフローチャートである。図１２の処理は、例えばホッパにごみを投入する周期にあわせて実行してもよい。例えば、２０～３０分ごとにごみの投入を行う場合、以下説明するＳ４１～Ｓ４４の処理を２０～３０分ごとに行ってもよい。

Ｓ４１（状態判定ステップ）では、状態判定部１０１が、ホッパの内部に収容されたごみの状態を判定する。例えば、状態判定部１０１は、上述のホッパレベルを判定してもよい。

Ｓ４２（投入ごみ決定ステップ）では、制御内容決定部１０３Ｃが、Ｓ４１の判定結果に基づいて、投入するごみの性状を決定する。上述のように、ごみの性状は履歴情報に基づいて決定することができる。制御内容決定部１０３Ｃは、例えば、分類情報１１２を用いることにより、Ｓ４１で判定されたホッパレベルとごみの投入量とに対応する、ブリッジの発生確率が低い、みかけ比重を決定してもよい。また、制御内容決定部１０３Ｃは、ごみの投入タイミングについても決定してもよい。

Ｓ４３（投入ごみ調整ステップ）では、ごみ調整部１０６Ｃが、機器制御部１０４を介してクレーンにごみの調整を行わせて、Ｓ４２で決定された性状のごみをごみピット内に生成する。例えば、Ｓ４２でみかけ比重が決定された場合、ごみ調整部１０６Ｃは、決定されたみかけ比重のごみを、ごみピット内の所定の区画に生成させてもよい。なお、Ｓ４２で決定された性状のごみが既にごみピット内に存在する場合、Ｓ４３の処理は省略してもよい。

Ｓ４４では、機器制御部１０４が、Ｓ４２で決定された性状のごみをホッパに投入する制御を行う。具体的には、機器制御部１０４は、Ｓ４２で決定された性状のごみが生成された区画でクレーンにごみを掴ませ、そのごみをホッパに投入させてもよい。また、Ｓ４２で投入タイミングについても決定されていた場合、機器制御部１０４は、決定されたタイミングでクレーンにホッパへの投入を行わせる。この後、処理はＳ４１に戻る。

なお、Ｓ４２では、複数回の投入のそれぞれについて、投入すべきごみの性状をまとめて決定してもよい。例えば、Ｓ４２において、次回の投入と次々回の投入についてごみの性状が決定された場合、次回の投入時までにごみの調整が行われ（Ｓ４３）、次回の投入タイミングが到来すると投入制御が行われる（Ｓ４４）。そして、次々回の投入時までにごみの調整が行われ（Ｓ４３）、次々回の投入タイミングが到来すると投入制御が行われる（Ｓ４４）。なお、複数回の投入についてごみの性状をまとめて決定する場合、ごみの調整についてもまとめて行ってもよい。

以上のように、本実施形態に係るごみ調整方法は、ホッパの内部に収容されたごみの状態を判定する状態判定ステップ（Ｓ４１）と、過去に行われたホッパへのごみの投入について、当該投入の直前のホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、Ｓ４１の判定結果とに基づいてホッパに投入すべきごみの性状を決定する投入ごみ決定ステップ（Ｓ４２）と、ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、Ｓ４２で決定した性状のごみをごみピット内に生成する投入ごみ調整ステップ（Ｓ４３）と、を含む。これにより、投入すべき性状のごみがごみピット内にない状態を自動的に解消して、ホッパの内部のごみの状態に応じた妥当な性状のごみを投入することができる。

〔変形例〕
上述の各実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、上述の各実施形態で説明した各処理を実行可能であれば、管理システム５を構成する装置は適宜変更することができる。例えば、図４に示した処理のうち、Ｓ１１～Ｓ１２の処理を１つの情報処理装置に実行させ、Ｓ１３～Ｓ１４の処理は別の情報処理装置に実行させてもよい。このように、上記各実施形態で説明した各処理の実行主体は、１つの情報処理装置であってもよいし、複数の情報処理装置であってもよい。

〔ソフトウェアによる実現例〕
情報処理装置１、１Ａ～１Ｃ（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０、１０Ａ～１０Ｃに含まれる各部）としてコンピュータを機能させるためのプログラム（制御内容決定プログラム／ごみ調整プログラム）により実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理装置
１０１ 状態判定部、１０３ 制御内容決定部、１１１ 履歴情報
１Ａ 情報処理装置
１０１ 状態判定部、１０３Ａ 制御内容決定部、１１１Ａ 履歴情報、
１１２Ａ制御内容予測モデル
１Ｂ 情報処理装置
１０１ 状態判定部、１０３Ｂ 制御内容決定部、１１１Ｂ 教師データ、
１１２Ｂ制御内容予測モデル
１Ｃ 情報処理装置
１０１ 状態判定部、１０３Ｃ 制御内容決定部（投入ごみ決定部）、
１０６Ｃ ごみ調整部

Claims (13)

1. ホッパの内部に収容された収容物の状態を判定する状態判定部と、
   過去に行われた前記ホッパへの前記収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報と、前記状態判定部の判定結果とに基づいて前記収容物の投入時の制御内容を決定する制御内容決定部と、を備える情報処理装置。
2. 前記制御内容決定部は、前記履歴情報を用いて確率過程により算出された予測分布であって、前記ホッパへの前記収容物の投入時の制御内容と投入の結果の評価値との関係を示す関数の予測分布に基づいて前記収容物の投入時の制御内容を決定する、請求項１に記載の情報処理装置。
3. 前記制御内容決定部は、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態と、前記収容物の投入後に前記ホッパの内部の前記収容物の状態が維持または改善されたときの投入時の制御内容との関係を、前記履歴情報に基づく教師データを用いて学習することにより生成された制御内容予測モデルを用いて、前記収容物の投入時の制御内容を決定する、請求項１に記載の情報処理装置。
4. 前記制御内容決定部は、前記履歴情報に示される投入の結果の良否に応じた、当該投入の直前の前記ホッパの内部の前記収容物の状態と当該投入の際の制御内容との組み合わせの分類結果に基づいて、前記収容物の投入時の制御内容を決定する、請求項１に記載の情報処理装置。
5. 前記制御内容決定部は、前記履歴情報に示される、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態を環境とし、前記収容物の投入時の制御内容を行動とし、投入の結果の評価値を報酬とした強化学習により生成された強化学習モデルを用いて前記収容物の投入時の制御内容を決定する、請求項１に記載の情報処理装置。
6. 前記収容物はごみであり、
   前記制御内容決定部は、前記ホッパに投入すべきごみの性状を決定し、
   前記ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、決定された前記性状のごみを前記ごみピット内に生成する投入ごみ調整部を備える、請求項１から５の何れか１項に記載の情報処理装置。
7. ホッパの内部に収容されたごみの状態を判定する状態判定部と、
   過去に行われた前記ホッパへのごみの投入について、当該投入の直前の前記ホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、前記状態判定部の判定結果とに基づいて前記ホッパに投入すべきごみの性状を決定する投入ごみ決定部と、
   前記ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、決定された前記性状のごみを前記ごみピット内に生成する投入ごみ調整部と、を備える情報処理装置。
8. １または複数の情報処理装置が実行する制御内容決定方法であって、
   ホッパの内部に収容された収容物の状態を判定する状態判定ステップと、
   過去に行われた前記ホッパへの前記収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報と、前記状態判定ステップの判定結果とに基づいて前記収容物の投入時の制御内容を決定する制御内容決定ステップと、を含む制御内容決定方法。
9. １または複数の情報処理装置が実行するごみ調整方法であって、
   ホッパの内部に収容されたごみの状態を判定する状態判定ステップと、
   過去に行われた前記ホッパへのごみの投入について、当該投入の直前の前記ホッパの内部のごみの状態と投入されたごみの性状と投入の結果とを示す履歴情報と、前記状態判定ステップの判定結果とに基づいて前記ホッパに投入すべきごみの性状を決定する投入ごみ決定ステップと、
   前記ホッパに投入するごみを貯留するごみピット内でごみを運搬するクレーンにごみの調整を行わせて、決定された前記性状のごみを前記ごみピット内に生成する投入ごみ調整ステップと、を含むごみ調整方法。
10. １または複数の情報処理装置が実行する、制御内容予測モデルの生成方法であって、
    過去に行われたホッパへの収容物の投入のうち、当該投入の後にホッパの状態が維持または改善された投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と、当該投入の際に行われた制御内容とを対応付けた教師データを取得する教師データ取得ステップと、
    前記教師データを用いた学習により、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態から、前記ホッパの状態を維持または改善するために前記ホッパへの投入時に行うべき制御内容を予測する制御内容予測モデルを生成する学習ステップと、を含む、制御内容予測モデルの生成方法。
11. １または複数の情報処理装置が実行する、強化学習モデルの生成方法であって、
    過去に行われたホッパへの収容物の投入について、当該投入の直前の前記ホッパの内部の前記収容物の状態と投入時の制御内容と投入の結果とを示す履歴情報を取得する履歴取得ステップと、
    前記履歴情報に示される、前記収容物を投入する直前の前記ホッパの内部の前記収容物の状態を環境とし、前記収容物の投入時の制御を行動とし、投入の結果の評価値を報酬とした強化学習により強化学習モデルを生成する学習ステップと、を含む強化学習モデルの生成方法。
12. 請求項１に記載の情報処理装置としてコンピュータを機能させるための制御内容決定プログラムであって、前記状態判定部および前記制御内容決定部としてコンピュータを機能させるための制御内容決定プログラム。
13. 請求項７に記載の情報処理装置としてコンピュータを機能させるためのごみ調整プログラムであって、前記状態判定部、前記投入ごみ決定部、および前記投入ごみ調整部としてコンピュータを機能させるためのごみ調整プログラム。

Images