JP7436313B2

JP7436313B2 - 予測システム、予測方法、ならびに表示装置

Info

Publication number: JP7436313B2
Application number: JP2020124393A
Authority: JP
Inventors: 晃治陰山; 茂寿崎村; 智裕山本; 秀之田所; 亜由美渡部
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2024-02-21
Anticipated expiration: 2040-07-21
Also published as: WO2022018912A1; JP2022021042A

Description

本発明は、機械学習の予測値に基づき運転を判断する運転員を支援する予測システム、予測方法、ならびに表示装置に関する。

機械学習であるニューラルネットワークやディープラーニング、重回帰分析など統計的な予測モデルを用いて予測値を求める予測システムが、様々な分野において実用化されつつある。これらの予測モデルは、あらかじめ学習段階において入力項目と出力項目の値が揃った学習データを与え、予測モデルの計算値ができるだけ合致するように予測モデル内のパラメータの値を適切な値に調節する。その後、予測段階ではこの予測モデルに入力値を与え、予測値を計算する。

予測モデルは学習段階に与えた学習データとできるだけ合致するように調節されるため、学習データの範囲内の入力値を与えた場合に得られる予測値は正しい値に近い可能性が高いが、学習データの範囲外、すなわち外挿条件の入力値が与えられた場合には適切な予測値を得られない可能性があり、信頼性が低い。

とくにニューラルネットワークやディープラーニングなどの予測モデルを用いる場合、学習段階では十分に大量の学習データを用いることが望ましい。時間の制約などで十分に大量の学習データを得られる前に予測段階に移らざるを得ない場合、予測段階で外挿条件の入力値が与えられることが生じることがある。ニューラルネットワークやディープラーニングなどは非線形であるため、外挿条件の入力値が与えられた場合の予測値が大きく外れる可能性がある。

その結果、予測値を参考にしてプラントや装置の操作をする操作員は、予測値をどの程度信用して良いか判断が難しい。もし学習時に比べて過大あるいは過小となる入力値が含まれていることが分かっても、その入力項目の感度特性が分からないと、予測値がどの程度の影響を受けるか分からない。

このような課題に関連し、特許文献１および特許文献２に記載の技術が知られている。特許文献１は、内燃機関のパラメータとトルクの統計モデルの基礎となったデータ範囲外の運転領域で運転する場合（すなわち外挿条件の場合）、トルクの影響する物理量が基準値から乖離していれば補正係数で補正するものである。これにより、車両を駆動する内燃機関の機関トルクを高い精度で制御することのできる車両の制御装置を提供できるとしている。

特許文献２にはニューラルネットの入力を変動させたときの出力の感度特性を解析することで冗長な入力を検出することが記載されている。検出された冗長な入力を削除することで、最適な入力を選択できるとしている。

特開２００９－２８７５２０号公報特許第３３２９８０６号

しかしながら、特許文献１は外挿条件の程度を運転員に提示する機能について記載されていない。また、各入力項目の入力値がどの程度出力値に影響するか、感度特性に関する記載も見られない。特許文献２は外挿条件に関係する記載がない。

したがって、Ａ：予測値への影響の大きい入力項目が極端な外挿条件となっていて予測値の信頼性が大幅に低い場合、Ｂ：予測値への影響の大きい入力項目がわずかな外挿条件となっていて予測値の信頼性がわずかに低い場合、Ｃ：予測値への影響が極端に小さい入力項目が極端な外挿条件となっていて予測値の信頼性がわずかに低い場合、などを区別して判断することができなかった。また、外挿条件の程度をユーザに提示する機能に関する記載も見当たらない。

本発明はこれらの課題に鑑みて為されたものである。本発明が解決する課題は、学習データを用いてパラメータを調整して得られた予測モデルで予測値を提示する予測システムにおいて、各入力項目の入力値が出力値に及ぼす影響と、外挿条件となっている入力値の外挿の幅、の双方を勘案して予測値の信頼性の程度を運転員へ提示することにある。

以上のことから本発明においては、「学習段階において学習データを用いて学習する予測モデルを含む予測システムであって、予測段階で前記予測モデルに与える各入力項目の入力値を与える入力部と、予測モデルの各入力項目が予測モデルで求められる予測値に及ぼす影響を示す感度係数を算出する感度係数算出部と、各入力項目の入力値に関する学習データの統計値からの乖離度を示す距離係数を算出する距離係数算出部と、感度係数と距離係数の値から学習範囲外指標を算出する学習範囲外指標算出部と、感度係数と距離係数のいずれか又は双方、あるいは学習範囲外指標の値を数値あるいは図として表示する表示部とを備えたことを特徴とする予測システム。」としたものである。

また本発明においては、「学習段階において学習データを用いて学習する予測モデルによる予測を行うための予測方法であって、予測段階において、予測モデルに与える各入力項目の入力値を得、予測モデルの各入力項目が予測モデルで求められる予測値に及ぼす影響を示す感度係数を算出し、各入力項目の入力値に関する学習データの統計値からの乖離度を示す距離係数を算出し、感度係数と距離係数の値から学習範囲外指標を算出し、感度係数と距離係数のいずれか又は双方、あるいは学習範囲外指標の値を数値あるいは図として表示する表ことを特徴とする予測方法。」としたものである。

また本発明においては、「学習段階において学習データを用いて学習する予測モデルを含む予測システムで使用される表示装置であって、表示装置には、予測モデルに与える各入力項目の入力値が予測モデルで求められる予測値に及ぼす影響を示す感度係数と、各入力項目の入力値に関する学習データの統計値からの乖離度を示す距離係数と、感度係数と距離係数の値から算出された学習範囲外指標について、感度係数と距離係数のいずれか又は双方、あるいは前記学習範囲外指標の値を数値あるいは図として表示することを特徴とする表示装置。」としたものである。

本発明によれば、外挿条件となる入力項目の入力値が予測値に及ぼす影響と外挿の程度との双方を勘案した指標値を運転員は知ることができる。

その結果、本発明の実施例によれば運転員はたとえばＡ：予測値への影響の大きい入力項目が極端な外挿条件となっていて予測値の信頼性が大幅に低い場合、Ｂ：予測値への影響の大きい入力項目がわずかな外挿条件となっていて予測値の信頼性がわずかに低い場合、Ｃ：予測値への影響が極端に小さい入力値が外挿条件となっていて予測値の信頼性がそれほど低くない場合、を区別して定量的に判断することができる。

すなわち、運転員は予測システムで計算される予測値の信頼性を把握し、信頼性が高い場合にはその予測値を信じて用い、信頼性が低い場合には予測値に安全係数を勘案した値を用いてプラントや設備の運転を実施することができる。その結果、運転員は運転失敗のリスクを低減できる。

本発明の実施例に係る予測システムの全体構成例を示す機能ブロック図。大小２つ以上の統計値を用いた場合に入力項目の入力値から距離係数を求める関数例を示す図。１つの統計値を用いた場合に入力項目の入力値から距離係数を求める関数例を示す図。予測値と実測値と学習範囲外指標の値をいずれも折れ線グラフとして表示する表示例を示す図。予測値と実測値を棒グラフとして表示する表示例を示す図。学習範囲外指標の値を棒グラフとして表示する表示例を示す図。学習範囲外指標の値の内訳を積上げ面グラフとして表示する表示例を示す図。学習範囲外指標の値の内訳を積上げ棒グラフとして表示する表示例を示す図。（４）式の学習のため（３）式により生成した模擬データ例を示す図。模擬データの値と予測モデルによる予測値の相関例を示す図。入力Ｘ_１とＸ_２の値に対する予測誤差の棒グラフ例を示す図。入力Ｘ_１とＸ_２の値に対する学習範囲外指標の棒グラフ例を示す図。学習範囲外指標と予測誤差の相関例を示す図。

以下、本発明の実施形態について図面を用いて説明する。

なお本発明の予測システムの対象は、具体的には雨水ポンプの運転、水処理プラントの運転、産業プラントの運転などが挙げられるが、ニューラルネットワークなど学習段階に学習データで予測モデルを同定し、その予測モデルに基づき何らかの予測値を求め、人がその予測値を参考に運転条件を設定する対象であればこれらに限らない。

図１は、本発明の実施例に係る予測システムの全体構成例を示す機能ブロック図である。なお本発明は、機械学習の予測値に基づき運転を判断する運転員を支援する予測システムであり、システム全体としては学習段階と予測段階を含んで構成されるが、図１には主として予測段階の処理を行う予測システムが記述されている。

このため、学習データの統計値記憶部ＤＢには学習段階に用いた学習データＤ１が保管されている。本発明では学習データＤ１を求める学習手法を問わないが、学習データＤ１は正常時のデータで構成されており、異常時のデータを含んでいないものであり、所定の範囲内の値のデータで構成されている。

他方、入力部１０にはプラントなどから適宜検出された、一般的には複数の入力項目のそれぞれの入力値Ｄ２が得られている。この場合の入力値Ｄ２には、学習データの範囲外、すなわち外挿条件の入力値が与えられている可能性がある。図１では、入力部１０から入力項目のそれぞれの入力値Ｄ２が入力値正規化演算部１２に与えられる。正規化演算部１２では、与えられたそれぞれの入力項目の値を一定の幅の数値に変換し、正規化後の入力値Ｄ２Ｕを出力する。正規化後の入力値Ｄ２Ｕは、距離係数算出部１８と感度係数算出部２２に与えられる。

距離係数算出部１８には、正規化後の学習データの統計値Ｄ１Ｕも与えられる。正規化後の学習データの統計値Ｄ１Ｕは、学習データの統計値記憶部ＤＢから与えられたそれぞれの入力項目の学習データの統計値Ｄ１が統計値正規化演算部１５において正規化された値である。距離係数算出部１８では、正規化後の入力値Ｄ２Ｕと正規化後の学習データの統計値Ｄ１Ｕに基づいて距離係数Ｌを算出し、学習範囲外指標算出部２６に与える。

一方、感度係数算出部２２は正規化後の入力値Ｄ２Ｕの１変数に摂動を与えた入力値Ｄ２Ｕ１を感度解析用予測モデルＭ１に与える。感度解析用予測モデルＭ１は摂動を与えた場合の予測値ＤＳ１を計算して感度係数算出部２２に与える。感度係数算出部２２は摂動を与えた場合の予測値ＤＳ１に基づき感度係数Ｋを求めて学習範囲外指標算出部２６に与える。

学習範囲外指標算出部２６は、距離係数Ｌと感度係数Ｋに基づき、学習範囲外指標Ｄ３を算出して表示部３０に与える。表示部３０では、与えられた学習範囲外指標Ｄ３を画面に表示する。また、正規化後の入力値Ｄ２Ｕは予測値計算用予測モデルＭ２にも与えられ、予測値ＤＳ２が求められる。予測値計算用予測モデルＭ２にも与えられるのは、予測値ＤＳ２が求められるのであれば入力項目のそれぞれの入力値Ｄ２であっても良い。予測値ＤＳ２も表示部３０に与えられ、学習範囲外指標Ｄ３とともに画面に表示される。

なお表示部３０には、距離係数Ｌと感度係数Ｋが与えられて、これらを表示してもよい。図示していないが、表示部３０には学習範囲外指標Ｄ３や予測値ＤＳ２ばかりでなく、予測システムに入力された各種データＤ１，Ｄ２，予測システムに入力された各種データＤ１，Ｄ２を用いた処理により生成される各種中間データを含めたすべてのデータが表示可能であり、かつ表示形式は適宜のものとすることができる。

入力値正規化演算部１２において正規化後の入力値Ｄ２Ｕを算出する具体的な手法の一例について以下に述べる。入力項目のそれぞれの入力値Ｄ２としては、さまざまなスケールの数値が与えられることが想定される。たとえば室温であると５℃～４０℃、気圧であると９８０ｈＰａ～１０２０ｈＰａのように、入力項目によっては桁が異なる場合もある。これらの数値をそのまま用いると数値の大きい入力項目の影響が過大となってしまう場合があるため、無次元化して対等に用いることができるようにする。正規化には線形変換を用いても良いし、アフィン変換を用いても良い。この処理により、上述の室温や気圧をいずれもたとえば０．０～１．０の範囲の値に変換する。このように求められた正規化後の入力値Ｄ２Ｕは距離係数算出部１８と感度係数算出部２２に与えられる。

統計値正規化演算部１５において正規化後の学習データの統計値Ｄ１Ｕを算出する具体的な手法の一例について以下に述べる。まず、学習データの統計値記憶部ＤＢからそれぞれの入力項目の学習データの統計値Ｄ１が与えられる。それぞれの入力項目の学習データの統計値Ｄ１としては、さまざまなスケールの数値が与えられることが考えられる。

たとえば気温であると最低気温５．６℃、最高気温２８．４℃、平均気温１６．４５℃、標準偏差７．３℃、気圧であると最低気圧１００４．８ｈＰａ、最高気圧１０１６．７ｈＰａ、平均気圧１０１１．２ｈＰａ、標準偏差３．６９ｈＰａのように、桁が大きく異なる場合もある。これらの数値をそのまま用いると数値の大きい入力項目の影響が過大となってしまう場合があるため、無次元化して対等に用いることができるようにする。

正規化には線形変換を用いても良いし、アフィン変換を用いても良い。この処理により、上述の室温や気圧をいずれもたとえば０．０～１．０の範囲の値に変換する。正規化方法は入力値正規化演算部１２と全く同一とすることが必要である。これにより、正規化後の入力値Ｄ２Ｕと正規化後の学習データの統計値Ｄ１Ｕとを距離係数算出部１８において同じスケールで比較評価することが可能となる。

距離係数算出部１８において、距離係数Ｌを算出する具体的な手法の一例について以下に述べる。この距離係数Ｌは、外挿となっている点がどの程度だけ外挿となっているかを示す指標である。図２は、学習データの統計値記憶部ＤＢに記憶する学習データＤ１のうち、大小２つ以上の統計値を用いた場合に入力項目の値から距離係数を求める関数を図示した例である。横軸に入力値Ｘ，縦軸に距離係数Ｌを示している。たとえば学習データの統計値記憶部ＤＢに記憶する学習データＤ１の最大値、最小値のように大小２つの統計値が存在する場合、これを図２中には横軸の入力値Ｘとして、最大値Ｘｍａｘおよび最小値Ｘｍｉｎと記載した。入力値Ｘの値がＸｍｉｎとＸｍａｘの間であれば、学習データＤ１の内挿条件、あるいは内挿条件に近いとみなし、図２の距離係数Ｌの値は０とする。入力値ＸがＸｍｉｎより小さい場合にはＸｍｉｎから値が離れるほど距離係数Ｌの値は負の値をとって小さくなる。入力値ＸがＸｍａｘより大きい場合にはＸｍａｘから値が離れるほど距離係数Ｌの値は正の値をとって大きくなる。なお、簡単のため図２の折れ線グラフは直線で示したが、直線である必要はない。

正確に「外挿条件」を定義するのであれば、ＸｍｉｎとＸｍａｘの対は「最小値、最大値」となるが、分布の端の値も外挿条件に近いとみなせる場合には、これ以外にも「平均値－標準偏差×α、平均値＋標準偏差×α（ただしαは正の数）」などを用いても良い。このαの値が大きいほどＸｍｉｎとＸｍａｘの対は「最小値、最大値」に近くなり、より正確な「外挿条件」に近くなる。本発明においては大小２つの値を用いることであればＸｍｉｎとＸｍａｘの決め方はこれらに限定されない。

距離係数算出部１８において１つの統計値を用いた場合に入力項目の値から距離係数を求める関数を図示した例を図３に示す。図３もまた横軸に入力値Ｘ，縦軸に距離係数Ｌを示している。たとえば学習データの統計値記憶部ＤＢに記憶する学習データＤ１について、学習データＤ１の平均値のように１つの統計値が存在する場合、これを図３中にはＸｃｅｎｔｅｒと記載した。入力値Ｘの値がＸｃｅｎｔｅｒに近いほど、図３の距離係数Ｌの値は０に近くなるようにする。入力値ＸがＸｃｅｎｔｅｒより小さい場合にはＸｃｅｎｔｅｒから値が離れるほど距離係数Ｌの値は負の値をとって小さくなる。入力値ＸがＸｃｅｎｔｅｒより大きい場合にはＸｃｅｎｔｅｒから値が離れるほど距離係数Ｌの値は正の値をとって大きくなる。なお、簡単のため図３の関数は２次関数をＸｃｅｎｔｅｒの点で折り返した形状で示したが、同様の傾向を示す関数であればとくにこれに限定はされない。このＸｃｅｎｔｅｒとしては、平均値のほかに最頻値や中央値などを用いても良い。

感度係数算出部２２において、感度係数Ｋを算出する具体的な手法の一例について以下に述べる。この感度係数Ｋは、感度解析用予測モデルＭ１の入力値に微小な摂動を与えた場合に感度解析用予測モデルＭ１の予測値がどの程度変化するかを示すものである。感度係数算出部２２では、与えられた正規化後の入力値Ｄ２Ｕにあらかじめ設定しておいた摂動幅に応じた摂動を与え、摂動を与えた入力値Ｄ２Ｕ１をまず生成する。摂動幅がたとえば０．０２、正規化後の入力値Ｄ２Ｕのある１変数の値が０．５であった場合、０．５－０．０２／２＝０．４９と０．５＋０．０２／２＝０．５１の２つの点を求める。そして、ほかの入力項目の値は変化させずに摂動を与えた入力値Ｄ２Ｕ１として感度解析用予測モデルＭ１に与える。

感度解析用予測モデルＭ１では、１つの変数の値が０．４９の場合と０．５１の場合の予測値、すなわち摂動を与えた場合の予測値ＤＳ１を計算し、感度係数算出部２２へ与える。感度係数算出部２２では、摂動を与えた場合の予測値ＤＳ１の差分を摂動幅で除算することで、摂動を与えた入力項目が予測値に及ぼす影響、すなわち感度係数Ｋを算出する。この値は、正の数値となる場合もあるし、負の数値となる場合もある。

感度係数算出部２２で摂動を与える対象としては、上述のように正規化後の入力値Ｄ２Ｕを用いることが望ましいが、たとえば与えられた入力値が飛び値の場合、摂動を与えた場合の予測値ＤＳ１および感度係数Ｋが極端な値となる可能性がある。これは学習範囲外指標Ｄ３の算出に望ましくない影響を及ぼすため、感度係数算出部２２で摂動を与える対象として、正規化後の入力値Ｄ２Ｕとして最新の値１点のみを用いるのではなく、最新の点を含む過去ｎ点の平均値や最頻値、中央値など過去の値も考慮した値をあらかじめ求めておき、それに摂動を与えることでも良い。

学習範囲外指標算出部２６では、距離係数Ｌと感度係数Ｋから学習範囲外指標Ｄ３を算出する。この算出方法の具体的な手法の一例について以下に述べる。まず、感度解析用予測モデルＭ１の入力値は３個あるとし、それぞれＸ_１、Ｘ_２、Ｘ_３と呼ぶこととする。また、感度解析用予測モデルＭ１で求められる予測値をＹと呼ぶこととする。感度係数Ｋは、上述のように入力値に微小な摂動を与えた場合の予測値の変化であるため、次の（１）式のように表記できる。

また、距離係数Ｌはたとえば図２で示したような関数にＸ_１、Ｘ_２、Ｘ_３を与えて計算できる。入力値は３種類あるため、距離係数Ｌも３つ求められ、これらをＬ_１、Ｌ_２、Ｌ_３と呼ぶこととする。これらの変数を用い、学習範囲外指標Ｄ３はたとえば次の（２）式で求めることができる。

この学習範囲外指標Ｄ３の値が０の場合には、外挿条件となる入力値が無い、あるいは外挿条件となる入力値はあるが３つの項の和として予測値Ｙに及ぼす影響は無いことを意味する。この場合の入力値を予測値計算用予測モデルＭ２で求められた予測値ＤＳ２は、信頼度が高いと言える。逆に、学習範囲外指標Ｄ３の値が０から乖離する場合には、外挿条件の入力値が含まれており、それが予測値Ｙへ及ぼす影響が無視できないことを意味する。この場合の入力値を予測値計算用予測モデルＭ２に与えて求められた予測値ＤＳ２は、信頼度が低いと言える。なお、（２）式で得られる学習範囲外指標Ｄ３の値は、予測値計算用予測モデルＭ２で得られた予測値ＤＳ２が正あるいは負の方向のどちら側へどの程度ずれているかの目安になる。

（２）式は３個の入力値Ｘ_１、Ｘ_２、Ｘ_３に対する３つの項の和となっており、それぞれの項は正の値、負の値のいずれにもなる可能性がある。正の値となる項と負の値となる項がある場合、それぞれの項の影響は相殺されることになる。相殺される場合、学習範囲外指標Ｄ３の値は０に近づくが、個々の入力値自身は極端な外挿条件である可能性がある。予測値計算用予測モデルＭ２で得られる予測値ＤＳ２が正あるいは負の方向へどの程度ずれているかの目安が不要で、外挿条件となっているか否かのみを評価するのであれば、学習範囲外指標Ｄ３はたとえば（３）式で示すように、それぞれの項ごとに絶対値をとった値の和として算出しても良い。

（２）式、（３）式に示した数式はもっとも単純な一例であり、少なくとも感度係数Ｋと距離係数Ｌの値に基づいて学習範囲外指標Ｄ３を算出する数式であれば、とくにこれらに限定はされない。

学習範囲外指標算出部２６で算出された学習範囲外指標Ｄ３は、表示部３０に表示される。この表示部としては、コンピュータやタブレット、モバイル端末の画面などいずれでも良い。また、予測値計算用予測モデルＭ２で計算された予測値ＤＳ２も表示部３０に表示される。これらの表示は数字でも良いが、グラフなどの図でも良い。また、最新の予測値ＤＳ２のみではなく、過去の予測値と実測値も表示することで、過去の予測値がどの程度正しかったかを確認できると同時に、そのときの予測誤差と学習範囲外指標Ｄ３の関連を把握できるため、さらに有用である。表示画面の一例を図４から図８に示す。

図４は、予測値ＤＳ２と実測値Ｄ２Ｕと学習範囲外指標Ｄ３の値をいずれも折れ線グラフとして表示する表示例を示す図である。図４の表示画面９０の一例は、上側のグラフと下側のグラフの２つから構成されている。上側のグラフは、横軸の経過時間に対して、縦軸に実測値Ｄ２Ｕと予測値ＤＳ２を示した折れ線によるトレンドグラフである。経過時間０が現在を示しており、実測値Ｄ２Ｕはこの経過時間０までは値があるためプロットされており、将来の経過時間１についてはまだ実測値Ｄ２Ｕがなく予測値ＤＳ２のみが示されている。このように、経過時間０までに予測値ＤＳ２が実測値Ｄ２Ｕからどの程度外れているかを目視確認することができるとともに、将来の経過時間１での予測値ＤＳ２が一目で分かるようにしている。

図４の下側のグラフは、上側のグラフと同じ経過時間の横軸を有する学習範囲外指標Ｄ３の折れ線によるトレンドグラフである。このように、将来の経過時間１までの学習範囲外指標Ｄ３の推移を目視確認できる。この図４の例では、将来の経過時間１の学習範囲外指標Ｄ３の値が０に近く、小さいことが分かる。この値が小さいということは外挿条件の程度が小さいことを意味しているため、上側のグラフの将来の経過時間１の予測値ＤＳ２は正しいだろう、と信頼することができる。将来の経過時間１の学習範囲外指標Ｄ３の値は、経過時間－５の学習範囲外指標Ｄ３の値に近いため、上側のグラフの経過時間－５の時の程度で予測値ＤＳ２が実測値と一致するであろうことが推測できる。

図４の横軸はここでは経過時間が－６から１までとしているが、この経過時間の幅は変更できるようにしても良い。また、将来の値もここでは経過時間１まで示しているが、１点のみではなく複数の将来の予測値ＤＳ２と学習範囲外指標Ｄ３の値を示しても良い。複数時刻の将来の予測値ＤＳ２やと学習範囲外指標Ｄ３の値を示す場合には、この図４で言うと経過時間－６から０までに表示する予測値ＤＳ２として１時刻先の予測値、２時刻先の予測値、さらに将来の予測値か複数ある。複数のグラフを表示しても良いし、あるいは煩雑となる場合には絞り込んで表示しても良い。

図４の上側のグラフは折れ線によるトレンドグラフの例を示したが、図５で示すように棒グラフであっても良い。図５は、予測値ＤＳ２と実測値Ｄ２Ｕを棒グラフとして表示する表示例を示す図である。この図では、実測値Ｄ２Ｕと予測値ＤＳ２の２本の棒グラフが時間経過に応じて表示されている。また、図４の下側のグラフも折れ線によるトレンドグラフであったが、図６で示すように棒グラフであっても良い。図６は、学習範囲外指標Ｄ３の値を棒グラフとして表示する表示例を示す図である。過去の値との比較を目的とする場合には、とくに図５や図６で示す棒グラフのほうが見やすい場合がある。

学習範囲外指標Ｄ３の算出にあたり、上述の式（２）のように複数の入力項目の項の絶対値の和で求める場合には、それぞれの項の値を表示することで、学習範囲外指標Ｄ３の値にどの入力項目がどの程度影響しているかを示すことができる。その場合の表示例を図７に示す。

図７は学習範囲外指標Ｄ３の値の内訳を積上げ面グラフとして表示する表示部の例である。たとえば、経過時間０の点での学習範囲外指標Ｄ３の内訳の中では、入力Ｘ_３の影響が過半を占めていたことが分かる。したがって、入力Ｘ_３の値がノイズなど外れ値でないかなど入手データや計測器、通信環境を念のため確認するなどの対応が可能となる。なお、積み上げ面グラフには色を付けても良く、絶対値を付ける前の項の値が正の値か負の値かによって塗り分けても良い。これにより、どの項とどの項が相殺し合っているかも把握することができる。

それぞれの項が及ぼす程度を示すには、積上げ面グラフではなく図８で示すように積み上げ棒グラフを用いても良い。この図であっても、どの入力項目が原因で学習範囲外指標Ｄ３が大きくなっているかを判断することができる。積み上げ棒グラフにも色を付けても良く、絶対値を付ける前の項の値が正の値か負の値かによって塗り分けても良い。

図４で示したように、表示部３０の表示画面９０の上側に予測値ＤＳ２と実測値Ｄ２Ｕを表示し、下側に学習範囲外指標Ｄ３を表示することも良いが、見る情報を減らして把握しやすくすることを目的として、上側の図のみを表示することでも良い。その場合、学習範囲外指標Ｄ３の結果を上段の図中に盛り込むことになるが、たとえば予測線や凡例、塗りつぶしの色や濃さ、あるいは背景の色や濃さなどを学習範囲外指標Ｄ３の値に応じて変えることで実現可能である。学習範囲外指標Ｄ３の値が０に小さく信頼に足る予測値ＤＳ２は濃い黒色の線や凡例とし、逆に学習範囲外指標Ｄ３の値が極端に大きいあるいは極端に小さいため信頼性が低いと考えられる場合の予測値ＤＳ２は薄い黒色の線や凡例、あるいは赤色に近い線や凡例とするなどが考えられる。

上記した表示例は、予測システムに取り込んだ入力値Ｄ２が、学習段階に用いた学習データＤ１に対してどの程度乖離しているかを示す距離係数Ｌと、摂動を与えた場合の感度係数Ｋから、この２つの指標を１つの指標である学習範囲外指標Ｄ３に集約してまとめ、予測システムにおける時系列情報として各種グラフやトレンドとして表記したものである。また予測値ＤＳ２や実測値Ｄ２Ｕとの対比で各種グラフやトレンドとして表記したものである。

これらの表記は、表示を通じて運転員に当該データが例えば予測値をプラントの運転に採用すべきか否かを判断せしめる判断材料を提供する目的のものであり、提供手法としてはグラフやトレンド表示以外にも生データでの表示（数値表示）がある。生データでの表示では、各入力時刻の各種データが表形式で表示され、この中には距離係数Ｌ、感度係数Ｋ、学習範囲外指標Ｄ３を含んでいる。本発明の数値表示では、距離係数Ｌと感度係数Ｋのいずれか又は双方、あるいはこれらを集約した１つの指標である学習範囲外指標Ｄ３が表示されるのがよい。また、この数値表示には予測値ＤＳ２や実測値Ｄ２Ｕが含まれるのがよい。

以下、本発明の効果を具体的に示すため、評価計算した一例について述べる。いま２つの入力項目から成る入力値Ｘ_１とＸ_２があり、その影響を受ける値Ｙが現実として（４）式の関係にあるとする。運転員はこの（４）式の関係を全く知らず、Ｘ_１、Ｘ_２、Ｙのデータのみが現実の実測値Ｄ２Ｕとして得られているとする。

この現実の実測値Ｄ２Ｕに対し、（５）式の簡単な予測モデルで予測値を計算すると想定する。この場合の予測モデルは、図１の予測モデルＭ２である。

この予測モデルには３つの係数ａ，ｂ，ｃが含まれており、学習段階で学習データＤ１によりこれらを同定する必要がある。図９は（４）式の学習のため（３）式により生成した模擬データ例を示す図である。そこで、（５）式の関係にしたがって図９のように模擬データＸ_１，Ｘ_２を生成してこの時のＹの値を求め、これらの結果からこれらを学習データＤ１として３つの係数ａ，ｂ，ｃの値を同定した。具体的には、Ｘ_１を０から１．０までの範囲として０．２刻みで変更し、かつ各Ｘ_１の値の時にＸ_２を０から１．０までの範囲として０．２刻みで変更して、各組合せの時の出力Ｙの値を求めた。

その結果、ａ＝１，ｂ＝０．０１，ｃ＝－０．１３４６７が得られた。模擬データの値と（５）式の予測モデルによる予測値を相関図として図１０に示す。図１０では、横軸に模擬データの値として０から１．０の範囲の値、縦軸に予測モデルによる予測値として０から１．０の範囲の値を表している。この場合、相関の度合いを示す指標であるＲ^２は０．９２１４となっており、図９のＸ_１、Ｘ_２の内挿条件（いずれも０～１の範囲）において比較的良いモデルとなっていることが分かる。

これに対し、外挿条件となる入力値が与えられた場合に予測モデルによる予測値がどの程度現実と異なるかについて評価した。図９で示したように学習データはＸ_１およびＸ_２のいずれも０～１．０の範囲としたので、外挿条件の例としてＸ_１の値を１．１～１．５とした場合とＸ_２の値を１．１～１．５とした場合を仮定した。予測モデルで計算した予測値の予測誤差を求めた結果を図１１に示す。図１１は、入力Ｘ_１とＸ_２の値に対する予測誤差の棒グラフである。この図は横軸に２つの入力Ｘ_１，Ｘ_２の値の組み合わせを採用し、縦軸に予測誤差を記載している。図１１の左側はＸ_２を１．０に固定した状態でＸ_１を１．０から１．５に変化させた場合であり、図１１の右側はＸ_１を１．０に固定した状態でＸ_２を１．０から１．５に変化させた場合である。

まず図１１の左側のグラフについてみると、ここでは、内挿条件である左端の（Ｘ_１＝１．０、Ｘ_２＝１．０）の条件での予測誤差の絶対値は約０．１２であるが、Ｘ_１が１．１～１．５となると予測誤差の絶対値は約０．４まで約４倍に増大する。一方図１１の右側のグラフについてみると、Ｘ_２は最大の１．５であっても予測誤差は左端の約０．１２からほとんど増大しないことがわかる。

予測モデルが（５）式で示すようにきわめて単純な重回帰式であり、かつ同定された係数の値を運転員が把握している場合、Ｘ_１が外挿条件となる場合はＸ_２が外挿条件となる場合に比べて予測誤差が大きくなることはあらかじめ推定できる。

しかし、その程度までは容易に推算できないことも考えられる。もちろん、予測モデルがニューラルネットワークやディープラーニングなどブラックボックスモデルと言われるものであって単純な数式で容易に把握できない場合、予測誤差の程度はもちろんのこと、大小についても推定することはほぼ不可能である。

学習範囲外指標Ｄ３を計算した結果の一例を図１２に示す。図１２は、入力Ｘ_１とＸ_２の値に対する学習範囲外指標の棒グラフである。この図は横軸に２つの入力Ｘ_１，Ｘ_２の値の組み合わせを採用し、縦軸に学習範囲外指標Ｄ３を記載している。図１２の左側はＸ_２を１．０に固定した状態でＸ_１を１．０から１．５に変化させた場合であり、図１１の右側はＸ_１を１．０に固定した状態でＸ_２を１．０から１．５に変化させた場合である。このうち図１２の左側のグラフについてみると、左端の条件（Ｘ_１＝１．０、Ｘ_２＝１．０）は内挿条件であるため、学習範囲外指標Ｄ３の値は０となっている。入力Ｘ_１が１．０から乖離するにしたがい、学習範囲外指標Ｄ３の値が大きくなることが分かる。一方図１２の右側のグラフについてみると、入力Ｘ_２が１．０から乖離して１．５になっても学習範囲外指標はほぼ１．０のままである。

外挿の程度のみではなく、感度係数Ｋも考慮しているため、Ｘ_１とＸ_２とでこのような違いが生じる。学習範囲外指標Ｄ３の値は、図１１で示した予測誤差の値に似た形状となることが分かる。このように、学習範囲外指標Ｄ３の値が分かれば、予測値ＤＳ２が実測値Ｄ２Ｕとどの程度異なる可能性があるか、あらかじめ大小についても分かると言える。

図１１で示した予測誤差と図１２で示した学習範囲外指標Ｄ３の値を相関図として図１３に示す。図１３は、学習範囲外指標と予測誤差の相関例を示す図である。この図は横軸に学習範囲外指標Ｄ３を採用し、縦軸に予測誤差を記載している。このような相関図も表示部３０に表示できれば、今後の予測値の学習範囲外指標Ｄ３の値から、実測値Ｄ２Ｕがどの程度ずれる可能性があるかをあらかじめ把握することができ、さらに有用である。

学習範囲外指標Ｄ３の値が一定値以上、あるいは一定値以下である場合には予測値ＤＳ２の信頼度が低いと考えられるため、誤ってその予測値ＤＳ２を運転員が参考としないよう、予測値ＤＳ２自体を画面に表示しない機能を加えても良い。このような機能を加えることで、よりリスクを低減した安全サイドで運転することが可能となる。

以上図１の構成を参照して、予測システムの構成を説明したが、この考え方はそのまま予測モデルを用いた予測方法として実現することができる。係る予測方法の発明は、「学習段階において学習データを用いて学習する予測モデルによる予測を行うための予測方法であって、予測段階において、予測モデルに与える各入力項目の入力値を得、予測モデルの各入力項目が予測モデルで求められる予測値に及ぼす影響を示す感度係数を算出し、各入力項目の入力値に関するに関する学習データの統計値からの乖離度を示す距離係数を算出し、感度係数と距離係数の値から学習範囲外指標を算出し、感度係数と距離係数のいずれか又は双方、あるいは学習範囲外指標の値を数値あるいは図として表示すること」で実現することができる。

また本発明は、表示装置に表示される表示内容としての特徴を有する。これは例えば、「学習段階学習データを用いて学習する予測モデルを含む予測システムで使用される表示装置であって、表示装置には、前記予測モデルに与える各入力項目の入力値が予測モデルで求められる予測値に及ぼす影響を示す感度係数と、各入力項目の入力値に関する学習データの統計値からの乖離度を示す距離係数と、感度係数と距離係数の値から算出された学習範囲外指標について、感度係数と距離係数のいずれか又は双方、あるいは学習範囲外指標の値を数値あるいは図として表示することを特徴とする表示装置」というものである。

１０：入力部
１２：入力値正規化演算部
１５：統計値正規化演算部
１８：距離係数算出部
２２：感度係数算出部
２６：学習範囲外指標算出部
３０：表示部
Ｄ１：それぞれの入力項目の学習データの統計値
Ｄ１Ｕ：正規化後の学習データの統計値
Ｄ２：入力項目のそれぞれの入力値
Ｄ２Ｕ：正規化後の入力値
Ｄ２Ｕ１：摂動を与えた入力値
Ｄ３：学習範囲外指標
ＤＢ：学習データの統計値記憶部
ＤＳ１：摂動を与えた場合の予測値
ＤＳ２：予測値
Ｋ：感度係数
Ｌ：距離係数
Ｍ１：感度解析用予測モデル
Ｍ２：予測値計算用予測モデル

Claims

学習段階において学習データを用いて学習する予測モデルを含む予測システムであって、
予測段階において入力項目の入力値を得る入力部と、前記入力部からの各入力項目の入力値を用いた予測処理により予測値を求める予測モデルと、前記入力部からの各入力項目の入力値に摂動を与えた入力値を感度解析用予測モデルに与えた場合の前記感度解析用予測モデルからの予測値に基づき前記予測モデルの入力値に対する予測値の感度係数を算出する感度係数算出部と、前記入力部からの各入力項目の入力値に関する前記学習データの統計値からの乖離度を示す距離係数を算出する距離係数算出部と、前記感度係数と前記距離係数の値から学習範囲外指標の値を算出する学習範囲外指標算出部と、前記予測モデルからの予測値と、前記感度係数算出部からの感度係数と、前記距離係数算出部からの前記距離係数と、前記学習範囲外指標算出部からの前記学習範囲外指標とを入力するとともに、これらの値を数値あるいは図として表示する表示部を備え、各入力項目の入力値が出力値に及ぼす影響と、外挿条件となっている入力値の外挿の幅、の双方を勘案して予測値の信頼性の程度を運転員へ提示することを特徴とする予測システム。
請求項１に記載の予測システムであって、
各入力項目の入力値を正規化する入力値正規化演算部と、各入力項目に関する前記学習データの統計値を正規化する統計値正規化演算部を備え、
少なくとも前記感度係数算出部あるいは前記距離係数算出部のいずれかで前記感度係数あるいは前記距離係数を算出するために正規化後の入力値と正規化後の学習データの統計値を与えることを特徴とする予測システム。
請求項１または請求項２に記載の予測システムであって、
前記学習範囲外指標算出部では、各入力項目の前記感度係数と前記距離係数の積を全入力項目について加算して前記学習範囲外指標を算出することを特徴とする予測システム。
請求項１または請求項２に記載の予測システムであって、
前記学習範囲外指標算出部は、各入力項目の前記感度係数と前記距離係数の積の絶対値を全入力項目について加算して前記学習範囲外指標を算出することを特徴とする予測システム。
請求項１から請求項４のいずれか１項に記載の予測システムであって、
前記距離係数算出部に与えられる統計値として大小２つ以上の統計値を用い、そのうち最大となる統計値よりも入力項目の値が大きい場合には大きいほど距離係数の値が大きくなり、最小となる統計値よりも入力項目の値が小さい場合には小さいほど距離係数の値が小さくなり、最小となる統計値と最大となる統計値の間に入力項目の値がある場合には、入力項目の値が最小となる統計値と等しいときの距離係数の値および入力項目の値が最大となる統計値と等しいときの距離係数の値の間の値となる距離係数を与えることを特徴とする予測システム。
請求項５に記載の予測システムであって、
前記距離係数算出部に与えられる統計値のうち最大となるものに、学習データの最大値、正規化後の学習データの最大値、学習データの平均値に標準偏差の定数倍を加えた値、正規化後の平均値に標準偏差の定数倍を加えた値、のいずれかを用い、距離係数算出部に与えられる統計値のうち最小となるものに、学習データの最小値、正規化後の学習データの最小値、学習データの平均値から標準偏差の定数倍を減じた値、正規化後の学習データの平均値から標準偏差の定数倍を減じた値、のいずれかを用いることを特徴とする予測システム。
請求項１から請求項４のいずれか１項に記載の予測システムであって、
前記距離係数算出部に与えられる統計値として１つの値を用い、その統計値に比べて入力項目の値が大きい場合には大きく離れるほど距離係数の値が大きくなり、その統計値に比べて入力項目の値が小さい場合には小さいほど距離係数の値が小さくなることを特徴とする予測システム。
請求項７に記載の予測システムであって、
前記距離係数算出部に与えられる統計値として、平均値、最頻値、中央値のうちいずれかを用いることを特徴とする予測システム。
請求項１から請求項８のいずれか１項に記載の予測システムであって、
前記表示部は、過去に算出した前記学習範囲外指標の値も数値あるいは図として表示することを特徴とする予測システム。
請求項１から請求項９のいずれか１項に記載の予測システムであって、
前記表示部は、一軸が時間、もう一軸を学習範囲外指標の値とし、過去の値に対して大小を視認できるグラフとして表示することを特徴とする予測システム。
請求項１から請求項１０のいずれか１項に記載の予測システムであって、
前記表示部には、一軸が時間、もう一軸を過去の実測値および予測値としたグラフも表示できることを特徴とする予測システム。
請求項１から請求項１０のいずれか１項に記載の予測システムであって、
前記表示部には、一軸が時間、もう一軸を実測値と予測値の差分である予測誤差としたグラフも表示できることを特徴とする予測システム。
請求項１から請求項１０のいずれか１項に記載の予測システムであって、
前記表示部には、一軸が過去の実測値に対する予測値の予測誤差、もう一軸が学習範囲外指標である相関図も表示できることを特徴とする予測システム。
学習段階において学習データを用いて学習する予測モデルによる予測を行うための予測方法であって、
予測段階において入力項目の入力値を得、各入力項目の入力値を用いた予測モデルによる予測処理により予測値を求め、各入力項目の入力値に摂動を与えた入力値を感度解析用予測モデルに与えた場合の前記感度解析用予測モデルからの予測値に基づき前記予測モデルの入力値に対する予測値の感度係数を算出し、前記各入力項目の入力値に関する前記学習データの統計値からの乖離度を示す距離係数を算出し、前記感度係数と前記距離係数の値から学習範囲外指標の値を算出し、前記予測モデルからの予測値と、前記感度係数と、前記距離係数と、前記学習範囲外指標について、これらの値を数値あるいは図として表示し、各入力項目の入力値が出力値に及ぼす影響と、外挿条件となっている入力値の外挿の幅、の双方を勘案して予測値の信頼性の程度を運転員へ提示することを特徴とする予測方法。
学習段階において学習データを用いて学習する予測モデルを含む予測システムで使用される表示装置であって、
予測段階において入力項目の入力値を得、前記各入力項目の入力値を用いた予測モデルによる予測処理により予測値を求め、前記各入力項目の入力値に摂動を与えた入力値を感度解析用予測モデルに与えた場合の前記感度解析用予測モデルからの予測値に基づき前記予測モデルの入力値に対する予測値の感度係数を算出し、前記各入力項目の入力値に関する前記学習データの統計値からの乖離度を示す距離係数を算出し、前記感度係数と前記距離係数の値から学習範囲外指標の値を算出し、
表示装置には、前記予測モデルからの予測値と、前記感度係数と、前記距離係数と、前記学習範囲外指標について、これらの値を数値あるいは図として表示し、各入力項目の入力値が出力値に及ぼす影響と、外挿条件となっている入力値の外挿の幅、の双方を勘案して予測値の信頼性の程度を運転員へ提示することを特徴とする表示装置。