JP2021174040A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021174040A
JP2021174040A JP2020074558A JP2020074558A JP2021174040A JP 2021174040 A JP2021174040 A JP 2021174040A JP 2020074558 A JP2020074558 A JP 2020074558A JP 2020074558 A JP2020074558 A JP 2020074558A JP 2021174040 A JP2021174040 A JP 2021174040A
Authority
JP
Japan
Prior art keywords
model
information processing
learning
parameters
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020074558A
Other languages
English (en)
Other versions
JP7135025B2 (ja
Inventor
正彬 高田
Masaaki Takada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020074558A priority Critical patent/JP7135025B2/ja
Priority to US17/185,577 priority patent/US11754985B2/en
Publication of JP2021174040A publication Critical patent/JP2021174040A/ja
Application granted granted Critical
Publication of JP7135025B2 publication Critical patent/JP7135025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】モデル更新時のロバスト性(安定性)および追従性(精度)を両立できる情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】実施形態の情報処理装置は、受付部と、学習部と、を備える。受付部は、機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける。学習部は、第1入力データを学習データとして、パラメータの変化が小さいほどコストが小さくなるコスト関数を用いてモデルを学習する。【選択図】図1

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
統計および機械学習により推定されるモデル(回帰モデル、分類モデルなど)を用いて、品質特性の変動要因を解析する技術、および、電力需要を予測する技術が提案されている。このような技術では、環境が定常状態であることを仮定しているが、実際の多くの環境は非定常である。
データの非定常性に対応するために、モデルを更新する技術が提案されている。モデルを更新する技術としては、能動的アプローチ(active approach)および受動的アプローチ(passive approach)がある。能動的アプローチは、「いつ更新すべきか」を自動的に検知し、検知したタイミングでモデルを更新する方法である。受動的アプローチは、「いつ更新すべきか」を陽に検知せず、継続的に毎回モデルを更新する方法である。
特許第6650468号公報 特許第5060006号公報
しかしながら、従来技術では、モデル更新時のロバスト性(安定性)および追従性(精度)を両立できない場合があった。
実施形態の情報処理装置は、受付部と、学習部と、を備える。受付部は、機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける。学習部は、第1入力データを学習データとして、パラメータの変化が小さいほどコストが小さくなるコスト関数を用いてモデルを学習する。
本実施形態の情報処理装置を含む情報処理システムのブロック図。 本実施形態における学習処理の示すフローチャート。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 本実施形態にかかる装置のハードウェア構成図。
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
上記のように、モデルの入力に用いるデータが非定常に変化する場合がある。データの非定常な変化はコンセプトドリフトとも呼ばれる。急な変化、および、緩やかな変化などの様々な非定常性が知られている。このような非定常性によって、時間の経過とともにデータの傾向が変化するため、モデルの推定精度および予測精度(モデル精度)は劣化する。
データの非定常性に対応するためには、モデルの更新が必要になる。モデルを更新する場合、「いつ更新すべきか」および「どのように更新するか」を決定する必要がある。「いつ更新すべきか」に基づいて更新技術を分類すると、上記のように、大きく能動的アプローチおよび受動的アプローチの2つがある。
能動的アプローチは、急な変化に追従しやすいメリットがある一方で、緩やかな変化に追従しづらいというデメリットがある。また、更新タイミングの検知が失敗(検出見逃し、誤検出)した場合に、モデル精度が大きく損なわれる。
受動的アプローチを用いれば、緩やかな変化に追従でき、また、モデルの精度が大きく損なわれることが少なくなる。一方、受動的アプローチでは、データの傾向が変わらない定常状態であっても、毎回モデルが更新されるため、モデルの保守運用の負荷が増大する場合がある。特に、モデルに入力される特徴量の間の相関が高い、入力される特徴量の種類が非常に多い、および、ノイズが多く含まれる、などの場合には、モデルが不安定に毎回大きく変動する。すなわち、モデルの更新がロバストでなくなる。
また、モデルの更新には、事前の確認および事後の評価などの保守運用作業が必要になるため、頻繁に更新されれば、その分の保守運用の負荷が高くなる。逆に、モデルの更新を安定化させようとすると、急な変化にモデルが追従しなくなる問題が生じうる。
そこで、以下の実施形態では、モデル更新時のロバスト性(安定性)および追従性(精度)を両立する方式を実現する。本実施形態は、受動的アプローチを採用して緩やかな変化に追従しつつ、データの傾向に大きな変化があった場合には追従し、かつ、データの傾向に変化がない場合にはモデルが更新されない方式である。「どのように更新するか」を工夫することで、「いつ更新すべきか」を自動的に検出して更新を行う。
本実施形態の情報処理装置は、例えば、工場およびプラントにおける品質管理を行うシステムに用いるモデルの学習および解析に適用できる。適用可能なシステムはこれらに限られるものではない。半導体工場および化学プラントでは、品質特性のばらつき、および、品質特性の変動を抑え、不良を低減することで、歩留を向上させることが重要である。品質特性のばらつきおよび変動の要因を解明するために、回帰モデルおよび分類モデルなどの、機械学習により推定されるモデルが用いられる。
図1は、本実施形態の情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。図1に示すように、情報処理システムは、情報処理装置100と、管理システム200とが、ネットワーク300を介して接続された構成となっている。
情報処理装置100および管理システム200それぞれは、例えばサーバ装置として構成することができる。情報処理装置100および管理システム200は、物理的に独立した複数の装置(システム)として実現されてもよいし、物理的に1つの装置内にそれぞれの機能が構成されてもよい。後者の場合、ネットワーク300は備えらえなくてもよい。情報処理装置100および管理システム200の少なくとも一方は、クラウド環境上で構築されてもよい。
ネットワーク300は、例えば、LAN(ローカルエリアネットワーク)およびインターネットなどのネットワークである。ネットワーク300は、有線ネットワークおよび無線ネットワークのいずれであってもよい。情報処理装置100と、管理システム200とは、ネットワーク300を介することなく、コンポーネント間の直接的な有線接続または無線接続を用いてデータを送受信してもよい。
管理システム200は、情報処理装置100が処理するモデル、および、モデルの学習(更新)および解析などに用いられるデータを管理するシステムである。管理システム200は、記憶部221と、通信制御部201と、モデル構成部202と、を備えている。
記憶部221は、管理システム200で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部221は、モデルのパラメータ、および、モデルの学習に用いる学習データなどを記憶する。記憶部221は、フラッシュメモリ、メモリカード、RAM(Random Access Memory)、HDD(Hard Disk Drive)、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
モデルは、説明変数を入力して目的変数の推論結果を出力する。モデルは、例えば、線形回帰モデル、一般化線形モデル、一般化加法モデル、および、ニューラルネットワークなどである。モデルは、これらに限られるものではなく、パラメータを用いて表現されるモデルであればどのようなモデルであってもよい。
モデルは、目的変数および説明変数を含む学習データを用いて学習することにより推定される。目的変数は、例えば、品質特性、不良率、並びに、良品および不良品のいずれかを示す情報などである。説明変数は、その他のセンサ値、加工条件、および、制御値などである。
記憶部221は、複数のモデルのパラメータを記憶してもよい。例えば、記憶部221は、過去に更新された複数のモデルのパラメータを記憶してもよい。この場合、記憶部221は、更新日時、および、バージョンなどの識別情報と対応づけて各モデルを記憶してもよい。
通信制御部201は、情報処理装置100などの外部装置との間の通信を制御する。例えば通信制御部201は、モデルに関する情報(パラメータなど)、および、学習データを情報処理装置100に送信する。
記憶部221に複数のモデルのパラメータが記憶されている場合、通信制御部201は、ユーザ等により指定されたモデルのパラメータの要求を情報処理装置100から受け付け、要求に対応するモデルのパラメータを情報処理装置100に送信してもよい。
モデル構成部202は、更新前のモデルとして使用可能なモデルを構成する。例えばモデル構成部202は、学習データを用いた学習によりモデルを構成する。モデル構成部202は、ドメインに関する知識(ドメイン知識)に基づいてパラメータを定めることによりモデルを構成してもよい。例えばユーザ等によりドメイン知識に基づくモデルの使用が指定された場合、通信制御部201は、ドメイン知識に基づくモデルのパラメータの要求を情報処理装置100から受け付け、要求に対応するモデルのパラメータを情報処理装置100に送信してもよい。またモデル構成部202は、ユーザにドメイン知識の入力を要求し、ドメイン知識に応じてモデルを構成してもよい。またモデル構成部202は、学習データを用いた学習によりモデルを構成した後、ユーザが入力するドメイン知識に応じてモデルを修正することで、モデルを構成してもよい。
なお、モデルが事前に用意されている場合(記憶部221に記憶されている場合など)、および、ドメイン知識に基づくモデルを用いない場合は、管理システム200は、モデル構成部202を備えなくてもよい。また、モデル構成部202を情報処理装置100が備えるように構成してもよい。
上記各部(通信制御部201、モデル構成部202)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
情報処理装置100は、記憶部121と、入力デバイス122と、ディスプレイ123と、通信制御部101と、受付部102と、関数構成部103と、学習部104と、出力制御部105と、を備えている。
記憶部121は、情報処理装置100で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部121は、通信制御部101および受付部102を介して管理システム200から取得された情報(学習データ、モデルのパラメータなど)、および、学習部104により学習された後のモデルのパラメータなどを記憶する。記憶部121は、フラッシュメモリ、メモリカード、RAM、HDD、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
入力デバイス122は、ユーザなどにより情報を入力するためのデバイスである。入力デバイス122は、例えば、キーボードおよびマウスである。ディスプレイ123は、情報を出力する出力デバイスの一例であり、例えば液晶ディスプレイである。入力デバイス122およびディスプレイ123は、例えばタッチパネルのように一体化されてもよい。
通信制御部101は、管理システム200などの外部装置との間の通信を制御する。例えば通信制御部101は、管理システム200からモデルに関する情報(パラメータなど)、および、学習データなどを受信する。また通信制御部101は、更新前のモデルとして使用するモデルの要求、および、更新後のモデルなどを管理システム200に送信する。
受付部102は、各種情報の入力を受け付ける。例えば受付部102は、通信制御部201および通信制御部101を介して管理システム200から受信された、モデルのパラメータ、および、学習データ(第1入力データ)を受け付ける。管理システム200から受け付けるモデルのパラメータは、例えば第1入力データと異なる学習データ(第2入力データ)により学習されたモデルのパラメータである。第1入力データと異なる学習データ(第2入力データ)は、例えば、第1入力データより前の時刻に得られた説明変数および目的変数を含む学習データである。
関数構成部103は、学習部104がモデルの学習に用いるコスト関数を構成する。関数構成部103は、パラメータの変化が小さいほどコストが小さくなるコスト関数を構成する。関数構成部103の処理の詳細は後述する。コストは、モデルの出力と正解との差を表す。
学習部104は、受付部102により受け付けられた学習データを用いて、モデルを学習する。管理システム200が複数のモデルを記憶しているような場合には、学習部104は、複数のモデルのうち指定されたモデルを学習してもよい。学習部104による学習処理の詳細は後述する。
出力制御部105は、情報処理装置100により処理される各種情報の出力を制御する。例えば出力制御部105は、学習部104による学習処理により更新された後のモデルのパラメータ、および、更新前のモデルのパラメータと更新後のパラメータとの差分、の少なくとも一方をディスプレイに出力(表示)する。出力制御部105による情報の出力形式はどのような形式であってもよいが、例えば、表形式(リスト形式)およびグラフ形式の少なくとも一方により出力することができる。
出力制御部105は、情報処理装置100の外部の装置に情報を出力してもよい。例えば出力制御部105は、更新前のパラメータと更新後のパラメータとの差分を表示するための情報を、表示装置を備える外部の装置に送信してもよい。
出力制御部105が更新前のパラメータと更新後のパラメータとの差分などを出力することにより、例えば、目的変数(品質特性など)の変動要因を解析することが可能となる。出力制御部105が、モデルを使用して推論(電力需要の予測など)を実行する推論システムに更新後のパラメータを出力するように構成してもよい。これにより推論システムは、変化するデータに追従して更新されたモデルを用いて、より高精度に推論を実行可能となる。
上記各部(通信制御部101、受付部102、関数構成部103、学習部104、出力制御部105)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPUなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のICなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
次に、関数構成部103によるコスト関数の構成方法、および、学習部104による学習処理の詳細について説明する。以下では、モデルとして線形回帰モデルを用いる場合を例に説明するが、他のモデルについても同様の手法を適用できる。また、以下では、説明変数をセンサ値データとし、目的変数を品質特性データとする例を説明する。
製造物i=1,・・・,n(nは1以上の整数)に対して、品質特性データ(目的変数の一例)yがあり、その他のセンサj=1,・・・,p(pは1以上の整数)についてセンサ値データ(説明変数の一例)xijがあるとする。nは製造物の個数に相当し、pはセンサの個数に相当する。このとき、以下の(1)式で表される線形回帰モデルを考える。
Figure 2021174040
パラメータβ,β・・・,βは、線形回帰モデルの回帰係数と呼ばれる。また、各パラメータに各センサの標準偏差をそれぞれ乗じた値は影響度と呼ばれる。影響度は、各センサが品質特性に対して平均的にどの程度影響するかを表す。
なお、説明変数は、センサ値をそのまま利用してもよいし、センサ値に何らかの変換を加えた値を用いてもよい。変換は、例えば、べき乗(2乗、3乗等)、標準化(正規化)、および、複数のセンサ値を用いた演算(複数のセンサ値の乗算など)である。
センサの個数p(特徴量の種類の数)が非常に大きい場合、スパースモデリングと呼ばれる技術がよく利用される。スパースモデリングは、少量の(スパースな)特徴量からモデルを学習し推論を行う技術である。スパースモデリングでは、パラメータがスパース性を有するようにモデルが学習される。スパース性を有するとは、ほとんどのパラメータの値がゼロとなることを意味する。スパース性を有するように学習されたパラメータを用いることにより、センサの個数が大きい場合であっても、値がゼロではないパラメータに対応するセンサのセンサ値のみがモデルを用いた推論に使用される。スパースモデリングでは、パラメータのスパース性を誘導するような正則化項であるスパース正則化項が用いられる場合がある。代表的なスパースモデリング手法であるLasso(Least absolute shrinkage and selection operator)では、以下の(2)式で表される最適化問題を解くことで、パラメータβ,β・・・,βが推定される。
Figure 2021174040
λ>0は正則化パラメータと呼ばれ、交差検証などを用いて決定される。
スパースモデリングのメリットは、回帰係数βがゼロと推定されやすいため、少数の説明変数(センサ値データ)のみを用いたモデルが推定されることである。これにより、モデルの解釈性が容易になると同時に、センサの個数が増大した場合であっても高精度なモデルを推定することが可能となる。
このようなモデルで品質特性の振る舞いを各種センサ値で説明することができれば、各センサの品質特性への影響性を理解し、変動要因の特定、および、将来の品質特性の予測に利用することができる。
モデルをデータの傾向に追従させるために、例えば、定期的に(例えば毎日)データを更新し、モデルを作り直すことが行われる。
モデル更新に利用する製造物i=1,・・・,n’(n’は1以上の整数)の品質特性データ(目的変数)をy’とし、センサ値データ(説明変数)をx’ijとすると、(2)式と同様に、以下の(3)式のようにパラメータβ’,β’・・・,β’を推定することができる。
Figure 2021174040
しかし、上述した通り、このような推定方法(パラメータの更新方法)では、データの傾向が変わらない場合であっても、モデル(パラメータ)が変動する場合がある。このため、事前の確認および事後の評価などの保守運用作業の負荷が増大する可能性がある。そこで、本実施形態では、関数構成部103は、以下の(4)式で表されるコスト関数を構成する。そして、学習部104は、(4)式で表されるコスト関数を用いてパラメータを推定することにより、モデルを更新(学習)する。
Figure 2021174040
ただし、λ>0、λ>0は正則化パラメータであり、ハット記号「^」が付されたβは更新前のモデルの回帰係数(前回推定したモデルの回帰係数など)である。最初のΣの項は損失関数と呼ばれる。2番目と3番目のΣの項はスパース正則化項と呼ばれる。なお関数構成部103は、λ=0として2番目のΣの項を含まないようにコスト関数を構成してもよい。
(4)式に示すように、コスト関数は、損失関数と、更新前のパラメータと更新後のパラメータとの差分を用いた正則化項とを含む。すなわち、本実施形態では、更新前の回帰係数(ハット記号「^」が付されたβ)との差分ができるだけ小さくなるように更新後の回帰係数(ハット記号「^」が付されたβ’)が推定される。これにより、データの傾向が変わらなければ更新前と同じモデルとなる。また、一部のセンサでデータの傾向に変化があれば一部のみモデルが変化する。さらに、センサ全体でデータの傾向に変化があればモデル全体が変化する。
すなわち、ロバスト性および追従性を維持し、かつ、モデル更新を少なくすることでモデルの保守運用を容易にしている。差分を用いた正則化項を含むため、モデルがノイズに大きく左右されることを回避可能となる。
(4)式では損失関数として二乗誤差(二乗損失)を用いているが、損失関数はこれに限られるものではない。例えば、損失関数は、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失のいずれか、または、これらのうち複数の組み合わせであってもよい。
また(4)式ではスパース正則化項として絶対値のL1ノルムを用いた定式化が用いられているが、スパース正則化項はこれに限られるものではない。スパース性を誘導する正則化項であればどのような正則化項がスパース正則化項として用いられてもよい。絶対値ではない差分を用いて定式化されるスパース正則化項が用いられてもよい。スパース正則化項は、SCAD(Smoothly Clipped Absolute Derivation)、MCP(Minimax Concave Penalty)、Lqノルム(0≦q<1)、Elastic Net、L1/2ノルム、および、L1ノルムの2乗のうち少なくとも1つにより定式化されてもよい。
また(4)式では、更新前のモデルの回帰係数(ハット記号「^」が付されたβ)がそのまま用いられているが、ドメイン知識により変更された回帰係数(ハット記号「^」が付されたβ)が用いられてもよい。例えば、特定のセンサの回帰係数をゼロにするなどの変更を適用することができる。ドメイン知識を定式化に入れることで、ドメイン知識に沿ったモデル化を行うことができ、モデルの納得感が得られやすくなる。
また前回更新したモデルの代わりに、管理システム200のモデル構成部202により構成されたモデルが用いられてもよい。例えば受付部102は、モデル構成部202によりドメインに関する知識に基づいて定められたモデルの入力を受け付ける。関数構成部103は、受け付けられたモデルのパラメータを更新前のパラメータとするように関数を構成する。
また、(4)式は、すべてのパラメータについての更新前後の差分を用いた正則化項を含むが、パラメータのうち一部についての差分を用いた正則化項が用いられてもよい。また、(4)式では、更新前のモデルが1つである場合を示しているが、更新前のモデルが複数あり、それぞれに対してスパース正則化項を構成し、コスト関数に加えてもよい。
学習部104は、関数構成部103により構成されたコスト関数を最適化するように、モデルのパラメータを更新する。学習部104による学習方式(最適化方式)は、どのような方式であってもよい。例えば、学習部104は、座標降下法、勾配降下法、近接勾配法、および、交互方向乗数法などの連続最適化を用いることができる。連続最適化は、連続的な値をとる連続変数に対する最適化である。これにより学習部104は、モデルに対する変化を連続最適化によりスパースに学習(パラメータがスパース性を有するように学習)することが可能となる。
学習部104は、入力デバイス122を用いてユーザ等により指定された情報に従い学習処理を実行してもよい。例えば受付部102は、入力デバイス122を用いてユーザ等により指定された以下のような情報を受け付けるように構成されてもよい。
・使用する損失関数
・使用する正則化項
・チューニングする正則化パラメータ
・正則化パラメータの範囲
・複数のモデルのうち、更新前のモデルとして使用するモデル
学習部104は、損失関数、スパース正則化項、正則化パラメータ、および、正則化パラメータの範囲のうち少なくとも一部が指定された場合は、指定された値を使用して学習を実行する。
チューニングする正則化パラメータとは、学習時に交差検証などを用いて値を決定(チューニング)する対象とする正則化パラメータである。例えば固定値(デフォルト値など)とする正則化パラメータについては、チューニングする正則化パラメータとして指定しないように構成することができる。
正則化パラメータの範囲とは、チューニングする正則化パラメータとして指定された正則化パラメータの取り得る値として許容される範囲である。学習部104は、この範囲内で最適な正則化パラメータの値を決定する。
次に、このように構成された本実施形態にかかる情報処理装置100による学習処理について説明する。図2は、本実施形態における学習処理の一例を示すフローチャートである。
受付部102は、通信制御部101を介して、管理システム200から送信された更新前のモデルのパラメータ、および、学習データを受け付ける(ステップS101)。関数構成部103は、損失関数および正則化項を含むコスト関数を、例えば(4)式のように構成する(ステップS102)。
学習部104は、入力デバイス122を介してユーザ等により指定された正則化パラメータ、および、正則化パラメータの範囲を設定してもよい(ステップS103)。この場合、学習部104は、設定された範囲内で正則化パラメータを決定するように学習処理を実行する。すなわち、学習部104は、関数構成部103により構成されたコスト関数に従い、正則化パラメータの範囲が設定された場合は設定された範囲において、モデルを学習する(ステップS104)。
出力制御部105は、モデルの学習結果を出力し(ステップS105)、学習処理を終了する。
図3〜図8は、学習結果の出力方法の例を示す図である。図3は、更新されたパラメータを表形式で出力する画面の例である。図3に示すように、出力制御部105は、モデル化により選択されたセンサに対応する説明変数(図では「変数」)、回帰係数、および、影響度を含むリスト(表)を出力する。
出力する項目は図3に示す例に限られるものではない。例えば、各センサの説明、および、p値などがさらにリストに含められてもよい。図3の例では、モデル化の結果として、多くの変数(センサ)の中から、変数1〜9が選択されている。
図4は、影響度をグラフ形式で出力する画面の例である。なお、図3および図4は、学習結果として更新後のパラメータを可視化した例である。出力制御部105は、更新前のパラメータと更新後のパラメータとの差分(変化分)を出力してもよい。
図5は、差分を表形式で出力する画面の例である。図5に示すように、出力制御部105は、説明変数、回帰係数の変化、および、影響度の変化を含むリストを出力してもよい。図6は、影響度の差分をグラフ形式で出力する画面の例である。
図7は、変化があった変数を異なる表示態様で表示する画面の例である。図7では、網掛け部分が、変化がない変数であることを示している。変更する表示態様はこれに限られるものではない。例えば、グラフの形状、および、色などの表示態様を異ならせてもよい。
図8は、更新前のパラメータと更新後のパラメータとを比較可能に表示する画面の例である。
図5〜図8のようにパラメータを可視化することで、モデルの保守運用作業では、更新前後の差分のみを確認すればよいことになる。すなわち、モデルのパラメータ(説明変数)が多くなる、または、変化のある変数が多くなる場合であっても、結果の確認および妥当性評価などの作業が容易になり、モデルの保守運用の負荷を軽減することが可能となる。
(他の適用例)
これまでは、工場およびプラントにおける品質管理を行うシステムを例に説明した。本実施形態は、例えば、電力需要を予測するシステムにも適用できる。この場合、例えば、日ごとの電力需要を目的変数とし、降水確率および日射量などを説明変数として、電力需要が予測される。このようなシステムでは、適切にモデルを更新しなければ予測精度が劣化する。本実施形態を用いることで、モデルをデータに適応的に追従させつつ、ロバストにモデルを更新することができる。
以上のように、本実施形態にかかる情報処理装置では、モデル更新時のロバスト性(安定性)および追従性(精度)を両立することが可能となる。また、本実施形態では、モデル更新時の確認および評価などの作業の負荷を軽減することが可能となる。
次に、本実施形態にかかる装置(管理システム、情報処理装置)のハードウェア構成について図9を用いて説明する。図9は、本実施形態にかかる装置のハードウェア構成例を示す説明図である。
本実施形態にかかる装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
本実施形態にかかる装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
本実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、本実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100 情報処理装置
101 通信制御部
102 受付部
103 関数構成部
104 学習部
105 出力制御部
121 記憶部
122 入力デバイス
123 ディスプレイ
200 管理システム
201 通信制御部
202 モデル構成部
221 記憶部
300 ネットワーク

Claims (16)

  1. 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付部と、
    前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習部と、
    を備える情報処理装置。
  2. 前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含む、
    請求項1に記載の情報処理装置。
  3. 前記正則化項は、前記差分の絶対値を用いて定められる、
    請求項2に記載の情報処理装置。
  4. 前記正則化項は、前記絶対値のL1ノルムにより定められる、
    請求項3に記載の情報処理装置。
  5. 前記正則化項は、前記絶対値のSCAD(Smoothly Clipped Absolute Derivation)、MCP(Minimax Concave Penalty)、Lqノルム(0≦q<1)、Elastic Net、L1/2ノルム、および、L1ノルムの2乗のうち少なくとも1つにより定められる、
    請求項3に記載の情報処理装置。
  6. 前記損失関数は、二乗損失、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失のうち少なくとも1つにより定められる、
    請求項2〜5のいずれか1項に記載の情報処理装置。
  7. 前記受付部は、前記損失関数、前記正則化項、前記コスト関数に含まれるパラメータであってチューニングする正則化パラメータ、および、前記正則化パラメータの範囲の指定を受け付け、
    前記学習部は、指定された前記損失関数と、指定された前記正則化パラメータと、指定された前記正則化項と、を含む前記コスト関数を用いて、前記正則化パラメータが指定された範囲において、前記モデルを学習する、
    請求項2に記載の情報処理装置。
  8. 前記受付部は、前記第1入力データと異なる第2入力データにより学習された前記モデルの前記パラメータの入力を受け付ける、
    請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記受付部は、ドメインに関する知識に基づいて定められた前記パラメータの入力を受け付ける、
    請求項1〜7のいずれか1項に記載の情報処理装置。
  10. 更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を出力する出力制御部をさらに備える、
    請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記出力制御部は、前記差分を表形式、および、グラフ形式の少なくとも一方により出力する、
    請求項10に記載の情報処理装置。
  12. 前記受付部は、複数のモデルのうち使用するモデルの指定を受け付け、指定されたモデルの1以上のパラメータの入力を受け付ける、
    請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 前記受付部は、複数のモデルそれぞれについて1以上のパラメータを受け付け、
    前記学習部は、前記パラメータのそれぞれとの変化が小さいほどコストが小さくなる前記コスト関数を用いる、
    請求項1〜12に記載の情報処理装置。
  14. 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付部と、
    前記第1入力データを学習データとして、前記モデルに対する変化を、連続最適化によりスパースに学習する学習部と、
    を備える情報処理装置。
  15. 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付ステップと、
    前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
    を含む情報処理方法。
  16. コンピュータに、
    機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付ステップと、
    前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
    を実行させるためのプログラム。

JP2020074558A 2020-04-20 2020-04-20 情報処理装置、情報処理方法およびプログラム Active JP7135025B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020074558A JP7135025B2 (ja) 2020-04-20 2020-04-20 情報処理装置、情報処理方法およびプログラム
US17/185,577 US11754985B2 (en) 2020-04-20 2021-02-25 Information processing apparatus, information processing method and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020074558A JP7135025B2 (ja) 2020-04-20 2020-04-20 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021174040A true JP2021174040A (ja) 2021-11-01
JP7135025B2 JP7135025B2 (ja) 2022-09-12

Family

ID=78081816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020074558A Active JP7135025B2 (ja) 2020-04-20 2020-04-20 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11754985B2 (ja)
JP (1) JP7135025B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055703A (ja) * 1998-08-04 2000-02-25 Fuji Electric Co Ltd ダムにおける流量予測方法
JP2015038709A (ja) * 2013-08-19 2015-02-26 日本電信電話株式会社 モデルパラメータ推定方法、装置、及びプログラム
US20190279037A1 (en) * 2016-11-08 2019-09-12 Nec Corporation Multi-task relationship learning system, method, and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6789062B1 (en) 2000-02-25 2004-09-07 Speechworks International, Inc. Automatically retraining a speech recognition system
US9536177B2 (en) * 2013-12-01 2017-01-03 University Of Florida Research Foundation, Inc. Distributive hierarchical model for object recognition in video
US10657457B1 (en) * 2013-12-23 2020-05-19 Groupon, Inc. Automatic selection of high quality training data using an adaptive oracle-trained learning framework
US10614373B1 (en) * 2013-12-23 2020-04-07 Groupon, Inc. Processing dynamic data within an adaptive oracle-trained learning system using curated training data for incremental re-training of a predictive model
US11030536B2 (en) 2015-04-16 2021-06-08 Siemens Aktiengesellschaft Method and apparatus for operating an automation system and accounting for concept drift
US10504040B2 (en) * 2015-06-02 2019-12-10 Nec Corporation Annealed sparsity via adaptive and dynamic shrinking
US20170132528A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Joint model training
JP6884517B2 (ja) 2016-06-15 2021-06-09 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10387768B2 (en) * 2016-08-09 2019-08-20 Palo Alto Research Center Incorporated Enhanced restricted boltzmann machine with prognosibility regularization for prognostics and health assessment
JP6544594B2 (ja) 2017-01-26 2019-07-17 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムおよび車両
WO2018173121A1 (ja) 2017-03-21 2018-09-27 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP7066385B2 (ja) 2017-11-28 2022-05-13 キヤノン株式会社 情報処理方法、情報処理装置、情報処理システム及びプログラム
US11373115B2 (en) * 2018-04-09 2022-06-28 Here Global B.V. Asynchronous parameter aggregation for machine learning
US20210049298A1 (en) * 2019-08-14 2021-02-18 Google Llc Privacy preserving machine learning model training

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055703A (ja) * 1998-08-04 2000-02-25 Fuji Electric Co Ltd ダムにおける流量予測方法
JP2015038709A (ja) * 2013-08-19 2015-02-26 日本電信電話株式会社 モデルパラメータ推定方法、装置、及びプログラム
US20190279037A1 (en) * 2016-11-08 2019-09-12 Nec Corporation Multi-task relationship learning system, method, and program

Also Published As

Publication number Publication date
JP7135025B2 (ja) 2022-09-12
US20210325837A1 (en) 2021-10-21
US11754985B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
CN112115306B (zh) 用于执行高维传感器数据中的异常事件的自动根本原因分析的方法和系统
US7734451B2 (en) System, method, and computer program for early event detection
Shang et al. Statistical process control for multistage processes with binary outputs
US20210103858A1 (en) Method and system for model auto-selection using an ensemble of machine learning models
Fang et al. Scalable prognostic models for large-scale condition monitoring applications
CN112036426B (zh) 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统
Shadman et al. A change point method for Phase II monitoring of generalized linear profiles
Kynčlová et al. Modeling compositional time series with vector autoregressive models
US10915602B2 (en) Automatic detection of outliers in multivariate data
US11501107B2 (en) Key-value memory network for predicting time-series metrics of target entities
CN111898247B (zh) 滑坡位移预测方法、设备及存储介质
Kleijnen et al. Methodology for determining the acceptability of system designs in uncertain environments
Tseng et al. Joint modeling of laboratory and field data with application to warranty prediction for highly reliable products
Huang et al. Evaluation of run-length distribution for CUSUM charts under gamma distributions
Sun et al. Maximum optimality margin: A unified approach for contextual linear programming and inverse linear programming
He et al. Stationary-Sparse Causality Network Learning.
Bodik et al. Causality in extremes of time series
CN116583866A (zh) 品质预测系统、模型生成装置、品质预测方法及品质预测程序
May et al. Graph-based prediction of missing KPIs through optimization and random forests for KPI systems
Reis et al. Heteroscedastic latent variable modelling with applications to multivariate statistical process control
Park et al. Multivariate control charts that combine the Hotelling T 2 and classification algorithms
JP7135025B2 (ja) 情報処理装置、情報処理方法およびプログラム
Moslemi et al. Robust surface estimation in multi-response multistage statistical optimization problems
Shokrolahi et al. Logarithmic reweighting nonnegative least mean square algorithm
Moslemi et al. A robust posterior preference multi-response optimization approach in multistage processes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7135025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151