JP2021131757A - モデル更新支援方法、装置、及びプログラム - Google Patents

Abstract

【課題】モデル更新による影響を、各現場での入力に応じて、現場毎に特定する。【解決手段】更新前モデル及び更新候補モデルの各々について、入力（評価データ）とその出力についての評価との関係を示す指標モデルＭＡ及び指標モデルＭＢを生成し、指標モデルＭＡと指標モデルＭＢとの差分から、入力に対する指標の変化を示す差分モデルＭＩを生成しておき、更新対象の更新前モデルが適用されている現場の運用装置の各々から実入力データを取得し、取得した実入力データと差分モデルＭＩに基づいて、各現場の実入力データに応じた影響度を特定する。【選択図】図１１

Description

開示の技術は、モデル更新支援方法、モデル更新支援装置、及びモデル更新支援プログラムに関する。

近年の急速なデジタルテクノロジーの進展に伴い、新しい技術を使って既存のビジネスや業務に変化をもたらす、デジタルトランスフォーメーション（ＤＸ）が注目されている。ＤＸの実現に向けて、既存の業務における様々な事象がデータとして収集され、そのデータを利活用した新しいサービスに期待がよせられている。その１つとして、様々な業種において、ＡＩや機械学習などの技術を用いたデータ分析のサービスが創出されている。例えば、工場等での診断予測サービス、警察向けの不審者等の行動分析サービス、病院での患者の歩行分析サービス等がある。

一方で、上記のようなサービスでは、扱うデータによって結果が変わることによる再現性保証の問題や、処理がブラックボックスであることによる、問題発生時の原因特定の困難性等、サービスとしての動作や運用及び稼働における安定性及び信頼性の課題がある。このような課題に対し、ＡＩや機械学習の動作保証や、運用及び稼働を円滑にするＭＬＯｐｓという考えが提唱され、いくつかの技術が開発されている。

例えば、学習データ（入力）、モデル（処理）、及び結果（精度）の履歴を管理する技術が提案されている。この技術では、入力と精度、及びその入力に対する処理をひとまとまりとして紐付けて管理することで、モデルの動作及び再現性を把握可能としている。

また、サービスを提供するアーキテクチャとして、従来ビジネスロジック部分にまとまって含まれていた機能を、ビジネスロジックとデータ処理に関するロジックとに分けた構造とすることで、問題が起こった場合に、原因を特定し易くする技術が提案されている。

また、再学習後の予測モデルと再学習前の予測モデルの性質の近さを評価する予測モデル更新システムが提案されている。このシステムは、性質の近さが所定の条件で規定される近さを満たす場合、再学習後の予測モデルで再学習前の予測モデルを更新する。このとき、このシステムは、予測結果の近さ、又は構造的な近さを予測モデルの性質の近さとして評価する。

国際公開第２０１６／１５１６１８号

Nisha Talagala, "Why MLOps (and not just ML) is your Business' New Competitive Frontier". AITrends. Retrieved 30 January 2018. [Online] Available: https://www.aitrends.com/machine-learning/mlops-not-just-ml-business-new-competitive-frontier/ D. Petrov, "Data Science Version Control System", 2018. [Online] Available: http://dvc.org H. Yokoyama, "Machine Learning System Architectural Pattern for Improving Operational Stability", IEEE International Conference on Software Architecture Companion (ICSA-C), 2019

しかしながら、学習されたモデルをサービスに適用し、このモデルに対して、上述したＭＬＯｐｓという考えに基づく技術を適用して、ＡＩや機械学習の動作保証や、運用及び稼働の円滑化を図ったとしても、以下のような問題が生じ得る。

まず、実際のサービス適用シーンにおいては、事前に全てのデータに対する正解などのリファレンスが用意されているわけではない。そのため、モデルの出力がエラーとなったデータについて正解を収集し、エラーとなったデータと収集した正解とを用いてモデルを更新する。すなわち、更新前のモデルで適切に処理できていたデータについては、正解を収集しないため、モデルの更新に利用されない。そのため、モデルを更新することにより、更新前のモデルで適切に処理できていたデータに対して悪影響を及ぼす場合がある。

また、同一のモデルが異なる複数の現場で適用されている場合、モデルを用いたサービスに利用されるデータは、各現場で収集されるそれぞれ異なったデータである。そのため、同一のモデルが複数の現場で適用されている場合、そのモデルを更新することによる影響を、現場毎に把握できることが望ましい。

一つの側面として、開示の技術は、モデル更新による影響を、各現場での入力に応じて、現場毎に特定することを目的とする。

一つの態様として、開示の技術は、第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成する。そして、開示の技術は、前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する。

一つの側面として、モデル更新による影響を、各現場での入力に応じて、現場毎に特定することができる、という効果を有する。

情報処理システムの概略構成を示すブロック図である。 モデル生成装置の機能ブロック図である。 評価データセットの一例を示す図である。 運用装置の機能ブロック図である。 モデルの開発段階、運用段階、及び調整段階の一般的な流れを説明するための図である。 モデル更新による問題を説明するための図である。 各現場における実入力データを説明するための図である。 モデル更新支援装置の機能ブロック図である。 指標モデルの生成を説明するための図である。 差分モデルの生成を説明するための図である。 影響度の特定を説明するための図である。 影響度を提示するためのダッシュボードの一例を示す図である。 影響度を提示するためのダッシュボードの一例を示す図である。 モデル更新支援装置として機能するコンピュータの概略構成を示すブロック図である。 モデル生成処理の一例を示すフローチャートである。 運用処理の一例を示すフローチャートである。 モデル更新支援処理の一例を示すフローチャートである。 差分モデル生成処理の一例を示すフローチャートである。 第１実施形態における影響度特定処理の一例を示すフローチャートである。 提示受付処理の一例を示すフローチャートである。 第２実施形態における影響度特定処理の一例を示すフローチャートである。 差分モデルにおける、実入力データに対応する指標の差分を説明するための図である。 指標モデルにおける評価データの並べ替えを説明するための図である。

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

＜第１実施形態＞
第１実施形態に係る情報処理システムは、学習されたモデルを用いて所定のサービスを提供する。第１実施形態では、情報処理システムにより提供されるサービスとして、病院等の医療機関において利用される、歩行分析サービスを例に説明する。歩行分析サービスは、例えば、患者等の被験者の足首等にジャイロセンサを装着し、ジャイロセンサで検知されるセンサデータを分析することにより、歩数、ストライド時間等の歩行特徴を推定するものである。センサデータから歩行特徴を推定する際に、学習済みのモデルが使用される。

図１に示すように、情報処理システム１００は、モデル更新支援装置１０と、モデル生成装置２０と、複数の運用装置３０とを含む。なお、運用装置３０の数は図１に示した例（２つ）に限定されず、３つ以上であってもよい。

モデル生成装置２０は、機能的には、図２に示すように、学習部２２を含む。また、モデル生成装置２０の所定の記憶領域には、評価データセット２４が記憶される。

図３に、評価データセット２４の一例を示す。図３の例では、評価データセット２４には、評価データテーブル２６と、出力−正解データテーブル２８とが含まれる。評価データテーブル２６には、被験者に装着されたジャイロセンサで検知された時系列のセンサデータのうち、歩行区間を示す区間毎のセンサデータの値が記憶される。図３の例では、「センサデータ」として、ジャイロセンサで検知されたＸ、Ｙ、及びＺの各軸についての角速度が、そのセンサデータの検知日時を示す「日時情報」、及び歩行区間毎の識別情報である「データＩＤ」と対応付けて記憶されている。

出力−正解データテーブル２８には、各歩行区間のセンサデータをモデルへ入力した際のモデルからの出力である歩行特徴と、そのセンサデータが得られる場合の正解の歩行特徴とが対応付けて記憶されている。正解の歩行特徴は、例えば、圧力センサ付きのマット上を被験者に歩行させて取得したデータから導出される値等、実際の歩行特徴を示す値である。図３の例では、歩行区間毎のセンサデータの「データＩＤ」と、歩行特徴の一例である「歩数」及び「ストライド時間」の各々の「出力」及び「正解」とが対応付けて記憶されている。

学習部２２は、歩行区間毎の評価データと正解とを組にしたデータを学習用データとして用いる。評価データは、評価データセット２４の評価データテーブル２６に記憶された、同一の「データＩＤ」に対応付けられた「日時情報」及び「センサデータ」のデータ群である。正解は、出力−正解データテーブル２８において、その「データＩＤ」と対応付けられている「正解」のデータである。学習部２２は、情報処理システム１００で提供されるサービスに応じた構造のモデルに学習用データを入力し、モデルからの出力と正解とが近づくように、モデルのパラメータを学習することにより、モデルを生成する。

学習部２２は、生成したモデルに歩行区間毎の評価データを入力し、歩行特徴を出力として得る。学習部２２は、出力−正解データテーブル２８において、入力した評価データが示す歩行区間の「データＩＤ」に対応する「出力」欄に、得られた出力の値を記憶する。学習部２２は、生成したモデルを、各運用装置３０へ配布する。配布の方法は、ネットワークを介した配信であってもよいし、記憶媒体にモデルを記憶して配布してもよい。ここでは、モデル生成装置２０から各運用装置３０に配布されるモデルを、説明の便宜上、「更新前モデル」という。

運用装置３０は、情報処理システム１００により提供されるサービスを利用する各現場に配置される。第１実施形態では、各現場は、例えば、公立病院、私立病院、個人経営クリニック等の医療機関である。

運用装置３０は、機能的には、図４に示すように、取得部３２と、推定部３４と、判定部３６とを含む。また、運用装置３０の所定の記憶領域には、モデル生成装置２０から配布された更新前モデル３８と、実入力データＤＢ（Database）３９とが記憶される。

取得部３２は、各現場において、患者等の被験者の足首等に装着されたジャイロセンサで検知されたセンサデータから歩行区間のデータを抽出した実入力データを取得する。取得部３２は、取得した実入力データにデータＩＤを付与して、推定部３４へ受け渡すと共に、実入力データＤＢ３９に記憶する。実入力データＤＢ３９のデータ構造は、図３に示した評価データセット２４の評価データテーブル２６と同様である。

推定部３４は、取得部３２から受け渡された実入力データを更新前モデル３８に入力し、実入力データに対応する歩行特徴を推定し、出力する。出力された歩行特徴は、異常歩行の検出等に利用される。また、推定部３４は、更新前モデル３８からの出力である歩行特徴を判定部３６へ受け渡す。

判定部３６は、推定部３４から受け渡された歩行特徴が適正な推定結果であるか否か、すなわちエラーか否かを判定する。判定部３６は、例えば、歩行特徴の種類毎に予め適正な値の範囲を定めておき、歩行特徴がこの範囲を超えている場合に、推定結果がエラーであると判定する。また、判定部３６は、得られた歩行特徴と、入力された実入力データとをユーザに提示し、ユーザから推定結果がエラーか否かを受け付けるようにしてもよい。判定部３６は、推定結果がエラーであると判定した場合、その際の実入力データをエラーデータとしてモデル更新支援装置１０へ出力し、モデルの調整を要求する。

ここで、図５を参照して、モデルの開発段階、運用段階、及び調整段階の一般的な流れを説明する。開発段階では、モデルに評価データＸを入力した際の出力Ｙと正解Ｙ＾（図５では、「Ｙ」の上に「＾（ハット）」）とを比較して、モデルの精度評価値Ｅを算出する。例えば、モデルの学習に用いた全学習用データについての、出力と正解との誤差の和を精度評価値Ｅとして算出することができる。開発段階において生成されたモデルをモデルＭ１とする。

運用段階では、このモデルＭ１に実入力データＸ’を入力して、推定結果である出力Ｙ’を得る。この出力Ｙ’がエラーと判定された場合の実入力データＸ’をエラーデータＸ’ｅとする。このエラーデータＸ’ｅが入力された際にも、適正な推定結果が得られるように、モデルの調整が要求される。

調整段階では、パラメータセットを調整したモデルにエラーデータＸ’ｅを入力した際の出力Ｙ’ｅと正解Ｙ’ｅ＾とを比較して、精度評価値Ｅ’を算出する。この精度評価値Ｅ’が予め定めた条件を満たす際のパラメータセットにより規定されるモデルをモデルＭ２とする。そして、各現場のモデルＭ１をモデルＭ２で更新する。

この際、上述したＭＬＯｐｓの考えに基づく技術を適用することにより、例えば、モデルＭ１及びモデルＭ２の各々について、入力、モデル、及び精度評価値を紐付けて蓄積及び管理しておき（図５中のＳ１）、他の現場で再利用することができる（図５中のＳ２）。また、例えば、エラーの発生が運用上の問題なのか、モデルの問題なのか等を特定し、モデルの問題であれば、調整の要求を出すようにすることができる（図５中のＳ３）。さらに、例えば、モデルＭ１とモデルＭ２との間で、入力や出力などの性質の近さに応じて、モデルＭ１をモデルＭ２に更新するか否かを判定することができる（図５中のＳ４）。

しかし、上記のようなＭＬＯｐｓの考えに基づく技術を適用したとしても、モデルの更新が与える影響を現場毎に判断することができない場合があるという問題がある。以下、この問題について、図６を参照して詳細に説明する。なお、図６では、センサデータの特徴量空間において、評価データＸを白丸、実入力データＸ’を斜線の丸、エラーデータＸ’ｅを網点の丸で示し、モデルの境界を破線で示している。

例えば、歩行分析サービスの場合、開発時には、図６のＡに示すように、様々な異常歩行に対して広く対応できるモデルＭ１が構築されている。その後、そのモデルＭ１が現場Ｈで運用され、例えば、整形外科系の患者で見られる異常歩行Ｉについて検知できないというエラー報告があったとする。これは、図６のＢに示すエラーデータＸ’ｅをモデルＭ１に入力した場合、本来推定されるはずの異常歩行Ｉを示す歩行特徴が推定されないことを表している。この場合、図６のＣに示すように、エラーデータＸ’ｅに適応させてパラメータを最適化するように調整したモデルＭ２でモデルＭ１が更新される。

この場合において、実は、その現場Ｈでは、神経系の患者が多く、異常歩行Ｉとは特徴が大きく異なる異常歩行ＩＩが頻繁にみられていたとする。しかし、異常歩行ＩＩはエラー報告段階では問題がないため、パラメータの調整時に考慮されない。そのため、異常歩行Ｉが適切に推定されるようにモデルが最適化され、異常歩行ＩＩの一部を推定できなくなるという悪影響が生じる。図６のＣでは、モデルＭ２の境界外となった実入力データＸ’が異常歩行ＩＩに対応する実入力データである。この場合、異常歩行ＩＩについても適切に推定されるように再度モデルの調整が必要となり、手間が増大する。

また、例えば、図７に示すように、更新前モデル３８として同一のモデルＭ１が、現場Ｈ、現場Ｔ、及び現場Ｐの各々の運用装置３０に配布されているとする。モデルＭ１は同一であっても、モデルＭ１に入力される実入力データＸ’は、各現場で異なる。図７の例では、各符号に、現場を識別する符号Ｈ、Ｔ、及びＰを添え字として付している。

上記のような状況で、現場Ｈと同じモデルＭ１を利用して運用している現場Ｔでは、現場Ｈで報告されたようなエラーは出ていないとする。この場合において、モデルＭ１がモデルＭ２に更新されてしまうと、現場Ｔでは、これまでモデルＭ１で適正に運用できていたにもかかわらず、モデルが更新されることにより、想定外のエラーが発生する可能性がある。

そこで、第１実施形態に係るモデル更新支援装置１０では、モデル更新による、入力と指標との関係性の変化に着目して、モデル更新による影響を特定する。入力と指標との関係性とは、指標を出力の誤差とした場合、ある入力Ａに対する出力の誤差は０．１などの関係性である。また、入力と指標との関係性の変化とは、例えば、モデル更新によって、元々出力の誤差が０．１であったのが０．２になった等である。また、モデル更新による影響を特定するとは、概念的には、例えば、モデル更新によって、入力Ａに対する指標は大きく減少、入力Ｂでは増加等を特定することである。

さらに、第１実施形態に係るモデル更新支援装置１０では、評価データと各現場の実入力データとの類似性に着目して、モデル更新による各現場への影響を特定する。例えば、モデル更新によって、指標が大きく変わっている入力Ａと類似の入力が頻繁にみられる現場では、モデル更新による影響が大きい、すなわち問題発生の可能性があると特定する。

以下、モデル更新支援装置１０について詳述する。

モデル更新支援装置１０は、機能的には、図８に示すように、生成部１２と、特定部１４と、提示部１６とを含む。

生成部１２は、更新前モデル３８に評価データを入力した際に得られる出力に関する指標と、更新後のモデルの候補（以下、「更新候補モデル」という）に評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成する。なお、更新前モデルは、開示の技術の第１のモデルの一例であり、更新候補モデルは、開示の技術の第２のモデルの一例である。

具体的には、生成部１２は、モデル生成装置２０から評価データセット２４を取得し、歩行区間毎に、出力−正解データテーブル２８に含まれる歩行特徴の出力と正解とを比較して指標を算出する。例えば、生成部１２は、入力されたデータが示す特徴に対応した推定結果を出力するモデルの場合、更新前モデル３８及び更新候補モデルの各々からの出力と期待値（正解）との誤差を指標として算出することができる。また、例えば、生成部１２は、モデルに入力されたデータに対する出力からリスク値を算出する場合、算出されるリスク値を指標として用いることができる。

生成部１２は、例えば、図９に示すように、各歩行区間のデータＩＤ、又は各歩行区間のデータが示す特徴量に、その歩行区間について算出した指標を対応付けた指標モデルＭ_Ａを生成する。図９に示すように、指標モデルＭ_Ａは、モデルへの入力と、その入力に対する出力の指標との関係性を示すモデルである。なお、図９に示す指標モデルＭ_Ａでは、データＩＤによって、そのデータＩＤが示す歩行区間のセンサデータが示す歩行が異常歩行か通常歩行かが切り分けられている。また、第１実施形態のようにモデルの出力である歩行特徴が複数種類（歩数、ストライド距離等）ある場合、生成部１２は、いずれかの歩行特徴についての指標を選択して、指標モデルＭ_Ａの生成に用いることができる。また、生成部１２は、各歩行特徴について算出した指標を合計して、指標モデルＭ_Ａの生成に用いてもよい。

また、生成部１２は、更新候補モデルとして、複数のパラメータセットの各々で規定されるモデルの各々について精度評価値を算出し、精度評価値が所定の閾値以上の更新候補モデルを１以上選択する。生成部１２は、選択した更新候補モデルの各々について、評価データを入力した際の出力と正解とから指標を算出し、上記指標モデルＭ_Ａと同様に、指標モデルＭ_Ｂを生成する。なお、指標モデルＭ_Ａは、開示の技術の第１の指標モデルの一例であり、指標モデルＭ_Ｂは、開示の技術の第２の指標モデルの一例である。

さらに、生成部１２は、図１０に示すように、指標モデルＭ_Ａ及び指標モデルＭ_Ｂに基づいて、各歩行区間のデータの各々に、指標の差分を対応付けた差分モデルＭ_Ｉを生成する。差分モデルＭ_Ｉは、モデル更新による、入力に対する指標の変化を示すモデルである。図１０の例では、指標の変化が小さい範囲（Ａで示す範囲）の入力については、モデルを更新しても影響が少ないことを表しており、指標の変化が大きい範囲（Ｂで示す範囲）の入力については、モデルの更新により大きな影響が及ぶことを表している。

特定部１４は、更新前モデル３８が適用されている運用装置３０で蓄積された実入力データと、差分モデルとに基づいて、更新前モデル３８から更新候補モデルへ更新した場合の影響度を特定する。

例えば、特定部１４は、指標として、出力と正解との誤差を用いている場合、現場ｉのｊ番目の実入力データｘ_ｉｊの影響度Ｍ_Ｉ（ｘ_ｉｊ）を、下記（１）式に示すように特定する。

ここで、ｘ_ｋはｋ番目の評価データであり、τ_ｊは実入力データｘ_ｉｊに最も近い評価データのデータＩＤである。また、ｙ_ｎはｎ番目の評価データに対する更新前モデル３８の出力、ｙ’_ｎはｎ番目の評価データに対する更新候補モデルの出力、ｙ_ｎ＾はｎ番目の評価データに対する正解である。

また、例えば、特定部１４は、指標として、モデルの出力から算出されるリスク値を用いている場合、影響度Ｍ_Ｉ（ｘ_ｉｊ）を、下記（２）式に示すように特定する。

ここで、ｒ_ｎはｎ番目の評価データに対する更新前モデル３８の出力から算出されるリスク値、ｒ’_ｎはｎ番目の評価データに対する更新候補モデルの出力から算出されるリスク値である。

具体的には、特定部１４は、図１１に示すように、更新対象の更新前モデル３８が適用されている運用装置３０の各々の実入力データＤＢ３９に記憶された実入力データを取得する。特定部１４は、上記（１）式又は（２）式に示すような差分モデルＭ_Ｉに、取得した実入力データｘ_ｉｊを入力し、実入力データｘ_ｉｊについての影響度Ｍ_Ｉ（ｘ_ｉｊ）を特定する。

図１１の右側に、実入力データｘ_ｉｊの影響度Ｍ_Ｉ（ｘ_ｉｊ）をプロットした図を示す。上記（１）式又は（２）式を用いている場合、影響度がマイナスになるということは、モデル更新により精度が良くなることを表しているため、モデル更新による影響は小さいと判断することができる。図１１の例で、現場Ｈ及び現場Ｔの各々は、Ａで示す範囲の入力（例えば、異常歩行を示す入力）に対する利用が多く、この範囲の入力に対する影響度はマイナスになっているため、モデル更新による影響は小さい。一方、現場Ｐは、大きな影響度が特定されているＢで示す範囲の入力（例えば、正常歩行を示す入力）に対する利用が多く、モデル更新による影響が大きい。

また、特定部１４は、実入力データｘ_ｉｊ毎の影響度Ｍ_Ｉ（ｘ_ｉｊ）に替えて、又は影響度Ｍ_Ｉ（ｘ_ｉｊ）と共に、現場ｉ毎の合計の影響度Ｉ_ｉを特定してもよい。影響度Ｉ_ｉは、例えば、下記（３）式により特定することができる。

ここで、Ｎは、現場ｉの運用装置３０から取得した実入力データの数である。なお、上記（３）式に示すように、全ての実入力データの影響度Ｍ_Ｉ（ｘ_ｉｊ）の和に限らず、所定の範囲の実入力データの影響度Ｍ_Ｉ（ｘ_ｉｊ）の和で現場ｉの影響度Ｉ_ｉを特定してもよい。例えば、図１０及び図１１に示すＡの範囲及びＢの範囲の各々について、影響度Ｉ_ｉを特定するようにしてもよい。特定部１４は、更新候補モデルとして複数のモデルを選択している場合には、更新候補モデルの各々について、更新前モデル３８から更新した場合の影響度を特定する。特定部１４は、特定した影響度の情報を提示部１６へ受け渡す。

提示部１６は、特定部１４で特定された影響度をユーザへ提示し、更新前モデル３８から更新候補モデルへ更新するか否かを現場毎に受け付ける。例えば、提示部１６は、図１１の右側に示す図のように、現場毎の、実入力データに対する影響度をプロットしたグラフや、影響度Ｉ_ｉの値を提示することができる。

また、提示部１６は、例えば、図１２に示すようなダッシュボード１８により、特定した現場毎の影響度を提示することができる。なお、提示する影響度の値は、適宜正規化等を行った値としてもよい。図１２の例では、現場毎の影響度を棒グラフで表した例を示している。また、提示部１６は、ダッシュボード１８において、「各現場」タブと「全体」タブとを切り替え可能とし、「全体」タブが選択された場合には、図１３に示すように、同一の更新前モデル３８が適用されている現場の影響度の合計を提示するようにしてもよい。なお、図１３の例では、更新候補モデルとして、モデルＭ２及びモデルＭ３の各々について影響度を特定し、モデルＭ２を選択した状態の例を示している。

提示部１６は、ユーザからモデルを更新する現場の指定を受け付け、指定された現場に設置された運用装置３０へ更新候補モデルを配布し、更新を指示する。これにより、該当の運用装置３０において、更新前モデル３８が更新候補モデルに更新される。

モデル更新支援装置１０は、例えば図１４に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、モデル更新支援装置１０として機能させるためのモデル更新支援プログラム５０が記憶される。モデル更新支援プログラム５０は、生成プロセス５２と、特定プロセス５４と、提示プロセス５６とを有する。

ＣＰＵ４１は、モデル更新支援プログラム５０を記憶部４３から読み出してメモリ４２に展開し、モデル更新支援プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、生成プロセス５２を実行することで、図８に示す生成部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図８に示す特定部１４として動作する。また、ＣＰＵ４１は、提示プロセス５６を実行することで、図８に示す提示部１６として動作する。これにより、モデル更新支援プログラム５０を実行したコンピュータ４０が、モデル更新支援装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

なお、モデル更新支援プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

また、モデル生成装置２０及び運用装置３０の各々も、モデル更新支援装置１０と同様に、ＣＰＵ、メモリ、記憶部等を備えるコンピュータで実現することができるため、詳細な説明を省略する。

次に、第１実施形態に係る情報処理システム１００の作用について説明する。まず、更新前モデル３８の開発段階において、モデル生成装置２０において、図１５に示すモデル生成処理が実行される。そして、運用段階において、各運用装置３０において、図１６に示す運用処理が実行される。さらに、更新前モデル３８を適用したサービスの運用時に、各現場から更新前モデル３８の調整が要求されると、モデル更新支援装置１０において、図１７に示すモデル更新支援処理が実行される。なお、モデル更新支援処理は、開示の技術のモデル更新支援方法の一例である。

まず、図１５に示すモデル生成処理について説明する。

ステップＳ１２で、学習部２２が、評価データセット２４の評価データテーブル２６に記憶された、同一の「データＩＤ」に対応付けられた「日時情報」及び「センサデータ」のデータ群である、歩行区間毎の評価データを取得する。また、学習部２２が、出力−正解データテーブル２８において、その「データＩＤ」と対応付けられている「正解」のデータを取得する。学習部２２は、評価データと正解とを組にしたデータを学習用データとして、情報処理システム１００で提供されるサービスに応じた構造のモデルのパラメータを、出力と正解とが近づくように学習することにより、更新前モデルを生成する。

次に、ステップＳ１４で、学習部２２が、所定の構造データ及び上記ステップＳ１２で学習されたパラメータセットで規定される更新前モデルに歩行区間毎の評価データを入力し、歩行特徴を出力として得る。学習部２２は、評価データセット２４の出力−正解データテーブル２８において、更新前モデル３８に入力した評価データが示す歩行区間の「データＩＤ」に対応する「出力」欄に、得られた出力の値を記憶する。

次に、ステップＳ１６で、学習部２２が、生成した更新前モデル３８を、各運用装置３０へ配布し、モデル生成処理は終了する。

次に、図１６を参照して運用処理について説明する。運用処理は、各現場に配置された運用装置３０の各々において実行される。

ステップＳ２２で、取得部３２が、患者等の被験者の足首等に装着されたジャイロセンサで検知されたセンサデータから歩行区間のデータを抽出した実入力データを取得する。取得部３２は、取得した実入力データにデータＩＤを付与して、推定部３４へ受け渡す。

次に、ステップＳ２４で、取得部３２が、データＩＤを付与した実入力データを、実入力データＤＢ３９に蓄積する。

次に、ステップＳ２６で、推定部３４が、取得部３２から受け渡された実入力データを更新前モデル３８に入力し、実入力データに対応する歩行特徴を推定し、出力する。また、推定部３４は、更新前モデル３８からの出力である歩行特徴を判定部３６へ受け渡す。

次に、ステップＳ２８で、判定部３６が、推定部３４から受け渡された歩行特徴が適正な推定結果であるか否か、すなわちエラーか否かを判定する。推定結果がエラーの場合には、処理はステップＳ３０へ移行し、エラーではない場合には、処理はステップＳ２２に戻る。

ステップＳ３０では、判定部３６が、推定結果がエラーであると判定した際の実入力データをエラーデータとしてモデル更新支援装置１０へ出力し、モデルの調整を要求する。そして、運用処理は終了する。

次に、図１７を参照して、モデル更新支援処理について説明する。

ステップＳ４０で、生成部１２が差分モデル生成処理を実行する。次に、ステップＳ６０で、特定部１４が影響度特定処理を実行する。次に、ステップＳ８０で、提示部１６が提示受付処理を実行し、モデル更新支援処理は終了する。以下、差分モデル生成処理、影響度特定処理、及び提示受付処理の各々について詳述する。

まず、図１８を参照して、差分モデル生成処理について説明する。

ステップＳ４２で、生成部１２が、モデル生成装置２０から評価データセット２４を取得し、歩行区間毎に、出力−正解データテーブル２８に含まれる歩行特徴の出力と正解とを比較して指標を算出する。そして、生成部１２は、各歩行区間のデータＩＤ、又は各歩行区間のデータが示す特徴量に、その歩行区間について算出した指標を対応付けた指標モデルＭ_Ａを生成する。

次に、ステップＳ４４で、生成部１２が、更新候補モデルとして、複数のパラメータセットの各々で規定されるモデルの各々について精度評価値を算出し、精度評価値が所定の閾値以上の更新候補モデルを１以上選択する。

次に、ステップＳ４６で、生成部１２が、上記ステップＳ４４で選択した更新候補モデルの各々について、評価データを入力した際の出力と正解とから指標を算出し、上記指標モデルＭ_Ａと同様に、指標モデルＭ_Ｂを生成する。

次に、ステップＳ４８で、生成部１２が、指標モデルＭ_Ａ及び指標モデルＭ_Ｂに基づいて、各歩行区間のデータの各々に、指標の差分を対応付けた差分モデルＭ_Ｉを生成する。そして、差分モデル生成処理は終了する。

次に、図１９を参照して、影響度特定処理について説明する。

ステップＳ６２で、特定部１４が、更新前モデル３８が適用されている現場ｉを選択する。次に、ステップＳ６４で、特定部１４が、選択した現場ｉに設置されている運用装置３０の実入力データＤＢ３９に蓄積されている実入力データを取得する。

次に、ステップＳ６６で、特定部１４が、取得した実入力データと、差分モデルＭ_Ｉとに基づいて、例えば（１）式又は（２）式により、現場ｉのｊ番目の実入力データｘ_ｉｊの影響度Ｍ_Ｉ（ｘ_ｉｊ）を特定する。また、特定部１４は、例えば（３）式により、現場ｉの合計の影響度Ｉ_ｉを特定する。

次に、ステップＳ６８で、特定部１４が、更新前モデル３８が適用されている全ての現場について、影響度を特定する処理が終了したか否かを判定する。未処理の現場が存在する場合には、処理はステップＳ６２に戻り、全ての現場について終了している場合には、影響度特定処理は終了する。

次に、図２０を参照して、提示受付処理について説明する。

ステップＳ８２で、提示部１６が、影響度特定処理（図１９）により特定された影響度をユーザに提示する。ユーザに提示する影響度は、現場毎のｊ番目の実入力データｘ_ｉｊの影響度Ｍ_Ｉ（ｘ_ｉｊ）を実入力データのデータＩＤに対応付けてプロットしたグラフ、現場毎の合計の影響度Ｉ_ｉの値等とすることができる。また、同一の更新前モデル３８が適用されている現場の影響度Ｉ_ｉの合計を提示してもよい。

次に、ステップＳ８４で、提示部１６は、提示した影響度に基づいて、ユーザからモデルを更新する現場の指定を受け付けたか否かを判定する。現場の指定を受け付けた場合には、処理はステップＳ８６へ移行し、受け付けなかった場合には、提示受付処理は終了する。

ステップＳ８６では、指定された現場に設置された運用装置３０へ更新候補モデルを配布し、更新を指示し、提示受付処理は終了する。

以上説明したように、第１実施形態に係る情報処理システムによれば、モデル更新支援装置が、入力に対する指標の変化を示す差分モデルを生成する。差分モデルは、更新前モデルに評価データを入力した際に得られる出力に関する指標と、更新候補モデルに評価データを入力した際に得られる出力に関する指標との差分を表す。そして、モデル更新支援装置は、更新前モデルが使用されている現場で蓄積された実入力データと、差分モデルとに基づいて、その現場について、更新前モデルから更新候補モデルへ更新した場合の影響度を特定し、ユーザに提示する。これにより、モデル更新による影響を各現場での入力に応じて、現場毎に特定することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムについて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付与して説明を省略する。

図１に示すように、第２実施形態に係る情報処理システム２００は、モデル更新支援装置２１０と、モデル生成装置２０と、複数の運用装置３０とを含む。

モデル更新支援装置２１０は、機能的には、図８に示すように、生成部１２と、特定部２１４と、提示部１６とを含む。

特定部２１４は、第１実施形態の特定部１４と同様に、モデル更新の影響度を特定する。また、特定部２１４は、特定した影響度が所定の条件を満たさない場合、モデルのパラメータを変更した他の更新候補モデルについて、再度、影響度を特定する。

モデル更新支援装置１０は、例えば図１４に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、モデル更新支援装置２１０として機能させるためのモデル更新支援プログラム２５０が記憶される。モデル更新支援プログラム２５０は、生成プロセス５２と、特定プロセス２５４と、提示プロセス５６とを有する。

ＣＰＵ４１は、モデル更新支援プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、モデル更新支援プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、特定プロセス２５４を実行することで、図８に示す特定部２１４として動作する。他のプロセスについては、第１実施形態におけるモデル更新支援プログラム５０と同様である。これにより、モデル更新支援プログラム２５０を実行したコンピュータ４０が、モデル更新支援装置２１０として機能することになる。

なお、モデル更新支援プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第２実施形態に係る情報処理システム２００の作用について説明する。第２実施形態では、モデル更新支援処理（図１７）のステップＳ６０で実行される影響度特定処理が第１実施形態とは異なるため、図２１を参照して、第２実施形態における影響度特定処理について説明する。なお、第２実施形態における影響度特定処理において、第１実施形態における影響度特定処理（図１９）と同様の処理については、同一符号を付与して詳細な説明を省略する。

ステップＳ６２〜Ｓ６６を経て、影響度が特定されると、次のステップＳ２６２で、特定部２１４が、影響度が所定の条件を満たすか否かを判定する。所定の条件は、例えば、各現場ｉの合計の影響度Ｉ_ｉが予め定めた範囲内の値であること、実入力データｘ_ｉｊ毎の影響度Ｍ_Ｉ（ｘ_ｉｊ）の最大値、平均等の値が予め定めた範囲内の値であること等とすることができる。影響度が所定の条件を満たす場合には、処理はステップＳ６８へ移行し、所定の条件を満たさない場合には、処理はステップＳ２６４へ移行する。

ステップＳ２６４では、特定部２１４が、更新候補モデルのパラメータセットを変更して、新たな更新候補モデルを生成する。

次に、ステップＳ２６６で、特定部２１４が、生成部１２に、差分モデル生成処理（図１８）のステップＳ４６と同様に、上記ステップＳ２６４で生成された新たな更新候補モデルについて、指標モデルＭ_Ｂを生成させる。

次に、ステップＳ２６８で、特定部２１４が、生成部１２に、差分モデル生成処理（図１８）のステップＳ４２で生成された指標モデルＭ_Ａと、上記ステップＳ２６６で生成された指標モデルＭ_Ｂとの差分モデルＭ_Ｉを生成させる。そして、処理はステップＳ６６に戻る。

以上説明したように、第２実施形態に係る情報処理システムによれば、モデル更新支援装置が、特定した影響度が所定の条件を満たさない場合、モデルのパラメータを変更した他の更新候補モデルについて、再度、影響度を特定する。これにより、モデル更新による影響度が小さい更新候補モデルをユーザに提示することができる。

なお、上記各実施形態では、影響度を、実入力データと最も近い評価データについての指標の差分に基づいて特定する場合について説明したが、これに限定されない。例えば、図２２に示すように、差分モデルＭ_Ｉが示す、評価データと指標の差分との関係における、実入力データに対応する差分に基づいて特定してもよい。

この場合、評価データと指標の差分との関係が定式化されている必要がある。しかし、例えば、各歩行区間のデータＩＤを番号順、又は各歩行区間のデータが示す特徴量の大きさ順に並べて指標モデルＭ_Ａ及びＭ_Ｂを生成した場合、図２３の左側の図に示すように、入力と指標との関係性が複雑になる。例えば、評価データがまばらな区間では、その間で指標が破線で示すように変化するのか、一点鎖線で示すように変化するのかが不明であり、指標モデルＭ_Ａ及びＭ_Ｂから差分モデルＭ_Ｉを適切に生成できない。この場合、影響度も適切に特定することができなくなる。

そこで、図２３の右側の図に示すように、入力に対する指標が定式化できるように、データＩＤを並べ替えたり、指標モデルＭ_Ａ及びＭ_Ｂに用いる特徴量を選択したりするようにしてもよい。

また、上記各実施形態では、歩行分析サービスに開示の技術を適用した場合について説明したが、これに限定されない。

例えば、全国の交番で利用するための不審者検知用の基本モデルを作成して、この基本モデルを適用したサービスを各地の交番で運用する。この場合において、例えば、ある地方Ａ（例えば、札幌）で、防寒具で顔が見えないという特徴Ｘを持つ人が不審者として検知されたとしてエラー報告があったとする。このエラーに対して、特徴Ｘを不審者として検知しないように調整したモデルで、全国各地の交番で共通して適用されている基本モデルを更新することが好ましくない場合がある。

例えば、地方Ａと気候等が似た別の地方Ｂ（例えば、旭川）では、特徴Ｘを持つ人を不審者として検知してしまうと、無駄なアラームが頻発するなど、特徴Ｘを持つ人を不審者として検知することは好ましくないため、モデルの更新は問題ない。一方で、地方Ａと気候等が異なる別の地方Ｃ（例えば、那覇）において、特徴Ｘを持つ人を不審者として検知すべきである場合には、モデルの更新は好ましくない。

このようなケースにも開示の技術を適用することで、各地方に存在する人の特徴が表れた実入力データ（例えば、画像データ）の違いにより、地方毎に、モデル更新による影響度を特定することができる。

また、上記各実施形態では、モデル更新支援プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の各実施形態に関し、さらに以下の付記を開示する。

（付記１）
第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成し、
前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する
ことを含む処理をコンピュータが実行するモデル更新支援方法。

（付記２）
前記コンピュータは、さらに、
前記影響度を、表示部へ出力し、
更新指示を受け付けた場合、前記第２のモデルへの更新を実施する
ことを特徴とする付記１に記載のモデル更新支援方法。

（付記３）
前記影響度を、前記入力データと最も近い前記評価データについての前記差分に基づいて特定する付記１又は付記２に記載のモデル更新支援方法。

（付記４）
前記影響度を、前記差分モデルが示す、前記評価データと前記差分との関係における、前記入力データに対応する前記差分に基づいて特定する付記１又は付記２に記載のモデル更新支援方法。

（付記５）
前記評価データと前記差分との関係を定式化できるように、複数の前記評価データを並べ替える付記４に記載のモデル更新支援方法。

（付記６）
前記第１のモデル及び前記第２のモデルの各々が、入力されたデータが示す特徴に対応した推定結果を出力するモデルの場合、前記第１のモデル及び前記第２のモデルの各々からの出力と期待値との誤差を、前記指標として用いる付記１〜付記５のいずれか１項に記載のモデル更新支援方法。

（付記７）
前記第１のモデル及び前記第２のモデルの各々の出力に基づいてリスク値を算出する場合、前記リスク値を前記指標として用いる付記１〜付記５のいずれか１項に記載のモデル更新支援方法。

（付記８）
複数の前記評価データの各々に、前記第１のモデルに関する前記指標の各々を対応付けた第１の指標モデルを生成し、
複数の前記評価データの各々に、前記第２のモデルに関する前記指標の各々を対応付けた第２の指標モデルを生成し、
前記第１の指標モデル及び前記第２の指標モデルに基づいて、複数の前記評価データの各々に、前記指標の差分を対応付けて前記差分モデルを生成する
付記１〜付記７のいずれか１項に記載のモデル更新支援方法。

（付記９）
特定された前記影響度が所定の条件を満たさない場合、パラメータを変更した前記第２のモデルについて、再度、前記影響度を特定する付記１〜付記８のいずれか１項に記載のモデル更新支援方法。

（付記１０）
複数の現場の各々で蓄積された前記入力データの各々に応じて特定された前記影響度を提示し、前記第１のモデルから前記第２のモデルへ更新するか否かを、前記現場毎に受け付ける付記１〜付記９のいずれか１項に記載のモデル更新支援方法。

（付記１１）
第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成する生成部と、
前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する特定部と、
を含むモデル更新支援装置。

（付記１２）
前記影響度を、表示部へ出力し、更新指示を受け付けた場合、前記第２のモデルへの更新を実施することを特徴とする付記１１に記載のモデル更新支援装置。

（付記１３）
前記特定部は、前記影響度を、前記入力データと最も近い前記評価データについての前記差分に基づいて特定する付記１１又は付記１２に記載のモデル更新支援装置。

（付記１４）
前記特定部は、前記影響度を、前記差分モデルが示す、前記評価データと前記差分との関係における、前記入力データに対応する前記差分に基づいて特定する付記１１又は付記１２に記載のモデル更新支援装置。

（付記１５）
前記生成部は、前記評価データと前記差分との関係を定式化できるように、複数の前記評価データを並べ替える付記１４に記載のモデル更新支援装置。

（付記１６）
前記生成部は、前記第１のモデル及び前記第２のモデルの各々が、入力されたデータが示す特徴に対応した推定結果を出力するモデルの場合、前記第１のモデル及び前記第２のモデルの各々からの出力と期待値との誤差を、前記指標として用いる付記１１〜付記１５のいずれか１項に記載のモデル更新支援装置。

（付記１７）
前記生成部は、前記第１のモデル及び前記第２のモデルの各々の出力に基づいてリスク値を算出する場合、前記リスク値を前記指標として用いる付記１１〜付記１５のいずれか１項に記載のモデル更新支援装置。

（付記１８）
前記生成部は、
複数の前記評価データの各々に、前記第１のモデルに関する前記指標の各々を対応付けた第１の指標モデルを生成し、
複数の前記評価データの各々に、前記第２のモデルに関する前記指標の各々を対応付けた第２の指標モデルを生成し、
前記第１の指標モデル及び前記第２の指標モデルに基づいて、複数の前記評価データの各々に、前記指標の差分を対応付けて前記差分モデルを生成する
付記１１〜付記１７のいずれか１項に記載のモデル更新支援装置。

（付記１９）
第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成し、
前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する
ことを含む処理をコンピュータに実行させるためのモデル更新支援プログラム。

（付記２０）
第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成し、
前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する
ことを含む処理をコンピュータに実行させるためのモデル更新支援プログラムを記憶した記憶媒体。

１０、２１０ モデル更新支援装置
１２ 生成部
１４、２１４ 特定部
１６ 提示部
１８ ダッシュボード
２０ モデル生成装置
２２ 学習部
２４ 評価データセット
２６ 評価データテーブル
２８ 出力−正解データテーブル
３０ 運用装置
３２ 取得部
３４ 推定部
３６ 判定部
３８ 更新前モデル
３９ 実入力データＤＢ
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０ モデル更新支援プログラム
１００、２００ 情報処理システム

Claims (12)

1. 第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成し、
   前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する
   ことを含む処理をコンピュータが実行するモデル更新支援方法。
2. 前記コンピュータは、さらに、
   前記影響度を、表示部へ出力し、
   更新指示を受け付けた場合、前記第２のモデルへの更新を実施する
   ことを特徴とする請求項１に記載のモデル更新支援方法。
3. 前記影響度を、前記入力データと最も近い前記評価データについての前記差分に基づいて特定する請求項１又は請求項２に記載のモデル更新支援方法。
4. 前記影響度を、前記差分モデルが示す、前記評価データと前記差分との関係における、前記入力データに対応する前記差分に基づいて特定する請求項１又は請求項２に記載のモデル更新支援方法。
5. 前記評価データと前記差分との関係を定式化できるように、複数の前記評価データを並べ替える請求項４に記載のモデル更新支援方法。
6. 前記第１のモデル及び前記第２のモデルの各々が、入力されたデータが示す特徴に対応した推定結果を出力するモデルの場合、前記第１のモデル及び前記第２のモデルの各々からの出力と期待値との誤差を、前記指標として用いる請求項１〜請求項５のいずれか１項に記載のモデル更新支援方法。
7. 前記第１のモデル及び前記第２のモデルの各々の出力に基づいてリスク値を算出する場合、前記リスク値を前記指標として用いる請求項１〜請求項５のいずれか１項に記載のモデル更新支援方法。
8. 複数の前記評価データの各々に、前記第１のモデルに関する前記指標の各々を対応付けた第１の指標モデルを生成し、
   複数の前記評価データの各々に、前記第２のモデルに関する前記指標の各々を対応付けた第２の指標モデルを生成し、
   前記第１の指標モデル及び前記第２の指標モデルに基づいて、複数の前記評価データの各々に、前記指標の差分を対応付けて前記差分モデルを生成する
   請求項１〜請求項７のいずれか１項に記載のモデル更新支援方法。
9. 特定された前記影響度が所定の条件を満たさない場合、パラメータを変更した前記第２のモデルについて、再度、前記影響度を特定する請求項１〜請求項８のいずれか１項に記載のモデル更新支援方法。
10. 複数の現場の各々で蓄積された前記入力データの各々に応じて特定された前記影響度を提示し、前記第１のモデルから前記第２のモデルへ更新するか否かを、前記現場毎に受け付ける請求項１〜請求項９のいずれか１項に記載のモデル更新支援方法。
11. 第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成する生成部と、
    前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する特定部と、
    を含むモデル更新支援装置。
12. 第１のモデルに評価データを入力した際に得られる出力に関する指標と、第２のモデルに前記評価データを入力した際に得られる出力に関する指標との差分を表す差分モデルを生成し、
    前記第１のモデルが使用されている現場で蓄積された入力データと、前記差分モデルとに基づいて、前記第１のモデルから前記第２のモデルへ更新した場合の影響度を特定する
    ことを含む処理をコンピュータに実行させるためのモデル更新支援プログラム。

Images