JP2022183796A - 情報処理装置及び方法 - Google Patents

Abstract

【課題】予測システムの精度劣化の原因となる環境変化に起因する損害の発生を未然に防止する情報処理装置及び方法を提供する。【解決手段】複数の端末装置と情報処理装置が、ネットワークを介して接続される情報処理システムにおいて、情報処理装置４は、予め用意した複数の基準データを格納する基準データデータベース２６と、予測対象となる対象データと複数の基準データに基づいて、対象データ及び基準データを合成した第１の合成データを夫々生成する合成データ生成部３０と、各第１の合成データに対する予測を行う予測器３１と、各第１の合成データに対する予測結果の信頼度を夫々算出する信頼度算出部３２と、第１の合成データについての予測結果の信頼度に対する対象データの各特徴量の寄与度をそれぞれ算出する信頼度寄与度算出部３３と、算出した第１の合成データに対する予測結果の信頼度に対する各特徴量の寄与度を出力する出力部３４と、を備える。【選択図】図４

Description

本発明は情報処理装置及び方法に関し、例えば、ＡＩ（Artificial Intelligence）を活用した予測システムに適用して好適なものである。

近年、ＡＩの社会浸透が進み、ＡＩを活用した予測システムが多く運用されるようになってきている。このようなシステムを運用するに際しては、環境の変化に起因するＡＩの精度劣化に伴う損害の発生を防ぐ必要がある。

例えば、ある消防署の管轄地域が発展すると、救急車や消防車などの緊急車両の出動回数が増加し、緊急車両の出動要請の受電時に緊急車両が出動中のために緊急車両を直ちに現地に向かわせることができないという事態が発生する可能性がある。

このため、例えば、かかる緊急車両の出動要請の受電から緊急車両が現地に到着するまでの時間をＡＩにより予測する予測システムを構築した場合、対象地域の発展に伴ってその予測システムのメンテナンスを適宜行う必要がある。

このようなメンテナンスを怠った場合、ＡＩが精度劣化して緊急車両の到着時間として実際よりも短い時間を予測してしまい、人命が失われる事態が発生するおそれがある。このようにＡＩの精度劣化が判明した時点で損害が既に発生しているということができる。

この点について、例えば非特許文献１には、ＬｏｓｓＳＨＡＰ（Shapley Additive exPlanations）と呼ばれる手法を用いて環境変化の発生を検知する方法が開示されている。具体的には、ＡＩの予測誤差に対する予測対象のデータの各特徴量の貢献度の経時変化を観察することで環境変化の発生を検知することが開示されている。この方法は、例えば、今まで予測誤差に対する「近くの病院数」という特徴量の貢献度が低かったのに対して、当該特徴量のかかる貢献度が高まってきたとすると、それを環境変化の発生と捉えるものである。

H. Chen、他２名、"Explaining Models byPropagating Shapley Values"、[online]、2019年12月2日、［2021年5月13日検索］、インターネット＜URL: https://arxiv.org/pdf/1911.11888.pdf＞

ところで、非特許文献１に開示された技術では、ＡＩの予測誤差を利用するため、正解値が得られた事例について、事後的にしかＡＩの予測誤差に対する予測対象のデータの各特徴量の貢献度を算出できないという問題がある。しかしながら、実際の案件では、例えば住宅ローンの審査など、正解値が得られるまでに相当の時間を要する場合や、救急車両の到着時間の予測など正解値が分かってからでは重大な損害が発生する場合があり、正解値が得られるのを待つことができない。

本発明は以上の点を考慮してなされたもので、予測システムの精度劣化の原因となる環境変化を検知するための情報をいち早く提示でき、かかる環境変化に起因する損害の発生を未然に防止し得る情報処理装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、機械学習モデルを利用した予測システムにおける環境変化を検知するための情報を提示する情報処理装置において、予測対象となる対象データと、予め用意した複数の基準データとに基づいて、前記対象データ及び前記基準データを合成した第１の合成データをそれぞれ生成する合成データ生成部と、各前記第１の合成データに対する予測を行う予測器と、各前記第１の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出する信頼度算出部と、各前記第１の合成データについての前記予測結果の前記信頼度に基づいて、前記対象データについての予測結果の信頼度に対する前記対象データの各特徴量の寄与度をそれぞれ算出する信頼度寄与度算出部と、前記信頼度寄与度算出部により算出された前記対象データに対する前記予測結果の前記信頼度に対する各前記特徴量の寄与度を出力する出力部とを設けるようにした。

また本発明においては、機械学習モデルを利用した予測システムにおける環境変化を検知するための情報を提示する情報処理装置により実行される情報処理方法であって、予測対象となる対象データと、予め用意した複数の基準データとに基づいて、前記対象データ及び前記基準データを合成した第１の合成データをそれぞれ生成する第１のステップと、各前記第１の合成データに対する予測を行う第２のステップと、各前記第１の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出する第３のステップと、各前記第１の合成データについての前記予測結果の前記信頼度に基づいて、前記対象データについての予測結果の信頼度に対する前記対象データの各特徴量の寄与度をそれぞれ算出する第４のステップと、算出した前記対象データに対する前記予測結果の前記信頼度に対する各前記特徴量の寄与度を出力する第５のステップとを設けるようにした。

本発明の情報処理装置及び方法によれば、ユーザは、提示された対象データに対する予測結果の信頼度に対する各特徴量の寄与度に基づいて、予測システムの予測精度の劣化の原因となる環境変化の発生の有無を認識することができ、環境変化の発生を認識した場合には、予測システムのメンテナンスを行うことにより、環境変化に起因する損害の発生を未然に防止することができる。

本発明によれば、予測システムの予測精度の劣化原因となる環境変化を検知するための情報をいち早く提示でき、かかる環境変化に起因する損害の発生を未然に防止し得る情報処理装置及び方法を実現できる。

第１の実施の形態による情報処理システムの全体構成を示すブロック図である。 教師データデータベースの構成例を示す図表である。 基準データデータベースの構成例を示す図表である。 第１の実施の形態による情報処理装置の論理構成を示すブロック図である。 信頼度寄与度算出結果画面の画面構成例を示す図である。 第１の実施の形態による合成データ生成処理の処理手順を示すフローチャートである。 信頼度算出処理の処理手順を示すフローチャートである。 信頼度寄与度算出処理の処理手順を示すフローチャートである。 第２の実施の形態による情報処理システムの全体構成を示すブロック図である。 類似情報データベースの構成例を示す図表である。 第２の実施の形態による情報処理装置の論理構成を示すブロック図である。 第２の実施の形態による合成データ生成部による合成データの生成手法の説明に供する図表である。 類似判定処理の処理手順を示すフローチャートである。 第２の実施の形態による合成データ生成処理の処理手順を示すフローチャートである。 第３の実施の形態による情報処理システムの全体構成を示すブロック図である。 信頼度寄与度データベースの構成例を示す図表である。 第３の実施の形態による情報処理装置の論理構成を示すブロック図である。 苦手傾向解析結果画面の画面構成例を示す図である。 対象データ選択処理の処理手順を示すフローチャートである。 苦手傾向解析処理の処理手順を示すフローチャートである。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１－１）本実施の形態による情報処理システムの構成
図１において、１は全体として本実施の形態による情報処理システムを示す。この情報処理システム１は、ＡＩを活用した予測システムにおいて、ＡＩの予測精度劣化の原因となる環境変化を検知するための情報をユーザに提供する機能（以下、これを環境変化情報提示機能と呼ぶ）を有するシステムであり、ネットワーク２を介して接続された複数の端末装置３と、情報処理装置４とを備えて構成される。

端末装置３は、ユーザが使用するコンピュータ装置であり、パーソナルコンピュータ、ノート型パーソナルコンピュータ又はタブレットなどから構成される。端末装置３は、ユーザ操作に応じて必要なコマンドやデータを情報処理装置４に送信したり、情報処理装置４から送信されてきた画面データに基づく画面を表示するなどの処理を実行する。

情報処理装置４は、ＣＰＵ１０、主記憶装置１１、補助記憶装置１２、通信装置１３、入力装置１４及び出力装置１５などの情報処理資源を備えた汎用のコンピュータ装置から構成される。

ＣＰＵ１０は、情報処理装置４全体の動作を統括的に制御する演算装置であり、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はＡＩチップなどから構成される。

主記憶装置１１は、ＣＰＵ１０のワーキングメモリとして利用される半導体メモリであり、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えて構成される。ＲＯＭは、マスクＲＯＭ（Mask ROM）やＰＲＯＭ（Programmable ROM）などから構成され、ＲＡＭは、ＳＲＡＭ（Static RAM）、ＮＶＲＡＭ（Non Volatile RAM）、ＤＲＡＭ（Dynamic RAM）などから構成される。後述する合成データ生成プログラム２０、ＡＩプログラム２１、信頼度算出プログラム２２、信頼度寄与度算出プログラム２３及び出力プログラム２４は、情報処理装置４の起動時や必要時に補助記憶装置１２から読み出されて主記憶装置１１に格納されて保持される。

補助記憶装置１２は、プログラムや長期保存すべきデータを記憶保持するための利用される不揮発性の大容量の記憶装置であり、ハードディスク装置、フラッシュメモリ、ＳＳＤ（Solid State Drive）及び又は光学式記憶装置などから構成される。光学式記憶装置としては、ＣＤ（Compact Disc）ドライブや、ＤＶＤ（Digital Versatile Disc）ドライブ又はブルーレイドライブなどが利用される。後述の教師データデータベース２５及び基準データデータベース２６も補助記憶装置１２に格納されて保持される。

通信装置１３は、ネットワーク２を介して端末装置３と通信を行うための通信インタフェースであり、ＮＩＣ（Network Interface Card）や、シリアル通信モジュールなどから構成される。通信装置１３として、ＮＩＣやシリアル通信モジュール等に加えて、ＵＳＢ（Universal Serial Interface）を備えていてもよい。

入力装置１４は、ユーザが各種指示や情報を入力するためのユーザインタフェースであり、キーボードやマウス、カードリーダ及び又はタッチパネルなどから構成される。また出力装置１５は、各種情報を視覚的及び又は聴覚的にユーザに提供するユーザインタフェースであり、液晶ディスプレイ若しくは有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置や、スピーカ及び又はプリンタなどから構成される。

（１－２）本実施の形態による環境変化情報提示機能
次に、情報処理装置４に搭載された環境変化情報提示機能について説明する。これに際して、まず、トラストスコア（Trust Score）及びＳＨＡＰ（Shapley Additive exPlanations）について説明する。

環境変化が発生した場合、それまでにＡＩが学習したことのないデータ（ＡＩが知らないデータ）が多く出現し始めるが、ＡＩは自信がなくても取り敢えず予測を行う。このためにＡＩ予測の正解率が低下し、ＡＩの予測精度が劣化する。

この場合において、ＡＩの予測精度の劣化に繋がる環境変化が生じたときには、ＡＩが予測値を導く際の「自信の大きさ」も変化する。このようなＡＩの予測精度の「自信の大きさ」を評価する手法として、近年、機械学習モデルを利用した予測の予測結果の信頼度を算出する方法が数多く提案されており、その１つとして「トラストスコア」がある。

トラストスコアは、分類問題に限定される手法ではあるが、対象となるデータ（以下、これを対象データと呼ぶ）と予測クラス内で一番近いデータの距離と、対象データと予測クラス以外で一番近いデータの距離との比較結果を予測の信頼度として算出する手法である。

このトラストスコアをＡＩ予測に適用することにより、例えば「４」という手書きの画像を画像認識させた場合に、その画像が「４である可能性は90％、信頼度は5.5（＝信頼できる）」との認識結果が得られ、犬の画像を見せた場合に、その画像が「４である可能性は90％、信頼度は0.98（＝信頼できない）」といった認識結果を得ることができる。

よって、このようなトラストスコアを用いてＡＩ予測の予測結果の信頼度を監視することによって環境変化を検知できるものと考えられる。しかしながら、現実問題として、かかる信頼度が一定であったとしても環境変化が生じている可能性もある。

一方で、かかる信頼度が不変に見えても、その根拠となる対象データの特徴量ごとの予測結果に対する寄与度のレベルでは予兆が発生しているケースがある。よって、かかる信頼度ではなく、この信頼度に対する対象データの各特徴量の寄与度を観察することによって、より精度良く環境変化を検知することができるものと考えられる。

ここで、ＡＩの予測結果に対して対象データの各特徴量（対象データに含まれる各特徴の値）がどれだけ寄与したかを算出する技術としてＳＨＡＰ（SHapley Additive exPlanations）がある。このＳＨＡＰを利用することにより、例えば、「年齢＝○○、住所＝××」という対象データに対して救急車配備の予測時間が８分であった場合に、『配備時間は平均10分に対して、“年齢＝○○”であることが－３分、“住所＝××”であることが＋１分影響し、予測は８分』といった出力を得ることができる。

ＳＨＡＰでは、対象データとは別に大量の基準データを用意し、基準データごとにその幾つかの特徴量を対象データの対応する特徴量と入れ替えるようにして合成データを大量に生成し、生成した合成データに基づいてＡＩに予測を行わせ、その予測結果に基づいて予測結果に対する対象データの各特徴量の寄与度をそれぞれ算出する。

この際、演算処理の簡略化及び迅速化の観点から、通常は、基準データの特徴量と、対象データの特徴量とをあまり入れ替えていない合成データ（例えば、基準データ由来の特徴量の数が１つ以下の合成データ）を優先的に生成する。以下においては、このような合成データの生成手法を「ＳＨＡＰの従来手法」と呼ぶものとする。

このようなＳＨＡＰの技術と、トラストスコアのようなＡＩ予測の予測結果の信頼度を算出する技術と併せて利用することにより、ＡＩ予測の予測結果の信頼度に対する各特徴量の寄与度を算出でき、これら特徴量ごとの寄与度を観測することによって環境変化をより精度良く検知することができるものと推測される。なお、ここでの「寄与度」とは、対象データの各特徴量が信頼度に対してどの程度の影響を与えたかを表す値である。

そこで本実施の形態の情報処理装置４には、対象データ及び基準データに基づいて合成データを生成し、生成した各合成データに対する予測結果の信頼度をそれぞれ算出し、算出したこれらの信頼度に対する対象データの各特徴量の寄与度をそれぞれ算出して、これら各特徴量の寄与度を環境変化を検知するための情報としてユーザに提示する環境変化情報提示機能が搭載されている。なお、このような環境変化情報提示機能に関する一連の処理は、いずれかの端末装置３から予測対象の対象データが与えられたタイミングで、当該対象データに対する予測処理と並行して行われる。

このような環境変化情報提示機能を実現するための手段として、図１に示すように、情報処理装置４の主記憶装置１１には、合成データ生成プログラム２０、ＡＩプログラム２１、信頼度算出プログラム２２、信頼度寄与度算出プログラム２３及び出力プログラム２４が格納され、補助記憶装置１２には、教師データデータベース２５及び基準データデータベース２６が格納されている。

合成データ生成プログラム２０、ＡＩプログラム２１、信頼度算出プログラム２２、信頼度寄与度算出プログラム２３及び出力プログラム２４の詳細については後述する。

教師データデータベース２５は、後述する予測器３１が緊急車両の到着時間や保険のリスクなどの対象事象を機械学習する際に利用した複数の教師データが格納されたデータベースである。この教師データデータベース２５は、図２に示すように、ＩＤ欄２５Ａ及び特徴量欄２５Ｂを備えたテーブル構造を有する。図２の教師データデータベース２５では、１つの行が１つの教師データに対応する。

そしてＩＤ欄２５Ａには、対応する教師データに対して付与されたその教師データに固有の識別子（教師データＩＤ）が格納される。また特徴量欄２５Ｂは、教師データを構成する各特徴量にそれぞれ対応させて複数の特徴欄２５ＢＡに区分されており、各特徴欄２５ＢＡ内にそれぞれ対応する特徴の値が特徴量として格納される。

従って、図２の例の場合、「１」という教師データＩＤが付与された教師データにおいて、「年齢」という特徴（「feat_1」）の値（特徴量）は「30」、「特徴２（feat_2）」である「性別」という特徴（「feat_2」）の値（特徴量）は「男」、「身長」という特徴（「feat_3」）の値（特徴量）は「170」、「体重」という特徴（「feat_4」）の値（特徴量）は「64」、……、「血圧」という特徴（「feat_N」）の値（特徴量）は「120」であることが示されている。

また基準データデータベース２６は、対象データと特徴量を入れ替えて上述の合成データを生成する基準データが複数格納されたデータベースである。本実施の形態の場合、教師データデータベース２５に登録されている教師データの一部が基準データとして基準データデータベース２６に格納される。

基準データデータベース２６は、教師データデータベース２５と同様の構成を有する。具体的に、基準データデータベース２６は、図３に示すように、ＩＤ欄２６Ａ及び特徴量欄２６Ｂを備えたテーブル構造を有する。図３の基準データデータベース２６では、１つの行が１つの基準データに対応する。

そしてＩＤ欄２６Ａには、対応する基準データに対して付与されたその基準データに固有の識別子（基準データＩＤ）が格納される。また特徴量欄２６Ｂは、基準データを構成する各特徴の特徴量にそれぞれ対応させて複数の特徴欄２６ＢＡに区分されており、各特徴欄２６Ｂ内に対応する特徴の値が特徴量として格納される。

図４は、上述した本実施の形態の環境変化情報提示機能に関する情報処理装置４の論理構成を示す。この図４に示すように、情報処理装置４は、合成データ生成部３０、予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３を備えて構成される。

合成データ生成部３０は、情報処理装置４のＣＰＵ１０（図１）が主記憶装置１１（図１）に格納された合成データ生成プログラム２０（図１）を実行することにより具現化される機能部である。合成データ生成部３０は、基準データデータベース２６に格納されている各基準データと、端末装置３（図１）からネットワーク２を介して与えられた所定事項に対する予測対象のデータ（対象データ）とから、上述したＳＨＡＰの従来手法によりこれらを合成した合成データを複数生成する機能を有する。そして合成データ生成部３０は、このようにして生成した合成データを予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３に出力する。

予測器３１は、ＣＰＵ１０が主記憶装置１１に格納されたＡＩプログラム２１（図１）を実行することにより具現化される機能部である。予測器３１は、基準データデータベース２６に予め登録されている基準データを事前に機械学習することにより生成した機械学習モデルを保持し、合成データ生成部３０から与えられる各合成データを機械学習モデルに入力することにより、これらの合成データに対する予測を行う機能を有する。そして予測器３１は、得られた合成データごとの予測結果を信頼度算出部３２に出力する。

信頼度算出部３２は、ＣＰＵ１０が主記憶装置１１に格納された信頼度算出プログラム２２（図１）を実行することにより具現化される機能部である。信頼度算出部３２は、基準データデータベース２６に格納された各基準データと、端末装置３から与えられた対象データと、予測器３１から与えられた各合成データに対する予測結果とに基づいて、各合成データに対する予測結果の信頼度を既存の技術、例えば上述のトラストスコアとしてそれぞれ算出する機能を有する。信頼度算出部３２は、算出した合成データごとの予測結果の信頼度を信頼度寄与度算出部３３に出力する。

信頼度寄与度算出部３３は、ＣＰＵ１０が主記憶装置１１に格納された信頼度寄与度算出プログラム２３（図１）を実行することにより具現化される機能部である。信頼度寄与度算出部３３は、合成データ生成部３０から与えられた各合成データと、予測器３１による各合成データに対する予測結果と、信頼度算出部３２から与えられた合成データごとの予測器３１の予測結果の信頼度とに基づいて、摂動ベースの特徴量の寄与度を算出する既存の手法、例えばＳＨＡＰと同様の手法により信頼度に対する対象データの各特徴量の寄与度をそれぞれ算出する機能を有する。そして信頼度寄与度算出部３３は、算出した特徴量ごとの寄与度を出力部３４に出力する。

出力部３４は、ＣＰＵ１０が主記憶装置１１に格納された出力プログラム２４を実行することにより具現化される機能部である。出力部３４は、信頼度寄与度算出部３３から与えられたかかる信頼度に対する各特徴量の寄与度に基づいて図５について後述する信頼度寄与度算出結果画面４０の画面データを生成し、生成した画面データを対応する端末装置３に送信する機能を有する。これにより、この画面データに基づいて、かかる信頼度寄与度算出結果画面４０がその端末装置３に表示される。

図５は、かかる信頼度寄与度算出結果画面４０の構成例を示す。この構成例において、信頼度寄与度算出結果画面４０は、特徴毎寄与度表示領域４１及び説明表示領域４２を備えて構成される。

そして特徴毎寄与度表示領域４１には、信頼度寄与度算出部３３により算出された、予測器３１の予測結果の信頼度に対する対象データの各特徴量の寄与度の大きさがそれぞれ棒グラフの大きさとして表示される。図５の例では、対象データの特徴量として「年齢」、「性別」、「身長」、「体重」及び「血圧」があり、このうちの「年齢」、「性別」及び「体重」という各特徴量が予測器の予測結果の信頼度を上げる方向に寄与し、「身長」及び「血圧」がかかる信頼度を下げる方向に寄与していることが示されている。

また説明表示領域４２には、予測器３１の予測結果の信頼度に対する対象データの各特徴量の寄与度についての説明を表すテキストが表示される。図５の例の場合、特徴毎寄与度表示領域４１に表示された各特徴量のグラフからも明らかなように、かかる信頼度に対する各特徴量の寄与度のうち、「年齢」がかかる信頼度に寄与する大きさが一番大きいため、「信頼度に対する年齢が大きく影響しています。」という説明が表示されている例が示されている。

よって、ユーザは、端末装置３に表示された信頼度寄与度算出結果画面４０に表示された各特徴量の寄与度に基づいて、予測器３１の予測結果の信頼度に対するいずれかの特徴量の寄与度がそれまでと比べて大きく変動している場合などに、何らかの環境変化が生じたことを認識することができる。

ただし、予測器３１の予測結果の信頼度に対する各特徴量の寄与度の経時変化を観察し、いずれかの特徴量の経時変化の変化量が一定の閾値を超えた場合に、その旨の警告を対応する端末装置３に表示させるなどしてユーザに通知する機能部を設けるようにしてもよい。

（１－３）環境変化情報提示機能に関する各機能部の処理
次に、本実施の形態による環境変化情報提示機能に関連して情報処理装置４の合成データ生成部３０及び信頼度寄与度算出部３３によりそれぞれ実行される各処理の具体的な処理内容について説明する。なお、以下においては、各処理の処理主体を合成データ生成部３０又は信頼度寄与度算出部３３として説明するが、実際上は、情報処理装置４のＣＰＵ１０が対応するプログラム（合成データ生成プログラム２０又は信頼度寄与度算出プログラム２３）に基づいてその処理を実行することは言うまでもない。

（１－３－１）合成データ生成処理
図６は、かかる環境変化情報提示機能に関連して合成データ生成部３０により実行される合成データ生成処理の流れを示す。合成データ生成部３０は、この図６に示す処理手順に従って、合成データを生成する。

実際上、合成データ生成部３０は、ユーザ操作に応じて、いずれかの端末装置３から対象データと、その対象データに対する予測を実行すべき旨の指示とが与えられるとこの図６に示す合成データ生成処理を開始する。

そして合成データ生成部３０は、まず、基準データデータベース２６に格納されている基準データの中からステップＳ２以降が未処理の基準データを１つ選択する（Ｓ１）。また合成データ生成部３０は、ステップＳ１で選択した基準データを利用して、例えばＳＨＡＰの従来手法により１又は複数の合成データを生成し（Ｓ２）、生成した合成データを予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３にそれぞれ出力する（Ｓ３）。

この後、合成データ生成部３０は、基準データデータベース２６に登録されているすべての又は予め設定された所定数の基準データについてステップＳ２の処理（合成データの生成処理）を実行し終えたか否かを判断する（Ｓ４）。そして合成データ生成部３０は、この判断で否定結果を得るとステップＳ１に戻り、この後、ステップＳ１で選択する基準データをステップＳ２が未処理の他の基準データに順次切り替えながらステップＳ１～ステップＳ４の処理を繰り返す。

そして合成データ生成部３０は、やがて基準データデータベース２６に登録されているすべての又は予め設定された所定数の基準データに基づいて合成データを生成し終えることによりステップＳ４で肯定結果を得ると、この合成データ生成処理を終了する。

（１－３－２）信頼度算出処理
一方、図７は、かかる環境変化情報提示機能に関連して信頼度算出部３２により実行される信頼度算出処理を示す。信頼度算出部３２は、この図７に示す処理手順に従って、各合成データに対する予測結果の信頼度をそれぞれ算出する。

実際上、信頼度算出部３２は、各合成データが合成データ生成部３０から与えられると共に、これら合成データに対する予測結果が予測器３１から与えられると、この図７に示す信頼度算出処理を開始し、まず、合成データ生成部３０から順次与えられる合成データのうちのステップＳ１１以降が未処理の合成データを１つ選択する（Ｓ１０）。

続いて、信頼度算出部３２は、ステップＳ１０で選択した合成データ（以下、これを選択合成データと呼ぶ）に対する予測結果の信頼度を算出する（Ｓ１１）。本実施の形態においては、信頼度算出部３２は、かかる信頼度として、予測結果のトランススコアを算出する。

次いで、信頼度算出部３２は、すべての合成データについてステップＳ１１の処理を実行し終えたか否かを判断する（Ｓ１２）。そして信頼度算出部３２は、この判断で否定結果を得るとステップＳ１０に戻り、この後、ステップＳ１０で選択する合成データをステップＳ１１が未処理の他の合成データに順次切り替えながらステップＳ１０～ステップＳ１２の処理を繰り返す。

そして信頼度算出部３２は、やがて合成データ生成部３０から与えられたすべての合成データについて予測結果の信頼度を算出し終えることによりステップＳ１２で肯定結果を得ると、この信頼度算出処理を終了する。

（１－３－３）信頼度寄与度算出処理
他方、図８は、かかる環境変化情報提示機能に関連して信頼度寄与度算出部３３により実行される信頼度寄与度算出処理を示す。信頼度寄与度算出部３３は、この図８に示す処理手順に従って、対象データに対する予測結果の信頼度における各特徴量の寄与度をそれぞれ算出する。

実際上、信頼度寄与度算出部３３は、合成データ生成部３０からすべての合成データが与えられると共に、これらの合成データに対する予測器３１の各予測結果に対する各信頼度が信頼度算出部３２から与えられると、この図８に示す信頼度寄与度算出処理を開始する。

そして信頼度寄与度算出部３３は、摂動ベースの特徴量の寄与度を算出する既存の手法（例えばＳＨＡＰ）を用いて、対象データの予測結果の信頼度に対する対象データの各特徴量の寄与度をそれぞれ算出する（Ｓ１５）。そして信頼度寄与度算出部３３は、算出した各特徴量の寄与度を出力部３４に出力し（Ｓ１６）、この後、この信頼度寄与度算出処理を終了する。

（１－４）本実施の形態の効果
以上のように本実施の形態の情報処理装置４では、対象データ及び基準データに基づいて合成データを生成し、生成した各合成データに対する予測結果の信頼度をそれぞれ算出し、算出したこれらの信頼度に基づいて対象データについての予測結果の信頼度に対する対象データの各特徴量の寄与度をそれぞれ算出して、これら各特徴量の寄与度が表示された信頼度寄与度算出結果画面４０を表示する。

よって、ユーザは、信頼度寄与度算出結果画面４０に表示された対象データの特徴量ごとのかかる寄与度に基づいて、ＡＩ予測の精度劣化の原因となる環境変化の発生の有無を認識することができ、環境変化の発生を認識した場合には、ＡＩのメンテナンスを行うことで、環境変化に起因する損害の発生を未然に防止することができる。

このように本実施の形態によれば、ＡＩ予測の精度劣化の原因となる環境変化を検知するための情報をいち早く提示でき、かかる環境変化に起因する損害の発生を未然に防止し得る情報処理装置を実現することができる。

（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図９は、第２の実施の形態による情報処理システム５０を示す。この情報処理システム５０は、情報処理装置５１の主記憶装置１１に類似判定プログラム５２及び類似度算出プログラム５３が追加的に格納されている点と、情報処理装置５１の補助記憶装置１２に類似情報データベース５４が追加的に格納されている点と、合成データ生成プログラム５５の機能が異なる点とを除いて第１の実施の形態の情報処理システム１と同様に構成されている。

類似判定プログラム５２、類似度算出プログラム５３及び合成データ生成プログラム５５の機能については後述する。

類似情報データベース５４は、後述の類似判定部６１（図１１）により判定された、基準データデータベース２６に登録されているすべての又は予め設定された所定数の基準データと、端末装置３から与えられた予測対象のデータ（対象データ）との間にそれぞれ類似性があるか否かの判定結果が格納されるデータベースである。

この類似情報データベース５４は、図１０に示すように、ＩＤ欄５４Ａ及び類似性欄５４Ｂを備えたテーブル構造を有する。図１０の類似情報データベース５４では、１つの行が基準データデータベース２６に登録されている１つの基準データに対応する。

そしてＩＤ欄５４Ａには、対応する基準データの基準データＩＤが格納される。また類似性欄５４Ｂには、対応する基準データが対象データと類似する場合には「１」、類似していない場合には「０」が格納される。

従って、図１０の例の場合、「１」という基準データＩＤが付与された基準データは、そのとき端末装置３から与えられた対象データとは類似しておらず、「２」という基準データＩＤが付与された基準データはかかる対象データと類似していると類似判定部６１（図１１）により判定されたことが示されている。

図４との対応部分に同一符号を付して示す図１１は、本実施の形態による環境変化情報提示機能に関する情報処理装置５１の論理構成を示す。この図１１に示すように、情報処理装置５１は、予測器３１、信頼度算出部３２、信頼度寄与度算出部３３及び出力部３４に加えて、類似度算出部６０、類似判定部６１及び合成データ生成部６２を備えて構成される。

類似度算出部６０は、情報処理装置５１のＣＰＵ１０（図９）が主記憶装置１１（図９）に格納された類似度算出プログラム５３（図９）を実行することにより具現化される機能部である。類似度算出部６０は、後述のように類似判定部６１から与えられた対象データ及び基準データの類似度を既存の手法により算出する機能を有する。類似度算出部６０は、算出した対象データ及び基準データの類似度を類似判定部６１に出力する。

類似判定部６１は、情報処理装置５１のＣＰＵ１０が主記憶装置１１に格納された類似判定プログラム５２（図９）を実行することにより具現化される機能部である。類似判定部６１は、端末装置３から与えられた予測対象の対象データと、基準データデータベース２６に登録されているすべての又は所定数の基準データを類似度算出部６０に出力する機能を有する。類似判定部６１は、この結果として類似度算出部６０により算出された各基準データと対象データとの類似度に基づいて、その基準データと対象データとの間の類似性の有無をそれぞれ判定し、判定結果を類似情報データベース５４に登録する。

合成データ生成部６２は、基準データデータベース２６に格納されているすべての又は所定数の基準データについて、これら基準データごとに、類似情報データベース５４に登録されているその基準データの対象データとの類似性の有無に応じて合成手法を切り替えながら、その基準データと対象データとの合成データを生成する機能を有する。

実際上、合成データ生成部６２は、対象データと類似しない基準データについては、混ざり具合に依存しない合成データを生成すべく、例えば図１２に示すように、最終的に生成された合成データ全体において、基準データ由来の特徴量の数に偏りが生じることなく基準データ由来の特徴量の数が均一に分布するように、基準データの特徴量と対象データの対応する特徴量とを入れ替えるようにして合成データを生成する。また合成データ生成部６２は、対象データと類似する基準データについては、ＳＨＡＰの従来手法によりその基準データを用いて合成データを生成する。

なお、このように対象データと基準データとが類似するか否かで合成データの生成手法を切り替えるのは、効率性を上げながら、その合成データについて算出された予測結果の信頼度に対する対象データの各特徴量の寄与度を精度良く算出できるようにするためである。

実際上、対象データの特徴量と、基準データの特徴量との混ざり具合が低い合成データ（ほぼ対象データ又はほぼ基準データ）は信頼度が高く、混ざり具合が高い合成データは信頼度が低くなる傾向があるため、ＳＨＡＰの従来手法では信頼度が高い合成データを偏って生成してしまうこととなり、その合成データについて算出された予測結果の信頼度に対する対象データの各特徴量の寄与度を正確に算出することができない。

そこで、対象データ及び基準データが類似していない場合には、最終的に生成される合成データ全体において、基準データ由来の特徴量の数に偏りが生じることなく、基準データ由来の特徴量の数が均一に分布するように、基準データの特徴量と対象データの対応する特徴量とを入れ替えるようにして合成データを生成することにより、信頼度が高い合成データと、信頼度が低い合成データとが同じ程度存在するように合成データを生成し、これにより信頼度寄与度算出部３３により算出されるかかる信頼度に対する対象データの各特徴量の寄与度の精度を向上させる。

一方で、対象データ及び基準データが類似している場合には、対象データの特徴量と、基準データの特徴量とを幾つ入れ替えたとしても生成される合成データはあまり変わりがないため、演算処理の簡略化及び迅速化の観点から、ＳＨＡＰの従来手法により合成データを生成する。

そして合成データ生成部６２は、生成した合成データを予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３にそれぞれ出力する。

図１３は、本実施の形態の環境変化情報提示機能に関連して情報処理装置５１の類似判定部６１（図１１）により実行される類似判定処理の処理内容を示す。類似判定部６１は、この図１３の処理手順に従って各基準データと対象データとの類似性の有無を判定する。

実際上、類似判定部６１は、いずれかの端末装置３から対象データが与えられるとこの図１３に示す類似判定処理を開始し、まず、基準データデータベース２６に登録されている基準データの中からステップＳ２１以降が未処理の基準データを１つ選択する（Ｓ２０）。

続いて、類似判定部６１は、対象データに対するステップＳ２０で選択した基準データ（以下、図１３の説明において、これを選択基準データと呼ぶ）の類似度を算出するよう類似度算出部６０（図１１）に依頼する（Ｓ２１）。この結果、対象データ及び選択基準データ間の類似度が類似度算出部６０により算出されて類似判定部６１に通知される。

類似判定部６１は、かかる類似度が類似度算出部６０から通知されると、通知された類似度に基づいて、対象データ及び選択基準データが類似しているか否かを判定し（Ｓ２２）、判定結果を類似情報データベースに登録する（Ｓ２３）。

具体的に、類似判定部６１は、類似度算出部６０から通知された類似度を予め設定された閾値（以下、これを類似度判定閾値と呼ぶ）と比較する。そして類似判定部６１は、かかる類似度が類似度判定閾値以上である場合には、選択基準データ及び対象データと類似すると判定して、類似情報データベース５４における選択基準データに対応する行の類似性欄５４Ｂ（図１０）に「１」を格納する。また類似判定部６１は、かかる類似度が類似度判定閾値未満である場合には、選択基準データ及び対象データが類似していないと判定して、類似情報データベース５４における選択基準データに対応する行の類似性欄５４Ｂに「０」を格納する。

次いで、類似判定部６１は、基準データデータベース２６に格納されているすべての基準データに対してステップＳ２１以降の処理を実行し終えたか否かを判断する（Ｓ２４）。そして類似判定部６１は、この判断で否定結果を得るとステップＳ２０に戻り、この後、ステップＳ２０で選択する基準データをステップＳ２１以降が未処理の他の基準データに順次切り替えながらステップＳ２０～ステップＳ２４の処理を繰り返す。

そして類似判定部６１は、やがて基準データデータベース２６に格納されているすべての基準データについて対象データとの類似性の有無を判定し終えることによりステップＳ２４で肯定結果を得ると、この類似判定処理を終了する。

一方、図１４は、本実施の形態の環境変化情報提示機能に関連して合成データ生成部６２により実行される合成データ生成処理の処理内容を示す。合成データ生成部６２は、この図１３に示す処理手順に従って、基準データデータベース２６に格納されている各基準データに基づいて合成データを生成する。

実際上、合成データ生成部６２は、類似判定部６１が基準データデータベース２６に登録されているすべての又は所定数の基準データについて対象データとの類似性の有無を判定し終えると、この図１４に示す合成データ生成処理を開始し、まず、基準データデータベース２６に格納されている基準データのうちのステップＳ３１以降が未処理の基準データを１つ選択する（Ｓ３０）。

続いて、合成データ生成部６２は、類似情報データベース５４（図１０）を参照して、ステップＳ３０で選択した基準データ（以下、図１４の説明においてこれを選択基準データと呼ぶ）が対象データと類似しているか否かを判断する（Ｓ３１）。

そして合成データ生成部６２は、この判断で肯定結果を得ると、上述した従来手法により選択基準データを利用して合成データを生成し（Ｓ３２）、生成した合成データを予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３にそれぞれ出力する（Ｓ３４）。

これに対して、合成データ生成部６２は、ステップＳ３１の判断で否定結果を得ると、基準データ由来の特徴量の数に偏りが生じることなく基準データ由来の特徴量の数が均一となるように、合成データを生成し（Ｓ３３）、生成した合成データを予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３にそれぞれ出力する（Ｓ３４）。

次いで、合成データ生成部６２は、基準データデータベース２６に登録されているすべての又は予め設定された所定数の基準データについてステップＳ３１以降の処理（合成データの生成処理）を実行し終えたか否かを判断する（Ｓ３５）。そして合成データ生成部６２は、この判断で否定結果を得るとステップＳ３０に戻り、この後、ステップＳ３０で選択する基準データをステップＳ３１以降が未処理の他の基準データに順次切り替えながらステップＳ３０～ステップＳ３５の処理を繰り返す。

そして合成データ生成部６２は、やがて基準データデータベース２６に登録されているすべての又は予め設定された所定数の基準データに基づいて合成データを生成し終えることによりステップＳ３５で肯定結果を得ると、この合成データ生成処理を終了する。

以上のように本実施の形態の情報処理装置５１では、対象データと各基準データとの類似性の有無を判定し、基準データが対象データに類似しているか否かに基づいて対象データ及び基準データを合成した合成データの生成手法を切り替えるようしたことにより、第１の実施の形態により得られる効果に加えて、効率性を上げながら、その合成データについて算出された予測結果の信頼度に対する対象データの各特徴量の寄与度を精度良く算出できるという効果をも得ることができる。

（３）第３の実施の形態
図９との対応部分に同一符号を付して示す図１５は、第３の実施の形態による情報処理システム７０を示す。この情報処理システム７０には、第１の実施の形態と同様の環境変化情報提示機能に加えて、運用開始前に予測器３１（図１７）の苦手傾向（予測結果の信頼性が低い特徴量の傾向）を解析してユーザに提示する苦手傾向提示機能が搭載されている点が第２の実施の形態による情報処理システム５０と相違する。

実際上、本情報処理システム７０では、図９について上述した第１の実施の形態の情報処理装置４の構成に加えて、情報処理装置７１の主記憶装置１１にデータ選択プログラム７２及び苦手傾向解析プログラム７３が格納されると共に、情報処理装置７１の補助記憶装置１２に信頼度寄与度データベース７４が格納されている。データ選択プログラム７２及び苦手傾向解析プログラム７３の詳細については、後述する。

信頼度寄与度データベース７４は、信頼度寄与度算出部３３（図１７）により後述のように仮の対象データ（以下、これを仮対象データ）として選択された教師データごとにそれぞれ算出された、その教師データ（仮対象データ）に対するＡＩ予測の予測結果の信頼度に対する各特徴量の寄与度を記憶保持するために利用されるデータベースである。信頼度寄与度データベース７４は、図１６に示すように、ＩＤ欄７４Ａ及び特徴量欄７４Ｂを備えたテーブル構造を有する。図１６の信頼度寄与度データベース７４では、１つの行が１つの仮対象データに対応する。

そしてＩＤ欄７４Ａには、対応する仮対象データに対して付与されたその仮対象データに固有の識別子（仮対象データＩＤ）が格納される。また特徴量欄７４Ｂは、仮対象データを構成する各特徴にそれぞれ対応させて複数の特徴欄７４ＢＡに区分されており、これらの特徴欄７４ＢＡに、後述のように信頼度寄与度算出部３３により算出された、その仮対象データに対する予測器３１の予測結果の信頼度に対する仮対象データの対応する特徴量の寄与度がそれぞれ格納される。

従って、図１６の例の場合、「１」という仮対象データＩＤが付与された仮対象データに対するＡＩ予測の予測結果の信頼度に対する「年齢」という特徴の値（特徴量）の寄与度は「＋５」、「性別」という特徴の値（特徴量）の寄与度は「＋５」、「身長」という特徴の値（特徴量）の寄与度は「＋３」、「体重」という特徴の値（特徴量）は「＋７」、……、「血圧」という特徴の値（特徴量）の寄与度は「＋２」であったことが示されている。

図４との対応部分に同一符号を付した図１７は、本実施の形態の苦手傾向解析機能に関する情報処理装置７１の論理構成を示す。なお環境変化情報提示機能に関する本情報処理装置７１の論理構成は、図４について上述した第１の実施の形態の情報処理装置４の論理構成と同じであるため、ここでの図示及び説明については省略する。

図１７に示すように、情報処理装置７１は、苦手傾向解析機能に関連してデータ選択部８０、合成データ生成部３０、予測器３１、信頼度算出部３２、信頼度寄与度算出部３３、苦手傾向解析部８１及び出力部８２を備える。

データ選択部８０は、情報処理装置７１のＣＰＵ１０が主記憶装置１１に格納された対象データ選択プログラム７２（図１５）を実行することにより具現化される機能部である。データ選択部８０は、教師データデータベース２５に登録されている教師データの中から１つの教師データを仮の対象データ（以下、これを仮対象データと呼ぶ）として選択すると共に、この仮対象データ以外の教師データを予め設定された所定数だけ仮基準データとして選択し、これら仮対象データ及び各仮基準データを合成データ生成部３０に送信する。またデータ選択部８０は、各仮基準データを信頼度算出部３２、信頼度寄与度算出部３３及び苦手傾向解析部８１にも出力する。

そして、この後、これらの各仮基準データ及び仮対象データに基づいて合成データ生成部３０、予測器３１、信頼度算出部３２及び信頼度寄与度算出部３３がそれぞれ図４について上述した各処理を実行することで、信頼度寄与度算出部３３により、仮対象データの予測結果の信頼度の対する仮対象データの各特徴量の寄与度がそれぞれ算出され、これらの寄与度が信頼度寄与度データベース７４にそれぞれ登録される。

同様にして、複数の互いに異なる仮対象データについて、その予測結果の信頼度に対するその仮対象データの各特徴量の寄与度がそれぞれ算出され、算出結果が信頼度寄与度データベース７４にそれぞれ格納される。

苦手傾向解析部８１は、情報処理装置７１のＣＰＵ１０が主記憶装置１１に格納された苦手傾向解析プログラム７３（図１５）を実行することにより具現化される機能部である。苦手傾向解析部８１は、信頼度寄与度データベース７４に登録された、各仮対象データの予測結果の信頼度の対するその仮対象データの各特徴の特徴量の寄与度に基づいて、その特徴の特徴量を複数のカテゴリに分けた場合におけるこれらカテゴリごとのかかる信頼度への寄与度の平均値をそれぞれ算出する。

具体的に、苦手傾向解析部８１は、例えば「年齢」及び「身長」などのように特徴量として連続する値を取り得る特徴の特徴については、「0～10歳」、「10～20歳」、「20～30歳」、……、「90～100歳」及び「100歳～」や、「0～100cm」、「100～110cm」、「110～120cm」、……、「190～200cm」及び「200cm～」のように、その特徴の特徴量を連続する複数のカテゴリに分け、信頼度寄与度データベース７４を参照して、これらのカテゴリごとの特徴量のかかる信頼度への寄与度の平均値をそれぞれ算出する。また苦手傾向解析部８１は、例えば「性別」などのように特徴量として連続しない値を取り得る特徴の特徴については、値（「男」及び「女」）ごとに特徴量のかかる信頼度への寄与度の平均値をそれぞれ算出する。

そして苦手傾向解析部８１は、このようにして算出した各特徴の特徴量のカテゴリごとのかかる信頼度への寄与度を出力部８２に出力する。

出力部８２は、情報処理装置７１のＣＰＵ１０が主記憶装置１１に格納された出力プログラム７５（図１５）を実行することにより具現化される機能部である。出力部８２は、苦手傾向解析部８１から通知された各特徴の特徴量のカテゴリごとのかかる信頼度への寄与度に基づいて、例えば図１８に示すような苦手傾向解析結果画面９０の画面データを生成し、生成した画面データを対応する端末装置３に送信する。かくして、この画面データに基づいてかかる苦手傾向解析結果画面９０がその端末装置３に表示される。

この苦手傾向解析結果画面９０は、特徴選択プルダウンボタン９１及び選択特徴表示欄９２と、苦手傾向解析結果表示領域９３とを備えて構成される。そして苦手傾向解析結果画面９０では、特徴選択プルダウンボタン９１をクリックすることにより、教師データや対象データに特徴量が含まれるすべての特徴が掲載されたプルダウンメニュー９４を表示させることができる。

かくして、ユーザは、プルダウンメニュー９４に掲載された各特徴の中からそのとき所望する特徴をクリック又はタップ等するようにして選択する。このとき選択された特徴の名称を表す文字列が選択特徴表示欄９２に表示される。

また苦手傾向解析結果表示領域９３には、このとき選択された特徴（選択特徴表示欄９２内に名称が表示された特徴）について、その特徴の特徴量のカテゴリごとのかかる信頼度への寄与度の平均値が当該平均値に応じた長さ及び向きの棒グラフで表示される。

かくしてユーザは、苦手傾向解析結果表示領域９３に表示されたその特徴の特徴量のカテゴリごとのかかる信頼度への寄与度の大きさに基づいて予測器３１の苦手傾向、例えば、予測器３１の予測結果の信頼度を下げる要因となる特徴量ごとのカテゴリなどを確認することができる。

図１９は、苦手傾向提示機能に関連してデータ選択部８０により実行されるデータ選択処理の処理内容を示す。データ選択部８０は、この図１９に示す処理手順に従って教師データデータベース２５に格納されている教師データの中から仮対象データ及び仮基準データを選択して合成データ生成部３０等に出力する。

実際上、データ選択部８０は、例えばいずれかの端末装置３からの要求に応じてこの図１９に示すデータ選択処理を開始し、まず、教師データデータベース２５に格納されている教師データの中から任意の１つの教師データを仮対象データとして選択する（Ｓ４０）。

続いて、データ選択部８０は、教師データデータベース２５に格納されている教師データのうち、ステップＳ４０で選択した教師データ以外の教師データを予め設定された所定数だけ仮基準データとして選択する（Ｓ４１）。

そしてデータ選択部８０は、ステップＳ４０で選択した教師データ（仮対象データ）と、ステップＳ４１で選択した各教師データ（仮基準データ）とを合成データ生成部３０及び苦手傾向解析部８１に送信すると共に、ステップＳ４１で選択した各教師データ（仮基準データ）を信頼度算出部３２及び信頼度寄与度算出部３３にそれぞれ出力し（Ｓ４２）、この後、この対象データ選択処理を終了する。

かくして、この後、これら仮対象データや仮基準データを利用して合成データ生成部３０や、予測器３１及び信頼度算出部３２及び信頼度寄与度算出部３３において第１の実施の形態と同様の処理がそれぞれ実行され、この結果として得られた仮対象データについての予測結果の信頼度に対する各特徴量の寄与度が信頼度寄与度算出部３３により算出されて信頼度寄与度データベース７４に格納される。

なおデータ選択部８０は、仮対象データとして選択する教師データを順次他の教師データに切り替えながら予め設定された所定回数だけ図１９の処理を繰り返す。これにより複数の仮対象データについての予測結果の信頼度に対する各特徴量の寄与度が信頼度寄与度算出部３３によりその都度算出されて信頼度寄与度データベース７４に格納される。

一方、図２０は、苦手傾向提示機能に関連して苦手傾向解析部８１により実行される苦手傾向解析処理の処理内容を示す。苦手傾向解析部８１は、この図２０に示す処理手順に従って、予測器３１の苦手傾向（予測の信頼度が低いデータの傾向）を解析する。

実際上、苦手傾向解析部８１は、所定数の合成データの予測結果の信頼度の対する各特徴量の寄与度が信頼度寄与度データベース７４（図１６）に登録されるとこの図２０に示す苦手傾向解析処理を開始し、まず、信頼度寄与度データベース７４に特徴量の寄与度が登録されている各特徴の中からステップＳ５１以降が処理の特徴を１つ選択する（Ｓ５０）。

続いて、苦手傾向解析部８１は、ステップＳ５０で選択した特徴（以下、これを選択特徴と呼ぶ）の値（特徴量）が連続値を取り得るか否かを判断する（Ｓ５１）。そして苦手傾向解析部８１は、この判断で否定結果を得るとステップＳ５３に進む。

これに対して、苦手傾向解析部８１は、ステップＳ５１の判断で肯定結果を得ると、選択特徴の特徴量の範囲を複数の区分に区切るようにして複数のカテゴリに分類する（Ｓ５２）。そして苦手傾向解析部８１は、ステップＳ５２で分類した各カテゴリの中からステップＳ５４以降が未処理のカテゴリを１つ選択する（Ｓ５３）。

続いて、苦手傾向解析部８１は、ステップＳ５３で選択したカテゴリ（以下、これを選択カテゴリと呼ぶ）に含まれる特徴の各値（特徴量）について、仮対象データについての予測結果の信頼度に対する寄与度をそれぞれ算出し、算出結果に基づいて選択カテゴリにおけるこれら寄与度の平均値を算出する（Ｓ５４）。

次いで、苦手傾向解析部８１は、選択特徴のすべてのカテゴリについてステップＳ５４の処理を実行し終えたか否かを判断する（Ｓ５５）。そして苦手傾向解析部８１は、この判断で否定結果を得るとステップＳ５３に戻り、この後、ステップＳ５３で選択するカテゴリをステップＳ５４が未処理の他のカテゴリに順次切り替えながらステップＳ５３～ステップＳ５５の処理を繰り返す。

そして苦手傾向解析部８１は、やがて選択特徴のすべてのカテゴリについて、そのカテゴリにおける仮対象データについての予測結果の信頼度に対する寄与度の平均値を算出し終えることによりステップＳ５５で肯定結果を得ると、すべての特徴についてステップＳ５１以降の処理を実行し終えたか否かを判断する（Ｓ５６）。

苦手傾向解析部８１は、この判断で否定結果を得るとステップＳ５０に戻り、この後、ステップＳ５０で選択する特徴をステップＳ５１以降が未処理の他の特徴に順次切り替えながらステップＳ５０～ステップＳ５６の処理を上述と同様に繰り返す。

そして苦手傾向解析部８１は、やがてすべての特徴について、ステップＳ５１以降の処理を実行し終えることによりステップＳ５６で肯定結果を得ると、ステップＳ５０～ステップＳ５６の処理により得られた各特徴の各カテゴリにおける仮対象データについての予測結果の信頼度に対する寄与度の平均値を出力部８２に出力し（Ｓ５７）、この後、この苦手傾向解析処理を終了する。

以上のように本実施の形態の情報処理装置７１は、予測器３１の苦手傾向を解析して解析結果に基づく苦手傾向解析結果画面９０を端末装置３に表示させるため、ユーザは、端末装置３に表示された苦手傾向解析結果画面９０に基づいて予測器３１の苦手傾向を認識することができる。よって、本情報処理装置７１によれば、ユーザは、かかる認識結果に基づいて、その後の対象データに対する予測結果をどの程度信用できるかを判断することが可能となる。

（４）他の実施の形態
なお上述の第１～第３の実施の形態においては、それぞれの実施の形態による環境変化情報提示機能を１つの情報処理装置に搭載するようにした場合について述べたが、本発明はこれに限らず、かかる環境変化情報提示機能を複数の機能に分解し、各機能をそれぞれ分散コンピューティングシステムを構成する異なるコンピュータ装置に搭載するようにしてもよい。

また上述の第１～第３の実施の形態においては、信頼度算出部３２が算出する各合成データの信頼度をトラストスコアの技術を用いて算出するようにした場合について述べたが、本発明はこれに限らず、トラストスコア以外の例えばドロップアウト（Dropout）などの技術を用いてかかる信頼度を算出するようにしてもよい。

同様に、上述の第１～第３の実施の形態においては、信頼度に対する対象データの各特徴量の寄与度をＳＨＡＰの技術を用いて算出するようにした場合について述べたが、本発明はこれに限らず、要は、摂動ベースの特徴量の寄与度を算出可能な技術であればＳＨＡＰ以外のＬＩＭＥ（Locally Interpretable Model-agnostic Explanations）などの技術を適用するようにしてもよい。

さらに上述の第１～第３の実施の形態においては、出力部３４，８２が信頼度寄与度算出部３３により算出された信頼度に対する対象データの各特徴量の寄与度や、苦手傾向解析部８１の解析結果を端末装置３に表示させることでユーザに提示するようにした場合について述べたが、本発明はこれに限らず、例えば、プリントアウトしたり音声出力するようにしてもよく、これら情報のユーザへの提示方法としては、この他種々の提示方法を適用することができる。

さらに上述の第３の実施の形態においては、第１の実施の形態と同様の環境変化情報提示機能が搭載された情報処理装置７１に第３の実施の形態の苦手傾向提示機能を適用するようにした場合について述べたが、本発明はこれに限らず、第２の実施の形態と同様の環境変化情報提示機能が搭載された情報処理装置に第３の実施の形態の苦手傾向提示機能を適用するようにしてもよい。

本発明は、機械学習モデルを活用した予測システムに広く適用することができる。

１，５０，７０……情報処理システム、３……端末装置、４，５１，７１……情報処理装置、１０……ＣＰＵ、２０，５５……合成データ生成プログラム、２１……ＡＩプログラム、２２……信頼度算出プログラム、２３……信頼度寄与度算出プログラム、２４，７５……出力プログラム、２５……教師データデータベース、２６……基準データデータベース、３０，６２……合成データ生成部、３１……予測器、３２……信頼度算出部、３３……信頼度寄与度算出部、３４，８２……出力部、４０……信頼度寄与度算出結果画面、５２……類似判定プログラム、５３……類似度算出プログラム、５４……類似情報データベース、６０……類似度算出部、６１……類似判定部、７２……データ選択プログラム、７３……苦手傾向解析プログラム、７４……信頼度寄与度データベース、８０……データ選択部、８１……苦手傾向解析部、９０……苦手傾向解析結果画面。

Claims (8)

1. 機械学習モデルを利用した予測システムにおける環境変化を検知するための情報を提示する情報処理装置において、
   予測対象となる対象データと、予め用意した複数の基準データとに基づいて、前記対象データ及び前記基準データを合成した第１の合成データをそれぞれ生成する合成データ生成部と、
   各前記第１の合成データに対する予測を行う予測器と、
   各前記第１の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出する信頼度算出部と、
   各前記第１の合成データについての前記予測結果の前記信頼度に基づいて、前記対象データについての予測結果の信頼度に対する前記対象データの各特徴量の寄与度をそれぞれ算出する信頼度寄与度算出部と、
   前記信頼度寄与度算出部により算出された前記対象データに対する前記予測結果の前記信頼度に対する各前記特徴量の寄与度を出力する出力部と
   を備えることを特徴とする情報処理装置。
2. 前記対象データ及び各前記基準データの類似性の有無をそれぞれ判定する類似判定部をさらに備え、
   前記合成データ生成部は、
   前記類似判定部により前記対象データと類似すると判定された前記基準データと、前記類似判定部により前記対象データと類似しないと判定された前記基準データとで、前記第１の合成データの生成手法を切り替える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記合成データ生成部は、
   前記類似判定部により前記対象データと類似しないと判定された前記基準データについては、最終的に生成される前記第１の合成データ全体において、前記基準データ由来の特徴量の数に偏りが生じることなく、前記基準データ由来の前記特徴量の数が均一に分布するように、前記基準データの前記特徴量と、前記対象データの対応する前記特徴量とを入れ替えるようにして前記第１の合成データを生成し、
   前記類似判定部により前記対象データと類似すると判定された前記基準データについては、前記基準データ由来の前記特徴量の数が１つ以下の前記第１の合成データを生成する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 予め用意された複数の教師データの中から１つの前記教師データを仮対象データとして選択すると共に、残りのすべての又は一部の前記教師データを仮基準データとして選択するデータ選択部と、
   前記予測器の苦手傾向を解析する苦手傾向解析部と
   をさらに備え、
   前記合成データ生成部は、前前記仮対象データ及び各前記仮基準データに基づいて、前記仮対象データ及び前記仮基準データを合成した第２の合成データをそれぞれ生成し、
   前記予測器は、各前記第２の合成データに対する予測を行い、
   前記信頼度算出部は、各前記第２の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出し、
   前記信頼度寄与度算出部は、各前記第２の合成データに対する前記予測器の予測結果の信頼度に基づいて、前記仮対象データについての前記予測結果の前記信頼度に対する前記仮対象データの各前記特徴量の前記寄与度をそれぞれ算出し、
   前記苦手傾向解析部は、前記信頼度寄与度算出部により算出された前記仮対象データについての前記予測結果の前記信頼度に対する前記対象データの各前記特徴量の前記寄与度に基づいて前記予測器の苦手傾向を解析し、
   前記出力部は、前記苦手傾向解析部の解析結果を出力する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 機械学習モデルを利用した予測システムにおける環境変化を検知するための情報を提示する情報処理装置により実行される情報処理方法であって、
   予測対象となる対象データと、予め用意した複数の基準データとに基づいて、前記対象データ及び前記基準データを合成した第１の合成データをそれぞれ生成する第１のステップと、
   各前記第１の合成データに対する予測を行う第２のステップと、
   各前記第１の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出する第３のステップと、
   各前記第１の合成データについての前記予測結果の前記信頼度に基づいて、前記対象データについての予測結果の信頼度に対する前記対象データの各特徴量の寄与度をそれぞれ算出する第４のステップと、
   算出した前記対象データに対する前記予測結果の前記信頼度に対する各前記特徴量の寄与度を出力する第５のステップと
   を備えることを特徴とする情報処理方法。
6. 前記第１のステップでは、
   前記対象データ及び各前記基準データの類似性の有無をそれぞれ判定し、
   前記対象データと類似すると判定した前記基準データと、前記類似判定部により前記対象データと類似しないと判定した前記基準データとで、前記第１の合成データの生成手法を切り替える
   ことを特徴とする請求項５に記載の情報処理方法。
7. 前記第１のステップでは、
   前記対象データと類似しないと判定した前記基準データについては、最終的に生成される前記第１の合成データ全体において、前記基準データ由来の特徴量の数に偏りが生じることなく、前記基準データ由来の前記特徴量の数が均一に分布するように、前記基準データの前記特徴量と、前記対象データの対応する前記特徴量とを入れ替えるようにして前記第１の合成データを生成し、
   前記対象データと類似すると判定した前記基準データについては、前記基準データ由来の前記特徴量の数が１つ以下の前記第１の合成データを生成する
   ことを特徴とする請求項６に記載の情報処理方法。
8. 前記第１のステップでは、
   予め用意された複数の教師データの中から１つの前記教師データを仮対象データとして選択すると共に、残りの前記教師データのすべての前記教師データ又は一部の前記教師データを仮基準データとして選択し、
   前記仮対象データ及び各前記仮基準データに基づいて、前記仮対象データ及び前記仮基準データを合成した第２の合成データをそれぞれ生成し、
   前記第２のステップでは、
   各前記第２の合成データに対する予測を行い、
   前記第３のステップでは、
   各前記第２の合成データに対する前記予測器の予測結果の信頼度をそれぞれ算出し、
   前記第４のステップでは、
   前記第２の合成データについての前記予測結果の前記信頼度に対する前記仮対象データの各前記特徴量の前記寄与度をそれぞれ算出し、
   算出した前記第２の合成データについての前記予測結果の前記信頼度に対する前記対象データの各前記特徴量の前記寄与度に基づいて予測の苦手傾向を解析し、
   前記第５のステップでは、
   前記苦手傾向解析部の解析結果を出力する
   ことを特徴とする請求項５に記載の情報処理方法。

Images