JP2023069081A - 説明プログラム、説明方法および情報処理装置 - Google Patents

説明プログラム、説明方法および情報処理装置 Download PDF

Info

Publication number
JP2023069081A
JP2023069081A JP2021180686A JP2021180686A JP2023069081A JP 2023069081 A JP2023069081 A JP 2023069081A JP 2021180686 A JP2021180686 A JP 2021180686A JP 2021180686 A JP2021180686 A JP 2021180686A JP 2023069081 A JP2023069081 A JP 2023069081A
Authority
JP
Japan
Prior art keywords
data
machine learning
learning model
results
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021180686A
Other languages
English (en)
Inventor
賢 等々力
Masaru Todoroki
弘治 丸橋
Hiroharu Maruhashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021180686A priority Critical patent/JP2023069081A/ja
Priority to US17/945,102 priority patent/US20230133868A1/en
Publication of JP2023069081A publication Critical patent/JP2023069081A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Discrete Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】より信頼性の高い説明情報を得ることができる説明プログラム、説明方法及び情報処理装置を提供する。【解決手段】情報処理装置において、説明プログラムは、複数のデータを生成する処理と、算出する処理と、線形モデルを生成する処理と、出力する処理とをコンピュータに実行させる。複数のデータを生成する処理は、第１のデータに基づいて、複数のデータを生成する。算出する処理は、複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、第１のデータを機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出する。線形モデルを生成する処理は、算出した割合が基準を満たしている場合、複数のデータと複数の結果とに基づいて線形モデルを生成する。出力する処理は、線形モデルに基づいて、第１の結果に対する説明情報を出力する。【選択図】図６

Description

特許法第３０条第２項適用申請有り ２０２１ ＩＥＥＥ １１ｔｈ Ａｎｎｕａｌ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｗｏｒｋｓｈｏｐ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ （ＣＣＷＣ） Ｖｉｒｔｕａｌ Ｃｏｎｆｅｒｅｎｃｅ 公開日 令和３年１月２７日～３０日
本発明の実施形態は、機械学習モデルの推論結果に対する説明技術に関する。
機械学習の進展に伴って高性能の機械学習モデルが得られる一方で、機械学習モデルの推論結果を説明することが求められている。推論結果が得られる理由や根拠を説明するＸＡＩ技術として、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）と呼ばれるアルゴリズムが提案されている。
ＬＩＭＥでは、説明対象データの近傍に新たなデータを生成し、それらの近傍データを用いて、説明変数に関する機械学習モデルの線形近似モデル（以下、線形モデル）が構築される。この線形モデルからは、近傍データと予測結果との関係より、説明対象データに対する説明変数の偏回帰係数値が得られる。ＬＩＭＥでは、このように機械学習モデルの線形モデルより得られた偏回帰係数値が大きいほど、予測結果を説明する上で重要な説明変数とみなすことができ、推論結果の根拠となる説明が得られる。
特開２０１９－１９１８９５号公報 米国特許出願公開第２０２０／０２７９１８２号明細書 特開２０２０－１４０４６６号公報
しかしながら、上記の従来技術では、線形モデルを用いて推論結果に対する説明情報を生成する場合、線形モデルを生成するための近似データによっては、説明情報の信頼性が低くなる場合があるという問題がある。
例えば、説明対象データがノードとエッジとを含むグラフデータなどの場合は、複雑なデータ構造を有し、多種多様なバリエーションが存在するため、線形モデル生成に適切な近傍データを生成することは困難である。このため、線形モデルの精度が悪くなることがあり、説明情報の信頼性が低くなる。
１つの側面では、より信頼性の高い説明情報を得ることができる説明プログラム、説明方法および情報処理装置を提供することを目的とする。
１つの案では、説明プログラムは、複数のデータを生成する処理と、算出する処理と、線形モデルを生成する処理と、出力する処理とをコンピュータに実行させる。複数のデータを生成する処理は、第１のデータに基づいて、複数のデータを生成する。算出する処理は、複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、第１のデータを機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出する。線形モデルを生成する処理は、算出した割合が基準を満たしている場合、複数のデータと複数の結果とに基づいて線形モデルを生成する。出力する処理は、線形モデルに基づいて、第１の結果に対する説明情報を出力する。
より信頼性の高い説明情報を得ることができる。
図１は、近傍データの一例を説明する説明図である。 図２は、近傍データの生成を説明する説明図である。 図３は、近傍データの生成法を説明する説明図である。 図４は、クラスが変化した近傍データの割合と説明精度との関係を説明する説明図である。 図５は、クラスが変化した近傍データの割合と説明精度との関係を説明する説明図である。 図６は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 図７は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。 図８は、コンピュータ構成の一例を説明する説明図である。
以下、図面を参照して、実施形態にかかる説明プログラム、説明方法および情報処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する説明プログラム、説明方法および情報処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
実施形態にかかる情報処理装置は、ＬＩＭＥのアルゴリズムを用いて、説明対象データに対する機械学習モデルの推論結果を説明する説明情報を生成し、生成した説明情報を出力する装置である。例えば、実施形態にかかる情報処理装置としては、ＰＣ（Personal Computer）などを適用できる。
説明対象データについては、表データ、テキストデータ、画像データ、グラフデータなどがある。実施形態では、一例として説明対象データをグラフデータとする。
表データは、例えば２次元上に整然と並ぶ、数値、カテゴリなどのデータである。この表データでは、表上に存在する値（例えば年齢、性別、国籍等）が特徴量となる。テキストデータは、例えば１次元上に連続的に並ぶ単語列などのデータである。このテキストデータでは、特定の単語に続いて出現する単語の確率などが特徴量となる。画像データは、例えば２次元上に整然と並ぶピクセルとその色情報などのデータである。この画像データでは、ピクセルの位置、色、それらの派生情報などが特徴量となる。
グラフデータは、ノードと、ノード同士を接続するエッジによるグラフ構造を示すデータであり、例えば多次元上に非構造に存在する、ノードとノード間を結ぶエッジの集合と、それらの属性情報などのデータである。このグラフデータでは、ノード数、エッジ数、分岐数、ホップ数、部分グラフ構造を表す情報、ノードの接続情報、最短経路情報などが特徴量となる。
ここで、情報処理装置が実行するＬＩＭＥアルゴリズムの概要を説明する。ＬＩＭＥアルゴリズムでは、説明対象のデータである入力インスタンスに対し、データの一部を変動させることで、一様に分布する近傍データを生成（例えば入力インスタンスに対して１００～１０００程度）する。
ついで、ＬＩＭＥアルゴリズムでは、生成した近傍データを機械学習モデルに入力として与えて出力（近傍データの推測結果）を得る。この機械学習モデルからの出力は、例えば、クラス分類であればクラスの予測確率、リグレッションであれば数値的な予測値である。
図１は、近傍データの一例を説明する説明図である。具体的には、図１では、入力インスタンスＩＮ１に含まれる特徴量を単純化（２値化）して特徴空間を平面として描いている。また、図１における網掛けは、機械学習モデルにおけるクラス分類の結果（Ｃｌａｓｓ Ａ（濃い網掛け）またはＣｌａｓｓ Ｂ（薄い網掛け））を示している。
図１のケースＣ１に示すように、入力インスタンスＩＮ１について、データに含まれる一部の特徴量を変動させることで、複数の近傍データＮ１、Ｎ２を生成する。ここで、近傍データＮ１は推測結果がＣｌａｓｓ Ａに属するデータであり、近傍データＮ２は推測結果がＣｌａｓｓ Ｂに属するデータである。
ついで、ＬＩＭＥアルゴリズムでは、各近傍データＮ１、Ｎ２を距離関数（例えばテキスト分類であればｃｏｓ類似度）に入力として与えて、距離情報を得る。ついで、ＬＩＭＥアルゴリズムでは、各近傍データＮ１、Ｎ２の距離情報をカーネル関数（例えば指数カーネル等）に入力として与えて、サンプル重み（類似度）を得る。
ついで、ＬＩＭＥアルゴリズムでは、各近傍データＮ１、Ｎ２の特徴量を説明変数（ｘ１、ｘ２…ｘｎ）、各近傍データＮ１、Ｎ２の出力（推測結果）を目的変数（ｙ）としてリッジ回帰などの回帰演算により線形モデルｇで近似する。この回帰演算では、最適化する際に、サンプル重み（類似度）で各近傍データＮ１、Ｎ２に重みを付けてもよい。これにより、ＬＩＭＥアルゴリズムでは、説明対象データである入力インスタンスＩＮ１について、次の式のような各説明変数（ｘ１、ｘ２…ｘｎ）に関する線形モデルｇを得る。
ｙ＝β１ｘ１＋β２ｘ２＋…＋βｎｘｎ
上記の線形モデルｇの式において、係数（β１、β２、…βｎ）が大きな特徴量は予測への寄与度（影響）が大きい特徴量と見なせる。逆に、係数が小さい特徴量は、予測への寄与度が小さい特徴量と見なせる。
一例として、線形モデルｇが次のような係数の式であるものとする。
ｙ＝１０．５ｘ１＋（－０．０２）ｘ２＋…＋０．３５ｘｎ
この場合、特徴量ｘ１の係数は１０．５と比較的に大きいことから、特徴量ｘ１の変化に伴って出力ｙが増加する傾向にある。よって、特徴量ｘ１は、予測への寄与度が大きい重要な特徴と見なせる。
また、特徴量ｘ２については、係数が（－０．０２）と比較的に小さいことから、特徴量ｘ２が変化しても出力ｙはほとんど変化しない。よって、特徴量ｘ２は、予測への寄与度が小さい重要ではない特徴と見なせる。
情報処理装置は、このようにしてＬＩＭＥアルゴリズムにより求めた重要な特徴量（説明変数）を、説明対象データである入力インスタンスＩＮ１に対する機械学習モデルの推論根拠を示す説明情報として出力する。
ここで、説明情報の信頼性は、入力インスタンスＩＮ１より生成した近傍データＮ１、Ｎ２の特徴空間における分布状態の影響を大きく受ける。例えば、図１のケースＣ２に示すように、特徴空間において、入力インスタンスＩＮ１より離れた想定外の近傍データＮ１、Ｎ２が生成される場合、または、近傍データＮ１、Ｎ２の数が少ない場合は、説明情報を得るための線形モデルｇを求めることが困難となる。
また、図１のケースＣ３に示すように、Ｃｌａｓｓ Ａに属する近傍データＮ１の数と、Ｃｌａｓｓ Ｂに属する近傍データＮ２の数とに大きな偏りがある場合（図示例では近傍データＮ１に偏っている）、線形モデルｇはその偏りの影響を受けたものとなる。
また、図１のケースＣ４に示すように、近傍データＮ１、Ｎ２の数はほぼ同数であっても、分布が一様でない（分布に偏りがある）場合（図示例では近傍データＮ２が入力インスタンスＩＮ１から離れたところに集中）、線形モデルｇはその分布における偏りの影響を受けたものとなる。
このような近傍データＮ１、Ｎ２の分布状態を正確に制御することは困難であり、特に入力インスタンスＩＮ１がグラフデータの場合は、グラフデータにおける複雑なグラフ構造により近傍データＮ１、Ｎ２の分布状態の制御は極めて難しい。
図２は、近傍データの生成を説明する説明図である。図２に示すように、説明対象データである入力インスタンスＩＮ１１、ＩＮ１２は、ノードとエッジとによるグラフ構造を有するグラフデータである。なお、図示例では、三角形問題（Ｔｒｉａｎｇｌｅ部分があるか否か）により、クラス分類（クラス０：Ｔｒｉａｎｇｌｅ部分なし、クラス１：Ｔｒｉａｎｇｌｅ部分あり）が行われるものとする。
例えば、クラス１に属する入力インスタンスＩＮ１２より、データの一部を変動（１つのエッジを除去）させて生成した近傍データＮ１１は、Ｔｒｉａｎｇｌｅ部分なしとなり、クラスが１→０に変わる。これに対し、さらに大きな変動（１つのエッジを除去＋ノードも除去）により生成した近傍データＮ１２は、Ｔｒｉａｎｇｌｅ部分ありのままであり、クラスの変動はない。
図３は、近傍データの生成法を説明する説明図である。図３に示すように、グラフ構造を有する入力インスタンスＩＮ１１、ＩＮ１２からの近傍データの生成法は、例えばエッジに着目した場合、エッジを除く、エッジを加える、エッジを付け替えるなどがある。
エッジを除く場合は、エッジの取り除きに応じてノード数、エッジ数が減少する。エッジを加える場合は、エッジの増加に応じてノード数、エッジ数が増加する。エッジを付け替える場合は、ノード数、エッジ数は不変となる。また、グラフデータを元にした近傍データの生成法では、元のグラフ構造を分離してバラバラの状態を許す場合と、許さない場合とがある。
グラフデータを元にした近傍データの生成は、上記の方法のいずれか１つまたは複数の組み合わせがあり得る。したがって、グラフ構造を有する入力インスタンスＩＮ１１、ＩＮ１２より近傍データＮ１１、Ｎ１２等を生成する場合は、近傍データＮ１、Ｎ２の分布状態を制御することは極めて困難である。
また、グラフ構造の近傍データＮ１１、Ｎ１２等に対する距離関数については、グラフ分割に基づく距離、隣接行列・接続行列の編集距離、ｃｏｓ類似度、グラフカーネル関数等がある。グラフカーネル関数には、Ｒａｎｄｏｍ ｗａｌｋ ｋｅｒｎｅｌｓ、ｓｈｏｒｔｅｓｔ ｐａｔｈ、ｇｒａｐｈｌｅｔ ｋｅｒｎｅｌ、Ｗｅｉｓｆｅｉｌｅｒ－Ｌｅｈｍａｎ ｋｅｒｎｅｌｓ、ＧｒａｐｈＨｏｐｐｅｒ ｋｅｒｎｅｌ、Ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ、Ｎｅｕｒａｌ ｍｅｓｓａｇｅ ｐａｓｓｉｎｇ、ＧｒａｐｈＳＡＧＥ、ＳｐｌｉｎｅＣＮＮ、ｋ－ＧＮＮなどがある。近傍データの分布の評価は、これらの距離関数の選択によって変わる。
また、グラフデータに対する機械学習モデルについても、Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ （ＧＮＮ）、Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ （ＧＣＮ）、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ （ＳＶＭ） ｗｉｔｈ Ｇｒａｐｈ Ｋｅｒｎｅｌ等の様々なものがある。このため、説明情報の生成においては、選択した機械学習モデルの予測精度の影響を受ける場合がある。
例えば、機械学習モデルの予測精度が高い場合、グラフ構造の近傍データＮ１１、Ｎ１２のクラス判定に安定性が得られ、線形モデルｇの信頼性が向上する。なお、予測精度が高くても、グラフ構造の近傍データＮ１１、Ｎ１２の分布状態に偏りなどがある場合は、線形モデルｇの精度に影響が生じる場合がある。また、機械学習モデルの予測精度が低い場合、グラフ構造の近傍データＮ１１、Ｎ１２のクラス判定に曖昧さが生じ、線形モデルｇの信頼性が低下する。
このように、近傍データＮ１１、Ｎ１２の分布状態を正確に制御することは困難であることから、発明者は、過去の事例の統計により、高い説明精度が得られる汎用的な条件を調べた。
具体的には、発明者は、近傍データＮ１１、Ｎ１２…のそれぞれを機械学習モデルに入力した場合に出力される複数の結果を調べた。ついで、発明者は、近傍データＮ１１、Ｎ１２…による複数の結果をもとに、近傍データＮ１１、Ｎ１２…の元となる説明対象データ（入力インスタンスＩＮ１２）を機械学習モデルに入力した場合に出力される結果と異なる出力結果の割合を求めた。
説明情報を得るための線形モデルｇを構築するにはクラスが変わる近傍データ（境界線に近い）が存在することを要するため、求めた割合は、少なくとも５０％が基準になることが妥当と思われる。そこで、発明者は、近傍データＮ１１、Ｎ１２…のそれぞれを機械学習モデルに入力した場合に出力される複数の結果の説明精度（Ｒ１００）を計算し、求めた割合を評価した。
説明精度（Ｒ１００）は次のとおりである。
１．エッジ毎に説明スコアを計算し、［－１，１］で正規化する（プラスは分類に寄与）。
２．正規化された説明スコアでランキングする。
３．上位ｎ個が、正解エッジと合致するかどうかの割合で説明精度を計算する。
例えば、説明精度（Ｒ１００，ｎ＝３）の場合、Ｒ１００＝（上位３個のうち正解エッジと合致した数）／（正解エッジ数）として計算する。Ｒ１００は、Ｒｅｃａｌｌ １００％においてＲ１００ ＝１．０に対応する説明精度の評価値である。
図４は、クラスが変化した近傍データの割合と説明精度との関係を説明する説明図である。具体的には、図４のグラフＧ１０は、説明対象データに対してクラスが変化した近傍データの割合（ｃ１ｔｏｒａｔｏ）と説明精度（Ｒ１００）との関係を度数分布（頻度グラフ）で表現したものである。グラフＧ１０において、縦軸は説明精度（Ｒ１００）を、横軸は説明対象データに対してクラスが変化した近傍データの割合（ｃ１ｔｏｒａｔｏ）を示している。図４のグラフＧ１０からは、割合（ｃ１ｔｏｒａｔｏ）の増加に従って説明精度（Ｒ１００）も増加する右上がりの傾向（図中の矢印）が分かる。
また、発明者は、説明対象データのデータセット、近傍データの生成法等の条件を変えて上記の傾向を調べた。具体的には、発明者は、近傍データの生成法をエッジ削除（グラフ構造の分離なし）、距離関数（ＷＬ－Ｋｅｒｎｅｌ／ｃｏｓ類似度）、機械学習モデル（ＧＣＮ（予測精度Ａｃｃｕｒａｃ＝１．０））、データ拡張（Ｎｏｉｓｅ有／無）としてグラフＧ１０を求めた。
図５は、クラスが変化した近傍データの割合と説明精度との関係を説明する説明図である。図５において、ケースＣ１１は、距離関数がＷＬ－Ｋｅｒｎｅｌのケースを示す。また、ケースＣ１２は、距離関数がｃｏｓ類似度のケースを示す。また、データセットは、グラフ構造にＧｒｉｄ部分があるＴｒｅｅＧｒｉｄ、Ｃｙｃｌｅ部分があるＴｒｅｅＣｙｃｌｅおよびＴｒｉａｎｇｌｅ部分があるＴｒｉａｎｇｌｅの３種類である。
図５のケースＣ１１、Ｃ１２に示すように、ｃ１ｔｏ０ｒａｔｉｏが凡そ６０～８０％の範囲において、多くの検証例で高い説明精度が得られた（８０％以上では、低いＲ１００（悪い説明精度）になる場合があった）。また、予測精度（Ａｃｃ：ａｃｃｕｒａｃｙ）が低い場合は、上記の条件の信頼性（説明精度）が低下する場合があった。
また、予想された結果であるが、ＷＬ－Ｋｅｒｎｅｌの方が、ｃｏｓ類似度よりも、説明精度（縦軸方向）のバラツキが小さい傾向が見られ、グラフデータの距離の評価にはより適合する傾向が見られた。また、データ拡張（Ｎｏｉｓｅ）を実施した場合の方が、説明精度（Ｒ１００）のバラツキが小さくなる傾向があった。
機械学習モデルで説明精度に違いがあることが確認できたが、これは予測精度の影響に依るものと思われる（ＳＶＭ ｗｉｔｈ Ｇｒａｐｈ Ｋｅｒｎｅｌでは、予測精度が低く、説明精度も低い傾向があった）。
予測精度（Ａｃｃ）が高く、ｃ１ｔｏ０ｒａｔｉｏが、ある特定の範囲にあれば、高い信頼性の下で、高い説明精度が得られる可能性がある。特定の範囲は、例えば、５０％以上であってもよい。さらに、ｃ１ｔｏ０ｒａｔｉｏが、８０％程度を超えるような場合は、クラス間の近傍データ数のバランスの崩れや境界線から遠い近傍データの増加に依る線形モデルｇの精度の低下が予想される為、５０％は超えるが、大きくは超えない、凡そ６０～８０％がより好ましいと考えられる。
以上のことから、高い説明精度を得るようにするための近傍データの汎用的な条件は、説明対象データに対してクラスが変化した近傍データの割合（ｃ１ｔｏｒａｔｏ）が特定の基準（例えば６０～８０％の範囲）を満たすこととする。
すなわち、実施形態にかかる情報処理装置は、ＬＩＭＥのアルゴリズムを用いて、説明対象データに対する機械学習モデルの推論結果を説明する説明情報を生成する際に、説明対象データに対してクラスが変化した近傍データの割合（ｃ１ｔｏｒａｔｏ）を算出する。ついで、情報処理装置は、算出した割合が基準（例えば６０～８０％の範囲）を満たしている場合、複数の近傍データとそれらの結果とに基づいて線形モデルｇを生成し、生成した線形モデルｇに基づく説明情報を出力する。これにより、実施形態にかかる情報処理装置からは、より信頼性の高い説明情報を得ることができる。
図６は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図６に示すように、情報処理装置１は、入出力部１０と、記憶部２０と、制御部３０とを有する。
入出力部１０は、制御部３０が各種情報の入出力を行う際のＧＵＩ（Graphical User Interface）等の入出力インタフェースを司る。例えば、入出力部１０は、情報処理装置１に接続されるキーボードやマイク等の入力装置や液晶ディスプレイ装置などの表示装置との入出力インタフェースを司る。また、入出力部１０は、ＬＡＮ（Local Area Network）等の通信ネットワークを介して接続する外部機器との間でデータ通信を行う通信インタフェースを司る。
例えば、情報処理装置１は、入出力部１０を介して説明対象データ（入力インスタンスＩＮ１１、ＩＮ１２等）の入力を受け付ける。また、情報処理装置１は、入出力部１０のＧＵＩを介して各種設定（例えば、機械学習モデル、距離関数の選択、近傍データの生成法等）を受け付ける。
記憶部２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。記憶部２０は、データセット２１、機械学習モデル情報２２、距離関数情報２３、近傍データ２４、線形近似モデル情報２５および説明スコア２６などを格納する。
データセット２１は、機械学習モデルの訓練に用いる訓練データのセットである。例えば、データセット２１は、各事例について、推論の正解となる正解フラグが付与されたデータを含む。
機械学習モデル情報２２は、機械学習モデルに関するデータである。例えば、機械学習モデル情報２２は、勾配ブースティング木、ニューラルネットワークなどの訓練済み機械学習モデルに含まれるパラメータ等である。
距離関数情報２３は、距離関数に関する情報である。例えば、距離関数情報２３は、グラフ分割に基づく距離、隣接行列・接続行列の編集距離、ｃｏｓ類似度、グラフカーネル関数等の距離関数に関する演算式および演算に用いるパラメータなどを含む。
近傍データ２４、線形近似モデル情報２５および説明スコア２６は、ＬＩＭＥ等の演算時において説明対象データ（入力インスタンスＩＮ１１、ＩＮ１２等）をもとに生成したデータである。近傍データ２４は、説明対象データをもとに、一部を変動させることで生成した１００～１０００程度の近傍のデータである。線形近似モデル情報２５は、複数の近傍データとそれらの結果とに基づいて生成した線形モデルｇに関する情報であり、例えば各特徴量（説明変数）における係数値などを含む。説明スコア２６は、線形モデルｇを用いて求めた説明情報に対する値である。
制御部３０は、機械学習部３１、近傍データ生成部３２、割合算出部３３、線形モデル生成部３４および出力部３５を有する。制御部３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部３０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
機械学習部３１は、データセット２１を用いた公知の機械学習により機械学習モデルを生成する処理部である。機械学習部３１は、ＧＵＩ等を介して予め選択・決定された機械学習アルゴリズムでのデータセット２１による機械学習を行い、訓練済みの機械学習モデルに関する情報を機械学習モデル情報２２として記憶部２０に格納する。機械学習部３１が生成する機械学習モデルは、ＧＮＮ、ＧＣＮ、ＳＶＭ ｗｉｔｈ Ｇｒａｐｈ Ｋｅｒｎｅｌ等の公知の機械学習アルゴリズムに基づく機械学習モデルであってもよい。
近傍データ生成部３２は、入出力部１０を介して受け付けた説明対象データ（入力インスタンスＩＮ１１、ＩＮ１２等）をもとに、説明対象データに対応する近傍データ２４を複数生成する処理部である。
具体的には、近傍データ生成部３２は、ＧＵＩ等を介した設定に応じて決定した近傍データの生成法をもとに、説明対象データの一部を変動させることで所定数の近傍データ２４（１００～１０００程度）を生成し、記憶部２０に格納する。
割合算出部３３は、説明対象データに対してクラスが変化した近傍データ２４の割合（ｃ１ｔｏｒａｔｏ）を算出する処理部である。
具体的には、割合算出部３３は、機械学習モデル情報２２をもとに構築した機械学習モデルに説明対象データを入力して説明対象データに対する推論結果（例えばクラス）を得る。ついで、割合算出部３３は、近傍データ２４毎に機械学習モデルに入力し、近傍データ２４ごとの推論結果を得る。ついで、割合算出部３３は、得られた推論結果をもとに、近傍データ２４の推論結果の中で説明対象データの推論結果と異なる割合（ｃ１ｔｏｒａｔｏ）を計算する。
線形モデル生成部３４は、割合算出部３３が算出した割合が特定の基準（例えば６０～８０％の範囲）を満たしている場合、複数の近傍データ２４とそれらの推論結果とに基づいて線形モデルｇを生成する処理部である。
具体的には、線形モデル生成部３４は、ＧＵＩ等を介して予め設定された基準を割合算出部３３が算出した割合が満たすか否かを判定する。基準を満たす場合、線形モデル生成部３４は、距離関数情報２３を参照し、ＧＵＩ等を介した設定に応じて決定した距離関数、近傍データ２４および近傍データ２４の推論結果を用いて、上述した公知の手法により線形モデルｇを生成する。ついで、線形モデル生成部３４は、生成した線形モデルｇに関する線形近似モデル情報２５を記憶部２０に格納する。
出力部３５は、線形近似モデル情報２５の線形モデルｇをもとに、説明スコア２６（説明情報）を算出して出力する処理部である。具体的には、出力部３５は、上述した公知の手法により線形モデルｇの各特徴量（説明変数）における係数値をもとに、各特徴量における予測への寄与度を計算し、説明スコア２６として記憶部２０に格納する。ついで、出力部３５は、入出力部１０を介して説明スコア２６をディスプレイや外部機器に出力する。
図７は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。図７における左側のフローチャートは、機械学習部３１が実行する機械学習に関する処理を示している。図７における右側のフローチャートは、近傍データ生成部３２、割合算出部３３、線形モデル生成部３４および出力部３５が実行する説明情報の出力に関する処理を示している。
まず、機械学習に関する動作について説明する。図７に示すように、機械学習に関する処理が開始されると、機械学習部３１は、ＧＵＩ等を介した設定に基づいて機械学習アルゴリズムを決定する（Ｓ１）。具体的には、機械学習部３１は、ＧＮＮ、ＧＣＮ、ＳＶＭ ｗｉｔｈ Ｇｒａｐｈ Ｋｅｒｎｅｌ等の公知のモデルの中からＧＵＩ等で選択された機械学習アルゴリズムに決定する。
ついで、機械学習部３１は、データセット２１をもとに、決定した機械学習アルゴリズムに従って機械学習モデルの訓練を行う（Ｓ２）。ついで、機械学習部３１は、データセット２１において機械学習に用いていない検証用のデータセットを用いて、訓練済みの機械学習モデルの精度（Ａｃｃ）を検証する。精度の検証については、公知の検証手法が用いられても良い。機械学習部３１は、この検証結果をもとに、機械学習モデルの精度が予め設定された想定基準（例えばＡｃｃが閾値以上）を満たすか否かを判定する（Ｓ３）。
想定基準を満たす場合（Ｓ３：Ｙｅｓ）、機械学習部３１は、訓練済みの機械学習モデルに関するパラメータ等の情報を機械学習モデル情報２２として記憶部２０に格納し、機械学習に関する処理を抜ける。
想定基準を満たしていない場合（Ｓ３：Ｎｏ）、機械学習部３１は、次の（１）～（３）のいずれかを実施した上で、Ｓ２へ処理を戻す（Ｓ４）。このように、機械学習部３１は、想定基準を満たすまで機械学習モデルの再訓練を行う。
（１）ＧＮＮ、ＧＣＮ、ＳＶＭ ｗｉｔｈ Ｇｒａｐｈ Ｋｅｒｎｅｌ等の中の機械学習モデルを変更する。
（２）データセット２１のデータ拡張（ノイズを付加してデータ数を増やす）を実施する。
（３）（１）および（２）の両方を実施する。
次に、説明情報の出力に関する処理について説明する。説明情報の出力に関する処理が開始されると、近傍データ生成部３２は、入出力部１０を介して入力された入力インスタンスＩＮ１１、ＩＮ１２…等の中から、ＧＵＩ等により説明対象データの選択を受け付ける（Ｓ１１）。
ついで、近傍データ生成部３２は、ＧＵＩ等を介した設定に基づいて近傍データの生成法を決定する（Ｓ１２）。例えば、近傍データ生成部３２は、近傍データの生成法としては、グラフデータにおけるエッジを除く／エッジを加える／エッジを付け替えるについていずれかの操作、または、それらの組み合わせの中から設定に基づいて生成法を決定する。近傍データ生成部３２は、設定に基づいて元のグラフ構造を分離してバラバラの状態を許す／許さないについて選択を行ってもよい。
ついで、近傍データ生成部３２は、決定した生成法をもとに、説明対象データの一部を変動させることで所定数の近傍データ２４を生成する（Ｓ１３）。
ついで、割合算出部３３は、機械学習モデル情報２２をもとに構築した機械学習モデルに説明対象データを入力して説明対象データに対する推論結果（例えばクラス）を得る。同様に、割合算出部３３は、近傍データ２４毎に機械学習モデルに入力し、近傍データ２４ごとの推論結果（例えば、クラス）を予測する（Ｓ１４）。
これにより、割合算出部３３は、Ｓ１４で得られた推論結果をもとに、近傍データ２４の推論結果の中で説明対象データの推論結果と異なるものの割合（ｃ１ｔｏｒａｔｏ）を計算する。
ついで、線形モデル生成部３４は、説明対象データの推論結果から推論結果が変化した近傍データ２４の割合（ｃ１ｔｏｒａｔｏ）がＧＵＩ等を介して設定されたある基準（例えば６０～８０％の範囲）を満たすか否かを判定する（Ｓ１５）。
近傍データ２４の割合（ｃ１ｔｏｒａｔｏ）が基準を満たさない場合（Ｓ１５：Ｎｏ）、線形モデル生成部３４は、機械学習モデルの精度（Ａｃｃ）をもとに、機械学習モデルの再訓練の要否を判定する（Ｓ１６）。例えば、機械学習モデルの想定基準が低めに設定されている場合は、想定基準を満たしたとしても高精度な機械学習モデルとまでは言えない場合がある。一例として、機械学習モデルが分離境界を複雑に学習してしまっているケース（線形近似しにくい）がある。したがって、線形モデル生成部３４は、機械学習モデルの精度が想定基準よりも更に厳しく設定した基準を満たしていない場合、再訓練を行うものと判定する。また、例えば、基準を満たさない近傍データを使って線形近似モデルを作成し、近傍データのその線形近似モデルに基づく判定結果と、機械学習モデルによる推論結果とを比較して一致率が低い（近似できていないと解釈できる）場合には、機械学習モデルが線形近似に基づく説明に適していないと判断（Ｓ１６）して、線形モデル生成部３４が再訓練を行うものと判定する（再度訓練からやり直す）といった処理を行ってもよい。
機械学習モデルの再訓練を行う場合（Ｓ１６：Ｙｅｓ）、線形モデル生成部３４は、機械学習部３１に通知して機械学習モデルの再訓練を実施させる。線形モデル生成部３４の通知を受けた機械学習部３１は、Ｓ４より処理をスタートし、機械学習モデルの再訓練を行う。
機械学習モデルの再訓練を行わない場合（Ｓ１６：Ｎｏ）、線形モデル生成部３４は、Ｓ１２へ処理を戻す。なお、上述した機械学習モデルの再訓練の有無については、機械学習モデルの精度（Ａｃｃ）をもとに、機械学習モデルの再訓練の要否をＧＵＩ等を介してユーザに通知し、ユーザが判断した結果をＧＵＩより受け付けてもよい。
近傍データ２４の割合（ｃ１ｔｏｒａｔｏ）が基準を満たす場合（Ｓ１５：Ｙｅｓ）、線形モデル生成部３４は、ＧＵＩ等を介した設定に応じて距離関数を決定する（Ｓ１７）。ついで、線形モデル生成部３４は、近傍データ２４および近傍データ２４の推論結果（予測クラス）、距離関数を用いて、上述した公知の手法により線形モデルｇを生成する（Ｓ１８）。
ついで、出力部３５は、生成した線形モデルｇをもとに、説明スコア２６（説明情報）を算出して出力する（Ｓ１９）。
以上のように、情報処理装置１は、説明対象データに基づいて複数の近傍データを生成する。ついで、情報処理装置１は、複数の近傍データのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、説明対象データを機械学習モデルに入力した場合に出力される結果と異なる出力結果の割合を算出する。ついで、情報処理装置１は、算出した割合が基準を満たしている場合、複数の近傍データとそれらの結果とに基づいて線形モデルｇを生成し、生成した線形モデルｇに基づいて、説明対象データの結果に対する説明情報を出力する。
説明対象データに対し、複数の近傍データのクラス（機械学習モデルの出力結果）が変化した割合（ｃ１ｔｏ０ｒａｔｉｏ）が基準（例えば０．６～０．８）を満たす場合には、説明精度（例えばＲ１００）が高くなる傾向がある。したがって、情報処理装置１は、上記の割合が基準を満たす場合に、近傍データを用いて説明情報に関する線形モデルｇを生成するので、より信頼性の高い説明情報を得ることができる。
また、情報処理装置１における説明対象データは複数のノードとノード同士を結ぶエッジとを含むグラフ構造を示すグラフデータであり、情報処理装置１は、説明対象のグラフデータに基づいて、指定されたグラフ構造の条件を満たす複数の近傍データを生成する。これにより、情報処理装置１では、説明対象のグラフデータについて、機械学習モデルに入力した場合に出力される結果に対する、より信頼性の高い説明情報を得ることができる。
また、情報処理装置１は、割合が基準を満たしていない場合、複数の近傍データを生成する処理を実行させて複数の近傍データを再生成し、再生成した複数の近傍データをもとに割合を算出する。情報処理装置１では、このように複数の近傍データを再生成して、基準を満たすような複数の近傍データを得ることができる。
また、情報処理装置１は、割合が基準を満たしていない場合、機械学習モデルを再訓練してもよい。例えば、機械学習モデルの想定基準が低めに設定されている場合は、想定基準を満たしたとしても高精度な機械学習モデルとまでは言えない場合がある。一例として、機械学習モデルが分離境界を複雑に学習してしまっているケース（線形近似しにくい）がある。したがって、情報処理装置は、割合が基準を満たしていない場合、機械学習モデルを再訓練することで、より信頼性の高い説明情報を得ることができる。
なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、情報処理装置１の制御部３０で行われる機械学習部３１、近傍データ生成部３２、割合算出部３３、線形モデル生成部３４および出力部３５の各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図８は、コンピュータ構成の一例を説明位する説明図である。
図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカー２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、情報処理装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。
ハードディスク装置２０９には、上記の実施形態で説明した機能構成（例えば機械学習部３１、近傍データ生成部３２、割合算出部３３、線形モデル生成部３４および出力部３５）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。
ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えば機械学習部３１、近傍データ生成部３２、割合算出部３３および線形モデル生成部３４）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）第１のデータに基づいて、複数のデータを生成し、
前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
処理をコンピュータに実行させることを特徴とする説明プログラム。
（付記２）前記第１のデータは、複数のノードと当該ノード同士を結ぶエッジとを含むグラフ構造を示すグラフデータであり、
前記複数のデータを生成する処理は、前記第１のデータに基づいて、指定されたグラフ構造の条件を満たす前記複数のデータを生成する処理を含む、
ことを特徴とする付記１に記載の説明プログラム。
（付記３）前記割合が基準を満たしていない場合、前記第１のデータに基づいて、他の複数のデータを生成し、
前記他の複数のデータのそれぞれを前記機械学習モデルに入力した場合に出力される他の複数の結果のうち、前記第１の結果と異なる結果の他の割合を算出し、
前記他の割合が前記基準を満たしている場合、前記他の複数のデータと前記他の複数の結果とに基づいて他の線形モデルを生成し、
前記他の線形モデルに基づいて、前記第１の結果に対する他の説明情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記１または２に記載の説明プログラム。
（付記４）前記割合が基準を満たしていない場合、前記機械学習モデルの再訓練の要否を判定する、
処理を前記コンピュータに実行させることを特徴とする付記１または２に記載の説明プログラム。
（付記５）前記基準は、前記割合が６～８割であるという基準である、
ことを特徴とする付記１に記載の説明プログラム。
（付記６）第１のデータに基づいて、複数のデータを生成し、
前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
処理をコンピュータが実行することを特徴とする説明方法。
（付記７）前記第１のデータは、複数のノードと当該ノード同士を結ぶエッジとを含むグラフ構造を示すグラフデータであり、
前記複数のデータを生成する処理は、前記第１のデータに基づいて、指定されたグラフ構造の条件を満たす前記複数のデータを生成する処理を含む、
ことを特徴とする付記５に記載の説明方法。
（付記８）前記割合が基準を満たしていない場合、前記第１のデータに基づいて、他の複数のデータを生成し、
前記他の複数のデータのそれぞれを前記機械学習モデルに入力した場合に出力される他の複数の結果のうち、前記第１の結果と異なる結果の他の割合を算出し、
前記他の割合が前記基準を満たしている場合、前記他の複数のデータと前記他の複数の結果とに基づいて他の線形モデルを生成し、
前記他の線形モデルに基づいて、前記第１の結果に対する他の説明情報を出力する、
処理を前記コンピュータが実行することを特徴とする付記５または６に記載の説明方法。
（付記９）前記割合が基準を満たしていない場合、前記機械学習モデルの再訓練の要否を判定する、
処理を前記コンピュータが実行することを特徴とする付記５または６に記載の説明方法。
（付記１０）前記基準は、前記割合が６～８割であるという基準である、
ことを特徴とする付記６に記載の説明方法。
（付記１１）第１のデータに基づいて、複数のデータを生成し、
前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。
（付記１２）前記第１のデータは、複数のノードと当該ノード同士を結ぶエッジとを含むグラフ構造を示すグラフデータであり、
前記複数のデータを生成する処理は、前記第１のデータに基づいて、指定されたグラフ構造の条件を満たす前記複数のデータを生成する処理を含む、
ことを特徴とする付記９に記載の情報処理装置。
（付記１３）前記割合が基準を満たしていない場合、前記第１のデータに基づいて、他の複数のデータを生成し、
前記他の複数のデータのそれぞれを前記機械学習モデルに入力した場合に出力される他の複数の結果のうち、前記第１の結果と異なる結果の他の割合を算出し、
前記他の割合が前記基準を満たしている場合、前記他の複数のデータと前記他の複数の結果とに基づいて他の線形モデルを生成し、
前記他の線形モデルに基づいて、前記第１の結果に対する他の説明情報を出力する、
処理を前記制御部が実行することを特徴とする付記９または１０に記載の情報処理装置。
（付記１４）前記割合が基準を満たしていない場合、前記機械学習モデルの再訓練の要否を判定する、
処理を前記制御部が実行することを特徴とする付記９または１０に記載の情報処理装置。
（付記１５）前記基準は、前記割合が６～８割であるという基準である、
ことを特徴とする付記１１に記載の情報処理装置。
１…情報処理装置
１０…入出力部
２０…記憶部
２１…データセット
２２…機械学習モデル情報
２３…距離関数情報
２４…近傍データ
２５…線形近似モデル情報
２６…説明スコア
３０…制御部
３１…機械学習部
３２…近傍データ生成部
３３…割合算出部
３４…線形モデル生成部
３５…出力部
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカー
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
Ｃ１～Ｃ４、Ｃ１１、Ｃ１２…ケース
ｇ…線形モデル
Ｇ１０…グラフ
ＩＮ１、ＩＮ１１、ＩＮ１２…入力インスタンス
Ｎ１、Ｎ２、Ｎ１１、Ｎ１２…近傍データ

Claims (7)

  1. 第１のデータに基づいて、複数のデータを生成し、
    前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
    前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
    前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
    処理をコンピュータに実行させることを特徴とする説明プログラム。
  2. 前記第１のデータは、複数のノードと当該ノード同士を結ぶエッジとを含むグラフ構造を示すグラフデータであり、
    前記複数のデータを生成する処理は、前記第１のデータに基づいて、指定されたグラフ構造の条件を満たす前記複数のデータを生成する処理を含む、
    ことを特徴とする請求項１に記載の説明プログラム。
  3. 前記割合が基準を満たしていない場合、前記第１のデータに基づいて、他の複数のデータを生成し、
    前記他の複数のデータのそれぞれを前記機械学習モデルに入力した場合に出力される他の複数の結果のうち、前記第１の結果と異なる結果の他の割合を算出し、
    前記他の割合が前記基準を満たしている場合、前記他の複数のデータと前記他の複数の結果とに基づいて他の線形モデルを生成し、
    前記他の線形モデルに基づいて、前記第１の結果に対する他の説明情報を出力する、
    処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の説明プログラム。
  4. 前記割合が基準を満たしていない場合、前記機械学習モデルの再訓練の要否を判定する、
    処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の説明プログラム。
  5. 前記基準は、前記割合が６～８割であるという基準である、
    ことを特徴とする請求項１に記載の説明プログラム。
  6. 第１のデータに基づいて、複数のデータを生成し、
    前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
    前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
    前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
    処理をコンピュータが実行することを特徴とする説明方法。
  7. 第１のデータに基づいて、複数のデータを生成し、
    前記複数のデータのそれぞれを機械学習モデルに入力した場合に出力される複数の結果のうち、前記第１のデータを前記機械学習モデルに入力した場合に出力される第１の結果と異なる出力結果の割合を算出し、
    前記割合が基準を満たしている場合、前記複数のデータと前記複数の結果とに基づいて線形モデルを生成し、
    前記線形モデルに基づいて、前記第１の結果に対する説明情報を出力する、
    処理を実行する制御部を含むことを特徴とする情報処理装置。
JP2021180686A 2021-11-04 2021-11-04 説明プログラム、説明方法および情報処理装置 Pending JP2023069081A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021180686A JP2023069081A (ja) 2021-11-04 2021-11-04 説明プログラム、説明方法および情報処理装置
US17/945,102 US20230133868A1 (en) 2021-11-04 2022-09-15 Computer-readable recording medium storing explanatory program, explanatory method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021180686A JP2023069081A (ja) 2021-11-04 2021-11-04 説明プログラム、説明方法および情報処理装置

Publications (1)

Publication Number Publication Date
JP2023069081A true JP2023069081A (ja) 2023-05-18

Family

ID=86144865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021180686A Pending JP2023069081A (ja) 2021-11-04 2021-11-04 説明プログラム、説明方法および情報処理装置

Country Status (2)

Country Link
US (1) US20230133868A1 (ja)
JP (1) JP2023069081A (ja)

Also Published As

Publication number Publication date
US20230133868A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US11423311B2 (en) Automatic tuning of artificial neural networks
JP6414363B2 (ja) 予測システム、方法およびプログラム
US20210103858A1 (en) Method and system for model auto-selection using an ensemble of machine learning models
US20210150305A1 (en) Forecasting time-series data in a network environment
JP6299759B2 (ja) 予測関数作成装置、予測関数作成方法、及びプログラム
JP6311851B2 (ja) 共クラスタリングシステム、方法およびプログラム
US20200334557A1 (en) Chained influence scores for improving synthetic data generation
EP4202799A1 (en) Machine learning data generation program, machine learning data generation method, machine learning data generation device, classification data generation program, classification data generation method, and classification data generation device
Wang et al. Neural common neighbor with completion for link prediction
US20180137522A1 (en) Segment Valuation in a Digital Medium Environment
JP2019204190A (ja) 学習支援装置および学習支援方法
CN116210010A (zh) 用于评估工程系统的一致性的方法和系统
JP6535134B2 (ja) 作成装置、作成プログラム、および作成方法
JP2021096775A (ja) 学習方法、学習プログラムおよび情報処理装置
CN114399025A (zh) 一种图神经网络解释方法、系统、终端以及存储介质
US11989663B2 (en) Prediction method, prediction apparatus, and computer-readable recording medium
US20230342626A1 (en) Model processing method and related apparatus
CN111679829A (zh) 用户界面设计的确定方法和装置
JP2023069081A (ja) 説明プログラム、説明方法および情報処理装置
US20230342664A1 (en) Method and system for detection and mitigation of concept drift
JP6233432B2 (ja) 混合モデルの選択方法及び装置
US20210042550A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
JPWO2018235841A1 (ja) グラフ構造解析装置、グラフ構造解析方法、及びプログラム
US20230186108A1 (en) Control device, method, and program
US20210264259A1 (en) Learning device, inference device, learning method, and inference method

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20211109