JP2021140396A - 推測根拠分析装置及び推測根拠分析方法 - Google Patents

推測根拠分析装置及び推測根拠分析方法 Download PDF

Info

Publication number
JP2021140396A
JP2021140396A JP2020036725A JP2020036725A JP2021140396A JP 2021140396 A JP2021140396 A JP 2021140396A JP 2020036725 A JP2020036725 A JP 2020036725A JP 2020036725 A JP2020036725 A JP 2020036725A JP 2021140396 A JP2021140396 A JP 2021140396A
Authority
JP
Japan
Prior art keywords
guessing
basis
model
guess
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020036725A
Other languages
English (en)
Other versions
JP7256766B2 (ja
Inventor
良介 土屋
Ryosuke Tsuchiya
良介 土屋
周平 野尻
Shuhei Nojiri
周平 野尻
良太 三部
Ryota Sambe
良太 三部
太郎 向坂
Taro Kosaka
太郎 向坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020036725A priority Critical patent/JP7256766B2/ja
Priority to US17/015,283 priority patent/US11544600B2/en
Publication of JP2021140396A publication Critical patent/JP2021140396A/ja
Application granted granted Critical
Publication of JP7256766B2 publication Critical patent/JP7256766B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】同一の入力データに対して推測活動をした２以上の推測手段の間における推測根拠の差異を分析する。【解決手段】推測根拠分析装置は、共通の問題を解く目的で設計または訓練された複数の推測モデルを記憶する推測モデル記憶部と、推測対象の情報を受け付け、推測対象の推測を各複数の推測モデルに基づいて実行し、モデル推測結果を導出する推測実行部と、推測対象に対する外部推測結果と同一または近似のモデル推測結果を導出した推測モデルの集合を特定し、当該集合に含まれる推測モデルの間の共通的な属性を外部推測結果に対応する推測根拠として推定する推測根拠分析部と、任意の推測モデルの属性と外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、推測根拠差異に基づく情報を出力する推測根拠差異分析部と、を備える。【選択図】図１

Description

本発明は、推測根拠分析装置及び推測根拠分析方法に関し、推測活動において推測根拠を分析する推測根拠分析装置及び推測根拠分析方法に適用して好適なものである。
従来、特許文献１、非特許文献１、及び非特許文献２に開示されるように、機械学習に基づく推測モデルの推測根拠を分析する技術が知られている。
特許文献１には、「機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれに属するかを推論する推論装置（１）であって、情報を入力する入力部（１０）と、前記推論モデルを用いた推論過程において、頻出する特徴量を頻出特徴量として、クラスごとに記憶した頻出特徴量データベース（１６）と、入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論する推論部（１１）と、前記推論部（１１）における推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出する代表特徴量抽出部（１３）と、前記頻出特徴量データベース（１６）から、推論されたクラスに対応する頻出特徴量を読み出し、前記頻出特徴量と前記代表特徴量とに基づいて１または複数の根拠特徴量を抽出する根拠特徴量算出部（１４）と、推論されたクラスと共に前記根拠特徴量を出力する出力部（１２）と、を備える推論装置」が記載されている。
また、非特許文献１に記載のＬＩＭＥ（Local Interpretation Model-agnostic Explanation）という技術は、個々の推測において、入力データの特徴量の中から、推測結果への寄与が大きい特徴量を抽出する。当該技術は、入力データに近傍する複数の摂動データに基づき局所近似する推測モデルを生成することで、大局的な推測根拠でなく、個々の入力データにとっての局所的な推測根拠を抽出する。
また、非特許文献２に記載のInfluence Functionという関数は、個々の推測において、入力データの推測結果に対する、訓練データ一つ一つの影響度を算出する。当該関数は、一つ一つの訓練データの有無や摂動が推測結果に与える変化を影響度として算出する。
特開２０１９−０８２８８３号公報
Marco Tulio Ribeiro他2名著、「"Why Should I Trust You?": Explaining the Predictions ofAny Classifier」、Proceedings of the 22nd ACM SIGKDD International Conference onKnowledge Discovery and Data Mining、Pages 1135-1144、(2016) Pang Wei Koh他1名著、「"Understanding black-box predictions via influence functions」、Proceedings of the34th International Conference on Machine Learning - Volume 70、Pages 1885-18944、(2017)
上述した特許文献１、非特許文献１、及び非特許文献２に記載された推測根拠を分析する技術によれば、推測モデルの推測根拠を人間が解釈可能な形で抽出することができる。しかし、複数の推測モデル間、または推測モデルと人間との間における、推測根拠の差異の分析については言及されていない。特に、人間と推測モデルの間において推測結果が異なった場合に、推測結果に差異が生じた原因を判断したり、推測結果の優劣を判断したりするためには、両者の推測根拠の差異を分析することが重要と考えられる。
本発明は、上記のような事情に鑑みてなされたものであり、同一の入力データに対して推測活動をした２以上の推測手段（推測者または推測モデル）の間における推測根拠の差異を分析することが可能な推測根拠分析装置及び推測根拠分析方法を提案しようとするものである。
かかる課題を解決するため本発明においては、推測活動の推測根拠を分析する推測根拠分析装置であって、共通の問題を解く目的で設計または訓練された複数の推測モデルを記憶する推測モデル記憶部と、推測対象の情報を受け付け、前記推測対象の推測を各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果を導出する推測実行部と、前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行部による前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な属性を前記外部推測結果に対応する推測根拠として推定する推測根拠分析部と、前記推測モデル記憶部が記憶する任意の前記推測モデルの属性と、前記推測根拠分析部が推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析部と、を備える推測根拠分析装置が提供される。
また、かかる課題を解決するため本発明においては、推測活動の推測根拠を分析する推測根拠分析装置であって、共通の問題を解く目的で設計または訓練され、推測対象に対する推測を行った場合に当該推測の推測結果及び推測根拠を導出する、複数の推測モデルを記憶する推測モデル記憶部と、推測対象の情報を受け付け、前記推測対象の推測を各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果と当該推測の根拠を表すモデル推測根拠とを導出する推測実行部と、前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行部による前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な前記モデル推測根拠を、前記外部推測結果に対応する推測根拠として推定する推測根拠分析部と、前記推測モデル記憶部が記憶する任意の前記推測モデルによる推測の前記モデル推測根拠と、前記推測根拠分析部が推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析部と、を備える推測根拠分析装置が提供される。
また、かかる課題を解決するため本発明においては、推測活動の推測根拠を分析する推測根拠分析装置による推測根拠分析方法であって、前記推測根拠分析装置が、共通の問題を解く目的で設計または訓練された複数の推測モデルを記憶する推測モデル記憶部を有し、推測対象の情報を受け付け、前記推測対象の推測を前記推測モデル記憶部が記憶する各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果を導出する推測実行ステップと、前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行ステップによる前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な属性を前記外部推測結果に対応する推測根拠として推定する推測根拠分析ステップと、前記推測モデル記憶部が記憶する任意の前記推測モデルの属性と、前記推測根拠分析ステップで推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析ステップと、を備える推測根拠分析方法が提供される。
本発明によれば、同一の入力データに対して推測活動をした２以上の推測手段の間における推測根拠の差異を分析することができる。
第１の実施形態に係る推測根拠分析装置１００の構成例を示すブロック図である。 推測モデル２００の一例を示す図である。 入力情報３００の一例を示す図である。 推測実行部１２０による処理例を説明するための図である。 推測根拠分析部１３０による処理例を説明するための図である。 推測根拠差異分析部１４０による処理例を説明するための図である。 出力情報７００の一例を示す図である。 第２の実施形態に係る推測根拠分析装置８００の構成例を示すブロック図である。 推測根拠分析部８３０による処理例を説明するための図である。 推測根拠差異分析部８４０による処理例を説明するための図である。
以下、図面を参照して、本発明の実施形態を詳述する。
（１）第１の実施形態
本発明の第１の実施形態に係る推測根拠分析装置１００について説明する。
（１−１）推測根拠分析装置１００の構成
図１は、第１の実施形態に係る推測根拠分析装置１００の構成例を示すブロック図である。推測根拠分析装置１００は、例えば、演算装置、記憶装置、及び各種インタフェース等を有する計算機であって、機能的構成として、推測モデル記憶部１１０、推測実行部１２０、推測根拠分析部１３０、及び推測根拠差異分析部１４０を備える。なお、図１では、推測根拠分析装置１００が外部の入力装置１５０及び出力装置１６０に接続される構成を例示しているが、推測根拠分析装置１００は、内部に入力装置１５０または出力装置１６０を備える構成であってもよい。
推測モデル記憶部１１０は、共通の推測活動に関する問題を解く目的において設計または訓練された２以上の推測モデル２００を記憶する。ここで、推測活動に関する問題とは、入力データが属するクラスを推測する分類問題や、入力データに基づいて目的とする連続値を推測する回帰問題等を指す。詳細は図２を参照して後述するが、推測モデル２００は、例えば、モデルＩＤ２１０、モデル属性２２０、及び推測実行体２３０を含んで構成される。推測モデル記憶部１１０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の揮発性記憶素子や、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性記憶素子からなる記憶装置で構成される。
推測実行部１２０は、推測根拠分析装置１００に記憶された全ての推測モデル２００に基づいて、外部から入力されるテストデータを対象とする推測を実行する機能を有する。詳しく述べると、推測実行部１２０は、入力装置１５０から推測根拠分析装置１００に入力される入力情報３００（図３を参照）のうち、推測対象であるテストデータ３１０を入力として受け付け、推測モデル記憶部１１０が記憶する全ての推測モデル２００に基づいて、テストデータ３１０を対象とした推測を実行し、推測モデル２００ごとにモデル推測結果４１１を含むモデル推測結果情報４１０（図４を参照）を導出する。推測実行部１２０は、上記機能のアルゴリズムを記憶する記憶装置と、上記機能を制御するＣＰＵ（Central Processing Unit）等の演算装置とで構成される。
推測根拠分析部１３０は、テストデータ３１０を対象とする外部手段による推測の結果（外部推測結果）について、推測実行部１２０によって実行された同一のテストデータ３１０を対象とする全ての推測モデル２００による個々の推測の結果（モデル推測結果情報）に基づいて、外部推測結果の推測根拠を推定する機能を有する。詳しく述べると、推測根拠分析部１３０は、入力装置１５０から推測根拠分析装置１００に入力される入力情報３００のうち、推測根拠分析装置１００の外部の任意の手段に基づいてテストデータ３１０に対する推測を実施した結果である外部推測結果３２０を入力として受け付け、外部推測結果３２０と同一または近似するモデル推測結果４１１を導出した推測モデル２００の集合を表す外部推測近似モデル集合５１０を特定し、外部推測近似モデル集合５１０に含まれる推測モデル２００間の共通的なモデル属性２２０である近似モデル集合共通属性５２０を特定し、これを外部推測結果３２０に対応する推測根拠として推定する。推測根拠分析部１３０は、上記機能のアルゴリズムを記憶する記憶装置と、上記機能を制御するＣＰＵ等の演算装置とで構成される。
推測根拠差異分析部１４０は、推測根拠分析部１３０が推定した外部推測結果３２０の推測根拠と、任意の推測モデル２００のモデル属性２２０とに基づいて、外部推測と推測モデルとの間の推測根拠の差異（推測根拠差異）を分析する機能を有する。詳しく述べると、推測根拠差異分析部１４０は、推測モデル記憶部１１０が記憶する任意の推測モデル２００のモデル属性２２０と、推測根拠分析部１３０が特定した近似モデル集合共通属性５２０とを比較することによって、当該推測モデル２００と外部推測との間の推測根拠差異６１０を導出し、導出結果に基づく出力情報７００を出力装置１６０に出力させる。推測根拠差異分析部１４０は、上記機能のアルゴリズムを記憶する記憶装置と、上記機能を制御するＣＰＵ等の演算装置とで構成される。
なお、推測実行部１２０、推測根拠分析部１３０、及び推測根拠差異分析部１４０を構成する記憶装置は、推測モデル記憶部１１０を構成する記憶装置と同一でもよいし、別物であってもよい。
入力装置１５０は、例えばキーボードやマウス等の入力装置であって、推測根拠分析装置１００に対して入力情報３００を入力する。詳細は図３を参照して後述するが、入力情報３００は、例えば、テストデータ３１０や外部推測結果３２０を含んで構成される。また、入力装置１５０は、推測モデル２００の機械学習に基づく訓練に使用される訓練データも推測根拠分析装置１００に入力することができる。
出力装置１６０は、例えばディスプレイやプリンタ等の出力装置であって、推測根拠分析装置１００による演算結果に基づく出力情報７００を画面表示や帳票印刷等によって出力する。詳細は図７を参照して後述するが、出力情報７００は、例えば、推測根拠差異６１０や推測根拠差異対応ガイドライン７１０を含んで構成される。
（１−２）推測モデル２００
図２は、推測モデル２００の一例を示す図である。図２に例示した推測モデル２００は、モデルの識別子を示すモデルＩＤ２１０と、モデルの特徴や性質を表すモデル属性２２０と、モデル属性２２０に基づいて設計及び訓練され、テストデータ３１０の入力に対して推測を実行してモデル推測結果情報４１０を出力する推測実行体２３０と、を有する。
モデルＩＤ２１０は、例えば図２に示した「Ａ００１」のように、文字列で表される。但し、本実施形態におけるモデルＩＤ２１０の表記方法はこれに限定されるものではなく、任意の表記方法を採用してよい。
モデル属性２２０は、モデルの特徴や性質を表す要素（情報）の集合によって表される。図２には、モデル属性２２０に含まれる要素の具体例として、訓練データ使用情報２２１、機械学習アルゴリズム種別情報２２２、ハイパーパラメータ情報２２３、及び説明変数使用情報２２４が示されている。
訓練データ使用情報２２１は、機械学習で使用する訓練データを表す情報である。具体的には例えば、訓練データ使用情報２２１は、機械学習に基づく推測実行体２３０の訓練時に使用した訓練データに対して「１」を設定し、使用しなかった訓練データに対して「０」を設定することによって表現できる。図２の推測モデル２００においては、訓練データＡ，Ｂ，Ｄが使用され、訓練データＣが使用されていないことを表している。また、訓練データ使用情報２２１の表示は、単なる使用／不使用の情報を表すことに限定されるものではなく、各訓練データに対して特定の前処理を行ったか否か、といった他の情報を含めて表すとしてもよい。
機械学習アルゴリズム種別情報２２２は、機械学習に基づく推測実行体２３０の訓練時に採用したアルゴリズムの種別を表す情報である。具体的には例えば、機械学習アルゴリズム種別情報２２２は、機械学習に基づく推測実行体２３０の訓練時に採用したアルゴリズムに対して「１」を設定し、採用しなかったアルゴリズムに対して「０」を設定することによって表現できる。図２の推測モデル２００においては、アルゴリズムＷが採用されていることを表している。機械学習アルゴリズム種別情報２２２の表示対象となり得る機械学習アルゴリズムの具体的な種別としては、例えば、サポートベクターマシーン、ベイズ、決定木、ランダムフォレスト、及びニューラルネットワーク等が代表的なものとして知られている。
ハイパーパラメータ情報２２３は、機械学習時（訓練前）に予め設定しておく必要があるパラメータ（ハイパーパラメータ）を表す情報である。具体的には例えば、ハイパーパラメータ情報２２３は、パラメータ項目とパラメータ値との組み合わせによって表現できる。ハイパーパラメータは、採用される機械学習アルゴリズムごとに異なるものであり、例えば「木の深さ」等が代表的なパラメータ項目として知られている。
説明変数使用情報２２４は、機械学習で使用する説明変数を表す情報である。具体的には例えば、説明変数使用情報２２４は、機械学習に基づく推測実行体２３０の訓練時に使用した説明変数に対して「１」を設定し、使用しなかった説明変数に対して「０」を設定することによって表現できる。図２の推測モデル２００においては、説明変数Ｌ，Ｎ，Ｏが使用され、説明変数Ｍが使用されていないことを表している。また、説明変数使用情報２２４の表示は、単なる使用／不使用の情報を表すことに限定されるものではなく、推測実行体２３０の訓練の結果として決定した、各説明変数の重み付けの情報等を含んで表すとしてもよい。
なお、説明変数は、入力となる訓練データやテストデータから、予め定めた任意の手段によって抽出した情報を用いることができる。入力データがテキスト情報であるとすると、単語ごとの出現頻度を説明変数として抽出することができる。また、ニューラルネットワークの一種であるオートエンコーダによって機械的に獲得した特徴量を、説明変数使用情報２２４に含めて表すようにしてもよい。
推測実行体２３０は、モデル属性２２０に含まれる前提条件に基づいて設計及び訓練され、テストデータ３１０を入力すると推測を実行し、その推測結果（モデル推測結果４１１）を含むモデル推測結果情報４１０を出力する機能を有するアルゴリズムである。具体的には例えば、プログラミング言語Pythonにおける機械学習ライブラリであるscikit-learnが提供するモデルをモデル属性２２０に含まれる前提条件に基づいて設計及び訓練することにより得られるプログラムを、推測実行体２３０とみなすことができる。
（１−３）入力情報３００
図３は、入力情報３００の一例を示す図である。図３に例示した入力情報３００は、推測対象であるテストデータ３１０と、推測根拠分析装置１００の外部の任意の手段に基づいてテストデータ３１０に対して推測を実施した結果である外部推測結果３２０と、を含んで構成される。例えば、人間が推測した結果や、推測モデル記憶部１１０に記憶されていない推測モデル２００が推測した結果を、外部推測結果３２０としてよい。
テストデータ３１０は、例えば、テキストデータや、画像や映像等のメディアデータ、等の要素で構成される。図３では一例として、ＳＮＳ（Social Networking Service）の投稿データから投稿者の年齢層を推測する推測活動を想定しており、投稿者のハンドルネームやＳＮＳの過去の投稿データを推測時のテストデータ３１０としている。図３のテストデータ３１０においては、投稿者のハンドルネームは「taro」であり、当該投稿者によるＳＮＳの過去の投稿データについては、推測根拠分析装置１００または外部のパーソナルコンピュータやストレージにおけるデータの格納パスを想定した「C:\data\taro\sns_data」が入力されている。
なお、推測モデル２００の推測実行体２３０（図２参照）は、テストデータ３１０を入力として受け付けた際、訓練時の訓練データと同じ方法に基づいて、説明変数となる情報を抽出する。例えば、ハンドルネームはそのままの形でカテゴリカルな説明変数として抽出してもよいし、ハンドルネームをテキスト情報とみなした上で、ハンドルネーム内に含まれる単語や文字の出現頻度を説明変数として抽出してもよい。
外部推測結果３２０は、例えば、推測活動が分類問題である場合にはカテゴリカルな値となり、推測活動が回帰問題である場合には連続的な値となる。図３の外部推測結果３２０においては、ＳＮＳの投稿データから投稿者の年齢層を推測する推測活動を想定しており、ＳＮＳ投稿者の年齢層を「１０代」と予測した結果が入力されている。
（１−４）推測実行処理
図４は、推測実行部１２０による処理例を説明するための図である。推測実行部１２０は、推測モデル２００に基づいてテストデータ３１０を対象とした推測を行う推測実行処理を実行する。
図４に示したように、推測実行処理において推測実行部１２０は、入力情報３００に含まれる、推測対象であるテストデータ３１０を入力として受け付けると、推測モデル記憶部１１０が記憶する全ての推測モデル２００を読み込み、読み込んだ個々の推測モデル２００を用いて、テストデータ３１０を対象とした推測を実行する。この結果、推測実行部１２０は、推測モデル２００ごとのモデル推測結果情報４１０を導出する。
モデル推測結果情報４１０は、例えば、推測に用いた推測モデル２００のモデルＩＤ２１０と、テストデータ３１０を対象とした当該推測の結果を示すモデル推測結果４１１との組み合わせによって表される。具体的には、図４のモデル推測結果情報４１０においては、「Ａ００１」のモデルＩＤ２１０を有する推測モデル２００に対応するモデル推測結果４１１は「５０代」と出力され、「Ａ００２」のモデルＩＤ２１０を有する推測モデル２００に対応するモデル推測結果４１１は「１０代」と出力され、「Ａ００３」のモデルＩＤ２１０を有する推測モデル２００に対応するモデル推測結果４１１は「２０代」と出力されている。
（１−５）推測根拠分析処理
図５は、推測根拠分析部１３０による処理例を説明するための図である。推測根拠分析部１３０は、外部推測結果３２０に近似するモデル推測結果４１１を導出する推測モデル２００を分析し、外部推測結果３２０の推測根拠を推定する処理（推測根拠分析処理）を実行する。図５に例示した推測根拠分析部１３０は、外部推測近似モデル集合特定部５３０と、近似モデル集合共通属性特定部５４０とを有して構成される。
推測根拠分析処理では、まず、外部推測近似モデル集合特定部５３０が、入力情報３００に含まれる外部推測結果３２０を入力として受け付け、推測実行部１２０が推測モデル２００ごとに導出したモデル推測結果情報４１０に含まれるモデル推測結果４１１のうち、外部推測結果３２０と同一または近似するモデル推測結果４１１に基づいて、当該モデル推測結果４１１を導出した推測モデル２００の集合を表す外部推測近似モデル集合５１０を特定する。
なお、本例では、外部推測近似モデル集合５１０は、外部推測近似モデル集合特定部５３０が特定する推測モデル２００について、対応するモデルＩＤ２１０の集合を保持することによって「間接的に」推測モデル２００の集合を表すようにしている。但し、簡略のため、以降の説明では、原則として「外部推測近似モデル集合５１０に含まれる推測モデル２００」といった表記を行う。また、モデル集合に関するこのような表記は、後述する外部推測非近似モデル集合５５０等でも同様とする。
例えば図５の場合、外部推測結果３２０は「１０代」となっている。また、推測実行部１２０で導出された４つのモデル推測結果情報４１０のうち、「Ａ００２」のモデルＩＤ２１０を有するモデル推測結果情報４１０、及び「Ａ００４」のモデルＩＤ２１０を有するモデル推測結果情報４１０の２つにおいてモデル推測結果４１１が「１０代」となっており、外部推測結果３２０と同一の推測結果が導出されている。そこで、外部推測結果３２０を入力として受け付けた外部推測近似モデル集合特定部５３０は、「Ａ００２」及び「Ａ００４」のモデルＩＤ２１０を、外部推測近似モデル集合５１０の要素として特定する。
なお、図５では簡略のために、両推測結果（外部推測結果３２０とモデル推測結果４１１）が同一であるケースを扱っているが、本実施形態に係る外部推測近似モデル集合特定部５３０は、両推測結果が近似であるケースにおいても同様に、外部推測近似モデル集合５１０を特定することができる。両推測結果が近似であるか否かを判断する方法としては、例えば、推測結果が連続値である場合には、両推測結果を近似とみなすことができる誤差の範囲を、任意の閾値として予め設定しておけばよい。また、推測結果がカテゴリカルな値である場合には、訓練データにおいて同一カテゴリに属するデータ群の重心を導出し、各カテゴリの重心間の距離を数値化しておくことで、推定結果が連続値である場合と同様の方法によって両推測結果の近似を判断することができる。
また、外部推測近似モデル集合特定部５３０は、推測実行部１２０によるモデル推測結果情報４１０の導出に用いられた推測モデル２００のうち、外部推測近似モデル集合５１０に含まれなかった推測モデル２００の集合（本例では、モデルＩＤ２１０の集合）を、別途、外部推測非近似モデル集合５５０として特定するようにしてもよい。
次に、推測根拠分析処理では、外部推測近似モデル集合特定部５３０が外部推測近似モデル集合５１０を特定した後、近似モデル集合共通属性特定部５４０が、推測モデル記憶部１１０から、外部推測近似モデル集合５１０に含まれる推測モデル２００のモデル属性２２０（本例の場合、モデルＩＤ２１０に対応するモデル属性２２０）を読み込み、外部推測近似モデル集合５１０に含まれる推測モデル２００の間で共通的に現れるモデル属性２２０を、近似モデル集合共通属性５２０として特定する。
ここで、近似モデル集合共通属性特定部５４０は、近似モデル集合共通属性５２０を特定するために様々な特定方法を採用可能であり、以下に例示する。
第１の特定方法として、近似モデル集合共通属性特定部５４０は、外部推測近似モデル集合５１０に含まれる全ての推測モデル２００の間に共通するモデル属性２２０のみを集め、近似モデル集合共通属性５２０として特定する。
第２の特定方法として、近似モデル集合共通属性特定部５４０は、外部推測近似モデル集合５１０に含まれる推測モデル２００について、各モデル属性２２０の出現頻度を数え上げ、出現頻度が予め設定した任意の閾値を超えたモデル属性２２０を集め、近似モデル集合共通属性５２０として特定する。
第３の特定方法は、外部推測近似モデル集合特定部５３０が、外部推測近似モデル集合５１０だけでなく外部推測非近似モデル集合５５０も特定している場合に採用可能な方法である。第３の特定方法において、近似モデル集合共通属性特定部５４０は、外部推測近似モデル集合５１０に含まれる推測モデル２００について、各モデル属性２２０の出現頻度を数え上げるとともに、外部推測非近似モデル集合５５０に含まれる推測モデル２００についても、各モデル属性２２０の出現頻度を数え上げ、両モデル集合における出現頻度に基づいて各モデル属性２２０の重要度を算出し、算出した重要度が予め設定した任意の閾値を超えたモデル属性２２０を集めて、近似モデル集合共通属性５２０として特定する。
なお、第３の特定方法における重要度の算出方法としては、例えば、外部推測近似モデル集合５１０における出現頻度から外部推測非近似モデル集合５５０における出現頻度を減算することで重要度を算出する。または、外部推測近似モデル集合５１０における出現頻度を、外部推測非近似モデル集合５５０における出現頻度に１を加えた値で除算することで重要度を算出する、としてもよい。
第４の特定方法としては、近似モデル集合共通属性特定部５４０は、第１〜第３の特定方法で述べたモデル属性２２０の出現頻度または重要度に基づいて、それらの値の高い順（低い順でもよい）に近似モデル集合共通属性５２０に整列させることで、出現頻度または重要度を算出した全てのモデル属性２２０が順序付けされた近似モデル集合共通属性５２０を生成する。
（１−６）推測根拠差異分析処理
図６は、推測根拠差異分析部１４０による処理例を説明するための図である。推測根拠差異分析部１４０は、外部推測と推測モデルとの間の推測根拠の差異を分析する推測根拠差異分析処理を実行する。図６に示したように、推測根拠差異分析部１４０は、推測根拠差異導出部６２０を有して構成される。
図６に示したように、推測根拠差異分析処理において、まず、推測根拠差異分析部１４０は、推測根拠分析部１３０から近似モデル集合共通属性５２０の入力を受け付け、推測モデル記憶部１１０から任意の推測モデル２００（メイン推測モデル）を選択し、選択した推測モデル２００のモデル属性２２０のうち、近似モデル集合共通属性５２０と同項目の属性情報を、推測モデル属性６３０として読み込む。次に、推測根拠差異導出部６２０が、近似モデル集合共通属性５２０と推測モデル属性６３０との差異を、推測根拠差異６１０として導出する。そして、推測根拠差異分析部１４０は、導出した推測根拠差異６１０に基づいて、推測根拠差異６１０を含む出力情報７００（詳細は図７参照）を出力装置１６０に送信し、任意の出力形式（表示や印刷等）で出力装置１６０から出力情報７００を出力させる。
推測根拠差異６１０の導出について具体的に説明すると、例えば図６の場合、外部推測結果３２０の推測根拠として推定された近似モデル集合共通属性５２０には、モデル属性２２０として訓練データ使用情報２２１及び説明変数使用情報２２４の一部が示されているが、このうち、訓練データＣが「０」、すなわち訓練データＣを使用しない属性値となっており、説明変数Ｌが「１」、すなわち説明変数Ｌを使用する属性値となっている。一方、推測モデル属性６３０では、訓練データＣが「１」、すなわち訓練データＣを使用する属性値となっており、説明変数Ｌが「０」、すなわち説明変数Ｌを使用しない属性値となっている。したがって、推測根拠差異導出部６２０は、外部推測と推測モデル２００との間の推測根拠の差異として、推測根拠差異６１０に、訓練データＣ及び説明変数Ｌについて、近似モデル集合共通属性５２０及び推測モデル属性６３０のそれぞれの属性値を出力する。
なお、本実施形態では、推測根拠差異６１０を導出する際の対象モデル（メイン推測モデル）を、推測モデル記憶部１１０に記憶されている複数の推測モデル２００から任意に選択できるため、様々な基準（例えばモデルの向き不向き等）に基づいてメイン推測モデルを選択し、外部推測との推測根拠の差異を比較することができる。
また、推測精度に着目する際には、例えば、推測モデル記憶部１１０に記憶される推測モデル２００のうち、訓練データに対する推測精度が最も高い「最優良モデル」をメイン推測モデルに選択するようにしてもよい。この場合、機械学習による推測精度が最も高い推測モデル２００と外部推測との間の推測根拠差異６１０が導出されることから、推測根拠差異６１０に基づく出力情報７００の出力を受けてユーザが推測活動の改善を検討する際に、影響度合いの高い推測根拠の差異を提示することに期待できる。
また、本実施形態では、推測モデル記憶部１１０に記憶する複数の推測モデル２００は、上記の最優良モデルと、最優良モデルのモデル属性２２０の一部に少しずつ変更を加えた１以上の亜種推測モデルとからなる集合としてもよい。亜種推測モデルは、例えば、最優良モデルのモデル属性２２０の属性項目のうち、任意の一つの属性項目を変更したモデルとしてもよいし、全ての属性項目に対して最優良モデルからの変更の有無の組み合わせを全て網羅したモデルの集合としてもよい。具体的には例えば、モデル属性２２０の訓練データ使用情報２２１において属性項目が訓練データＡ〜Ｄの４つであった場合に、全ての属性項目に対して変更の有無の組み合わせを全て網羅すると、最大で２の４乗から１（最優良モデルの分）を引いた数、すなわち１５の亜種推測モデルを作成することができる。さらに、変更の有無だけでなく、変更内容のバリエーションまで加味して組み合わせを網羅する場合には、さらに多数の亜種推測モデルの作成が考えられる。
上記のように推測モデル記憶部１１０に最優良モデルと１以上の亜種推測モデルとが記憶される場合、推測根拠差異分析部１４０は、最優良モデルをメイン推測モデルに選択して推測根拠差異６１０を導出するだけでなく、亜種推測モデルをメイン推測モデルに選択した場合の推測根拠差異６１０も導出するようにしてもよい。この結果、推測根拠差異６１０に基づく出力情報７００の出力を受けてユーザが推測活動の改善を検討する際に、最優良モデルと外部推測との推測根拠の差異を比較できるだけでなく、最優良モデルを少しずつ変更した亜種推測モデルと外部推測との推測根拠の差異も比較できるようになるため、どこで差異が生じているかを詳細に検討可能な情報をすることができ、より精度の高い改善検討を支援することができる。
（１−７）出力情報７００
図７は、出力情報７００の一例を示す図である。図７には、出力装置１６０の表示画面に表示された出力情報７００の一例が示されており、図７に例示した出力情報７００は、推測根拠差異分析部１４０で導出された推測根拠差異６１０と、推測根拠差異６１０をユーザが解釈し推測活動の改善に役立てるための指針例である推測根拠差異対応ガイドライン７１０と、を含んで構成されている。
推測根拠差異対応ガイドライン７１０の出力内容は、推測根拠差異６１０の内容に基づいて決定される。例えば、推測根拠差異６１０において訓練データの使用の有無が導出された場合には、図７の推測根拠差異対応ガイドライン７１０のように、「訓練データＣとテストデータを比較する」ことを推奨する旨のメッセージ等を表示することができる。さらに、推測モデル記憶部１１０に対象の訓練データ（訓練データＣ）を記憶している場合は、出力装置１６０において出力情報７００の当該メッセージが選択される操作（例えばクリック）がなされた場合に、推測根拠分析装置１００が、当該メッセージで言及されているデータ（具体的には訓練データＣ及びテストデータ）を並べて表示するといった機能を有するようにしてもよい。
また例えば、推測根拠差異６１０において説明変数の使用の有無や、説明変数の重み付け情報等が導出された場合には、図７の推測根拠差異対応ガイドライン７１０のように、「説明変数Ｌと、外部推測結果、モデル推測結果の相関を確認する」ことを推奨する旨のメッセージを表示することができる。さらに、推測モデル記憶部１１０に対象の説明変数と目的変数との間の相関データを記憶している場合は、出力装置１６０において出力情報７００の当該メッセージが選択される操作（例えばクリック）がなされた場合に、推測根拠分析装置１００が、当該メッセージで言及されているデータ（具体的には説明変数Ｌに関わる相関データ）を表示するといった機能を有するようにしてもよい。
以上のように、第１の実施形態に係る推測根拠分析装置１００によれば、同一の入力データに対して推測活動をした２以上の推測手段（推測者を含む外部推測手段と推測モデル）の間における推測根拠の差異を分析し、推測根拠差異６１０を特定することができる。具体的には例えば、人による外部推測の結果が誤っており、最優良モデルによる推測の結果が正しいとき、外部推測に対応する推測根拠（推測根拠分析部１３０によって推定された推測根拠）と、メイン推測モデル（最優良モデル）による推測根拠との差異が特定されることにより、人が推測する際に正しい推測結果を導出するために考慮すべき推測根拠を、最優良モデルの推測根拠によって提示することができる。
さらに、第１の実施形態に係る推測根拠分析装置１００は、特定した推測根拠差異６１０に基づいて出力情報７００を出力することにより、推測活動を行った推測手段（外部推測と推測モデル）のそれぞれにおける、推測根拠の過不足、推測能力の優劣、または得意とする入力データの傾向等を比較検討するための検討材料を提供することができる。
（２）第２の実施形態
本発明の第２の実施形態に係る推測根拠分析装置８００について説明する。以下の第２の実施形態の説明では、第１の実施形態から変更または追加される点を中心に説明し、第１の実施形態に係る推測根拠分析装置１００と同じ構成や入出力情報に関しては説明を省略する。
図８は、第２の実施形態に係る推測根拠分析装置８００の構成例を示すブロック図である。推測根拠分析装置８００は、第１の実施形態に係る推測根拠分析装置１００と同様に、例えば、演算装置、記憶装置、及び各種インタフェース等を有する計算機である。推測根拠分析装置８００は、機能的構成として、推測モデル記憶部８１０、推測実行部８２０、推測根拠分析部８３０、及び推測根拠差異分析部８４０を備える。
推測モデル記憶部８１０は、第１の実施形態における推測モデル記憶部１１０と同様に、共通の推測活動に関する問題を解く目的において設計または訓練された２以上の推測モデル２００を記憶し、各推測モデル２００は、例えば、モデルＩＤ２１０、モデル属性２２０、及び推測実行体２３０を含んで構成される。
第２の実施形態における推測実行体２３０は、モデル属性２２０に含まれる前提条件に基づいて設計及び訓練され、テストデータ３１０を入力すると推測を実行する機能を有するアルゴリズムである。但し、第２の実施形態における推測実行体２３０は、テストデータ３１０に対する推測を実行するとき、その推測結果（モデル推測結果）を導出するだけでなく、モデル推測結果を推測した根拠（モデル推測根拠）を導出する機能が追加され、さらに、モデル推測結果及びモデル推測根拠を含む構成でモデル推測結果情報を導出する機能が追加される。
この結果、具体的には後述する図９に示すように、第２の実施形態のモデル推測結果情報９１０は、推測に用いた推測モデル２００のモデルＩＤ２１０と、テストデータ３１０を対象とした当該推測の結果を示すモデル推測結果４１１と、当該推測においてモデル推測結果４１１を推測する根拠となったモデル推測根拠９１１との組み合わせによって表される。なお、第２の実施形態における推測実行体２３０によるモデル推測根拠９１１の導出方法としては、例えば、特許文献１、非特許文献１、または非特許文献２に開示された従来技術等を用いることができる。
推測実行部８２０は、推測対象であるテストデータ３１０を入力として受け付け、推測モデル記憶部８１０が記憶する全ての推測モデル２００に基づいて、テストデータ３１０を対象とした推測を実行し、推測モデル２００ごとのモデル推測結果情報９１０を導出する。
推測根拠分析部８３０は、テストデータ３１０を対象とする外部手段による推測の結果（外部推測結果３２０）について、同一のテストデータ３１０を対象とする推測実行部８２０によるモデル推測結果情報９１０に基づいて、より詳しく言えば、上記モデル推測結果情報９１０において外部推測結果３２０に近似するモデル推測結果４１１を導出した推測モデル２００に関するモデル推測根拠９１１を分析することによって、外部推測結果３２０の推測根拠を推定する機能を有する。
図９は、推測根拠分析部８３０による処理例を説明するための図である。図９に示したように、推測根拠分析部８３０は、外部推測近似モデル集合特定部５３０と、近似モデル集合共通推測根拠特定部９２０とを有して構成される。図９を参照しながら、推測根拠分析部８３０による処理を説明する。
まず、推測根拠分析部８３０は、外部推測結果３２０を入力として受け付ける。次に、外部推測近似モデル集合特定部５３０が、外部推測結果３２０と同一または近似するモデル推測結果４１１を導出した推測モデル２００の集合である外部推測近似モデル集合５１０を特定する。また、外部推測近似モデル集合特定部５３０は、推測実行部８２０によるモデル推測結果情報９１０の導出に用いられた推測モデル２００のうち、外部推測近似モデル集合５１０に含まれなかった推測モデル２００の集合（本例では、モデルＩＤ２１０の集合）を、別途、外部推測非近似モデル集合５５０として特定するようにしてもよい。第２の実施形態において外部推測近似モデル集合特定部５３０が外部推測近似モデル集合５１０（及び外部推測非近似モデル集合５５０）を特定する処理は、第１の実施形態と同様である。
次に、外部推測近似モデル集合特定部５３０が外部推測近似モデル集合５１０（及び外部推測非近似モデル集合５５０）を特定した後、近似モデル集合共通推測根拠特定部９２０が、推測実行部８２０から出力されたモデル推測結果情報９１０のうちから、外部推測近似モデル集合５１０に含まれる各推測モデル２００（外部推測近似モデル集合５１０のモデルＩＤ２１０に対応する推測モデル２００）に対応するモデル推測根拠９１１を読み込み、読み込んだモデル推測根拠９１１の間で共通的に現れる推測根拠を、近似モデル集合共通推測根拠９３０として特定する。
なお、第２の実施形態において近似モデル集合共通推測根拠特定部９２０が近似モデル集合共通推測根拠９３０を特定する方法は、第１の実施形態において近似モデル集合共通属性特定部５４０が近似モデル集合共通属性５２０を特定する方法（第１〜第４の特定方法）に準拠するとしてよい。
例えば、図９には、第２の特定方法を準用する場合に導出される近似モデル集合共通推測根拠９３０の具体例が示されている。この具体例は、モデル推測根拠９１１にＳＮＳの投稿データから抽出された単語が示され、これらの単語のうち、外部推測近似モデル集合５１０に含まれる各推測モデル２００に対応するモデル推測根拠９１１のなかで「バイト」及び「部活」という単語（推測根拠）が共通して現れた、というケースに基づくものであり、このとき近似モデル集合共通推測根拠９３０では、「バイト」及び「部活」が共通する推測根拠として特定されるとともに、各単語（推測根拠）の出現回数が導出される。
また例えば、第４の特定方法を準用する場合には、近似モデル集合共通推測根拠特定部９２０は、外部推測近似モデル集合５１０に含まれる各推測モデル２００に対応するモデル推測根拠９１１を、共通的に現れる推測根拠の出現頻度または重要度に基づいて、それらの値の高い順（低い順でもよい）に近似モデル集合共通推測根拠９３０に整列させることで、順序付けされた近似モデル集合共通推測根拠９３０を生成することができる。
推測根拠差異分析部８４０は、推測根拠分析部８３０が推定した外部推測結果３２０の推測根拠と、任意の推測モデル２００によるモデル推測結果情報９１０の推測根拠とに基づいて、外部推測と推測モデルとの間の推測根拠の差異（推測根拠差異）を分析する機能を有する。
図１０は、推測根拠差異分析部８４０による処理例を説明するための図である。図１０に例示した推測根拠差異分析部８４０は、推測根拠差異導出部９５０を有して構成される。図１０を参照しながら、推測根拠差異分析部８４０による処理を説明する。
まず、推測根拠差異分析部８４０は、推測根拠分析部８３０が推定した外部推測結果３２０の推測根拠（近似モデル集合共通推測根拠９３０）と、推測モデル記憶部８１０が記憶する任意の推測モデル２００（メイン推測モデル）によるモデル推測結果情報９１０に含まれるモデル推測根拠９１１（メインモデル推測根拠９４０）と、の入力を受け付ける。
次に、推測根拠差異導出部９５０が、入力された推測根拠を比較し、それらの差異を推測根拠差異９６０として導出する。近似モデル集合共通推測根拠９３０は、外部推測結果３２０に近似するモデル推測結果４１１を導出する推測モデル２００から推定された「外部推測の推測根拠」であるから、推測根拠差異導出部９５０は、近似モデル集合共通推測根拠９３０をメイン推測モデルに対応するメインモデル推測根拠９４０と比較して差異を抽出することにより、外部推測とメイン推測モデルとの間の推測根拠の差異を分析・特定することができる。
なお、推測根拠差異９６０の構成は、特定の構成に限定されない。例えば図１０に例示したように、近似モデル集合共通推測根拠９３０が有し、メインモデル推測根拠９４０が有さない推測根拠を「外部推測にユニーク」な根拠として表し、近似モデル集合共通推測根拠９３０が有さず、メインモデル推測根拠９４０が有する推測根拠を「推測モデルにユニーク」な根拠として表す、といった構成が考えられる。また、図１０にも例示したように、推測根拠差異９６０は、差異となる推測根拠を表すだけでなく、その出現頻度等を併せて表すようにすることで、推測活動の分析のために有用な情報量を増やすことができる。
そして、推測根拠差異分析部８４０は、導出した推測根拠差異９６０に基づいて、推測根拠差異９６０を含む出力情報７００を出力装置１６０に送信し、任意の出力形式（表示や印刷等）で出力装置１６０から出力情報７００を出力させる。この出力情報７００の内容や出力方法等については、第１の実施形態と同様に考えればよいため、詳細な説明を省略する。
以上のように、第２の実施形態に係る推測根拠分析装置８００によれば、同一の入力データに対して推測活動をした２以上の推測手段（推測者を含む外部推測手段と推測モデル）の間における推測根拠の差異を分析し、推測根拠差異９６０を特定することができる。そして、第２の実施形態に係る推測根拠分析装置８００は、特定した推測根拠差異９６０に基づいて出力情報７００を出力することにより、推測活動を行った推測手段（外部推測と推測モデル）のそれぞれにおける、推測根拠の過不足、推測能力の優劣、または得意とする入力データの傾向等を比較検討するための検討材料を提供することができる。特に、第２の実施形態では、推測根拠差異９６０において、差異となる推測根拠が具体的な態様（例えば単語とその出現頻度）で表されるため、モデル属性２２０の属性項目で表される第１の実施形態に比べて、ユーザにとって、より具体的かつ分かり易く、外部推測と推測モデルの推測根拠の差異を提示することができる。
以上、本発明の実施形態について具体的に説明したが、本発明は上記した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能であり、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、第１または第２の実施形態の何れにおいても、推測根拠分析装置１００，８００は、テストデータ３１０に対応する外部推測結果３２０として、テストデータ３１０に対する複数の外部推測の結果を受け付けるようにしてもよい。さらにこの場合、推測根拠分析装置１００，８００は、それぞれの外部推測結果３２０に対して、推測根拠分析部１３０，８３０によって近似モデル集合共通属性５２０または近似モデル集合共通推測根拠９３０を導出し、推測根拠差異分析部１４０，８４０（推測根拠差異導出部６２０，９５０）によって根拠差異の差異を分析する、としてもよい。このように構成された推測根拠分析装置１００，８００によれば、例えば複数人によってテストデータ３１０に対する推測が行われたようなケースにおいても、それぞれの外部推測根拠について、モデル推測根拠との差異を特定し提示することができ、推測活動の改善検討を細やかに支援することができる。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。
１００ 推測根拠分析装置
１１０ 推測モデル記憶部
１２０ 推測実行部
１３０ 推測根拠分析部
１４０ 推測根拠差異分析部
１５０ 入力装置
１６０ 出力装置
２００ 推測モデル
２１０ モデルＩＤ
２２０ モデル属性
２２１ 訓練データ使用情報
２２２ 機械学習アルゴリズム種別情報
２２３ ハイパーパラメータ情報
２２４ 説明変数使用情報
２３０ 推測実行体
３００ 入力情報
３１０ テストデータ
３２０ 外部推測結果
４１０ モデル推測結果情報
４１１ モデル推測結果
５１０ 外部推測近似モデル集合
５２０ 近似モデル集合共通属性
５３０ 外部推測近似モデル集合特定部
５４０ 近似モデル集合共通属性特定部
５５０ 外部推測非近似モデル集合
６１０ 推測根拠差異
６２０ 推測根拠差異導出部
６３０ 推測モデル属性
７００ 出力情報
７１０ 推測根拠差異対応ガイドライン
８００ 推測根拠分析装置
８１０ 推測モデル記憶部
８２０ 推測実行部
８３０ 推測根拠分析部
８４０ 推測根拠差異分析部
９１０ モデル推測結果情報
９１１ モデル推測根拠
９２０ 近似モデル集合共通推測根拠特定部
９３０ 近似モデル集合共通推測根拠
９４０ メインモデル推測根拠
９５０ 推測根拠差異導出部
９６０ 推測根拠差異

Claims (11)

  1. 推測活動の推測根拠を分析する推測根拠分析装置であって、
    共通の問題を解く目的で設計または訓練された複数の推測モデルを記憶する推測モデル記憶部と、
    推測対象の情報を受け付け、前記推測対象の推測を各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果を導出する推測実行部と、
    前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行部による前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な属性を前記外部推測結果に対応する推測根拠として推定する推測根拠分析部と、
    前記推測モデル記憶部が記憶する任意の前記推測モデルの属性と、前記推測根拠分析部が推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析部と、
    を備えることを特徴とする推測根拠分析装置。
  2. 前記推測モデルは、機械学習に基づいて訓練されており、
    前記推測モデルの属性には、前記訓練に用いた訓練データが含まれる
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  3. 前記推測モデルは、機械学習に基づいて訓練されており、
    前記推測モデルの属性には、前記訓練に用いた説明変数が含まれる
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  4. 前記推測モデル記憶部は、前記複数の推測モデルとして、任意のメイン推測モデルと、前記メイン推測モデルの属性の一部に変更を加えた１以上の亜種推測モデルと、を記憶する
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  5. 前記推測根拠分析部は、
    前記推測モデルの集合を特定した上で、
    前記集合に含まれる前記推測モデルの各属性の出現頻度を算出し、
    前記算出した出現頻度が予め設定した閾値を超える前記属性の集合を、前記外部推測結果に対応する推測根拠として推定する
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  6. 前記推測根拠分析部は、
    前記推測モデルの集合を特定した上で、
    前記推測モデル記憶部が記憶する全ての前記推測モデルの属性に対して、前記集合に含まれる前記推測モデルにおける各属性の出現頻度と、前記集合に含まれない前記推測モデルにおける各属性の出現頻度とに基づいて、各属性の重要度を算出し、
    前記算出した重要度の順に整列した順序付きの前記各属性の集合を、前記外部推測結果に対応する推測根拠として推定する
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  7. 前記推測根拠差異分析部は、前記推測根拠差異に基づく情報として、前記導出した前記推測根拠差異と、前記推測活動の改善を支援するための前記推測根拠差異に基づく指針例と、を出力する
    ことを特徴とする請求項１に記載の推測根拠分析装置。
  8. 推測活動の推測根拠を分析する推測根拠分析装置であって、
    共通の問題を解く目的で設計または訓練され、推測対象に対する推測を行った場合に当該推測の推測結果及び推測根拠を導出する、複数の推測モデルを記憶する推測モデル記憶部と、
    推測対象の情報を受け付け、前記推測対象の推測を各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果と当該推測の根拠を表すモデル推測根拠とを導出する推測実行部と、
    前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行部による前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な前記モデル推測根拠を、前記外部推測結果に対応する推測根拠として推定する推測根拠分析部と、
    前記推測モデル記憶部が記憶する任意の前記推測モデルによる推測の前記モデル推測根拠と、前記推測根拠分析部が推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析部と、
    を備えることを特徴とする推測根拠分析装置。
  9. 前記推測根拠分析部は、
    前記推測モデルの集合を特定した上で、
    前記集合に含まれる前記推測モデルが導出した各前記モデル推測根拠の出現頻度を算出し、
    前記算出した出現頻度が予め設定した閾値を超える前記モデル推測根拠の集合を、前記外部推測結果に対応する推測根拠として推定する
    ことを特徴とする請求項８に記載の推測根拠分析装置。
  10. 前記推測根拠分析部は、
    前記推測モデルの集合を特定した上で、
    前記推測モデル記憶部が記憶する全ての前記推測モデルが導出した前記モデル推測根拠に対して、前記集合に含まれる前記推測モデルが導出した各前記モデル推測根拠の出現頻度と、前記集合に含まれない前記推測モデルが導出した各前記モデル推測根拠の出現頻度とに基づいて、各前記モデル推測根拠の重要度を算出し、
    前記算出した重要度の順に整列した順序付きの前記モデル推測根拠の集合を、前記外部推測結果に対応する推測根拠として推定する
    ことを特徴とする請求項８に記載の推測根拠分析装置。
  11. 推測活動の推測根拠を分析する推測根拠分析装置による推測根拠分析方法であって、
    前記推測根拠分析装置が、共通の問題を解く目的で設計または訓練された複数の推測モデルを記憶する推測モデル記憶部を有し、
    推測対象の情報を受け付け、前記推測対象の推測を前記推測モデル記憶部が記憶する各前記複数の推測モデルに基づいて実行し、当該推測の結果を表すモデル推測結果を導出する推測実行ステップと、
    前記推測対象に対する外部の手段による外部推測の結果を表す外部推測結果を受け付け、前記推測実行ステップによる前記推測対象の推測において前記外部推測結果と同一または近似の前記モデル推測結果を導出した前記推測モデルの集合を特定し、当該集合に含まれる前記推測モデルの間の共通的な属性を前記外部推測結果に対応する推測根拠として推定する推測根拠分析ステップと、
    前記推測モデル記憶部が記憶する任意の前記推測モデルの属性と、前記推測根拠分析ステップで推定した前記外部推測結果に対応する推測根拠とを比較することによって、推測モデルと外部推測の間の推測根拠の差異を表す推測根拠差異を導出し、前記推測根拠差異に基づく情報を出力する推測根拠差異分析ステップと、
    を備えることを特徴とする推測根拠分析方法。
JP2020036725A 2020-03-04 2020-03-04 推測根拠分析装置及び推測根拠分析方法 Active JP7256766B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020036725A JP7256766B2 (ja) 2020-03-04 2020-03-04 推測根拠分析装置及び推測根拠分析方法
US17/015,283 US11544600B2 (en) 2020-03-04 2020-09-09 Prediction rationale analysis apparatus and prediction rationale analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020036725A JP7256766B2 (ja) 2020-03-04 2020-03-04 推測根拠分析装置及び推測根拠分析方法

Publications (2)

Publication Number Publication Date
JP2021140396A true JP2021140396A (ja) 2021-09-16
JP7256766B2 JP7256766B2 (ja) 2023-04-12

Family

ID=77556263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020036725A Active JP7256766B2 (ja) 2020-03-04 2020-03-04 推測根拠分析装置及び推測根拠分析方法

Country Status (2)

Country Link
US (1) US11544600B2 (ja)
JP (1) JP7256766B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156635A1 (en) * 2020-11-19 2022-05-19 Sap Se Machine Learning Prediction For Recruiting Posting
US20220366133A1 (en) * 2021-05-14 2022-11-17 Microsoft Technology Licensing, Llc Training a Model in a Data-Scarce Environment Using Added Parameter Information

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110004582A1 (en) * 2009-07-03 2011-01-06 Nankai University Method of constructing the intelligent computer systems based on information reasoning
JP2019082883A (ja) * 2017-10-31 2019-05-30 株式会社デンソー 推論装置、推論方法及びプログラム
JP2020017197A (ja) * 2018-07-27 2020-01-30 株式会社日立製作所 計算機システム及び予測器が出力した予測値の根拠に関連する情報の提示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669075B2 (ja) * 2014-10-28 2020-03-18 日本電気株式会社 領域線形モデル最適化システム、方法およびプログラム
CN104993522B (zh) * 2015-06-30 2018-01-19 中国电力科学研究院 一种基于mpc的主动配电网多时间尺度协调优化调度方法
US20180284746A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for data collection optimization in an industrial internet of things environment
WO2019028269A2 (en) * 2017-08-02 2019-02-07 Strong Force Iot Portfolio 2016, Llc METHODS AND SYSTEMS FOR DETECTION IN AN INDUSTRIAL ENVIRONMENT OF COLLECTING INTERNET DATA FROM OBJECTS WITH LARGE DATA SETS
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US11232473B2 (en) * 2016-09-16 2022-01-25 Adap.Tv, Inc. Demographic prediction using aggregated labeled data
US10921801B2 (en) * 2017-08-02 2021-02-16 Strong Force loT Portfolio 2016, LLC Data collection systems and methods for updating sensed parameter groups based on pattern recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110004582A1 (en) * 2009-07-03 2011-01-06 Nankai University Method of constructing the intelligent computer systems based on information reasoning
JP2019082883A (ja) * 2017-10-31 2019-05-30 株式会社デンソー 推論装置、推論方法及びプログラム
JP2020017197A (ja) * 2018-07-27 2020-01-30 株式会社日立製作所 計算機システム及び予測器が出力した予測値の根拠に関連する情報の提示方法

Also Published As

Publication number Publication date
US11544600B2 (en) 2023-01-03
JP7256766B2 (ja) 2023-04-12
US20210279608A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US11734566B2 (en) Systems and processes for bias removal in a predictive performance model
Fenton et al. Software metrics: a rigorous and practical approach
Bazhenova et al. Discovering decision models from event logs
JP6144427B2 (ja) データ分析システムおよびデータ分析方法並びにデータ分析プログラム
US11562262B2 (en) Model variable candidate generation device and method
Harring et al. Fitting correlated residual error structures in nonlinear mixed-effects models using SAS PROC NLMIXED
Sharma et al. Data mining classification techniques to assign individual personality type and predict job profile
Vasquez Verdugo et al. Faired: A systematic fairness analysis approach applied in a higher educational context
JP7256766B2 (ja) 推測根拠分析装置及び推測根拠分析方法
Lee et al. Detecting fake reviews with supervised machine learning algorithms
Town et al. Data analytics tools: A user perspective
JP5905651B1 (ja) 実績評価装置、実績評価装置の制御方法、および実績評価装置の制御プログラム
Stefana et al. ProMetaUS: A proactive meta-learning uncertainty-based framework to select models for Dynamic Risk Management
Aksu et al. Automated prediction of relevant key performance indicators for organizations
Marshall et al. Number and quality of diagrams in scholarly publications is associated with number of citations
Farzadnia et al. Using Non-Negative Matrix Factorization to Identify the Factors Affecting the Performance of Bank Employees in Australia
US20220129792A1 (en) Method and apparatus for presenting determination result
JP2017054230A (ja) 集計分析装置、集計分析方法、及びプログラム
CN113468477B (zh) 一种敏感数据调查分析方法、存储介质及设备
Romeu On operations research and statistics techniques: Keys to quantitative data mining
Tarnowska et al. Visual analysis of relevant features in customer loyalty improvement recommendation
Nasution et al. Implementation of Delone and Mclean Model in Public Sector Institutions in Indonesia: 10.2478/bjlp-2022-001107
Kuznietsova et al. Business Intelligence Techniques for Missing Data Imputations
Samah et al. Aspect-Based Classification and Visualization of Twitter Sentiment Analysis Towards Online Food Delivery Services in Malaysia
JP2021018466A (ja) ルール抽出装置、情報処理装置、ルール抽出方法及びルール抽出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R150 Certificate of patent or registration of utility model

Ref document number: 7256766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150