JP2020135171A5 - - Google Patents

Download PDF

Info

Publication number
JP2020135171A5
JP2020135171A5 JP2019025171A JP2019025171A JP2020135171A5 JP 2020135171 A5 JP2020135171 A5 JP 2020135171A5 JP 2019025171 A JP2019025171 A JP 2019025171A JP 2019025171 A JP2019025171 A JP 2019025171A JP 2020135171 A5 JP2020135171 A5 JP 2020135171A5
Authority
JP
Japan
Prior art keywords
value
violation
explanatory variable
range
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019025171A
Other languages
English (en)
Other versions
JP2020135171A (ja
JP7059220B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2019025171A priority Critical patent/JP7059220B2/ja
Priority claimed from JP2019025171A external-priority patent/JP7059220B2/ja
Priority to US16/784,450 priority patent/US11481692B2/en
Publication of JP2020135171A publication Critical patent/JP2020135171A/ja
Publication of JP2020135171A5 publication Critical patent/JP2020135171A5/ja
Application granted granted Critical
Publication of JP7059220B2 publication Critical patent/JP7059220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、を更に実行するものである、としてもよい。
また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記違反入力値ついて、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、を更に実行するものである、としてもよい。

Claims (15)

  1. 複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、
    前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
    前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
    前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
    前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、
    を備えることを特徴とする機械学習プログラム検証装置。
  2. 前記演算装置は、
    前記決定木論理式の作成に際し、前記決定木から決定木パスを抽出し、抽出した前記決定木パスのパス条件から構成されるパス論理式を作成し、
    前記検証性質論理式の作成に際し、前記説明変数および目的変数の関係として定義される検証性質のユーザ入力を入力装置で受け付け、前記受け付けた前記検証性質に基づいて前記検証性質論理式を作成するものである、
    ことを特徴とする請求項1に記載の機械学習プログラム検証装置。
  3. 前記演算装置は、
    前記充足可能性判定結果が充足性を示す場合、前記説明変数を、所定ルールないしユーザ指定に基づき検索対象説明変数と非検索対象説明変数に分類する処理と、
    前記違反入力値を構成する前記検索対象説明変数の値である検索対象違反入力値と、前記違反入力値を構成する前記非検索対象説明変数の値である非検索対象違反入力値とについて、前記検索対象違反入力値を含むべく前記検索対象説明変数の上限値および下限値を作成し、前記上限値以下かつ前記下限値以上の範囲を前記検索対象説明変数の検索範囲と特定する処理と、
    前記検索対象説明変数の値が前記検索範囲の内にあることを意味する検索範囲論理式を作成する処理と、
    前記非検索対象説明変数の前記非検索対象違反入力値を、前記非検索対象説明変数の制限範囲とし、前記非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
    前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第二の結合論理式を作成する処理と、
    前記第二の結合論理式を前記充足可能性判定器に入力することで、前記第二の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記検索対象説明変数の違反範囲と特定する処理と、
    を更に実行するものである、
    ことを特徴とする請求項1に記載の機械学習プログラム検証装置。
  4. 前記演算装置は、
    前記第二の結合論理式の充足可能性判定結果が充足性を示す場合、
    前記説明変数を、所定ルールないしユーザ指定に基づき、第二の検索対象説明変数と第二の非検索対象説明変数に分類する処理と、
    前記第二の検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を含むように前記第二の検索対象説明変数の上限値と下限値を作成する処理と、
    前記上限値以下かつ前記下限値以上で、前記違反範囲を含まない範囲を、前記第二の検索対象説明変数の検索範囲とし、前記第二の検索対象説明変数の値が前記検索範囲内にあることを意味する検索範囲論理式を作成する処理と、
    前記第二の非検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を前記第二の非検索対象説明変数の制限範囲とし、前記第二の非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
    前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第三の結合論理式を作成する処理と、
    前記第三の結合論理式を前記充足可能性判定器に入力することで、前記第三の結合論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記第二の検索対象説明変数の違反範囲と特定する処理と、
    を更に実行するものである、
    ことを特徴とする請求項3に記載の機械学習プログラム検証装置。
  5. 前記演算装置は、
    前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が、充足不能を示す場合、前記説明変数を取得して、
    前記説明変数に違反範囲が設定されている場合、前記説明変数の値は前記違反範囲外にあることを意味する前提範囲指定論理式を作成する処理と、
    前記説明変数に違反範囲が設定されていない場合、前記説明変数の値が前記違反入力値と等しいことを意味する前提範囲指定論理式を作成する処理と、
    前記前提範囲指定論理式を前記結合論理式に結合することで、第四の結合論理式を作成する処理と、
    前記第四の結合論理式を充足可能性判定器に入力することで、前記第四の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記充足可能性判定器からその充足解を取得し、前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理と、
    を更に実行するものである、
    ことを特徴とする請求項4に記載の機械学習プログラム検証装置。
  6. 前記演算装置は、
    前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が充足性を示す場合、当該充足解を取得して、
    前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理を更に実行するものである、
    ことを特徴とする請求項4に記載の機械学習プログラム検証装置。
  7. 前記演算装置は、
    前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、
    前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、
    前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
    前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
    を更に実行するものである、
    ことを特徴とする請求項4に記載の機械学習プログラム検証装置。
  8. 前記演算装置は、
    前記パス論理式に現れる前記説明変数の値が、前記違反範囲に含まれることを示す違反範囲指定論理式を作成する処理と、
    前記違反範囲指定論理式を、前記パス論理式に論理積結合することで、違反範囲指定パス論理式を作成する処理と、
    前記違反範囲指定パス論理式を、前記充足可能性判定器に入力することで、前記違反範囲指定パス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
    前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
    を更に実行するものである、
    ことを特徴とする請求項3に記載の機械学習プログラム検証装置。
  9. 前記演算装置は、
    前記違反入力値ついて、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、
    前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、
    を更に実行するものである、
    ことを特徴とする請求項7または8に記載の機械学習プログラム検証装置。
  10. 前記演算装置は、
    前記プログラムに対する入力値として、前記説明変数の値を入力装置にて受け付け、前記説明変数の値が前記違反範囲のいずれにも含まれない場合、前記入力値を前記プログラムに送信する入力フィルタプログラムのソースコードを生成する処理を更に実行するものである、
    ことを特徴とする請求項に記載の機械学習プログラム検証装置。
  11. 前記記憶装置は、
    前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
    前記演算装置は、
    前記結合論理式を作成するに際し、
    前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記説明変数の値は前記最大値以下で前記最小値以上であることを示す説明変数範囲制限論理式を作成し、前記決定木論理式、前記検証性質論理式、および前記目的変数計算論理式に加えて、前記説明変数範囲制限論理式を論理積結合することで、前記結合論理式を作成するものである、
    ことを特徴とする請求項1に記載の機械学習プログラム検証装置。
  12. 前記記憶装置は、
    前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
    前記演算装置は、
    前記検索範囲の特定に際し、
    前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記最大値または最小値に所定ルールを適用して、前記上限値および下限値を作成する際、前記検索対象違反入力値に加算あるいは減算する単位値を算出するものである、
    ことを特徴とする請求項3に記載の機械学習プログラム検証装置。
  13. 前記演算装置は、
    前記検索対象違反入力値に加算あるいは減算する前記単位値を、所定期間に前記加算ないし前記減算を行った回数に基づいて所定ルールで変更する、
    ことを特徴とする請求項12に記載の機械学習プログラム検証装置
  14. 前記演算装置は、
    前記第二の結合論理式あるいは第三の結合論理式についての、充足可能性判定結果が充足不能を示す場合、
    前記検索対象説明変数の前記検索範囲、および前記非検索対象説明変数の前記制限範囲に含まれる範囲を記憶する処理と、
    前記違反範囲を表す入力値の多次元空間を、前記検索対象説明変数の前記検索範囲の上限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第一の超平面と、前記検索対象説明変数の前記検索範囲の下限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第二の超平面と、前記非検索対象説明変数の前記制限範囲の上限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第三の超平面と、前記非検索対象説明変数の前記制限範囲の下限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第四の超平面とで分割する処理と、
    前記分割で得られた分割後空間のうち、前記第一の超平面と、前記第三の超平面と、前記第四の超平面とに囲まれた空間を再確認空間と特定し、入力値が前記再確認空間に含まれることを意味する再確認空間論理式を作成する処理と、
    前記再確認空間論理式を前記結合論理式に論理積結合することで、第五の結合論理式を作成する処理と、
    前記第五の結合論理式を前記充足可能性判定器に入力することで、前記第五の結合論理式の充足可能性判定結果を取得する処理と、
    前記充足可能性判定結果が充足性を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間を除いて得られる、複数の多次元空間を違反範囲と特定する処理と、
    前記充足可能性判定結果が充足不能を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間と、前記再確認空間を除いた複数の多次元空間とを違反範囲と特定する処理と、
    を更に実行するものである、
    ことを特徴とする請求項3に記載の機械学習プログラム検証装置。
  15. 情報処理装置が、
    複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置を備えて、
    前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
    前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
    前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
    前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、
    を実行することを特徴とする機械学習プログラム検証方法。
JP2019025171A 2019-02-15 2019-02-15 機械学習プログラム検証装置および機械学習プログラム検証方法 Active JP7059220B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019025171A JP7059220B2 (ja) 2019-02-15 2019-02-15 機械学習プログラム検証装置および機械学習プログラム検証方法
US16/784,450 US11481692B2 (en) 2019-02-15 2020-02-07 Machine learning program verification apparatus and machine learning program verification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019025171A JP7059220B2 (ja) 2019-02-15 2019-02-15 機械学習プログラム検証装置および機械学習プログラム検証方法

Publications (3)

Publication Number Publication Date
JP2020135171A JP2020135171A (ja) 2020-08-31
JP2020135171A5 true JP2020135171A5 (ja) 2021-04-15
JP7059220B2 JP7059220B2 (ja) 2022-04-25

Family

ID=72043301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025171A Active JP7059220B2 (ja) 2019-02-15 2019-02-15 機械学習プログラム検証装置および機械学習プログラム検証方法

Country Status (2)

Country Link
US (1) US11481692B2 (ja)
JP (1) JP7059220B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022185186A (ja) 2021-06-02 2022-12-14 株式会社日立製作所 ソフトウェアテスト装置及びソフトウェアテスト方法
WO2023062780A1 (ja) * 2021-10-14 2023-04-20 株式会社エイシング 情報処理装置、方法、プログラム及びシステム
JP7459406B2 (ja) 2022-02-22 2024-04-01 三菱電機株式会社 学習済みモデル検証システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532971B2 (en) * 2010-01-26 2013-09-10 Nec Laboratories America, Inc. DPLL-based SAT solver using with application-aware branching
JP5396406B2 (ja) * 2011-01-26 2014-01-22 国立大学法人九州大学 モデル検査装置、モデル検査方法およびモデル検査プログラム
WO2016004075A1 (en) * 2014-06-30 2016-01-07 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US10540606B2 (en) * 2014-06-30 2020-01-21 Amazon Technologies, Inc. Consistent filtering of machine learning data
JP2016057969A (ja) * 2014-09-11 2016-04-21 日立オートモティブシステムズ株式会社 プログラム検査装置、ソフトウェア検査装置、sat制約条件データ、記憶媒体
KR20160050807A (ko) * 2014-10-31 2016-05-11 삼성에스디에스 주식회사 데이터 분석 및 예측 장치 및 방법
US10402735B2 (en) * 2015-03-30 2019-09-03 The Nielsen Company (Us), Llc Methods and apparatus to improve decision tree execution
JP6765911B2 (ja) 2016-09-15 2020-10-07 三菱重工業株式会社 分類装置、分類方法およびプログラム
US10049302B1 (en) * 2017-07-17 2018-08-14 Sas Institute Inc. Classification system training
AU2017437537B2 (en) * 2017-10-30 2023-11-09 Equifax, Inc. Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
JP6888737B2 (ja) * 2018-03-29 2021-06-16 日本電気株式会社 学習装置、学習方法、及びプログラム
JP2020004178A (ja) * 2018-06-29 2020-01-09 ルネサスエレクトロニクス株式会社 学習モデルの評価方法、学習方法、装置、及びプログラム
US20200250623A1 (en) * 2019-02-01 2020-08-06 Capital One Services, Llc Systems and techniques to quantify strength of a relationship with an enterprise

Similar Documents

Publication Publication Date Title
Shang et al. Democratizing data science through interactive curation of ml pipelines
JP2020135171A5 (ja)
Zhu et al. Hesitant analytic hierarchy process
Sainz et al. Modal interval analysis
KR102074909B1 (ko) 소프트웨어 취약점 분류 장치 및 방법
CN103365829A (zh) 信息处理装置、信息处理方法和程序
Pan et al. Collaborative recommendation with multiclass preference context
US10025558B2 (en) Module division assistance device, module division assistance method, and module division assistance program
Janicki et al. On a pairwise comparison-based consistent non-numerical ranking
US11481692B2 (en) Machine learning program verification apparatus and machine learning program verification method
Maggo et al. A machine learning based efficient software reusability prediction model for java based object oriented software
US20180052441A1 (en) Simulation system, simulation method, and simulation program
JP2016505973A (ja) 予測モデル生成のためのユーザーインタフェース
CN110472742B (zh) 一种模型变量确定方法、装置及设备
Hompes et al. Detecting changes in process behavior using comparative case clustering
TWI710970B (zh) 無監督模型評估方法、裝置、伺服器及可讀儲存媒體
JP6253862B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Hoc et al. Comparing multiple linear regression, deep learning and multiple perceptron for functional points estimation
Barreiros et al. A cover-based approach for configuration repair
CN112631925A (zh) 一种单变量原子违背缺陷的检测方法
JP7211196B2 (ja) 誤り判定装置、誤り判定方法、及びプログラム
JP2018092374A5 (ja)
Kwiatkowska et al. Symbolic verification and strategy synthesis for turn-based stochastic games
US20120192130A1 (en) Circuit design approximation
Kordy et al. SPTool–Equivalence Checker for Attack Trees