JP2020135171A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020135171A5 JP2020135171A5 JP2019025171A JP2019025171A JP2020135171A5 JP 2020135171 A5 JP2020135171 A5 JP 2020135171A5 JP 2019025171 A JP2019025171 A JP 2019025171A JP 2019025171 A JP2019025171 A JP 2019025171A JP 2020135171 A5 JP2020135171 A5 JP 2020135171A5
- Authority
- JP
- Japan
- Prior art keywords
- value
- violation
- explanatory variable
- range
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 45
- 230000014509 gene expression Effects 0.000 claims description 36
- 238000003066 decision tree Methods 0.000 claims description 32
- 230000000875 corresponding Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims 4
- 238000004364 calculation method Methods 0.000 claims 3
Description
また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、を更に実行するものである、としてもよい。
また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記違反入力値について、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、を更に実行するものである、としてもよい。
Claims (15)
- 複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、
を備えることを特徴とする機械学習プログラム検証装置。 - 前記演算装置は、
前記決定木論理式の作成に際し、前記決定木から決定木パスを抽出し、抽出した前記決定木パスのパス条件から構成されるパス論理式を作成し、
前記検証性質論理式の作成に際し、前記説明変数および目的変数の関係として定義される検証性質のユーザ入力を入力装置で受け付け、前記受け付けた前記検証性質に基づいて前記検証性質論理式を作成するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記充足可能性判定結果が充足性を示す場合、前記説明変数を、所定ルールないしユーザ指定に基づき検索対象説明変数と非検索対象説明変数に分類する処理と、
前記違反入力値を構成する前記検索対象説明変数の値である検索対象違反入力値と、前記違反入力値を構成する前記非検索対象説明変数の値である非検索対象違反入力値とについて、前記検索対象違反入力値を含むべく前記検索対象説明変数の上限値および下限値を作成し、前記上限値以下かつ前記下限値以上の範囲を前記検索対象説明変数の検索範囲と特定する処理と、
前記検索対象説明変数の値が前記検索範囲の内にあることを意味する検索範囲論理式を作成する処理と、
前記非検索対象説明変数の前記非検索対象違反入力値を、前記非検索対象説明変数の制限範囲とし、前記非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第二の結合論理式を作成する処理と、
前記第二の結合論理式を前記充足可能性判定器に入力することで、前記第二の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式の充足可能性判定結果が充足性を示す場合、
前記説明変数を、所定ルールないしユーザ指定に基づき、第二の検索対象説明変数と第二の非検索対象説明変数に分類する処理と、
前記第二の検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を含むように前記第二の検索対象説明変数の上限値と下限値を作成する処理と、
前記上限値以下かつ前記下限値以上で、前記違反範囲を含まない範囲を、前記第二の検索対象説明変数の検索範囲とし、前記第二の検索対象説明変数の値が前記検索範囲内にあることを意味する検索範囲論理式を作成する処理と、
前記第二の非検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を前記第二の非検索対象説明変数の制限範囲とし、前記第二の非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第三の結合論理式を作成する処理と、
前記第三の結合論理式を前記充足可能性判定器に入力することで、前記第三の結合論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記第二の検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が、充足不能を示す場合、前記説明変数を取得して、
前記説明変数に違反範囲が設定されている場合、前記説明変数の値は前記違反範囲外にあることを意味する前提範囲指定論理式を作成する処理と、
前記説明変数に違反範囲が設定されていない場合、前記説明変数の値が前記違反入力値と等しいことを意味する前提範囲指定論理式を作成する処理と、
前記前提範囲指定論理式を前記結合論理式に結合することで、第四の結合論理式を作成する処理と、
前記第四の結合論理式を充足可能性判定器に入力することで、前記第四の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記充足可能性判定器からその充足解を取得し、前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理と、
を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が充足性を示す場合、当該充足解を取得して、
前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、
前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、
前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反範囲に含まれることを示す違反範囲指定論理式を作成する処理と、
前記違反範囲指定論理式を、前記パス論理式に論理積結合することで、違反範囲指定パス論理式を作成する処理と、
前記違反範囲指定パス論理式を、前記充足可能性判定器に入力することで、前記違反範囲指定パス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記違反入力値について、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、
前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、
を更に実行するものである、
ことを特徴とする請求項7または8に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記プログラムに対する入力値として、前記説明変数の値を入力装置にて受け付け、前記説明変数の値が前記違反範囲のいずれにも含まれない場合、前記入力値を前記プログラムに送信する入力フィルタプログラムのソースコードを生成する処理を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記結合論理式を作成するに際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記説明変数の値は前記最大値以下で前記最小値以上であることを示す説明変数範囲制限論理式を作成し、前記決定木論理式、前記検証性質論理式、および前記目的変数計算論理式に加えて、前記説明変数範囲制限論理式を論理積結合することで、前記結合論理式を作成するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記検索範囲の特定に際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記最大値または最小値に所定ルールを適用して、前記上限値および下限値を作成する際、前記検索対象違反入力値に加算あるいは減算する単位値を算出するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記検索対象違反入力値に加算あるいは減算する前記単位値を、所定期間に前記加算ないし前記減算を行った回数に基づいて所定ルールで変更する、
ことを特徴とする請求項12に記載の機械学習プログラム検証装置 - 前記演算装置は、
前記第二の結合論理式あるいは第三の結合論理式についての、充足可能性判定結果が充足不能を示す場合、
前記検索対象説明変数の前記検索範囲、および前記非検索対象説明変数の前記制限範囲に含まれる範囲を記憶する処理と、
前記違反範囲を表す入力値の多次元空間を、前記検索対象説明変数の前記検索範囲の上限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第一の超平面と、前記検索対象説明変数の前記検索範囲の下限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第二の超平面と、前記非検索対象説明変数の前記制限範囲の上限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第三の超平面と、前記非検索対象説明変数の前記制限範囲の下限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第四の超平面とで分割する処理と、
前記分割で得られた分割後空間のうち、前記第一の超平面と、前記第三の超平面と、前記第四の超平面とに囲まれた空間を再確認空間と特定し、入力値が前記再確認空間に含まれることを意味する再確認空間論理式を作成する処理と、
前記再確認空間論理式を前記結合論理式に論理積結合することで、第五の結合論理式を作成する処理と、
前記第五の結合論理式を前記充足可能性判定器に入力することで、前記第五の結合論理式の充足可能性判定結果を取得する処理と、
前記充足可能性判定結果が充足性を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間を除いて得られる、複数の多次元空間を違反範囲と特定する処理と、
前記充足可能性判定結果が充足不能を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間と、前記再確認空間を除いた複数の多次元空間とを違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 情報処理装置が、
複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置を備えて、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、
を実行することを特徴とする機械学習プログラム検証方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025171A JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
US16/784,450 US11481692B2 (en) | 2019-02-15 | 2020-02-07 | Machine learning program verification apparatus and machine learning program verification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025171A JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020135171A JP2020135171A (ja) | 2020-08-31 |
JP2020135171A5 true JP2020135171A5 (ja) | 2021-04-15 |
JP7059220B2 JP7059220B2 (ja) | 2022-04-25 |
Family
ID=72043301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019025171A Active JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11481692B2 (ja) |
JP (1) | JP7059220B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022185186A (ja) | 2021-06-02 | 2022-12-14 | 株式会社日立製作所 | ソフトウェアテスト装置及びソフトウェアテスト方法 |
WO2023062780A1 (ja) * | 2021-10-14 | 2023-04-20 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
JP7459406B2 (ja) | 2022-02-22 | 2024-04-01 | 三菱電機株式会社 | 学習済みモデル検証システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8532971B2 (en) * | 2010-01-26 | 2013-09-10 | Nec Laboratories America, Inc. | DPLL-based SAT solver using with application-aware branching |
JP5396406B2 (ja) * | 2011-01-26 | 2014-01-22 | 国立大学法人九州大学 | モデル検査装置、モデル検査方法およびモデル検査プログラム |
WO2016004075A1 (en) * | 2014-06-30 | 2016-01-07 | Amazon Technologies, Inc. | Interactive interfaces for machine learning model evaluations |
US10540606B2 (en) * | 2014-06-30 | 2020-01-21 | Amazon Technologies, Inc. | Consistent filtering of machine learning data |
JP2016057969A (ja) * | 2014-09-11 | 2016-04-21 | 日立オートモティブシステムズ株式会社 | プログラム検査装置、ソフトウェア検査装置、sat制約条件データ、記憶媒体 |
KR20160050807A (ko) * | 2014-10-31 | 2016-05-11 | 삼성에스디에스 주식회사 | 데이터 분석 및 예측 장치 및 방법 |
US10402735B2 (en) * | 2015-03-30 | 2019-09-03 | The Nielsen Company (Us), Llc | Methods and apparatus to improve decision tree execution |
JP6765911B2 (ja) | 2016-09-15 | 2020-10-07 | 三菱重工業株式会社 | 分類装置、分類方法およびプログラム |
US10049302B1 (en) * | 2017-07-17 | 2018-08-14 | Sas Institute Inc. | Classification system training |
AU2017437537B2 (en) * | 2017-10-30 | 2023-11-09 | Equifax, Inc. | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data |
JP6888737B2 (ja) * | 2018-03-29 | 2021-06-16 | 日本電気株式会社 | 学習装置、学習方法、及びプログラム |
JP2020004178A (ja) * | 2018-06-29 | 2020-01-09 | ルネサスエレクトロニクス株式会社 | 学習モデルの評価方法、学習方法、装置、及びプログラム |
US20200250623A1 (en) * | 2019-02-01 | 2020-08-06 | Capital One Services, Llc | Systems and techniques to quantify strength of a relationship with an enterprise |
-
2019
- 2019-02-15 JP JP2019025171A patent/JP7059220B2/ja active Active
-
2020
- 2020-02-07 US US16/784,450 patent/US11481692B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shang et al. | Democratizing data science through interactive curation of ml pipelines | |
JP2020135171A5 (ja) | ||
Zhu et al. | Hesitant analytic hierarchy process | |
Sainz et al. | Modal interval analysis | |
KR102074909B1 (ko) | 소프트웨어 취약점 분류 장치 및 방법 | |
CN103365829A (zh) | 信息处理装置、信息处理方法和程序 | |
Pan et al. | Collaborative recommendation with multiclass preference context | |
US10025558B2 (en) | Module division assistance device, module division assistance method, and module division assistance program | |
Janicki et al. | On a pairwise comparison-based consistent non-numerical ranking | |
US11481692B2 (en) | Machine learning program verification apparatus and machine learning program verification method | |
Maggo et al. | A machine learning based efficient software reusability prediction model for java based object oriented software | |
US20180052441A1 (en) | Simulation system, simulation method, and simulation program | |
JP2016505973A (ja) | 予測モデル生成のためのユーザーインタフェース | |
CN110472742B (zh) | 一种模型变量确定方法、装置及设备 | |
Hompes et al. | Detecting changes in process behavior using comparative case clustering | |
TWI710970B (zh) | 無監督模型評估方法、裝置、伺服器及可讀儲存媒體 | |
JP6253862B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Hoc et al. | Comparing multiple linear regression, deep learning and multiple perceptron for functional points estimation | |
Barreiros et al. | A cover-based approach for configuration repair | |
CN112631925A (zh) | 一种单变量原子违背缺陷的检测方法 | |
JP7211196B2 (ja) | 誤り判定装置、誤り判定方法、及びプログラム | |
JP2018092374A5 (ja) | ||
Kwiatkowska et al. | Symbolic verification and strategy synthesis for turn-based stochastic games | |
US20120192130A1 (en) | Circuit design approximation | |
Kordy et al. | SPTool–Equivalence Checker for Attack Trees |