JP2020135171A - 機械学習プログラム検証装置および機械学習プログラム検証方法 - Google Patents
機械学習プログラム検証装置および機械学習プログラム検証方法 Download PDFInfo
- Publication number
- JP2020135171A JP2020135171A JP2019025171A JP2019025171A JP2020135171A JP 2020135171 A JP2020135171 A JP 2020135171A JP 2019025171 A JP2019025171 A JP 2019025171A JP 2019025171 A JP2019025171 A JP 2019025171A JP 2020135171 A JP2020135171 A JP 2020135171A
- Authority
- JP
- Japan
- Prior art keywords
- logical expression
- value
- violation
- range
- explanatory variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
Abstract
Description
変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、を備えることを特徴とする。
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態の機械学習プログラム検証装置100を含むネットワーク構成図である。図1に示す機械学習プログラム検証装置100は、予測モデルの妥当性を網羅的に評価可能とするコンピュータ装置である。こうした機械学習プログラム検証装置100によれば、多数の決定木が処理対象となっても、現実的な時間内で検証処理が完了する。一方、従来技術等において、違反点を逐一特定する際の単位時間が少なくとも数秒、長い場合には1時間を要する現状では、多数の決定木を処理対象とした場合、違反点が億単位で存在することも珍しくないことをふまえると、とても現実的な時間内で処理を完了することはできない。
する。
木グラフ上に違反パスを強調表示し、決定木グラフを構成するノードのうち、強調表示された違反パスが分岐していないノードを非分岐ノードとして取得する。
また、機械学習プログラム検証装置100のハードウェア構成は、図2に示す如くとなる。すなわち機械学習プログラム検証装置100は、外部記憶装置101、メモリ103、CPU104、入力装置105、表示装置106、および外部媒体入出力装置107、を備える。
制御処理を行なう演算装置である。
図3に、本実施形態における機械学習モデル1251の構成例を示す。本実施形態における機械学習モデル1251は、複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムである。
図4に、本実施形態におけるデータセット1261の構成例を示す。本実施形態のデータセット1261は、機械学習モデル1251の学習において、入力となる実績データであって、ここではある企業が製造、販売する各商品の価格、在庫、および販売数(月間)の実績データ、を想定し例示した。このデータセット1261は、上述の目的変数の値の上限値および下限値の元データとなりうる。
以下、本実施形態における機械学習プログラム検証方法の実際手順について図に基づき説明する。以下で説明する機械学習プログラム検証方法に対応する各種動作は、機械学習
プログラム検証装置100がメモリ等に読み出して実行するプログラム102によって実現される。そして、このプログラム102は、以下に説明される各種の動作を行うためのコードから構成されている。
11の検証結果例1152参照)を、表示装置106に出力し(s9)、処理を終了する。
図13は、本実施形態の機械学習プログラム検証方法のフロー例2を示す図であり、具体的には、決定木論理式作成部110におけるフローを示す図である。
図14は、本実施形態の機械学習プログラム検証方法のフロー例3を示す図であり、具体的には、説明変数上下限論理式作成部113におけるフロー例を示す図である。
図15および図16は、本実施形態の機械学習プログラム検証方法のフロー例4、5を示す図であり、具体的には、違反範囲検索部118におけるフロー例を示す図である。また、図17は、本実施形態における違反入力値・出力値の例を示す図であり、図18A〜図18Cは、本実施形態における違反範囲検索の概念例1〜3を示す図である。
を作成する(s50)。
図19は、本実施形態の機械学習プログラム検証方法のフロー例6を示す図であり、具体的には、違反範囲分割部119におけるフロー例を示す図である。また、図20は本実施形態における違反範囲の分割概念例を示す図である。
図22、23は、本実施形態の機械学習プログラム検証方法のフロー例7、8を示す図であり、具体的には、違反パス表示部116におけるフロー例を示す図である。また、図24は、本実施形態における違反パスの表示例を示す図である。なお、図23のフローは、図22のフローとの相違点として、対象が「違反入力値」のケースと「違反範囲」のケースとなっている点以外は同様であるため、ここで図22のフローに基づき説明する。
図25は、本実施形態の機械学習プログラム検証方法のフロー例9を示す図であり、具体的には、原因抽出部117におけるフロー例を示す図である。
することを意味する違反入力値指定論理式を作成する処理と、前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済み論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、を更に実行するものである、としてもよい。
ものである、としてもよい。
101 外部記憶装置
102 プログラム
103 メモリ
104 CPU(演算装置)
105 入力装置
106 表示装置
107 外部媒体入出力装置
110 決定木論理式作成部
1101 決定木論理式
111 検証性質論理式作成部
1111 検証性質論理式
112 目的変数計算論理式作成部
1121 目的変数計算論理式
113 説明変数上下限論理式作成部
1131 説明変数上下限論理式
114 検証部
1141 結合論理式
115 充足可能性判定部
1151 充足可能性判定器
1152 検証結果
116 違反パス表示部
117 原因抽出部
118 違反範囲検索部
119 違反範囲分割部
120 入力フィルタ生成部
1201 入力フィルタのソースコード
125 機械学習モデル保持部
1251 機械学習モデル
126 データセット保持部
1261 データセット
127 違反入力値・出力値保持部
1271 違反入力値・出力値
128 違反範囲保持部
1281 違反範囲
Claims (15)
- 複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、
を備えることを特徴とする機械学習プログラム検証装置。 - 前記演算装置は、
前記決定木論理式の作成に際し、前記決定木から決定木パスを抽出し、抽出した前記決定木パスのパス条件から構成されるパス論理式を作成し、
前記検証性質論理式の作成に際し、前記説明変数および目的変数の関係として定義される検証性質のユーザ入力を入力装置で受け付け、前記受け付けた前記検証性質に基づいて前記検証性質論理式を作成するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記充足可能性判定結果が充足性を示す場合、前記説明変数を、所定ルールないしユーザ指定に基づき検索対象説明変数と非検索対象説明変数に分類する処理と、
前記違反入力値を構成する前記検索対象説明変数の値である検索対象違反入力値と、前記違反入力値を構成する前記非検索対象説明変数の値である非検索対象違反入力値とについて、前記検索対象違反入力値を含むべく前記検索対象説明変数の上限値および下限値を作成し、前記上限値以下かつ前記下限値以上の範囲を前記検索対象説明変数の検索範囲と特定する処理と、
前記検索対象説明変数の値が前記検索範囲の内にあることを意味する検索範囲論理式を作成する処理と、
前記非検索対象説明変数の前記非検索対象違反入力値を、前記非検索対象説明変数の制限範囲とし、前記非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第二の結合論理式を作成する処理と、
前記第二の結合論理式を前記充足可能性判定器に入力することで、前記第二の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式の充足可能性判定結果が充足性を示す場合、
前記説明変数を、所定ルールないしユーザ指定に基づき、第二の検索対象説明変数と第二の非検索対象説明変数に分類する処理と、
前記第二の検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を含むように前記第二の検索対象説明変数の上限値と下限値を作成する処理と、
前記上限値以下かつ前記下限値以上で、前記違反範囲を含まない範囲を、前記第二の検索対象説明変数の検索範囲とし、前記第二の検索対象説明変数の値が前記検索範囲内にあることを意味する検索範囲論理式を作成する処理と、
前記第二の非検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を前記第二の非検索対象説明変数の制限範囲とし、前記第二の非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第三の結合論理式を作成する処理と、
前記第三の結合論理式を前記充足可能性判定器に入力することで、前記第三の結合論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記第二の検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が、充足不能を示す場合、前記説明変数を取得して、
前記説明変数に違反範囲が設定されている場合、前記説明変数の値は前記違反範囲外にあることを意味する前提範囲指定論理式を作成する処理と、
前記説明変数に違反範囲が設定されていない場合、前記説明変数の値が前記違反入力値と等しいことを意味する前提範囲指定論理式を作成する処理と、
前記前提範囲指定論理式を前記結合論理式に結合することで、第四の結合論理式を作成する処理と、
前記第四の結合論理式を充足可能性判定器に入力することで、前記第四の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記充足可能性判定器からその充足解を取得し、前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理と、
を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が充足性を示す場合、当該充足解を取得して、
前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、
前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、
前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記
違反入力値指定済み論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項4に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反範囲に含まれることを示す違反範囲指定論理式を作成する処理と、
前記違反範囲指定論理式を、前記パス論理式に論理積結合することで、違反範囲指定パス論理式を作成する処理と、
前記違反範囲指定パス論理式を、前記充足可能性判定器に入力することで、前記違反範囲指定パス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記違反入力値または前記第二の違反入力値について、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、
前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、
を更に実行するものである、
ことを特徴とする請求項7または8に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記プログラムに対する入力値として、前記説明変数の値を入力装置にて受け付け、前記説明変数の値が前記違反範囲のいずれにも含まれない場合、前記入力値を前記プログラムに送信する入力フィルタプログラムのソースコードを生成する処理を更に実行するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記結合論理式を作成するに際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記説明変数の値は前記最大値以下で前記最小値以上であることを示す説明変数範囲制限論理式を作成し、前記決定木論理式、前記検証性質論理式、および前記目的変数計算論理式に加えて、前記説明変数範囲制限論理式を論理積結合することで、前記結合論理式を作成するものである、
ことを特徴とする請求項1に記載の機械学習プログラム検証装置。 - 前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記検索範囲の特定に際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記最大値または最小値に所定ルールを適用して、前記上限値および下限値を作成する際、前記検索対象違反入力値に加算あるいは減算する単位値を算出するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 前記演算装置は、
前記検索対象違反入力値に加算あるいは減算する前記単位値を、所定期間に前記加算ないし前記減算を行った回数に基づいて所定ルールで変更する、
ことを特徴とする請求項12に記載の機械学習プログラム検証装置 - 前記演算装置は、
前記第二の結合論理式あるいは第三の結合論理式についての、充足可能性判定結果が充足不能を示す場合、
前記検索対象説明変数の前記検索範囲、および前記非検索対象説明変数の前記制限範囲に含まれる範囲を記憶する処理と、
前記違反範囲を表す入力値の多次元空間を、前記検索対象説明変数の前記検索範囲の上限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第一の超平面と、前記検索対象説明変数の前記検索範囲の下限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第二の超平面と、前記非検索対象説明変数の前記制限範囲の上限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第三の超平面と、前記非検索対象説明変数の前記制限範囲の下限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第四の超平面とで分割する処理と、
前記分割で得られた分割後空間のうち、前記第一の超平面と、前記第三の超平面と、前記第四の超平面とに囲まれた空間を再確認空間と特定し、入力値が前記再確認空間に含まれることを意味する再確認空間論理式を作成する処理と、
前記再確認空間論理式を前記結合論理式に論理積結合することで、第五の結合論理式を作成する処理と、
前記第五の結合論理式を前記充足可能性判定器に入力することで、前記第五の結合論理式の充足可能性判定結果を取得する処理と、
前記充足可能性判定結果が充足性を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間を除いて得られる、複数の多次元空間を違反範囲と特定する処理と、
前記充足可能性判定結果が充足不能を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間と、前記再確認空間を除いた複数の多次元空間とを違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項3に記載の機械学習プログラム検証装置。 - 情報処理装置が、
複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置を備えて、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足
可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、
を実行することを特徴とする機械学習プログラム検証方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025171A JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
US16/784,450 US11481692B2 (en) | 2019-02-15 | 2020-02-07 | Machine learning program verification apparatus and machine learning program verification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025171A JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020135171A true JP2020135171A (ja) | 2020-08-31 |
JP2020135171A5 JP2020135171A5 (ja) | 2021-04-15 |
JP7059220B2 JP7059220B2 (ja) | 2022-04-25 |
Family
ID=72043301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019025171A Active JP7059220B2 (ja) | 2019-02-15 | 2019-02-15 | 機械学習プログラム検証装置および機械学習プログラム検証方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11481692B2 (ja) |
JP (1) | JP7059220B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7062250B1 (ja) * | 2021-10-14 | 2022-05-06 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
WO2023161972A1 (ja) * | 2022-02-22 | 2023-08-31 | 三菱電機株式会社 | 学習済みモデル検証システム |
US11914507B2 (en) | 2021-06-02 | 2024-02-27 | Hitachi, Ltd. | Software test apparatus and software test method |
JP7496951B1 (ja) | 2023-09-21 | 2024-06-07 | 三菱電機株式会社 | 検証装置、推論システム、検証方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110184705A1 (en) * | 2010-01-26 | 2011-07-28 | Nec Laboratories America, Inc. | Dpll-based sat solver using with application-aware branching |
JP2012155517A (ja) * | 2011-01-26 | 2012-08-16 | Kyushu Univ | モデル検査装置、モデル検査方法およびモデル検査プログラム |
JP2016057969A (ja) * | 2014-09-11 | 2016-04-21 | 日立オートモティブシステムズ株式会社 | プログラム検査装置、ソフトウェア検査装置、sat制約条件データ、記憶媒体 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540606B2 (en) * | 2014-06-30 | 2020-01-21 | Amazon Technologies, Inc. | Consistent filtering of machine learning data |
CA2953817C (en) * | 2014-06-30 | 2023-07-04 | Amazon Technologies, Inc. | Feature processing tradeoff management |
KR20160050807A (ko) * | 2014-10-31 | 2016-05-11 | 삼성에스디에스 주식회사 | 데이터 분석 및 예측 장치 및 방법 |
US10402735B2 (en) * | 2015-03-30 | 2019-09-03 | The Nielsen Company (Us), Llc | Methods and apparatus to improve decision tree execution |
JP6765911B2 (ja) | 2016-09-15 | 2020-10-07 | 三菱重工業株式会社 | 分類装置、分類方法およびプログラム |
US10049302B1 (en) * | 2017-07-17 | 2018-08-14 | Sas Institute Inc. | Classification system training |
US10963817B2 (en) * | 2017-10-30 | 2021-03-30 | Equifax Inc. | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data |
US20210012214A1 (en) * | 2018-03-29 | 2021-01-14 | Nec Corporation | Learning apparatus, learning method, and computer-readable recording medium |
JP2020004178A (ja) * | 2018-06-29 | 2020-01-09 | ルネサスエレクトロニクス株式会社 | 学習モデルの評価方法、学習方法、装置、及びプログラム |
US20200250623A1 (en) * | 2019-02-01 | 2020-08-06 | Capital One Services, Llc | Systems and techniques to quantify strength of a relationship with an enterprise |
-
2019
- 2019-02-15 JP JP2019025171A patent/JP7059220B2/ja active Active
-
2020
- 2020-02-07 US US16/784,450 patent/US11481692B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110184705A1 (en) * | 2010-01-26 | 2011-07-28 | Nec Laboratories America, Inc. | Dpll-based sat solver using with application-aware branching |
JP2012155517A (ja) * | 2011-01-26 | 2012-08-16 | Kyushu Univ | モデル検査装置、モデル検査方法およびモデル検査プログラム |
JP2016057969A (ja) * | 2014-09-11 | 2016-04-21 | 日立オートモティブシステムズ株式会社 | プログラム検査装置、ソフトウェア検査装置、sat制約条件データ、記憶媒体 |
Non-Patent Citations (2)
Title |
---|
JOHN TORNBLOM ほか: "Formal Verification of Random Forests in Safety-Critical Applications", SEMANTIC SCHOLAR[ONLINE], JPN6022012998, 16 November 2018 (2018-11-16), ISSN: 0004742602 * |
高野 保真 ほか: "反復的な試行にもとづくSMTソルバ実行戦略の検討", 情報処理学会論文誌プログラミング(PRO), vol. 11, no. 2, JPN6022012997, 26 June 2018 (2018-06-26), pages 9 - 19, ISSN: 0004742603 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11914507B2 (en) | 2021-06-02 | 2024-02-27 | Hitachi, Ltd. | Software test apparatus and software test method |
JP7062250B1 (ja) * | 2021-10-14 | 2022-05-06 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
WO2023062780A1 (ja) * | 2021-10-14 | 2023-04-20 | 株式会社エイシング | 情報処理装置、方法、プログラム及びシステム |
WO2023161972A1 (ja) * | 2022-02-22 | 2023-08-31 | 三菱電機株式会社 | 学習済みモデル検証システム |
JP7459406B2 (ja) | 2022-02-22 | 2024-04-01 | 三菱電機株式会社 | 学習済みモデル検証システム |
JP7496951B1 (ja) | 2023-09-21 | 2024-06-07 | 三菱電機株式会社 | 検証装置、推論システム、検証方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7059220B2 (ja) | 2022-04-25 |
US20200265342A1 (en) | 2020-08-20 |
US11481692B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sarstedt et al. | Partial least squares structural equation modeling using SmartPLS: a software review | |
JP7059220B2 (ja) | 機械学習プログラム検証装置および機械学習プログラム検証方法 | |
Leemans et al. | Earth movers’ stochastic conformance checking | |
De Weerdt et al. | A multi-dimensional quality assessment of state-of-the-art process discovery algorithms using real-life event logs | |
US20150120263A1 (en) | Computer-Implemented Systems and Methods for Testing Large Scale Automatic Forecast Combinations | |
TW202030685A (zh) | 電腦執行的事件風險評估的方法及裝置 | |
van Eck et al. | Genetic process mining: Alignment-based process model mutation | |
JP7069029B2 (ja) | 自動予測システム、自動予測方法および自動予測プログラム | |
Becker et al. | Designing and implementing a framework for event-based predictive modelling of business processes | |
Gransden et al. | SEPIA: search for proofs using inferred automata | |
JP2020135171A5 (ja) | ||
CN110990523A (zh) | 一种法律文书的确定方法及系统 | |
CN112100400A (zh) | 基于知识图谱的节点推荐方法及装置 | |
Impedovo et al. | Simultaneous process drift detection and characterization with pattern-based change detectors | |
JP6416588B2 (ja) | ソースコード検証システム | |
Pospíšil et al. | Process mining in a manufacturing company for predictions and planning | |
KR101836333B1 (ko) | 원자력 발전소의 노심설계 자동 검증 시스템 | |
JP6120607B2 (ja) | 要件検出装置及び要件検出プログラム | |
JP7259830B2 (ja) | モデル評価装置、モデル評価方法、およびプログラム | |
JP2006277282A (ja) | モデル評価解析システムおよびモデル評価解析プログラム | |
CN114493279A (zh) | 一种工作流任务预测方法、装置、存储介质及电子设备 | |
JP5900212B2 (ja) | テストデータ生成装置、該プログラム、及び該方法 | |
De Sousa Coelho et al. | System dynamics model for simulation of the software inspection process | |
WO2022254607A1 (ja) | 情報処理装置、差分抽出方法、及び非一時的なコンピュータ可読媒体 | |
JP7026922B1 (ja) | 情報処理装置、方法、プログラム及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7059220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |