JP2022185186A - ソフトウェアテスト装置及びソフトウェアテスト方法 - Google Patents

Abstract

【課題】機械学習により作成された予測モデルの妥当性について、適宜な精度および効率で検証可能とする。【解決手段】ソフトウェアテスト装置１００において、予測モデルを保持する記憶装置２０１と、前提条件、制約条件、及び近似閾値の入力を受け付け、予測モデルを論理式に変換し、この論理式に対して近似閾値に基づき近似範囲を解析して論理式を簡略化し、簡略化した論理式を前提条件及び制約条件の否定と結合して検査式を生成し、検査式を充足する値を反例として探索し、反例が存在する場合に予測モデルに入力して検査精度を評価し、その結果を出力する演算装置２０２を含む構成とする。【選択図】図２

Description

本発明は、ソフトウェアテスト装置及びソフトウェアテスト方法に関するものである。

学習済みモデルを組み込んだ人工知能ソフトウェアが存在する。この人工知能ソフトウェアは、学習データから機械的に作成された学習済みモデルを用いるため、人間には作成できない高度な機能を実現できる。その半面、人間にとって予期しない処理が行われている可能性がある。
そこで例えば、そうした学習済みモデルを検証する従来技術として、予測モデルの妥当性を網羅的に評価可能とする機械学習プログラム検証装置（特許文献１参照）などが提案されている。

この装置は、複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、を備えるものである。

特開２０２０－１３５１７１号公報

従来技術によれば、予測モデル（学習済みモデル。以後、予測モデル）の妥当性検証は可能となる。一方、変換後の論理式の長さは、予測モデルの決定木数に対して指数関数的に増大する。そのため、予測モデルによっては、充足可能性判定に要する計算量が爆発的に増加してしまい、適宜な精度での検証を行うことは、現実的に困難となる可能性も大きい。
そこで本発明の目的は、機械学習により作成された予測モデルの妥当性について、適宜な精度および効率で検証可能とする技術を提供することにある。

上記課題を解決する本発明のソフトウェアテスト装置は、テスト対象とする、機械学習により生成された予測モデルを保持する記憶装置と、テスト入力値の範囲を定める前提条件の入力を受け付ける処理、入力値に対する予測モデルの推論出力値の制約条件の入力を受け付ける処理、近似閾値の入力を受け付ける処理、前記予測モデルを前記記憶装置より取得して論理式に変換する処理、前記論理式に対して前記近似閾値に基づき近似範囲を解析して論理式を簡略化する処理、前記簡略化した前記論理式を、前記前提条件及び前記制
約条件の否定と結合して検査式を生成する処理、前記検査式を充足する値を反例として探索する処理、前記反例が存在する場合に前記予測モデルに入力して検査精度を評価する処理、及び前記評価の結果を出力する処理、を実行する演算装置と、を備えることを特徴とする。
また、本発明のソフトウェアテスト方法は、情報処理装置が、テスト対象とする、機械学習により生成された予測モデルを記憶装置で保持して、テスト入力値の範囲を定める前提条件の入力を受け付ける処理、入力値に対する予測モデルの推論出力値の制約条件の入力を受け付ける処理、近似閾値の入力を受け付ける処理、前記予測モデルを前記記憶装置より取得して論理式に変換する処理、前記論理式に対して前記近似閾値に基づき近似範囲を解析して論理式を簡略化する処理、前記簡略化した前記論理式を、前記前提条件及び前記制約条件の否定と結合して検査式を生成する処理、前記検査式を充足する値を反例として探索する処理、前記反例が存在する場合に前記予測モデルに入力して検査精度を評価する処理、及び前記評価の結果を出力する処理、を実行することを特徴とする。

本発明によれば、機械学習により作成された予測モデルの妥当性について、適宜な精度および効率で検証可能となる。

本実施形態のソフトウェアテスト装置の機能構成例を示す図である。 本実施形態のソフトウェアテスト装置のハードウェア構成例を示す図である。 本実施形態のソフトウェアテスト方法のメインフロー例を示す図である。 実施例１における決定木集合モデルの例を示す図である。 実施例１における、前提条件、制約条件、及び近似閾値の例を示す図である。 本実施形態における論理式生成処理のフロー例を示す図である。 実施例１における論理式の生成過程例を示す図である。 実施例１における論理式の生成過程例を示す図である。 実施例１における論理式の生成過程例を示す図である。 本実施形態における論理式近似処理のフロー例を示す図である。 実施例１における近似範囲の解析過程例を示す図である。 本実施形態における充足性検査式生成処理のフロー例を示す図である。 実施例１における充足性検査式の例を示す図である。 本実施形態における充足性判定処理のフロー例を示す図である。 実施例１における反例データの例を示す図である。 本実施形態における反例データ作成処理のフロー例を示す図である。 実施例１における反例の真偽判定例を示す図である。 実施例１における反例の真偽判定例を示す図である。 実施例１におけるテスト結果の出力例を示す図である。 実施例１におけるテスト結果の出力例を示す図である。 実施例１におけるテスト結果の出力例を示す図である。 本実施形態におけるソフトウェアテスト装置の機能構成例を示す図である。 本実施形態におけるソフトウェアテスト方法のフロー例を示す図である。 実施例１におけるパスを削除した論理式例を示す図である。 実施例１におけるパスを削除した決定木例を示す図である。 実施例１における予測モデルの論理式例を示す図である。 実施例１におけるパスの論理式を整列した充足性検査式の例を示す図である。 実施例１における各テスト入力値範囲について異なる近似閾値を与えてテストを行う際の前提条件例を示す図である。 実施例１における各々のテスト入力値範囲について異なる近似閾値を与えてテストを行う際の制約条件例を示す図である。 実施例１における各々のテスト入力値範囲について異なる近似閾値を与えてテストを行う例を示す図である。 実施例１における各々のテスト入力値範囲について異なる近似閾値を与えてテストを行う例を示す図である。 実施例２におけるＫ階層のニューラルネットワークの例を示す図である。 本実施形態における論理式生成処理のフロー例を示す図である。 実施例２におけるニューラルネットワーク、結合重み、バイアス、入力変数、出力変数、活性化関数、前提条件、制約条件、及び近似閾値の例を示す図である。 実施例２における論理式の生成過程例を示す図である。 本実施形態における論理式近似処理のフロー例を示す図である。 実施例２における近似範囲の解析過程例を示す図である。 実施例２における充足性検査式の例を示す図である。 実施例２における反例データの例を示す図である。 実施例２における反例の真偽判定の例を示す図である。

＜機能構成＞
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態のソフトウェアテスト装置１００の機能構成例を示す図である。図１に示すソフトウェアテスト装置１００は、機械学習により作成された予測モデルの妥当性について、適宜な精度および効率で検証可能とするコンピュータである。このソフトウェアテスト装置１００の具体的な適用対象としては、例えば、工場での生産性向上や配車の最適化などに使われる予測モデルの検証が想定できる。

本実施形態のソフトウェアテスト装置１００は、図１で示すように、予測モデル保持部１０１、論理式生成部１０２、近似範囲解析部１０３、検査式生成部１０４、充足性判定部１０５、検査精度評価部１０６、テスト結果出力部１０７、近似閾値入力部１０８、前提条件入力部１０９、及び制約条件入力部１１０を有している。

このうち、予測モデル保持部１０１は、テスト対象とする学習済み予測モデルを格納するものとなる。この予測モデル保持部１０１は、後述する記憶装置にて実装される。

また、論理式生成部１０２は、予測モデルの機能を表現する論理式を生成するものとなる。この論理式生成部１０２は、後述する演算装置がプログラムを実行することで実装される。

また、近似範囲解析部１０３は、予測モデルをテストする際の近似閾値を入力するものである。この近似範囲解析部１０３は、上述の演算装置がプログラムを実行することで実装される。

また、検査式生成部１０４は、近似対象の部分式を近似値で置き換えた論理式を、前提条件と制約条件の否定と結合した、検査式を生成するものとなる。この検査式生成部１０４は、上述の演算装置がプログラムを実行することで実装される。

また、充足性判定部１０５は、検査式を充足する入出力データの存否を判定するものとなる。この充足性判定部１０５は、上述の演算装置がプログラムを実行することで実装さ
れる。

また、検査精度評価部１０６は、検査式を充足する入出力データが存在しない場合、予測モデルは制約条件に違反しない、あるいは検査精度不足と判定する。検証式を充足する入出力データが存在する場合、入力データを予測モデルに与えて出力データを取得し、制約条件に違反する場合には反例と判定、違反しない場合には偽反例と判定するものとなる。この検査精度評価部１０６は、上述の演算装置がプログラムを実行することで実装される。

また、テスト結果出力部１０７は、上述の検査精度評価部１０６による評価結果を適宜な出力装置に出力するものとなる。このテスト結果出力部１０７は、上述の演算装置がプログラムを実行することで実装される。

また、近似閾値入力部１０８は、予測モデルをテストする際の近似閾値の入力を受け付けるものとなる。この近似閾値入力部１０８は、上述の演算装置がプログラムを実行することで実装される。

また、前提条件入力部１０９は、予測モデルについてテストする入力データの範囲を指定した前提条件の入力を受け付けるものとなる。この前提条件入力部１０９は、上述の演算装置がプログラムを実行することで実装される。

また、制約条件入力部１１０は、予測モデルの推論出力データが満たすべき条件を指定した制約条件の入力を受け付けるものとなる。この制約条件入力部１１０は、上述の演算装置がプログラムを実行することで実装される。
＜ハードウェア構成＞
また、本実施形態のソフトウェアテスト装置１００のハードウェア構成は、図２に以下の如くとなる。

すなわちソフトウェアテスト装置１００は、記憶装置２０１、演算装置２０２、メモリ２０３、入力装置２０４、出力装置２０５、及び通信装置２０６、を備える。

このうち記憶装置２０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。

また、演算装置２０２は、記憶装置２０１に保持されるプログラム２０１２をメモリ２０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、メモリ２０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）など揮発性記憶素子で構成される。

また、入力装置２０４は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、マイクなどといった装置を想定する。

また、出力装置２０５は、演算装置２０２での処理データの表示を行うディスプレイ等の装置を想定する。

また、通信装置２０６は、適宜なネットワークと接続して他装置（例：予測モデルを配信してくるユーザ端末や適宜なサーバ装置など）との通信処理を担うネットワークインターフェイスカード等を想定する。

なお、 装置１００がスタンドアロンマシンである場合、ユーザからのキー入力や音声入力を受け付ける入力装置、処理データの表示を行うディスプレイ等の出力装置、を更に備えるとすれば好適である。

また、記憶部１０１内には、本実施形態のソフトウェアテスト装置１００として必要な機能を実装する為のプログラム２０１２に加えて、既に挙げた予測モデル保持部１０１やＳＭＴソルバプログラム２０１３が少なくとも記憶されている。なお、ＳＭＴソルバプログラム２０１３は、充足性判定部１０５において、検査式を充足する変数値（反例）を探索する際に使用するものである。
＜フロー例：メインフロー＞
以下、本実施形態におけるソフトウェアテスト方法の実際手順について図に基づき説明する。以下で説明するソフトウェアテスト方法に対応する各種動作は、ソフトウェアテスト装置１００がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。

図３は、本実施形態におけるソフトウェアテスト方法のメインフロー例を示す図である。この場合、ソフトウェアテスト装置１００は、テスト対象となる予測モデルを、例えば入力装置２０４または通信装置２０６を介して外部装置から取得し、これを予測モデル保持部１０１に格納する（Ｓ３０１）。

ここで、予測モデルの例として、図４に決定木集合モデルを示す。決定木集合モデルは、図４で示すように、始点となるルートノード（図中の最上段の○ノード）から、エッジ（図中の矢印線分）を介して各ノード（図中の○ノード）で分岐し、終点端の葉ノード（リーフノード。図中の△のノード）までパスが形成された構造を有する。葉ノードにはそれぞれ重みが対応付けられており、各決定木において選択されたリーフノードの重みの値を、例えば合算するなどして出力変数（最終的な決定値）が決定される。

また、ソフトウェアテスト装置１００は、前提条件入力部１０９、制約条件入力部１１０、及び近似閾値入力部１０８を介し、前提条件、制約条件、及び近似閾値の各情報を取得し（Ｓ３０２）、メモリ２０３など適宜な記憶手段で保持する。

なお、前提条件の例としては入力変数を含む論理式、制約条件の例としては、出力変数を含む論理式、近似閾値の例としては、近似対象とする決定木の重みの最大値と最小値の差を想定する。

図５にて、これら前提条件、制約条件、及び近似閾値の各情報の入力インターフェイス１３０１～１３０３を含む画面例を示す。前提条件入力部１０９は、出力装置２０５に当該画面を出力し、当該画面の前提条件欄１３０１、制約条件欄１３０２、及び近似閾値欄１３０３の各欄にて、入力装置２０４の操作によって入力された各値を取得することになる。

続いて、ソフトウェアテスト装置１００の論理式生成部１０２は、予測モデル保持部１０１から予測モデルを取り出し、これを論理式に変換する（Ｓ３０３）。この論理式への変換に関する処理フローの詳細は図６、７に基づき後述する。

また、ソフトウェアテスト装置１００の近似範囲解析部１０３は、上述のＳ３０２で得ている近似閾値に基づき、Ｓ３０３で得ている論理式中の近似対象を決定し、定数（例：決定した近似対象を含む論理式中における、重みの最大値と最小値）で近似する（Ｓ３０
４）。この近似処理に関する処理フローの詳細は図８、９に基づき後述する。

続いて、ソフトウェアテスト装置１００の検査式生成部１０４は、Ｓ３０４で近似した論理式と、上述の前提条件と、上述の制約条件の否定とから充足性検査式を作成する（Ｓ３０５）。この充足性検査式の作成に関する処理フローの詳細は図１０、１１に基づき後述する。

また、ソフトウェアテスト装置１００の充足性判定部１０５は、充足性検査式の充足性を判定する（Ｓ３０６）。この充足性判定に関する処理フローの詳細は図１２、１３に基づき後述する。

上述の判定の結果、充足しないことが判明した場合（Ｓ３０７：ＮＯ）、ソフトウェアテスト装置１００のテスト結果出力部１０７は、上述の制約条件が満たされることを出力装置２０５または通信装置２０６から出力し（Ｓ３１０）、処理を終了する。

一方、上述の判定の結果、充足することが判明した場合（Ｓ３０７：ＹＥＳ）、ソフトウェアテスト装置１００の充足性判定部１０５は、反例データを作成する（Ｓ３０８）。

続いて、ソフトウェアテスト装置１００の検査精度評価部１０６は、Ｓ３０８で作成した反例データを予測モデルに入力する（Ｓ３０９）。この検査精度評価部１０６における処理フローの詳細は図１４に基づき後述する。

上述の入力の結果、予測モデルの出力結果が制約条件を満たすものである、すなわち入力した反例は偽反例である場合（Ｓ３１０：ＹＥＳ）、ソフトウェアテスト装置１００のテスト結果出力部１０７は、検査精度が不十分であることを出力装置２０５から出力（図１５Ｂの出力１８０２）し（Ｓ３１１）、処理を終了する。

一方、上述の入力の結果、予測モデルの出力結果が制約条件を満たさないものである、すなわち入力した反例は真の反例である場合（Ｓ３１０：ＮＯ）、ソフトウェアテスト装置１００のテスト結果出力部１０７は、反例データを出力装置２０５から出力（図１５Ａの出力１８０１）Ｓ３１２）、処理を終了する。
＜フロー例：論理式作成＞
続いて、論理式生成部１０２での処理（Ｓ３０３）の詳細について、図６のフローに基づき説明する。この場合、論理式生成部１０２は、予測モデルの論理式の初期値を空とする（Ｓ８０１）。

続いて、論理式生成部１０２は、決定木の論理式の初期値を空とする（Ｓ８０２）。

また、論理式生成部１０２は、処理対象の決定木をルートノードからリーフへのパスに分解する（Ｓ８０３）。この分解の処理は、既存技術を適宜に採用するものとする。

続いて、論理式生成部１０２は、パスの論理式の初期値を空とする（Ｓ８０４）。

また、論理式生成部１０２は、経路に含まれる決定条件を論理積で結合してパスの論理式を作成する（Ｓ８０５）。

続いて、論理式生成部１０２は、決定木の出力変数名＝重みをパスの論理式に論理積で結合する（Ｓ８０６）。なお、上述のＳ８０５、Ｓ８０６で得られる論理式の例を図７Ａに示す。

また、論理式生成部１０２は、決定木の論理式に、パスの論理式を論理和で結合する（Ｓ８０７）。なお、このＳ８０７で得られる論理式の例を図７Ｂに示す。

続いて、論理式生成部１０２は、Ｓ８０３で分解したパスのうち、未処理のパスを１つ取得し（Ｓ８０８）、当該決定木における最後の未処理パスか判定する（Ｓ８０９）。

上述の判定の結果、まだ未処理のパスが残っている、すなわち最後のパスではなかった場合（Ｓ８０９：Ｎｏ）、論理式生成部１０２は、処理をＳ８０４に戻す。

一方、上述の判定の結果、未処理のパスが残っていない、すなわち最後のパスであった場合（Ｓ８０９：Ｙｅｓ）、論理式生成部１０２は、予測モデルの論理式に決定木の論理式を論理積で結合する（Ｓ８１０）。

また、論理式生成部１０２は、決定木集合モデルのうち未処理の決定木を次の処理対象の決定木として取得し（Ｓ８１１）、決定木集合モデルにおける最後の未処理決定木か判定する（Ｓ８１２）。

上述の判定の結果、まだ未処理の決定木が残っている、すなわち最後の決定木ではなかった場合（Ｓ８１２：Ｎｏ）、論理式生成部１０２は、処理をＳ８０２に戻す。

一方、上述の判定の結果、未処理の決定木が残っていない、すなわち最後の決定木であった場合（Ｓ８１２：Ｙｅｓ）、論理式生成部１０２は、決定木の出力変数名を「＋」で結合して、決定木の出力変数の和の式を生成する（Ｓ８１３）。

続いて、論理式生成部１０２は、予測モデルの論理式に「予測モデルの出力変数名＝決定木の出力変数の和の式」を論理積で結合し、予測モデルの論理式を生成する（Ｓ８１４）。なお、上述のＳ８１０、Ｓ８１３、Ｓ８１４を経て生成した論理式の例を図７Ｃに示す。

また、論理式生成部１０２は、Ｓ８１４で得た論理式を、近似範囲解析部１０３に出力し（Ｓ８１５）、処理を終了する。
＜フロー例：論理式近似処理＞
続いて、近似範囲解析部１０３での処理（Ｓ３０４）の詳細処理について説明する。図８は本実施形態における論理式近似処理のフロー例を示す図である。

この場合、近似範囲解析部１０３は、予測モデルの論理式を決定木の論理式に分解する（Ｓ９０１）。

続いて、近似範囲解析部１０３は、決定木の論理式中の重みの最大値と最小値を得る（Ｓ９０２。図９の最大値、最小値１５０２）。

また、近似範囲解析部１０３は、重みの最大値と最小値の差を近似の閾値と比較する（Ｓ９０３）。つまり、重みの最大値と最小値の差が近似閾値以下の決定木の論理式（図９の論理式１５０１）を抽出することになる。

上述の比較の結果、閾値以下であることが判明した場合（Ｓ９０４：Ｙｅｓ）、近似範囲解析部１０３は、決定木の論理式を「出力変数≧最小値 ∧ 出力変数≦最大値」で置き換える（Ｓ９０５）。この置き換えで得られる論理式１５０３を図９に例示した。

一方、上述の比較の結果、閾値以下でないことが判明した場合（Ｓ９０４：Ｎｏ）、近
似範囲解析部１０３は、次の決定木の論理式を得て（Ｓ９０６）、他に未処理の決定木が存在するか判定する（Ｓ９０７）。

上述の判定の結果、未処理の決定木が存在することが判明した場合（Ｓ９０７：Ｙｅｓ）、近似範囲解析部１０３は、処理をＳ９０２に戻す。

一方、上述の判定の結果、未処理の決定木が存在しないことが判明した場合（Ｓ９０７：Ｎｏ）、近似範囲解析部１０３は、ここまでの処理で近似処理を終えた、予測モデルの論理式を検査式生成部１０４に出力し（Ｓ９０８）、処理を終了する。
＜フロー例：充足性検査式生成＞
続いて、検査式生成部１０４での検査式生成（Ｓ３０５）の詳細フローについて説明する。図１０は本実施形態における充足性検査式の生成フロー例を示す図である。

この場合、検査式生成部１０４は、予測モデルの論理式と前提条件を論理積で結合して検査式を作成する（Ｓ４０１）。

また、検査式生成部１０４は、充足性検査式に制約条件の否定を論理積で結合する（Ｓ４０２）。この結合で得られる論理式１６０１を図１１に例示する。

続いて、検査式生成部１０４は、Ｓ４０２で得た充足性検査式を充足性判定部１０５に出力し（Ｓ４０３）、処理を終了する。
＜フロー例：充足性判定＞
続いて、充足性判定部１０５での充足性判定処理（Ｓ３０６）の詳細フローについて説明する。図１２は本実施形態における充足性判定処理のフロー例を示す図である。

この場合、充足性判定部１０５は、充足性検査式をＳＭＴソルバプログラム２０１３に入力して起動し（Ｓ５０１）、充足性検査式が真になる変数値を探索する（Ｓ５０２）。この変数値は反例（図１３の反例１７０１、１７０２）となる。

また、充足性判定部１０５は、充足性判定結果を検査精度評価部１０６に出力し（Ｓ５０３）、処理を終了する。
＜フロー例：検査精度評価＞
続いて、検査精度評価部１０６での検査精度評価部処理（Ｓ３０８、Ｓ３０９）の詳細フローについて説明する。図１４は本実施形態における検査精度評価処理のフロー例を示す図であり、具体的には、反例が存在する時、予測モデルに反例を入力して真の反例であることを確認するフローとなる。

充足性判定結果が充足である場合（Ｓ３０７：Ｙｅｓ）、検査精度評価部１０６は、充足性判定部１０５により、充足性検査式をＳＭＴソルバプログラム２０１３に入力して起動し（Ｓ６０１）、充足性検査式が真になる変数値を探索する（Ｓ６０２）。充足性検査式を真にする変数値を反例データとして予測モデルに出力し（Ｓ６０３）、反例データを入力データとする予測モデルの出力データを得て（Ｓ３０９）、出力データが制約条件を満足することを検査する（Ｓ３１０）。もし出力データが制約条件を満足する（Ｓ３１０：Ｙｅｓ）ならば、反例データは偽反例であると判定する。一方、出力データが制約条件を満足しない（Ｓ３１０：Ｎｏ）、すなわち、反例データが真の反例である時、予測モデルは制約条件に違反すると判定する。

例えば、図４の予測モデル（１２０１、１２０２）に対して図５の前提条件（１３０１）、制約条件（１３０２）、近似閾値（１３０３）のもとで得られる反例１は、もとの予測モデルでは、ｗ１＝１．２、ｗ２＝１．４であり、ｙ＝２．６となって制約条件に違反
するため、真の反例である（図１５Ａ）。

一方、反例２は、もとの予測モデルでは、ｗ１＝０．７、ｗ２＝１．４であり、ｙ＝２．１となって制約条件に違反しないため反例とはならず、偽反例である（図１５Ｂ）。このように偽反例である場合、近似のため必要な検証精度に達していないと判定することとなる。

検査精度評価部１０６は、上述の探索で得た変数値を反例１９０１（図１６Ａ）として出力装置２０５に出力し（Ｓ３１２）、処理を終了する。

なお、検査精度評価部１０６は、反例によって充足される部分式を特定しテスト結果出力部１０７を介して出力装置２０５に出力するとしてもよい。その場合の出力例１９０２を、図１６Ｂに示す。こうした処理を行えば、予測モデルにおいて制約条件に違反する推論出力値を導出する過程を出力することで、予測モデルの修正に寄与可能となる。

また、検査精度評価部１０６は、反例をもとに制約条件を緩和し、テスト結果出力部１０７を介して出力装置２０５で出力するとしてもよい。その場合の出力例１９０３を図１６Ｃに示す。こうした処理を行えば、予測モデルに適合する制約条件を出力し、予測モデルの特性の把握に寄与することが期待できる。

なお、ソフトウェアテスト装置１００は、上述のように検査精度評価部１０６が反例を偽反例と判定した場合、近似閾値を調整する近似閾値調整部３１１１（図１７）を備えるとしてもよい。

その場合のメインフロー（図１８）では、ステップＳ７１０の判定の結果、反例データが制約条件を満足することが判明した場合（Ｓ７１０：Ｙｅｓ）、近似閾値調整部３１１１は、例えば、上述で検出された反例が反例１ではなく反例２であるとき、近似閾値を０にして近似範囲解析部の処理（Ｓ７０４）に処理を戻す。こうした運用を行うことで、偽反例が検出された際に近似閾値を調整して検査精度を上げ、粗い近似からはじめても必ず正しいテスト結果を得ることが可能となる。ひいては、テスト効率の向上が期待できる。

また、ソフトウェアテスト装置１００は、前提条件を満たさないパスを論理式から削除し、以後の処理を効率化するとしてもよい。例えば、前提条件が、ｆ０＜１５ ∧ ｆ１＞０．５の場合、当該前提条件を満たさない、ｎｏｔ（ｆ０＜３０）を含むパスを削除した論理式２００１を図１９に示す。こうした運用を行うことで、前提条件を満たさない論理式を近似範囲解析と充足性判定の前に削除し（例：図２０の決定木２参照）、予測モデルの推論出力値が制約条件に違反するケースを摘出するための計算量を削減できる。

また、ソフトウェアテスト装置１００は、例えば、「決定木２」の葉ノードに付与された重みの最大値が、「決定木１」の葉ノードの重みより大きいことを受け、「決定木２」を近似対象から除外して、予測モデルの論理２１０１式の近似（図２１）を行うとしてもよい。

また、ソフトウェアテスト装置１００は、予測モデルの論理式を、葉ノードに付与された重みの降順に整列して充足性検査式２２０１（図２２）を構成するとしてもよい。こうした運用を行うことで、推論出力値の大きなものから充足性判定を行うことになり、反例検出効率を向上できる。

また、ソフトウェアテスト装置１００は、入力値範囲によって近似閾値を変える制御を行うとしてもよい。この場合の前提条件２３０１（図２３Ａ）、及び制約条件２３０２（
図２３Ｂ）を図のように仮定した場合、ソフトウェアテスト装置１００は、前提条件を次の２つ（前提条件：ｆ０＜１５ ∧ ｆ０＞１２ ∧ ｆ１＞０．５、ｆ０≦１２ ∧ ｆ１
＞０．５）に分割し各々に近似閾値（近似閾値：０、近似閾値：０．５）を設定するものとする（図２３Ｃ、図２３Ｄ）。

こうした運用を行うことで、反例が存在する可能性が高い入力値範囲の検査精度を上げる、テスト効率を向上させることが可能である。
＜予測モデルがニューラルネットワークの場合＞
予測モデルの形態として、決定木集合モデルではなく、図２４に例示するように、ニューラルネットワークを想定することもできる。ニューラルネットワーク２４０１は、第１層～第Ｋ層からなる複数の層に分かれたノードによって構成されるものである。

また、このニューラルネットワーク２４０１における各ノードは、前の層のノードの出力値×ウェイトを入力として計算した値を次の層のノードに出力するものとなる。この場合のニューラルネットワーク２４０１は、論理式２４０２で表すことができる。

ここで、予測モデルがニューラルネットワークである場合の、論理式生成部１０２の処理について図２６に基づき説明する。この場合の論理式生成部１０２は、ニューラルネットワークをノードに分解し、入出力の関係を論理積で結合する処理を行うこととなる。ニューラルネットワーク２４０１に関して得られる論理式２４０２は、図２４で示す構成となる。

なお、より簡略化したニューラルネットワーク２０１を図２６に示す。この場合、ノード間の結合重み２５０２の例や、バイアス２５０３の例、入力変数２５０４の例、出力変数２５０５の例、及び活性化関数２５０６の例も図２６で例示する。さらには、前提条件２５０７、制約条件２５０８、及び近似閾値２５０９の例も示している。

この場合、論理式生成部１０２は、予測モデルの論理式の初期値を空とする（Ｓ１００１）。

また、論理式生成部１０２は、層の論理式の初期値を空とする（Ｓ１００２）。

続いて、論理式生成部１０２は、層内のノードの集まりを得る（Ｓ１００３）。

また、論理式生成部１０２は、ノードの論理式の初期値を空とする（Ｓ１００４）。

続いて、論理式生成部１０２は、ノードに対応する変数名を生成し（Ｓ１００５）、当該ノードが入力層か判定する（Ｓ１００６）。

上述の判定の結果、ノードが入力層である場合（Ｓ１００６：ＹＥＳ）、論理式生成部１０２は、「ノードの変数名＝入力変数名」をノードの論理式とする（Ｓ１００８）。

一方、上述の判定の結果、ノードが入力層でない場合（Ｓ１００６：ＮＯ）、論理式生成部１０２は、「ノードの変数名＝活性化関数(（前層のノード×重み）の和＋バイアス)」を当該ノードの論理式２６０１（図２７）とする（Ｓ１００７）。

続いて、論理式生成部１０２は、層の論理式２６０２（図２７）にノードの論理式２６０１（図２７）を論理積で結合する（Ｓ１００９）。

また、論理式生成部１０２は、当該層が出力層か判定する（Ｓ１０１０）。この判定の
結果、当該層が出力層である場合（Ｓ１０１０：ＹＥＳ）、論理式生成部１０２は、層の論理式に「ノードの変数名＝出力変数名」を論理積で結合する（Ｓ１０１１）。

一方、上述の判定の結果、当該層が出力層ではない場合（Ｓ１０１０：ＮＯ）、論理式生成部１０２は、当該層の各ノードのうち未処理のもののうちから１つを次の処理対象のノードとして取得する（Ｓ１０１２）。

また、論理式生成部１０２は、ここで得たノードが、当該層のノードのうち未処理のもの最後であるか判定する（Ｓ１０１３）。

上述の判定の結果、最後のノードではない場合（Ｓ１０１３：ＮＯ）、論理式生成部１０２は、処理をＳ１００４に戻す。

他方、上述の判定の結果、最後のノードであった場合（Ｓ１０１３：ＹＥＳ）、論理式生成部１０２は、予測モデルの論理式２６０３（図２７）に層の論理式を論理積で結合する（Ｓ１０１４）。

続いて、論理式生成部１０２は、未処理の層のうち１つの層を次の処理対象とし得る（Ｓ１０１５）。

また、論理式生成部１０２は、Ｓ１０１５で得た層が、ニューラルネットワークにおける未処理の層のうち最後のものであるか判定する（Ｓ１０１６）。

上述の判定の結果、最後の層ではない場合（Ｓ１０１６：ＮＯ）、論理式生成部１０２は、処理をＳ１００２に戻す。

一方、上述の判定の結果、最後の層であった場合（Ｓ１０１６：ＹＥＳ）、論理式生成部１０２は、ここまでで得た、予測モデルの論理式を近似範囲解析部１０３に出力し（Ｓ１０１７）、処理を終了する。

次に、予測モデルがニューラルネットワークである場合の論理式近似処理について、図２８に基づき説明する。この場合、近似範囲解析部１０３は、予測モデルの論理式を層の論理式に分解する（Ｓ１１０１）。

続いて、近似範囲解析部１０３は、層の論理式をノードの論理式に分解する（Ｓ１１０２）。

また、近似範囲解析部１０３は、重みの絶対値を近似の閾値と比較する（Ｓ１１０３）。すなわち、結合重みの絶対値が近似閾値以下のノードの論理式（図２９の論理式２７０１）を抽出する。

上述の比較の結果、閾値以下であることが判明した場合（Ｓ１１０４：Ｙｅｓ）、近似範囲解析部１０３は、当該ノードの論理式の重みを０で置き換える（Ｓ１１０５）。この置き換えで得られる論理式２７０２を図２９に例示した。

一方、上述の比較の結果、閾値以下でないことが判明した場合（Ｓ１１０４：Ｎｏ）、近似範囲解析部１０３は、層の論理式にノードの論理式を論理積で結合する（Ｓ１１０６）。

また、近似範囲解析部１０３は、次のノードの論理式を得て（Ｓ１１０７）、他に未処
理のノードが存在するか判定する（Ｓ１１０８）。

上述の判定の結果、未処理のノードが存在することが判明した場合（Ｓ１１０８：Ｙｅｓ）、近似範囲解析部１０３は、処理をＳ１１０２に戻す。

一方、上述の判定の結果、未処理のノードが存在しないことが判明した場合（Ｓ１１０８：Ｎｏ）、近似範囲解析部１０３は、予測モデルの論理式に層の論理式を論理積で結合する（Ｓ１１０９）。ここで得られる論理式２７０３を図２９に例示した。

続いて、近似範囲解析部１０３は、ニューラルネットワークにおいて未処理の層のうち１つの層の論理式を次の処理対象として取得し（Ｓ１１１０）、他に未処理の層が存在するか判定する（Ｓ１１１１）。

この判定の結果、未処理の層が存在する場合（Ｓ１１１１：Ｙｅｓ）、近似範囲解析部１０３は、処理をＳ１１０２に戻す。一方、上述の判定の結果、未処理の層が存在しない場合（Ｓ１１１１：Ｎｏ）、近似範囲解析部１０３は、ここまでの処理で近似処理を終えた、予測モデルの論理式を検査式生成部１０４に出力し（Ｓ１１１２）、処理を終了する。

なお、検査式生成部１０４においては、ネットワークの論理式、前提条件、制約条件の否定を論理積で結合した論理式２８０１（図３０）を作成する。

また、充足性判定部１０５においては、図１２に関して既に説明したように、検査式を充足する変数値（反例）を探索するものとする。図３１に、こうした探索で得た反例２９０１、２９０２を例示する。

また、検証制度評価部１０６においては、反例が存在しない時，近似のため必要な検証精度に達していないと判定し、一方、反例が存在する時、図１３、図１４に関して既に説明したように、予測モデルに反例を入力して真の反例であることを確認する。

真の反例である時，予測モデルは制約条件に違反すると判定する。図３０に示す例において、反例１のもとのモデルの出力値はｙ＝３．２であり，真の反例と判定３００１する。また、偽反例である時，近似のため必要な検証精度に達していないと判定する。図３０に示す例において、反例２のもとのモデルの出力値は ｙ＝１．９５であり，偽反例と判
定３００２する。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、近似範囲解析部の機能により論理式を簡略化することで、予測モデルの推論出力値が制約条件に違反するケースを摘出するための計算量を削減し、また、検査精度評価部により、近似にともなう検出誤りを除去することができる。

すなわち、機械学習により作成された予測モデルの妥当性について、適宜な精度および効率で検証可能となる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記予測モデルに関する前記検査精度が不十分な場合、前記近似閾値を調整する処理をさらに実行するものである、としてもよい。

これによれば、違反ケースの誤摘出が検出された際に近似閾値を調整して検査精度を上げることで荒い近似からはじめても必ず正しいテスト結果を得ることができ、テスト効率が向上する。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記検査精度の評価に際し、前記反例が存在する場合、当該反例を確定する処理をさらに実行し、前記結果の出力に際し、前記反例を出力するものである、としてもよい。

これによれば、推論出力値が制約条件に違反する入力値を反例として出力することで、予測モデルの修正に寄与することができる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記検査精度の評価に際し、前記反例が存在する場合、前記論理式において当該反例によって充足される部分式を特定する処理をさらに実行し、前記結果の出力に際し、前記特定した部分式を出力するものである、としてもよい。

これによれば、予測モデルにおいて制約条件に違反する推論出力値を導出する過程を出力することで、予測モデルの修正に寄与可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記検査精度の評価に際し、前記反例が存在する場合、当該反例に基づき前記制約条件を緩和する処理をさらに実行し、前記結果の出力に際し、前記緩和された制約条件を出力するものである、としてもよい。

これによれば、予測モデルに適合する制約条件を出力することで、予測モデルの特性の把握に寄与可能となる。

また、本実施形態のソフトウェアテスト装置において、前記記憶装置は、前記予測モデルとして決定木集合モデルを保持し、前記演算装置は、前記論理式の変換に際し、前記決定木集合モデルの決定木を葉ノードへのパスに分解し論理式に変換するものである、としてもよい。

これによれば、決定木集合モデルについて、推論出力値が制約条件に違反するケースを摘出するための計算量を削減するとともに、検査精度評価部により近似にともなう検出誤りを除去可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記論理式の変換に際し、前記葉ノードへのパスから変換された論理式のうち、前記前提条件を満たさないものを削除するものである、としてもよい。

これによれば、前提条件を満たさない論理式を近似範囲解析と充足性判定の前に削除することで、予測モデルの推論出力値が制約条件に違反するケースを摘出するための計算量を、削減可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記近似範囲の解析に際し、前記決定木の葉ノードに付与された重みの最大値と最小値との差が前記近似閾値以下の決定木から変換した論理式を定数で置換するものである、としてもよい。

これによれば、論理式上で反例が存在しないときには予測モデルでも制約条件に違反す
るケースがないことが保証できるとともに、真の反例が一つでもあれば予測モデルが制約条件に違反することが保証できる近似方法を提供可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記近似範囲の解析に際し、前記葉ノードに付与された重みの最大値が他の決定木より大きい、ないし最小値が他の決定木より小さい決定木を、所与の割合で近似対象から除外するものである、としてもよい。

これによれば、推論出力値への影響が大きい決定木を近似対象から除外可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記検査式の生成に際し、前記葉ノードへのパスから変換された論理式を葉ノードに付与された重みの順に整列する処理をさらに行うものである、としてもよい。

これによれば、推論出力値の昇順ないし降順に充足性判定を行うことで、反例検出効率を向上可能となる。

また、本実施形態のソフトウェアテスト装置において、前記記憶装置は、前記予測モデルとして深層ニューラルネットワークを含む階層型ニューラルネットワークモデルを保持し、前記演算装置は、前記論理式の変換に際し、前記階層型ニューラルネットワークモデルのノード間の結合関係を論理式に変換するものである、としてもよい。

これによれば、ニューラルネットワークモデルについて、推論出力値が制約条件に違反するケースを摘出するための計算量を削減するとともに、検査精度評価部により近似にともなう検出誤りを除去可能となる。

また、本実施形態のソフトウェアテスト装置において、前記演算装置は、前記近似範囲の解析に際し、結合重みが近似閾値以下のノード間結合を削除するものである、としてもよい。

これによれば、真の反例が一つでもあれば予測モデルが制約条件に違反することが保証できる近似方法を提供可能となる。

また、本実施形態のソフトウェアテスト方法において、前記情報処理装置が、前記予測モデルに関する前記検査精度が不十分な場合、前記近似閾値を調整する処理をさらに実行する、としてもよい。

１００ ソフトウェアテスト装置
１０１ 予測モデル保持部
１０２ 論理式生成部
１０３ 近似範囲解析部
１０４ 検査式生成部
１０５ 充足性判定部
１０６ 検査精度評価部
１０７ テスト結果出力部
１０８ 近似閾値入力部
１０９ 前提条件入力部
１１０ 制約条件入力部
２０１ 記憶装置
２０１２ プログラム
２０１３ ＳＭＴソルバプログラム
２０２ 演算装置
２０３ メモリ
２０４ 入力装置
２０５ 出力装置
２０６ 通信装置

Claims (14)

1. テスト対象とする、機械学習により生成された予測モデルを保持する記憶装置と、
   テスト入力値の範囲を定める前提条件の入力を受け付ける処理、入力値に対する予測モデルの推論出力値の制約条件の入力を受け付ける処理、近似閾値の入力を受け付ける処理、前記予測モデルを前記記憶装置より取得して論理式に変換する処理、前記論理式に対して前記近似閾値に基づき近似範囲を解析して論理式を簡略化する処理、前記簡略化した前記論理式を、前記前提条件及び前記制約条件の否定と結合して検査式を生成する処理、前記検査式を充足する値を反例として探索する処理、前記反例が存在する場合に前記予測モデルに入力して検査精度を評価する処理、及び前記評価の結果を出力する処理、を実行する演算装置と、
   を備えることを特徴とするソフトウェアテスト装置。
2. 前記演算装置は、
   前記予測モデルに関する前記検査精度が不十分な場合、前記近似閾値を調整する処理をさらに実行するものである、
   ことを特徴とする請求項１に記載のソフトウェアテスト装置。
3. 前記演算装置は、
   前記検査精度の評価に際し、前記反例が存在する場合、当該反例を確定する処理をさらに実行し、前記結果の出力に際し、前記反例を出力するものである、
   ことを特徴とする請求項１に記載のソフトウェアテスト装置。
4. 前記演算装置は、
   前記検査精度の評価に際し、前記反例が存在する場合、前記論理式において当該反例によって充足される部分式を特定する処理をさらに実行し、前記結果の出力に際し、前記特定した部分式を出力するものである、
   ことを特徴とする請求項１に記載のソフトウェアテスト装置。
5. 前記演算装置は、
   前記検査精度の評価に際し、前記反例が存在する場合、当該反例に基づき前記制約条件を緩和する処理をさらに実行し、前記結果の出力に際し、前記緩和された制約条件を出力するものである、
   ことを特徴とする請求項１に記載のソフトウェアテスト装置。
6. 前記記憶装置は、
   前記予測モデルとして決定木集合モデルを保持し、
   前記演算装置は、
   前記論理式の変換に際し、前記決定木集合モデルの決定木を葉ノードへのパスに分解し論理式に変換するものである、
   ことを特徴とする請求項１に記載のソフトウェアテスト装置。
7. 前記演算装置は、
   前記論理式の変換に際し、前記葉ノードへのパスから変換された論理式のうち、前記前提条件を満たさないものを削除するものである、
   ことを特徴とする請求項６に記載のソフトウェアテスト装置。
8. 前記演算装置は、
   前記近似範囲の解析に際し、前記決定木の葉ノードに付与された重みの最大値と最小値との差が前記近似閾値以下の決定木から変換した論理式を定数で置換するものである、
   ことを特徴とする請求項６に記載のソフトウェアテスト装置。
9. 前記演算装置は、
   前記近似範囲の解析に際し、前記葉ノードに付与された重みの最大値が他の決定木より大きい、ないし最小値が他の決定木より小さい決定木を、所与の割合で近似対象から除外するものである、
   ことを特徴とする請求項８に記載のソフトウェアテスト装置。
10. 前記演算装置は、
    前記検査式の生成に際し、前記葉ノードへのパスから変換された論理式を葉ノードに付与された重みの順に整列する処理をさらに行うものである、
    ことを特徴とする請求項６に記載のソフトウェアテスト装置。
11. 前記記憶装置は、
    前記予測モデルとして深層ニューラルネットワークを含む階層型ニューラルネットワークモデルを保持し、
    前記演算装置は、
    前記論理式の変換に際し、前記階層型ニューラルネットワークモデルのノード間の結合関係を論理式に変換するものである、
    ことを特徴とする請求項１に記載のソフトウェアテスト装置。
12. 前記演算装置は、
    前記近似範囲の解析に際し、結合重みが近似閾値以下のノード間結合を削除するものである、
    ことを特徴とする請求項１１に記載のソフトウェアテスト装置。
13. 情報処理装置が、
    テスト対象とする、機械学習により生成された予測モデルを記憶装置で保持して、
    テスト入力値の範囲を定める前提条件の入力を受け付ける処理、入力値に対する予測モデルの推論出力値の制約条件の入力を受け付ける処理、近似閾値の入力を受け付ける処理、前記予測モデルを前記記憶装置より取得して論理式に変換する処理、前記論理式に対して前記近似閾値に基づき近似範囲を解析して論理式を簡略化する処理、前記簡略化した前記論理式を、前記前提条件及び前記制約条件の否定と結合して検査式を生成する処理、前記検査式を充足する値を反例として探索する処理、前記反例が存在する場合に前記予測モデルに入力して検査精度を評価する処理、及び前記評価の結果を出力する処理、
    を実行することを特徴とするソフトウェアテスト方法。
14. 前記情報処理装置が、
    前記予測モデルに関する前記検査精度が不十分な場合、前記近似閾値を調整する処理をさらに実行する、
    ことを特徴とする請求項１３に記載のソフトウェアテスト方法。

Images