JP2014203332A - 予測誤差評価装置及び方法 - Google Patents

Abstract

【課題】 信頼度成長モデル、レイリーモデルを用いて、ソフトウェア開発のリリースのタイミングで残存バグの数予測値の予測誤差を評価する。
【解決手段】 本発明は、開発案件毎に開発管理情報を開発工程毎に分類し、予測誤差率及び該予測誤差率の標準偏差を測誤差記憶手段に予め格納しておき、レイリーモデルにおいて、ソフトウェア開発の設計工程から試験工程までに発生したバグ件数と工程期間から、バグの値が最大となる最大バグ検出工程を決定し、最大バグ検出工程決定手段で決定された最大バグ検出工程に基づいて、予測誤差記憶手段を参照して得られた予測誤差及びソース規模から、該最大バグ検出工程の予測誤差率を計算し、該予測誤差率の分布を統計的処理により分析して標準偏差を求め、ソース規模を乗じて予測精度を推定する。
【選択図】 図１

Description

本発明は、予測誤差評価装置及び方法に係り、特に、ソフトウェア信頼度成長モデルとレイリーモデルによる残存バグ数の予測誤差を評価するための予測誤差評価装置及び方法に関する。

情報システムが経済・社会の様々な分野で必要不可欠なものとなっている現在、信頼性の高いソフトウェア開発に対する要求が高まっている。信頼性の高いソフトウェアを開発するためには、ソフトウェア品質を定量的に評価し、残存バグ数を高い精度で予測することが、当該ソフトウェアを用いたサービスの開始の判断を適切に実施するためにも不可欠である。

残存バグ数を推定する方法として広く利用されているのは、試験工程で検出されるバグの累積値の傾向から残存バグ数を推定するソフトウェア信頼度成長モデル（Software Reliability Growth Model: SRGM）がある。SRGMは、試験工程で検出される欠陥（バグ）の発生事象の動的挙動を確率モデルにより表現したものであり、欠陥除去作業によりソフトウェアの信頼性が向上する。

SRGMを用いた手法としては、ソフトウェア信頼度成長曲線に関して、複数のモデルによる統合モデルを導出する手順がある（例えば非特許文献１参照）。

また、同じ動的挙動の確率モデルとして、ソフトウェア開発の全工程における摘出欠陥（バグ）数を表したレイリーモデル（Rayleigh model）がある。これは、各開発工程のバグ除去数が経験的にレイリー分布に従うことを用いて、開発完了後（リリース後）の残存欠陥数を予測するものである。

離散的で測定間隔が不均一なレイリーモデルを適用する際の処理方法がある（例えば、非特許文献２参照）。ここで、レイリーモデルとは、信頼性工学の分野で広く用いられているワイブル分布の１種であり、横軸に時刻tを縦軸に時刻tにおけるバグ発見数f(t)をとった連続関数であり、ソフトウェアライフサイクル全体にわたる欠陥数の予測に経験的に適用できる。

古山恒夫：ソフトウェア新ランド成長モデルに関する統合モデルの解析的パラメータ推定法,情報処理学会論文誌, Vol. 37, No.12 1996. 野中誠：離散的に観測された欠陥データへのレイリーモデル適用について、ソフトウェアエンジニアリングシンポジウム2010 ワークショップ論文集 情報処理学会 2010.

残存バグ数の予測においては、適切な品質評価モデルを複数用いることで、その信頼性を高めることが推奨されている（例えば、非特許文献３：S.H.Kan, "Metrics and Models in Software Quality Engineering (2^nd Edition), Addison-Wesley Professional; (2002)）。複数のモデルによる予測が一貫していれば、予測の信頼性は高まり、逆に複数のモデルによる予測が一貫していなければ、その差異の理解、原因の確認等を行った上での総合的な判断が必要になる。ソフトウェア信頼度成長モデルとレイリーモデルは、共に一般的に行われている故障処理票などの品質管理データで評価が可能であり、特別なデータを取得する必要がないため、比較的容易に適用可能であると考えられる。このため、この両モデルによる残存バグ数の予測が、どういった条件の時に一致するのか、あるいはどのような時に不整合が発生するのかを実証的に明らかにすることは、これらのモデルを用いて残存バグ数の予測を行う際に有益である。

しかし、これらの複数の品質予測モデルを用いた場合の実証結果の比較は、システム開発において、個別の開発の傾向が強く、同一開発条件での比較が困難であるため、これまでの研究では十分に行われていない。実開発においては、業務仕様、システム構成、開発手順、要求定義の品質、仕様変更の有無など、品質に影響を与える様々な条件が数多く存在すると考えられるが、実開発の複数のプロジェクトでそれら様々な条件を同一とすることは基本的に困難である。

上記従来の非特許文献１及び非特許文献２の方法を用いた場合、信頼度成長モデルとレイリーモデルそれぞれの予測値の誤差はリリース時に推定できず、実際にリリース後のバグ検出情報を基に予測値の評価をせざるを得ない。このため、開発案件への予測情報のフィードバックは不可能であり、次開発案件以降へのフィードバックのみ可能であった。

本発明は、上記の点に鑑みなされたもので、信頼度成長モデル、レイリーモデルを用いて、ソフトウェア開発のリリースのタイミングで残存バグの数予測値の予測誤差を評価することが可能な予測誤差評価装置及び方法を提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、ソフトウェア信頼度成長モデルとレイリーモデルによる残存バグ予測値の誤差を評価するための予測誤差評価装置であって、
予め、開発案件毎に開発管理情報を開発工程毎に分類し、予測誤差率及び該予測誤差率の標準偏差が格納された予測誤差記憶手段と、
前記レイリーモデルにおいて、ソフトウェア開発の設計工程から試験工程までに発生したバグ件数と工程期間から、バグの値が最大となる最大バグ検出工程を決定する最大バグ検出工程決定手段と、
前記最大バグ検出工程決定手段で決定された前記最大バグ検出工程に基づいて、前記予測誤差記憶手段を参照して得られた予測誤差及びソース規模から、該最大バグ検出工程の予測誤差率を計算し、該予測誤差率の分布を統計的処理により分析して標準偏差を求め、ソース規模を乗じて予測精度を推定する予測誤差判定手段と、を有する。

また、本発明（請求項２）は、前記ソフトウェア信頼度成長モデルによる推定された第１の残存バグ数と、前記レイリーモデルにより推定された第２の残存バグ数と、を取得し、該第１の残存バグ数と該第２の残存バグ数の差（予測乖離値）を求め、該予測乖離値をソース規模で除した予測乖離率を算出し、該予測乖離率と、予め定められている許容乖離率とを比較し、該予測乖離率が該許容乖離率内であれば、予測精度が高いと判断し、該許容乖離率外であれば予測誤りの可能性があると判断する乖離率判定手段をさらに有する。

また、本発明（請求項３）は、バグ毎のバグ検出時間、バグ発見件数を取得し、最も適合度の高い信頼度成長モデルの平均値関数を用いて該バグ発見件数の累積件数から残存バグを推定するバグ数推定手段と、
前記平均値関数を１回微分することにより求められたバグ生起確率を用いてバグ生起確率を求め、該バグ生起確率を用いてバグ生起確率曲線を描画するバグ生起確率曲線出力手段と、
前記バグ生起確率曲線から残存バグの収束状況を分類し、品質達成状況として出力する収束状況判定手段と、を更に有する。

また、本発明（請求項４）は、前記予測誤差判定手段、前記乖離率判定手段、前記収束状況判定手段の各結果から品質統合評価情報を生成して出力する品質統合判定手段を更に有する。

上述のように本発明によれば、レイリーモデルにおいて、ソフトウェア開発の設計工程から試験工程までのそれぞれの工程で発生したバグ件数と、それぞれの開発工程期間から、最大バグ検出工程を推定することにより、残存バグ予測値の信頼区間を推定することができる。

本発明の一実施の形態における予測誤差評価装置の構成図である。 本発明の一実施の形態におけるSRGM用入力値情報の例である。 本発明の一実施の形態における信頼度成長モデル計算部から出力される残存バグ予測情報の例である。 本発明の一実施の形態におけるレイリーモデル用入力値情報の例である。 本発明の一実施の形態におけるレイリーモデル最大欠陥除去工程判定例である。 本発明の一実施の形態における予測誤差情報記憶部に格納されるデータ例である。 本発明の一実施の形態における予測誤差評価装置の処理のフローチャートである。 本発明の一実施の形態における予測誤差情報記憶部への蓄積処理のフローチャートである。 本発明の一実施の形態における品質と予測誤差との関係を示す図である。 本発明の一実施の形態におけるレイリーモデルの最大バグ摘出工程と、リリース後品質との関係である。 本発明の一実施の形態における予測誤差判定部の予測精度推定処理のフローチャートである。 本発明の一実施の形態における予測誤差判定部の処理の例である。

以下、図面と共に本発明の実施の形態を説明する。

図１は、本発明の一実施の形態における予測誤差評価装置の構成を示す。

同図に示す予測誤差評価装置１００は、信頼度成長モデル計算部１１０、レイリーモデル計算部１２０、乖離率判定部１３０、収束状況判定部１４０、予測誤差判定部１５０、予測誤差情報記憶部１６０、品質総合判定部１７０を有する。

信頼度成長モデル計算部１１０は、ユーザ端末１から信頼度成長モデル用入力値情報として、図２に示すようなバグ発見日時及びバグ件数が入力されると、非特許文献２の技術を用いて、リリース判定時に、ソフトウェアに含まれる残存バグ数を予測し、図３に示すような残存バグ予測値を、乖離率判定部１３０と収束状況判定部１４０に出力する。

レイリーモデル計算部１２０は、ユーザ端末１から図４に示すようなレイリーモデル用入力値情報（工程、開始日、終了日、工程期間日数、工程期間累積日数、時刻、バグ数）が入力されると、非特許文献２の技術を用いて、レイリーモデルパラメータ推定及び各工程へのモデルの当てはめによるバグ予測情報（残存バグ予測値）を推定し、工程毎のレイリー曲線を生成する。なお、当該工程毎のレイリー曲線が描画する各工程間のうち最大のバグ数を推定した工程を「最大バグ検出工程」と呼ぶ。レイリーモデル計算部１２０は、残存バグ予測値を乖離率判定部１３０に出力し、図５に示すレイリー曲線（最大バグ検出工程）を予測誤差判定部１５０に出力する。

乖離率判定部１３０は、信頼度成長モデル計算部１１０から入力された図３に示す残存バグ予測値（AIC、バグ総数予測値、残存バグ件数予測値、Fault-Free Probability、Conditional MTTF（Mean Time To Failure）、Cumulative MTTF）と、レイリーモデル計算部１２０から入力された残存バグ予測値を取得し、これらの差分からなる乖離率を求め、該乖離率が予め定められている許容乖離率を超えている場合は乖離があると判断し、判定結果（予測誤り情報）を品質統合判定部１７０に出力する。なお、許容乖離率は、予め乖離率判定部１３０内のメモリに格納されているものとする。

収束状況判定部１４０は、信頼度成長モデル計算部１１０から出力されたバグ生起確率曲線の状況、残存バグの収束状況の評価及び、その評価結果から品質達成状況を品質統合判定部１７０に出力する。具体的には、バグ生起確率曲線から、
ａ：バグ生起確率曲線が残存バグ０件に収束しない；
ｂ：試験が進行しているのみ関わらず、バグ生起確率曲線値が増加、または、低下しない；
ｃ：バグ生起確率曲線が残存バグ０件に収束；
のいずれかに分類する。

また、残存バグの収束状況に基づいて、
ａ：試験が足りないため、追加試験または強化試験が必要；
ｂ：試験観点、試験実施方法に不備があるため、試験計画を見直す必要がある；
ｃ：試験完了；
のいずれであるかを判定する。

予測誤差情報記憶部１６０は、ユーザ端末１または外部の装置から入力された過去の開発プロジェクトの開発管理データを蓄積する。図６の例では、レイリー最大バグ検出工程、残存バグ予測値、残存バグ予測値、残存バグ実績値、開発規模及び誤差率を格納する。

予測誤差判定部１５０は、レイリーモデル計算部１２０から取得した図５に示すレイリーモデルの最大バグ検出工程の判定結果と予測誤差情報記憶部１６０の情報に基づいて、最大バグ検出工程の誤差率を計算し、ソース規模を乗じて予測精度を算出する。

品質総合判定部１７０は、収集状況判定部１４０から出力された分析結果と、乖離率判定部１３０の判定結果、及び、予測誤差判定部１５０から出力された予測精度を用いて、総合評価結果を出力する。具体的には、収束情報、乖離状況及び残存バグ推定値に予測精度を加算・減算した予測範囲値である総合評価結果を出力する。

次に、上記の構成における処理について説明する。

図７は、本発明の一実施の形態における予測誤差評価装置の処理のフローチャートである。

ステップ３００） 信頼度成長モデル計算部１１０で算出された残存バグの収束情報（収束率、累積バグ曲線、バグ発生曲線、MTTF）が収束状況判定部１４０に入力されると、収束状況判定部１４０は、バグ生起確率曲線から残存バグの収束状況を評価し、残存バグ収束判定結果を出力する。また、残存バグ数と残存バグ収束判定結果を用いて品質状況を評価し、品質達成状況を品質総合判定部１７０に出力する。

ステップ３１０） レイリーモデル計算部１２０において、工程期間及び工程毎のバグ件数が入力されると、非特許文献２の技術を用いて、工程毎のバグ予測値及び残存バグ予測値を求める。残存バグ予測値は乖離率判定部１３０に出力する。工程毎のバグ予測値に基づいて工程毎のレイリー曲線を生成し、予測誤差判定部１５０に出力する。

ステップ３２０） 乖離率判定部１３０は、信頼度成長モデル計算部１１０から入力された図３に示す残存バグ予測情報とレイリーモデル計算部１２０から入力された図５に示す残存バグ予測値との差分から乖離率を求める。メモリ（図示せず）に格納されている許容乖離率と求められた乖離率を比較し、許容乖離率を超えている場合は乖離があると判断し、判断結果を予測誤り情報として品質統合判定部１７０に出力する。

ステップ３３０） 予め、ユーザ端末１または外部の装置から過去の開発プロジェクトの開発管理データを予測誤差情報記憶部１６０に蓄積しておき、最大バグ検出工程を抽出する。

ステップ３４０） 予測誤差判定部１５０は、レイリーモデル計算部１２０から最大バグ検出工程、バグ予測値、実績値、ソース規模が入力されると、予測誤差情報記憶部１６０の当該最大バグ検出工程に対応する誤差率を参照して、最大バグ検出工程に分類される案件の誤差率（予実差）を計算し、次に、
単位規模あたりの誤差＝誤差率／ソース規模
を計算し、単位規模あたりの誤差を求める。当該処理はソース規模で正規化された誤差を求めることを意味する。

ステップ３５０） 予測誤差判定部１５０は、工程毎のバグ予測値、最大バグ検出工程、単位規模あたりの各工程の誤差率及びソース規模を取得し、最大バグ検出工程に対応する誤差率にソース規模を乗じた予測誤差を品質統合判定部１７０に出力する。

ステップ３６０） 品質総合判定部１７０は、収束状況判定部１４０から得られた残存バグ収束状況情報、乖離率判定部１３０から得られた予測誤り情報を取得して、収束情報、乖離状況及び残存バグ推定値に予測精度を加算・減算した予測範囲値を求め、総合的な判断を行い、その結果を出力する。

次に、予測誤差情報記憶部１６０への情報蓄積処理について説明する。

図８は、本発明の一実施の形態における予測誤差情報記憶部への蓄積処理のフローチャートである。

ステップ３３１） 予め、ユーザ端末１は、予測誤差情報記憶部１６０に過去の開発プロジェクトの開発管理データを蓄積する。開発管理情報としては、レイリー最大バグ検出工程、残存バグ予測値、残存バグ予測値、残存バグ実績値、開発規模及び誤差率等がある。なお、当該処理はステップ３００の前に行っておくものとする。

ステップ３３２） ユーザ端末１は、予測誤差情報記憶部１６０に蓄積されている過去案件対し、最大バグ検出工程（外部設計、内部設計、ブログラム設計／コーディング、単体試験、結合試験、総合試験）に分類する。

ステップ３３３） 分類された最大バグ検出工程の予測誤差率を計算する。案件毎の残存バグ予測値、残存バグ実績値、ソース規模が入力されると、
予測誤差率＝（予測値−実績値）／ソース規模
を計算し、単位規模あたりの予測誤差率を求める。

ステップ３３４） 工程毎に分類された案件の予測誤差率を取得して、工程毎の予測誤差率の分布を統計的処理により分析し、標準偏差σを求め、予測誤差情報記憶部１６０に蓄積する。

上記の予測誤差情報記憶部１６０に格納される予測誤差と品質の関係を図９に示す。同図に示すように、矢印（時間）の経過に従いリリース後の品質は低下し、予測誤差が増大する。また、図１０に示すように、バグ検出時間が遅くなるほど、（下流工程になるほど）リリース後の残存バグ数が多いことを示している。図１０において、ピーク時間は開発開始時点からの相対経過時間を表し、時刻が早いほど上流工程でピークを迎え、時刻が遅くなるにつれ、ピークを迎える工程が下流になることを示している。

図１０の例では、設計工程→コーディング工程→単体試験工程→結合試験工程→総合試験工程と後にずれるにつれ、予測値のばらつきが大きくなる。そのため、以下に示すように、予測値のバラツキを評価するために標準偏差σを求め、それを予測誤差とする。

次に、上記のステップ３５０の処理について詳細に説明する。

図１１は、本発明の一実施の形態における予測精度推定処理のフローチャートである。

ステップ３５１） 予測誤差判定部１５０は、予測誤差情報記憶部１６０から最大バグ検出工程、予測誤差率の標準偏差σを取得し、また、外部から、ソース規模、残存バグ予測値、予測範囲（１〜３の整数値）が入力されると、最大バグ検出工程に該当する誤差率の標準偏差より残存バグ予測値の誤差を、以下のように計算する。

予測誤差＝予測値±（Ａ×σ×規模（KLOC））
但し、Ａは予測範囲の値である。

ステップ３５２） 誤差を含む予測値と標準偏差σが入力されると、±σで評価する場合、60％の確率の予測値と評価する。また、±３σで評価する場合、97％の確率の予測値と評価する。なお、ここで、60％、97の％等は、統計学の数値である。

予測誤差判定部１５０は、図１２に示すように、最大バグ検出工程が入力されると、予測誤差情報記憶部１６０を参照して、最大バグ検出工程の種類に応じて標準偏差σを求め、予測誤差情報として品質統合判定部１７０に出力する。

上記の図１に示す予測誤差評価装置の各構成要素の動作をプログラムとして構築し、乖離率評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ ユーザ端末
１００ 予測誤差評価装置
１１０ 信頼度成長モデル計算部
１２０ レイリーモデル計算部
１３０ 乖離率判定部
１４０ 収束状況判定部
１５０ 予測誤差判定部
１６０ 予測誤差情報記憶部
１７０ 品質統合判定部

Claims (8)

1. ソフトウェア信頼度成長モデルとレイリーモデルによる残存バグ予測値の誤差を評価するための予測誤差評価装置であって、
   予め、開発案件毎に開発管理情報を開発工程毎に分類し、予測誤差率及び該予測誤差率の標準偏差が格納された予測誤差記憶手段と、
   前記レイリーモデルにおいて、ソフトウェア開発の設計工程から試験工程までに発生したバグ件数と工程期間から、バグの値が最大となる最大バグ検出工程を決定する最大バグ検出工程決定手段と、
   前記最大バグ検出工程決定手段で決定された前記最大バグ検出工程に基づいて、前記予測誤差記憶手段を参照して得られた予測誤差及びソース規模から、該最大バグ検出工程の予測誤差率を計算し、該予測誤差率の分布を統計的処理により分析して標準偏差を求め、ソース規模を乗じて予測精度を推定する予測誤差判定手段と、
   を有することを特徴とする予測誤差評価装置。
2. 前記ソフトウェア信頼度成長モデルによる推定された第１の残存バグ数と、前記レイリーモデルにより推定された第２の残存バグ数と、を取得し、該第１の残存バグ数と該第２の残存バグ数の差（予測乖離値）を求め、該予測乖離値をソース規模で除した予測乖離率を算出し、該予測乖離率と、予め定められている許容乖離率とを比較し、該予測乖離率が該許容乖離率内であれば、予測精度が高いと判断し、該許容乖離率外であれば予測誤りの可能性があると判断する乖離率判定手段を
   さらに有する請求項1記載の予測誤差評価装置。
3. バグ毎のバグ検出時間、バグ発見件数を取得し、最も適合度の高い信頼度成長モデルの平均値関数を用いて該バグ発見件数の累積件数から残存バグを推定するバグ数推定手段と、
   前記平均値関数を１回微分することにより求められたバグ生起確率関数を用いてバグ生起確率を求め、該バグ生起確率を用いてバグ生起確率曲線を描画するバグ発見率曲線出力手段と、
   前記バグ生起確率曲線から残存バグの収束状況を分類し、品質達成状況として出力する収束状況判定手段と、
   を更に有する請求項１または２記載の予測誤差評価装置。
4. 前記予測誤差判定手段、前記乖離率判定手段、前記収束状況判定手段の各結果から品質統合評価情報を生成して出力する品質統合判定手段を更に有する
   請求項1乃至３のいずれか1項に記載の予測誤差評価装置。
5. ソフトウェア信頼度成長モデルとレイリーモデルによる残存バグ予測値の誤差を評価するための予測誤差評価方法であって、
   予め、開発案件毎に開発管理情報を開発工程毎に分類し、予測誤差率及び該予測誤差率の標準偏差が格納された予測誤差記憶手段と、最大バグ検出工程決定手段と、予測誤差判定手段と、を有する装置において、
   前記最大バグ検出工程決定手段が、前記レイリーモデルにおいて、ソフトウェア開発の設計工程から試験工程までに発生したバグ件数と工程期間から、バグの値が最大となる最大バグ検出工程を決定する最大バグ検出工程決定ステップと、
   前記予測誤差判定手段が、前記最大バグ検出工程決定ステップで決定された前記最大バグ検出工程に基づいて、前記予測誤差記憶手段を参照して得られた予測誤差及びソース規模から、該最大バグ検出工程の予測誤差率を計算し、該予測誤差率の分布を統計的処理により分析して標準偏差を求め、ソース規模を乗じて予測精度を推定する予測誤差判定ステップと、
   を行うことを特徴とする予測誤差評価方法。
6. 乖離率判定手段を更に有する装置において、
   前記乖離率判定手段が、前記ソフトウェア信頼度成長モデルによる推定された第１の残存バグ数と、前記レイリーモデルにより推定された第２の残存バグ数と、を取得し、該第１の残存バグ数と該第２の残存バグ数の差（予測乖離値）を求め、該予測乖離値をソース規模で除した予測乖離率を算出し、該予測乖離率と、予め定められている許容乖離率とを比較し、該予測乖離率が該許容乖離率内であれば、予測精度が高いと判断し、該許容乖離率外であれば予測誤りの可能性があると判断する乖離率判定ステップを
   さらに行う請求項５記載の予測誤差評価方法。
7. バグ数推定手段、バグ生起確率曲線出力手段、収束状況判定手段を更に有する装置において、
   前記バグ数推定手段が、バグ毎のバグ検出時間、バグ発見件数を取得し、最も適合度の高い信頼度成長モデルの平均値関数を用いて該バグ発見件数の累積件数から残存バグを推定するバグ数推定ステップと、
   前記バグ生起確率曲線出力手段が、前記平均値関数を１回微分することにより求められたバグ生起確率関数を用いてバグ生起確率を求め、該バグ生起確率を用いてバグ生起確率曲線を描画するバグ生起確率曲線出力ステップと、
   前記収束状況判定手段が、前記バグ発見率曲線から残存バグの収束状況を分類し、品質達成状況として出力する収束状況判定ステップと、
   を更に行う請求項５または６記載の予測誤差評価方法。
8. 品質統合判定手段を更に有する装置において、
   前記予測誤差判定ステップ、前記乖離率判定ステップ、前記収束状況判定ステップの各結果から品質統合評価情報を生成して出力する品質統合判定ステップを更に行う
   請求項５乃至７のいずれか1項に記載の予測誤差評価方法。

Images