JP2011076411A - 品質予測モデル作成方法ならびにその方法を実行するためのプログラムおよび情報処理装置 - Google Patents

Abstract

【課題】累積指標による統計予測モデルの構築
【解決手段】本発明は、累積指標を定義して有為な相関を示す回帰式を算出し、その回帰式、計測済み（工程終了）の変数、および未計測（工程未終了）の変数の値の出現確率分布に基づいて、未計測の変数の値のシミュレーションを行う。つまり、本発明は、終了した工程から計測される変数と有為な相関を示すであろう終了前の工程の未計測の変数を、過去のソフトウェア開発実績に基づいてシミュレーションできる。
【選択図】 図２２

Description

本発明はコンピュータシステム開発の品質予測モデルの作成に関する。

CMMI(Capability Maturity Model Integration)レベル４において、組織プロセス実績 (OPP: Organizational Process Performance)および定量的プロジェクト管理 (QPM: Quantitative Project Management)における定量統計管理は高成熟度レベルに必須の要素である。その中でもプロセスパフォーマンスベースラインと並び、プロセスパフォーマンスモデルは定量統計管理で非常に重要となることはいうまでもない。そして、プロセスパフォーマンスモデルを構築する上で、最もポピュラーな手法は回帰分析による統計的回帰予測モデルである。

ところが、各種の定量データを採取したとしても回帰分析によって有意な相関が得られる保証はない。一方、回帰分析による統計的回帰予測モデルをプロセスパフォーマンスモデルとして適用しようとするならば、有意な相関は必須となる。つまり、統計的回帰分析による予測モデルにおける第１の課題は、いかに各種の定量データに回帰的な相関を見いだすかである。

次に相関を見いだせた統計的回帰分析による予測モデルには、その使用方法における課題もある。単回帰式と重回帰式で重複した説明変数を使用していた場合、その予測値は必ずしも同じ傾向を持つとは限らない。例えば、設計工程の欠陥密度から全体の欠陥密度を予測する重回帰式で有意な相関が得られたとする。この単回帰式がプラスの係数を持つ回帰式であった場合、設計工程で欠陥を摘出すればするほど全体の欠陥密度も高くなる予測値となる。

一方、重回帰分析において設計工程の欠陥密度にはマイナスの、製造工程の欠陥密度にはプラスの係数を持っていたとする。この重回帰式ではいわゆる前倒しの傾向が見られることになるから、設計工程で欠陥を摘出すればするほど、全体の欠陥密度は低くなる予測値となる。

このように単回帰式と重回帰式で重複する説明変数で異なる予測値を導くような傾向がある場合、これらの回帰式はどのように使用すればよいか。それぞれの回帰式が算出する予測値はどのように扱うべきか。つまり、統計的回帰分析による予測モデルにおける第２の課題は、単回帰式と重回帰式の組み合わせた場合の判断方法である。

また、回帰式自体の方法にも課題がある。単回帰式による予測モデルであれば、ある定量データによって単回帰的に相関するでデータを予測することは可能である。ところが重回帰式である場合は、ある定量データが得られたとしても、それ以外のデータはまだ発生していない場合が生じる。

例えば各工程の欠陥密度による全工程欠陥密度の重回帰予測モデルといった重回帰モデルが存在するとすると、基本設計工程では基本設計工程の欠陥密度は実績値として算出することはできるが、それ以降の工程の欠陥密度はまだ計測できない。それらの工程はまだ始まっていないからである。ところがそれらの変数に値を指定しない限り、この重回帰モデルによる将来予測は不可能である。

つまり、統計的回帰分析による予測モデルにおける第３の課題は、重回帰統計予測モデルを実際に運用するときの変数の指定方法である。

本発明は、第１の課題を「累積指標による統計予測モデルの構築」によって解決する。また本発明は、第２の課題を「単回帰式と重回帰式の組み合わせによる判断方法の構築」によって解決する。また本発明は、第３の課題を「モンテカルロシミュレーションによる重回帰予測モデルの構築」によって解決する。

本発明は、情報処理装置が、ソフトウェアの各開発工程の品質に関する変数に基づいて算出される累積指標を定義するステップと、開発済みのソフトウェアの各開発工程の品質に関する計測済みの変数を前記累積指標の定義に代入することで前記開発済みのソフトウェアの各開発工程の終了時点までの品質の累積指標の値を算出するステップと、前記算出された累積指標の値からなる任意の組を目的変数ないし説明変数として回帰分析を行い、前記回帰分析に基づいて有意な相関を示す回帰式を算出するステップと、を実行する品質予測モデル作成方法を提供する。

好ましくは、情報処理装置が、開発済みのソフトウェアの各開発工程の品質に関する計測済みの変数に従って、開発中のソフトウェアの各開発工程の品質に関する未計測の変数の各々の値の出現確率分布を算出するステップと、前記開発中のソフトウェアの各開発工程の品質に関する計測済みの変数を前記回帰式の説明変数とし、前記未計測の変数を前記回帰式の目的変数とした上、前記開発中のソフトウェアの開発工程のうち終了した工程より後の工程の品質に関する未計測の変数の値を前記回帰式と前記確率分布とに基づいてシミュレーションすることで、前記未計測の変数の値の出現予測モデルを作成するステップと、を実行する。

好ましくは、情報処理装置が、前記算出された累積指標の値からなる任意の組を目的変数ないし説明変数として単回帰分析および／または重回帰分析を行い、前記単回帰分析および／または前記重回帰分析に基づいて有意な相関を示す回帰式を算出するステップを実行する。

好ましくは、前記回帰式が前記重回帰分析に基づいて算出された場合、前記シミュレーションはモンテカルロ法に従う。

この品質予測モデル作成方法を情報処理装置が実行するためのプログラム、この品質予測モデル作成方法を実行する情報処理装置も本発明に含まれる。

本発明は、累積指標を定義して有為な相関を示す回帰式を算出し、その回帰式、計測済み（工程終了）の変数、および未計測（工程未終了）の変数の値の出現確率分布に基づいて、未計測の変数の値のシミュレーションを行う。つまり、本発明は、終了した工程から計測される変数と有為な相関を示すであろう終了前の工程の未計測の変数を、過去のソフトウェア開発実績に基づいてシミュレーションできる。

情報処理装置の構成図 累積的な定量指標の例を示す図 通常使用される定量指標の例を示す図 相関の分析結果例を示す図 通常の指標による分析例を示す図 累積指標の単回帰相関の組み合わせの一覧の例を示す図 通常指標の単回帰相関の組み合わせの一覧の例を示す図 累積指標の相関の分析結果の例を示す図 通常指標の相関の分析結果の例を示す図 累積指標と通常指標を混在させた場合の重回帰分析の例を示す図 累積指標の単回帰分析の回帰式の一覧 累積指標を用いた重回帰分析での定数項と係数の例を示す図 混合指標での重回帰分析での定数項と係数の例を示す図 説明変数一覧の例を示す図 結合テスト以降欠陥密度の基本設計工程時点の確率分布の例を示す図 結合テスト以降欠陥密度の詳細設計工程時点の確率分布の例を示す図 結合テスト以降欠陥密度のコーディング工程時点の確率分布の例を示す図 結合テスト以降欠陥密度の単体テスト工程時点の確率分布の例を示す図 結合テスト以降欠陥密度の結合テスト工程時点の確率分布の例を示す図 結合テスト以降欠陥密度の確率分布の経時変化の例を示す図 95％および75％の信頼区間の幅の推移を例示した図 予測処理のフローチャート 予測処理のデータフローを示した図

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。図１は、本発明の好ましい実施形態に係る情報処理装置１００のブロック構成を示す。情報処理装置１００は、操作部５１（キーボード、マウスその他のポインティングデバイス、タッチパネルなど）、表示部５２（液晶ディスプレイおよびオンボードグラフィックカードなど）、通信部５３（ネットワークカードなど）、情報処理部５４（ＣＰＵ、マイクロコンピュータなど）、記憶部５５（ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク、ＤＶＤ、ＣＤ−ＲＷその他のコンピュータ読み取り可能な記録媒体）、情報読取／書込部５６（ＣＤ−ＲＷドライブなど）を備えたパソコンなどで構成される。

情報処理部５４は、各部の動作、例えば通信部５３によるデータの送受信、記憶部５５へのデータの格納もしくは記憶部５５からの情報の読み出しを制御する。また、ソフトウェア的な演算処理を行う。

情報処理装置１００は、操作部５１を介して入力された情報あるいは通信部５３から通信回線を介して入力された情報を、記憶部５５に格納し、情報処理部５４にてその情報に所定の処理を施し、その結果を表示部５２や通信部５３に接続されたプリンタ、あるいは情報読取／書込部５６にセットされた記録媒体に出力する。

以下、「累積指標による統計予測モデルの構築」、「単回帰式と重回帰式の組み合わせによる判断方法の構築」、「モンテカルロシミュレーションによる重回帰予測モデルの構築」の順番で内容を説明する。

1.累積指標による統計予測モデルの構築
いかに相関をしやすくさせるかに関して、本願発明者は累積的な定量指標というものを考案した。図２がその累積的な定量指標である。一方、通常使用される定量指標は図３の通りである。

ある社の２００８年下期までの受注金額１０００万円超のプロジェクトのデータで、品質に関する累積指標と通常指標に関する単回帰分析を実施したところ、図４のような相関の分析結果となった。図４の縦軸は説明変数、横軸は目的変数を表し、記号は、×：相関なし、○：５％有意の相関、◎：１％の有意相関を表している。

一方、通常の指標による分析結果は図５の通りであった。明らかに累積指標による回帰分析の方が相関が得られやすいことが見て取れる。データは２００６年下期からのデータであるので、経時的な単回帰相関を半期ごとに一覧にしたものを図６および図７に示す。図６は累積指標の単回帰相関の組み合わせ、図７は通常指標の単回帰相関の組み合わせである。データは２００６年下期から累積的に蓄積されている。

これらの図の通り、各工程の指標に対する単回帰分析の総当たりでの相関分析は、圧倒的に累積指標の方（図６）が相関がしやすい傾向があることは確かである。

次に重回帰分析に関して見る。同社の２００８年下期までの受注金額１０００万円超のプロジェクトのデータで、品質に関する累積指標と通常指標に関する重回帰分析を実施したところ、図８および図９のような重回帰相関の分析結果が得られた。図中、□が説明変数、☆が目的変数を示す。相関列の記号は、○：５％有意の相関、◎：１％の有意相関を表している。

図８の累積指標の相関の分析結果からは、全ての組み合わせにおいて相関が見いだせる。これに対し、図９の通常指標の相関の分析結果からは、全く相関が見いだせない。

同じように累積指標と通常指標を混在させた場合の重回帰分析は図１０の通りとなった。ただしNo.1〜3 は単回帰分析となっている。これは説明変数と目的変数の組み合わせの関係から敢えて混在させているものである。

以上の結果から、累積指標と通常指標を混在させた場合でも、相関性のある重回帰式が得られたのは目的変数が累積指標である場合が圧倒的である。唯一の例外はNo.24 の目的変数を結合テスト以降バグ密度（結合テストとシステムテストを合わせたバグ密度）とした場合だけであった。ただしこの目的変数も結合テストとシステムテストの欠陥の合計の密度であるため部分的な累積指標という事が出来る。

以上みてきたとおり、単回帰分析においても重回帰分析においても、累積指標を用いて統計予測モデルを構築する事は、有意な相関性を得る上で非常に有効な手段であると考える事が出来る。

2．単回帰式と重回帰式の組み合わせによる判断方法の構築
次に単回帰式と重回帰式の組み合わせに関して検討する。 既にみた累積指標の単回帰分析の回帰式の一覧は図１１の通りである。

定数項にマイナスがある回帰式はあるものの、全ての回帰式において係数はプラスである。すなわち、上記の回帰式から予測される目的変数は、説明変数の数値が上がれば上がるほど目的変数の数値の増える予測となる。

上記の単回帰分析は前工程から何らかそれ以降の工程の欠陥密度を予測するものであるから、上記の回帰式から予測される傾向は、前の工程で欠陥を出せば出すほど後の工程での累積欠陥も増える、という事を意味している。

一方、累積指標を用いた重回帰分析での定数項と係数を図１２に示す。単回帰式とは打って変わって、全ての回帰式で何らかの変数にマイナスの係数が現れている。これはつまり、その説明変数の値が上がれば上がるほど目的変数の予測値は下がる事を意味している。 一般的に欠陥密度は上流で取り除けば取り除くほど全体の欠陥密度は下がる、と言われている。所謂前倒し摘出の効果と呼ばれるものである。 上記の重回帰式はこの一般論を非常によく支持する具体的な統計分析結果と考えられる。

更に混合指標での重回帰分析での定数項と係数を図１３に示す。No.2は単回帰式であるが、これは組み合わせの関係から記載してあるだけのものである。混合指標における重回帰分析においても、様々な形でマイナスの係数を持った説明変数が表れている。以上より、単回帰式と重回帰式の組み合わせによる判断方法は以下の通りとなる。

単回帰式と重回帰式とでは、変数の係数によって違った予測の傾向を持つ場合がある。よって、単一の単回帰式の予測値のみで判断せず、類似の重回帰式も併用して予測値の正当性を判断するべきである。

現在までのところ、単回帰式と重回帰式で必ず違った予測傾向を持つという事は出来ない。しかし、少なくとも弊社のデータ及び分析が示すのは、その可能性の現実性である。弊社のデータの特性が一般のデータに比べて余程偏ったものでない限り、上記までのように単回帰式と重回帰式での予測傾向の違いが生じないとは言い難いであろう。

上記までの分析からは、少なくとも単回帰式のみで将来を予測する事はかなり危険であると言えるのではないだろうか。 そのためにも累積指標を活用して、単回帰、重回帰のバリエーションを増やす事は重要であると言えよう。

3．モンテカルロシミュレーションによる重回帰予測モデルの構築
最後に重回帰予測モデルを運用する際の具体的な使用方法を検討する 。重回帰予測モデルは単回帰予測モデルと違い、複数の説明変数から目的変数を予測するものである。我々が扱う説明変数には工程ごとに異なる変数を用いる事が多い。よって、重回帰予測モデルを使用する場合、未計測の変数をどのように指定するかは非常に重要な問題となる。

当然のことながら、未計測の変数に対しては出来る限り予測精度の高まる変数の指定方法を適用する必要がある。従来は未計測の変数に関しては、過去の平均値を当てはめたり、上下管理限界値を与えたりする方法が一般的であった。ところがこうした方法では、点予測であったり単純な区間予測でしかなく、予測精度が高いとは決して言う事は出来ない。

一方、我々は回帰分析をする過程で、重回帰する各変数に関して、過去の実績の確率分布を計算する事が可能である。少なくとも目的変数に関しては、予測値の妥当性を判断するために、ヒストグラム分析した上で、適切な上下管理限界（外れ値を除いた上での+-3σなど）を算出する事は必須となる。

ある社のメトリクス規程では、全ての変数に関してプロセス実績ベースラインとして上下管理限界を確率分布として算出する事になっている。

よって、本願発明者は重回帰予測モデルにおいて、未計測変数に関しては計算済みの確率分布を使用し、モンテカルロシミュレーションする事で、重回帰モデルの予測自体を確率分布として計測する方法を考案した。

このようにすれば、従来の方法による点予測や単純な区間予測ではなく、5000 回から10000 回の程度のモンテカルロシミュレーション結果を予測値として得る事が出来る。これ以上の予測精度は期待出来ないほど精度の向上が図られることになる。

更にこのシミュレーションを各工程ごとに、経過した工程の変数を逐次確率分布から実績値に置き換えながらモンテカルロシミュレーションを繰り返し実施することにより、モンテカルロシミュレーション自体の経時変化を視覚的にトラックする事で、信頼性の高い将来予測をダイナミックでリアルタイムに継続する方法を実現した。

具体的なモンテカルロシミュレーションを使用した重回帰予測モデルの実例を以下に示す。

（統計予測モデルにおけるモンテカルロシミュレーションの適用例）
前述した混合指標による重回帰分析のNo.29を題材にする事とする。この重回帰式は以下の通りのものであった。

結合テスト以降欠陥密度 = 0.972 + 2.235*基本設計工程欠陥密度（/頁） -0.174*基本設計工程欠陥密度（/KS） - 3.526*詳細工程欠陥密度（/頁） + 0.2*詳細工程まで欠陥密度（/KS） -0.127*コーディング工程欠陥密度 - 0.023*単体テスト工程欠陥密度 +1.166*結合テスト工程欠陥密度
使用される説明変数一覧は図１４の通りである。

各説明変数は、過去の実績ベースライン（過去のソフトウェア開発実績）から確率分布を算出済みであり、それぞれの平均と標準偏差を持つ正規分布に従う。また、各説明変数は工程終了時には実績値に置き換わっていく事になる。

よって、最終工程以前の工程（基本設計工程、詳細設計工程、コーディング、単体テスト）は、各説明変数の確率分布および実績値（ただし説明変数の実績値がある場合のみ）を用いた目的変数のモンテカルロシミュレーションが可能となり、最終工程完了時に全ての説明変数が実績値に置き換わり確定した目的変数の値が求められることとなる。「基本設計工程欠陥密度（/KS）」および「詳細工程まで欠陥密度（/KS）」は製造キロステップが分かった時点で実績値になるため、工程はコーディングとなっている。

各工程に関して1000 回ずつのモンテカルロシミュレーションを実行する。各工程（最終工程以前の工程）でのモンテカルロシミュレーションによって予測される結合テスト以降欠陥密度（図１３のＮｏ２９回帰式の目的変数）の確率分布の例は図１５〜１９の通りである。

図１５〜１９の目的変数（結合テスト以降欠陥密度）の確率分布を得るためのモンテカルロシミュレーションの実行タイミングはそれぞれ異なる。例えば、図１５は、基本設計工程開始時点での結合テスト以降欠陥密度のモンテカルロシミュレーション結果である。つまり、全ての説明変数は実績ベースラインから得られた確率分布のままで、モンテカルロシミュレーションが実行される。図１６は、詳細設計工程開始時点での結合テスト以降欠陥密度のモンテカルロシミュレーション結果である。この時点では、基本設計工程欠陥密度（説明変数）は実績値として得られている。よって、当該実績値と、それ以外の説明変数についての確率分布とに基づくモンテカルロシミュレーションが実行される。以下同様、各工程が進んだ時点で説明変数の実績値が得られれば、説明変数の確率分布の代わりにその説明変数の実績値を用いて目的変数のモンテカルロシミュレーションが実施される。

工程の時系列変化を重ね合わせると図２０のようになる。薄色が95％、濃色が75％での信頼区間をそれぞれ表している。

95％および75％の信頼区間の幅の推移をグラフ化すると図２１の通りとなる。各工程で区間の幅が徐々に変化しながら収束している事が分かる。このような予測値の区間予測の変化を伴いながらの統計予測モデルの運用は、モンテカルロシミュレーションならではの非常に高度な統計分析と言えるのではないだろうか。

図２２は情報処理装置１００の実行する予測処理のフローチャートを示す。この処理の各ステップを情報処理部５４に実行させるためのプログラムは記憶部５５に記憶されている。

Ｓ１では、情報処理部５４は累積指標の定義を行う。累積指標の定義は、図２に示した変数を含む。あるいは、品質の累積指標、基本設計欠陥密度、サブシステム設計まで累積欠陥密度、コーディングまで累積欠陥密度、単体テストまで累積欠陥密度、全工程累積欠陥密度、生産性の指標、基本設計生産性、詳細設計工程まで累積生産性、コーディング工程まで累積生産性、単体テスト仕様まで累積生産性、結合テスト仕様まで累積生産性、結合テスト消化まで累積生産性、システムテスト仕様まで累積生産性、システムテスト消化まで累積生産性を含んでもよい。累積指標の定義は記憶部５５に記憶されていてもよい。

Ｓ２では、情報処理部５４は記憶部５５のプロセスデータベース５５ａに蓄積されたプロセスデータ（過去に開発されたソフトウェアの変数）を読み出し、読み出したプロセスデータを累積指標の定義に代入して累積指標を算出し、算出された累積指標の任意の組を目的変数ないし説明変数として回帰分析を行う（図２３参照）。回帰分析の結果は図４〜１０に例示した通りである。

Ｓ３では、情報処理部５４は上記回帰分析された組の内、有為な相関を示すものに関する回帰式を取得する。有為な相関を示す回帰式は図１１〜図１３に例示した通りである。

Ｓ４では、情報処理部５４は、取得した回帰式が重回帰式（例えば図１２）であるか単回帰式（例えば図１１）かを判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ６に進む。なお図１３の混合指標の場合は重回帰式と判断する。

Ｓ５では、情報処理部５４は、プロセスデータに基づいて各変数の値の存在確率を示す確率分布を計算する。

Ｓ６では、情報処理部５４は、プロセスデータに基づいた従来の方法による予測、例えば点予測や区間予測を行う。

Ｓ７では、情報処理部５４は、記憶部５５の実績ベースラインデータベース５５ａに蓄積された回帰式および累積指標の確率分布と、プロセスデータベース５５ａに蓄積された現在開発中のソフトウェアに関する計測済みの変数とを読み出し、現在開発中のソフトウェアに関する未計測の変数のモンテカルロシミュレーション予測を行う（図２３参照）。モンテカルロシミュレーション予測の結果は図１５〜１９に例示した通りである。

５１：操作部、５２：表示部、５３：通信部、５４：情報処理部、５５：記憶部、５６：情報読取／書込部

Claims (5)

1. 情報処理装置が、
   ソフトウェアの各開発工程の品質に関する変数に基づいて算出される累積指標を定義するステップと、
   開発済みのソフトウェアの各開発工程の品質に関する計測済みの変数を前記累積指標の定義に代入することで前記開発済みのソフトウェアの各開発工程の終了時点までの品質の累積指標の値を算出するステップと、
   前記算出された累積指標の値からなる任意の組を目的変数ないし説明変数として回帰分析を行い、前記回帰分析に基づいて有意な相関を示す回帰式を算出するステップと、
   開発済みのソフトウェアの各開発工程の品質に関する計測済みの変数に従って、開発中のソフトウェアの各開発工程の品質に関する未計測の変数の各々の値の出現確率分布を算出するステップと、
   前記開発中のソフトウェアの各開発工程の品質に関する計測済みの変数を前記回帰式の説明変数とし、前記未計測の変数を前記回帰式の目的変数とした上、前記開発中のソフトウェアの開発工程のうち終了した工程より後の工程の品質に関する未計測の変数の値を前記回帰式と前記確率分布とに基づいてシミュレーションすることで、前記未計測の変数の値の出現予測モデルを作成するステップと、
   を実行する品質予測モデル作成方法。
2. 情報処理装置が、
   前記算出された累積指標の値からなる任意の組を目的変数ないし説明変数として単回帰分析および／または重回帰分析を行い、前記単回帰分析および／または前記重回帰分析に基づいて有意な相関を示す回帰式を算出するステップを実行する請求項１に記載の品質予測モデル作成方法。
3. 前記回帰式が前記重回帰分析に基づいて算出された場合、前記シミュレーションはモンテカルロ法に従う請求項２に記載の品質予測モデル作成方法。
4. 請求項１〜３のいずれかに記載の品質予測モデル作成方法を情報処理装置が実行するためのプログラム。
5. 請求項１〜３のいずれかに記載の品質予測モデル作成方法を実行する情報処理装置。

Images