JP2008242595A - プログラム検査項目生成システムと方法およびプログラムテストシステムと方法ならびにプログラム - Google Patents

Abstract

【課題】プログラムのブラックボックステストにおける検査時間の削減を可能とすると共に、検査員のスキル等に影響されない正確な検査を可能とする。
【解決手段】データ選択振分処理部１０４ａにより、予め観点・項目ＤＢ１０７ａに登録している汎用的な「検査目的（検査観点）」および実際の検査に必要な「検査項目」の情報を基に、ユーザ（検査者）が評価したい観点（目的）を選択するためのＧＵＩ画面を生成して表示し、このＧＵＩ画面を介してユーザ（検査者）が評価したい観点（目的）を選択することで検査項目を生成し、生成した検査項目を用いて当該プログラムの検査を行い、検査結果に基づく評価を行う。
【選択図】図１

Description

本発明は、コンピュータシステムで用いるプログラムの品質状態をプログラムされたコンピュータにより検査する技術に係り、特に、ブラックボックステストによる当該プログラムの品質状態を、効率良く正確に分析するのに好適なプログラム検査技術に関するものである。

ブラックボックステストとは、入力と出力だけに着目し、様々な入力に対して仕様書通りの出力が得られるかどうかを確認するものであり、このブラックボックステストでのプログラム検査を実施する場合、検査に必要となる検査項目を予め作成する。従来、この検索項目の作成は、検査員の経験則を基に、あるいは、類似プログラムの検査項目を基に作成していた。そのため、このような検査項目を用いた検査では、検査員の力量に左右された一貫性のない評価になることから、信頼に欠けた検査となっていた。

また、急遽発生する検査に対しては、その機能を理解して検査項目を作成しなければならず、その機能を理解している限られた検査員以外では、適切な検査項目の作成までの所要時間が膨大にかかってしまい、迅速に評価ができない。そのため、急遽発生する検査に対しては、限られた検査員以外には対応できない状況であった。

さらに、検査のために入力する情報においても、予め設計書を準備するほか、過去の検査項目などの情報が必要であり、このような入力情報がないと、検査項目の生成も、検査評価もできない。

このような問題を解決するための技術として、例えば特許文献１においては、検査項目の生成を検査員のスキルに関係なく自動で行う技術が記載されている。しかし、この技術では、検査データの定義および入力を予め実施しなければならず、さらに、特定検査対象物に絞られた検査であるため、汎用的に検査項目を作成することができない。また、評価対象観点（検査目的）を絞った検査が実施できず、全体の検査を実施するため範囲を絞った特定の検査ができない。そのため、更なる効率向上に繋がらない。

また、特許文献２においては、品質評価を行うために、品質要素を入力し、基準値とを比較する技術が記載されている。しかし、この技術では、品質要素が設定されていない状態では評価できず、基準値が曖昧の場合には正確な評価が実施できないことがある。また、この技術では、品質要素、基準値が入力情報として必須条件であり、単独での評価は不可能である。尚、単独での評価とは、テストを実施してその結果を基に評価するものであり、第三者の情報を基に評価することではない。

特開２０００−３０５８１１号公報 特開平０９−２６５３９３号公報

解決しようとする問題点は、従来の技術では、プログラムのブラックボックステスト検査を実施する場合、検査員が、その機能を理解して検査項目を作成する必要があり、検査時間が膨大になってしまう点と、検査員によっては理解不足による検査項目の漏れにより正確なテストが実施できない点、および、評価方法も統一されておらず、評価結果に各検査要員でバラツキが発生してしまう点である。

本発明の目的は、これら従来技術の課題を解決し、プログラムのブラックボックステストにおける検査時間の削減を可能とすると共に、検査員のスキル等に影響されない正確な検査を可能とすることである。

上記目的を達成するため、本発明においては、予め登録している汎用的な「検査目的（検査観点）」および実際の検査に必要な「検査項目」の情報を基に、ユーザ（検査者）が評価したい観点（目的）を選択するためのＧＵＩ画面を生成して表示し、このＧＵＩ画面を介してユーザ（検査者）が評価したい観点（目的）を選択することで検査項目を生成する。これにより、短時間での項目の消化（検査）および分析・評価が可能になる。例えば、「対象システムの入力チェックが妥当かを判定してほしい」場合、検査員が、ＧＵＩ画面より、「入力チェック」に必要な観点から検査項目を選択するだけで、選択された検査項目のみを消化することとなり、不必要な観点の消化にかかる時間を軽減し、どの要員でも同じ検査項目を消化することができる。

本発明によれば、プログラム検査の準備にかかる時間を軽減させることができると共に、テスト検査項目の決定、およびテスト評価を統一的に実施することができ、効率的かつ正確なプログラム検査を実施することが可能である。

以下、本発明の実施形態について図面等を用いて詳細に説明する。まず、各図について説明する。

図１は、本発明に係るプログラムテストシステムの構成例を示すブロック図であり、図２は、図１におけるサーバコンピュータのデータ格納部が管理している観点・項目ＤＢの構成例を示す説明図、図３は、図１におけるサーバコンピュータのデータ格納部が管理している選択情報ＤＢの構成例を示す説明図、図４は、図１におけるサーバコンピュータのデータ格納部が管理している対象情報ＤＢの構成例を示す説明図、図５は、図１におけるサーバコンピュータのデータ格納部が管理している評価ポイントＤＢの構成例を示す説明図、図６は、図１におけるサーバコンピュータのデータ格納部が管理している見解情報ＤＢの構成例を示す説明図、図７は、図１におけるプログラムテストシステムの本発明に係る処理動作例を示すフローチャートである。

また、図８Ａ〜図８Ｆは、図１におけるプログラムテストシステムによる評価観点の選択動作例を示す説明図であり、図８Ａは、図１におけるプログラムテストシステムによる評価観点の選択動作における帳票出力画面例を示す説明図、図８Ｂは、図１におけるプログラムテストシステムによる評価観点の選択動作におけるキー取得動作例を示す説明図、図８Ｃは、図１におけるプログラムテストシステムによる評価観点の選択動作における観点・項目データベース検索動作例を示す説明図、図８Ｄは、図１におけるプログラムテストシステムによる評価観点の選択動作における選択情報データベース登録動作例を示す説明図、図８Ｅは、図１におけるプログラムテストシステムによる評価観点の選択動作における選択情報データベースと観点・項目データベースの検索動作例を示す説明図、図８Ｆは、図１におけるプログラムテストシステムによる評価観点の選択動作で表示出力される帳票出力画面例を示す説明図である。

図９は、図１におけるプログラムテストシステムによる評価処理動作例を示す説明図である。図１０Ａ〜図１０Ｄは、図９における評価処理動作の具体例例を示す説明図であり、図１０Ａは、図９の評価処理動作における検査開始前の重要度ランク設定動作例を示す説明図、図１０Ｂは、図９の評価処理動作における評価ポイントの設定動作例を示す説明図、図１０Ｃは、図９の評価処理動作における検査完了後の評価判定動作例を示す説明図、図１０Ｄは、図９の評価処理動作における検査完了後の全体評価判定動作例を示す説明図である。

また、図１１Ａ〜図１１Ｃは、図１０Ｄにおける検査完了後の全体評価判定動作の具体例を示す説明図であり、図１１Ａは、図１０Ｄの全体評価判定動作における機能別評価と観点別評価および総合的評価の具体的な動作例を示す説明図、図１１Ｂは、図１１Ａにおける観点別・機能別評価および観点別評価の動作例を示す説明図、図１１Ｃは、図１１Ａにおける機能別評価および総合評価の動作例を示す説明図である。

また、図１２Ａは、図１１Ａにおける機能別評価と観点別評価および総合的評価の動作結果に基づく個別見解処理動作例を示す説明図であり、図１２Ｂは、図１２Ａにおける個別見解処理動作の具体例を示す説明図である。

また、図１３は、図１におけるプログラムテストシステムによる評価結果の出力処理動作例を示す説明図である。

図１におけるプログラムテストシステムは、プログラムされたコンピュータにより、プログラムの品質評価を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理部の機能を実行する。

すなわち、本例のプログラムテストシステムは、図１に示すように、それぞれネットワークで接続されたクライアントコンピュータ１００とサーバコンピュータ１０５からなり、これらのクライアントコンピュータ１００とサーバコンピュータ１０５のプログラムに基づく処理により、本発明に係るプログラムの検査用項目生成および自動評価を行う。

本例では、クライアントコンピュータ１００を用いて検査担当者が検査項目の生成および自動評価を対話的に行う仕組みとしており、サーバコンピュータ１０５にデータ（情報）を蓄積し、負荷を軽減している。

作業時にはクライアントコンピュータ１００とサーバコンピュータ１０５をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で接続し、情報のやり取りを行う。

クライアントコンピュータ１００には、入出力部１０１、帳票出力部（図中「帳票出力」と記載）１０２、データ制御部１０３、処理部１０４の各処理機能部が設けられており、入出力部１０１の入力画面より検査担当者が投入した情報および命令をデータ制御部１０３が受け取り、処理部１０４に渡し、処理部１０４において、新規入力処理であるか、検査項目消化、評価分析（途中、完了）時であるかを判断する。

処理部１０４は、プログラムされたコンピュータの処理機能として、データ選択振分処理部（図中「データ選択振分処理」と記載）１０４ａ、評価分析１処理（残推定）部（図中「評価分析１処理（残推定）」と記載）１０４ｂ、報告書編集処理部（図中「報告書編集処理」と記載）１０４ｃ、情報保存処理部（図中「情報保存処理」と記載）１０４ｄ、評価分析２処理（結果評価）部（図中「評価分析２処理（結果評価）」と記載）１０４ｅ、観点項目編集処理部（図中「観点項目編集処理」と記載）１０４ｆ、結果登録処理部（図中「結果登録処理」と記載）１０４ｇ、画面帳票表示処理部（図中「画面帳票表示処理」と記載）１０４ｈを有し、判断結果に応じて、各々の処理部にデータを引き渡し、データの取得／編集を行う。

サーバコンピュータ１０５は、プログラムされたコンピュータの処理機能として、データ制御部１０６とデータ格納部１０７を具備する。

処理部１０４は、判断結果に応じて、各々の処理部（１０４ａ〜１０４ｈ）でのデータの取得／編集を行う際、各処理部（１０４ａ〜１０４ｈ）で必要となる情報がサーバコンピュータ１０５側のデータ格納部１０７に存在する場合は、データ制御部１０３，１０６を介してアクセスし、データの取得（読み出し）および登録（書き込み）を実施する。

処理部１０４は、データ編集後、その結果を入出力部１０１によりＣＲＴ等の表示画面に表示し、検査担当者の次処理の入力操作を促す。尚、検査担当者がキーボードやマウス等の入力装置を操作して帳票出力を要求した場合は、入出力部１０１を介してのその要求情報を入力し、上記同様の遷移が行われ、その処理結果が帳票出力部１０２を介してプリンタ等で出力される。

処理部１０４における、データ選択振分処理部１０４ａは、検査の目的（検査観点）および項目を選択して検査項目を作成すると共に評価ポイントの振り分け処理等を行い、評価分析１処理（残推定）部１０４ｂは、残不良の推定処理等を行い、報告書編集処理部１０４ｃは、報告書の編集・印刷処理等を行い、情報保存処理部１０４ｄは、入力された情報（機能等）の記憶装置への保存処理等を行い、評価分析２処理（結果評価）部１０４ｅは、検査項目消化結果を用いた評価分析処理等を行い、観点項目編集処理部１０４ｆは、検査観点および項目の追加・更新・削除処理等を行い、結果登録処理部１０４ｇは、検査項目消化結果および評価結果の記憶装置への保存処理等を行い、画面帳票表示処理部１０４ｈは、各処理で使用する画面や帳票の表示処理等を行う。

また、サーバコンピュータ１０５におけるデータ格納部（図中「データベース」と記載）１０７は、データベース機能を具備し、観点・項目ＤＢ（図中「観点・項目」と記載）１０７ａ、選択情報ＤＢ（図中「選択情報」と記載）１０７ｂ、対象情報ＤＢ（図中「対象情報」と記載）１０７ｃ、評価ポイントＤＢ（図中「評価ポイント」と記載）１０７ｄ、見解情報ＤＢ（図中「見解情報」と記載）１０７ｅの各データベース情報を管理している。

観点・項目ＤＢ１０７ａでは、図２に示す構成内容で全検査観点・項目が保存され、選択情報ＤＢ１０７ｂでは、図３に示す構成内容で対象システムで評価選択された情報が保存され、対象情報ＤＢ１０７ｃでは、図４に示す構成内容で対象システムの入力情報が格納され、評価ポイントＤＢ１０７ｄでは、図５に示す構成内容で各種評価で使用する基となる情報が格納され、見解情報ＤＢ１０７ｅでは、図６に示す構成内容で観点・評価毎に決まった見解の文言が格納されている。

このような構成により本例のプログラムテストシステムでは、プログラムされたコンピュータによって、プログラムのブラックボックステストで用いる検査項目をユーザ（検査者）との対話的操作に基づき生成する。

すなわち、サーバコンピュータ１０５においてデータ格納部１０７の観点・項目ＤＢ１０７ａで、予め、各検査項目を、検査の目的別に複数のグループに分けて階層化し、観点・項目情報として格納しておき、クライアントコンピュータ１００の起動に伴い、処理部１０４のデータ選択振分処理部１０４ａにより、観点・項目ＤＢ１０７ａから観点・項目情報を読み出し参照して、各検査項目を検査目的別に階層化して選択可能に表示するＧＵＩ画面を生成して入出力部１０１を介して表示出力し、このＧＵＩ画面で検査者が選択した検査項目からなる検査項目一覧情報を生成する。

そして、クライアントコンピュータ１００の処理部１０４は、評価分析２処理部１０４ｅにより、このように生成された検査項目一覧情報を入力し、この検査項目一覧情報に含まれる検査項目を基に当該プログラムの検査を行い、その検査結果を分析して当該プログラムの品質評価を行う。

尚、この際、評価分析２処理部１０４ｅは、サーバコンピュータ１０５が評価ポイントＤＢ１０７ｄにおいて予め格納している検査目的別および検査項目別の重み付け情報を読み出し参照して、各検査項目の検査結果に対して当該重み付けを付加して当該プログラムの品質評価を行う。

さらに、クライアントコンピュータ１００の処理部１０４は、評価分析１処理部１０４ｂにより、評価分析２処理部１０４ｅによるプログラムの検査の途中検査結果情報を用いた統計的手法により当該プログラムに残存する不良数の予測値を算出する。例えば、途中検査結果情報として、検査消化数と不良摘出数および危険率を含み、評価分析１処理部１０４ｂは、検査消化数と不良摘出数および危険率を用いた二項確率により当該プログラムに残存する不良数の予測値を算出する。

以下、このような構成からなるプログラムテストシステムによる検査用項目生成処理動作例および自動評価処理動作例を、図７を用いて説明する。

図７においては、クライアントコンピュータ１００とサーバコンピュータ１０５の処理手順例を示している。

（１）検査用評価システムの起動（ステップＳ２００）処理において、検査担当者は、クライアントコンピュータ上にある検査用項目生成、自動評価装置を起動する。

（２）評価対象のシステム情報登録（ステップＳ２０１）処理においては、今回評価対象とするシステム（対象システム）の基本情報（システム名・規模・機能名など）を初期画面より入力する。

（３）評価観点（検査の目的）の選択（観点）（項目）（ステップＳ２０２，Ｓ２０３）処理においては、評価対象とするシステムの検査目的（評価観点）を選択する。評価観点にはシステム全体を評価対象とする「全観点選択（ステップＳ２０４）」と評価目的に合わせた個別観点の選択が可能な「一部観点選択（ステップＳ２０５）」の２通りに分類される。

「一部観点選択」では観点の組み合わせが複数選択できるため、例えば画面機能に特化した評価を実施したい場合などは観点を個別選択することで、絞り込んだ検証（評価）が可能となっている。

評価観点の選択は大項目「観点」、小項目「項目」から成り立っており、大項目「観点」を選択することでその詳細である小項目「項目」が表示、その中からさらに評価に見合った項目を選択することができるため、複数の角度から評価分析が可能となっている。

（４）項目自動生成（ステップＳ２０６）処理は、評価観点の選択が確定した後、自動で処理される。本処理の役割は「評価観点の選択（ステップＳ２０２，Ｓ２０３）」で実施した観点・項目の選択結果をうけて、検査作業で必要となる「検査項目」を生成するものである。

この「検査項目」は、評価対象システムを検証する場合の検査条件となる項目と、妥当であるかを確認する項目、機能別／項目毎に誰がいつ確認したかを示す項目（確認結果が問題なしか否かを示す項目は左記に含まれる）からなっている。

（５）項目消化（ステップＳ２０７）処理においては、項目自動生成処理（ステップＳ２０６）で作成された項目を基に、実際に検証（検査）を開始する。観点／項目毎に検証を実施し、その結果を登録していく。

（６）消化完了（ステップＳ２０８）処理においては、検査項目が消化したか否かにより処理分岐する。次の（７）（８）では分岐後の処理を示す。

（７）評価生成（残予測型）（ステップＳ２０９）処理は、前処理（ステップＳ２０８）にて、検査項目の消化が途中段階で起動した場合の処理である。評価判定については、前述の通り処理される。さらに本処理では、検査項目の確認途中で事前に残不良を予測（自動）し、開発元へ品質改善を促すアクションをタイムリーに支援する機能を実装したものである。残不良の予測方法としては下記の（イ）、（ロ）の二通りを用意している（詳細は「図９」で説明する）。

（イ）二項確率で予測：統計学で用いられる二項確率紙を自動化したものである。

（ロ）実施面積から予測：現在までに実施した観点・規模・不良数を基に、全検査項目・全機能実施した場合の上昇率を求め、不良数に比例させて残不良を予測する

（８）自動評価＆ビュー（ステップＳ２１０）処理は、前処理（ステップＳ２０８）にて全項目の消化が完了したか否かに限らず起動される処理である。検査項目内の「確認欄」に記載した検査結果合否を基に観点／項目別に集計を行い、内部で持っている評価ポイント、重要度と、自動集計された不良割合ポイントから、観点別／機能別に評価判定を実施し、さらに同様の処理で全体の評価判定を行う。尚、評価内容（結果）を画面上に表示（ビュー）する。

（９）報告（ステップＳ２１１）処理においては、評価結果を報告書として生成するか否かにより処理分岐する。次の（１０）では報告書生成を選択した場合の処理を示す。

（１０）報告書生成（ステップＳ２１２）処理は、前処理（ステップＳ２１１）にて、報告書生成を起動した場合の処理である。本処理は、評価結果を第三者向けに提出できる様に自動で報告書化を行う。

（１１）評価システム終了（ステップＳ２１３）処理においては、検査項目消化および報告書作成等の処理が完了した場合、検査用評価システムを終了する。終了時での処理は特にない。

次に、図２、図８Ａ〜図８Ｆ、図９、図１０Ａ〜図１０Ｄ、図１１Ａ〜図１１Ｃ、図１２Ａ，図１２Ｂ、および図１３を用いて、本例のプログラムテストシステムによる検査用項目の生成処理、自動評価処理の具体的な例を説明する。

図８Ａ〜図８Ｆは、図７におけるステップＳ２０２，Ｓ２０３での評価観点の選択処理を行う場合の具体的な処理動作を示している。

対象システムの検査を実施する場合、検査計画時に、検査の目的に応じて、評価方法（検査観点）を決める必要がある。まず、検査担当者は「今回評価を実施したい観点」、「第三者が求める評価の観点」を受け、該当観点を、図８Ａに示すＧＵＩ画面である評価観点選択画面３００より選択していく。

評価観点として、大きく分けて「システム全体評価版」と「個別評価版」の二通りが選択できる（大項目）。「システム全体評価版」は評価対象とするシステムを、通常検査で実施する全観点（システムが顧客要求通りに動作すること、動作が一般的な視点で考えられていること、システムが正常動作すること、イレギュラーケースを考えた動作になっていることなどシステムをトータル的に見たもの）を設定することで製品としての評価が可能になっている。

「個別評価版」では、製品を、ある特定の観点より評価することを検査目的としている。例えば、開発途中のテスト工程において、画面入出力系で不具合が多発しており、第三者はその部分の品質に不安があると想定する。

このような状況において、早急に特定箇所の品質を見極めたいと検査部署に依頼がなされた場合、検査者が、図８Ａの評価観点選択画面３００において個別評価版の「画面入出力重視」（中項目）を選択することで、必要最小限の観点を自動で選別でき、効率的な評価が実現できる仕掛けとなっている。

また、「画面入出力」に関しての評価において特に「入力チェック」（小項目）に重点を置きたいなど、さらに詳細な評価観点の選択も可能となっている。

このようにして評価観点が選択された後、内部ロジックとして、図８Ｂ〜図８Ｆに示す、以下の処理手順３０１〜３０４を実行し検査項目３０５を生成する。

（ａ）選択された項目に応じて、図２に詳細を示す「観点・項目ＤＢ１０７ａ」から情報取得する際に使用するワークキーを設定する（図８Ｂの処理手順３０１）。

この処理手順３０１における“Ｂ”は、チェックされたことを示すためのフラグである。また、中項目にチェックがなされた場合には、観点・項目ＤＢ１０７ａの「キーフラグ１」を、小項目毎にチェックがなされた場合には、観点・項目ＤＢ１０７ａの「キーフラグ２」を参照してワークキーを設定するようになっている。尚、キーフラグ１はＮＯ１に対応し、キーフラグ２はＮＯ２に対応する。

（ｂ）取得したワークキーを基に「観点・項目ＤＢ１０７ａ」を検索し、合致する情報を取得する（図８Ｃの処理手順３０２）。

この処理手順３０２は、どの観点が選択されたかを判別するための処理であり、例えば、「画面入力重視」と「入力チェック」がチェックされた場合には、観点・項目ＤＢ１０７ａのキーフラグ１＝“Ｂ”に対応するＮＯ１の情報を取得し、キーフラグ２＝“Ｂ”に対応するＮＯ２の情報を取得する。

（ｃ）取得した情報から「対象情報ＤＢ１０７ｃ」を比較／マージし、その結果を「選択情報ＤＢ１０７ｂ」に反映する（図８Ｄの処理手順３０３）。ここでは機能毎に観点を設定し、その情報を選択情報ＤＢ１０７ｂへ格納する。

（ｄ）「選択情報ＤＢ１０７ｂ」と「観点・項目ＤＢ１０７ａ」から、画面表示する際の情報を取得する（図８Ｅの処理手順３０４）。

（ｅ）上述の（ｄ）の処理手順３０４で取得した情報を、図８Ｆにおける検査項目３０５として生成して表示する。

この図８Ｆの検査項目３０５で表示される検査項目生成画面は、観点を選択した結果から、検査に必要な「検査項目」を自動で生成した結果である。この検査項目は、例えばＥｘｃｅｌ（登録商標）形式の表で出力されることから、他コンピュータなど外部への持込みを可能としている。

尚、図８Ｆおける検査項目３０５は、「項番」、「大項目」、「中項目」、「確認日」、「確認者」、・・・、「確認日」「確認者」からなっており、「項番」は検査項目を識別するＩＤであり、「大項目」は検査観点をさらに詳細の内容にしたもの、「中項目」は検査項目の確認内容、「確認日」は各検査項目を確認した日を入力する欄、「確認者」は各検査項目を確認した担当者の名前を入力する欄であり、この「確認日」と「確認者」欄は機能毎に入力する形式をとっている。

図９は、図１のクライアントコンピュータ１００の処理部１０４における評価分析１処理（残推定）部１０４ｂによる図７のステップＳ２０９における評価生成（残不良型）を行う場合の具体的な処理動作を示す説明図である。

評価分析１処理（残推定）部１０４ｂは、検査途中での処理において、図９における情報４００を基に残不良予測を導き出す。尚、情報算出の際はシステム全体／機能毎で算出を行う。また、機能毎の算出では「機能情報」をキーとして情報取得する。

図９における情報４００は、不良件数（不良ｎ件）、全項目数（全項目数ｍ件）、未消化項目数（未消化項目数ｘ件）、機能数（機能数ｙ件）、危険率（危険率５％）、規模（規模ａ ｓｔｅｐ）からなる。

「不良件数」は、検査項目の確認日が「ＮＧ」の項目であり、図３の選択情報ＤＢ１０７ｂにおける「確認日」より「ＮＧ」件数のＳＵＭ算出により取得する。

「全項目数」は、選択した観点から生成された検査項目の全件であり、図３の選択情報ＤＢ１０７ｂにおける行数をカウントし取得する。

「未消化項目数」は、検査項目の確認日が未入力の項目であり、図３の選択情報ＤＢ１０７ｂにおける「確認日」よりＮＵＬＬ件数のＳＵＭ算出により取得する。

「機能数」は、初回にシステム情報で登録した機能数であり、図４の対象情報ＤＢ１０７ｃにおける「機能情報」の全件数を取得する。

「危険率」は、図１の評価分析１処理（残推定）部１０４ｂがプログラム検査の途中検査結果情報を基に当該プログラムに残存する不良数の予測値を算出する際に用いる統計的手法の内の「二項確率」での算出時に必要となる情報であり、本例では、一般的な数値の５％を設定する。

「規模」は、評価対象のプログラムの開発ステップ数であり、図４の対象情報ＤＢ１０７ｃにおける「規模」よりＳＵＭ算出して取得する。

尚、図１の評価分析１処理（残推定）部１０４ｂによる残不良予測には「二項確率」での予測と「実施面積」からの予測の二通りの統計的手法から算出できる。担当者（検査者）は、いずれか当該評価に適した予測手法を選択し、使うことができる。

以下に「二項確率での予測」および「実施面積からの予測」手順について説明する。

まず、「二項確率で予測」の算出手順４０１では、必要情報として、「全項目数」、「未消化項目数」、「不良件数：ｎ」、「危険率：Ｘ」、「全項目数：ｍ」を用い、これらの必要情報を下記のように、各計算式に代入して残不良（システム／機能毎）を算出する。

（１）ａ＝全項目数−未消化項目数

（２）Ａ'＝ａ／不良件数ｎ

（３）Ａ１＝Ａ'＋（危険率Ｘ×（ＳＱＲＴ（Ａ'(１−Ａ')／ａ）））

（４）Ａ２＝Ａ'−（危険率Ｘ×（ＳＱＲＴ（Ａ'(１−Ａ')／ａ）））

（５）残不良１＝全項目数ｍ×Ａ１

（６）残不良２＝全項目数ｍ×Ａ２

（７）「残不良１」を残不良件数とする。また、「残不良２」は、図９に示す二項確率紙４０３を作成するときの数値である。

次に、「実施面積から予測」の算出手順４０２では、必要情報として、「機能毎の全項目数ｍ１」、「機能毎の未消化項目数ｒ１」、「不良件数ｎ」、「全規模ｄ」を用い、これらの必要情報を下記のように、各計算式に代入して残不良（システム／機能毎）を算出する。

（１）ｂ＝ＳＵＭ（機能毎の全項目で（機能毎の全項目数ｍ１−機能毎の未消化項目数ｒ１＞０）の規模

（２）ｃ＝ＳＵＭ（ｂ×（１−（ｒ１／ｍ１）））

（３）Ｂ＝不良件数ｎ／ｂ×全規模ｄ

（４）ｅ＝１−（ＳＵＭ（１−（ｒ１／ｍ１）））

（５）Ｂ１＝ｅ×Ｂ

（６）このようにして求めた「Ｂ」は対象機能に対しての残不良件数であり、「Ｂ１」は、システム全体での残不良件数である。尚、「Ｂ」、「Ｂ１」、「ｃ」を基に、図９に示す実施面積図４０４を作成する。

上述の計算ロジック処理を実施後、例えばＥｘｃｅｌ（登録商標）のグラフ機能を用いてグラフ作成処理を行う。

次に、図１０Ａ〜図１０Ｄを用いて、図１におけるクライアントコンピュータ１００の処理部１０４における評価分析２処理（結果評価）部１０４ｅによる、図７のステップＳ２１０における評価生成（完了型）処理を行う場合の具体的な処理動作を説明する。

検査開始前に、対象機能毎で重要度ランクを設定しておく。重要度ランクの設定基準は、図１０Ａに示す重要度ランク情報５００の通り、その機能が顧客に与える影響を考慮して設定する。

また、選択された観点・項目のそれぞれには、図１０Ｂの評価ポイント情報５０１に示す各評価ポイントが予め振り分けられており、観点・項目毎に自動的に重み付けを設定する。

検査完了後、検査結果（検査項目毎のＯＫ／ＮＧ）および図１０Ｃに示す不良割合ポイント情報５０２を基に自動判定を行い、機能別およびシステム全体の評価を実施し、そのシステムの良し悪しを、図１０Ｄの機能毎及び総合で評価処理手順５０３を実行して、機能別およびシステム全体の評価を視覚的にできるようにする。

尚、本処理は検査項目の全項目消化に関係なく実施されるものである。

図１０Ｄの機能毎及び総合で評価処理手順５０３について、図１１Ａ〜図１１Ｃと図１２Ａ，図１２Ｂを用いて説明する。

「前提」：評価基準として情報を保持するものは以下の通りとする。

（ｉ）重要度ランク（手入力）：Ａ〜Ｄの４種類。

（ｉｉ）評価ポイント（自動設定）：ａ〜ｅの５種類。

（ｉｉｉ）不良割合ポイント（自動集計）：０〜１０のポイントを上記「二項確率で予測」と「実施面積から予測」における処理を基に振り分ける。

（ｉｖ）不良割合パーセント（自動集計）：０％〜１００％で範囲設定。

（ｖ）ランク重み付け（自動集計）：０％〜１５％で、図１１Ａの評価表６０１における丸１のランクに振り分ける。

（ｖｉ）評価判定（自動判定）：「丸」、「三角」、「×」等の５種類で機能別、システム全体で判定する。

まず、「評価方法１」を、図１１Ａ〜図１１Ｃを用いて説明する。この「評価方法１」では、上記前提を基に集計を行い、下記のようにして評価判定を実施し、図１１Ａに示す評価表６０１を生成する。

（１）図１１Ｂに示す手順により観点別・機能別に評価を算出する。

まず、検査対象に選定された図１１Ａに示す検索項目６０２の評価ポイントを１観点／１機能毎に合計し、このようにして集計された評価ポイント（小計）に対して関連する不良割合ポイントを乗算し、図１１Ｂの検査項目集計表６０３に示すように、Ａポイント（小計／合計）を求める。

次に、検査項目６０２における不良が摘出された検査項目の評価ポイントを１観点／１機能毎に合計し、このようにして集計された評価ポイント（小計）に対して関連する不良割合ポイントを乗算し、図１１Ｂの不良件数集計表６０４に示すようにＢポイント（小計／合計）を求める。

そして、Ａポイント（合計）を母数としてＢポイント（合計）の割合を求め、この割合が内部データである不良割合パーセントと比較し、図１１Ｂの評価集計表６０５に示すように、該当する範囲の評価判定を１観点／１機能毎に振り分けていく。

（２）観点別に評価を算出する場合にも、図１１Ｂの観点別評価集計表６０６の通り、上記（１）での観点別・機能別に評価を算出する処理と同様の処理を全機能に対して行う。

（３）機能別に評価を算出する場合、図１１Ｃに示す手順により以下のようにして算出する。

すなわち、検査対象に選定された機能の観点数を１機能毎に合計し、次に、上記（１）の処理で振り分けられた評価判定を機能毎／評価判定別に合計し、上記で集計された評価判定（小計）に対して関連する不良割合ポイントを乗算し、Ｃポイント（合計）を求める。この処理の結果を図１１Ｃにおける観点別集計表６０７に示す。

さらに、観点数の合計に対して不良割合ポイント（最大値）を乗算し、Ｚポイントを求める。この処理の結果を図１１Ｃにおける母数点算出表６０８に示す。

そして、求めたＺポイントを母数としてＣポイント（合計）の割合を求め、その算出結果を割合Ｘとする。この処理の結果を図１１Ｃにおける評価集計表６０９に示す。

図１１Ｃにおけるランク重み付け条件表６１０に示すように、求めた割合Ｘが０％、または５０％以上であった場合は、ランク重み付けを加味させないが、それ以外であれば、図１１Ｃにおけるランク重み付け表６１１に示すように、機能毎に振り分けされたランク重み付けを割合Ｘに加味する。

このようにしてランク重み付けされた割合Ｘを内部データである不良割合パーセントと比較し、該当する範囲の評価判定を１機能毎に振り分けていく。この処理の結果を図１１Ｃにおける評価集計表６１２に示す。

（４）総合評価を算出する処理では、図１１Ｃの総合評価集計表６１３の通り、上記（３）の機能別評価で算出した評価判定の悲観値とする。

次に、「評価方法２」を、図１２Ａ，図１２Ｂを用いて説明する。この「評価方法２」では、上記「評価方法１」を基に、以下の処理により、個別見解を取得し、図１２Ａにおける評価表６２０を生成する。

（１）観点別の見解を算出する処理では、図１２Ｂの観点別見解算出処理手順６２１に示すように、振り分けられた評価判定の最低評価の上位５つを観点別に取得する。

尚、最低評価が６つ以上存在した場合、取得した観点から機能毎に最低評価数を算出し、多いものを採用する。さらに、上記処理の採用数が同数の場合は、評価ポイント数を算出し、多いものを採用する。

また、最低評価が４つ以下の場合には、取得した観点を採用、さらに次に最低評価のものを取得する。全取得数が５つになるまで、本処理を繰り返す。

さらに、最低評価が０の場合には、「問題なし」との固定文字を採用し、次処理での図６における見解情報ＤＢ１０７ｅを参照する処理は実施しない。

その次処理として、上記処理で取得した観点毎の評価判定を基に、図１２Ｂに示す見解情報ＤＢ６２２を参照して、該当する見解内容を取得する。

（２）機能別の見解を設定する処理では、図１２Ｂの機能別見解算出処理手順６２３に示すように、まず、上記（１）における観点別の見解を設定する処理と同様の処理で、振り分けられた評価判定の最低評価上位５つを機能別に取得し、次に、取得した機能名称を基に固定文字を作成する。

（３）総合評価の見解を算出する処理では、図１２Ｂの総合評価見解算出処理手順６２４に示すように、総合評価の評価判定を基に、図１２Ｂにおける見解情報ＤＢ６２５を参照して該当する見解内容を取得する。

次に、図１３を用いて、図１のクライアントコンピュータ１００における処理部１０４の報告書編集処理部１０４ｃによる、図７におけるステップＳ２１２での報告書を自動作成する処理動作を具体的例で説明する。

図９，図１０Ａ〜図１０Ｄ，図１１Ａ〜図１１Ｃ，図１２Ａ，図１２Ｂでの処理で算出した情報（残不良件数、評価判定、見解）および事前に設定した情報（対象機能、観点）を基に、予め生成されている報告書フォーマット７００の各エリアに、その内容を埋め込み、報告書として作成する。

すなわち、報告書フォーマット７００のエリアＡには、図１１Ａ〜図１１Ｃ，図１２Ａ，図１２Ｂで求めた情報（ワークエリアの評価表）を埋め込み（＊残不良件数は図９の情報から埋め込む）、エリアＢ（検査観点エリア）には、選択情報ＤＢ１０７ｂの「選択ＮＯ１」をキーとして観点・項目ＤＢ１０７ａの「ＮＯ１」と比較し、合致した場合は「観点」項目を抽出し（尚、同一情報があった場合はＵＮＩＱ処理を行う）、結果を埋め込む。

また、エリアＣ（全体見解エリア）には、図１２Ｂの総合評価見解算出処理手順６２４（「（３）総合評価の見解の算出」）で求めた見解内容を埋め込み、エリアＤ（個別見解エリア）には、図１２Ｂの機能別見解算出処理手順６２３（「（２）機能別の見解の設定」）で求めた見解内容を埋め込む。

尚、本処理では報告書作成を任意にしており、使用する側の判断で作成有無を決めている。

以上、図１〜図１３を用いて説明したように、本例では、機能仕様を理解せずに行うブラックボックス型のプログラム検査において、検査員の力量にかかわらず統一的な検査を実現する。そのために、予め登録されている汎用的な「検査観点」および実際の項目消化に必要な「検査項目」の情報をもとに、標準的な検査を実行し、項目消化や不良箇所といった検査実績情報を記憶装置に登録し、予め設定登録されている評価ポイントなどから自動的に分析／評価を行う。尚、その際、検査が途中経過であってもそれまでに登録した情報から残存不良数の予測を行う。そして、評価結果に対する統一的な見解を導き出し、自動的に報告書作成を行う。

本例のプログラムテストシステムは、対話型の各種システムに対応しており、あらゆるシステムのプログラム検査に適用できる。

特に本例のシステムでは、過去から蓄積した「検査に必要な観点」および、「プログラム検査実施時のチェック内容としている検査項目」が予め記憶装置に登録されており、必要な情報（評価に用いたい観点）を選択することでプログラム検査対象のシステムにあった確認内容を自動で生成でき、どのようなシステムでも対話型であればプログラム検査が実現できる。尚、各システムによって第三者がどのように評価したいかを選択できるため、選択方法によっては数十通りの評価が実現できる。

また、本例では、検査観点／標準検査項目を基にプログラム検査（実機検証）を実施し、その結果（ＯＫ／ＮＧ）を観点、項目毎に登録することで、観点の重み付けポイントとプログラム不良の重要度、および機能別ポイントから独自の評価を自動で行い、不良摘出要求件数、見直し観点などを判定し、一貫性のある品質評価が行える。

また、本例のプログラムテストシステムでは、作業途中にあって、検査観点／標準検査項目の消化状況から現在までの進捗を算出および消化状況とプログラム不良摘出数、危険率から統計的手法を用いた残不良予測が算出でき、開発元へのタイムリーな品質確保要求が実現できる。

また、評価結果から、予め決まったフォーマットに量的、質的情報とそれぞれの見解を、表とグラフを用いて自動的に報告書が作成できる。

このように、本例では、予め登録している汎用的な「検査目的（検査観点）」および実際の検査に必要な「検査項目」の情報を基に、ユーザ（検査者）が評価したい観点（目的）を選択するためのＧＵＩ画面を生成して表示し、このＧＵＩ画面を介してユーザ（検査者）が評価したい観点（目的）を選択することで検査項目を生成する。これにより、短時間での項目の消化（検査）および分析・評価が可能になる。

例えば、「対象システムの入力チェックが妥当かを判定してほしい」場合、検査員が、ＧＵＩ画面より、「入力チェック」に必要な観点から検査項目を選択するだけで、選択された検査項目のみを消化することとなり、不必要な観点の消化にかかる時間を軽減し、どの要員でも同じ検査項目を消化することができる。尚、単独評価のみでなくシステム全体の観点評価も可能である。

また、評価処理としては、検査途中および検査完了後のどのタイミングにおいても評価が自動で実施でき、タイムリーな状況把握が実現できる。自動評価については、検査項目消化時のＯＫ、ＮＧの検査結果から、内部でもっている評価ポイントを基に、観点の重み付けポイントとプログラム不良の重要度、および機能別ポイントを加味して、評価を求める。評価においては、どの観点、操作が弱いかを評価ポイントを基に見解テーブルから導き出し、総括として報告書に自動で纏める。尚、見解を表やグラフでも表示させ、一目で強い、弱い箇所がわかるようにしている。

これにより、本例のプログラムテストシステムでは、評価観点を予め限定しておき、この限定した項目で検査項目を自動作成、自動評価することができる。そのため必要最小限にものに絞り込むこと、また検査項目を作成する必要がなく、評価も自動作成するため、プログラム検査の準備にかかる時間を軽減させることができると共に、テスト検査項目の決定、およびテスト評価を統一的に実施することができ、効率的かつ正確なプログラム検査を実施することが可能であり、その分の効率をあげることができる。さらに、評価内容においても視覚的に見ることができ、残不良も予測できることから、今後の品質向上に大きく貢献できる。

尚、本発明は、図１〜図１３を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、本発明に係わる処理プログラムをクライアントコンピュータ１００に置き、データをサーバコンピュータ１０５に置いてネットワークを介して１：１で処理する仕掛けとしているが、複数台のクライアントコンピュータ１００を介した情報共有も可能であり、かつ、データと処理プログラムを１台のクライアントコンピュータ１００に置いて処理することも可能である。

また、本例のコンピュータ構成に関しても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Fｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係るプログラムテストシステムの構成例を示すブロック図である。 図１におけるサーバコンピュータのデータ格納部が管理している観点・項目ＤＢの構成例を示す説明図である。 図１におけるサーバコンピュータのデータ格納部が管理している選択情報ＤＢの構成例を示す説明図である。 図１におけるサーバコンピュータのデータ格納部が管理している対象情報ＤＢの構成例を示す説明図である。 図１におけるサーバコンピュータのデータ格納部が管理している評価ポイントＤＢの構成例を示す説明図である。 図１におけるサーバコンピュータのデータ格納部が管理している見解情報ＤＢの構成例を示す説明図である。 図１におけるプログラムテストシステムの本発明に係る処理動作例を示すフローチャートである。 図１におけるプログラムテストシステムによる評価観点の選択動作における帳票出力画面例を示す説明図である。 図１におけるプログラムテストシステムによる評価観点の選択動作におけるキー取得動作例を示す説明図である。 図１におけるプログラムテストシステムによる評価観点の選択動作における観点・項目データベース検索動作例を示す説明図である。 図１におけるプログラムテストシステムによる評価観点の選択動作における選択情報データベース登録動作例を示す説明図である。 図１におけるプログラムテストシステムによる評価観点の選択動作における選択情報データベースと観点・項目データベースの検索動作例を示す説明図である。 図１におけるプログラムテストシステムによる評価観点の選択動作で表示出力される帳票出力画面例を示す説明図である。 図１におけるプログラムテストシステムによる評価処理動作例を示す説明図である。 図９の評価処理動作における検査開始前の重要度ランク設定動作例を示す説明図である。 図９の評価処理動作における評価ポイントの設定動作例を示す説明図である。 図９の評価処理動作における検査完了後の評価判定動作例を示す説明図である。 図９の評価処理動作における検査完了後の全体評価判定動作例を示す説明図である。 図１０Ｄの全体評価判定動作における機能別評価と観点別評価および総合的評価の具体的な動作例を示す説明図である。 図１１Ａにおける観点別・機能別評価および観点別評価の動作例を示す説明図である。 図１１Ａにおける機能別評価および総合評価の動作例を示す説明図である。 図１１Ａにおける機能別評価と観点別評価および総合的評価の動作結果に基づく個別見解処理動作例を示す説明図である。 図１２Ａにおける個別見解処理動作の具体例を示す説明図である。 図１におけるプログラムテストシステムによる評価結果の出力処理動作例を示す説明図である。

符号の説明

１００：クライアントコンピュータ、１０１：入出力部、１０２：帳票出力部（「帳票出力」）、１０３：データ制御部、１０４：処理部、１０４ａ：データ選択振分処理部（「データ選択振分処理」）、１０４ｂ：評価分析１処理（残推定）部（「評価分析１処理（残推定）」）、１０４ｃ：報告書編集処理部（「報告書編集処理」）、１０４ｄ：情報保存処理部（「情報保存処理」）、１０４ｅ：評価分析２処理（結果評価）部（「評価分析２処理（結果評価）」）、１０４ｆ：観点項目編集処理部（「観点項目編集処理」）、１０４ｇ：結果登録処理部（「結果登録処理」）、１０４ｈ：画面帳票表示処理部（「画面帳票表示処理」）、１０５：サーバコンピュータ、１０６：データ制御部、１０７：データ格納部（「データベース」）、１０７ａ：観点・項目ＤＢ、１０７ｂ：選択情報ＤＢ、１０７ｃ：対象情報ＤＢ、１０７ｄ：評価ポイントＤＢ、１０７ｅ：見解情報ＤＢ、３００：評価観点選択画面、３０１〜３０４：処理手順、３０５：検査項目、４００：情報（残不良予測のための情報）、４０１：算出手順（二項確率計算）、４０２：算出手順（実施面積計算）、４０３：二項確率紙、４０４：実施面積図、５００：重要度ランク情報、５０１：評価ポイント情報、５０２：不良割合ポイント情報、５０３：評価処理手順、６０１：評価表、６０２：検査項目、６０３：検査項目集計表、６０４：不良件数集計表、６０５：評価集計表、６０６：観点別評価集計表、６０７：観点別集計表、６０８：母数点算出表、６０９：評価集計表、６１０：ランク重み付け条件表、６１１：ランク重み付け表、６１２：評価集計表、６１３：総合評価集計表、６２０：評価表、６２１：観点別見解算出処理手順、６２２：見解情報ＤＢ、６２３：機能別見解算出処理手順、６２４：総合評価見解算出処理手順、６２５：見解情報ＤＢ、７００：報告書フォーマット。

Claims (9)

1. プログラムされたコンピュータによって、プログラムのブラックボックステストで用いる検査項目を生成するシステムであって、
   予め、各検査項目を、検査の目的別に複数のグループに分けて階層化した観点・項目情報を記憶装置に格納する第１の処理手段と、
   上記記憶装置から上記観点・項目情報を読み出し参照して、各検査項目を検査目的別に階層化して選択可能に表示するＧＵＩ画面を生成して出力する第２の処理手段と、
   上記ＧＵＩ画面で選択された検査項目からなる検査項目一覧情報を生成する第３の処理手段と
   を有することを特徴とするプログラム検査項目生成システム。
2. プログラムされたコンピュータによって、プログラムのブラックボックステストを行うシステムであって、
   請求項１に記載のプログラム検査項目生成システムで生成された検査項目一覧情報を入力する第４の処理手段と、
   該検査項目一覧情報に含まれる検査項目を基に当該プログラムの検査を行う第５の処理手段と、
   該第５の処理手段の検査結果を分析して当該プログラムの品質評価を行う第６の処理手段と
   を有することを特徴とするプログラムテストシステム。
3. 請求項２に記載のプログラムテストシステムであって、
   上記第６の処理手段は、
   予め記憶装置に格納された検査目的別および検査項目別の重み付け情報を読み出し参照して、各検査項目の検査結果に対して当該重み付けを付加して当該プログラムの品質評価を行うことを特徴とするプログラムテストシステム。
4. 請求項２もしくは請求項３のいずれかに記載のプログラムテストシステムであって、
   上記第５の処理手段によるプログラムの検査の途中検査結果情報を用いた統計的手法により当該プログラムに残存する不良数の予測値を算出する第７の処理手段
   を有することを特徴とするプログラムテストシステム。
5. 請求項４に記載のプログラムテストシステムであって、
   上記第５の処理手段の途中検査結果情報は、検査消化数と不良摘出数および危険率を含み、
   上記第７の処理手段は、検査消化数と不良摘出数および危険率を用いた二項確率により上記プログラムに残存する不良数の予測値を算出することを特徴とするプログラムテストシステム。
6. コンピュータを、請求項１に記載のプログラム検査項目生成システムにおける各処理手段として機能させるためのプログラム。
7. コンピュータを、請求項２から請求項５のいすれかに記載のプログラムテストシステムにおける各処理手段として機能させるためのプログラム。
8. プログラムされたコンピュータによって、プログラムのブラックボックステストで用いる検査項目を生成する方法であって、
   予め、各検査項目を、検査の目的別に複数のグループに分けて階層化した観点・項目情報を記憶装置に格納する第１の手順と、
   上記記憶装置から上記観点・項目情報を読み出し参照して、各検査項目を検査目的別に階層化して選択可能に表示するＧＵＩ画面を生成して出力する第２の手順と、
   上記ＧＵＩ画面で選択された検査項目からなる検査項目一覧情報を生成する第３の手順と
   を有することを特徴とするプログラム検査項目生成方法。
9. プログラムされたコンピュータによって、プログラムのブラックボックステストを行う方法であって、
   請求項１に記載のプログラム検査項目生成システムにおける各処理手段による処理手順と、
   請求項２から請求項５のいずれかに記載のプログラムテストシステムにおける各処理手段による処理手順と
   を有することを特徴とするプログラムテスト方法。

Images