JP2009134518A - 試験プログラムの検証方法及びその検証システム - Google Patents
試験プログラムの検証方法及びその検証システム Download PDFInfo
- Publication number
- JP2009134518A JP2009134518A JP2007310150A JP2007310150A JP2009134518A JP 2009134518 A JP2009134518 A JP 2009134518A JP 2007310150 A JP2007310150 A JP 2007310150A JP 2007310150 A JP2007310150 A JP 2007310150A JP 2009134518 A JP2009134518 A JP 2009134518A
- Authority
- JP
- Japan
- Prior art keywords
- test
- common measurement
- test program
- data group
- measurement item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
【課題】同じ磁気記憶装置などの製造物に対して1回程度しか試験できない状況において有効な試験プログラム変更時の検証方法及びその検証システムを提供することにある。
【解決手段】本発明は、複数の測定項目毎の、試験プログラムの更新前後での変動と製造された時系列での変動とを比較検証することにより、試験プログラムの更新による変化のみを効率的に抽出することを特徴とする。
【選択図】図5
【解決手段】本発明は、複数の測定項目毎の、試験プログラムの更新前後での変動と製造された時系列での変動とを比較検証することにより、試験プログラムの更新による変化のみを効率的に抽出することを特徴とする。
【選択図】図5
Description
本発明は、磁気記憶装置などの製造物の試験、すなわち製造物の良否を判定するために用いられる試験プログラムの良否を検証する試験プログラムの検証方法及びその検証システム並びにその検証方法を実行するコンピュータプログラムに関する。
従来のソフトウェアプログラム同等性検証方法としては、特開2001−350650号公報(特許文献1)が知られている。該特許文献1には、コンピュータシステム上で、変更前のソフトウェアプログラムと変更後のソフトウェアプログラムとを、同一の試験条件のもとで実行させた試験結果から、同等性の検証に必要な所定の情報を抽出する試験結果抽出段階と、試験結果抽出段階で得られる変更前のソフトウェアプログラムの試験結果から抽出した抽出情報を基準として、所定の試験項目毎に、変更後のソフトウェアプログラムの試験結果から抽出した抽出情報と照合する照合段階を含むソフトウェアプログラム同等性検証方法が記載されている。
特許文献1に記載されているように、変更前のプログラムの実行結果と、変更後のプログラムの実行結果を測定項目別に分布を比較し、有意差がある項目を見つけ出すことは有効な方法である。しかし、同じ製造物に対して、双方のプログラムを実行できればよいが、昨今の先端デバイス製品では、一つの製造物の試験時間が数十時間から数百時間を必要とし、同じ製造物に対して、変更前のプログラムと変更後のプログラムの双方を実行することは時間的制約から困難な場合が多い。
本発明の目的は、上記課題を解決すべく、同じ磁気記憶装置などの製造物に対して1回程度しか試験できない状況において有効な試験プログラム変更時の検証方法及びその検証システムを提供することにある。
上記目的を達成するために、本発明は、複数の測定項目毎の、試験プログラムの更新前後での変動と製造された時系列での変動とを比較検証することにより、試験プログラムの更新による変化のみを効率的に抽出することを特徴とする試験プログラムの変更時の検証方法及びその検証システムである。
また、本発明は、コンピュータシステム上における、製造物を試験装置により試験するために用いられる試験プログラムの変更時の検証方法及びその検証システムにおいて、第一の期間において製造された複数の第一の製造物に亘って前記試験装置により変更前の旧試験プログラムを用いて試験して前記各第一の製造物の特性を示す少なくとも複数の共通測定項目について測定して第一のデータ群を取得して入力する第一の入力過程と、前記第一の期間と異なる第二の期間において製造された複数の第二の製造物に亘って前記試験装置により前記変更前の旧試験プログラムを用いて試験して前記各第二の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第二のデータ群を取得して入力する第二の入力過程と、前記第二の期間に製造された複数の第三の製造物に亘って前記試験装置により変更後の新試験プログラムを用いて試験して前記各第三の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第三のデータ群を取得して入力する第三の入力過程と、前記第一の入力過程で入力された前記第一のデータ群と前記第二の入力過程で入力された前記第二のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記第一の期間と前記第二の期間との間の時系列に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第一の検定結果を算出する第一の検定過程と、前記第二の入力過程で入力された前記第二のデータ群と前記第三の入力過程で入力された前記第三のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記旧試験プログラムと前記新試験プログラムとの間の試験プログラムの変更に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第二の検定結果を算出する第二の検定過程と、前記共通測定項目毎に該第二の検定過程で算出された前記第二の検定結果を前記第一の検定過程で算出した前記第一の検定結果で割算若しくは補正してその検証結果を出力する検証結果出力過程とを有することを特徴とする。
また、本発明は、前記試験プログラムの変更時の検証方法及びその検証システムにおいて、さらに、前記第二の検定過程で算出された前記第二の検定結果において有意差が認められる共通測定項目を選出する選出過程を有し、前記検証結果出力過程において前記選出過程で選出された共通測定項目に対して検証することを特徴とする。
本発明によれば、製造物の若干の仕様変更に伴って生じる試験プログラムの変更作業において、そのプログラムの検証作業を効率かつ確実に実施することができる。また、その結果、製造物の顧客に不良品を出荷しないための適切な試験を実施できる。
また、本発明によれば、同じ仕様で製造した製造物であっても、製造した時期の違いによって測定項目として品質や性能に変動が生じたとしても、その要因を除去した試験プログラムの更新による変化のみを効率的に抽出することが可能となる。
本発明に係る試験プログラムの評価方法及びその評価システムの実施の形態について図面を用いて説明する。
磁気記憶装置(HDD)、集積回路、液晶ディスプレイなど先端デバイス製品は微細化、複雑化が著しく、製品すなわち製造物を高品質に製造することが難しくなっている。これらの製造物の製造工程では、最終工程で試験し、不良品を出荷しないことが重要な課題である。
製造物が磁気記憶装置(HDD)である場合、HDDの製造工程は、図1に示すように、一枚ないしは複数枚の磁気ディスク501、一個ないしは複数個の磁気ヘッド502、スピンドルモータ503、フレーム504、プリント基板505などの多数の部品を組み付ける組立工程S11と、該組立工程S11で組み付けられた磁気ディスク501上に磁気的な位置決め信号、すなわちサーボ信号を書き込むサーボライト工程S12と、最後に製造されたHDDが該HDDの仕様に適合する試験プログラムを用いて試験装置620により試験して数百に及ぶ測定項目を測定し、該数百に及ぶ測定項目の測定結果と上位のコンピュータ(図示せず)から与えられるHDDの仕様とを比較して、HDDが良品なのか不良品なのか判定する試験工程S13とを有して構成される。
該試験工程S13では、磁気ヘッド502が磁気ディスク501に情報を書き込むときの書込み信号の幅や強度、磁気ヘッド502から磁気ディスク501に情報を書き込んだ後、磁気ヘッド502にてその情報を読み出すときの読取りエラー率などの数百に及ぶ多数の測定項目を測定している。この試験工程S13では、図2に示すように、製造物である磁気記憶装置(HDD)に電気的に接触するプローブを有するコンピュータ、すなわち試験装置620が使われ、試験装置620を稼働するためには、製造物であるHDDの仕様に適合した試験プログラムを用意しなければならない。
一方、磁気記憶装置(HDD)、集積回路、液晶ディスプレイなど先端デバイス製品では、量産が開始した後も、顧客の合意のもと、製造物の品質向上や性能向上など様々な理由で製造物の仕様を若干変更する。この仕様変更にともなって、該仕様に適合する試験プログラムも変更しなければならず、その度に、図3に示すような、新試験プログラムYの設計(新試験プログラムYの仕様作成)S31、新試験プログラムYのコーディング及びデバッグS32、新試験プログラムYの動作検証(新試験プログラムYの評価S33,問題測定項目の有無S34,新試験プログラムYの採用決定S35)といった一連の試験プログラムの変更作業が発生する。なお、新試験プログラムYの評価結果において、問題測定項目が有る場合には、新試験プログラムYのコーディングおよびデバックをやり直す必要がある。
しかしながら、同じ製造物に対して、変更前と変更後の双方の試験プログラムを試験装置620により実行できればよいが、昨今の先端デバイス製品では、一つの製造物の試験時間が数十時間から数百時間を必要とし、同じ製造物に対して、変更前と変更後の双方の試験プログラムを試験装置620により実行することは時間的制約から困難な場合が多くなってきている。
そこで、本発明者は、試験装置により同じ製造物に対して1回しか試験できない状況で有効な試験プログラムの検証方法及びその検証システム(評価方法及び評価システム)を創生したことにある。
[第1の実施の形態]
本発明に係る試験プログラムの検証方法及びその検証システム(評価方法及びその評価システム)を、製造物である磁気記憶装置(HDD)に適用した場合の第1の実施の形態について説明する。
本発明に係る試験プログラムの検証方法及びその検証システム(評価方法及びその評価システム)を、製造物である磁気記憶装置(HDD)に適用した場合の第1の実施の形態について説明する。
まず、本発明に係る試験プログラムの検証システム(評価システム)について図2を用いて説明する。本発明に係る試験プログラムの評価方法(検証方法)を実行するハードウェアである評価システム(検証システム)は、複数台の試験装置620と、該複数台の試験装置620で測定された試験結果を蓄えるデータベース630と、試験プログラムを評価する評価装置600とがネットワーク610を介して接続されて構成される。各試験装置620は、上位コンピュータ(図示せず)から与えられるHDDの仕様に適合した各試験プログラムにより、複数の製造物に亘って多数の測定項目について電気的に測定するためにプローブを有するコンピュータで構成される。また、データベース630は、各試験装置620で各試験プログラムによりHDDを試験された結果、すなわち、HDDの特性である多数の測定項目について測定したデータ(例えば図4及び図5に示すように、変更後の試行期間Bにおいて製造された多数のHDDを、変更後の新試験プログラムYを搭載した1台乃至数台の試験装置を用いて試験して多数の測定項目に亘って測定した第三のデータ郡101、変更後の試行期間Bにおいて製造された多数のHDDを、変更前の旧試験プログラムXを搭載した残りの試験装置を用いて試験して多数の測定項目に亘って測定した第二のデータ群102、変更前の通常期間A(時系列変動を算出するための試行期間Bより定めた一定期間(例えば1週間程度)前の期間)において製造された多数のHDDを、変更前の旧試験プログラムXを搭載した全試験装置を用いて試験して多数の測定項目に亘って測定した第一のデータ群103)を、ネットワーク610を経由して収集して、そのデータを蓄積し、他のコンピュータから検索できる状態にしておくコンピュータである。試験プログラムの評価装置600は、演算部602、主記憶装置603、2次記憶装置604、ユーザインターフェース605、ネットワークインターフェース606、及び上記演算部602と上記主記憶装置603と上記2次記憶装置604と上記ユーザインターフェース605と上記ネットワークインターフェース606とを制御する制御部601を有するコンピュータで、ネットワーク610とネットワークインターフェース606を介して接続され、ネットワーク610を経由して試験結果データベース630に蓄積されたデータ群101、102、103を検索でき、検索したデータ群101、102、103をネットワークインターフェース606を経由して例えば主記憶装置603に取り込む。
本発明において、検証(評価)する新試験プログラム及び更新前の旧試験プログラムは、試験装置620内に搭載されて存在し、製造物である磁気記憶装置(HDD)の試験に使われる。一方、本発明に係る新試験プログラムの検証(評価)は、評価装置600で行われ、後述する図5、図6及び図13に示した処理は、コンピュータのプログラムとして、2次記憶装置604に格納され、必要に応じて主記憶装置603に読みだされ、演算部602で計算されて主記憶装置603に記憶される。また、図10に示したグラフ450、460、470は、ユーザインターフェース605に出力される。また、評価装置600は、図3に示すステップS33の変更後の新試験プログラムYの評価だけではなく、ステップS32の変更後の新試験プログラムYのコーディングやデバッグにも活用される。そのため、図3に示すステップS32乃至S35を実行するプログラムも2次記憶装置604に格納されている。なお、ステップS31における新プログラムYの仕様作成は、上位コンピュータ(図示せず)から得られるHDDの仕様変更に基づいて試験装置620において実行される。
なお、各試験装置620の試験プログラムによって測定されるHDDの測定項目としては、例えば、(1)磁気ヘッド502が磁気ディスク501に情報を書き込むときの書込み信号の幅、(2)磁気ヘッド502が磁気ディスク501に情報を書き込むときの書込み信号の強度、(3)磁気ヘッド502が磁気ディスク501に情報を書き込むときの磁気ディスク501の位置による書き込み信号の幅の変動、(4)磁気ヘッド502が磁気ディスク501に情報を書き込むときの書込み信号の強度の変動、(5)磁気ヘッド502から磁気ディスク501に情報を書き込んだ後、磁気ヘッド502にてその情報を読み出すときの読取りエラー率、(6)磁気ヘッド502が磁気ディスク501に情報を書き込み,さらにその情報を書き換えた後の書き換え前の信号の減衰率などの数百に及ぶ測定項目が考えられる。
次に、本発明に係る、上位のコンピュータ(図示せず)から入力されるHDDの仕様変更に伴ってHDDの特性である測定項目を測定するために実行する新試験プログラムの変更作業の一実施例について、図3を用いて説明する。試験装置620は上位のコンピュータから与えられるHDDの仕様変更を基に新試験プログラムYの仕様を作成する(S31)。次に、評価装置600は、試験装置620で作成したHDDの仕様に基づいて新試験プログラムYをコーディングおよびデバッグする(S32)。次に、評価装置600は、ステップS32においてコーディングおよびデバックされた新試験プログラムYが適切に作成されたか否かを検証(評価)する(S33)。評価装置600は、さらに、ステップS33での検証結果(評価結果)について問題測定項目の有無を判断し、問題測定項目が有る場合には、ステップS32に戻り、コーディングおよびデバッグをやり直す(S34)。そして、評価装置600は問題測定項目が無ければ、新試験プログラムYの採用を決定して試験装置620に提供することになる。その結果、仕様変更されたHDDに対して採用を決定した新試験プログラムYを用いて試験して多数の測定項目に亘って測定し、該多数の測定項目の測定結果と上位のコンピュータ(図示せず)から与えられるHDDの仕様とを比較して、HDDが良品なのか不良品なのか判定し、例えば試験結果データベース630に格納すると共に良品・不良品の情報を磁気記憶装置(HDD)の製造を管理する例えば上位コンピュータ(図示せず)に提供することになる。
次に、本発明に係るステップS33における新試験プログラムYの評価の一実施の形態について図4乃至図6を用いて具体的に説明する。図5及び図6は、ステップS33での本発明による新試験プログラムYの評価方法の一実施の形態を示す図である。仕様変更に伴って更新された試験プログラムYを作成するとき、旧試験プログラムXは既に実際の磁気記憶装置(HDD)に適用されている。そのため、図5に示すように、通常期間A(試行期間Bより定めた一定の期間前の期間)及び試行期間Bにおいて製造されたHDDに対して試験装置600を用いて旧試験プログラムXによるHDDテストS51b及びS51cを実行して多数の測定項目に亘って測定されたデータ(測定結果XA及びXB)は、試験結果データベース630に格納され、大量に存在する。本発明はこの点を利用して更新された試験プログラムYを検証(評価)することになる。
まず、図4に示すようにHDDが製造された通常期間Aおよび試行期間Bを定義する。なお、通常期間(第一の期間)Aは、時系列変動が大幅に生じない試行期間(第二の期間)Bの例えば1週間程度前とする。図4は縦軸に旧試験プログラムX及び新試験プログラムYが搭載される試験装置の台数、横軸にHDDが製造された時系列を示す時間軸をとり、旧試験プログラムXと新試験プログラムYの適用状況を示している。旧試験プログラムXは、以前から仕様変更前のHDDに適用され、新試験プログラムYが作成されるまでは、製造されて全ての試験装置620で試験される全てのHDDに適用されている。このうちの仕様変更前の任意の期間を通常期間(第一の期間)Aと定義する。一方、更新された試験プログラムYが作成されたとき、その施行期間(第二の期間)Bにおいて製造されたHDDに対して、図5に示すように、まず新試験プログラムYを搭載した1台乃至数台の試験装置に限定して新試験プログラムYによるHDDテスト(S51a)を試行して多数の測定項目に亘って測定して測定結果(YB)を試験結果データベース630に格納する。この限定試行中の任意の期間を試行期間(第二の期間)Bと定義する。即ち、Bは試行期間であり、新試験プログラムYを検証するためであるため、新試験プログラムYを搭載する試験装置620は限定された1台乃至数台とする。
以上説明したように、本発明に係る新試験プログラムYの使用が問題ないという検証(評価)が完了し、新試験プログラムYを正式に採用することが決定すると、全ての試験装置620に対して旧試験プログラムXの適用を停止し、新試験プログラムYに入れ換えて仕様変更後のHDDに適用されることになる。
図6において、まず、評価装置600は、試行期間Bにおいて製造されたHDDに対して新試験プログラムYを用いて限定された台数の試験装置620で試験して測定した第三のデータ群101を試験結果データベース630から得て図7に示す配列変数YB(K,J)に入力して主記憶装置603に格納する(S3301)。ここで、配列変数内のKは測定された測定項目の通し番号、Jは試行期間Bにおいて製造されて新試験プログラムYを用いて試験されたHDDの通し番号を意味する。すなわち、Kは1から項目数分まで変化する正の整数、Jは1からHDDの台数分まで変化する正の整数である。次に、評価装置600は、試行期間Bにおいて製造されたHDDに対して旧試験プログラムXを用いて残りの台数の試験装置620で試験して測定した第二のデータ群102を試験結果データベース630から得て図8に示す配列変数XB(K,J)に入力して主記憶装置603に格納する(S3302)。ここで、配列変数内のKは、ステップS3301と同様に、測定された測定項目の通し番号であり、Jは試行期間Bにおいて製造されて旧試験プログラムXを用いて試験されたHDDの通し番号である。次に、評価装置600は、通常期間Aにおいて製造されたHDDに対して旧試験プログラムXを用いて測定した第一のデータ群103を試験データベース630から得て図9に示す配列変数XA(K,J)に入力して主記憶装置603に格納する(S3303)。ここで、KはステップS3301、ステップS3302と同様に、測定された測定項目の通し番号であり、Jは通常期間Aにおいて製造されて旧試験プログラムXを用いて試験されたHDDの通し番号である。旧試験プログラムXと新試験プログラムYで測定項目が異なる場合がある。その場合、その異なる項目は入力データに含めず、データ群101、102、103から予め除外しておき、配列変数YB(K,J)、XB(K,J)、XA(K,J)が有する共通測定項目数、すなわちKの最大値は同じにする。また、旧試験プログラムXと新試験プログラムYで明らかに違う測定結果が得られる測定項目もデータ群101、102、103の共通測定項目から予め除外しておく。また、ステップS3301、S3302、S3303を実行する順番は、本実施例に従う必要はなく、任意に入れ換えてよい。
次に、評価装置600の演算部602において、ステップS3304からステップS3314まで変数Kを1から順に、測定項目数分だけ一つずつインクリメントしてループを回す。演算部602は、ステップS3305において、変数Kに対応する測定項目の配列変数YB(K,J)のデータ、配列変数XB(K,J)のデータ、配列変数XA(K,J)のデータに対して、度数分布表の階級を決定して主記憶装置603に記憶する。階級を決定する方法としては、次に示す(1)式で示すスタージェスの公式を使うことが一般的である。
次に、演算部602は、ステップS3305において決定して主記憶装置603に記憶された階級数や階級の幅に従って、変数Kに対する共通測定項目の(試行期間Bの新試験プログラムYによる)配列変数YB(K,J)の度数分布H1(K)を算出し(S3306)、同様に変数Kに対する共通測定項目の(試行期間Bの旧試験プログラムXによる)配列変数XB(K,J)の度数分布H2(K)を算出し(S3307)、同様に変数Kに対する共通測定項目の(通常期間Aの旧試験プログラムXによる)配列変数XA(K,J)の度数分布H3(K)を算出して2次記憶装置604に記憶する(S3308)。図10に示す度数分布H1は、共通測定項目K=1における試行期間Bの新試験プログラムYによる度数分布を示す。度数分布H2は、共通測定項目K=1における試行期間Bの旧試験プログラムXによる度数分布を示す。度数分布H3は、共通測定項目K=1における通常期間Aの旧試験プログラムXによる度数分布を示す。従って、度数分布H1と度数分布H2との間は共通測定項目K=1における新試験プログラムと旧試験プログラムとによる変動を示すことになり、度数分布H2と度数分布H3との間は共通測定項目K=1における時系列による変動を示すことになる。
次に、図5及び図6に示すように、演算部602は、ステップS3309において、試行期間Bにおける試験プログラム変更に伴う変動を示す共通測定項目(K)毎の度数分布H1と度数分布H2との間の有意確率を統計的検定である例えばカイ2乗検定で計算し、該計算された検定結果(評価結果)を配列変数PP(K)に代入して主記憶装置603に記憶すると共に、図11(a)に示すように、表示装置で有するユーザインターフェース605に出力して表示することは可能である。演算部602は、同様に、ステップS3310において、旧試験プログラムXにおける時系列による変動を示す共通測定項目(K)毎の度数分布H2と度数分布H3との間の有意確率を統計的検定である例えばカイ2乗検定で計算し、該計算された検定結果(評価結果)を配列変数PT(K)に代入して主記憶装置603に記憶すると共に、図11(b)に示すように表示装置を有するユーザインターフェース605に出力して表示することは可能である。
従って、演算部602は、ステップS3311において、図11(a)に示すように、検定(評価)した結果である試験プログラム変更に伴う変動を示す共通測定項目(K)毎の度数分布H1と度数分布H2との間の有意確率PP(K)と予め既定したしきい値THを比較して、時系列による変動PT(K)を考慮するまでも無く、明らかに有意差がある(PP(K)<TH)となる共通測定項目K=1,3を選出し、該選出された共通測定項目K=1,3を主記憶装置603に記憶すると共に、ユーザインターフェース605に出力することは可能である。さらに、演算部602は、選出された共通測定項目K=1,3において、上記PP(K)を、検定(評価)した結果である時系列による変動を示す度数分布H2と度数分布H3との間の有意確率PT(K)で割った商(PP(K)÷PT(K))を求めて主記憶装置603に記憶すると共に、図11(c)に示すようにユーザインターフェース605に出力することは可能である。特に、試験プログラムの変更に伴う有意確率PP(K)を時系列の変化に伴う有意確率PT(K)で割ったのは、試験プログラムの変更に伴う有意確率PP(K)の変動から時系列の変化に伴う有意確率PT(K)の変動を除くためであり、必ずしも割る必要はなく、補正ができればよい。
ところで、問題有りの共通測定項目Kを選出するためには、例えば、(PP(K)÷PT(K))を、予め既定したしきい値TTを比較して(PP(K)÷PT(K))<TTの結果から、ステップS3312あるいはステップS3313のどちらかに進み、変数Kに対応する共通測定項目を問題有り、あるいは問題なしとする。なお、有意確率は値が小さいほど有意差が大きいことを意味する。そのため、図11(c)に示すように、共通測定項目K=1が問題有り、共通測定項目K=3はPT(K)を考慮すると問題無し、共通測定項目K=2はPT(K)を考慮するまでもなく問題無しと判定でき、その結果を主記憶装置603に記憶すると共に、ユーザインターフェース605に出力することは可能である。次に、演算部602は、ステップS3314において、変数K、すなわち測定項目に対するループが終了したかどうか判断し、ループが終了したら、ステップS3315で検証結果(評価結果)を主記憶装置603に記憶すると共に、ユーザインターフェース605に出力することは可能である。勿論、問題有りの共通測定項目が存在する場合には、図3に示すように、ステップS32において、新試験プログラムYのコーディング及びデバックがやり直され、ステップS33においてやり直された新試験プログラムYが適切に作成されたか否かを検証(評価)し、問題共通測定項目が無くなった段階で新試験プログラムYの採用を決定して試験装置620に提供することになる。また、問題有りの共通測定項目が存在する場合には、試験プログラムの更新によって変化した共通測定項目として、試験工程S13の管理者に警告することは可能となる。
さらに、検証結果(評価結果)は、評価装置600からネットワーク610を介して試験結果データベース630に格納することができ、試験装置620において使用することも可能となる。
次に、評価装置600が、図6に示した手順に従って、サンプルデータを入力した場合の結果の一実施例について説明する。ただし、紙面の都合上、実際にHDDの試験工程で測定されるデータより少ないデータでの一実施例を示す。
図7は、データ群101の一実施例である。データ群は、試行期間(第二の期間)Bに製造されて新試験プログラムYを用いて測定したHDDの台数分のデータが縦方向に並び、各HDDに対して測定した共通測定項目が横方向に並ぶ。この一実施例は、試行期間Bにおいて製造された20台のHDDを新試験プログラムYを用いて試験し、各HDDに対して3種類の共通測定項目について測定したデータである。
図8は、データ群102の一実施例である。データ群は、試行期間(第二の期間)Bにおいて製造されて旧試験プログラムXを用いて測定したHDDの台数分のデータが縦方向に並び、各HDDに対して測定した共通測定項目が横方向に並ぶ。この一実施例は、試行期間Bにおいて製造された25台のHDDを旧試験プログラムXを用いて試験し、各HDDに対して3種類の共通測定項目について測定したデータである。
図9は、データ群103の一実施例である。データ群は、通常期間(第一の期間)Aにおいて製造されて旧試験プログラムXを用いて測定したHDDの台数分のデータが縦方向に並び、各HDDに対して測定した共通測定項目が横方向に並ぶ。この一実施例は、通常期間Aにおいて製造された22台のHDDを旧試験プログラムXを用いて試験し、各HDDに対して3種類の共通測定項目について測定したデータである。
図10は、図7、図8、図9に示したデータをステップS3301、S3302、S3303で入力し、演算部602等において、ステップS3305で上記(1)式に示したスタージェスの公式に従って階級数Nclassと階級の幅Wclassを計算し、ステップS3306、ステップS3307、ステップS3308で共通測定項目K=1について度数分布を計算して作成した度数分布表である。スタージェスの公式に従うと、階級数は5個となり、共通測定項目K=1についての度数分布H1、度数分布H2、度数分布H3はこの表のとおりに計算される。
図11は、演算部602等において、共通測定項目K(=1、2、3、・・・)毎の度数分布表を用いて、ステップS3309、ステップS3310、ステップS3311、ステップS3312、ステップS3313を実行し、その結果をステップS3315でユーザインターフェース605等を用いて出力した一実施例である。ステップS3309は、試行期間Bにおける試験プログラム変更に伴う変動を示す共通測定項目(K)毎の度数分布H1と度数分布H2との間の有意確率を統計的検定である例えばカイ2乗検定で計算して該計算された検定結果(評価結果)として配列変数PP(K)を得るステップである。ステップS3310は、旧試験プログラムXにおける時系列による変動を示す共通測定項目(K)毎の度数分布H2と度数分布H3との間の有意確率を統計的検定である例えばカイ2乗検定で計算して該計算された検定結果(評価結果)として配列変数PT(K)を得るステップである。本実施例では、図11(a)にステップS3309で変数K(=1、2、3、・・・)に対応する共通測定項目の配列変数PP(K)を、図11(b)にステップS3310で変数K(=1、2、3、・・・)に対応する共通測定項目の配列変数PT(K)を、図11(c)にステップS3311で変数K(=1、2、3、・・・)に対応する共通測定項目のPP(K)をPT(K)で割った商を、棒グラフで表示した。
図11(a)に示すグラフ450は、縦軸を配列変数PP(K)、横軸を共通測定項目Kとし、横軸はPP(K)の値が小さい項目ほど左側に出力されるように整列して出力した結果である。また、有意確率は値が小さいほど有意差が大きいことを意味するため、縦軸を対数で表し、棒が高いほど有意差が大きいことがわかるように出力した。また、有意確率は一般的に0.01あるいは0.05より小さい値なら、有意差があると判定する。そこで、本実施例では、ステップS3311で用いるしきい値THを0.01とし、グラフ450の中にしきい値THの位置を直線で示した。この結果、PT(K)を考慮せずに、PP(K)を基に、PP(K)<THが成り立つ明らかに有意差のある共通測定項目1と共通測定項目3を選択することが可能となる。
図11(b)に示すグラフ460は、縦軸を配列変数PT(K)、横軸を共通測定項目とし、縦軸はグラフ450と同様に対数で表し、横軸はグラフ450と同じ順番で出力した結果である。図11(c)に示すグラフ470は、縦軸として配列変数PP(K)を配列変数PT(K)で割った商、横軸をグラフ450やグラフ460と同じ順番で出力した結果である。ここで本実施例では、ステップS3311で用いるしきい値TTを0.1とし、しきい値TTの位置を直線で表した。この結果、共通測定項目1だけがステップS3311の条件を満たし、ステップS3312に進み、共通測定項目1に問題があると判定される。共通測定項目2と共通測定項目3は、ステップS3311の条件を満たさないため、ステップS3313に進む。以上の結果、ステップS3315において、新試験プログラムYは共通測定項目1の測定に問題があることと判定される。その結果、図3に示すステップS34で問題の共通測定項目があると判定され、新試験プログラムYのコーディングやデバッグをやり直さなければならないことが自動的にわかる。また、試験プログラムの更新によって問題となった共通測定項目を評価装置600から直接または試験装置620を通して試験工程S13の管理者に警告することが可能となる。
ここで、ステップS3309において共通測定項目毎に度数分布H1と度数分布H2との間の有意確率PP(K)を算出し、ステップS3310において共通測定項目毎に度数分布H2と度数分布H3との間の有意確率PT(K)を算出する統計的検定であるカイ2乗検定の方法について次に説明する。統計的検定の一つであるカイ2乗検定には、一般的に適合度の検定と独立性の検定の2種類がある。本発明はどちらを使っても有効であるが、ここでは独立性の検定の方法について説明する。また、PP(K)を算出するステップS3309とPT(K)を算出するステップS3310とは、上述したように入力する度数分布は異なるが、計算手法は同じであるため、ここでは、PP(K)を算出するステップS3309での計算手法について説明する。まず、共通測定項目毎に、度数分布H1と度数分布H2の各度数を配列変数D(i,j)に代入する。具体的には、D(i,j)としては、D(1,1)=0、D(2,1)=0、D(3,1)=6、D(4,1)=7、D(5,1)=7;D(1,2)=3、D(2、2)=12、D(3、2)=7、D(4、2)=3、D(5、2)=0となる。次に、期待値E(i,j)はそれぞれ(2)式に従って計算されて、具体的には、E(1,1)=1.33、E(2,1)=5.33、E(3,1)=5.78、E(4,1)=4.44、E(5,1)=3.11;E(1,2)=1.67、E(2、2)=6.67、E(3、2)=7.22、E(4、2)=5.56、E(5、2)=3.89となる。本実施例では、classは階級を意味し、iとして1から5のいずれかの整数であり、Lはjとして1なら度数分布H1、2なら度数分布H2を意味する。
その結果、図1に示す試験工程S13における、製造物即ち磁気記憶装置の若干の仕様変更に伴って製造物即ち磁気記憶装置の試験プログラムの変更作業において、その試験プログラムの検証作業を効率かつ確実に実施することが可能となる。また、その結果、製造物の顧客に不良品を出荷しないための適切な試験を実施することが可能となる。
[第2の実施の形態]
本発明に係る試験プログラムの検証方法及びその検証システム(評価方法及びその評価システム)を、製造物である磁気記憶装置(HDD)に適用した場合の第2の実施の形態について説明する。第2の実施の形態において、第1の実施の形態と相違する点は、第1の実施の形態では共通測定項目(K)毎の有意確率PP(K)およびPT(K)を算出するのに統計的検定であるカイ2乗検定を用いたが、該カイ2乗検定に代えて、t検定やF検定を用いた点にある。
本発明に係る試験プログラムの検証方法及びその検証システム(評価方法及びその評価システム)を、製造物である磁気記憶装置(HDD)に適用した場合の第2の実施の形態について説明する。第2の実施の形態において、第1の実施の形態と相違する点は、第1の実施の形態では共通測定項目(K)毎の有意確率PP(K)およびPT(K)を算出するのに統計的検定であるカイ2乗検定を用いたが、該カイ2乗検定に代えて、t検定やF検定を用いた点にある。
図12は、カイ2乗検定を用いることを前提とした図6に示す第1の実施の形態を、t検定やF検定を用いるように変更した第2の実施の形態を示す図である。t検定やF検定は、ステップS3305、ステップS3306、ステップS3307、ステップS3308で行ったような度数分布表の作成が不要であり、その代わりに、演算部602は、ステップS3320において、変数Kに対する共通測定項目の配列変数YB(K,J)とXB(K,J)のデータそのものをt検定やF検定に入力して、共通測定項目毎の有意確率PP(K)を計算する。また、演算部602は、ステップS3321において、変数Kに対する共通測定項目の配列変数XB(K,J)とXA(K,J)のデータそのものをt検定やF検定に入力して、共通測定項目毎の有意確率PT(K)を計算する。他の手法は、図6と同じように計算し、結果も同様に出力する。
t検定は、共通測定項目毎に、次に示す(5)式に基づきtを算出し、該算出されたtを次に示す(7)式に代入して有意確率p(PP(K),PT(K))を算出する。
また、F検定は、共通測定項目毎に、次に示す(8)式に従ってFを算出し、該算出されたFを次に示す(11)式に代入して有意確率p(PP(K),PT(K))を算出する。
ただし、t検定やF検定は、カイ2乗検定に比べて、データ分布の形状に結果が左右される傾向にあるため、発明者らはカイ2乗検定を用いた図6の手法の方が使い勝手がよいと考えている。
以上説明した実施の形態では、本発明を磁気記憶装置の試験工程で実行する更新する試験プログラムの検定(評価)に適用した場合について説明した。しかしながら、本発明は、磁気記憶装置の試験工程に限った技術ではなく、集積回路、ディスプレイ、プリント基板など各種製造物の試験工程で実行する更新試験プログラムの検定(評価)に適用できる。また、試験プログラムに限らず、各種測定装置のレシピ、すなわち測定条件の評価にも適用できる。
101…第三のデータ群、102…第二のデータ群、103…第一のデータ群、450…有意確率PP(K)を示すグラフ出力結果、460…有意確率PT(K)を示すグラフ出力結果、470…(PP(K)÷PT(K))を示すグラフ出力結果、600…評価装置、610…ネットワーク、620…試験装置、630…試験結果データベース、601…制御部、602…演算部、603…主記憶装置、604…2次記憶装置、605…ユーザインターフェース、606…ネットワークインターフェース、501…磁気ディスク、502…磁気ヘッド、503…スピンドルモータ、504…フレーム、505…プリント基板。
Claims (7)
- コンピュータシステム上における、製造物を試験装置により試験するために用いられる試験プログラムの変更時の検証方法において、
第一の期間において製造された複数の第一の製造物に亘って前記試験装置により変更前の旧試験プログラムを用いて試験して前記各第一の製造物の特性を示す少なくとも複数の共通測定項目について測定して第一のデータ群を取得して入力する第一の入力過程と、
前記第一の期間と異なる第二の期間において製造された複数の第二の製造物に亘って前記試験装置により前記変更前の旧試験プログラムを用いて試験して前記各第二の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第二のデータ群を取得して入力する第二の入力過程と、
前記第二の期間に製造された複数の第三の製造物に亘って前記試験装置により変更後の新試験プログラムを用いて試験して前記各第三の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第三のデータ群を取得して入力する第三の入力過程と、
前記第一の入力過程で入力された前記第一のデータ群と前記第二の入力過程で入力された前記第二のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記第一の期間と前記第二の期間との間の時系列に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第一の検定結果を算出する第一の検定過程と、
前記第二の入力過程で入力された前記第二のデータ群と前記第三の入力過程で入力された前記第三のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記旧試験プログラムと前記新試験プログラムとの間の試験プログラムの変更に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第二の検定結果を算出する第二の検定過程と、
前記共通測定項目毎に該第二の検定過程で算出された前記第二の検定結果を前記第一の検定過程で算出した前記第一の検定結果で割算若しくは補正してその検証結果を出力する検証結果出力過程とを有する
ことを特徴とする試験プログラムの検証方法。 - コンピュータシステム上における、製造物を試験装置により試験するために用いられる試験プログラムの変更時の検証方法において、
第一の期間において製造された複数の第一の製造物に亘って試験装置により変更前の旧試験プログラムを用いて試験して前記各第一の製造物の特性を示す少なくとも複数の共通測定項目について測定して第一のデータ群を取得して入力する第一の入力過程と、
前記第一の期間と異なる第二の期間において製造された複数の第二の製造物に亘って試験装置により前記変更前の旧試験プログラムを用いて試験して前記各第二の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第二のデータ群を取得して入力する第二の入力過程と、
前記第二の期間に製造された複数の第三の製造物に亘って試験装置により変更後の新試験プログラムを用いて試験して前記各第三の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第三のデータ群を取得して入力する第三の入力過程と、
前記第一の入力過程で入力された前記第一のデータ群と前記第二の入力過程で入力された前記第二のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記第一の期間と前記第二の期間との間の時系列に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第一の検定結果を算出する第一の検定過程と、
前記第二の入力過程で入力された前記第二のデータ群と前記第三の入力過程で入力された前記第三のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記旧試験プログラムと前記新試験プログラムとの間の試験プログラムの変更に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第二の検定結果を算出する第二の検定過程と、
該第二の検定過程で算出された前記第二の検定結果において有意差が認められる共通測定項目を選出する選出過程と、
該選出過程で選出された共通測定項目に対して、前記第二の検定過程で算出された前記第二の検定結果を前記第一の検定過程で算出した前記第一の検定結果で割算若しくは補正してその検証結果を出力する検証結果出力過程と
を有することを特徴とする試験プログラムの検証方法。 - 前記製造物が磁気記憶装置であることを特徴とする請求項1又は2記載の試験プログラムの検証方法。
- 製造物を試験するために用いられる試験プログラムの変更時の検証システムにおいて、
第一の期間において製造された複数の第一の製造物に亘って変更前の旧試験プログラムを用いて試験して前記各第一の製造物の特性を示す少なくとも複数の共通測定項目について測定して第一のデータ群を取得し、前記第一の期間と異なる第二の期間において製造された複数の第二の製造物に亘って前記変更前の旧試験プログラムを用いて試験して前記各第二の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第二のデータ群を取得し、前記第二の期間に製造された複数の第三の製造物に亘って変更後の新試験プログラムを用いて試験して前記各第三の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第三のデータ群を取得する試験装置と、
該試験装置で取得した前記第一のデータ群と前記試験装置で取得した前記第二のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記第一の期間と前記第二の期間との間の時系列に基づく前記共通測定項目毎の変動の有意確率若しくは有意差である第一の検定結果を算出し、前記試験装置で取得した前記第二のデータ群と前記第三の取得過程で取得した前記第三のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記旧試験プログラムと前記新試験プログラムとの間の試験プログラムの変更に基づく前記共通測定項目毎の変動の有意確率若しくは有意差である第二の検定結果を算出し、前記共通測定項目毎に、前記算出された前記第二の検定結果を前記算出した前記第一の検定結果で割算若しくは補正して検証結果を出力する評価装置と
を備えたことを特徴とする試験プログラムの検証システム。 - 前記評価装置は、前記算出された前記第一及び第二の検定結果並びに前記検証結果を出力するユーザインターフェースを備えたことを特徴とする請求項4記載の試験プログラムの検証システム。
- 製造物を試験するために用いられる試験プログラムの変更時の検証システムにおいて、
第一の期間において製造された複数の第一の製造物に亘って変更前の旧試験プログラムを用いて試験して前記各第一の製造物の特性を示す少なくとも複数の共通測定項目について測定して第一のデータ群を取得し、前記第一の期間と異なる第二の期間において製造された複数の第二の製造物に亘って前記変更前の旧試験プログラムを用いて試験して前記各第二の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第二のデータ群を取得し、前記第二の期間に製造された複数の第三の製造物に亘って変更後の新試験プログラムを用いて試験して前記各第三の製造物の特性を示す少なくとも前記複数の共通測定項目について測定して第三のデータ群を取得する試験装置と、
該試験装置で取得した前記第一のデータ群と前記試験装置で取得した前記第二のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記第一の期間と前記第二の期間との間の時系列に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第一の検定結果を算出し、前記試験装置で取得した前記第二のデータ群と前記第三の取得過程で取得した前記第三のデータ群とを前記共通測定項目毎に統計的検定を用いて検定して前記旧試験プログラムと前記新試験プログラムとの間の試験プログラムの変更に基づく前記共通測定項目毎の変動の有意確率若しくは有意差を示す第二の検定結果を算出し、該算出された前記第二の検定結果において有意差が認められる共通測定項目を選出し、該選出された共通測定項目に対して、前記算出された前記第二の検定結果を前記算出した前記第一の検定結果で割算若しくは補正して検証結果を出力する評価装置と
を備えたことを特徴とする試験プログラムの検証システム。 - 前記評価装置は、前記算出された前記第一及び第二の検定結果、前記選出された共通測定項目並びに前記検証結果を出力するユーザインターフェースを備えたことを特徴とする請求項6記載の試験プログラムの検証システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007310150A JP2009134518A (ja) | 2007-11-30 | 2007-11-30 | 試験プログラムの検証方法及びその検証システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007310150A JP2009134518A (ja) | 2007-11-30 | 2007-11-30 | 試験プログラムの検証方法及びその検証システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009134518A true JP2009134518A (ja) | 2009-06-18 |
Family
ID=40866337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007310150A Pending JP2009134518A (ja) | 2007-11-30 | 2007-11-30 | 試験プログラムの検証方法及びその検証システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009134518A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317693A (zh) * | 2014-10-30 | 2015-01-28 | 浪潮电子信息产业股份有限公司 | 一种自动检测硬盘性能波动的方法 |
CN104765665A (zh) * | 2015-04-14 | 2015-07-08 | 浪潮电子信息产业股份有限公司 | 一种测试硬盘的方法及装置 |
-
2007
- 2007-11-30 JP JP2007310150A patent/JP2009134518A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317693A (zh) * | 2014-10-30 | 2015-01-28 | 浪潮电子信息产业股份有限公司 | 一种自动检测硬盘性能波动的方法 |
CN104765665A (zh) * | 2015-04-14 | 2015-07-08 | 浪潮电子信息产业股份有限公司 | 一种测试硬盘的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6613329B2 (ja) | コンピュータ実装方法、コンピュータシステム及びコンピュータ装置 | |
US8285414B2 (en) | Method and system for evaluating a machine tool operating characteristics | |
EP2960799A1 (en) | Defect localization in software integration tests | |
US11327742B2 (en) | Affinity recommendation in software lifecycle management | |
US9760073B2 (en) | Technique and tool for efficient testing of controllers in development | |
US20120174071A1 (en) | Systems and methods for identifying software performance influencers | |
US20050204241A1 (en) | Method and device for analyzing software error | |
JP7098316B2 (ja) | 物理ベース及びデータ駆動型モデルを使用した、ビークルからの妨害的異常表示の削減 | |
CN107992410B (zh) | 软件质量监测方法、装置、计算机设备和存储介质 | |
US10579042B2 (en) | Defect rate analytics to reduce defectiveness in manufacturing | |
US11257001B2 (en) | Prediction model enhancement | |
US8799608B1 (en) | Techniques involving flaky path detection | |
CN105045719B (zh) | 基于修复缺陷的变更预测回归测试失效的方法及装置 | |
US20220414555A1 (en) | Prediction system, information processing apparatus, and information processing program | |
CN111128775A (zh) | 集成电路制程异常的定位方法和装置 | |
JP2019175273A (ja) | 品質評価方法および品質評価装置 | |
JP2009134518A (ja) | 試験プログラムの検証方法及びその検証システム | |
TWI803584B (zh) | 解析裝置、解析方法及記錄有解析程式的記錄媒體 | |
JP7026012B2 (ja) | 機器状態監視システム及び機器状態監視方法 | |
JP2007310762A (ja) | 通信性能解析プログラム、通信性能解析装置及び通信性能解析方法 | |
JP2009163636A (ja) | 一致性検査方法、一致性検査装置およびプログラム | |
JP6320269B2 (ja) | ソフトウェア試験支援装置およびソフトウェア試験支援プログラム | |
WO2016163008A1 (ja) | 異常診断装置および異常診断方法 | |
JP2021047139A (ja) | 試験装置 | |
JP4653526B2 (ja) | 品質解析方法、品質解析装置、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体 |