JP2001306999A - データ解析装置およびデータ解析方法 - Google Patents
データ解析装置およびデータ解析方法Info
- Publication number
- JP2001306999A JP2001306999A JP2000284578A JP2000284578A JP2001306999A JP 2001306999 A JP2001306999 A JP 2001306999A JP 2000284578 A JP2000284578 A JP 2000284578A JP 2000284578 A JP2000284578 A JP 2000284578A JP 2001306999 A JP2001306999 A JP 2001306999A
- Authority
- JP
- Japan
- Prior art keywords
- data
- analysis
- rule
- original data
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/008—Reliability or availability analysis
Abstract
度の評価、2次以降の効果のある要因の定量的な評価を
おこなうこと。 【解決手段】 データマイニングにより複数のデータ間
に存在するルールを抽出し、そのルールとそのルールの
信頼度をあらわす情報を出力する。ルールの信頼度をあ
らわす情報として、複数のデータよりなる集合を2分割
する際の分割の明確度をあらわす集合分割評価値S比と
t値を定義する。 S比の値が小さいほど、またt値の値が大きいほど、集
合分割が明確におこなわれる。
Description
り扱われるデータ間の関連を把握し、産業上優位な結果
をもたらすための有意性のある結果を抽出するデータ解
析装置およびデータ解析方法に関する。たとえば、半導
体製造工程において、歩留りを向上させるため、製造段
階で使用された装置の履歴、試験結果、設計情報および
各種測定データ等に基づいて、歩留りを低下させている
要因をできるだけ速やかに見つけ出す作業がおこなわれ
る。
の見直しなどでは、データ解析の効率化および高信頼性
化を図るため、上述した種々のオリジナルデータ群から
データ中に隠れた価値ある情報や規則性を抽出すること
が重要である。そして、その抽出された情報や規則性を
統合して学習することにより、技術者による発見が困難
な知識を発見し、歩留り低下要因の発見に活用すること
が可能となる。これを可能とするデータ解析の手法とし
て、特に金融や流通等の分野において活用されているデ
ータマイニングがある。これらの産業分野は大量データ
を扱うため、データマイニングの適用に適している。
いない一般的なデータ解析手法を示す概念図である。一
般的なデータ解析手法では、オリジナルデータ群1の各
データベース2a,2b,・・・から抽出された個々の
オリジナルデータは、そのまま解析ツール群3により解
析される。その解析結果に基づいて、意思決定がなされ
る。解析ツール群3には、たとえば統計解析コンポーネ
ント4aや図表作製コンポーネント4bなどがある。
れている従来のデータ解析手法を示す概念図である。従
来、半導体製造工程においては、データマイニングを適
用していない一般的なデータ解析手法が用いられてい
る。オリジナルデータ群5には、設計データ、工程デー
タ、装置データおよび試験結果等の各データベース6
a,6b,6c,6dが設けられている。分析対象デー
タ7は、それら各データベース6a,6b,6c,6d
から抽出されたオリジナルデータにより構成される。分
析対象データ7は、データ処理装置8により処理され、
低歩留り要因のデータ9が得られる。
せて抽出される。どのデータを抽出し、それらを用いて
どのように解析するかということは、個々の技術者のそ
れまでのノウハウ、経験および技術などに基づいて決定
される。つまり、解析をおこなう技術者の裁量に任され
ていることになる。また、その解析結果は、相関図、ト
レンドグラフまたはヒストグラムなどの形式で表示され
る。
を究明するため、装置間差解析がおこなわれる。図27
は、装置間差解析におけるロットの流れを示す概念図で
あり、図28は、装置間差解析におけるロットの歩留り
値を、使用した装置毎に示す箱ヒゲ図である。この箱ヒ
ゲ図は、各製造工程毎に作成される。この装置間差解析
では、各ロットの工程毎の使用装置データから、各製造
工程でどの製造装置を使用すると歩留りが最も影響を受
けるかということが抽出される。そして、得られた箱ヒ
ゲ図に基づいて、最も歩留りの差が顕著な工程とその装
置の同定がおこなわれる。
た装置間差解析では、現在、製造工程数が数百であるた
め、解析にあたって著しく多大な工数を要するという問
題点がある。また、差異が明確に出ない場合や条件が複
雑に絡み合った場合には、判断し難い場合があるという
欠点がある。
術者のそれまでのノウハウ、経験、あるいは技術などに
基づいて解析が進められるため、解析の効率や信頼性の
低下は避けられない。そこで、個々の技術者のノウハウ
や経験や技術などに依存する割合を少なくし、各解析ツ
ールによる解析を効率的で、かつ漏れがないように実施
するための知識の学習やその学習結果を活用することが
でき、さらにはその結果の精度を評価することが可能な
データ解析技術が望まれる。
る判別分析のデータ解析において用いられるレコードの
構成を示す模式図である。一般に、データ解析において
は、変動原因や変動パターンを探ることを目的とする変
数を目的変数といい、目的変数の変動を説明する変数を
説明変数という。各レコード10a,10b,・・・1
0iは目的変数のデータ11a,11b,・・・11i
と説明変数のデータ12a,12b,・・・12iに分
けられる。それぞれ何を目的変数および説明変数にする
か、またどのような解析をおこなうかということによっ
て、解析の効率や信頼度が変化する。そこで、解析の信
頼度、精度を評価することが必要となってくる。
析をおこなう場合には、目的変数は歩留りであり、説明
変数は、使用装置履歴、試験結果、設計情報および各種
測定データなどである。より効率的に解析をおこない、
かつその信頼性を向上させるためには、図25に示した
とおり、オリジナルデータ群と既存解析ツール群との間
で、目的変数と説明変数との間の関係を明らかにする処
理をおこなう必要がある。
る手法としてデータマイニングが有効である。図30
は、データマイニングを適用した一般的なデータ解析手
法を示す概念図である。データマイニングを適用したデ
ータ解析手法では、オリジナルデータ群13の各データ
ベース14a,14b,・・・から抽出された個々のオ
リジナルデータに基づいて、データ内に潜む特徴や規則
性の抽出処理(データマイニング)をおこなう装置15
によりルールファイル16が作成される。
・・・から抽出された個々のオリジナルデータは、ルー
ルファイル16に基づいて解析ツール群17により解析
される。その解析結果に基づいて、意思決定がなされ
る。解析ツール群17には、たとえば統計解析コンポー
ネント18aや図表作製コンポーネント18bなどがあ
る。
グを適用した場合、データマイニング結果に基づいて歩
留り向上のための対策を決定したり、対策を実施すべき
か否かの判定をおこなったり、対策効果の予測をおこな
ったりすることになる。そのためには、データマイニン
グ結果の定量的な評価や精度が必要となる。
のうち、回帰木分析は特に有効である。回帰木分析の利
点の一つは、結果がわかりやすいルールとして出力され
ることであり、それは一般的な言語やSQL言語のよう
なデータベース言語であらわされる。したがって、これ
らの結果の信頼度、精度を有効に使い、その結果により
有効な意志決定をおこなったり、行動(すなわち対策
等)を起こすようにすることが可能となる。
木分析は、図29に示すように、複数の属性を示す説明
変数とそれにより影響を受ける目的変数からなるレコー
ドの集合を対象とし、その目的変数に最も影響を与える
属性と属性値を判別するものである。回帰木分析エンジ
ンからはデータの特徴や規則性を示すルールが出力され
る。
づいて集合の2分割を繰り返していくことで実現され
る。その集合分割の際、分割前の目的変数の平方和をS
0、分割後の2つの集合の目的変数の平方和をそれぞれ
S1およびS2とすると、つぎの(1)式であらわされ
るΔSが最大となるように分割するレコードの属性とそ
の属性値が求められる。
分岐点に対応している。以降、分割された集合について
も同様な処理を繰り返し、説明変数の目的変数に対する
影響を調べる。したがって、分岐の上のものほど目的変
数に対する影響が大きいことになる。そして、分割され
た集合の目的変数の標準偏差が、あらかじめ指定された
値よりも小さくなると、回帰木の分岐は停止する。この
ように、ΔSの値により集合分割を繰り返すことにより
得られる回帰木図に基づいて、各属性における属性値に
よる目的変数への影響が判別される。
製造プロセスに関するものでは、実際の低歩留り要因は
一つに限らないことがある。また、データ解析上最も有
意差有りと判定された要因が実際にはそうでなかったり
する場合がある。これは、通常の回帰木分析エンジンで
は、集合分割をおこなう各段階で最も有意とされたも
の、すなわちΔSが最大のもののみが出力されるからで
ある。つまり、解析の精度や信頼性が十分に得られてい
るわけではない。
イニングが多く適用されている。そのような分野で扱わ
れるデータは膨大なレコード数(たとえば、POSデー
タ)であるが、その説明変数の数は比較的少ないものが
多い。それに対して、製造プロセスから得られるデータ
では、レコード数が少ないにもかかわらず、その説明変
数の数が多い。このため、データマイニングの解析結果
に対して、その精度や信頼度に関して、従来のものとは
根本的に異なった手法が必要である。
ニングを適用する場合には、その結果により製造条件を
変更したりするので、データマイニング結果の精度評価
は重要となる。特に、ロット数の少ないシステムLSI
製品の製造プロセスにおいては、このような信頼度や精
度、あるいは2次以降の可能性のある要因に関する情報
は重要である。
解析における判別分析結果として得られるルールの精度
評価は、つぎの(2)式にしたがっておこなわれる。
するための説明図である。図31には、△印のA群のデ
ータと○印のB群のデータをX1とX2の2つの説明変
数で判別した様子が示されている。図31(a)に示す
線型判別関数による判別では、B群のデータのうち中央
付近にある○印(符号19で示す)がA群のデータであ
ると誤判別されるので、誤判別率は12分の1(1/1
2)となる。
距離による判別では、すべて正しく判別されるので、誤
判別率はゼロとなる。データ種類や解析内容によって
は、データマイニング結果についても同様な手法で評価
可能であるが、データ量が多いため、サンプリングによ
る方法や交差検証法(cross validation)が採用される
場合もある。
が完全に既知であり、判別分析結果が正しく判別されて
いるか否かの判定が可能であることを前提としている。
しかし、プロセスデータの性質からして真の状態を判別
するのは不可能であり、誤判別率による精度評価は意味
をなさない。
判別率を定義したとしても、プロセスデータにはデータ
数が少なく、かつ説明変数の数が多いという特殊性があ
るため、プロセスデータに対して従来の評価手法を適用
するのは不可能な場合が多い。つまり、プロセスデータ
等のデータマイニング結果の信頼度や精度に関する知見
を得る手法はいまだ確立されていない。
ング結果に対して適用可能な評価手法を新たに設ける必
要がある。さらに、得られたデータマイニング結果が必
ずしも真の状態を示しているとは限らないため、2次以
降の要因として他の可能性のある要因についても知見を
得るのが望ましい。また、データマイニングのアルゴリ
ズムの多くは多変量解析であり、その結果を統計的手法
に不慣れなエンドユーザに納得させるのは困難であるた
め、わかりやすい判断基準が必要である。
述したように、使用装置履歴、試験結果、設計情報およ
び各種測定データなどを説明変数とするが、使用装置履
歴、試験結果、設計情報および各種測定データ等は異な
るタイプの項目群(カテゴリ)に属するデータ種、すな
わち異なる質のデータ種である。一般に、従来のプロセ
スデータの解析手法では、別の項目群に属する説明変数
の影響を分離または小さくすることが困難であるため、
単一の項目群に属する説明変数についてのみ、目的変数
である歩留り値との関連を解析している。したがって、
得られる各解析結果は単一の項目群に属する説明変数に
ついてのものである。
を各工程の使用装置履歴とした場合、各工程の装置間差
による歩留りへの影響がわかるだけである。また、説明
変数を電気的特性データとした場合は、どの電気的特性
データがどのような値にあるとき、歩留りにどのような
影響をおよぼすかという情報が得られるだけである。つ
まり、従来の解析手法では、異なる項目群の説明変数に
またがったり、異なる項目群に属する説明変数間の関連
性についての情報は得られない。また、ある項目群に対
する解析結果と別の項目群に対する解析結果との間の関
連性や、異なる項目群に属する説明変数の、目的変数に
対する影響度の違いなどの情報は得られない。
えば装置間差が生じていたことが判明したとしても、実
際にはそれよりも電気的特性データの歩留りへの影響度
の方が大きい場合や、その装置間差もノイズにより得ら
れた解析結果ほど実際には生じていない場合などがあ
る。このような場合、使用装置履歴に対する解析結果を
参考にして、装置間差の対策をおこなったとしてもさほ
ど有効な対策とはならない。
また世の中のデータの複雑化が進んだことにより、設計
や製造要因により生じる不良要因はより複雑に絡み合っ
ており、それを反映したたとえば使用装置履歴や試験結
果や設計情報や各種測定データ等も各々独立ではなく互
いに複雑に絡み合っている。したがって、単純に項目群
毎に歩留り値におよぼす影響を解析しても、必ずしも実
際の現象を的確にあらわしているとは限らない。
て解析をおこない、その結果としてどの項目群に属する
どの説明変数が目的変数に効いているかということをノ
イズの少ない状態で把握することが可能なデータ解析方
法やデータ解析装置が必要となる。しかし、今のところ
異なる項目群に属する説明変数間に存在する関連性や絡
み具合を把握する手法はない。
たものであり、データマイニング結果、特に半導体製造
工程において取得されるプロセスデータ等のデータマイ
ニング結果に対して、信頼度や精度の評価、あるいは2
次以降の効果のある要因の定量的な評価をおこなうこと
ができるデータ解析装置およびデータ解析方法を提供す
ることを目的とする。
が異なる複数の項目を一括して並列に説明変数として取
り扱い、抽出されたルールに基づく回帰木図の、注目す
るノードに属する集合または属さない集合に対して解析
をおこなうことによって、ノイズがより少ない状態で解
析をおこなうことができるデータ解析装置およびデータ
解析方法を提供することである。
め、この発明は、データ処理部により、オリジナルデー
タ群の複数のオリジナルデータ間に存在するルールを抽
出し、そのルールの信頼度をあらわす情報を付加した信
頼度情報付きルールファイルを作成する。抽出されたル
ールは、その信頼度をあらわす情報とともに出力され
る。そして、解析ツールにより、前記ルールファイルに
基づいてオリジナルデータの解析をおこなう。
存在するルールを抽出する際に、統計的手法、たとえば
データマイニング技法を用いる。また、前記ルールの信
頼度をあらわす情報として、複数のオリジナルデータよ
りなる集合を2分割する際の分割の明確度をあらわす集
合分割評価値を求める。前記ルールの信頼度をあらわす
情報は、2次以降の要因または条件を含む情報であって
もよい。
は変動パターンを探ることを目的とする目的変数と、前
記目的変数の変動を説明する説明変数を含む。この発明
を製造工程の歩留り低下要因を解析する装置に適用する
場合には、目的変数は製造歩留りである。また、説明変
数は使用装置履歴、試験結果、設計情報および測定デー
タなどである。
設定する。複数のオリジナルデータよりなる集合を2分
割する前の目的変数の平方和をS0、分割後の各集合の
目的変数の平方和をそれぞれS1およびS2とすると、
S比はつぎの(3)式であらわされる。
あり、集合分割により平方和がどの程度低減したかを示
すパラメータである。この値が小さいほど集合分割の効
果は大きい。すなわち、集合分割が明確におこなわれて
いることになるので、装置間差が大である。
設定する。この値は、分割後の各集合の平均の差の検定
に用いられる。複数のオリジナルデータよりなる集合を
2分割してできた各集合の目的変数の平方和をそれぞれ
S1およびS2、分割後の各集合の要素数をそれぞれN
1およびN2、分割後の各集合の平均をそれぞれ/X1
および/X2(Xの前の“/”はバーを意味する)とす
ると、t値はつぎの(4)式および(4)’式であらわ
される。
母平均の差の検定のための値であり、分割された集合に
おける目的変数の平均値の有意差を示す基準となる。自
由度、すなわちデータ数が同じであるならば、t値が大
きいほど集合が明確に分割されていることになるので、
装置間差が大となる。
説明変数としてタイプの異なる複数の項目群に属する複
数の項目を有しており、抽出されたルールに基づく回帰
木図の、注目するノードに属する集合または属さない集
合に対して解析をおこなう構成としてもよい。
複数のオリジナルデータ間に存在するルールに、その信
頼度をあらわす情報が付加された信頼度情報付きルール
ファイルが作成される。その作成されたルールと前記信
頼度をあらわす情報はともに出力される。そして、作成
されたルールファイルに基づいてオリジナルデータの解
析がおこなわれる。したがって、抽出されたルールの精
度評価をおこなうことができるとともに、2次以降の効
果のある要因をその定量的な評価値(S比やt値)とと
もに得ることができる。
属する複数の項目を一括して説明変数として取り扱い、
回帰木分析を実施することにより、異なる項目群にまた
がって目的変数に影響をおよぼす説明変数を信頼度情報
付きで得ることができる。その結果、説明変数としてど
の項目群のどのデータが目的変数に対してどのように影
響を与えているかという情報を得ることができる。
ほど目的変数に対する影響度が大きいため、注目するノ
ードに属する集合または属さない集合について解析をお
こなうことによって、注目するノードの項目よりも影響
度が大きい項目による影響度を除いた状態で解析をおこ
なうことができる。
に関するデータを除いたオリジナルデータについて解析
をおこなうことによって、注目するノードの項目よりも
影響度が小さい項目による影響度を除いた状態で解析を
おこなうことができる。
ついて図面を参照しつつ詳細に説明する。図1は、この
発明にかかるデータ解析装置の構成の一例を示す概略図
である。このデータ解析装置は、それぞれ複数のオリジ
ナルデータを含むデータベース24a,24b,・・・
からなるオリジナルデータ群23を備える。また、デー
タ解析装置は、オリジナルデータ群23から任意のデー
タ種または任意のデータ項目の組み合わせを処理対象デ
ータとして抽出する第1のデータ処理部29を備える。
この第1のデータ処理部29は前置データ処理部として
の機能を有する。
理部29によりオリジナルデータ群23から抽出された
個々のオリジナルデータ、またはオリジナルデータ群2
3に含まれるすべてのオリジナルデータに基づいて、デ
ータ内に潜む特徴や規則性などのルールの抽出処理(デ
ータマイニング)をおこなう第2のデータ処理部25を
備える。第2のデータ処理部25は、ルールの抽出とと
もに、そのルールにその信頼度をあらわす情報を付加し
た信頼度情報付きルールファイル26を作成する。
図示しない表示装置の画面表示や、図示しない印刷装置
により印刷された帳票として出力される。そして、信頼
度情報付きルールファイル26に基づいて、オリジナル
データ群23のオリジナルデータは、解析ツール群27
の各解析ツール28a,28b,・・・により解析され
る。その解析結果に基づいて意思決定がなされる。
り解析に適用した場合のオリジナルデータのデータ形式
例を示す模式図である。オリジナルデータ群23から出
力されるデータは、各ロットのデータを1レコードと
し、各ロットの各工程における使用装置名を説明変数と
する。目的変数は歩留りである。この形式のデータはデ
ータマイニングの一手法である判別分析エンジンの入力
データとなる。
解析に適用し、さらにデータマイニングの判別分析とし
て回帰木分析を適用した場合を例にして説明する。な
お、回帰木分析の概要については説明済みであるため、
省略する。
動時または実行中の画面表示例を示す図である。図3は
プログラム起動時の画面表示例、図4は分析ファイル選
択時の画面表示例である。図5は、プログラム終了条件
である標準偏差指定時の画面表示例である。回帰木分析
の実行中に、2分割された集合の目的変数の標準偏差
が、図5に示す標準偏差指定画面で指定された値よりも
小さくなると、回帰木の分岐が停止する。図6は、デー
タ処理結果であるルールを出力するフォルダ指定時の画
面表示例、図7はプログラム実行中の画面表示例であ
る。
果を説明するための回帰木図の一例を示す図である。図
8に示す例を用いて回帰木図の見方を説明する。ただ
し、ここでは説明を簡略化するため、回帰木図とともに
出力される信頼度情報については図示省略し、その説明
を省略する。信頼度情報の説明については後述する。ま
た、図8において、回帰木図内の各節におけるnは、該
当するロット数を示す。
る。STA工程において装置MECA01を使用したロ
ットの平均歩留りは85.7%であり、装置MECA0
2/03を使用したロットの平均歩留りは69.2%で
ある。図示例では、MECA01を使用したロットの方
が歩留りがよい傾向にある。ここで、MECA02/0
3とは、2つの装置MECA02とMECA03のいず
れかを使用していることを意味する(MECC02/0
3も同様)。
用した装置により最も歩留りが影響を受けるのは、ST
A工程において3台ある装置MECA01,MECA0
2,MECA03のうち、MECA01とMECA02
/03のいずれを使用するかということである。
したロットに限れば、STC工程においてMECC01
を使用したロットの平均歩留りは90%であり、MEC
C02/03を使用したロットの平均歩留りは80%で
ある。したがって、MECA01を使用したロット群に
おいて、歩留りに最も大きな影響をおよぼすのは、ST
C工程において3台ある装置MECC01,MECC0
2,MECC03のうち、MECC01とMECC02
/03のいずれを使用するかということである。
使用したロットに限れば、STB工程においてMECB
03を使用したロットの平均歩留りは75%であり、M
ECB02を使用したロットの平均歩留りは40%であ
る。したがって、MECA02/03を使用したロット
群において、歩留りに最も大きな影響をおよぼすのは、
STB工程においてMECB02とMECB03のいず
れを使用するかということである。
とめて示す図表である。図9から明らかなように、図8
に示す回帰木図の場合、STA工程でMECA01を使
用し、かつSTC工程でMECC01を使用した場合が
最も高歩留り(90%)であることがわかる。一方、S
TA工程でMECA02/03を使用し、かつSTB工
程でMECB02を使用した場合が最も低歩留り(40
%)であることがわかる。これらのことがデータマイニ
ングの結果,すなわちルールとして判明したことにな
る。
して個々の解析ツールによりオリジナルデータの解析を
おこない、たとえば箱ヒゲ図(図28参照)により意思
決定をおこなう。具体的には、STA工程でMECA0
2/03の装置を使用し、かつSTB工程でMECB0
2の装置を使用したロット群の歩留りと、それ以外のロ
ット群の歩留りを比較する。また、MECA02/0
3、MECB02、またはそれら組み合わせ状態を調査
する。このようにデータマイニング手法を適用してデー
タ解析をおこなうことによって、事前にその傾向、特
徴、影響度等を定量的に把握することにより、より効果
的でかつ信頼性の高い結果を得ることができる。
信頼度情報について説明する。この信頼度情報は、評価
用統計値リストとして出力される。このリストにより、
たとえば回帰木分析結果の定量的な評価などがおこなえ
ることになる。本実施の形態では、評価用統計値リスト
として、特に限定しないが、全集合の目的変数(すなわ
ち歩留り)の平均、標準偏差およびデータ数が出力され
る。図10〜図16に、回帰木分析結果の画面表示例を
示す。
部に評価用統計値リストの表示領域31が設けられてお
り、その表示領域31内の「全体ave=」、「s=」
および「N=」に続く各値がそれぞれ全集合の目的変数
の平均値、標準偏差およびデータ数をあらわしている。
画面30の上半部は回帰木図の表示領域32となってい
る。
ストとして、回帰木分析の対象データを最初に2分割す
るときの前記(1)式のΔSの大きさの順に、特にその
数を限定しないが、たとえば10項目の評価用統計値が
出力される。すなわち、前記(3)式のS比、前記
(4)式のt値、分割された集合の目的変数の平均値の
差、分割された各集合のデータ数、分割された集合の属
性名(ここでは工程名)、分割された2つの集合の属性
値(ここでは装置名)およびその目的変数の大小関係が
出力される。
ストの表示領域31内の「S比=」、「t=」、
「差」、「N」および「attr=」に続く各値がそれ
ぞれS比、t値、分割された集合の目的変数の平均値の
差、分割された各集合のデータ数、および分割された集
合の属性名をあらわしている。また、評価用統計値リス
トの表示領域31内の「group=」に続く括弧内の
表記が分割された2つの集合の属性値とその目的変数の
大小関係をあらわしている。
分割による評価値の減少率が大きいことをあらわしてお
り、装置間差が大となる。t値は、その値が大きいほど
集合分割が明確におこなわれたことをあらわしており、
装置間差が大となる。分割された集合の目的変数の平均
値の差は、その値が大きいほど使用装置による歩留り差
が大きいことをあらわしており、装置間差が大となる。
分割された各集合のデータ数は、2つの値が近いほど異
常データの影響が小さいことをあらわしており、装置間
差が大となる。
の値は、解析対象とする各目的変数と説明変数の状態に
より異なる。すなわち、個々の分析エンジン実行毎に異
なるので、各実行結果の精度評価をおこなうには、各実
行時における結果を共通的に評価できる値が必要とな
る。そこで、本実施の形態では、別々に実行した結果に
対して比較または評価することが可能なパラメータとし
てS比およびt値が出力される。
行時のみならず、別々に実行した結果に対しても比較ま
たは評価をおこなうことが可能となる。そして、複数の
回帰木図にわたって、評価用統計値リストの表示領域3
1内に表示された評価用統計値リストを参照し、解析す
ることによって、より多くの知見を得ることができる。
回帰木図で上の階層に表れてくる工程、またはΔSの値
が大きく評価用統計値リストの上位にきている工程ほど
装置間差が大である。つまり、本実施の形態では、回帰
木図だけでなく評価用統計値リストに基づいて問題工程
や装置を特定することができる。それに対して、従来
は、集合分割の最上階層において、(1)式のΔSに基
づいて集合を分割する際に通常の回帰木図に出力される
のはΔSが最大のもののみである。
揺らぎ等によりΔSが最大にならなかったもの、すなわ
ち回帰木図に出力されていない工程や装置が実際の問題
工程や装置である場合がある。また、不良要因が複数で
ある場合はその識別は不可能である。
この発明を適用して解析をおこなった例を挙げて、評価
用統計値リストの解釈の仕方について説明するととも
に、この発明の特徴をより明らかとする。
で同じような設計条件である5品種(MB01〜MB0
5)に対しておこなった解析について説明する。これら
の品種はほとんど同じ工程を通って処理された。
行した結果を図10〜図14にそれぞれ示す。図10〜
図14には、それぞれMB01〜MB05の回帰木図と
ともに評価用統計値リストが示されている。ここで、評
価用統計値リスト内の上位10項目について、上位から
順に各項目毎に「S比;t値;分割された集合の目的変
数の平均値の差;分割された各集合のデータ数;分割さ
れた集合の属性名;分割された2つの集合の属性値およ
びその目的変数の大小関係」の順に示す。なお、大小関
係は「>」または「<」の記号で示す。
第1番目は「0.2508;6.459;30.582
86;35と9;ST23;ST23M2/ST23M
1>ST23M3」である。第2番目は「0.335
3;4.542;20.59695;27と17;ST
35;ST35M2>ST35M4/ST35M3」で
ある。第3番目は「0.3571;4.100;22.
29412;34と10;ST17;ST17M1>S
T17M5」である。第4番目は「0.3811;3.
619;17.49804;17と27;ST10;S
T10M4>ST10M3/ST10M2」である。第
5番目は「0.3837;3.569;17.7829
9;29と15;ST48;ST48M2/ST48M
3>ST48M4」である。
42;37.53333;42と2;ST49;ST4
9M4/ST49M3>ST49M2」である。第7番
目は「0.4098;3.041;14.86045;
21と23;ST21;ST21M4>ST21M3」
である。第8番目は「0.4173;2.886;2
4.725;40と4;ST18;ST18M2/ST
18M3>ST18M1」である。第9番目は「0.4
190;2.849;14.61786;28と16;
ST20;ST20M1>ST20M2」である。第1
0番目は「0.4227;2.770;32.9761
9;42と2;ST44;ST44M1>ST44M2
/nop」である。なお、「nop」はその工程(ここ
ではST44)に相当するデータが欠損していたため、
人為的に補充した。
て、第1番目は「0.3649;3.102;13.0
7326;17と11;ST27;ST27M2/ST
27M1<ST27M3」である。第2番目は「0.3
840;2.803;12.11497;11と17;
ST3;ST3M2/ST3M1>ST3M3」であ
る。第3番目は「0.3867;2.760;12.9
45;20と8;ST30;ST30M2/ST30M
1<ST30M3」である。第4番目は「0.404
2;2.483;13.10454;22と6;ST3
1;ST31M1<ST31M3/ST31M2」であ
る。第5番目は「0.4262;2.121;15.2
5467;25と3;ST39;ST39M2>ST3
9M1」である。
21;10.1;9と19;ST45;ST45M2<
ST45M1/ST45M3」である。第7番目は
「0.4309;2.042;11.92261;23
と5;ST43;ST43M3/ST43M1>ST4
3M2」である。第8番目は「0.4341;1.98
7;10.3;7と21;ST51;ST51M2<S
T51M1」である。第9番目は「0.4357;1.
958;14.23867;25と3;ST8;ST8
M4/ST8M2<ST8M3」である。第10番目は
「0.4359;1.955;23.69259;27
と1;ST50;ST50M1<ST50M2」であ
る。
て、第1番目は「0.2897;3.810;15.5
8333;18と4;ST27;ST27M1/ST2
7M2>ST27M3」である。第2番目は「0.28
97;3.810;15.58333;18と4;ST
32;ST32M1/ST32M3>ST32M2」で
ある。第3番目は「0.3352;3.136;10.
82137;13と9;ST42;ST42M2/ST
42M3>ST42M1」である。第4番目は「0.3
498;2.931;10.90571;15と7;S
T48;ST48M2>ST48M3/ST48M4」
である。第5番目は「0.3596;2.795;9.
863335;10と12;ST26;ST26M4>
ST26M3」である。
39;9.681816;11と11;ST18;ST
18M2>ST18M3/ST18M1」である。第7
番目は「0.3673;2.688;13.9140
3;19と3;ST38;ST38M3>ST38M
4」である。第8番目は「0.3747;2.586;
9.644646;14と8;ST22;ST22M3
/ST22M1<ST22M2」である。第9番目は
「0.3774;2.549;13.37368;19
と3;ST8;ST8M2>ST8M3」である。第1
0番目は「0.3814;2.494;9.69047
5;15と7;ST45;ST45M1/ST45M3
>ST45M2」である。
て、第1番目は「0.3266;3.643;35.0
0326;23と4;ST22;ST22M3/ST2
2M2/nop>ST22M1」である。第2番目は
「0.3380;3.461;45.892;25と
2;ST13;ST13M2/ST13M1/ST13
M3>nop」である。第3番目は「0.3380;
3.461;45.892;25と2;ST14;ST
14M1>nop」である。第4番目は「0.338
0;3.461;45.892;25と2;ST15;
ST15M2>nop」である。第5番目は「0.33
80;3.461;45.892;25と2;ST1
6;ST16M3/ST16M2>nop」である。
61;45.892;25と2;ST52;ST52M
1>nop」である。第7番目は「0.3380;3.
461;45.892;25と2;ST53;ST53
M1>nop」である。第8番目は「0.3380;
3.461;45.892;25と2;ST47;ST
47M2/ST47M1>ST47M3」である。第9
番目は「0.3882;2.683;24.0119
1;21と6;ST31;ST31M2>ST31M
1」である。第10番目は「0.3889;2.67
2;20.02666;12と15;ST46;ST4
6M2<ST46M3/ST46M1」である。
て、第1番目は「0.1403;7.161;37.8
6496;9と13;ST3;ST3M2/ST3M3
<ST3M1」である。第2番目は「0.2584;
4.324;30.64167;10と12;ST7;
ST7M4<ST7M5」である。第3番目は「0.2
878;3.841;28.59999;11と11;
ST52;ST52M1<nop」である。第4番目は
「0.2878;3.841;28.59999;11
と11;ST53;ST53M1<nop」である。第
5番目は「0.3418;3.043;24.7983
3;12と10;ST34;ST34M1<ST34M
2」である。
06;24.90086;13と9;ST46;ST4
6M1/ST46M2<ST46M3」である。第7番
目は「0.3522;2.897;34.77193;
3と19;ST33;ST33M3<ST33M2」で
ある。第8番目は「0.3555;2.851;23.
99829;13と9;ST37;ST37M2/ST
37M3<ST37M4」である。第9番目は「0.3
586;2.808;27.85412;17と5;S
T28;ST28M2>ST28M1」である。第10
番目は「0.3709;2.638;22.6820
5;13と9;ST29;ST29M2/ST29M3
<ST29M1」である。
各評価用統計値リストを解釈することによって、以下の
ことがわかる。MB02、MB03およびMB04で
は、主にtの値から装置間差が小さいとみなすことがで
きる。この結果、単独5品種の解析では、MB01の結
果より、ST23M3が主な異常装置とみなすことがで
きる。また、MB05の結果より、ST3M2/ST3
M3が主な異常装置とみなすことができる。
装置が使用されている。すなわち、ST23M3とST
3M3は同じ装置である。したがって、単独5品種の解
析により異常装置が同定されたことになる。また、MB
04では7工程が交絡している。物理解析を含めた判断
がST23M3(ST3M3)の装置が異常であったこ
とからすると、t値は極めて有効な評価値であることが
わかる。
含む)]つぎに、上記5品種(MB01〜MB05)の
データをマージしておこなった解析について説明する。
一般にデータマイニングには大量のデータが必要であ
る。しかし、システムLSI製品の場合、上述したよう
に品種毎に解析をおこなうにはデータ量が少ないことが
ある。そこで、異なる品種であっても同一品種のように
扱って解析をおこなうことが可能であることを検証する
ために本解析を実施した。
ージして、回帰木分析エンジンの入力データとした。目
的変数は各品種の歩留り値のままであり、説明変数は各
品種の装置履歴のままであった。MB02では他の品種
に比べて装置履歴が全くない工程が6個あるため、MB
01およびMB03〜MB05の4品種についてこれを
削除した。このようにして、異なる5品種を同一品種と
して扱った。図15に、回帰木分析を実行した結果得ら
れた回帰木図および評価用統計値リストの画面表示例を
示す。また、[各品種毎の解析]と同様の書式で評価用
統計値リストの内容を示す。
15.83319;70と73;ST3;ST3M1/
nop>ST3M2/ST3M3」である。第2番目は
「0.4286;4.847;21.96218;12
2と21;ST31;ST31M1/ST31M5<S
T31M2」である。第3番目は「0.4300;4.
791;15.41398;75と68;ST48;S
T48M2>ST48M4/ST48M3」である。第
4番目は「0.4508;3.923;14.608
9;38と105;ST54;ST54M4/nop>
ST54M3」である。第5番目は「0.4528;
3.835;20.63266;128と15;ST
7;ST7M4<nop/ST7M5」である。
96;12.33582;62と81;ST33;ST
33M2>ST33M3/ST33M1」である。第7
番目は「0.4666;3.179;15.6741
9;124と19;ST55;ST55M2>ST55
M1」である。第8番目は「0.4697;3.01
6;10.13068;73と70;ST43;ST4
3M1/ST43M2>ST43M3」である。第9番
目は「0.4714;2.927;10.37228;
94と49;ST17;ST17M1/nop>ST1
7M5/ST17M4」である。第10番目は「0.4
716;2.913;12.35196;28と11
5;ST30;ST30M3/ST30M4>ST30
M2」である。
>ST3M2/ST3M3」、「ST31M2>ST3
1M1/ST31M5」、「ST48M2>ST48M
3/ST48M4」の順でほぼ同程度の装置間差がある
ことがわかる。これらの3工程では、S比およびt値と
もほぼ同じ値であり、第4番目以降の値とは有意な差が
ある。特に、t値は4.95〜4.79であり、いずれ
も[各品種毎の解析]で得られたMB02、MB03お
よびMB04の単独解析結果における最上位分岐のt値
よりも大きくなっている。このt値(4.95〜4.7
9)よりも大きな分岐は、[各品種毎の解析]で得られ
たMB01およびMB05の単独解析結果における最上
位分岐のもののみである。
3、すなわちST3M3が異常装置であることはより明
確となり、各品種毎におこなった解析結果と同じ結果が
得られたことになる。ST23M3(ST3M3)の他
にも、同程度の装置間差があることが示されたST31
M1/ST31M5およびST48M4/ST48M3
の装置は[各品種毎の解析]で得られた結果においても
一応候補にあげられるものである。なお、ST31の工
程では、ST17およびST7の各工程と同じ装置を使
用した。また、ST48の工程では、ST35の工程と
同じ装置を使用した。
削除)]つぎに、上述した[全品種データの同時解析
(ST3工程を含む)]において使用したデータからS
T3工程を削除したデータに対しておこなった解析につ
いて説明する。図16に、回帰木分析を実行した結果得
られた回帰木図および評価用統計値リストの画面表示例
を示す。また、[各品種毎の解析]と同様の書式で評価
用統計値リストの内容を示す。
21.96218;122と21;ST31;ST31
M1/ST31M5<ST31M2」である。第2番目
は「0.4300;4.791;15.41398;7
5と68;ST48;ST48M2>ST48M4/S
T48M3」である。第3番目は「0.4508;3.
923;14.6089;38と105;ST54;S
T54M4/nop>ST54M3」である。第4番目
は「0.4528;3.835;20.63266;1
28と15;ST7;ST7M4<nop/ST7M
5」である。第5番目は「0.4558;3.696;
12.33582;62と81;ST33;ST33M
2>ST33M3/ST33M1」である。
79;15.67419;124と19;ST55;S
T55M2>ST55M1」である。第7番目は「0.
4697;3.016;10.13068;73と7
0;ST43;ST43M1/ST43M2>ST43
M3」である。第8番目は「0.4714;2.92
7;10.37228;94と49;ST17;ST1
7M1/nop>ST17M5/ST17M4」であ
る。第9番目は「0.4716;2.913;12.3
5196;28と115;ST30;ST30M3/S
T30M4>ST30M2」である。第10番目は
「0.4717;2.906;10.08816;89
と54;ST61;ST61M1>ST61M2」であ
る。
タの同時解析](ST3工程を含む)において最も装置
間差が大きかったST3工程を除いた解析では、ST3
1M1/ST31M5の装置を使用したことにより歩留
りが低下しているのがわかる。また、[全品種データの
同時解析](ST3工程を含む)と[全品種データの同
時解析(ST3工程を削除)]を通じてST48M*
(*は装置の号機をあらわす数字である)を使用するS
T48工程は回帰木図に表れていないので、ST3工程
およびST31工程と交絡している。
回帰木図と評価用統計値リストの上位に出ているので、
互いに独立とみなすことができる。このように、回帰木
図や評価用統計値リストを解析することにより、装置間
差の独立性、交絡性の情報が得られる。ST3工程とS
T31工程の独立性は処理内容からみても整合性が取れ
ている。また、ST48工程の交絡性はどちらが真の要
因かを判別する調査に値する。
解析]つぎに、オリジナルデータの各レコードが、タイ
プの異なる複数の項目群に属する複数の項目からなる説
明変数を有する場合について説明する。図17は、回帰
木分析の入力となるデータ形式の一例を示す模式図であ
る。オリジナルデータの各レコードはウェーハ番号単位
になっている。各レコードは、各製造工程(工程A、工
程B)での使用装置名および各電気的特性データ(RS
P、WET_i)の値を説明変数とし、ウェーハの歩留
りを目的変数として構成される。つまり、図17に示す
例では、歩留りに効果があるのは装置間差と電気的特性
データであるとする。ここで、使用装置の項目と電気的
特性データの項目は異なるタイプの項目群に属する。
して解析をおこなう場合を例にして説明する。図18
は、図17に示すオリジナルデータに対して回帰木分析
を実行した結果を示す画面表示例であり、図19は、図
18に示す回帰木分析の結果をまとめて示す図表であ
る。なお、図18中、n0〜n5は、説明の便宜上つけ
たノード番号であり、画面に表示されるわけではない
(図22も同様)。
なわち1000枚のウェーハの平均歩留りは74.8%
である(ノードn0)。全ウェーハのうち200枚のウ
ェーハについては、工程Aにおいて装置AM1を使用し
ており、その平均歩留りは54%である(ノードn
1)。全ウェーハのうち残りの800枚のウェーハにつ
いては、工程Aにおいて装置AM2を使用しており、そ
の平均歩留りは80%である(ノードn2)。ノードn
1の200枚のウェーハは、工程Bにおいて、装置BM
1を使用した80枚のウェーハ(平均歩留り45%)
と、装置BM3を使用した120枚のウェーハ(平均歩
留り60%)に2分割される。
00枚のウェーハについては、工程Cにおいて装置CM
2を使用しており、その平均歩留りは90%である(ノ
ードn3)。ノードn2の800枚のウェーハのうち工
程Cにおいて装置CM1を使用した200枚のウェーハ
の平均歩留りは50%である。ノードn3の600枚の
ウェーハのうち200枚のウェーハについては、電気的
特性データRSPの値が90よりも大であり、その平均
歩留りは80%である(ノードn4)。一方、ノードn
3の残りの400枚のウェーハについては、電気的特性
データRSPの値が90以下であり、その平均歩留りは
95%である(ノードn5)。
る。歩留りに最も影響をおよぼすのは、工程AでAM1
とAM2のうちいずれの装置を使用するかということで
あり、AM2の装置を使用した方が歩留りがよい。工程
AでAM2の装置を使用したもののうち、工程CでCM
1の装置よりもCM2の装置を使用した方が歩留りがよ
い。さらに、工程AでAM2の装置を使用し、かつ工程
CでCM2の装置を使用したウェーハ群に対しては、電
気的特性データRSPの状態が最も歩留りに影響をおよ
ぼす。一方、工程AでAM1の装置を使用したものにつ
いて、そのつぎに歩留りに影響をおよぼすのは工程Bで
使用した装置である。
おいては、上位2階層はいずれも装置間差によるもので
ある。回帰木図では、上階層に現れる説明変数ほど目的
変数に対する影響が大きいため、この例では全ウェーハ
を用いた解析では歩留りに影響が大きいのは複合条件を
含めても装置間差であり、電気的特性データはあまり効
いていないように見られる。しかし、工程AでAM2の
装置を使用し、かつ工程CでCM2の装置を使用したウ
ェーハ群については、歩留りに最も効くのは電気的特性
データRSPである。このように、全ウェーハの平均歩
留りは74.8%であるが、使用装置や電気的特性デー
タとの関連で幾つかの集合に分けることによって、上述
したような特徴や規則性が存在することがわかる。回帰
木分析は、このような特徴や規則性を自動的に抽出し、
歩留り解析の手がかりを与える。
に対して、電気的特性データRSPと歩留りとの相関関
係を示す特性図であり、同図(a)は図18のノードn
3の600枚のウェーハについての相関図であり、同図
(b)は図18のノードn0の1000枚のウェーハに
ついての相関図である。図20(a)に示す相関図で
は、電気的特性データRSPよりも大きな影響を歩留り
におよぼす工程Aおよび工程Cの装置間差の影響が除去
されている。それに対して、図20(b)に示す相関図
では、工程Aおよび工程Cの装置間差の影響が含まれて
いるため、同図(a)に示す相関図よりもノイズが多く
なっている。
して、ノードn3の600枚のウェーハを選抜し、それ
らについて解析をおこなうことにより、電気的特性デー
タRSPが歩留りに与える影響をより正確に知ることが
できる。このように回帰木分析は、歩留り−電気的特性
データRSPの相関関係を求める際に、どの装置使用条
件のデータに限って解析をおこなえばよいかということ
を自動的に抽出する。たとえば、回帰木分析の一つの出
力情報として各ノードに属するレコードの識別番号(レ
コードid)を出力するようにしておき、その抽出され
た識別番号の情報を従来の解析ツールに読み込ませるこ
とにより、各装置使用条件毎に歩留り−電気的特性デー
タRSPのより正確な解析結果を得ることができる。
合の目的変数の平均値の差、および分割された各集合の
データ数などの値に基づいて、要因となる項目群をまた
がって各説明変数の目的変数におよぼす影響の大きさ、
およびその信頼度を定量的な値で評価することができ
る。すなわち、たとえば図20(a)に示されるような
データのみを用いて回帰木分析をおこない、上記S比や
t値や差やデータ数などの値を評価することにより、装
置間差や電気的特性データというような異なる項目群の
歩留りに対する影響をあらたにデータ取得することなく
定量的に得ることができる。
が、トランジスタ特性を左右する重要な特性であるI−
V特性についても、歩留り−電気的特性データRSPの
相関関係を求める場合と同様にして、ノイズを低減させ
て解析をおこなうことによって、正確な解析結果を得る
ことができる。図21(a)はノイズの影響を除去した
解析結果であり、同図(b)はノイズの影響を含む解析
結果である。図20(a)および図21(a)に示すよ
うな相関図は、図1に示すデータ解析装置を用いた歩留
り解析により自動的に数分以内で得ることができる。
統計値リストは、装置間差および電気的特性データの両
方について歩留りに対する関係を示したものであり、装
置間差よりも電気的特性データによる影響の方が小さい
ことを示している。そこで、装置間差の歩留りに対する
影響をより正確に把握するため、たとえば図18の回帰
木図中のノードn4に属するウェーハ(200枚)を除
いた800枚のウェーハについてのみ回帰木分析をおこ
なうようにしてもよい。その場合の回帰木分析結果を図
22に示す。
のうち歩留りに最も影響をおよぼす要因を取り除いて解
析することができるため、装置間差がより正確に把握で
きるようになる。その結果、回帰木図におけるノード分
岐状態が変わったり、回帰木図にはさほど変化がなくて
も、評価用統計値リスト中の値の有意差が小さい場合に
は、たとえば工程Dと工程Eのように順位が反転するこ
とも起こり得る(図18および図22参照)。なお、ノ
ードn4に属する200枚のウェーハを除く代わりに、
電気的特性データRSPが90よりも大きい、すなわち
RSP>90を満たすウェーハを全て除くようにしても
よい。
AではAM3も使用されているとしたデータに対して回
帰木分析を実行した結果の他の例を示す画面表示例であ
る。なお、図23中、n10〜n15は、説明の便宜上
つけたノード番号であり、画面に表示されるわけではな
い。図23について説明する。1000枚のウェーハの
平均歩留りは74.8%である(ノードn10)。その
うち工程AにおいてAM2またはAM3のいずれかの装
置を使用した800枚のウェーハについては、その平均
歩留りは80%である(ノードn12)。
工程Cにおいて装置CM2を使用した600枚のウェー
ハについては、その平均歩留りは90%である(ノード
n13)。ノードn13の600枚のウェーハのうち4
00枚のウェーハについては、電気的特性データRSP
の値が90以下であり、その平均歩留りは95%である
(ノードn15)。さらに、ノードn15の400枚の
ウェーハは、工程Aにおいて、装置AM2を使用した1
50枚のウェーハ(平均歩留り90%)と、装置AM3
を使用した250枚のウェーハ(平均歩留り98%)に
2分割される。
3の600枚のウェーハを選抜し、それらについてのみ
電気的特性データRSPと歩留りとの相関関係を求めた
としても、ノードn15の下にさらに工程Aの装置間差
による分岐が現れているため、装置間差の影響を完全に
除去することはできない。しかし、この場合でも装置間
差の影響を小さくすることができるので、ノードn10
の1000枚のウェーハを対象にして解析をおこなう、
すなわち全く装置間差の影響を除去しないで解析するよ
りも、正確な解析をおこなうことができる。
結果として回帰木図とともに評価用統計値リストが出力
されるため、その評価用統計値リストに基づいて、回帰
木分析により抽出されたルールの精度や信頼度の評価を
おこなうことができる。そして、評価用統計値リスト
は、データマイニングによる解析結果を統計的手法に不
慣れなエンドユーザに納得させる際のわかりやすい判断
基準といえる。
が異なっても、複数品種のデータをマージしてまとめて
解析をおこなうことにより、複数品種に共通した有意差
を判別することができる。それによって、たとえば、品
種毎の解析では判別が困難であった各異常工程の独立性
や交絡に関する情報を得ることができる。
る項目群に属する複数の項目を一括して説明変数として
取り扱い、回帰木分析結果を利用して注目するノードに
属する集合または属さない集合について解析をおこなう
ことによって、注目する項目以外の項目による影響、す
なわちノイズを除去または小さくして解析をおこなうこ
とが可能となる。したがって、より正確な解析結果を得
ることができ、それによってどの項目に対する改善対策
が有効であるかという評価をおこなうことができる。
電気的特性データ間の相関関係を容易に明らかにするこ
とができる。また、この解析手法は、歩留りに効く諸々
の要因の影響を低減または分離することができるので、
量産段階のみならず、より複雑に諸々の要因が絡み合う
開発段階においても極めて有効である。
導体製造工程のプロセスデータを用いて歩留り解析をお
こなう場合について説明したが、この発明は、歩留り解
析に限らず、種々のデータに対する判別分析に適用する
ことが可能である。また、上述した実施の形態において
は、ルールを抽出するための統計的手法としてデータマ
イニング手法を用いたが、この発明はその他の有意差判
定手法にも適用することができる。さらに、上述した実
施の形態で用いた評価用統計値リストの各値や図8〜図
16、図18、図22および図23に示す回帰木図は例
として示したものであり、この発明はこれらに限定され
るものではない。
気的特性データよりも装置間差の方が歩留りに対する影
響が大きい場合について説明したが、その反対に電気的
特性データの方が装置間差よりも影響が大きい場合にも
同様にして電気的特性データのバラツキの影響、すなわ
ちノイズを低減した状態で装置間差の解析結果を得るこ
とができる。この場合、回帰木図において、電気的特性
データにより最上階層の分岐がなされ、装置間差による
分岐はそれよりも下層で現れることとなる。
留りに影響するのは装置間差と電気的特性データの2項
目群であるとしたが、これに限らず、この発明は、たと
えば図24に示すように、装置間差と電気的特性データ
とその他の3種の項目群、あるいは4種以上の項目群が
歩留りに影響をおよぼす場合にも同様に適用可能であ
る。
タ解析方法は、あらかじめ用意されたプログラムをパー
ソナルコンピュータやワークステーション等のコンピュ
ータで実行することにより実現することができる。ま
た、これらのプログラムは、たとえばハードディスク、
フロッピー(登録商標)ディスク、CD−ROM、M
O、DVD等のコンピュータで読み取り可能な記録媒体
に記録され、コンピュータによって記録媒体から読み出
されることによって実行される。またこのプログラム
は、上記記録媒体を介して、また、伝送媒体としてネッ
トワークを介して配布することができる。
1を請求項とすることができる。
るオリジナルデータ群と、前記オリジナルデータ間に存
在するルールを抽出し、前記ルールの信頼度をあらわす
情報を付加した信頼度情報付きルールファイルを作成す
るデータ処理部と、前記ルールファイルに基づいて前記
オリジナルデータの解析をおこなう解析ツールと、を備
えたことを特徴とするデータ解析装置。
ジナルデータ群における各レコードの項目間の因果関係
または影響度を明らかにし、隠された情報または規則性
を含むルールを統計的手法により抽出することを特徴と
する付記1に記載のデータ解析装置。
ツールにおいて解析すべき項目またはその組み合わせに
関する指針を含むルールをデータマイニング技法により
抽出することを特徴とする付記1に記載のデータ解析装
置。
ルの信頼度をあらわす情報として、複数のオリジナルデ
ータよりなる集合を2分割する際の分割の明確度をあら
わす集合分割評価値を求めることを特徴とする付記1に
記載のデータ解析装置。
原因または変動パターンを探ることを目的とする目的変
数を含み、前記集合分割評価値は、つぎの式であらわさ
れるS比の値であることを特徴とする付記4に記載のデ
ータ解析装置。 S比=((S1+S2)/2)/S0 ただし、S0は、複数のオリジナルデータよりなる集合
を2分割する前の目的変数の平方和、S1およびS2は
それぞれ分割後の各集合の目的変数の平方和である。
原因または変動パターンを探ることを目的とする目的変
数を含み、前記集合分割評価値は、つぎの式であらわさ
れるtの値であることを特徴とする付記4に記載のデー
タ解析装置。
ルの信頼度をあらわす情報として、2次以降の要因また
は条件を含む情報を求めることを特徴とする付記1に記
載のデータ解析装置。
データとして、前記オリジナルデータ群から任意のデー
タ種または任意のデータ項目の組み合わせを抽出する前
置データ処理部をさらに備えることを特徴とする付記1
〜7のいずれか一つに記載のデータ解析装置。
析する装置であって、前記オリジナルデータは、変動原
因または変動パターンを探ることを目的とする目的変数
と、前記目的変数の変動を説明する説明変数を含み、前
記目的変数は製造歩留りであり、前記説明変数は、使用
装置履歴、試験結果、設計情報および測定データを含む
変数であることを特徴とする付記1〜8のいずれか一つ
に記載のデータ解析装置。
存在するルールを抽出して、前記ルールにその信頼度を
あらわす情報を付加した信頼度情報付きルールファイル
を作成し、前記ルールとともに前記信頼度をあらわす情
報を出力する工程と、前記ルールファイルに基づいて前
記オリジナルデータの解析をおこなう工程と、を含むこ
とを特徴とするデータ解析方法。
における各レコードの項目間の因果関係または影響度を
明らかにし、隠された情報または規則性を含むルールを
統計的手法により抽出することを特徴とする付記10に
記載のデータ解析方法。
をおこなう際の解析すべき項目またはその組み合わせに
関する指針を含むルールをデータマイニング技法により
抽出することを特徴とする付記10に記載のデータ解析
方法。
す情報は、複数のオリジナルデータよりなる集合を2分
割する際の分割の明確度をあらわす集合分割評価値であ
ることを特徴とする付記10に記載のデータ解析方法。
動原因または変動パターンを探ることを目的とする目的
変数を含み、前記集合分割評価値は、つぎの式であらわ
されるS比の値であることを特徴とする付記13に記載
のデータ解析方法。 S比=((S1+S2)/2)/S0 ただし、S0は、複数のオリジナルデータよりなる集合
を2分割する前の目的変数の平方和、S1およびS2は
それぞれ分割後の各集合の目的変数の平方和である。
動原因または変動パターンを探ることを目的とする目的
変数を含み、前記集合分割評価値は、つぎの式であらわ
されるtの値であることを特徴とする付記13に記載の
データ解析方法。
す情報は、2次以降の要因または条件を含むことを特徴
とする付記10に記載のデータ解析方法。
対象データとして、複数の前記オリジナルデータから任
意のデータ種または任意のデータ項目の組み合わせをあ
らかじめ抽出することを特徴とする付記10〜16のい
ずれか一つに記載のデータ解析方法。
解析するにあたって、前記オリジナルデータは、変動原
因または変動パターンを探ることを目的とする目的変数
と、前記目的変数の変動を説明する説明変数を含み、前
記目的変数は製造歩留りであり、前記説明変数は、使用
装置履歴、試験結果、設計情報および測定データを含む
変数であることを特徴とする付記10〜17のいずれか
一つに記載のデータ解析方法。
る各レコードは、変動原因または変動パターンを探るこ
とを目的とする目的変数と、前記目的変数の変動を説明
する説明変数として、タイプの異なる複数の項目群に属
する複数の項目を有し、抽出された前記ルールに基づく
回帰木図の、注目するノードに属する集合または属さな
い集合に対して解析をおこなうことを特徴とする付記1
0〜18のいずれか一つに記載のデータ解析方法。
る各レコードは、変動原因または変動パターンを探るこ
とを目的とする目的変数と、前記目的変数の変動を説明
する説明変数として、タイプの異なる複数の項目群に属
する複数の項目を有し、抽出された前記ルールに基づく
回帰木図の、注目するノードに属する集合または属さな
い集合に対して解析をおこなうことを特徴とする付記1
0〜18のいずれか一つに記載のデータ解析方法。
か一つに記載された方法をコンピュータに実行させるプ
ログラムを記録したことを特徴とするコンピュータ読み
取り可能な記録媒体。
の複数のオリジナルデータ間に存在するルールが抽出さ
れ、その抽出されたルールは、ルールの信頼度をあらわ
す情報とともに出力されるので、抽出されたルールの精
度評価をおこなうことができるとともに、2次以降の効
果のある要因をその定量的な評価値とともに得ることが
できる。したがって、データマイニング等のデータ解析
結果の精度や信頼性の評価が可能となり、産業界で広く
おこなわれているデータ解析の効率化および信頼度の向
上を図ることができる。この発明を製造工程の歩留り解
析に適用した場合には、生産性向上に多大な効果をもた
らす。また、この発明によれば、有意差の程度、複数要
因の判別および説明変数間の関連性を把握することがで
きるので、解析結果に基づいて決定された対策の効果を
定量的に把握することができるという効果も得られる。
属する複数の項目を一括して説明変数として取り扱い、
回帰木分析結果を利用して、注目するノードに属する集
合または属さない集合について解析をおこなうことによ
って、ノイズがより少ない状態での解析が可能となる。
したがって、注目する項目についてより正確な解析結果
を得ることができる。
を示す概略図である。
した場合のデータ形式の一例を示す模式図である。
動時の画面表示例を示す図である。
行中の画面表示例を示す図である。
行中の画面表示例を示す図である。
行中の画面表示例を示す図である。
行中の画面表示例を示す図である。
る分析結果を説明するための回帰木図である。
表である。
行した結果を示す画面表示例である。
行した結果を示す画面表示例である。
行した結果を示す画面表示例である。
行した結果を示す画面表示例である。
行した結果を示す画面表示例である。
分析を実行した結果を示す画面表示例である。
分析を実行した結果を示す画面表示例である。
目群にまたがる回帰木分析の入力となるデータ形式の一
例を示す模式図である。
目群にまたがって回帰木分析を実行した結果を示す画面
表示例である。
す図表である。
データRSPと歩留りとの相関関係を装置間差の影響を
低減した場合としない場合についてそれぞれ示す特性図
である。
トランジスタのI−V特性の一例をそれぞれ示す特性図
である。
的特性データの影響を低減した状態で回帰木分析を実行
した結果を示す画面表示例である。
目群にまたがって回帰木分析を実行した結果の他の例を
示す画面表示例である。
目群にまたがる回帰木分析の入力となるデータ形式の他
の例を示す模式図である。
データ解析手法を示す概念図である。
のデータ解析手法を示す概念図である。
示す概念図である。
ゲ図である。
ードの構成を示す模式図である。
を示す概念図である。
して得られるルールの精度評価について説明するための
説明図である。
Claims (10)
- 【請求項1】 複数のオリジナルデータよりなるオリジ
ナルデータ群と、 前記オリジナルデータ間に存在するルールを抽出し、前
記ルールの信頼度をあらわす情報を付加した信頼度情報
付きルールファイルを作成するデータ処理部と、 前記ルールファイルに基づいて前記オリジナルデータの
解析をおこなう解析ツールと、 を備えたことを特徴とするデータ解析装置。 - 【請求項2】 前記データ処理部は、前記オリジナルデ
ータ群における各レコードの項目間の因果関係または影
響度を明らかにし、隠された情報または規則性を含むル
ールを統計的手法により抽出することを特徴とする請求
項1に記載のデータ解析装置。 - 【請求項3】 前記データ処理部は、前記解析ツールに
おいて解析すべき項目またはその組み合わせに関する指
針を含むルールをデータマイニング技法により抽出する
ことを特徴とする請求項1に記載のデータ解析装置。 - 【請求項4】 前記データ処理部は、前記ルールの信頼
度をあらわす情報として、複数のオリジナルデータより
なる集合を2分割する際の分割の明確度をあらわす集合
分割評価値を求めることを特徴とする請求項1に記載の
データ解析装置。 - 【請求項5】 前記オリジナルデータは、変動原因また
は変動パターンを探ることを目的とする目的変数を含
み、 前記集合分割評価値は、つぎの式であらわされるS比の
値であることを特徴とする請求項4に記載のデータ解析
装置。 S比=((S1+S2)/2)/S0 ただし、S0は、複数のオリジナルデータよりなる集合
を2分割する前の目的変数の平方和、S1およびS2は
それぞれ分割後の各集合の目的変数の平方和である。 - 【請求項6】 前記オリジナルデータは、変動原因また
は変動パターンを探ることを目的とする目的変数を含
み、 前記集合分割評価値は、つぎの式であらわされるtの値
であることを特徴とする請求項4に記載のデータ解析装
置。 【数1】 - 【請求項7】 前記データ処理部は、前記ルールの信頼
度をあらわす情報として、2次以降の要因または条件を
含む情報を求めることを特徴とする請求項1に記載のデ
ータ解析装置。 - 【請求項8】 前記データ処理部での処理対象データと
して、前記オリジナルデータ群から任意のデータ種また
は任意のデータ項目の組み合わせを抽出する前置データ
処理部をさらに備えることを特徴とする請求項1〜7の
いずれか一つに記載のデータ解析装置。 - 【請求項9】 製造工程の歩留り低下要因を解析する装
置であって、 前記オリジナルデータは、変動原因または変動パターン
を探ることを目的とする目的変数と、前記目的変数の変
動を説明する説明変数を含み、 前記目的変数は製造歩留りであり、前記説明変数は、使
用装置履歴、試験結果、設計情報および測定データを含
む変数であることを特徴とする請求項1〜8のいずれか
一つに記載のデータ解析装置。 - 【請求項10】 複数のオリジナルデータ間に存在する
ルールを抽出して、前記ルールにその信頼度をあらわす
情報を付加した信頼度情報付きルールファイルを作成
し、前記ルールとともに前記信頼度をあらわす情報を出
力する工程と、 前記ルールファイルに基づいて前記オリジナルデータの
解析をおこなう工程と、を含むことを特徴とするデータ
解析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000284578A JP2001306999A (ja) | 2000-02-18 | 2000-09-20 | データ解析装置およびデータ解析方法 |
US09/769,528 US6629090B2 (en) | 2000-02-18 | 2001-01-26 | method and device for analyzing data |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-41896 | 2000-02-18 | ||
JP2000041896 | 2000-02-18 | ||
JP2000284578A JP2001306999A (ja) | 2000-02-18 | 2000-09-20 | データ解析装置およびデータ解析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001306999A true JP2001306999A (ja) | 2001-11-02 |
Family
ID=26585701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000284578A Pending JP2001306999A (ja) | 2000-02-18 | 2000-09-20 | データ解析装置およびデータ解析方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6629090B2 (ja) |
JP (1) | JP2001306999A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003142361A (ja) * | 2001-11-02 | 2003-05-16 | Fujitsu Ltd | データ解析方法 |
JP2003145262A (ja) * | 2001-11-12 | 2003-05-20 | Mitsui Mining & Smelting Co Ltd | ダイカスト鋳造システムおよびダイカスト製品品質管理方法 |
US6711522B2 (en) | 2001-04-25 | 2004-03-23 | Fujitsu Limited | Data analysis apparatus, data analysis method, and computer products |
WO2004097703A1 (ja) * | 2003-05-02 | 2004-11-11 | Fujitsu Limited | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 |
JP2006048183A (ja) * | 2004-07-30 | 2006-02-16 | Sharp Corp | データ分析装置およびデータ分析プログラム |
WO2006048919A1 (ja) * | 2004-11-01 | 2006-05-11 | Fujitsu Limited | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム |
JP2007226639A (ja) * | 2006-02-24 | 2007-09-06 | Mitsubishi Electric Corp | 多変量データ判別装置 |
JP2008192745A (ja) * | 2007-02-02 | 2008-08-21 | Fujitsu Ltd | 歩留まり監視システム及び歩留まり監視方法 |
US7684965B2 (en) | 2006-06-09 | 2010-03-23 | Fujitsu Microelectronics Limited | Method and apparatus for processing data, and computer product |
JP2010146554A (ja) * | 2008-12-17 | 2010-07-01 | Internatl Business Mach Corp <Ibm> | データ処理システム、コンピュータ可読の媒体、データ・マイニング結果を分析する方法、データ・モデルを処理する方法(統計技術を使用するデータ・マイニング・モデル解釈、最適化、及びカスタマイゼーション) |
WO2015049797A1 (ja) * | 2013-10-04 | 2015-04-09 | 株式会社日立製作所 | データ管理方法、データ管理装置及び記憶媒体 |
WO2015136885A1 (ja) * | 2014-03-10 | 2015-09-17 | 日本電気株式会社 | 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 |
JP2018124667A (ja) * | 2017-01-30 | 2018-08-09 | 三菱重工航空エンジン株式会社 | 生産工程分析装置及びこれを用いる生産管理システム |
CN109257521A (zh) * | 2018-12-06 | 2019-01-22 | 四川大学 | 一种stc信息隐藏算法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020123996A1 (en) * | 2001-02-06 | 2002-09-05 | O'brien Christopher | Data mining system, method and apparatus for industrial applications |
US6990486B2 (en) * | 2001-08-15 | 2006-01-24 | International Business Machines Corporation | Systems and methods for discovering fully dependent patterns |
US6898545B2 (en) * | 2002-06-28 | 2005-05-24 | Agilent Technologies Inc | Semiconductor test data analysis system |
JP4090320B2 (ja) * | 2002-09-30 | 2008-05-28 | 富士通株式会社 | 配信情報管理方法および情報管理サーバ |
US7259763B2 (en) * | 2003-11-13 | 2007-08-21 | International Business Machines Corporation | Embedded analytics in information visualization |
US20050240463A1 (en) * | 2004-04-22 | 2005-10-27 | Taiwan Semiconductor Manufacturing Co., Ltd. | Method of estimating the impact on potential customers of a revision in a semiconductor technology process |
US7039561B2 (en) * | 2004-06-10 | 2006-05-02 | Dade Behring Inc. | Outlier rejection method in an automatic clinical analyzer |
JP4383302B2 (ja) * | 2004-09-29 | 2009-12-16 | 富士通株式会社 | 評価結果出力プログラム |
US7426510B1 (en) * | 2004-12-13 | 2008-09-16 | Ntt Docomo, Inc. | Binary data categorization engine and database |
US7577875B2 (en) * | 2005-09-14 | 2009-08-18 | Microsoft Corporation | Statistical analysis of sampled profile data in the identification of significant software test performance regressions |
US20070078821A1 (en) * | 2005-09-30 | 2007-04-05 | Kabushiki Kaisha Toshiba | System and method for managing history of plant data |
US7707100B2 (en) * | 2006-06-30 | 2010-04-27 | Interactive Data Corporation | System and method for displaying trend indications |
EP2844983A2 (en) | 2012-04-30 | 2015-03-11 | Mayo Foundation For Medical Education And Research | Spectrometric systems and methods for improved focus localization of time-and space-varying measurements |
TWI602068B (zh) * | 2016-10-17 | 2017-10-11 | Data processing device and method thereof |
-
2000
- 2000-09-20 JP JP2000284578A patent/JP2001306999A/ja active Pending
-
2001
- 2001-01-26 US US09/769,528 patent/US6629090B2/en not_active Expired - Lifetime
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711522B2 (en) | 2001-04-25 | 2004-03-23 | Fujitsu Limited | Data analysis apparatus, data analysis method, and computer products |
JP2003142361A (ja) * | 2001-11-02 | 2003-05-16 | Fujitsu Ltd | データ解析方法 |
JP2003145262A (ja) * | 2001-11-12 | 2003-05-20 | Mitsui Mining & Smelting Co Ltd | ダイカスト鋳造システムおよびダイカスト製品品質管理方法 |
JPWO2004097703A1 (ja) * | 2003-05-02 | 2006-07-13 | 富士通株式会社 | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 |
WO2004097703A1 (ja) * | 2003-05-02 | 2004-11-11 | Fujitsu Limited | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 |
US6973363B2 (en) | 2003-05-02 | 2005-12-06 | Fujitsu Limited | Method for assisting analysis of production process, program for making computer execute that method, program product, and storage medium |
JP2006048183A (ja) * | 2004-07-30 | 2006-02-16 | Sharp Corp | データ分析装置およびデータ分析プログラム |
WO2006048919A1 (ja) * | 2004-11-01 | 2006-05-11 | Fujitsu Limited | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム |
JPWO2006048919A1 (ja) * | 2004-11-01 | 2008-05-22 | 富士通株式会社 | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム |
JP4643586B2 (ja) * | 2004-11-01 | 2011-03-02 | 富士通株式会社 | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム |
US7991617B2 (en) | 2004-11-01 | 2011-08-02 | Fujitsu Limited | Optimum design management apparatus from response surface calculation and method thereof |
JP2007226639A (ja) * | 2006-02-24 | 2007-09-06 | Mitsubishi Electric Corp | 多変量データ判別装置 |
US7684965B2 (en) | 2006-06-09 | 2010-03-23 | Fujitsu Microelectronics Limited | Method and apparatus for processing data, and computer product |
JP2008192745A (ja) * | 2007-02-02 | 2008-08-21 | Fujitsu Ltd | 歩留まり監視システム及び歩留まり監視方法 |
JP2010146554A (ja) * | 2008-12-17 | 2010-07-01 | Internatl Business Mach Corp <Ibm> | データ処理システム、コンピュータ可読の媒体、データ・マイニング結果を分析する方法、データ・モデルを処理する方法(統計技術を使用するデータ・マイニング・モデル解釈、最適化、及びカスタマイゼーション) |
WO2015049797A1 (ja) * | 2013-10-04 | 2015-04-09 | 株式会社日立製作所 | データ管理方法、データ管理装置及び記憶媒体 |
JP6028103B2 (ja) * | 2013-10-04 | 2016-11-16 | 株式会社日立製作所 | データ管理方法、データ管理装置及び記憶媒体 |
JPWO2015049797A1 (ja) * | 2013-10-04 | 2017-03-09 | 株式会社日立製作所 | データ管理方法、データ管理装置及び記憶媒体 |
WO2015136885A1 (ja) * | 2014-03-10 | 2015-09-17 | 日本電気株式会社 | 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 |
US10402736B2 (en) | 2014-03-10 | 2019-09-03 | Nec Corporation | Evaluation system, evaluation method, and computer-readable storage medium |
JP2018124667A (ja) * | 2017-01-30 | 2018-08-09 | 三菱重工航空エンジン株式会社 | 生産工程分析装置及びこれを用いる生産管理システム |
CN109257521A (zh) * | 2018-12-06 | 2019-01-22 | 四川大学 | 一种stc信息隐藏算法 |
Also Published As
Publication number | Publication date |
---|---|
US6629090B2 (en) | 2003-09-30 |
US20010020284A1 (en) | 2001-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001306999A (ja) | データ解析装置およびデータ解析方法 | |
JP4394728B2 (ja) | 影響要因特定装置 | |
US6711522B2 (en) | Data analysis apparatus, data analysis method, and computer products | |
US20070006128A1 (en) | Method for evaluating dynamic expressions | |
TWI503763B (zh) | 半導體處理控制方法和電腦可讀取紀錄媒體 | |
DE102017220140A1 (de) | Abrufvorrichtung, Abrufverfahren und Abrufprogramm | |
CN104216349A (zh) | 利用制造设备的传感器数据的成品率分析系统及方法 | |
CN112000081A (zh) | 基于多块信息提取和马氏距离的故障监测方法及系统 | |
JP4275359B2 (ja) | データ解析方法 | |
Hockman et al. | Computational strategies for breakbeat classification and resequencing in hardcore, jungle and drum and bass | |
Sikder et al. | An integrated approach for multivariate statistical process control using Mahalanobis-Taguchi System and Andrews function | |
JP2002324206A (ja) | データ解析方法及び装置 | |
WO2007063972A1 (ja) | 有効因子抽出システムとその方法とそのプログラム | |
JP4866520B2 (ja) | データ解析方法、データ解析プログラムおよびデータ解析装置 | |
Duan et al. | Process mining of duplicate tasks: A systematic literature review | |
CN111524555A (zh) | 一种基于人肠道菌群的自动化分型方法 | |
Li et al. | Model-based decomposition using non-binary dependency analysis and heuristic partitioning analysis | |
WO2009081696A1 (ja) | データ解析装置、データ解析方法、およびプログラム | |
Nurunnabi et al. | Robust-diagnostic regression: a prelude for inducing reliable knowledge from regression | |
CN114580982B (zh) | 一种工业设备的数据质量的评估方法、装置及设备 | |
Carroll et al. | A mapping study of software causal factors for improving maintenance | |
Herrera et al. | Machine Learning in Pipeline Inspection: Applications of supervised learning in non-destructive evaluation | |
JP2010153588A (ja) | データ解析プログラム、データ解析装置およびデータ解析方法 | |
Wei et al. | A Clustering-Based Approach to Identifying Potential Output Anomalies with Combinatorial Testing for Web Applications | |
JP4448653B2 (ja) | データ解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080730 |