JP2020047846A - データ処理方法、データ処理装置、データ処理システム、およびデータ処理プログラム - Google Patents

データ処理方法、データ処理装置、データ処理システム、およびデータ処理プログラム Download PDF

Info

Publication number
JP2020047846A
JP2020047846A JP2018176257A JP2018176257A JP2020047846A JP 2020047846 A JP2020047846 A JP 2020047846A JP 2018176257 A JP2018176257 A JP 2018176257A JP 2018176257 A JP2018176257 A JP 2018176257A JP 2020047846 A JP2020047846 A JP 2020047846A
Authority
JP
Japan
Prior art keywords
data
evaluation value
unit
processing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018176257A
Other languages
English (en)
Other versions
JP7188949B2 (ja
Inventor
英司 猶原
Eiji Naohara
英司 猶原
麻友美 山本
Mayumi Yamamoto
麻友美 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2018176257A priority Critical patent/JP7188949B2/ja
Priority to KR1020190100814A priority patent/KR102280390B1/ko
Priority to CN201910782458.XA priority patent/CN110928265B/zh
Priority to TW108130724A priority patent/TWI726401B/zh
Priority to TW110111567A priority patent/TW202137001A/zh
Priority to US16/554,528 priority patent/US20200097381A1/en
Publication of JP2020047846A publication Critical patent/JP2020047846A/ja
Application granted granted Critical
Publication of JP7188949B2 publication Critical patent/JP7188949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

【課題】時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことを可能とするデータ処理方法を提供する。【解決手段】複数の単位処理データ（各単位処理データは複数種類の時系列データを含む）を処理するデータ処理方法には、複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択ステップ（Ｓ１１０）と、単位処理データ選択ステップで選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する第１の評価値算出ステップ（Ｓ１１１）と、第１の評価値算出ステップで算出された各時系列データについての評価値に基づいて評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する第１の評価値分布作成ステップ（Ｓ１１３）とが含まれる。【選択図】図１０

Description

本発明は、デジタルデータ処理に関し、特に、時系列データを処理する方法に関する。
機器や装置の異常を検出する方法として、機器や装置の動作状態を示す物理量（例えば、長さ、角度、時間、速さ、力、圧力、電圧、電流、温度、流量など）をセンサなどを用いて測定し、測定結果を発生順に並べて得られた時系列データを分析する方法が知られている。機器や装置が同じ条件で同じ動作を行う場合、異常がなければ、時系列データは同様に変化する。そこで、同様に変化する複数の時系列データを相互に比較して異常な時系列データを検出し、その異常な時系列データを分析することにより、異常の発生箇所や異常の原因の特定が可能となる。また、近年、コンピュータのデータ処理能力の向上が顕著である。このため、たとえデータ量が膨大であっても実用的な時間で必要な結果が得られるケースが多くなっている。このようなことからも、時系列データの分析が盛んになりつつある。
例えば、半導体基板の製造の分野においても、時系列データの分析が盛んになりつつある。半導体基板（以下、「基板」という）の製造工程では、基板処理装置によって一連の処理が実行される。基板処理装置は、基板に対して一連の処理の中の特定の処理を行う複数の処理ユニットを含んでいる。各処理ユニットは、基板に対して予め定められた手順（「レシピ」と呼ばれる）に従い処理を行う。このとき各処理ユニットにおける測定結果に基づき、時系列データが得られる。得られた時系列データを分析することにより、異常が発生した処理ユニットや異常の原因を特定することができる。ところで、「レシピ」の語は、基板に対して行われるもののみでなく、基板の処理の前に行われる前処理や、基板に対する処理が処理ユニットで行われていない間に処理ユニットの状態の維持・管理や処理ユニットに関する各種測定を行うための処理などについても用いられる。但し、本明細書では、基板に対して行われる処理に着目する。なお、基板の製造によって得られた時系列データの異常度の算出に関連する発明が特開２０１７−８３９８５号公報に開示されている。
特開２０１７−８３９８５号公報
一般に、基板の製造工程では、レシピの実行によって膨大な数のパラメータ（各種の物理量）についての時系列データが得られる。時系列データは、レシピが実行された際に各種の物理量（例えば、ノズルから供給される処理流体の流量や温度、チャンバ内の湿度、チャンバの内圧、チャンバの排気圧など）をセンサなどを用いて測定して測定結果を時系列に並べて得られたデータである。また、カメラによって撮像された画像に解析を加えて得られたデータを時系列に並べたものも時系列データとなる。そして、各時系列データが異常であるか否かの判定は、時系列データのデータ値を閾値と比較することによって、もしくは、当該データ値から所定の計算ルールに従って算出される値を閾値と比較することによって行われている。なお、閾値はパラメータ毎に設定される。
ところが、各パラメータについての閾値を定める作業は非常に煩雑な作業であり、膨大な数のパラメータのそれぞれについて好適な閾値を求めることは極めて困難である。また、設定される閾値は必ずしも好適な値とは限らないため、異常判定の精度は良好ではない。すなわち、従来の手法によれば、時系列データの異常が精度良く検出されない。
そこで、本発明は、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことを可能とするデータ処理方法を提供することを目的とする。
第１の発明は、単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理方法であって、
前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択ステップと、
前記単位処理データ選択ステップで選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する第１の評価値算出ステップと、
前記第１の評価値算出ステップで算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する第１の評価値分布作成ステップと
を含むことを特徴とする。
第２の発明は、第１の発明において、
前記複数の単位処理データの中から評価値を算出する際の基準となる基準データを選択する基準データ選択ステップを更に含み、
前記第１の評価値算出ステップでは、前記被選択単位処理データに含まれる各時系列データを前記基準データ選択ステップで選択された基準データと比較することによって評価値の算出が行われることを特徴とする。
第３の発明は、第２の発明において、
前記基準データ選択ステップは、
前記被選択単位処理データの１つを仮基準データに定める仮基準データ設定ステップと、
前記仮基準データと前記被選択単位処理データのうちの前記仮基準データ以外の単位処理データのそれぞれとを比較することによって得られる評価値の平均値または合計値を比較値として求める比較値算出ステップと
を含み、
前記基準データ選択ステップでは、
前記被選択単位処理データの全てが１回ずつ仮基準データに定められるまで前記仮基準データ設定ステップと前記比較値算出ステップとが繰り返され、
前記比較値算出ステップで求められる比較値が最も小さくなったときに仮基準データに定められている単位処理データが前記基準データとして選択されることを特徴とする。
第４の発明は、第３の発明において、
前記基準データ選択ステップでは、時系列データの種類ごとに、前記比較値算出ステップで求められる比較値が最も小さくなったときに仮基準データに定められている単位処理データが前記基準データとして選択されることを特徴とする。
第５の発明は、第２の発明において、
前記基準データ選択ステップは、
時系列データの種類ごとに、前記被選択単位処理データの各時点における中央値のデータからなる中央値データを作成する中央値データ作成ステップと、
前記被選択単位処理データのそれぞれを前記中央値データと比較することによって、前記被選択単位処理データのそれぞれについての評価値に相当する得点を時系列データの種類ごとに求める得点算出ステップと
を含み、
前記基準データ選択ステップでは、時系列データの種類ごとに求められた得点の合計値が最も良い被選択単位処理データが前記基準データとして選択されることを特徴とする。
第６の発明は、第２の発明において、
前記基準データ選択ステップは、
時系列データの種類ごとに、前記被選択単位処理データの各時点における中央値のデータからなる中央値データを作成する中央値データ作成ステップと、
前記被選択単位処理データのそれぞれを前記中央値データと比較することによって、前記被選択単位処理データのそれぞれについての評価値に相当する得点を時系列データの種類ごとに求める得点算出ステップと
を含み、
前記基準データ選択ステップでは、時系列データの種類ごと、前記得点算出ステップで求められた得点が最も良い被選択単位処理データが前記基準データとして選択されることを特徴とする。
第７の発明は、第２の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記基準データ選択ステップでの基準データの選択は、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から行われることを特徴とする。
第８の発明は、第１の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記単位処理データ選択ステップでの単位処理データの選択は、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から行われることを特徴とする。
第９の発明は、第１の発明において、
前記第１の評価値算出ステップでは、前記被選択単位処理データに含まれる各時系列データを予め定められている基準データと比較することによって評価値の算出が行われることを特徴とする。
第１０の発明は、第１の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記単位処理データ選択ステップは、
各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記２以上の単位処理データとして抽出する単位処理データ抽出ステップと
を含むことを特徴とする。
第１１の発明は、第１の発明において、
前記第１の評価値分布作成ステップでは、前記第１の評価値算出ステップで算出された評価値の標準化が行われ、標準化後の評価値に基づいて前記評価値分布が作成されることを特徴とする。
第１２の発明は、第１の発明において、
前記評価値分布を更新する評価値分布更新ステップを更に含むことを特徴とする。
第１３の発明は、第１２の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布更新ステップは、
各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する第２の評価値算出ステップと、
前記第２の評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する第２の評価値分布作成ステップと
を含むことを特徴とする。
第１４の発明は、第１２の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布更新ステップは、
各時系列データについての評価値に基づいて処理ユニット毎に評価値の平均値およびばらつきを算出する統計値算出ステップと、
前記統計値算出ステップで算出された平均値およびばらつきを考慮して処理ユニットを指定する処理ユニット指定ステップと、
前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する第２の評価値算出ステップと、
前記第２の評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する第２の評価値分布作成ステップと
を含むことを特徴とする。
第１５の発明は、第１２の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
レシピの実行によって新たに得られた単位処理データに含まれる時系列データの異常度を判定するために当該新たに得られた単位処理データに含まれる時系列データの評価値を算出する第３の評価値算出ステップを更に含み、
前記第３の評価値算出ステップが実行される都度、前記評価値分布更新ステップが実行されることを特徴とする。
第１６の発明は、第１２の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
レシピの内容に変更があったときに、前記評価値分布更新ステップが実行されることを特徴とする。
第１７の発明は、第１６の発明において、
前記複数種類の時系列データは、複数のパラメータについての時系列データであって、
前記第１の評価値分布作成ステップでは、パラメータごとに評価値分布が作成され、
前記評価値分布更新ステップでは、内容に変更のあるパラメータに対応する評価値分布のみが更新されることを特徴とする。
第１８の発明は、第１７の発明において、
前記評価値分布更新ステップでは、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布がすでに蓄積されている評価値のデータに基づいて作成されることを特徴とする。
第１９の発明は、第１７の発明において、
前記評価値分布更新ステップでは、外部から指定されたパラメータに対応する評価値分布が再作成されることを特徴とする。
第２０の発明は、単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置であって、
前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択部と、
前記単位処理データ選択部によって選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成部と
を備えることを特徴とする。
第２１の発明は、第２０の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布作成部で作成される評価値分布は、前記複数の処理ユニットのいずれか用の評価値分布として用いられ、
或る処理ユニット用の評価値分布を別の処理ユニット用の評価値分布として複製することができることを特徴とする。
第２２の発明は、基板処理装置で実行される単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理する、複数の基板処理装置を含むデータ処理システムであって、
前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択部と、
前記単位処理データ選択部によって選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成部と
を備えることを特徴とする。
第２３の発明は、第２２の発明において、
前記第１の評価値分布作成部で作成される評価値分布は、前記複数の基板処理装置のいずれか用の評価値分布として用いられ、
或る基板処理装置用の評価値分布を別の基板処理装置用の評価値分布として複製することができることを特徴とする。
第２４の発明は、データ処理プログラムであって、
単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置に含まれるコンピュータに、
前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択ステップと、
前記単位処理データ選択ステップで選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出ステップと、
前記評価値算出ステップで算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
を実行させる。
上記第１の発明によれば、ユーザーによって選択された単位処理データに含まれる各時系列データについての評価値が算出される。そして、評価値の分布を表す評価値分布が作成される。ここで、新しく時系列データが得られた際、評価値分布を用いて当該時系列データの異常検出を行うことができる。その際、例えば、評価値分布の作成元のデータ（評価値のデータ）から得られる統計値に基づいて異常判定を行うための閾値を設定することができる。以上より、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことが可能となる。
上記第２の発明によれば、上記第１の発明と同様の効果が得られる。
上記第３の発明によれば、評価値分布の作成の際、全ての被選択単位処理データを１回ずつ仮基準データに設定することによって、実際に基準データに設定すべき最適な単位処理データが決定される。このように基準データが好適に設定された上で評価値分布が作成されるので、当該評価値分布を用いた異常判定は高精度なものとなる。以上より、予め基準データが定められていないケースにおいても、時系列データの異常判定を高精度で行うことができるよう評価値分布を作成することが可能となる。
上記第４の発明によれば、基準データが時系列データの種類ごとに設けられるので、異常判定の精度がより高められる。
上記第５の発明によれば、評価値分布の作成の際、被選択単位処理データのそれぞれが中央値データと比較されることによって得られる得点のデータに基づいて基準データが決定される。このため、比較的低い処理負荷で基準データを決定することができる。以上より、予め基準データが定められていないケースにおいて、負荷の高い処理を要することなく評価値分布を作成することが可能となる。
上記第６の発明によれば、基準データが時系列データの種類ごとに設けられるので、異常判定の精度がより高められる。
上記第７の発明によれば、基準データ選択ステップにおいて、ユーザーによる基準データを選択する作業が容易となる。
上記第８の発明によれば、単位処理データ選択ステップにおいて、ユーザーによる単位処理データを選択する作業が容易となる。
上記第９の発明によれば、基準データを新たに設定する作業を要することなく、上記第１の発明と同様の効果が得られる。
上記第１０の発明によれば、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、処理ユニット毎の評価値の算出結果に基づいて、安定した処理が行われると考えられる処理ユニットの指定が行われる。そして、その指定された処理ユニットでの処理で得られた単位処理データに基づいて、評価値分布が作成される。このため、当該評価値分布を用いた異常判定は高精度なものとなる。以上より、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことができるよう評価値分布を作成することが可能となる。
上記第１１の発明によれば、評価値分布は標準化されたデータに基づいて作成される。このため、異常判定の際の閾値を標準偏差に基づいて自動的に決定することができる。すなわち、ユーザーによる煩雑な作業を要することなく、異常判定を行うための閾値を客観的に設定することが可能となる。また、このように閾値の設定を客観的なものとすることによって、安定した精度で時系列データの異常判定を行うことが可能となる。以上より、ユーザーの作業負担を効果的に軽減しつつ時系列データを用いた異常検出をより精度良く行うことが可能となる。
上記第１２の発明によれば、評価値分布の更新が行われるので、例えば最近の傾向を考慮しつつ、時系列データを用いた異常検出を行うことが可能となる。
上記第１３の発明によれば、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、処理ユニット毎の評価値の算出結果に基づいて、安定した処理が行われると考えられる処理ユニットの指定が行われる。そして、その指定された処理ユニットでの処理で得られた単位処理データに基づいて、更新後の評価値分布が作成される。このため、当該評価値分布を用いた異常判定は高精度なものとなる。以上より、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことができるよう評価値分布を更新することが可能となる。
上記第１４の発明によれば、上記第１３の発明と同様の効果が得られる。
上記第１５の発明によれば、レシピの実行に伴って時系列データの評価値が算出される都度、評価値分布が更新される。このため、異常判定の精度が徐々に向上する。
上記第１６の発明によれば、レシピの内容の変更に応じて評価値分布が更新されるので、異常判定の精度の低下が抑制される。
上記第１７の発明によれば、評価値分布の更新に多大な時間を要することが防止される。
上記第１８の発明によれば、上記第１７の発明と同様の効果が得られる。
上記第１９の発明によれば、上記第１７の発明と同様の効果が得られる。
上記第２０の発明によれば、上記第１の発明と同様の効果が得られる。
上記第２１の発明によれば、良好なデータに基づく評価値分布を複数の処理ユニット間で共用することが可能となる。これにより、時系列データを用いた異常検出の精度の安定化が可能となる。
上記第２２の発明によれば、複数の基板処理装置を含むデータ処理システムにおいて、上記第１の発明と同様の効果が得られる。
上記第２３の発明によれば、良好なデータに基づく評価値分布を複数の基板処理装置間で共用することが可能となる。これにより、時系列データを用いた異常検出の精度の安定化が可能となる。
上記第２４の発明によれば、上記第１の発明と同様の効果が得られる。
本発明の一実施形態に係るデータ処理システム（基板処理装置用のデータ処理システム）の全体構成を示すブロック図である。 上記実施形態において、基板処理装置の概略構成を示す図である。 上記実施形態において、ある１つの時系列データをグラフ化して表した図である。 上記実施形態において、単位処理データについて説明するための図である。 上記実施形態において、データ処理装置のハードウェア構成を示すブロック図である。 上記実施形態において、評価値分布について説明するための図である。 上記実施形態において、時系列データを用いた異常検出についての全体の処理手順の概略を示すフローチャートである。 上記実施形態において、異常判定対象設定画面の一例を示す図である。 上記実施形態において、異常度の判定について説明するための図である。 上記実施形態において、評価値分布の作成の詳細な手順を示すフローチャートである。 上記実施形態において、単位処理データ選択画面の一例を示す図である。 上記実施形態において、パラメータ指定画面の一例（表示直後の例）を示す図である。 上記実施形態において、パラメータ指定画面の一例（ユーザーよるパラメータ指定後の例）を示す図である。 上記実施形態において、評価値分布の更新について説明するための図である。 上記実施形態の第１の変形例において、評価値分布の作成の詳細な手順を示すフローチャートである。 上記実施形態の第２の変形例において、評価値分布の作成の詳細な手順を示すフローチャートである。 上記実施形態の第２の変形例において、中央値について説明するための図である。 上記実施形態の第３の変形例において、パラメータと時系列データとの関係について説明するための図である。 上記実施形態の第４の変形例において、時系列データを用いた異常検出についての全体の処理手順の概略を示すフローチャートである。 上記実施形態の第５の変形例において、評価値分布の更新の詳細な手順を示すフローチャートである。 上記実施形態の第５の変形例において、処理ユニット毎の評価値の分布の作成について説明するための図である。 上記実施形態の第５の変形例において、ばらつきに加えて評価値も考慮した方が好ましいことについて説明するための図である。 上記実施形態の第６の変形例において、データ処理システムの構成例（データ処理装置が複数存在する例）を示す図である。 上記実施形態の第６の変形例において、データ処理システムの構成例（データ処理装置が１つだけ存在する例）を示す図である。
以下、添付図面を参照しつつ本発明の一実施形態について説明する。
＜１．全体構成＞
図１は、本発明の一実施形態に係るデータ処理システム（基板処理装置用のデータ処理システム）の全体構成を示すブロック図である。このデータ処理システムは、データ処理装置１００と基板処理装置２００とによって構成されている。データ処理装置１００と基板処理装置２００とは通信回線３００によって互いに接続されている。
データ処理装置１００は、機能的には、単位処理データ選択部１１０と評価値算出部１２０と評価値分布作成部１３０と評価値分布更新部１４０と異常度判定部１５０とデータ記憶部１６０とを有している。単位処理データ選択部１１０は、既に蓄積されている後述の複数の単位処理データから２以上の単位処理データを選択する。評価値算出部１２０は、基板処理で得られる時系列データの異常度の判定等に用いるための評価値の算出を行う。例えば、評価値算出部１２０は、単位処理データ選択部１１０によって選択された単位処理データに含まれる各時系列データについての評価値を算出する。評価値分布作成部１３０は、評価値算出部１２０によって算出された評価値（各時系列データについての評価値）に基づいて、後述する評価値分布を作成する。評価値分布更新部１４０は、評価値分布の更新を行う。異常度判定部１５０は、評価値分布が既に存在している状況下、基板処理装置２００でレシピが実行されることによって新たに得られた時系列データについての異常度を当該時系列データの評価値と評価値分布とに基づいて判定する。なお、本実施形態においては、基板処理の結果としては評価値の値が小さいほど好ましいものと仮定する。
データ記憶部１６０には、本実施形態における各種処理を実行するためのデータ処理プログラム１６１が保持されている。データ記憶部１６０には、また、基板処理装置２００から送られる時系列データを格納する時系列データＤＢ１６２、基準データを格納する基準データＤＢ１６３、および評価値分布データを格納する評価値分布データＤＢ１６４が含まれている。基準データおよび評価値分布データについての説明は後述する。なお、「ＤＢ」は「データベース」の略である。
基板処理装置２００は、複数個の処理ユニット２２２を含んでいる。各処理ユニット２２２では、当該処理ユニット２２２の動作状態を示す複数の物理量が測定される。これにより、複数の時系列データ（より詳しくは、複数のパラメータについての時系列データ）が得られる。各処理ユニット２２２における処理で得られた時系列データは、基板処理装置２００からデータ処理装置１００に送られ、上述したように時系列データＤＢ１６２に格納される。
図２は、基板処理装置２００の概略構成を示す図である。基板処理装置２００は、インデクサ部２１０と処理部２２０とを備えている。インデクサ部２１０および処理部２２０の制御は、基板処理装置２００の内部の制御部（不図示）によって行われる。
インデクサ部２１０は、複数枚の基板を収容可能な基板収容器（カセット）を載置するための複数個の基板収容器保持部２１２と、基板収容器からの基板の搬出および基板収容器への基板の搬入を行うインデクサロボット２１４とを含んでいる。処理部２２０は、処理液を用いて基板の洗浄等の処理を行う複数個の処理ユニット２２２と、処理ユニット２２２への基板の搬入および処理ユニット２２２からの基板の搬出を行う基板搬送ロボット２２４とを含んでいる。処理ユニット２２２の数は、例えば１２個である。この場合、例えば、３個の処理ユニット２２２を積層したタワー構造体が図２に示すように基板搬送ロボット２２４の周囲の４箇所に設けられる。各処理ユニット２２２には基板に対する処理を行う空間であるチャンバが設けられており、チャンバ内で基板に処理液が供給される。なお、各処理ユニット２２２は、１つのチャンバを含んでいる。すなわち、処理ユニット２２２とチャンバとは１対１で対応する。
基板に対する処理が行われる際、インデクサロボット２１４は、基板収容器保持部２１２に載置されている基板収容器から処理対象の基板を取り出して、当該基板を基板受け渡し部２３０を介して基板搬送ロボット２２４に渡す。基板搬送ロボット２２４は、インデクサロボット２１４から受け取った基板を対象の処理ユニット２２２に搬入する。基板に対する処理が終了すると、基板搬送ロボット２２４は、対象の処理ユニット２２２から基板を取り出して、当該基板を基板受け渡し部２３０を介してインデクサロボット２１４に渡す。インデクサロボット２１４は、基板搬送ロボット２２４から受け取った基板を対象の基板収容器に搬入する。
このデータ処理システムでは、各処理ユニット２２２での処理に関わる機器の異常や各処理ユニット２２２で行われた処理の異常などを検出するために、レシピが実行される都度、時系列データが取得される。本実施形態で取得される時系列データは、レシピが実行された際に各種の物理量（例えば、ノズルから供給される処理流体の流量や温度、チャンバ内の湿度、チャンバの内圧、チャンバの排気圧など）をセンサなどを用いて測定して測定結果を時系列に並べて得られたデータである。また、カメラによって撮像された画像に解析を加えて得られたデータを時系列に並べたものも時系列データとなる。各種の物理量はそれぞれ対応するパラメータの値として処理される。なお、１つのパラメータは１種類の物理量に対応する。
図３は、ある１つの時系列データをグラフ化して表した図である。この時系列データは、１つのレシピが実行されたときに１つの処理ユニット２２２内のチャンバで１枚の基板に対する処理によって得られた或る物理量についてのデータである。なお、時系列データは複数の離散値で構成されるデータであるが、図３では時間的に隣接する２つのデータ値の間を直線で結んでいる。ところで、１つのレシピが実行されたときには、当該レシピが実行された処理ユニット２２２毎に、様々な物理量についての時系列データが得られる。そこで、以下、１つのレシピが実行されたときに１つの処理ユニット２２２内のチャンバで１枚の基板に対して行われる処理のことを「単位処理」といい、単位処理によって得られる一群の時系列データのことを「単位処理データ」という。１つの単位処理データには、模式的には図４に示すように、複数のパラメータについての時系列データおよび該当の単位処理データを特定するための複数の項目（例えば、処理の開始時刻・処理の終了時刻など）のデータ等からなる属性データが含まれている。なお、図４に関し、「パラメータＡ」，「パラメータＢ」，および「パラメータＣ」は、互いに異なる種類の物理量に対応している。
機器や処理の異常を検出するためには、レシピの実行によって得られた単位処理データを、処理結果として理想的なデータ値を持つ単位処理データと比較すべきである。より詳しくは、レシピの実行によって得られた単位処理データに含まれる複数の時系列データを、それぞれ、処理結果として理想的なデータ値を持つ単位処理データに含まれる複数の時系列データと比較すべきである。そこで、本実施形態においては、各レシピに関し、評価対象の単位処理データと比較するための単位処理データ（評価対象の単位処理データに含まれる複数の時系列データとそれぞれ比較するための複数の時系列データからなる単位処理データ）が基準データ（評価値を算出する際の基準となるデータ）として定められている。この基準データが上述した基準データＤＢ１６３（図１参照）に格納されている。
ここで、図５を参照しつつ、データ処理装置１００のハードウェア構成について説明する。データ処理装置１００は、ＣＰＵ１１と主メモリ１２と補助記憶装置１３と表示部１４と入力部１５と通信制御部１６と記録媒体読み取り部１７とを備えている。ＣＰＵ１１は、与えられた命令に従い各種演算処理等を行う。主メモリ１２は、実行中のプログラムやデータ等を一時的に格納する。補助記憶装置１３は、電源がオフされても保持されるべき各種プログラム・各種データを格納する。上述したデータ記憶部１６０は、この補助記憶装置１３によって実現される。表示部１４は、例えば、オペレータが作業を行うための各種画面を表示する。この表示部１４には、例えば、液晶ディスプレイが使用される。入力部１５は、例えばマウスやキーボードなどであって、オペレータによる外部からの入力を受け付ける。通信制御部１６は、データ送受信の制御を行う。記録媒体読み取り部１７は、プログラムなどを記録した記録媒体４００のインターフェイス回路である。記録媒体４００には、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの非一過性の記録媒体が使用される。
データ処理装置１００が起動すると、補助記憶装置１３（データ記憶部１６０）に保持されたデータ処理プログラム１６１（図１参照）が主メモリ１２に読み込まれ、その主メモリ１２に読み込まれたデータ処理プログラム１６１をＣＰＵ１１が実行する。これにより、各種データ処理を行う機能がデータ処理装置１００によって提供される。なお、データ処理プログラム１６１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体４００に記録された形態や通信回線３００を介したダウンロードの形態で提供される。
＜２．基板処理の評価＞
＜２．１ 評価値分布＞
本実施形態においては、各時系列データについての異常判定を行うために、評価値算出部１２０で求められた評価値の値ごとの度数を表す評価値分布が用いられる。この評価値分布について、図６を参照しつつ詳しく説明する。
評価値分布はパラメータ毎（すなわち、時系列データの種類毎）に用意される。或る１つのパラメータに着目すると、時系列データの評価値毎の度数を表す分布は例えば図６のＡ部に示すようなものとなる。図６のＡ部に関し、μは分布の生成元の評価値の平均値であり、σは分布の生成元の評価値の標準偏差である。ここで、分布の生成元の評価値のそれぞれについて標準化を行うことによって、評価値分布５として図６のＢ部に示すような分布（平均値が０かつ分散・標準偏差が１である分布）を作成することができる。なお、標準化前の評価値をＳｏｌｄとし、標準化後の評価値をＳｎｅｗとすると、標準化は次式（１）によって行われる。
Figure 2020047846
上述のような評価値分布５が用意されている状況下、レシピの実行によって新たに時系列データが生成されると、当該時系列データについての評価値が求められる。そして、その求められた評価値に対して、評価値分布５を作成した際の平均値μおよび標準偏差σを用いて上式（１）に基づく標準化が行われる。その標準化によって得られた評価値に基づいて、該当の時系列データについての異常度が決定される。
異常度の決定に関し、本実施形態においては、標準化後の評価値の範囲が４つのゾーンに区分されている。すなわち、４つのレベルで各時系列データの異常度が判定される。具体的には、図６のＢ部に示すように、（標準化後の）評価値が１未満であれば異常度はレベル１（Ｌ１）と判定され、評価値が１以上２未満であれば異常度はレベル２（Ｌ２）と判定され、評価値が２以上３未満であれば異常度はレベル３（Ｌ３）と判定され、評価値が３以上であれば異常度はレベル４（Ｌ４）と判定される。
ところで、標準化後の評価値の範囲についての４つのゾーンへの区分は標準偏差に基づいて行われる。すなわち、ゾーン間の閾値は自動的に決定される。従って、従来とは異なり、時系列データの異常判定を行うためにユーザーは閾値を設定するという煩雑な作業を要することはない。
＜２．２ 全体の処理フロー＞
図７は、時系列データを用いた異常検出についての全体の処理手順の概略を示すフローチャートである。なお、この処理の開始前にある程度の数の時系列データが既に蓄積されているものと仮定する。
まず、時系列データを用いた異常検出（各時系列データについての異常判定）を可能にするために、上述した評価値分布５の作成が行われる（ステップＳ１０）。本実施形態においては、全ての処理ユニット２２２に共通の評価値分布５がパラメータ毎に作成される。評価値分布５の作成の詳細な手順については後述する。
次に、ユーザーによって、異常判定の対象とする処理ユニット（チャンバ）およびパラメータの指定が行われる（ステップＳ２０）。この際、データ処理装置１００の表示部１４に例えば図８に示すような異常判定対象設定画面（図８には、実際に表示される画面の一部のみを示している。図１１，図１２，図１３も同様。）５００が表示され、異常判定の対象とする処理ユニットおよびパラメータをユーザーが指定する。図８に示す例では、チェックボックスが選択状態となっている処理ユニットおよびリストボックス内で選択状態となっているパラメータが異常判定の対象として指定されている。なお、ステップＳ１０では全ての処理ユニット２２２での処理で得られた時系列データを用いて全てのパラメータについての評価値分布５が作成されるが、ステップＳ２０で指定された処理ユニットでの処理で得られた時系列データのうちのステップＳ２０で指定されたパラメータについての時系列データだけが実際に異常判定が行われる対象となる。
その後、基板処理装置２００でレシピが実行される（ステップＳ３０）と、当該レシピの実行によって得られた時系列データのうちの異常判定対象の時系列データについてのスコアリングが行われる（ステップＳ４０）。なお、スコアリングとは、各時系列データを基準データと比較してそれによって得られる結果を評価値として数値化する処理である。スコアリングの終了後、各時系列データについて、対応する評価値分布５を用いて異常度の判定が行われる（ステップＳ５０）。このステップＳ５０では、まず、ステップＳ４０で得られた評価値に標準化が施される。評価値の標準化は上式（１）によって行われるところ、上式（１）中の平均値μおよび標準偏差σには、該当の評価値分布５の作成の際に得られた平均値μおよび標準偏差σが使用される。そして、評価値分布５上における標準化後の評価値の位置に基づいて異常度が決定される。例えば、標準化後の評価値が図９において符号５１を付した位置の値である場合、該当の時系列データの異常度は「レベル２」と判定される。
本実施形態においては、いずれかのレシピの内容に変更があるまで、ステップＳ３０〜ステップＳ５０の処理が繰り返される。すなわち、或るレシピが実行されたときの異常度の判定は、当該レシピの内容に変更があるまで、同じ評価値分布５を用いて行われる。いずれかのレシピの内容に変更があると、評価値分布５の更新が行われる（ステップＳ６０）。このステップＳ６０によって評価値分布更新ステップが実現されている。本実施形態によれば、このように評価値分布の更新が行われるので、例えば最近の傾向を考慮しつつ、時系列データを用いた異常検出を行うことが可能となる。なお、評価値分布５の更新についての詳しい説明は後述する。評価値分布５の更新後、処理はステップＳ３０に戻る。
＜３．評価値分布の作成方法＞
図１０を参照しつつ、本実施形態における評価値分布５の作成（図７のステップＳ１０）の詳細な手順について説明する。まず、ユーザーによって、評価値分布５の作成元となる２以上の単位処理データの選択が行われる（ステップＳ１１０）。ステップＳ１１０では、データ処理装置１００の表示部１４に例えば図１１に示すような単位処理データ選択画面６００が表示される。単位処理データ選択画面６００には、開始時点入力ボックス６１と終了時点入力ボックス６２と処理ユニット指定ボックス６３とレシピ指定ボックス６４と抽出データ表示領域６５と確定ボタン６６とが含まれている。開始時点入力ボックス６１と終了時点入力ボックス６２とは日時の指定が可能なリストボックスであって、処理ユニット指定ボックス６３とレシピ指定ボックス６４とは複数の項目から１以上の項目の選択が可能なリストボックスである。ユーザーは、開始時点入力ボックス６１と終了時点入力ボックス６２とで期間を指定し、処理ユニット指定ボックス６３で処理ユニットを指定し、レシピ指定ボックス６４でレシピを指定する。これにより、指定された条件に該当する単位処理データの一覧が抽出データ表示領域６５に表示される。ユーザーは、抽出データ表示領域６５に表示された単位処理データの一部または全てを選択した状態で確定ボタン６６を押下する。これにより、評価値分布５の作成元となる単位処理データが確定する。なお、必ずしも期間、処理ユニット、およびレシピの全てが指定される必要はなく、期間、処理ユニット、およびレシピのうちの少なくともいずれかが指定されれば良い。
次に、ステップＳ１１０で選択された単位処理データ（以下、「被選択単位処理データ」という。）に含まれる各時系列データについて、評価値の算出が行われる（ステップＳ１１１）。本実施形態においては、予め基準データが基準データＤＢ１６３に保持されている。すなわち、被選択単位処理データに含まれる各時系列データと比較すべき基準データは基準データＤＢ１６３に保持されている。従って、ステップＳ１１１では、被選択単位処理データに含まれる各時系列データが基準データＤＢ１６３（図１参照）に保持されている基準データと比較され、当該各時系列データについての評価値が算出される。
次に、ステップＳ１１１で算出された評価値の標準化が行われる（ステップＳ１１２）。上述したように、評価値の標準化は上式（１）を用いて行われる。ところで、評価値分布５はパラメータ毎に作成されるので、上式（１）中の平均値μおよび標準偏差σはパラメータ毎に求められる。
最後に、パラメータ毎（すなわち、時系列データの種類毎）に、標準化後の評価値のデータに基づいて評価値分布５が作成される（ステップＳ１１３）。この評価値分布５を構成するデータは評価値分布データとして上述した評価値分布データＤＢ１６４（図１参照）に保持される。
なお、本実施形態においては、ステップＳ１１０によって単位処理データ選択ステップが実現され、ステップＳ１１１によって第１の評価値算出ステップが実現され、ステップＳ１１２およびステップＳ１１３によって第１の評価値分布作成ステップが実現されている。
＜４．評価値分布の更新方法＞
次に、評価値分布５の更新について説明する。基板処理装置２００でレシピが実行されることによって得られる単位処理データには、複数のパラメータについての時系列データが含まれている。上述したように、本実施形態においては、そのパラメータ毎に評価値分布５が作成される。ところで、基板処理装置２００では、レシピの内容に変更が施されることがある。レシピの内容に変更があると、その変更の前後で、レシピの実行によって得られる時系列データの中身が異なるものとなる。このとき、仮にレシピの変更後に得られた時系列データの異常判定をレシピの変更前に作成された評価値分布５を用いて行うと、当該異常判定の結果として正しい結果が得られないおそれがある。そこで、本実施形態においては、レシピの内容に変更があったときに評価値分布５の更新が行われる。なお、レシピの内容に変更があった直後には変更後の内容に基づく時系列データが蓄積されていないため、評価値分布５の更新は変更後の内容に基づく時系列データがある程度蓄積されてから行われることが好ましい。
評価値分布５の更新の際、評価値分布更新部１４０は、変更前のレシピに対応付けられているパラメータと変更後のレシピに対応付けられているパラメータとを比較する。そして、評価値分布更新部１４０は、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布５を既に蓄積されている評価値（該当のパラメータについての時系列データの評価値）のデータに基づいて作成する。また、内容に変更があったパラメータの指定がユーザーによって行われ、評価値分布更新部１４０は、その指定されたパラメータに対応する評価値分布５を再作成する。
例えば、或るレシピの内容の変更によって、当該レシピに対応付けられているパラメータ群が以下のように変化したと仮定する。
変更前：パラメータＡ、パラメータＢ、パラメータＣ、パラメータＤ
変更後：パラメータＡ、パラメータＣ、パラメータＤ、パラメータＥ
なお、パラメータＡおよびパラメータＤについては時系列データの中身に変化はなく、パラメータＣについては時系列データの中身に変化があると仮定する。
上記の例の場合、評価値分布５の更新の際に、データ処理装置１００の表示部１４に例えば図１２に示すようなパラメータ指定画面７００が表示される。パラメータ指定画面７００には、変更後のパラメータ群（パラメータＡ、パラメータＣ、パラメータＤ、パラメータＥ）に対応するチェックボックスが含まれている。レシピの内容の変更に伴って追加されたパラメータであるパラメータＥに対応するチェックボックスは予め選択状態（図１２では、網掛け状態）となっている。このようなパラメータ指定画面７００において、パラメータＣについては時系列データの中身に変化があるので、図１３に示すようにユーザーはパラメータＣに対応するチェックボックスを選択状態にする。このようにしてユーザーによるパラメータの指定が行われた後、実際に評価値分布５の更新が行われる。その結果、模式的には図１４に示すように評価値分布５が更新される。具体的には、レシピの内容の変更に伴って削除されたパラメータであるパラメータＢについての評価値分布５は削除され、レシピの内容の変更に伴って追加されたパラメータであるパラメータＥについての評価値分布５が新規に作成され、ユーザーによって指定されたパラメータであるパラメータＣについての評価値分布５が再作成される。なお、パラメータＡおよびパラメータＤについての評価値分布５は、レシピの内容の変更前の状態で維持される。
以上のように、レシピの内容の変更に関わるパラメータについての評価値分布５のみ更新（作成、再作成、削除）が行われる。これにより、評価値分布５の更新に多大な時間を要することが防止される。
＜５．効果＞
本実施形態によれば、ユーザーによって選択された単位処理データに含まれる各時系列データについての評価値が算出される。そして、その評価値に対して統計的な標準化が施され、標準化後の評価値の分布を表す評価値分布５が作成される。このようにして評価値分布５が作成されている状況下、レシピの実行によって新しく時系列データが生成されると、当該時系列データに関し、評価値分布５上における評価値（詳しくは、スコアリングによって得られた評価値の標準化後の値）の位置に基づいて異常度が決定される。これに関し、評価値分布５は標準化されたデータに基づいて作成された分布であるので、異常判定の際の閾値を標準偏差に基づいて自動的に決定することができる。すなわち、ユーザーによる煩雑な作業を要することなく、異常判定を行うための閾値を客観的に設定することが可能となる。また、このように閾値の設定を客観的なものとすることによって、安定した精度で時系列データの異常判定を行うことが可能となる。以上のように、本実施形態によれば、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことが可能となる。
＜６．変形例＞
以下、上記実施形態の変形例について説明する。
＜６．１ 評価値分布の作成に関する変形例＞
上記実施形態においては、評価値分布５の作成が開始される際に、既に各レシピに関して基準データが定められていた。しかしながら、データ処理システムによっては、上述のような基準データが定められていないケースもある。そこで、第１〜第３の変形例として、基準データが予め定められていないケースにおける評価値分布５の作成方法について説明する。
＜６．１．１ 第１の変形例＞
図１５を参照しつつ、本変形例における評価値分布５の作成（図７のステップＳ１０）の詳細な手順について説明する。まず、ユーザーによって、評価値分布５の作成元となる２以上の単位処理データの選択が行われる（ステップＳ１２０）。ステップＳ１２０では、上記実施形態におけるステップＳ１１０（図１０参照）と同様にして単位処理データの選択が行われる。すなわち、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から２以上の単位処理データが選択される。
次に、被選択単位処理データ（ステップＳ１２０で選択された単位処理データ）のうちの１つが仮基準データに定められる（ステップＳ１２１）。次に、仮基準データと被選択単位処理データのうちの仮基準データ以外の単位処理データのそれぞれとを比較することによって得られる「複数の評価値」の平均値（合計値でも良い）がパラメータ毎に求められる（ステップＳ１２２）。仮に被選択単位処理データに１０個のパラメータについての時系列データが含まれていれば、ステップＳ１２２では平均値のデータが１０個得られる。そして、それら１０個のデータ（平均値のデータ）の合計が比較値として扱われる。ステップＳ１２１およびステップＳ１２２が繰り返されることにより、被選択単位処理データに含まれる単位処理データの数に等しい数の比較値のデータが得られる。仮に被選択単位処理データに５０個の単位処理データが含まれていれば、ステップＳ１２１およびステップＳ１２２の処理が５０回繰り返され、５０個の比較値のデータが得られる。
被選択単位処理データに含まれる単位処理データの数に等しい数の比較値のデータが得られた後、基準データが決定される（ステップＳ１２３）。具体的には、ステップＳ１２１およびステップＳ１２２が繰り返されることによって得られた複数の比較値のうち最も小さい比較値に対応する仮基準データとしての単位処理データが基準データとして選択される。換言すれば、ステップＳ１２２で求められる比較値が最も小さくなったときに仮基準データに定められていた単位処理データが基準データとして選択される。
基準データの決定後、被選択単位処理データに含まれる各時系列データについて、評価値の算出が行われる（ステップＳ１２４）。ステップＳ１２４では、被選択単位処理データに含まれる各時系列データがステップＳ１２３で選択された基準データと比較され、当該各時系列データについての評価値が算出される。
その後、上記実施形態におけるステップＳ１１２と同様にして評価値の標準化が行われ（ステップＳ１２５）、さらに、上記実施形態におけるステップＳ１１３と同様にして評価値分布５の作成が行われる（ステップＳ１２６）。
なお、本変形例においては、ステップＳ１２０によって単位処理データ選択ステップが実現され、ステップＳ１２１〜Ｓ１２３によって基準データ選択ステップが実現され、ステップＳ１２４によって第１の評価値算出ステップが実現され、ステップＳ１２５およびステップＳ１２６によって第１の評価値分布作成ステップが実現されている。また、ステップＳ１２１によって仮基準データ設定ステップが実現され、ステップＳ１２２によって比較値算出ステップが実現されている。
本変形例によれば、予め基準データが定められていないケースにおいて、時系列データの異常判定に用いる評価値分布５が作成される。また、その評価値分布５の作成の際、全ての被選択単位処理データを１回ずつ仮基準データに設定することによって、実際に基準データに設定すべき最適な単位処理データが決定される。このように基準データが好適に設定された上で評価値分布５が作成されるので、当該評価値分布５を用いた異常判定は高精度なものとなる。以上のように、本変形例によれば、予め基準データが定められていないケースにおいても、時系列データの異常判定を高精度で行うことができるよう評価値分布５を作成することが可能となる。
＜６．１．２ 第２の変形例＞
図１６を参照しつつ、本変形例における評価値分布５の作成（図７のステップＳ１０）の詳細な手順について説明する。まず、ユーザーによって、評価値分布５の作成元となる２以上の単位処理データの選択が行われる（ステップＳ１３０）。ステップＳ１３０では、上記実施形態におけるステップＳ１１０（図１０参照）と同様にして単位処理データの選択が行われる。すなわち、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から２以上の単位処理データが選択される。
次に、パラメータ毎（すなわち、時系列データの種類毎）に、被選択単位処理データの各時点における中央値のデータからなる中央値データが作成される（ステップＳ１３１）。これに関し、被選択単位処理データの数が奇数個であれば、データを降順あるいは昇順に並べた時に真ん中の順位となるデータの値が中央値となる。例えば、被選択単位処理データの数が５個であれば、図１７に示すように、大きさが３番目の値が中央値となる。なお、図１７では、中央値データを太実線で表し、被選択単位処理データである５個のデータを細実線で表している。また、被選択単位処理データの数が偶数個であれば、データを降順あるいは昇順に並べた時に真ん中の順位となる２つのデータの値の和を２で除することによって得られる値が中央値となる。例えば、被選択単位処理データの数が６個であれば、大きさが３番目の値と大きさが４番目の値の和を２で除することによって得られる値が中央値となる。そして、すべての時点の中央値のデータを１つにまとめたデータが中央値データとなる。なお、上述のような中央値データに代えて各時点の中心値（最小値と最大値との和を２で除することによって得られる値）あるいは平均値のデータからなる代表値データを後述するステップＳ１３２で用いるようにしても良い。
次に、被選択単位処理データのそれぞれについて、パラメータ毎に、中央値データとの比較によって評価値が求められる（ステップＳ１３２）。以下、このステップＳ１３２で求められる評価値のことを便宜上「得点」という。その後、ステップＳ１３２で得られた得点のデータに基づき、基準データが決定される（ステップＳ１３３）。具体的には、ステップＳ１３２でパラメータ毎（時系列データの種類毎）に求められた得点の合計値が最も小さい（最も良い）被選択単位処理データが基準データとして選択される。仮に被選択単位処理データに１０個のパラメータについての時系列データが含まれていれば、ステップＳ１３２では被選択単位処理データのそれぞれについて得点のデータが１０個得られる。そして、ステップＳ１３３では、被選択単位処理データ毎に１０個の得点のデータの合計値が求められ、その合計値が最も小さい被選択単位処理データが基準データとして選択される。
基準データの決定後、被選択単位処理データに含まれる各時系列データについて、評価値の算出が行われる（ステップＳ１３４）。ステップＳ１３４では、被選択単位処理データに含まれる各時系列データがステップＳ１３３で選択された基準データと比較され、当該各時系列データについての評価値が算出される。
その後、上記実施形態におけるステップＳ１１２と同様にして評価値の標準化が行われ（ステップＳ１３５）、さらに、上記実施形態におけるステップＳ１１３と同様にして評価値分布５の作成が行われる（ステップＳ１３６）。
なお、本変形例においては、ステップＳ１３０によって単位処理データ選択ステップが実現され、ステップＳ１３１〜Ｓ１３３によって基準データ選択ステップが実現され、ステップＳ１３４によって第１の評価値算出ステップが実現され、ステップＳ１３５およびステップＳ１３６によって第１の評価値分布作成ステップが実現されている。また、ステップＳ１３１によって中央値データ作成ステップが実現され、ステップＳ１３２によって得点算出ステップが実現されている。
本変形例によれば、予め基準データが定められていないケースにおいて、時系列データの異常判定に用いる評価値分布５が作成される。また、その評価値分布５の作成の際、被選択単位処理データのそれぞれが中央値データと比較されることによって得られる得点のデータに基づいて基準データが決定される。このような手法で基準データが決定されるので、上記第１の変形例に比べて処理負荷が軽減される。以上のように、本変形例によれば、予め基準データが定められていないケースにおいて、負荷の高い処理を要することなく評価値分布５を作成することが可能となる。
＜６．１．３ 第３の変形例＞
上記第１の変形例および上記第２の変形例では、各レシピに関し、或る１つの単位処理データに含まれる時系列データが全てのパラメータについての基準データとして採用されていた。しかしながら、パラメータ毎に、異なる単位処理データに含まれている時系列データが基準データとして採用されても良い。例えば、或るレシピに対応付けられている３つのパラメータ（パラメータＡ、パラメータＢ、パラメータＣ）に着目したとき、図１８に示すように、パラメータＡについての基準データとして扱われる時系列データとパラメータＢについての基準データとして扱われる時系列データとパラメータＣについての基準データとして扱われる時系列データとが互いに異なる単位処理データに含まれる時系列データであっても良い。
そこで、上記第１の変形例におけるステップＳ１２３（図１５参照）に関し、パラメータ毎に基準データが決定（選択）されるようにしても良い。すなわち、ステップＳ１２３では、パラメータ毎に（時系列データの種類毎に）、ステップＳ１２２で求められる比較値が最も小さくなったときに仮基準データに定められていた単位処理データが基準データとして選択されるようにしても良い。
同様に、上記第２の変形例におけるステップＳ１３３（図１６参照）に関し、パラメータ毎に基準データが決定（選択）されるようにしても良い。すなわち、ステップＳ１３３では、パラメータ毎に（時系列データの種類毎に）、ステップＳ１３２で求められた得点が最も小さい（最も良い）被選択単位処理データが基準データとして選択されるようにしても良い。
＜６．２ 評価値分布の更新に関する変形例＞
次に、評価値分布５の更新に関する変形例について説明する。
＜６．２．１ 第４の変形例＞
上記実施形態においては、レシピの内容に変更があったときに評価値分布５が更新されていた。しかしながら、本発明はこれに限定されず、スコアリングが実行される都度、評価値分布５が更新されるようにしても良い。
図１９は、本変形例における時系列データを用いた異常検出についての全体の処理手順の概略を示すフローチャートである。上記実施形態においては、いずれかのレシピの内容に変更があるまで、ステップＳ３０〜ステップＳ５０の処理が繰り返されていた（図７参照）。これに対して、本変形例においては、スコアリング（ステップＳ４０）の結果に基づいて異常度の判定（ステップＳ５０）が行われた後、必ず評価値分布５の更新（ステップＳ６０）が行われる。なお、ステップＳ４０によって第３の評価値算出ステップが実現され、ステップＳ６０によって評価値分布更新ステップが実現される。
ところで、評価値分布５を作成するためには、作成元の全ての単位処理データに基づいて平均値および標準偏差の算出を行う必要がある。すなわち、評価値分布５の更新をスコアリングが実行される都度行うためには、スコアリングの都度、平均値および標準偏差の算出を行う必要がある。これに関し、仮に、スコアリングの都度、評価値分布５の作成元の全ての単位処理データを用いて平均値および標準偏差の算出が行われると、計算のための負荷が非常に大きくなる。そこで、評価値分布５の作成元の単位処理データの数がｎ個からｎ＋１個に増えたときに以下の式（２）〜（４）を用いて逐次的に平均値および分散（標準偏差の２乗）を求めるようにすれば良い。
Figure 2020047846
 ここで、μn+1は評価値分布５の作成元の単位処理データの数がｎ＋１個に増えた状態での評価値の平均値であり、μnは評価値分布５の作成元の単位処理データの数がｎ個であった状態での評価値の平均値であり、ｘn+1は追加された単位処理データの評価値であり、σ2 n+1は評価値分布５の作成元の単位処理データの数がｎ＋１個に増えた状態での評価値の分散であり、σ2 nは評価値分布５の作成元の単位処理データの数がｎ個であった状態での評価値の分散である。
上式（３）を用いてμn+1を求める際には既にμnは求められており、また、上式（４）を用いてσ2 n+1を求める際には既にσ2 nは求められている。従って、更新後の評価値分布５を作成するための平均値および標準偏差（標準偏差は分散から簡単に得られる）を比較的低い負荷で求めることが可能となる。
評価値分布５の作成元の単位処理データの数が少なければ、時系列データの異常判定に関して良好な精度が得られない。この点、本変形例によれば、スコアリングが実行される都度、評価値分布５が更新されるので、異常判定の精度が徐々に向上する。また、平均値や標準偏差が一定範囲内の値に収束する（異常判定に関して充分な精度が得られる）までには多少の時間を要するものの、レシピの実行結果としての単位処理データが全く得られていない状況下でもスコアリングや評価値分布５の作成に関する各種の設定作業を予め行うことが可能となる。
＜６．２．２ 第５の変形例＞
上記実施形態においては、ユーザーが任意に選択した単位処理データに基づいて、評価値分布５の作成・更新が行われていた。しかしながら、本発明はこれに限定されず、評価値分布５の更新が指定された処理ユニット２２２での処理で得られた単位処理データに基づいて行われるようにしても良い。
図２０は、本変形例における評価値分布５の更新の詳細な手順を示すフローチャートである。本変形例においては、評価値分布５の更新の際、まず、スコアリング結果（評価値のデータ）の抽出が行われる（ステップＳ６００）。ステップＳ６００では、例えば、１つの評価値分布５につき直近に得られた１０００個の単位処理データについてのスコアリング結果が抽出される。
次に、ステップＳ６００で抽出されたスコアリング結果に基づいて、処理ユニット２２２毎に評価値のばらつき（分散または標準偏差）が算出される（ステップＳ６０１）。なお、この際、評価値のデータの標準化は行われない。ところで、ステップＳ６００で抽出されたスコアリング結果に基づいて分布（評価値の分布）が作成されると、当該分布は、模式的には例えば図２１に示すように、処理ユニット毎に異なるものとなる。ここで、通常、出力結果に異常度の高い時系列データを多く含んでいる処理ユニット２２２ほど、上述の分布に基づくばらつきは大きくなると考えられる。そこで、上述のように、ステップＳ６０１では処理ユニット２２２毎に評価値のばらつきが算出される。そして、ステップＳ６０１で算出されたばらつきのうち最も小さいばらつきが得られた処理ユニット２２２の指定が行われる（ステップＳ６０２）。
その後、ステップＳ６０２で指定された処理ユニット２２２での処理で得られた単位処理データが、例えば上述した直近に得られた１０００個の単位処理データから抽出される（ステップＳ６０３）。次に、ステップＳ６０３で抽出された単位処理データ（以下、「被抽出単位処理データ」という。）に含まれる各時系列データについて、評価値の算出が行われ（ステップＳ６０４）、さらに、ステップＳ６０４で算出された評価値の標準化が行われる（ステップＳ６０５）。なお、ステップＳ６０５でも評価値の標準化は上式（１）を用いて行われる。最後に、パラメータ毎（すなわち、時系列データの種類毎）に、標準化後の評価値のデータに基づいて更新後の評価値分布５が作成される（ステップＳ６０６）。
なお、本変形例においては、ステップＳ６０１によってばらつき算出ステップが実現され、ステップＳ６０２によって処理ユニット指定ステップが実現され、ステップＳ６０３によって単位処理データ抽出ステップが実現され、ステップＳ６０４によって第２の評価値算出ステップが実現され、ステップＳ６０５およびステップＳ６０６によって第２の評価値分布作成ステップが実現されている。
本変形例によれば、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、処理ユニット２２２毎のスコアリング結果に基づいて、安定した処理が行われると考えられる処理ユニット２２２の選択（指定）が行われる。そして、その選択された処理ユニット２２２での処理で得られた単位処理データに基づいて、更新後の評価値分布５が作成される。このため、当該評価値分布５を用いた異常判定は高精度なものとなる。以上のように、本変形例によれば、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことが可能となるように、評価値分布５が更新される。
なお、上述の例では、ステップＳ６０２での処理ユニット２２２の指定は評価値のばらつきのみを考慮して行われる。これに関し、例えば図２２に示すように、比較的異常度の低い時系列データを多く含んでいる処理ユニットに対応する分布よりも比較的異常度の高い時系列データを多く含んでいる処理ユニットに対応する分布の方がばらつきが小さくなるケースが生じることも考えられる。そこで、例えば、上記ステップＳ６０１（図２０参照）において評価値のばらつきに加えて評価値の平均値を算出し、ステップＳ６０２において評価値のばらつきおよび評価値の平均値の双方を考慮して処理ユニット２２２の指定が行われるようにしても良い。この場合、ステップＳ６０１によって統計値算出ステップが実現される。
ところで、評価値分布５を新規に作成する際に本変形例に係る手法を採用することもできる。すなわち、上記実施形態におけるステップＳ１１０（図１０参照）の処理に関し、本変形例におけるステップＳ６０１〜Ｓ６０３の手順で単位処理データの選択が行われても良い。これにより、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことが可能となるように、評価値分布５が作成される。
＜６．３ データ処理システムの全体構成に関する変形例（第６の変形例）＞
上記実施形態においては、データ処理システムは１つの基板処理装置２００とそれに対応する１つのデータ処理装置１００とによって構成されていた。しかしながら、本発明はこれに限定されない。例えば、図２３に示すようにデータ処理システムが複数の基板処理装置２００とそれらに１対１で対応する複数のデータ処理装置１００とによって構成されていても良いし、図２４に示すようにデータ処理システムが複数の基板処理装置２００と１つのデータ処理装置１００とによって構成されていても良い。すなわち、データ処理システムに複数の基板処理装置２００が含まれていても良い。
また、複数の基板処理装置２００を含むデータ処理システムにおいて、任意のパラメータについての評価値分布５が基板処理装置２００毎に用意されるようにしても良い。すなわち、データ処理装置１００で作成される各評価値分布５が複数の基板処理装置２００のうちの当該データ処理装置１００に対応する基板処理装置２００用の評価値分布５として用いられるようにしても良い。この場合において、データ処理システム内で或る基板処理装置２００用の評価値分布５を別の基板処理装置２００用の評価値分布５として複製することができるようにしても良い。すなわち、任意の基板処理装置２００用の評価値分布５をエクスポートすることや評価値分布５を任意の基板処理装置２００用のものとしてインポートすることが可能であっても良い。
本変形例によれば、良好なデータに基づく評価値分布５を複数の基板処理装置２００間で共用することが可能となる。これにより、時系列データを用いた異常検出の精度の安定化が可能となる。
＜６．４ 評価値分布と処理ユニットとの対応に関する変形例（第７の変形例）＞
上記実施形態においては、全ての処理ユニット２２２に共通の評価値分布５がパラメータ毎に作成されていた。しかしながら、本発明はこれに限定されず、各パラメータについての評価値分布５が処理ユニット２２２毎に作成されるようにしても良い。すなわち、データ処理装置１００で作成される各評価値分布５が複数の処理ユニット２２２のいずれか用の評価値分布５として用いられるようにしても良い。この場合において、或る処理ユニット２２２用の評価値分布５を別の処理ユニット２２２用の評価値分布５として複製することができるようにしても良い。すなわち、任意の処理ユニット２２２用の評価値分布５をエクスポートすることや評価値分布５を任意の処理ユニット２２２用のものとしてインポートすることが可能であっても良い。
本変形例によれば、良好なデータに基づく評価値分布５を複数の処理ユニット２２２間で共用することが可能となる。これにより、時系列データを用いた異常検出の精度の安定化が可能となる。
＜７．その他＞
上記で説明した実施形態や変形例を矛盾を生ずることなく適宜に組み合わせた構成も、本発明の趣旨に反しない限り本発明の範囲に含まれる。
５…評価値分布
１００…データ処理装置
１１０…単位処理データ選択部
１２０…評価値算出部
１３０…評価値分布作成部
１４０…評価値分布更新部
１５０…異常度判定部
１６０…データ記憶部
１６１…データ処理プログラム
２００…基板処理装置
２２２…処理ユニット

Claims (24)

  1. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理方法であって、
    前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択ステップと、
    前記単位処理データ選択ステップで選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する第１の評価値算出ステップと、
    前記第１の評価値算出ステップで算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する第１の評価値分布作成ステップと
    を含むことを特徴とする、データ処理方法。
  2. 前記複数の単位処理データの中から評価値を算出する際の基準となる基準データを選択する基準データ選択ステップを更に含み、
    前記第１の評価値算出ステップでは、前記被選択単位処理データに含まれる各時系列データを前記基準データ選択ステップで選択された基準データと比較することによって評価値の算出が行われることを特徴とする、請求項１に記載のデータ処理方法。
  3. 前記基準データ選択ステップは、
    前記被選択単位処理データの１つを仮基準データに定める仮基準データ設定ステップと、
    前記仮基準データと前記被選択単位処理データのうちの前記仮基準データ以外の単位処理データのそれぞれとを比較することによって得られる評価値の平均値または合計値を比較値として求める比較値算出ステップと
    を含み、
    前記基準データ選択ステップでは、
    前記被選択単位処理データの全てが１回ずつ仮基準データに定められるまで前記仮基準データ設定ステップと前記比較値算出ステップとが繰り返され、
    前記比較値算出ステップで求められる比較値が最も小さくなったときに仮基準データに定められている単位処理データが前記基準データとして選択されることを特徴とする、請求項２に記載のデータ処理方法。
  4. 前記基準データ選択ステップでは、時系列データの種類ごとに、前記比較値算出ステップで求められる比較値が最も小さくなったときに仮基準データに定められている単位処理データが前記基準データとして選択されることを特徴とする、請求項３に記載のデータ処理方法。
  5. 前記基準データ選択ステップは、
    時系列データの種類ごとに、前記被選択単位処理データの各時点における中央値のデータからなる中央値データを作成する中央値データ作成ステップと、
    前記被選択単位処理データのそれぞれを前記中央値データと比較することによって、前記被選択単位処理データのそれぞれについての評価値に相当する得点を時系列データの種類ごとに求める得点算出ステップと
    を含み、
    前記基準データ選択ステップでは、時系列データの種類ごとに求められた得点の合計値が最も良い被選択単位処理データが前記基準データとして選択されることを特徴とする、請求項２に記載のデータ処理方法。
  6. 前記基準データ選択ステップは、
    時系列データの種類ごとに、前記被選択単位処理データの各時点における中央値のデータからなる中央値データを作成する中央値データ作成ステップと、
    前記被選択単位処理データのそれぞれを前記中央値データと比較することによって、前記被選択単位処理データのそれぞれについての評価値に相当する得点を時系列データの種類ごとに求める得点算出ステップと
    を含み、
    前記基準データ選択ステップでは、時系列データの種類ごと、前記得点算出ステップで求められた得点が最も良い被選択単位処理データが前記基準データとして選択されることを特徴とする、請求項２に記載のデータ処理方法。
  7. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記基準データ選択ステップでの基準データの選択は、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から行われることを特徴とする、請求項２に記載のデータ処理方法。
  8. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記単位処理データ選択ステップでの単位処理データの選択は、期間、処理ユニット、およびレシピのうちの少なくともいずれかを指定することによって抽出された単位処理データの中から行われることを特徴とする、請求項１に記載のデータ処理方法。
  9. 前記第１の評価値算出ステップでは、前記被選択単位処理データに含まれる各時系列データを予め定められている基準データと比較することによって評価値の算出が行われることを特徴とする、請求項１に記載のデータ処理方法。
  10. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記単位処理データ選択ステップは、
    各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
    前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
    前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記２以上の単位処理データとして抽出する単位処理データ抽出ステップと
    を含むことを特徴とする、請求項１に記載のデータ処理方法。
  11. 前記第１の評価値分布作成ステップでは、前記第１の評価値算出ステップで算出された評価値の標準化が行われ、標準化後の評価値に基づいて前記評価値分布が作成されることを特徴とする、請求項１に記載のデータ処理方法。
  12. 前記評価値分布を更新する評価値分布更新ステップを更に含むことを特徴とする、請求項１に記載のデータ処理方法。
  13. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布更新ステップは、
    各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
    前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
    前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
    前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する第２の評価値算出ステップと、
    前記第２の評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する第２の評価値分布作成ステップと
    を含むことを特徴とする、請求項１２に記載のデータ処理方法。
  14. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布更新ステップは、
    各時系列データについての評価値に基づいて処理ユニット毎に評価値の平均値およびばらつきを算出する統計値算出ステップと、
    前記統計値算出ステップで算出された平均値およびばらつきを考慮して処理ユニットを指定する処理ユニット指定ステップと、
    前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
    前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する第２の評価値算出ステップと、
    前記第２の評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する第２の評価値分布作成ステップと
    を含むことを特徴とする、請求項１２に記載のデータ処理方法。
  15. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    レシピの実行によって新たに得られた単位処理データに含まれる時系列データの異常度を判定するために当該新たに得られた単位処理データに含まれる時系列データの評価値を算出する第３の評価値算出ステップを更に含み、
    前記第３の評価値算出ステップが実行される都度、前記評価値分布更新ステップが実行されることを特徴とする、請求項１２に記載のデータ処理方法。
  16. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    レシピの内容に変更があったときに、前記評価値分布更新ステップが実行されることを特徴とする、請求項１２に記載のデータ処理方法。
  17. 前記複数種類の時系列データは、複数のパラメータについての時系列データであって、
    前記第１の評価値分布作成ステップでは、パラメータごとに評価値分布が作成され、
    前記評価値分布更新ステップでは、内容に変更のあるパラメータに対応する評価値分布のみが更新されることを特徴とする、請求項１６に記載のデータ処理方法。
  18. 前記評価値分布更新ステップでは、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布がすでに蓄積されている評価値のデータに基づいて作成されることを特徴とする、請求項１７に記載のデータ処理方法。
  19. 前記評価値分布更新ステップでは、外部から指定されたパラメータに対応する評価値分布が再作成されることを特徴とする、請求項１７に記載のデータ処理方法。
  20. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置であって、
    前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択部と、
    前記単位処理データ選択部によって選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出部と、
    前記評価値算出部によって算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成部と
    を備えることを特徴とする、データ処理装置。
  21. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布作成部で作成される評価値分布は、前記複数の処理ユニットのいずれか用の評価値分布として用いられ、
    或る処理ユニット用の評価値分布を別の処理ユニット用の評価値分布として複製することができることを特徴とする、請求項２０に記載のデータ処理装置。
  22. 基板処理装置で実行される単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理する、複数の基板処理装置を含むデータ処理システムであって、
    前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択部と、
    前記単位処理データ選択部によって選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出部と、
    前記評価値算出部によって算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成部と
    を備えることを特徴とする、データ処理システム。
  23. 前記第１の評価値分布作成部で作成される評価値分布は、前記複数の基板処理装置のいずれか用の評価値分布として用いられ、
    或る基板処理装置用の評価値分布を別の基板処理装置用の評価値分布として複製することができることを特徴とする、請求項２２に記載のデータ処理システム。
  24. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置に含まれるコンピュータに、
    前記複数の単位処理データから２以上の単位処理データを選択する単位処理データ選択ステップと、
    前記単位処理データ選択ステップで選択された単位処理データである被選択単位処理データに含まれる各時系列データについての評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出された各時系列データについての評価値に基づいて、評価値の値ごとの度数を表す評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
    を実行させるためのデータ処理プログラム。
JP2018176257A 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム Active JP7188949B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018176257A JP7188949B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム
KR1020190100814A KR102280390B1 (ko) 2018-09-20 2019-08-19 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
CN201910782458.XA CN110928265B (zh) 2018-09-20 2019-08-23 数据处理方法、装置与系统、以及计算器可读取记录介质
TW108130724A TWI726401B (zh) 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體
TW110111567A TW202137001A (zh) 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體
US16/554,528 US20200097381A1 (en) 2018-09-20 2019-08-28 Data processing method, data processing device, data processing system, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018176257A JP7188949B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム

Publications (2)

Publication Number Publication Date
JP2020047846A true JP2020047846A (ja) 2020-03-26
JP7188949B2 JP7188949B2 (ja) 2022-12-13

Family

ID=69856648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018176257A Active JP7188949B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム

Country Status (5)

Country Link
US (1) US20200097381A1 (ja)
JP (1) JP7188949B2 (ja)
KR (1) KR102280390B1 (ja)
CN (1) CN110928265B (ja)
TW (2) TW202137001A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188950B2 (ja) * 2018-09-20 2022-12-13 株式会社Ｓｃｒｅｅｎホールディングス データ処理方法およびデータ処理プログラム
US11392437B1 (en) * 2021-01-26 2022-07-19 Adobe Inc. Cold start and adaptive server monitor
US11775502B2 (en) * 2021-03-12 2023-10-03 Adobe Inc. Facilitating efficient and effective anomaly detection via minimal human interaction

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10163080A (ja) * 1996-11-27 1998-06-19 Matsushita Electron Corp 半導体製造システム
JP2000035817A (ja) * 1998-05-13 2000-02-02 Nec Corp 製造ラインシミュレ―タにおける評価値算出システム及びその算出方法並びにその制御プログラム記録媒体
JP2000252179A (ja) * 1999-03-04 2000-09-14 Hitachi Ltd 半導体製造プロセス安定化支援システム
JP2003077780A (ja) * 2001-08-31 2003-03-14 Toshiba Corp 半導体製造装置の寿命診断方法
JP2004186445A (ja) * 2002-12-03 2004-07-02 Omron Corp モデル化装置及びモデル解析方法並びにプロセス異常検出・分類システム及びプロセス異常検出・分類方法並びにモデル化システム及びモデル化方法並びに故障予知システム及びモデル化装置の更新方法
JP2006146459A (ja) * 2004-11-18 2006-06-08 Renesas Technology Corp 半導体デバイスの製造方法および製造システム
JP2006332213A (ja) * 2005-05-25 2006-12-07 Matsushita Electric Ind Co Ltd 半導体装置の製造方法
JP2012151216A (ja) * 2011-01-18 2012-08-09 Tokyo Electron Ltd 処理装置の異常判定システム及びその異常判定方法
JP2017083985A (ja) * 2015-10-26 2017-05-18 株式会社Ｓｃｒｅｅｎホールディングス 時系列データ処理方法、時系列データ処理プログラム、および、時系列データ処理装置
JP2017211713A (ja) * 2016-05-23 2017-11-30 ルネサスエレクトロニクス株式会社 生産システム
JP2018055294A (ja) * 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法
JP2018120533A (ja) * 2017-01-27 2018-08-02 株式会社Ｓｃｒｅｅｎホールディングス データ処理システム、データ処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158384B2 (ja) * 2001-07-19 2008-10-01 株式会社日立製作所 半導体デバイスの製造工程監視方法及びそのシステム
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
EP1796136B1 (en) * 2004-08-19 2015-09-30 Nikon Corporation Alignment information display method, program thereof, alignment method, exposure method, device manufacturing method, display system, display device, program, and measurement/inspection device
WO2008059598A1 (fr) * 2006-11-17 2008-05-22 Imagineering, Inc. Dispositif d'analyse de réaction, support d'enregistrement et système de mesure
JP4950830B2 (ja) * 2007-10-15 2012-06-13 株式会社東芝 環境影響評価装置
US20120143834A1 (en) * 2009-08-12 2012-06-07 Nec Corporation Data summary system, method for summarizing data, and recording medium
CN102859517B (zh) * 2010-05-14 2016-07-06 株式会社日立制作所 时序数据管理装置、系统以及方法
JP5460662B2 (ja) * 2011-09-07 2014-04-02 株式会社日立ハイテクノロジーズ 領域決定装置、観察装置または検査装置、領域決定方法および領域決定方法を用いた観察方法または検査方法
JP5875430B2 (ja) * 2012-03-27 2016-03-02 株式会社 ゆうちょ銀行 異常検出装置、プログラムおよび異常検出方法
US10241887B2 (en) * 2013-03-29 2019-03-26 Vmware, Inc. Data-agnostic anomaly detection
JP5849167B1 (ja) * 2015-04-09 2016-01-27 株式会社日立パワーソリューションズ 異常検知方法およびその装置
US10474692B2 (en) * 2015-05-18 2019-11-12 Interactive Data Pricing And Reference Data Llc Data conversion and distribution systems
WO2017022312A1 (ja) * 2015-08-06 2017-02-09 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10901400B2 (en) * 2018-05-21 2021-01-26 International Business Machines Corporation Set point optimization in multi-resolution processes

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10163080A (ja) * 1996-11-27 1998-06-19 Matsushita Electron Corp 半導体製造システム
JP2000035817A (ja) * 1998-05-13 2000-02-02 Nec Corp 製造ラインシミュレ―タにおける評価値算出システム及びその算出方法並びにその制御プログラム記録媒体
JP2000252179A (ja) * 1999-03-04 2000-09-14 Hitachi Ltd 半導体製造プロセス安定化支援システム
JP2003077780A (ja) * 2001-08-31 2003-03-14 Toshiba Corp 半導体製造装置の寿命診断方法
JP2004186445A (ja) * 2002-12-03 2004-07-02 Omron Corp モデル化装置及びモデル解析方法並びにプロセス異常検出・分類システム及びプロセス異常検出・分類方法並びにモデル化システム及びモデル化方法並びに故障予知システム及びモデル化装置の更新方法
JP2006146459A (ja) * 2004-11-18 2006-06-08 Renesas Technology Corp 半導体デバイスの製造方法および製造システム
JP2006332213A (ja) * 2005-05-25 2006-12-07 Matsushita Electric Ind Co Ltd 半導体装置の製造方法
JP2012151216A (ja) * 2011-01-18 2012-08-09 Tokyo Electron Ltd 処理装置の異常判定システム及びその異常判定方法
JP2017083985A (ja) * 2015-10-26 2017-05-18 株式会社Ｓｃｒｅｅｎホールディングス 時系列データ処理方法、時系列データ処理プログラム、および、時系列データ処理装置
JP2017211713A (ja) * 2016-05-23 2017-11-30 ルネサスエレクトロニクス株式会社 生産システム
JP2018055294A (ja) * 2016-09-27 2018-04-05 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法
JP2018120533A (ja) * 2017-01-27 2018-08-02 株式会社Ｓｃｒｅｅｎホールディングス データ処理システム、データ処理方法およびプログラム

Also Published As

Publication number Publication date
KR102280390B1 (ko) 2021-07-21
KR20200033727A (ko) 2020-03-30
US20200097381A1 (en) 2020-03-26
TW202137001A (zh) 2021-10-01
JP7188949B2 (ja) 2022-12-13
CN110928265B (zh) 2023-04-11
CN110928265A (zh) 2020-03-27
TWI726401B (zh) 2021-05-01
TW202013186A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
US8494798B2 (en) Automated model building and batch model building for a manufacturing process, process monitoring, and fault detection
KR102280390B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
JP2023052477A (ja) データ処理方法およびデータ処理プログラム
US20220035356A1 (en) Equipment failure diagnosis support system and equipment failure diagnosis support method
JP7144676B2 (ja) 情報処理装置、品質関連式生成方法、および品質関連式生成プログラム
US11042134B2 (en) Power system status estimation device and status estimation method
KR102242640B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
KR102280389B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
US11054801B2 (en) Data processing method, data processing apparatus, data processing system, and recording medium having recorded therein data processing program
US20190243348A1 (en) Data processing method, data processing apparatus, data processing system, and recording medium having recorded therein data processing program
CN113343479A (zh) 设备使用寿命的计算方法和装置
US20210049417A1 (en) Learning processing device, data analysis device, analytical procedure selection method, and recording medium
US8135563B2 (en) Apparatus and method for evaluating the performance of systems having time-varying output characteristics
CN117150175A (zh) 一种制程能力指数确定方法、装置、电子设备及存储介质
CN116662310A (zh) 数据异常的处理方法、存储介质及电子设备
JP2020042515A (ja) モデル生成装置、モデル生成方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7188949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150