JP2020047078A - データ処理方法、データ処理装置、およびデータ処理プログラム - Google Patents

データ処理方法、データ処理装置、およびデータ処理プログラム Download PDF

Info

Publication number
JP2020047078A
JP2020047078A JP2018176258A JP2018176258A JP2020047078A JP 2020047078 A JP2020047078 A JP 2020047078A JP 2018176258 A JP2018176258 A JP 2018176258A JP 2018176258 A JP2018176258 A JP 2018176258A JP 2020047078 A JP2020047078 A JP 2020047078A
Authority
JP
Japan
Prior art keywords
evaluation value
data
processing
unit
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018176258A
Other languages
English (en)
Other versions
JP7214417B2 (ja
Inventor
英司 猶原
Eiji Naohara
英司 猶原
麻友美 山本
Mayumi Yamamoto
麻友美 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2018176258A priority Critical patent/JP7214417B2/ja
Publication of JP2020047078A publication Critical patent/JP2020047078A/ja
Priority to JP2023005924A priority patent/JP2023052477A/ja
Application granted granted Critical
Publication of JP7214417B2 publication Critical patent/JP7214417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことを可能とするデータ処理方法を提供する。【解決手段】複数の単位処理データ（各単位処理データは複数種類の時系列データを含む）を処理するデータ処理方法には、新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出ステップ（Ｓ２３０）と、新たに得られた単位処理データに含まれる時系列データの異常度を過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と異常度判定用評価値算出ステップで算出された評価値とに基づいて判定する異常度判定ステップ（Ｓ２４０）とが含まれる。【選択図】図１１

Description

本発明は、デジタルデータ処理に関し、特に、時系列データを処理する方法に関する。
機器や装置の異常を検出する方法として、機器や装置の動作状態を示す物理量（例えば、長さ、角度、時間、速さ、力、圧力、電圧、電流、温度、流量など）をセンサなどを用いて測定し、測定結果を発生順に並べて得られた時系列データを分析する方法が知られている。機器や装置が同じ条件で同じ動作を行う場合、異常がなければ、時系列データは同様に変化する。そこで、同様に変化する複数の時系列データを相互に比較して異常な時系列データを検出し、その異常な時系列データを分析することにより、異常の発生箇所や異常の原因の特定が可能となる。また、近年、コンピュータのデータ処理能力の向上が顕著である。このため、たとえデータ量が膨大であっても実用的な時間で必要な結果が得られるケースが多くなっている。このようなことからも、時系列データの分析が盛んになりつつある。
例えば、半導体基板の製造の分野においても、時系列データの分析が盛んになりつつある。半導体基板（以下、「基板」という）の製造工程では、基板処理装置によって一連の処理が実行される。基板処理装置は、基板に対して一連の処理の中の特定の処理を行う複数の処理ユニットを含んでいる。各処理ユニットは、基板に対して予め定められた手順（「レシピ」と呼ばれる）に従い処理を行う。このとき各処理ユニットにおける測定結果に基づき、時系列データが得られる。得られた時系列データを分析することにより、異常が発生した処理ユニットや異常の原因を特定することができる。ところで、「レシピ」の語は、基板に対して行われるもののみでなく、基板の処理の前に行われる前処理や、基板に対する処理が処理ユニットで行われていない間に処理ユニットの状態の維持・管理や処理ユニットに関する各種測定を行うための処理などについても用いられる。但し、本明細書では、基板に対して行われる処理に着目する。なお、基板の製造によって得られた時系列データの異常度の算出に関連する発明が特開２０１７−８３９８５号公報に開示されている。
特開２０１７−８３９８５号公報
一般に、基板の製造工程では、レシピの実行によって膨大な数のパラメータ（各種の物理量）についての時系列データが得られる。時系列データは、レシピが実行された際に各種の物理量（例えば、ノズルから供給される処理流体の流量や温度、チャンバ内の湿度、チャンバの内圧、チャンバの排気圧など）をセンサなどを用いて測定して測定結果を時系列に並べて得られたデータである。また、カメラによって撮像された画像に解析を加えて得られたデータを時系列に並べたものも時系列データとなる。そして、各時系列データが異常であるか否かの判定は、時系列データのデータ値を閾値と比較することによって、もしくは、当該データ値から所定の計算ルールに従って算出される値を閾値と比較することによって行われている。なお、閾値はパラメータ毎に設定される。
ところが、各パラメータについての閾値を定める作業は非常に煩雑な作業であり、膨大な数のパラメータのそれぞれについて好適な閾値を求めることは極めて困難である。また、設定される閾値は必ずしも好適な値とは限らないため、異常判定の精度は良好ではない。すなわち、従来の手法によれば、時系列データの異常が精度良く検出されない。
そこで、本発明は、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことを可能とするデータ処理方法を提供することを目的とする。
第１の発明は、単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理方法であって、
新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出ステップと、
過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定ステップと
を含むことを特徴とする。
第２の発明は、第１の発明において、
前記異常度判定ステップでの異常度の判定に用いるための閾値を前記評価値分布に対して設定する閾値設定ステップを更に含むことを特徴とする。
第３の発明は、第２の発明において、
前記評価値分布は、標準化が施された評価値に基づいて作成されており、
前記閾値設定ステップでは、前記評価値分布の生成元のデータの標準偏差に基づいて閾値が設定されることを特徴とする。
第４の発明は、第３の発明において、
前記閾値設定ステップでは、前記評価値分布に対して３つの閾値が設定され、
前記異常度判定ステップでは、前記新たに得られた単位処理データに含まれる各時系列データの異常度が、４つのレベルのうちのいずれかに判定されることを特徴とする。
第５の発明は、第１の発明において、
前記異常度判定ステップでは、複数の評価値分布を用いて異常度の判定が行われることを特徴とする。
第６の発明は、第５の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
前記複数の評価値分布のうちの１つは、前記基板処理装置が初期状態である時に得られた時系列データについての評価値に基づいて作成されていることを特徴とする。
第７の発明は、第５の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
前記複数の評価値分布のうちの１つは、直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成されていることを特徴とする。
第８の発明は、第５の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
前記異常度判定ステップでは、前記複数の評価値分布として、前記基板処理装置が初期状態である時に得られた時系列データについての評価値に基づいて作成された第１の評価値分布と直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成された第２の評価値分布とが用いられることを特徴とする。
第９の発明は、第８の発明において、
前記異常度判定ステップで行われた判定の結果表示に関する設定を行う結果表示設定ステップと、
前記結果表示設定ステップで行われた設定に基づいて異常度の判定結果を所定の画面上に表示する判定結果表示ステップと
を更に含み、
前記異常度判定ステップでは、前記第１の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第１の判定結果と、前記第２の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第２の判定結果とが得られ、
前記結果表示設定ステップでは、前記判定結果表示ステップで前記第１の判定結果および前記第２の判定結果のいずれを表示するのかの設定が行われることを特徴とする。
第１０の発明は、第８の発明において、
前記異常度判定ステップで行われた判定の結果表示に関する設定を行う結果表示設定ステップと、
前記結果表示設定ステップで行われた設定に基づいて異常度の判定結果を所定の画面上に表示する判定結果表示ステップと
を更に含み、
前記異常度判定ステップでは、前記第１の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第１の判定結果と、前記第２の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第２の判定結果とが得られ、
前記結果表示設定ステップでは、前記判定結果表示ステップで前記第１の判定結果を表示するか否かおよび前記判定結果表示ステップで前記第２の判定結果を表示するか否かの設定が行われることを特徴とする。
第１１の発明は、第１の発明において、
前記評価値分布を更新する評価値分布更新ステップを更に含むことを特徴とする。
第１２の発明は、第１１の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布更新ステップは、
各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する分布更新用評価値算出ステップと、
前記分布更新用評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
を含むことを特徴とする。
第１３の発明は、第１１の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布更新ステップは、
各時系列データについての評価値に基づいて処理ユニット毎に評価値の平均値およびばらつきを算出する統計値算出ステップと、
前記統計値算出ステップで算出された平均値およびばらつきを考慮して処理ユニットを指定する処理ユニット指定ステップと、
前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する分布更新用評価値算出ステップと、
前記分布更新用評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
を含むことを特徴とする。
第１４の発明は、第１１の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
前記基板処理装置でレシピが実行される都度、前記評価値分布更新ステップが実行されることを特徴とする。
第１５の発明は、第１１の発明において、
前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
レシピの内容に変更があったときに、前記評価値分布更新ステップが実行されることを特徴とする。
第１６の発明は、第１５の発明において、
前記複数種類の時系列データは、複数のパラメータについての時系列データであって、
前記評価値分布は、パラメータごとに設けられており、
前記評価値分布更新ステップでは、内容に変更のあるパラメータに対応する評価値分布のみが更新されることを特徴とする
第１７の発明は、第１６の発明において、
前記評価値分布更新ステップでは、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布がすでに蓄積されている評価値のデータに基づいて作成されることを特徴とする。
第１８の発明は、第１６の発明において、
前記評価値分布更新ステップでは、外部から指定されたパラメータに対応する評価値分布が再作成されることを特徴とする。
第１９の発明は、第１１の発明において、
前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
前記評価値分布更新ステップでは、それぞれが評価値分布と教師データとしての点数とからなる複数の学習データを用いて予め学習が行われている学習器に前記複数の処理ユニットに対応する複数の評価値分布が入力され、当該複数の評価値分布のうち前記学習器から出力された点数が最も良い評価値分布が更新後の評価値分布に定められることを特徴とする。
第２０の発明は、単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置であって、
新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出部と、
過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記評価値算出部によって算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定部と
を備えることを特徴とする。
第２１の発明は、データ処理プログラムであって、
単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置に含まれるコンピュータに、
新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出ステップと、
過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記評価値算出ステップで算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定ステップと
を実行させる。
上記第１の発明によれば、新たに得られた単位処理データに含まれる時系列データについての評価値が算出される。そして、当該評価値と評価値の分布を表す評価値分布とに基づいて、時系列データの異常度が判定される。その際、例えば、評価値分布の作成元のデータ（評価値のデータ）から得られる統計値に基づいて異常判定のための閾値を設定することができる。以上より、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことが可能となる。
上記第２の発明によれば、上記第１の発明と同様の効果が得られる。
上記第３の発明によれば、異常判定のための閾値が標準偏差に基づいて自動的に決定される。すなわち、ユーザーによる煩雑な作業を要することなく、異常判定のための閾値が客観的に設定される。また、このように閾値の設定を客観的なものとすることによって、安定した精度で時系列データの異常判定を行うことが可能となる。以上より、ユーザーの作業負担を効果的に軽減しつつ時系列データを用いた異常検出をより精度良く行うことが可能となる。
上記第４の発明によれば、異常があった場合に当該異常の度合いを把握することが可能となる。
上記第５の発明によれば、時系列データを用いた異常検出をより精度良く行うことが可能となる。
上記第６の発明によれば、経年劣化による異常を精度良く検出することが可能となる。
上記第７の発明によれば、突発的な異常を精度良く検出することが可能となる。
上記第８の発明によれば、経年劣化による異常および突発的な異常の双方を検出することが可能となる。これにより、ユーザーは、現在発生している異常の緊急性をも把握することが可能となる。
上記第９の発明によれば、第１の判定結果（第１の評価値分布に基づく判定結果）または第２の判定結果（第２の評価値分布に基づく判定結果）を必要に応じて選択的に表示することが可能となる。
上記第１０の発明によれば、ユーザーは、第１の判定結果（第１の評価値分布に基づく判定結果）および第２の判定結果（第２の評価値分布に基づく判定結果）の双方を一度に確認することが可能となる。
上記第１１の発明によれば、評価値分布の更新が行われるので、例えば最近の傾向を考慮しつつ、時系列データを用いた異常検出を行うことが可能となる。
上記第１２の発明によれば、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、処理ユニット毎の評価値の算出結果に基づいて、安定した処理が行われると考えられる処理ユニットの指定が行われる。そして、その指定された処理ユニットでの処理で得られた単位処理データに基づいて、更新後の評価値分布が作成される。このため、当該評価値分布を用いた異常判定は高精度なものとなる。以上より、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことができるよう評価値分布を更新することが可能となる。
上記第１３の発明によれば、上記第１２の発明と同様の効果が得られる。
上記第１４の発明によれば、レシピが実行される都度、評価値分布が更新される。このため、異常判定の精度が徐々に向上する。
上記第１５の発明によれば、レシピの内容の変更に応じて評価値分布が更新されるので、異常判定の精度の低下が抑制される。
上記第１６の発明によれば、評価値分布の更新に多大な時間を要することが防止される。
上記第１７の発明によれば、上記第１６の発明と同様の効果が得られる。
上記第１８の発明によれば、上記第１６の発明と同様の効果が得られる。
上記第１９の発明によれば、複数の処理ユニットにそれぞれ対応する複数の評価値分布の中からＡＩ（人工知能）の技術によって最良と判断された評価値分布が更新後の評価値分布に定められる。このため、更新後の評価値分布を用いた異常判定は高精度なものとなる。以上より、上記第１２の発明と同様、評価値分布の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことができるよう評価値分布を更新することが可能となる。
上記第２０の発明によれば、上記第１の発明と同様の効果が得られる。
上記第２１の発明によれば、上記第１の発明と同様の効果が得られる。
本発明の第１の実施形態に係るデータ処理システム（基板処理装置用のデータ処理システム）の全体構成を示すブロック図である。 上記第１の実施形態において、基板処理装置の概略構成を示す図である。 上記第１の実施形態において、ある１つの時系列データをグラフ化して表した図である。 上記第１の実施形態において、単位処理データについて説明するための図である。 上記第１の実施形態において、データ処理装置のハードウェア構成を示すブロック図である。 上記第１の実施形態において、評価値分布について説明するための図である。 上記第１の実施形態において、２つの評価値分布を用いる理由について説明するための図である。 上記第１の実施形態において、初期分布および最新分布の例を示す図である。 上記第１の実施形態において、初期分布の作成手順を示すフローチャートである。 上記第１の実施形態において、単位処理データ選択画面の一例を示す図である。 上記第１の実施形態において、運用段階の処理手順を示すフローチャートである。 上記第１の実施形態において、異常度の判定について説明するための図である。 上記第１の実施形態において、結果表示設定画面の一例を示す図である。 上記第１の実施形態において、判定結果表示画面の一例を示す図である。 上記第１の実施形態の第１の変形例において、結果表示設定画面の一例を示す図である。 上記第１の実施形態の第１の変形例において、判定結果表示画面の一例を示す図である。 上記第１の実施形態の第２の変形例において、４つの評価値分布の例を示す図である。 本発明の第２の施形態において、時系列データを用いた異常検出についての全体の処理手順を示すフローチャートである。 上記第２の実施形態において、パラメータ指定画面の一例（表示直後の例）を示す図である。 上記第２の実施形態において、パラメータ指定画面の一例（ユーザーよるパラメータ指定後の例）を示す図である。 上記第２の実施形態において、評価値分布の更新について説明するための図である。 上記第２の実施形態の第１の変形例において、時系列データを用いた異常検出についての全体の処理手順の概略を示すフローチャートである。 上記第２の実施形態の第２の変形例において、評価値分布の更新の詳細な手順を示すフローチャートである。 上記第２の実施形態の第２の変形例において、処理ユニット毎の評価値の分布の作成について説明するための図である。 上記第２の実施形態の第２の変形例において、ばらつきに加えて評価値も考慮した方が好ましいことについて説明するための図である。 上記第２の実施形態の第３の変形例において、学習器として用意されるニューラルネットワークの一例を示す図である。 上記第２の実施形態の第３の変形例において、ニューラルネットワークの入力層に入力されるデータについて説明するための図である。 上記第２の実施形態の第３の変形例において、学習データについて説明するための図である。
以下、添付図面を参照しつつ本発明の実施形態について説明する。
＜１．第１の実施形態＞
＜１．１ 全体構成＞
図１は、本発明の第１の実施形態に係るデータ処理システム（基板処理装置用のデータ処理システム）の全体構成を示すブロック図である。このデータ処理システムは、データ処理装置１００と基板処理装置２００とによって構成されている。データ処理装置１００と基板処理装置２００とは通信回線３００によって互いに接続されている。
データ処理装置１００は、機能的には、単位処理データ選択部１１０と評価値算出部１２０と評価値分布作成部１３０と評価値分布更新部１４０と異常度判定部１５０とデータ記憶部１６０とを有している。単位処理データ選択部１１０は、既に蓄積されている後述の複数の単位処理データから２以上の単位処理データを選択する。評価値算出部１２０は、基板処理で得られる時系列データの異常度の判定等に用いるための評価値の算出を行う。例えば、評価値算出部１２０は、単位処理データ選択部１１０によって選択された単位処理データに含まれる各時系列データについての評価値を算出する。評価値分布作成部１３０は、評価値算出部１２０によって算出された評価値（各時系列データについての評価値）に基づいて、後述する評価値分布を作成する。評価値分布更新部１４０は、評価値分布の更新を行う。異常度判定部１５０は、評価値分布が既に存在している状況下、基板処理装置２００でレシピが実行されることによって新たに得られた時系列データについての異常度を当該時系列データの評価値と評価値分布とに基づいて判定する。なお、本実施形態においては、基板処理の結果としては評価値の値が小さいほど好ましいものと仮定する。
データ記憶部１６０には、本実施形態における各種処理を実行するためのデータ処理プログラム１６１が保持されている。データ記憶部１６０には、また、基板処理装置２００から送られる時系列データを格納する時系列データＤＢ１６２、基準データを格納する基準データＤＢ１６３、および評価値分布データを格納する評価値分布データＤＢ１６４が含まれている。基準データおよび評価値分布データについての説明は後述する。なお、「ＤＢ」は「データベース」の略である。
基板処理装置２００は、複数個の処理ユニット２２２を含んでいる。各処理ユニット２２２では、当該処理ユニット２２２の動作状態を示す複数の物理量が測定される。これにより、複数の時系列データ（より詳しくは、複数のパラメータについての時系列データ）が得られる。各処理ユニット２２２における処理で得られた時系列データは、基板処理装置２００からデータ処理装置１００に送られ、上述したように時系列データＤＢ１６２に格納される。
図２は、基板処理装置２００の概略構成を示す図である。基板処理装置２００は、インデクサ部２１０と処理部２２０とを備えている。インデクサ部２１０および処理部２２０の制御は、基板処理装置２００の内部の制御部（不図示）によって行われる。
インデクサ部２１０は、複数枚の基板を収容可能な基板収容器（カセット）を載置するための複数個の基板収容器保持部２１２と、基板収容器からの基板の搬出および基板収容器への基板の搬入を行うインデクサロボット２１４とを含んでいる。処理部２２０は、処理液を用いて基板の洗浄等の処理を行う複数個の処理ユニット２２２と、処理ユニット２２２への基板の搬入および処理ユニット２２２からの基板の搬出を行う基板搬送ロボット２２４とを含んでいる。処理ユニット２２２の数は、例えば１２個である。この場合、例えば、３個の処理ユニット２２２を積層したタワー構造体が図２に示すように基板搬送ロボット２２４の周囲の４箇所に設けられる。各処理ユニット２２２には基板に対する処理を行う空間であるチャンバが設けられており、チャンバ内で基板に処理液が供給される。なお、各処理ユニット２２２は、１つのチャンバを含んでいる。すなわち、処理ユニット２２２とチャンバとは１対１で対応する。
基板に対する処理が行われる際、インデクサロボット２１４は、基板収容器保持部２１２に載置されている基板収容器から処理対象の基板を取り出して、当該基板を基板受け渡し部２３０を介して基板搬送ロボット２２４に渡す。基板搬送ロボット２２４は、インデクサロボット２１４から受け取った基板を対象の処理ユニット２２２に搬入する。基板に対する処理が終了すると、基板搬送ロボット２２４は、対象の処理ユニット２２２から基板を取り出して、当該基板を基板受け渡し部２３０を介してインデクサロボット２１４に渡す。インデクサロボット２１４は、基板搬送ロボット２２４から受け取った基板を対象の基板収容器に搬入する。
このデータ処理システムでは、各処理ユニット２２２での処理に関わる機器の異常や各処理ユニット２２２で行われた処理の異常などを検出するために、レシピが実行される都度、時系列データが取得される。本実施形態で取得される時系列データは、レシピが実行された際に各種の物理量（例えば、ノズルから供給される処理流体の流量や温度、チャンバ内の湿度、チャンバの内圧、チャンバの排気圧など）をセンサなどを用いて測定して測定結果を時系列に並べて得られたデータである。また、カメラによって撮像された画像に解析を加えて得られたデータを時系列に並べたものも時系列データとなる。各種の物理量はそれぞれ対応するパラメータの値として処理される。なお、１つのパラメータは１種類の物理量に対応する。
図３は、ある１つの時系列データをグラフ化して表した図である。この時系列データは、１つのレシピが実行されたときに１つの処理ユニット２２２内のチャンバで１枚の基板に対する処理によって得られた或る物理量についてのデータである。なお、時系列データは複数の離散値で構成されるデータであるが、図３では時間的に隣接する２つのデータ値の間を直線で結んでいる。ところで、１つのレシピが実行されたときには、当該レシピが実行された処理ユニット２２２毎に、様々な物理量についての時系列データが得られる。そこで、以下、１つのレシピが実行されたときに１つの処理ユニット２２２内のチャンバで１枚の基板に対して行われる処理のことを「単位処理」といい、単位処理によって得られる一群の時系列データのことを「単位処理データ」という。１つの単位処理データには、模式的には図４に示すように、複数のパラメータについての時系列データおよび該当の単位処理データを特定するための複数の項目（例えば、処理の開始時刻・処理の終了時刻など）のデータ等からなる属性データが含まれている。なお、図４に関し、「パラメータＡ」，「パラメータＢ」，および「パラメータＣ」は、互いに異なる種類の物理量に対応している。
機器や処理の異常を検出するためには、レシピの実行によって得られた単位処理データを、処理結果として理想的なデータ値を持つ単位処理データと比較すべきである。より詳しくは、レシピの実行によって得られた単位処理データに含まれる複数の時系列データを、それぞれ、処理結果として理想的なデータ値を持つ単位処理データに含まれる複数の時系列データと比較すべきである。そこで、本実施形態においては、各レシピに関し、評価対象の単位処理データと比較するための単位処理データ（評価対象の単位処理データに含まれる複数の時系列データとそれぞれ比較するための複数の時系列データからなる単位処理データ）が基準データ（評価値を算出する際の基準となるデータ）として定められている。この基準データが上述した基準データＤＢ１６３（図１参照）に格納されている。
ここで、図５を参照しつつ、データ処理装置１００のハードウェア構成について説明する。データ処理装置１００は、ＣＰＵ１１と主メモリ１２と補助記憶装置１３と表示部１４と入力部１５と通信制御部１６と記録媒体読み取り部１７とを備えている。ＣＰＵ１１は、与えられた命令に従い各種演算処理等を行う。主メモリ１２は、実行中のプログラムやデータ等を一時的に格納する。補助記憶装置１３は、電源がオフされても保持されるべき各種プログラム・各種データを格納する。上述したデータ記憶部１６０は、この補助記憶装置１３によって実現される。表示部１４は、例えば、オペレータが作業を行うための各種画面を表示する。この表示部１４には、例えば、液晶ディスプレイが使用される。入力部１５は、例えばマウスやキーボードなどであって、オペレータによる外部からの入力を受け付ける。通信制御部１６は、データ送受信の制御を行う。記録媒体読み取り部１７は、プログラムなどを記録した記録媒体４００のインターフェイス回路である。記録媒体４００には、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの非一過性の記録媒体が使用される。
データ処理装置１００が起動すると、補助記憶装置１３（データ記憶部１６０）に保持されたデータ処理プログラム１６１（図１参照）が主メモリ１２に読み込まれ、その主メモリ１２に読み込まれたデータ処理プログラム１６１をＣＰＵ１１が実行する。これにより、各種データ処理を行う機能がデータ処理装置１００によって提供される。なお、データ処理プログラム１６１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体４００に記録された形態や通信回線３００を介したダウンロードの形態で提供される。
＜１．２ 評価値分布＞
本実施形態においては、各時系列データについての異常判定を行うために、評価値算出部１２０で求められた評価値の値ごとの度数を表す評価値分布が用いられる。この評価値分布について、図６を参照しつつ詳しく説明する。
評価値分布はパラメータ毎（すなわち、時系列データの種類毎）に用意される。或る１つのパラメータに着目すると、時系列データの評価値毎の度数を表す分布は例えば図６のＡ部に示すようなものとなる。図６のＡ部に関し、μは分布の生成元の評価値の平均値であり、σは分布の生成元の評価値の標準偏差である。ここで、分布の生成元の評価値のそれぞれについて標準化を行うことによって、評価値分布５として図６のＢ部に示すような分布（平均値が０かつ分散・標準偏差が１である分布）を作成することができる。なお、標準化前の評価値をＳｏｌｄとし、標準化後の評価値をＳｎｅｗとすると、標準化は次式（１）によって行われる。
Figure 2020047078
上述のような評価値分布５が用意されている状況下、レシピの実行によって新たに時系列データが生成されると、当該時系列データについての評価値が求められる。そして、その求められた評価値に対して、評価値分布５を作成した際の平均値μおよび標準偏差σを用いて上式（１）に基づく標準化が行われる。その標準化によって得られた評価値に基づいて、該当の時系列データについての異常度が決定される。
異常度の決定に関し、本実施形態においては、標準化後の評価値の範囲が４つのゾーンに区分されている。すなわち、４つのレベルで各時系列データの異常度が判定される。具体的には、図６のＢ部に示すように、（標準化後の）評価値が１未満であれば異常度はレベル１（Ｌ１）と判定され、評価値が１以上２未満であれば異常度はレベル２（Ｌ２）と判定され、評価値が２以上３未満であれば異常度はレベル３（Ｌ３）と判定され、評価値が３以上であれば異常度はレベル４（Ｌ４）と判定される。なお、ここでは標準化後の評価値の範囲が４つのゾーンに区分されている例を示したが、当該範囲が４以外の数のゾーンに区分されていても良い。
ところで、標準化後の評価値の範囲についての４つのゾーンへの区分は標準偏差に基づいて行われる。すなわち、ゾーン間の閾値は自動的に決定される。従って、従来とは異なり、時系列データの異常判定を行うためにユーザーは閾値を設定するという煩雑な作業を要することはない。
また、本実施形態においては、異常判定の際に２つの評価値分布５が用いられる。より詳しくは、基板処理装置２００が初期状態である時に得られた時系列データについての評価値に基づいて作成された評価値分布（以下、「初期分布」という）および直近のレシピの実行によって得られた時系列データ（例えば、最新の１０００個の単位処理データに含まれる時系列データ）についての評価値に基づいて作成された評価値分布（以下、「最新分布」という）のそれぞれを用いて、標準化後の評価値に基づき異常度の判定が行われる。これにより、２つの判定結果が得られる。以下、このように２つの評価値分布５を用いる理由について説明する。
或るレシピの実行によって得られる或るパラメータについての時系列データの評価値に着目すると、図７において符号３１を付した実線のように、時間の経過に従って評価値の値は上昇する傾向にある。ここで、符号３２を付した矢印で表される期間には、初期時点と比較すると評価値の値はかなり高くなっている。これに関し、初期時点から該当期間に至るまでには、評価値の値は急激に上昇しているわけではなく徐々に上昇している。このため、経年劣化は生じているが、該当期間中の評価値の値の変動が大きくなければ、異常への対処についての緊急性は低いと考えられる。但し、符号３３を付した部分の評価値の値については、前後の値との変動が大きいため、異常への対処についての緊急性が高いと考えられる。以上のようなケースにおいて該当期間内の全ての評価値のデータに関して例えば「異常度はレベル４である」と判定されると（換言すれば、符号３３を付した部分とそれ以外の部分とが同じように判定されると）、ユーザーは符号３３を付した部分についての緊急性の高さを把握することができない。
そこで、本実施形態においては、初期分布と最新分布とを用いた判定が行われる。上述したように時間の経過に従って評価値の値は上昇する傾向にあるので、初期分布５ａおよび最新分布５ｂは例えば図８に示すようなものとなる。最新分布５ｂを用いた判定を行うことにより、図７において符号３２を付した矢印で表される期間内の各評価値のデータについて例えば次のような判定結果を得ることが可能となる。
符号３３を付した部分以外の部分：異常度はレベル１（Ｌ１）またはレベル２（Ｌ２）
符号３３を付した部分：異常度はレベル３（Ｌ３）またはレベル４（Ｌ４）
上記のような判定結果が得られると、ユーザーは、緊急性の高い突発的な異常の発生を把握することが可能となる。
また、初期分布５ａを用いた判定の結果と最新分布５ｂを用いた判定の結果との組合わせに応じて、例えば次のような判断を行うことができる。なお、ここでは、判定の結果を「正常」または「異常」のいずれかとしている。
「初期分布を用いた判定の結果が正常」かつ「最新分布を用いた判定の結果が正常」：異常は発生していない。
「初期分布を用いた判定の結果が異常」かつ「最新分布を用いた判定の結果が正常」：経年劣化が生じている。
「初期分布を用いた判定の結果が異常」かつ「最新分布を用いた判定の結果が異常」：突発的な異常が発生している。
以上のように経年劣化による異常および突発的な異常の双方を検出することができるよう、本実施形態では２つの評価値分布５（初期分布５ａおよび最新分布５ｂ）を用いて各時系列データについての異常判定が行われる。なお、本実施形態においては、初期分布５ａによって第１の評価値分布が実現され、最新分布５ｂによって第２の評価値分布が実現されている。
＜１．３ 処理手順＞
次に、時系列データを用いた異常検出の処理手順について説明する。これに関し、上述のように本実施形態においては２つの評価値分布５（初期分布５ａおよび最新分布５ｂ）が用いられる。初期分布５ａについては、後述するスコアリングに関する各種設定が行われる際に作成される。最新分布５ｂについては、このデータ処理システムで異常検出の運用がなされている期間中、例えば、毎日１回、最新の１０００個の単位処理データに含まれる時系列データを用いて作成される。そこで、以下、初期分布５ａの作成手順と運用段階での手順とに分けて、処理手順の説明を行う。
＜１．３．１ 初期分布の作成手順＞
図９を参照しつつ、初期分布５ａの作成手順について説明する。なお、ここでは、ある程度の数の時系列データが既に蓄積されているものと仮定する。まず、ユーザーによって、初期分布５ａの作成元となる２以上の単位処理データの選択が行われる（ステップＳ１００）。ステップＳ１００では、データ処理装置１００の表示部１４に例えば図１０に示すような単位処理データ選択画面６００が表示される。単位処理データ選択画面６００には、開始時点入力ボックス６１と終了時点入力ボックス６２と処理ユニット指定ボックス６３とレシピ指定ボックス６４と抽出データ表示領域６５と確定ボタン６６とが含まれている。開始時点入力ボックス６１と終了時点入力ボックス６２とは日時の指定が可能なリストボックスであって、処理ユニット指定ボックス６３とレシピ指定ボックス６４とは複数の項目から１以上の項目の選択が可能なリストボックスである。ユーザーは、開始時点入力ボックス６１と終了時点入力ボックス６２とで期間を指定し、処理ユニット指定ボックス６３で処理ユニットを指定し、レシピ指定ボックス６４でレシピを指定する。これにより、指定された条件に該当する単位処理データの一覧が抽出データ表示領域６５に表示される。ユーザーは、抽出データ表示領域６５に表示された単位処理データの一部または全てを選択した状態で確定ボタン６６を押下する。これにより、初期分布５ａの作成元となる単位処理データが確定する。
次に、ステップＳ１００で選択された単位処理データ（以下、「被選択単位処理データ」という。）に含まれる各時系列データについて、評価値の算出が行われる（ステップＳ１１０）。本実施形態においては、予め基準データが基準データＤＢ１６３に保持されている。すなわち、被選択単位処理データに含まれる各時系列データと比較すべき基準データは基準データＤＢ１６３に保持されている。従って、ステップＳ１１０では、被選択単位処理データに含まれる各時系列データが基準データＤＢ１６３（図１参照）に保持されている基準データと比較され、当該各時系列データについての評価値が算出される。
次に、ステップＳ１１０で算出された評価値の標準化が行われる（ステップＳ１２０）。上述したように、評価値の標準化は上式（１）を用いて行われる。ところで、初期分布５ａはパラメータ毎に作成されるので、上式（１）中の平均値μおよび標準偏差σはパラメータ毎に求められる。
最後に、パラメータ毎（すなわち、時系列データの種類毎）に、標準化後の評価値のデータに基づいて初期分布５ａが作成される（ステップＳ１３０）。この初期分布５ａを構成するデータおよび最新分布５ｂを構成するデータは評価値分布データとして上述した評価値分布データＤＢ１６４（図１参照）に保持される。
なお、作成された初期分布５ａに対しては、標準化後の評価値の範囲が４つのゾーンに区分されるよう（図６参照）、標準偏差に基づいて自動的に閾値が設定される。
また、他のデータ処理装置１００のデータ記憶部１６０に保持されている単位処理データを被選択単位処理データとしてインポートできるようにしても良い。これにより、対象のデータ処理装置１００に単位処理データ（時系列データ）が蓄積されていなくても初期分布５ａを作成することが可能となる。
＜１．３．２ 運用段階での手順＞
図１１を参照しつつ、時系列データを用いた異常検出についての運用段階での手順を説明する。なお、図９に示した手順により既に初期分布５ａは作成されているものと仮定する。
まず、最新分布５ｂの作成が行われる（ステップＳ２００）。上述したように、最新分布５ｂは例えば最新の１０００個の単位処理データに含まれる時系列データを用いて作成される。すなわち、最新分布５ｂの作成には、初期分布５ａの作成の際の被選択単位処理データに代えて例えば最新の１０００個の単位処理データが用いられる。このように例えば最新の１０００個の単位処理データを用いて、初期分布５ａの作成と同様の手順（図９のステップＳ１１０〜Ｓ１３０）により最新分布５ｂが作成される。なお、この最新分布５ｂの作成の際、異常判定の精度の低下を抑制するために、最新のデータから外れ値（統計的に他の値から大きく外れた値）のデータを除いたデータのみを用いるようにしても良い。
ところで、劣化の進み方は、処理ユニット２２２毎に異なる。このため、各パラメータについて、最新分布５ｂは処理ユニット２２２毎に作成されることが好ましい。但し、全ての処理ユニット２２２に共通の最新分布５ｂをパラメータ毎に作成するようにしても良い。
次に、最新分布５ｂに対して、時系列データの異常判定を行うための閾値が設定される（ステップＳ２１０）。これに関し、上述したように評価値分布５（初期分布５ａおよび最新分布５ｂ）は平均値が０かつ分散・標準偏差が１の分布であるので、標準化後の評価値の範囲が４つのゾーンに区分されるよう標準偏差に基づいて自動的に閾値を設定することができる。
その後、基板処理装置２００でレシピが実行される（ステップＳ２２０）と、当該レシピの実行によって得られた時系列データについてのスコアリングが行われる（ステップＳ２３０）。なお、スコアリングとは、各時系列データを基準データと比較してそれによって得られる結果を評価値として数値化する処理である。
スコアリングの終了後、各時系列データについて、対応する評価値分布５を用いて異常度の判定が行われる（ステップＳ２４０）。本実施形態においては、初期分布５ａを用いた判定と最新分布５ｂを用いた判定とが行われる。ここでは、まず初期分布５ａ用の処理が行われ、次に最新分布５ｂ用の処理が行われるものと仮定する。ステップＳ２４０では、まず、ステップＳ２３０で得られた評価値に標準化が施される。評価値の標準化は上式（１）によって行われるところ、上式（１）中の平均値μおよび標準偏差σには、該当の初期分布５ａの作成の際に得られた平均値μおよび標準偏差σが使用される。そして、初期分布５ａ上における標準化後の評価値の位置に基づいて異常度が決定される。例えば、標準化後の評価値が図１２において符号５１を付した位置の値である場合、該当の時系列データの異常度（初期分布５ａに基づく異常度）は「レベル２」と判定される。初期分布５ａ用の処理の終了後、同様にして最新分布５ｂ用の処理が行われる。これにより、最新分布５ｂ上における標準化後の評価値の位置に基づいて異常度が決定される。以上のようにして、ステップＳ２４０では、初期分布５ａに基づく判定結果（以下、「第１の判定結果」という。）と最新分布５ｂに基づく判定結果（以下、「第２の判定結果」という。）とが得られる。
異常度の判定が行われた後、異常判定の結果表示に関する設定が行われる（ステップＳ２５０）。本実施形態においては第１の判定結果および第２の判定結果のいずれか一方を一度に表示することが可能となっており、ステップＳ２５０では、データ処理装置１００の表示部１４に例えば図１３に示すような結果表示設定画面７１０が表示される。結果表示設定画面７１０には２つのラジオボタン７１１，７１２が含まれており、当該２つのラジオボタン７１１，７１２のうちの一方を選択状態にすることが可能となっている。ユーザーは、この結果表示設定画面７１０を用いて、第１の判定結果および第２の判定結果のいずれを表示するのかの設定を行う。
その後、ステップＳ２５０で行われた設定に基づいて、異常度の判定結果がデータ処理装置１００の表示部１４に表示される（ステップＳ２６０）。このステップＳ２６０では、例えば図１４に示すような判定結果表示画面８００が表示される。図１４に示すように、判定結果表示画面８００には、項目名表示領域８０１と結果表示領域８０２とが含まれている。
項目名表示領域８０１には、異常度を表すレベルの名称（「Ｌ１」〜「Ｌ４」）および結果表示領域８０２に表示する内容（属性データ）の項目名が表示される。「Ｐｒｏｃｅｓｓ Ｒｅｃｉｐｅ」は、レシピの名称を表す項目名である。「Ｓｔａｒｔ ｔｉｍｅ」は、レシピの開始時刻を表す項目名である。「Ｅｎｄ ｔｉｍｅ」は、レシピの終了時刻を表す項目名である。
結果表示領域８０２には、各単位処理データについての異常度の判定結果および当該各単位処理データの属性データが表示される。この結果表示領域８０２については、１行が１つの単位処理データに対応する。図１４に示す例では、結果表示領域８０２のうち符号８０３を付した部分に、各単位処理データについての異常度の判定結果が表示されている。各単位処理データは複数の時系列データで構成されており（図４参照）、各単位処理データについて、Ｌ１と判定された時系列データの数、Ｌ２と判定された時系列データの数、Ｌ３と判定された時系列データの数、およびＬ４と判定された時系列データの数が、結果表示領域８０２のうちの符号８０３を付した部分に表示されている。
なお、図１１ではステップＳ２６０の終了後に処理はステップＳ２２０に戻るように示しているが、ステップＳ２６０の終了後に処理がステップＳ２５０に戻ることができるようにしても良い。これにより、第１の判定結果と第２の判定結果とを順次に判定結果表示画面８００に表示することが可能となる。
本実施形態においては、最新分布５ｂが作成されてから次に最新分布５ｂが作成されるまで、ステップＳ２２０〜ステップＳ２６０の処理が繰り返される。なお、上述したように、最新分布５ｂは例えば毎日１回作成される。
本実施形態においては、ステップＳ２１０によって閾値設定ステップが実現され、ステップＳ２３０によって異常度判定用評価値算出ステップが実現され、ステップＳ２４０によって異常度判定ステップが実現され、ステップＳ２５０によって結果表示設定ステップが実現され、ステップＳ２６０によって判定結果表示ステップが実現されている。
＜１．４ 効果＞
本実施形態によれば、基板処理装置２００でレシピが実行されることによって得られた時系列データについての評価値が算出される。そして、その評価値に対して統計的な標準化が施され、標準化後の評価値の分布を表す評価値分布５が作成される。このようにして評価値分布５が作成されている状況下、レシピの実行によって新しく時系列データが生成されると、当該時系列データに関し、評価値分布５上における評価値（詳しくは、スコアリングによって得られた評価値の標準化後の値）の位置に基づいて異常度が決定される。これに関し、評価値分布５は標準化されたデータに基づいて作成された分布であるので、異常判定の際の閾値を標準偏差に基づいて自動的に決定することができる。すなわち、ユーザーによる煩雑な作業を要することなく、異常判定を行うための閾値を客観的に設定することが可能となる。また、このように閾値の設定を客観的なものとすることによって、安定した精度で時系列データの異常判定を行うことが可能となる。以上のように、本実施形態によれば、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことが可能となる。
また、本実施形態によれば、評価値分布５を用いた異常度の判定として、初期分布５ａに基づく判定と最新分布５ｂに基づく判定とが行われる。このため、経年劣化による異常および突発的な異常の双方を検出することが可能となる。これにより、ユーザーは、現在発生している異常の緊急性をも把握することが可能となる。
＜１．５ 変形例＞
以下、上記第１の実施形態の変形例について説明する。
＜１．５．１ 第１の変形例＞
上記第１の実施形態においては、異常判定の結果表示に関して、第１の判定結果および第２の判定結果のいずれか一方を一度に表示することが可能となっていた。しかしながら、本発明はこれに限定されず、第１の判定結果および第２の判定結果の双方を一度に表示することが可能であっても良い。
本変形例においては、異常判定の結果表示に関する設定（図１１のステップＳ２５０）が行われる際、データ処理装置１００の表示部１４に例えば図１５に示すような結果表示設定画面７２０が表示される。結果表示設定画面７２０には２つのチェックボックス７２１，７２２が含まれており、当該２つのチェックボックス７２１，７２２のそれぞれについて選択状態または非選択状態のいずれかに設定することが可能となっている。ユーザーは、この結果表示設定画面７２０を用いて、第１の判定結果および第２の判定結果のそれぞれについて、表示するか否かの設定を行う。
結果表示設定画面７２０を用いて異常判定の結果表示に関する設定が行われた後、設定された内容に基づいて異常度の判定結果が表示される。第１の判定結果および第２の判定結果の一方のみを表示する旨の設定が行われている場合、図１４に示したような判定結果表示画面８００が表示される。第１の判定結果および第２の判定結果の双方を表示する旨の設定が行われている場合、図１６に示したような判定結果表示画面８００が表示される。このとき、結果表示領域８０２については、２行が１つの単位処理データに対応している。結果表示領域８０２のうちの符号８０４を付した部分において１つの単位処理データに対応する２つの行に着目すると、１行目には第１の判定結果が表示され、２行目には第２の判定結果が表示されている。
本変形例によれば、時系列データの異常判定に関し、ユーザーは、初期分布５ａに基づく判定結果と最新分布５ｂに基づく判定結果とを画面上で一度に確認することが可能となる。
＜１．５．２ 第２の変形例＞
上記第１の実施形態においては、異常判定の際に２つの評価値分布５が用いられていた。しかしながら、本発明はこれに限定されず、３つ以上の評価値分布５を用いて異常判定が行われても良い。そこで、一例として４つの評価値分布５を用いて異常判定を行う例を説明する。なお、ここでは、説明の便宜上、対象の時系列データを生成した処理ユニット２２２を「対象処理ユニット」といい、基板処理装置２００に含まれる複数個の処理ユニット２２２のうち最も動作が安定している処理ユニット２２２を「基準処理ユニット」という。
本変形例においては、異常度の判定（図１１のステップＳ２４０）の際に、図１７に示すような４つの評価値分布５ａ（１），５ｂ（１），５ａ（２），および５ｂ（２）が用いられる。評価値分布５ａ（１）は、基板処理装置２００が初期状態である時に対象処理ユニットでレシピの実行によって得られた時系列データについての評価値に基づいて作成された分布である。評価値分布５ｂ（１）は、対象処理ユニットで直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成された分布である。評価値分布５ａ（２）は、基板処理装置２００が初期状態である時に基準処理ユニットでレシピの実行によって得られた時系列データについての評価値に基づいて作成された分布である。評価値分布５ｂ（２）は、基準処理ユニットで直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成された分布である。以上より、本変形例では、異常度の判定結果として４つの判定結果が得られる。
以上のように３つ以上の評価値分布５を用いて異常度の判定を行うことにより、異常判定の精度の更なる向上や異常判定に関する様々な分析が可能となる。
＜２．第２の実施形態＞
＜２．１ 概要および全体構成など＞
上記第１の実施形態（変形例を含む）においては、異常判定の際に複数の評価値分布５が用いられていた。しかしながら、本発明はこれに限定されず、１つの評価値分布５のみを用いて異常判定が行われるようにしても良い。そこで、各時系列データについての異常判定を行うために１つの評価値分布５のみが用いられる例を本発明の第２の実施形態として説明する。
全体構成、基板処理装置２００の構成、データ処理装置１００のハードウェア構成などについては、上記第１の実施形態と同様であるので、説明を省略する（図１〜図５を参照）。
＜２．２ 処理手順＞
図１８を参照しつつ、時系列データを用いた異常検出の本実施形態における処理手順について説明する。なお、この処理の開始前にある程度の数の時系列データが既に蓄積されているものと仮定する。
まず、時系列データを用いた異常検出（各時系列データについての異常判定）を可能にするために、評価値分布５の作成が行われる（ステップＳ３００）。本実施形態における評価値分布５は上記第１の実施形態における初期分布５ａと同様の手順により作成される（図９参照）。
次に、評価値分布５に対して、時系列データの異常判定を行うための閾値が設定される（ステップＳ３１０）。評価値分布５は平均値が０かつ分散・標準偏差が１の分布であるので、このステップＳ３１０では、標準化後の評価値の範囲が４つのゾーンに区分されるよう標準偏差に基づいて自動的に閾値が設定される。
その後、基板処理装置２００でレシピが実行される（ステップＳ３２０）と、当該レシピの実行によって得られた時系列データについてのスコアリングが行われる（ステップＳ３３０）。
スコアリングの終了後、各時系列データについて、対応する評価値分布５を用いて異常度の判定が行われる（ステップＳ３４０）。ステップＳ３４０では、まず、ステップＳ３３０で得られた評価値に標準化が施される。評価値の標準化は上式（１）によって行われるところ、上式（１）中の平均値μおよび標準偏差σには、該当の評価値分布５の作成の際に得られた平均値μおよび標準偏差σが使用される。そして、評価値分布５上における標準化後の評価値の位置に基づいて異常度が決定される。
その後、異常度の判定結果がデータ処理装置１００の表示部１４に表示される（ステップＳ３５０）。このステップＳ３５０では、例えば図１４に示したような判定結果表示画面８００が表示される。
本実施形態においては、いずれかのレシピの内容に変更があるまで、ステップＳ３２０〜ステップＳ３５０の処理が繰り返される。すなわち、或るレシピが実行されたときの異常度の判定は、当該レシピの内容に変更があるまで、同じ評価値分布５を用いて行われる。いずれかのレシピの内容に変更があると、評価値分布５の更新が行われる（ステップＳ３６０）。本実施形態によれば、このように評価値分布５の更新が行われるので、例えば最近の傾向を考慮しつつ、時系列データを用いた異常検出を行うことが可能となる。なお、評価値分布５の更新についての詳しい説明は後述する。評価値分布５の更新後、処理はステップＳ３２０に戻る。
本実施形態においては、ステップＳ３１０によって閾値設定ステップが実現され、ステップＳ３３０によって異常度判定用評価値算出ステップが実現され、ステップＳ３４０によって異常度判定ステップが実現され、ステップＳ３５０によって判定結果表示ステップが実現され、ステップＳ３６０によって評価値分布更新ステップが実現されている。
＜２．３ 評価値分布の更新方法＞
次に、評価値分布５の更新について説明する。基板処理装置２００でレシピが実行されることによって得られる単位処理データには、複数のパラメータについての時系列データが含まれている（図４参照）。上記第１の実施形態と同様、本実施形態においても、そのパラメータ毎（すなわち、時系列データの種類毎）に評価値分布５が作成される。ところで、基板処理装置２００では、レシピの内容に変更が施されることがある。レシピの内容に変更があると、その変更の前後で、レシピの実行によって得られる時系列データの中身が異なるものとなる。このとき、仮にレシピの変更後に得られた時系列データの異常判定をレシピの変更前に作成された評価値分布５を用いて行うと、当該異常判定の結果として正しい結果が得られないおそれがある。そこで、本実施形態においては、レシピの内容に変更があったときに評価値分布５の更新が行われる。なお、レシピの内容に変更があった直後には変更後の内容に基づく時系列データが蓄積されていないため、評価値分布５の更新は変更後の内容に基づく時系列データがある程度蓄積されてから行われることが好ましい。
評価値分布５の更新の際、評価値分布更新部１４０は、変更前のレシピに対応付けられているパラメータと変更後のレシピに対応付けられているパラメータとを比較する。そして、評価値分布更新部１４０は、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布５を既に蓄積されている評価値（該当のパラメータについての時系列データの評価値）のデータに基づいて作成する。また、内容に変更があったパラメータの指定がユーザーによって行われ、評価値分布更新部１４０は、その指定されたパラメータに対応する評価値分布５を再作成する。
例えば、或るレシピの内容の変更によって、当該レシピに対応付けられているパラメータ群が以下のように変化したと仮定する。
変更前：パラメータＡ、パラメータＢ、パラメータＣ、パラメータＤ
変更後：パラメータＡ、パラメータＣ、パラメータＤ、パラメータＥ
なお、パラメータＡおよびパラメータＤについては時系列データの中身に変化はなく、パラメータＣについては時系列データの中身に変化があると仮定する。
上記の例の場合、評価値分布５の更新の際に、データ処理装置１００の表示部１４に例えば図１９に示すようなパラメータ指定画面９００が表示される。パラメータ指定画面９００には、変更後のパラメータ群（パラメータＡ、パラメータＣ、パラメータＤ、パラメータＥ）に対応するチェックボックスが含まれている。レシピの内容の変更に伴って追加されたパラメータであるパラメータＥに対応するチェックボックスは予め選択状態（図１９では、網掛け状態）となっている。このようなパラメータ指定画面９００において、パラメータＣについては時系列データの中身に変化があるので、図２０に示すようにユーザーはパラメータＣに対応するチェックボックスを選択状態にする。このようにしてユーザーによるパラメータの指定が行われた後、実際に評価値分布５の更新が行われる。その結果、模式的には図２１に示すように評価値分布５が更新される。具体的には、レシピの内容の変更に伴って削除されたパラメータであるパラメータＢについての評価値分布５は削除され、レシピの内容の変更に伴って追加されたパラメータであるパラメータＥについての評価値分布５が新規に作成され、ユーザーによって指定されたパラメータであるパラメータＣについての評価値分布５が再作成される。なお、パラメータＡおよびパラメータＤについての評価値分布５は、レシピの内容の変更前の状態で維持される。
以上のように、レシピの内容の変更に関わるパラメータについての評価値分布５のみ更新（作成、再作成、削除）が行われる。これにより、評価値分布５の更新に多大な時間を要することが防止される。なお、更新後の評価値分布５の具体的な作成手順については、新規で評価値分布５を作成する際と同様の手順（図９参照）を採用することができる。
＜２．４ 効果＞
本実施形態においても、上記第１の実施形態と同様、基板処理装置２００でレシピが実行されることによって得られた時系列データについての評価値が算出され、標準化後の評価値の分布を表す評価値分布５が作成される。そして、その評価値分布５を用いて時系列データの異常度が決定される。ここで、評価値分布５は標準化されたデータに基づいて作成された分布であるので、異常判定の際の閾値を標準偏差に基づいて自動的に決定することができる。すなわち、ユーザーによる煩雑な作業を要することなく、異常判定を行うための閾値を客観的に設定することが可能となる。また、このように閾値の設定を客観的なものとすることによって、安定した精度で時系列データの異常判定を行うことが可能となる。以上のように、上記第１の実施形態と同様、時系列データを用いた異常検出をユーザーによる煩雑な作業を要することなく従来よりも精度良く行うことが可能となる。
＜２．５ 変形例＞
以下、上記第２の実施形態の変形例について説明する。
＜２．５．１ 第１の変形例＞
上記第２の実施形態においては、レシピの内容に変更があったときに評価値分布５が更新されていた。しかしながら、本発明はこれに限定されず、スコアリングが実行される都度、評価値分布５が更新されるようにしても良い。
図２２を参照しつつ、時系列データを用いた異常検出の本変形例における処理手順について説明する。上記第２の実施形態においては、いずれかのレシピの内容に変更があるまで、ステップＳ３２０〜ステップＳ３５０の処理が繰り返されていた（図１８参照）。これに対して、本変形例においては、スコアリング（ステップＳ３３０）の結果に基づいて異常度の判定（ステップＳ３４０）およびその結果表示（ステップＳ３５０）が行われた後、必ず評価値分布５の更新（ステップＳ３６０）が行われる。
ところで、評価値分布５を作成するためには、作成元の全ての単位処理データに基づいて平均値および標準偏差の算出を行う必要がある。すなわち、評価値分布５の更新をスコアリングが実行される都度行うためには、スコアリングの都度、平均値および標準偏差の算出を行う必要がある。これに関し、仮に、スコアリングの都度、評価値分布５の作成元の全ての単位処理データを用いて平均値および標準偏差の算出が行われると、計算のための負荷が非常に大きくなる。そこで、評価値分布５の作成元の単位処理データの数がｎ個からｎ＋１個に増えたときに以下の式（２）〜（４）を用いて逐次的に平均値および分散（標準偏差の２乗）を求めるようにすれば良い。
Figure 2020047078
 ここで、μn+1は評価値分布５の作成元の単位処理データの数がｎ＋１個に増えた状態での評価値の平均値であり、μnは評価値分布５の作成元の単位処理データの数がｎ個であった状態での評価値の平均値であり、ｘn+1は追加された単位処理データの評価値であり、σ2 n+1は評価値分布５の作成元の単位処理データの数がｎ＋１個に増えた状態での評価値の分散であり、σ2 nは評価値分布５の作成元の単位処理データの数がｎ個であった状態での評価値の分散である。
上式（３）を用いてμn+1を求める際には既にμnは求められており、また、上式（４）を用いてσ2 n+1を求める際には既にσ2 nは求められている。従って、更新後の評価値分布５を作成するための平均値および標準偏差（標準偏差は分散から簡単に得られる）を比較的低い負荷で求めることが可能となる。
評価値分布５の作成元の単位処理データの数が少なければ、時系列データの異常判定に関して良好な精度が得られない。この点、本変形例によれば、スコアリングが実行される都度、評価値分布５が更新されるので、異常判定の精度が徐々に向上する。また、平均値や標準偏差が一定範囲内の値に収束する（異常判定に関して充分な精度が得られる）までには多少の時間を要するものの、レシピの実行結果としての単位処理データが全く得られていない状況下でもスコアリングや評価値分布５の作成に関する各種の設定作業を予め行うことが可能となる。
＜２．５．２ 第２の変形例＞
上記第２の実施形態においては、更新後の評価値分布５の作成元の単位処理データに関して特に限定はされていなかった。しかしながら、本発明はこれに限定されず、更新後の評価値分布５の作成が指定された処理ユニット２２２での処理で得られた単位処理データに基づいて行われるようにしても良い。
図２３は、本変形例における評価値分布５の更新の詳細な手順を示すフローチャートである。本変形例においては、評価値分布５の更新の際、まず、スコアリング結果（評価値のデータ）の抽出が行われる（ステップＳ４００）。ステップＳ４００では、例えば、１つの評価値分布５につき直近に得られた１０００個の単位処理データについてのスコアリング結果が抽出される。
次に、ステップＳ４００で抽出されたスコアリング結果に基づいて、処理ユニット２２２毎に評価値のばらつき（分散または標準偏差）が算出される（ステップＳ４１０）。なお、この際、評価値のデータの標準化は行われない。ところで、ステップＳ４００で抽出されたスコアリング結果に基づいて分布（評価値の分布）が作成されると、当該分布は、模式的には例えば図２４に示すように、処理ユニット毎に異なるものとなる。ここで、通常、出力結果に異常度の高い時系列データを多く含んでいる処理ユニット２２２ほど、上述の分布に基づくばらつきは大きくなると考えられる。そこで、上述のように、ステップＳ４１０では処理ユニット２２２毎に評価値のばらつきが算出される。そして、ステップＳ４１０で算出されたばらつきのうち最も小さいばらつきが得られた処理ユニット２２２の指定が行われる（ステップＳ４２０）。
その後、ステップＳ４２０で指定された処理ユニット２２２での処理で得られた単位処理データが、例えば上述した直近に得られた１０００個の単位処理データから抽出される（ステップＳ４３０）。次に、ステップＳ４３０で抽出された単位処理データ（被抽出単位処理データ）に含まれる各時系列データについて、評価値の算出が行われ（ステップＳ４４０）、さらに、ステップＳ４４０で算出された評価値の標準化が行われる（ステップＳ４５０）。なお、ステップＳ４５０でも評価値の標準化は上式（１）を用いて行われる。最後に、パラメータ毎（すなわち、時系列データの種類毎）に、標準化後の評価値のデータに基づいて更新後の評価値分布５が作成される（ステップＳ４６０）。
なお、本変形例においては、ステップＳ４１０によってばらつき算出ステップが実現され、ステップＳ４２０によって処理ユニット指定ステップが実現され、ステップＳ４３０によって単位処理データ抽出ステップが実現され、ステップＳ４４０によって分布更新用評価値算出ステップが実現され、ステップＳ４５０およびステップＳ４６０によって評価値分布作成ステップが実現されている。
本変形例によれば、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、処理ユニット２２２毎のスコアリング結果に基づいて、安定した処理が行われると考えられる処理ユニット２２２の選択（指定）が行われる。そして、その選択された処理ユニット２２２での処理で得られた単位処理データに基づいて、更新後の評価値分布５が作成される。このため、当該評価値分布５を用いた異常判定は高精度なものとなる。以上のように、本変形例によれば、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことが可能となるように、評価値分布５が更新される。
なお、上述の例では、ステップＳ４２０での処理ユニット２２２の指定は評価値のばらつきのみを考慮して行われる。これに関し、例えば図２５に示すように、比較的異常度の低い時系列データを多く含んでいる処理ユニットに対応する分布よりも比較的異常度の高い時系列データを多く含んでいる処理ユニットに対応する分布の方がばらつきが小さくなるケースが生じることも考えられる。そこで、例えば、上記ステップＳ４１０（図２３参照）において評価値のばらつきに加えて評価値の平均値を算出し、ステップＳ４２０において評価値のばらつきおよび評価値の平均値の双方を考慮して処理ユニット２２２の指定が行われるようにしても良い。この場合、ステップＳ４１０によって統計値算出ステップが実現される。
＜２．５．３ 第３の変形例＞
上記第２の実施形態においては、更新後の評価値分布５は新規で評価値分布５を作成する際と同様の手順（図９参照）によって作成されていた。しかしながら、本発明はこれに限定されず、ＡＩ（人工知能）の技術を用いて更新後の評価値分布５を定めるようにしても良い。そこで、以下、図２６〜図２８を参照しつつ、評価値分布５の更新にＡＩの技術を用いる手法について説明する。なお、本変形例では全ての処理ユニット２２２に共通の評価値分布５がパラメータ毎に用意されるものと仮定する。また、以下では、１つのパラメータについての評価値分布５に着目する。
本変形例においては、入力層と中間層と出力層とによって構成される例えば図２６に示すようなニューラルネットワークが学習器として用意される。中間層の層数は限定されず、また、複数の中間層において或る層のユニット数と別の層のユニット数とが異なっていても良い。入力層のユニット数についても、評価値分布５のデータを適切に入力できるのであれば、特に限定されない。なお、ニューラルネットワークの種類としては、例えば、一般的な順伝播型ニューラルネットワークや畳み込みニューラルネットワークを採用することができる。
図２６に示すように、入力層には評価値分布５のデータが入力され、出力層からは点数のデータが出力される。例えば入力層が図２７に示すように１００個のユニットＵ（１）〜Ｕ（１００）によって構成されている場合、評価値の取り得る範囲が１００個の範囲に区分されるよう９９個の閾値ＴＨ（１）〜ＴＨ（９９）が設定される。なお、それら閾値ＴＨ（１）〜ＴＨ（９９）については、「ＴＨ（１）＜ＴＨ（２）＜ＴＨ（３）＜・・・＜ＴＨ（９９）」という関係を満たしているものとする。このような前提の下、或る１つの評価値分布５のデータが入力層に入力される際には、例えば、１番目のユニットＵ（１）には閾値ＴＨ（１）未満の値（評価値としての値）の度数が入力され、２番目のユニットＵ（２）には閾値ＴＨ（１）以上かつ閾値ＴＨ（２）未満の値の度数が入力される（図２７参照）。上述のように評価値分布５のデータが入力層に入力されると、その時のニューラルネットワーク内の重み・バイアスの値に基づいてデータの順伝播が行われ、出力層から点数のデータが出力される。
学習器として上述のようなニューラルネットワークが用意されている状況下、実際に評価値分布５の更新が行われるのに先立って、当該ニューラルネットワークの学習が行われる必要がある。本変形例においては、ニューラルネットワークの学習のために、それぞれが評価値分布５と教師データとしての点数とからなる模式的には図２８に示すような多数の学習データが用意される。なお、図２８において符号５９で示す部分のデータが１つの学習データに相当する。各評価値分布５には、例えば０点以上５点以下の点数が割り当てられている。
学習の際には、各学習データについて、評価値分布５のデータを入力層に与えることによって得られる点数（出力層から出力される点数）と教師データとしての点数との２乗誤差が求められる。そして、誤差逆伝播法によって、全ての学習データについての２乗誤差の総和が最小となるように、ニューラルネットワーク内の重み・バイアスの値が求められる。
評価値分布５の更新の際には、以上のようにして予め学習が行われているニューラルネットワークが用いられる。具体的には、学習済みのニューラルネットワークを用いて以下の手順により更新後の評価値分布５の設定が行われる。
まず、処理ユニット２２２毎に、例えば直近に得られた該当パラメータについての最新の１０００個の時系列データを用いて評価値分布５が作成される。これにより、処理ユニット２２２の数が１２であれば、１２個の評価値分布５が作成される。そして、１２個の処理ユニット２２２にそれぞれ対応する１２個の評価値分布５のデータが順次にニューラルネットワークの入力層に入力される。その結果、ニューラルネットワークの出力層からは１２個の点数のデータが順次に出力される。本変形例においては、それら１２個の点数のうち最も高い点数（最も良い点数）を得た評価値分布５が更新後の評価値分布５に定められる。
以上のように、本変形例においては、それぞれが評価値分布５と教師データとしての点数とからなる複数の学習データを用いて予め学習が行われているニューラルネットワーク（学習器）に複数の処理ユニット２２２に対応する複数の評価値分布５が入力され、当該複数の評価値分布５のうちニューラルネットワークから出力された点数が最も良い評価値分布５が更新後の評価値分布５に定められる。
本変形例によれば、評価値分布５の更新の際に、処理ユニット２２２毎に最新の時系列データに基づいて評価値分布５が作成される。そして、複数の評価値分布５の中からＡＩの技術によって最良と判断された評価値分布５が更新後の評価値分布５に定められる。このため、更新後の評価値分布５を用いた異常判定は高精度なものとなる。以上のように、本変形例によれば、上記第２の変形例と同様、評価値分布５の作成元となる単位処理データを選択するのが難しい場合であっても、時系列データの異常判定を高精度で行うことが可能となるように、評価値分布５が更新される。
＜３．その他＞
上記で説明した各実施形態や各変形例を矛盾を生ずることなく適宜に組み合わせた構成も、本発明の趣旨に反しない限り本発明の範囲に含まれる。
５…評価値分布
５ａ…初期分布
５ｂ…最新分布
１００…データ処理装置
１１０…単位処理データ選択部
１２０…評価値算出部
１３０…評価値分布作成部
１４０…評価値分布更新部
１５０…異常度判定部
１６０…データ記憶部
１６１…データ処理プログラム
２００…基板処理装置
２２２…処理ユニット

Claims (21)

  1. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理方法であって、
    新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出ステップと、
    過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定ステップと
    を含むことを特徴とする、データ処理方法。
  2. 前記異常度判定ステップでの異常度の判定に用いるための閾値を前記評価値分布に対して設定する閾値設定ステップを更に含むことを特徴とする、請求項１に記載のデータ処理方法。
  3. 前記評価値分布は、標準化が施された評価値に基づいて作成されており、
    前記閾値設定ステップでは、前記評価値分布の生成元のデータの標準偏差に基づいて閾値が設定されることを特徴とする、請求項２に記載のデータ処理方法。
  4. 前記閾値設定ステップでは、前記評価値分布に対して３つの閾値が設定され、
    前記異常度判定ステップでは、前記新たに得られた単位処理データに含まれる各時系列データの異常度が、４つのレベルのうちのいずれかに判定されることを特徴とする、請求項３に記載のデータ処理方法。
  5. 前記異常度判定ステップでは、複数の評価値分布を用いて異常度の判定が行われることを特徴とする、請求項１に記載のデータ処理方法。
  6. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    前記複数の評価値分布のうちの１つは、前記基板処理装置が初期状態である時に得られた時系列データについての評価値に基づいて作成されていることを特徴とする、請求項５に記載のデータ処理方法。
  7. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    前記複数の評価値分布のうちの１つは、直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成されていることを特徴とする、請求項５に記載のデータ処理方法。
  8. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    前記異常度判定ステップでは、前記複数の評価値分布として、前記基板処理装置が初期状態である時に得られた時系列データについての評価値に基づいて作成された第１の評価値分布と直近のレシピの実行によって得られた時系列データについての評価値に基づいて作成された第２の評価値分布とが用いられることを特徴とする、請求項５に記載のデータ処理方法。
  9. 前記異常度判定ステップで行われた判定の結果表示に関する設定を行う結果表示設定ステップと、
    前記結果表示設定ステップで行われた設定に基づいて異常度の判定結果を所定の画面上に表示する判定結果表示ステップと
    を更に含み、
    前記異常度判定ステップでは、前記第１の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第１の判定結果と、前記第２の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第２の判定結果とが得られ、
    前記結果表示設定ステップでは、前記判定結果表示ステップで前記第１の判定結果および前記第２の判定結果のいずれを表示するのかの設定が行われることを特徴とする、請求項８に記載のデータ処理方法。
  10. 前記異常度判定ステップで行われた判定の結果表示に関する設定を行う結果表示設定ステップと、
    前記結果表示設定ステップで行われた設定に基づいて異常度の判定結果を所定の画面上に表示する判定結果表示ステップと
    を更に含み、
    前記異常度判定ステップでは、前記第１の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第１の判定結果と、前記第２の評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づく判定の結果である第２の判定結果とが得られ、
    前記結果表示設定ステップでは、前記判定結果表示ステップで前記第１の判定結果を表示するか否かおよび前記判定結果表示ステップで前記第２の判定結果を表示するか否かの設定が行われることを特徴とする、請求項８に記載のデータ処理方法。
  11. 前記評価値分布を更新する評価値分布更新ステップを更に含むことを特徴とする、請求項１に記載のデータ処理方法。
  12. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布更新ステップは、
    各時系列データについての評価値に基づいて処理ユニット毎に評価値のばらつきを算出するばらつき算出ステップと、
    前記ばらつき算出ステップで算出されたばらつきのうち最も小さいばらつきが得られた処理ユニットを指定する処理ユニット指定ステップと、
    前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
    前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する分布更新用評価値算出ステップと、
    前記分布更新用評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
    を含むことを特徴とする、請求項１１に記載のデータ処理方法。
  13. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布更新ステップは、
    各時系列データについての評価値に基づいて処理ユニット毎に評価値の平均値およびばらつきを算出する統計値算出ステップと、
    前記統計値算出ステップで算出された平均値およびばらつきを考慮して処理ユニットを指定する処理ユニット指定ステップと、
    前記処理ユニット指定ステップで指定された処理ユニットに対応する単位処理データを前記複数の単位処理データから抽出する単位処理データ抽出ステップと、
    前記単位処理データ抽出ステップで抽出された単位処理データである被抽出単位処理データに含まれる各時系列データについての評価値を算出する分布更新用評価値算出ステップと、
    前記分布更新用評価値算出ステップで算出された各時系列データについての評価値に基づいて、更新後の評価値分布を時系列データの種類ごとに作成する評価値分布作成ステップと
    を含むことを特徴とする、請求項１１に記載のデータ処理方法。
  14. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    前記基板処理装置でレシピが実行される都度、前記評価値分布更新ステップが実行されることを特徴とする、請求項１１に記載のデータ処理方法。
  15. 前記複数の単位処理データは、基板処理装置でレシピが実行されることによって得られるデータであって、
    レシピの内容に変更があったときに、前記評価値分布更新ステップが実行されることを特徴とする、請求項１１に記載のデータ処理方法。
  16. 前記複数種類の時系列データは、複数のパラメータについての時系列データであって、
    前記評価値分布は、パラメータごとに設けられており、
    前記評価値分布更新ステップでは、内容に変更のあるパラメータに対応する評価値分布のみが更新されることを特徴とする、請求項１５に記載のデータ処理方法。
  17. 前記評価値分布更新ステップでは、レシピの内容の変更に伴って追加されたパラメータに対応する評価値分布がすでに蓄積されている評価値のデータに基づいて作成されることを特徴とする、請求項１６に記載のデータ処理方法。
  18. 前記評価値分布更新ステップでは、外部から指定されたパラメータに対応する評価値分布が再作成されることを特徴とする、請求項１６に記載のデータ処理方法。
  19. 前記単位処理は、複数の処理ユニットを有する基板処理装置で１枚の基板に対して１つのレシピとして実行される処理であって、
    前記評価値分布更新ステップでは、それぞれが評価値分布と教師データとしての点数とからなる複数の学習データを用いて予め学習が行われている学習器に前記複数の処理ユニットに対応する複数の評価値分布が入力され、当該複数の評価値分布のうち前記学習器から出力された点数が最も良い評価値分布が更新後の評価値分布に定められることを特徴とする、請求項１１に記載のデータ処理方法。
  20. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置であって、
    新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出部と、
    過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記異常度判定用評価値算出部によって算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定部と
    を備えることを特徴とする、データ処理装置。
  21. 単位処理で得られる複数種類の時系列データを単位処理データとして複数の単位処理データを処理するデータ処理装置に含まれるコンピュータに、
    新たに得られた単位処理データに含まれる時系列データについての評価値を算出する異常度判定用評価値算出ステップと、
    過去の各時系列データを評価することによって得られた評価値の値ごとの度数を表す評価値分布と前記異常度判定用評価値算出ステップで算出された評価値とに基づいて、前記新たに得られた単位処理データに含まれる時系列データの異常度の判定を行う異常度判定ステップと
    を実行させるためのデータ処理プログラム。
JP2018176258A 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム Active JP7214417B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018176258A JP7214417B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム
JP2023005924A JP2023052477A (ja) 2018-09-20 2023-01-18 データ処理方法およびデータ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018176258A JP7214417B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023005924A Division JP2023052477A (ja) 2018-09-20 2023-01-18 データ処理方法およびデータ処理プログラム

Publications (2)

Publication Number Publication Date
JP2020047078A true JP2020047078A (ja) 2020-03-26
JP7214417B2 JP7214417B2 (ja) 2023-01-30

Family

ID=69901548

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018176258A Active JP7214417B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム
JP2023005924A Pending JP2023052477A (ja) 2018-09-20 2023-01-18 データ処理方法およびデータ処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023005924A Pending JP2023052477A (ja) 2018-09-20 2023-01-18 データ処理方法およびデータ処理プログラム

Country Status (1)

Country Link
JP (2) JP7214417B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7041776B1 (ja) 2021-06-30 2022-03-24 Ｓｐｐテクノロジーズ株式会社 基板処理装置のプロセス判定装置、基板処理システム、基板処理装置のプロセス判定方法、学習モデルの生成方法及びプログラム
CN117370917A (zh) * 2023-12-07 2024-01-09 城光（湖南）节能环保服务股份有限公司 一种城市智慧路灯寿命预测方法及系统
JP7454467B2 (ja) 2020-08-03 2024-03-22 株式会社荏原製作所 基板処理システム、基板処理システムの制御装置及び基板処理システムの運転方法
CN117786371A (zh) * 2024-02-27 2024-03-29 聊城市检验检测中心 一种温度监测数据优化预测分析方法及系统
JP7510864B2 (ja) 2020-12-11 2024-07-04 東京エレクトロン株式会社 評価方法及び評価装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052699A1 (ja) * 2005-11-04 2007-05-10 Nikon Corporation 解析装置、処理装置、測定装置、露光装置、基板処理システム、解析方法及びプログラム
JP2008226006A (ja) * 2007-03-14 2008-09-25 Omron Corp 設備機器診断装置およびプログラム
JP2010282541A (ja) * 2009-06-08 2010-12-16 Toppan Printing Co Ltd 装置データの自動基準波形作成方法及び不良情報の予測方法
JP2010283000A (ja) * 2009-06-02 2010-12-16 Renesas Electronics Corp 半導体製造における装置異常の予兆検知方法
JP2013061853A (ja) * 2011-09-14 2013-04-04 Toshiba Corp プロセス監視・診断・支援装置
WO2013121493A1 (ja) * 2012-02-17 2013-08-22 シャープ株式会社 半導体処理システム、半導体装置の製造方法、装置データ収集方法、制御プログラムおよび可読記憶媒体
JP2014070944A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
JP2017112212A (ja) * 2015-12-16 2017-06-22 株式会社荏原製作所 基板処理装置およびその品質保証方法
WO2017122292A1 (ja) * 2016-01-13 2017-07-20 三菱電機株式会社 運転状態分類装置
JP2018041217A (ja) * 2016-09-06 2018-03-15 東京エレクトロン株式会社 異常検知方法及び半導体製造装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052699A1 (ja) * 2005-11-04 2007-05-10 Nikon Corporation 解析装置、処理装置、測定装置、露光装置、基板処理システム、解析方法及びプログラム
JP2008226006A (ja) * 2007-03-14 2008-09-25 Omron Corp 設備機器診断装置およびプログラム
JP2010283000A (ja) * 2009-06-02 2010-12-16 Renesas Electronics Corp 半導体製造における装置異常の予兆検知方法
JP2010282541A (ja) * 2009-06-08 2010-12-16 Toppan Printing Co Ltd 装置データの自動基準波形作成方法及び不良情報の予測方法
JP2013061853A (ja) * 2011-09-14 2013-04-04 Toshiba Corp プロセス監視・診断・支援装置
WO2013121493A1 (ja) * 2012-02-17 2013-08-22 シャープ株式会社 半導体処理システム、半導体装置の製造方法、装置データ収集方法、制御プログラムおよび可読記憶媒体
JP2014070944A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
JP2017112212A (ja) * 2015-12-16 2017-06-22 株式会社荏原製作所 基板処理装置およびその品質保証方法
WO2017122292A1 (ja) * 2016-01-13 2017-07-20 三菱電機株式会社 運転状態分類装置
JP2018041217A (ja) * 2016-09-06 2018-03-15 東京エレクトロン株式会社 異常検知方法及び半導体製造装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7454467B2 (ja) 2020-08-03 2024-03-22 株式会社荏原製作所 基板処理システム、基板処理システムの制御装置及び基板処理システムの運転方法
JP7510864B2 (ja) 2020-12-11 2024-07-04 東京エレクトロン株式会社 評価方法及び評価装置
JP7041776B1 (ja) 2021-06-30 2022-03-24 Ｓｐｐテクノロジーズ株式会社 基板処理装置のプロセス判定装置、基板処理システム、基板処理装置のプロセス判定方法、学習モデルの生成方法及びプログラム
JP2023006341A (ja) * 2021-06-30 2023-01-18 Ｓｐｐテクノロジーズ株式会社 基板処理装置のプロセス判定装置、基板処理システム、基板処理装置のプロセス判定方法、学習モデルの生成方法及びプログラム
CN117370917A (zh) * 2023-12-07 2024-01-09 城光（湖南）节能环保服务股份有限公司 一种城市智慧路灯寿命预测方法及系统
CN117370917B (zh) * 2023-12-07 2024-02-23 城光（湖南）节能环保服务股份有限公司 一种城市智慧路灯寿命预测方法及系统
CN117786371A (zh) * 2024-02-27 2024-03-29 聊城市检验检测中心 一种温度监测数据优化预测分析方法及系统
CN117786371B (zh) * 2024-02-27 2024-05-10 聊城市检验检测中心 一种温度监测数据优化预测分析方法及系统

Also Published As

Publication number Publication date
JP7214417B2 (ja) 2023-01-30
JP2023052477A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
JP2020047078A (ja) データ処理方法、データ処理装置、およびデータ処理プログラム
JP2020047847A (ja) データ処理方法、データ処理装置、およびデータ処理プログラム
WO2016042774A1 (en) Bias estimation apparatus and method and failure diagnosis apparatus and method
JP2012226511A (ja) 歩留まり予測システムおよび歩留まり予測プログラム
KR102280390B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
JP6767203B2 (ja) 保守支援装置、保守支援方法およびコンピュータプログラム
KR102242640B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
US8793106B2 (en) Continuous prediction of expected chip performance throughout the production lifecycle
US11054801B2 (en) Data processing method, data processing apparatus, data processing system, and recording medium having recorded therein data processing program
JP2019140193A (ja) データ処理方法、データ処理装置、および、データ処理プログラム
KR20210108934A (ko) 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
JP6448745B2 (ja) バイアス推定装置、その方法およびプログラム
JP2007164346A (ja) 決定木変更方法、異常性判定方法およびプログラム
US11762562B2 (en) Performance analysis apparatus and performance analysis method
JP2010102462A (ja) 障害推定装置、方法及びプログラム
TW202247082A (zh) 運用人工智慧之巨量資料分析平台及其運作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7214417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150