JP2022018154A - Machine learning method, machine learning device, machine learning program, communication method, and film deposition apparatus - Google Patents

Machine learning method, machine learning device, machine learning program, communication method, and film deposition apparatus Download PDF

Info

Publication number
JP2022018154A
JP2022018154A JP2020121054A JP2020121054A JP2022018154A JP 2022018154 A JP2022018154 A JP 2022018154A JP 2020121054 A JP2020121054 A JP 2020121054A JP 2020121054 A JP2020121054 A JP 2020121054A JP 2022018154 A JP2022018154 A JP 2022018154A
Authority
JP
Japan
Prior art keywords
film forming
film
machine learning
work
heating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020121054A
Other languages
Japanese (ja)
Other versions
JP7401405B2 (en
Inventor
晃伸 国末
Akinobu Kunimatsu
哲也 高橋
Tetsuya Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to JP2020121054A priority Critical patent/JP7401405B2/en
Publication of JP2022018154A publication Critical patent/JP2022018154A/en
Application granted granted Critical
Publication of JP7401405B2 publication Critical patent/JP7401405B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Physical Vapour Deposition (AREA)

Abstract

To easily determine a suitable film deposition condition for a decorative coating.SOLUTION: At least one physical quantity on a performance evaluation of a decorative coating and a state variable containing at least one film deposition condition are observed, a reward for a determination result of the at least one film deposition condition is calculated based on the state variable, a function for determining the at least one film deposition condition from the state variable is updated based on the reward, and a film deposition condition capable of obtaining the rewards most, is determined by repeating of the update of the function. The at least one film deposition condition is at least one of a first parameter on a vacuum exhaust system, a second parameter on a heating/cooling system, a third parameter on an evaporation source system, a fourth parameter on a table system and a fifth parameter on a process gas system. The at least one physical quantity is at least one of a film quality property and a physical value associated with the decorative coating.SELECTED DRAWING: Figure 2

Description

本開示は、機械学習により成膜条件を学習する技術に関するものである。 The present disclosure relates to a technique for learning film formation conditions by machine learning.

近年、腕時計や携帯電話等の製品においては、装飾性を高める目的で基材の表面を成膜することが行われている。このような目的で成膜された皮膜を以下、装飾皮膜と呼ぶ。例えば、特許文献1には、化学気相成長法(CVD)又は物理的気相成長法(PVD)等の成膜手法を用いて基材上に形成された黒色硬質皮膜を有する装飾品であって、黒色硬質皮膜がDLC(ダイヤモンドライクカーボン)からなる傾斜層を含み、傾斜層中の水素含有量が基材から離れるにしたがって増加する装飾品が開示されている。 In recent years, in products such as wristwatches and mobile phones, the surface of a base material has been formed into a film for the purpose of enhancing decorativeness. The film formed for this purpose is hereinafter referred to as a decorative film. For example, Patent Document 1 describes a decorative product having a black hard film formed on a substrate by using a film forming method such as chemical vapor deposition (CVD) or physical vapor deposition (PVD). Disclosed are decorative products in which the black hard film contains an inclined layer made of DLC (diamond-like carbon), and the hydrogen content in the inclined layer increases as the distance from the substrate increases.

特開2018-53365号公報Japanese Unexamined Patent Publication No. 2018-53365

しかしながら、従来、このような装飾皮膜の成膜条件は熟練した技術者による長年の経験を頼りに決定されており、容易に決定することが困難であった。 However, conventionally, the film forming conditions of such a decorative film have been determined by relying on many years of experience by a skilled engineer, and it has been difficult to determine them easily.

本発明は、上述の問題を解決するためになされたものであり、熟練した技術者による長年の経験に頼ることなく、装飾皮膜を適切に成膜するための成膜条件を容易に決定する機械学習装置等を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and is a machine for easily determining the film forming conditions for appropriately forming a decorative film without relying on many years of experience by a skilled engineer. The purpose is to provide learning devices and the like.

近年、ディープラーニングをはじめとする機械学習に関する様々なサービスがクラウド上で提供されており、ユーザはこのサービスを容易に利用することが可能になってきている。そこで、本発明者は、成膜条件と装飾皮膜の性能評価に関する物理量とを機械学習させれば、装飾皮膜に対する適切な成膜条件を容易に決定できるとの知見を得て本発明を想到するに至った。 In recent years, various services related to machine learning such as deep learning have been provided on the cloud, and it has become possible for users to easily use these services. Therefore, the present inventor came up with the present invention based on the finding that an appropriate film forming condition for a decorative film can be easily determined by machine learning the film forming conditions and the physical quantity related to the performance evaluation of the decorative film. It came to.

本発明の一態様に係る機械学習方法は、基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算し、前記状態変数から前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである。 The machine learning method according to one aspect of the present invention is a machine learning method in which the machine learning device determines the film forming conditions of the film forming apparatus for forming a decorative film on a substrate, and the film forming apparatus has a chamber. A vacuum exhaust system for creating a vacuum, a heating / cooling system for heating and cooling the chamber, an evaporation source system for evaporating the target, a table system for placing a work, and a process gas for introducing a process gas into the chamber. The system and the etching system are included, and a state variable including at least one physical quantity relating to the performance evaluation of the decorative film and at least one film forming condition is acquired, and the at least one film forming is performed based on the state variable. The reward is the most by calculating the reward for the determination result of the condition, updating the function for determining the at least one film forming condition from the state variable based on the reward, and repeating the update of the function. The film formation conditions that can be obtained in large numbers are determined, and the at least one film formation condition includes the first parameter relating to the vacuum exhaust system, the second parameter relating to the heating and cooling system, the third parameter relating to the evaporation source system, and the above. It is at least one of the fourth parameter relating to the table system and the fifth parameter relating to the process gas system, and the at least one physical quantity is at least one of the film quality property and the physical property.

本構成によれば、真空排気システムに関する第1パラメータと、加熱冷却システムに関する第2パラメータと、蒸発源システムに関する第3パラメータと、テーブルシステムに関する第4パラメータと、プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つの成膜条件と、装飾被膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも1つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。さらに、本構成は、装飾皮膜の評価に関する物理量として膜質特性及び物理的特性の少なくとも1つが用いられて機械学習が行われている。そのため、本構成は、装飾皮膜に対する適切な成膜条件を容易に決定できる。 According to this configuration, there are a first parameter for the vacuum exhaust system, a second parameter for the heating and cooling system, a third parameter for the evaporation source system, a fourth parameter for the table system, and a fifth parameter for the process gas system. At least one of the film forming conditions and at least one physical quantity of the film quality property and the physical property regarding the performance evaluation of the decorative film are observed as state parameters. Then, the reward for the determination result of the film formation condition is calculated based on the observed state variable, and the function for determining the film formation condition from the state variable is updated based on the calculated reward, and this update is performed. The film formation conditions that give the most rewards are learned repeatedly. Further, in this configuration, machine learning is performed using at least one of the film quality property and the physical property as a physical quantity related to the evaluation of the decorative film. Therefore, in this configuration, appropriate film forming conditions for the decorative film can be easily determined.

上記構成において、前記第1パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つであってもよい。 In the above configuration, the first parameter may be at least one of the exhaust speed, the ultimate pressure, the residual gas type, the residual gas partial pressure, and the PQ characteristic.

本構成によれば、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つが真空排気システムに関する成膜条件とされて機械学習が行われているため、真空排気システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the exhaust speed, the ultimate pressure, the residual gas type, the residual gas partial pressure, and the PQ characteristic is set as the film forming condition for the vacuum exhaust system, and the machine learning is performed. Appropriate film formation conditions can be determined in consideration of the condition of the exhaust system.

上記構成において、前記第2パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも1つであってもよい。 In the above configuration, the second parameter includes the heater temperature of the heater constituting the heating / cooling system, the work temperature which is the temperature of the work, the temperature rise rate of the heater, the temperature rise rate of the work, and the output of the heater. It may be at least one of the temperature accuracy of the heater, the temperature accuracy of the work, the heater temperature and the response characteristics of the work temperature, the temperature distribution of the heater, and the temperature distribution of the work.

本構成によれば、ヒータ温度、ワーク温度、ヒータの昇温速度、ワークの昇温速度、ヒータの出力、ヒータの温度精度、ワークの温度精度、ヒータ温度の応答特性、ワーク温度の応答特性、ヒータの温度分布、及びワークの温度分布の少なくとも1つが、加熱冷却システムに関する成膜条件とされて機械学習が行われているため、加熱冷却システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, the heater temperature, the work temperature, the heater temperature rise rate, the work temperature rise rate, the heater output, the heater temperature accuracy, the work temperature accuracy, the heater temperature response characteristic, the work temperature response characteristic, Since at least one of the temperature distribution of the heater and the temperature distribution of the work is the film forming condition related to the heating / cooling system and machine learning is performed, appropriate film forming conditions should be taken in consideration of the state of the heating / cooling system. I can decide.

上記構成において、前記第3パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも1つであってもよい。 In the above configuration, the third parameter is at least one of the target composition, the target thickness, the target manufacturing method, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristic. It may be one.

本構成によれば、ターゲットの組成、ターゲットの厚さ、ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも1つが蒸発源システムに関する成膜条件とされて機械学習が行われているため、蒸発源システムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the target composition, the target thickness, the target manufacturing method, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristics is the film formation related to the evaporation source system. Since machine learning is performed as a condition, an appropriate film forming condition can be determined in consideration of the state of the evaporation source system.

上記構成において、前記第4パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも1つを含んでもよい。 In the above configuration, the fourth parameter includes a bias voltage for the work, a bias current for the work, the number of abnormal discharges, a time change of the abnormal discharge, a waveform of the bias voltage, a waveform of the bias current, and a rotation speed of the work. , The shape of the work, the amount of the work mounted, the method of mounting the work, and at least one of the materials of the work may be included.

本構成によれば、バイアス電圧、バイアス電流、異常放電回数、異常放電の時間変化、バイアス電圧の波形、バイアス電流の波形、ワークの回転数、ワークの形状、ワークの搭載量、ワークの搭載方法、及びワークの材質の少なくとも1つがテーブルシステムに関する成膜条件として機械学習が行われているため、テーブルシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, the bias voltage, the bias current, the number of abnormal discharges, the time change of the abnormal discharge, the waveform of the bias voltage, the waveform of the bias current, the rotation speed of the work, the shape of the work, the mounting amount of the work, and the mounting method of the work. Since at least one of the materials of the work is machine-learned as a film forming condition for the table system, an appropriate film forming condition can be determined in consideration of the state of the table system.

上記構成において、前記第5パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも1つであってもよい。 In the above configuration, the fifth parameter may be at least one of the flow rate of the process gas, the type of the process gas, and the pressure of the process gas.

本構成によれば、プロセスガスの流量、プロセスガスの種類、及びプロセスガスの圧力の少なくとも1つがプロセスガスシステムに関する成膜条件として機械学習が行われているため、プロセスガスシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, since at least one of the process gas flow rate, the process gas type, and the process gas pressure is machine-learned as a film forming condition for the process gas system, the state of the process gas system is taken into consideration. Appropriate film formation conditions can be determined.

上記構成において、前記少なくとも1つの成膜条件は、さらに前記エッチングシステムに関する第6パラメータを含んでもよい。 In the above configuration, the at least one film forming condition may further include a sixth parameter relating to the etching system.

本構成によれば、エッチングシステムに関する成膜条件が考慮されて機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, since machine learning is performed in consideration of the film forming conditions related to the etching system, it is possible to determine appropriate film forming conditions in consideration of the state of the etching system.

上記構成において、前記第6パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも1つであってもよい。 In the above configuration, the sixth parameter is a heating current for heating the filament of the etching system, a heating voltage for heating the filament, a diameter of the filament, a discharge current of the filament, and a discharge voltage of the filament. It may be at least one of.

本構成によれば、フィラメントの加熱電流、フィラメントの加熱電圧、フィラメントの直径、フィラメントの放電電流、及びフィラメントの放電電圧の少なくとも1つがエッチングシステムに関する成膜条件として機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。 According to this configuration, at least one of the filament heating current, the filament heating voltage, the filament diameter, the filament discharge current, and the filament discharge voltage is machine-learned as a film forming condition for the etching system. Appropriate film formation conditions can be determined in consideration of the state of the etching system.

上記構成において、前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも1つを含み、前記物理的特性は、前記装飾皮膜における光学特性を含んでもよい。 In the above configuration, the film quality characteristics are the film thickness, roughness, surface texture, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, defect amount, and defect size in the decorative film. The physical properties may include optical properties in the decorative film.

本構成によれば、装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも1つが膜質特性として採用されている。また、装飾皮膜における光学特性が物理的特性として採用されている。そのため、これらの膜質特性及び物理的特性を満たす装飾皮膜を得ることが可能な成膜条件を容易に得ることができる。 According to this configuration, at least one of the film thickness, roughness, surface texture, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, defect amount, and defect size in the decorative film is determined. It is adopted as a film quality property. Further, the optical characteristics of the decorative film are adopted as physical characteristics. Therefore, it is possible to easily obtain film forming conditions capable of obtaining a decorative film satisfying these film quality characteristics and physical characteristics.

上記構成において、前記関数は深層強化学習を用いてリアルタイムで更新されてもよい。 In the above configuration, the function may be updated in real time using deep reinforcement learning.

本態様によれば、関数の更新が深層強化学習を用いてリアルタイムで行われるため、関数の更新を正確かつ速やかに行うことができる。 According to this aspect, since the function is updated in real time using deep reinforcement learning, the function can be updated accurately and promptly.

上記構成において、前記報酬の計算では、前記少なくとも1つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させ、前記少なくとも1つの物理量が各物理量に対応する基準値に近づいていない場合、前記報酬を減少させてもよい。 In the above configuration, in the calculation of the reward, when the at least one physical quantity approaches a predetermined reference value corresponding to each physical quantity, the reward is increased and the at least one physical quantity corresponds to the reference value corresponding to each physical quantity. If you are not close to, you may reduce the reward.

本態様によれば、物理量が基準値に近づくにつれて報酬が増大されるため、物理量を速やかに基準値に到達させることができる。 According to this aspect, since the reward is increased as the physical quantity approaches the reference value, the physical quantity can be quickly reached to the reference value.

上述した機械学習方法の各処理は、機械学習装置により実装されてもよいし、機械学習プログラムに実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、成膜装置で構成されてもよい。 Each process of the machine learning method described above may be implemented by a machine learning device or may be implemented in a machine learning program and distributed. This machine learning device may be configured by a server or a film forming apparatus.

本発明の別の一態様に係る通信方法は、基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測し、前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも1つの成膜条件を受信し、前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである。 The communication method according to another aspect of the present invention is the communication method of the film forming apparatus for machine learning the film forming conditions of the film forming apparatus for forming a decorative film on a substrate, and is the communication method of the film forming apparatus. Is a vacuum exhaust system for vacuuming a chamber, a heating and cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system on which a work is placed, and a process gas in the chamber. The process gas system to be introduced, the etching system, and the communication unit are included, and the state variables including at least one physical quantity related to the performance evaluation of the decorative film and at least one film forming condition are observed, and the state variables are networked. At least one film formation condition that has been transmitted above and machine-learned is received, the at least one film formation condition being the first parameter for the vacuum exhaust system, the second parameter for the heating and cooling system, and the evaporation. It is at least one of a third parameter relating to the source system, a fourth parameter relating to the table system, and a fifth parameter relating to the process gas system, wherein the at least one physical quantity is a film quality property and a physical property. At least one of.

本構成によれば、成膜条件を機械学習する際に必要な情報が提供される。このような通信方法は、成膜装置にも実装可能である。 According to this configuration, information necessary for machine learning of film formation conditions is provided. Such a communication method can also be mounted on a film forming apparatus.

本発明によれば、装飾皮膜の適切な成膜条件を熟練した技術者により長年の経験を頼らずに容易に決定できる。 According to the present invention, an appropriate film forming condition of a decorative film can be easily determined by a skilled technician without relying on many years of experience.

実施の形態に係る機械学習システムに適用される成膜装置の全体構成図である。It is an overall block diagram of the film forming apparatus applied to the machine learning system which concerns on embodiment. 実施の形態における機械学習システムの全体構成図である。It is an overall block diagram of the machine learning system in an embodiment. 図2に示す機械学習システムにおける処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the machine learning system shown in FIG. 成膜条件の一例を示す図である。It is a figure which shows an example of a film forming condition. 物理量の一例を示す図である。It is a figure which shows an example of a physical quantity. 本発明の変形例に係る機械学習システムの全体構成図である。It is an overall block diagram of the machine learning system which concerns on the modification of this invention.

図1は、実施の形態に係る機械学習システムに適用される成膜装置の全体構成図である。成膜装置30は、アークイオンプレーティング法により基材であるワーク(被コーティング物)に装飾性を高める目的で皮膜(以下、装飾皮膜)を成膜する装置である。ワークとしては、例えば、腕時計及びネックレス等の装飾品、又は携帯電話の筐体、自動車のバンパーなどが採用できる。アークイオンプレーティング法は、真空アーク放電を利用して固体材料を蒸発させるイオンプレーティング法の一種である。アークイオンプレーティング法は、蒸発した材料のイオン化率が高く、密着性に優れた皮膜が形成できるため、装飾皮膜の成膜に適している。装飾皮膜は、例えば、TiN、TiAlN、TiCN、CrN、DLCなどである。 FIG. 1 is an overall configuration diagram of a film forming apparatus applied to the machine learning system according to the embodiment. The film forming apparatus 30 is an apparatus for forming a film (hereinafter referred to as a decorative film) on a work (object to be coated) which is a base material by an arc ion plating method for the purpose of enhancing decorativeness. As the work, for example, decorative items such as wristwatches and necklaces, mobile phone housings, automobile bumpers, and the like can be adopted. The arc ion plating method is a kind of ion plating method that evaporates a solid material by using a vacuum arc discharge. The arc ion plating method is suitable for forming a decorative film because it has a high ionization rate of the evaporated material and can form a film having excellent adhesion. The decorative film is, for example, TiN, TiAlN, TiCN, CrN, DLC, or the like.

成膜装置30は、真空排気システム510、加熱冷却システム520、蒸発源システム530、テーブルシステム540、プロセスガスシステム550、エッチングシステム560、及びチャンバー570を含む。 The film forming apparatus 30 includes a vacuum exhaust system 510, a heating / cooling system 520, an evaporation source system 530, a table system 540, a process gas system 550, an etching system 560, and a chamber 570.

真空排気システム510は、排気装置511を含み、チャンバー570の内部を真空にする。排気装置511は、チャンバー570内の空気を排気するためのポンプなどを含む。 The vacuum exhaust system 510 includes an exhaust device 511 and evacuates the inside of the chamber 570. The exhaust device 511 includes a pump for exhausting the air in the chamber 570 and the like.

加熱冷却システム520は、ヒータ電源部521及びヒータ522を含み、ワーク545を加熱する。ヒータ電源部521は、ヒータ522に電力を供給する電源回路である。ヒータ522は、チャンバー570内に設けられ、ヒータ電源部521から供給される電力によって発熱する。また、加熱冷却システム520は、ヒータ522の発熱を停止させることでワーク545を冷却する。 The heating / cooling system 520 includes a heater power supply unit 521 and a heater 522 to heat the work 545. The heater power supply unit 521 is a power supply circuit that supplies electric power to the heater 522. The heater 522 is provided in the chamber 570 and generates heat by the electric power supplied from the heater power supply unit 521. Further, the heating / cooling system 520 cools the work 545 by stopping the heat generation of the heater 522.

蒸発源システム530は、ターゲット(成膜形成材料)を蒸発させるシステムである。蒸発源システム530は、アークカソード531及びアーク電源部532を含む。アーク電源部532は、アークカソード531に放電電流を供給する電源回路である。アークカソード531は、ターゲットを含み、アーク電源部532から供給された電力によって、チャンバー570の内壁との間で真空アーク放電を発生させる。真空アーク放電が開始されると、カソード表面上に数μm径のアークスポットと呼ばれる溶融領域が発生する。アークスポットには、高密度の電流が集中し、カソード表面は瞬時に溶融蒸発される。この真空アーク放電により、ワーク545の表面が成膜される。 The evaporation source system 530 is a system for evaporating a target (film forming material). The evaporation source system 530 includes an arc cathode 531 and an arc power supply unit 532. The arc power supply unit 532 is a power supply circuit that supplies a discharge current to the arc cathode 531. The arc cathode 531 includes a target and generates a vacuum arc discharge with the inner wall of the chamber 570 by the electric power supplied from the arc power supply unit 532. When the vacuum arc discharge is started, a molten region called an arc spot having a diameter of several μm is generated on the cathode surface. A high-density current is concentrated on the arc spot, and the cathode surface is instantly melted and evaporated. The surface of the work 545 is formed by this vacuum arc discharge.

図1の例では、2対のアークカソード531及びアーク電源部532が図示されているが、これは一例であり、アークカソード531及びアーク電源部532は、1対であってもよいし、3対以上であってもよい。 In the example of FIG. 1, two pairs of the arc cathode 531 and the arc power supply unit 532 are shown, but this is an example, and the arc cathode 531 and the arc power supply unit 532 may be a pair or 3 It may be more than one pair.

テーブルシステム540は、ワーク545を搭載する回転テーブルである。テーブルシステム540は、テーブル541、テーブル駆動部542、及びバイアス電源部543を含む。テーブル541は、チャンバー570内に設けられている。ワーク545はテーブル541上に載置される。テーブル駆動部542は、モータなどを含み、テーブル541を回転させる。バイアス電源部543は、テーブル541を介してワーク545に負の電位を与える。 The table system 540 is a rotary table on which the work 545 is mounted. The table system 540 includes a table 541, a table drive unit 542, and a bias power supply unit 543. The table 541 is provided in the chamber 570. The work 545 is placed on the table 541. The table drive unit 542 includes a motor and the like to rotate the table 541. The bias power supply unit 543 applies a negative potential to the work 545 via the table 541.

プロセスガスシステム550は、チャンバー570内に反応性皮膜を形成するためのプロセスガスを導入する。 The process gas system 550 introduces a process gas for forming a reactive film in the chamber 570.

エッチングシステム560は、放電電源部561、一対のフィラメント電極562、及び一対のびフィラメント電極562間に設けられたフィラメント(図略)を含む。放電電源部561は一対のフィラメント電極562を介してフィラメントに放電電流を供給する電源回路である。エッチングシステム560は、アークカソード531及びフィラメント間並びにチャンバー570の内壁及びフィラメント間にアルゴンプラズマを発生させる。このアルゴンプラズマの発生により、ワーク545の表面が清浄化される。この洗浄化において、アークカソード531及びチャンバー570の内壁はアノードとして機能し、フィラメントはカソードとして機能する。 The etching system 560 includes a discharge power supply unit 561, a pair of filament electrodes 562, and a filament (not shown) provided between the pair of filament electrodes 562. The discharge power supply unit 561 is a power supply circuit that supplies a discharge current to the filament via a pair of filament electrodes 562. The etching system 560 generates argon plasma between the arc cathode 531 and the filament and between the inner wall and the filament of the chamber 570. The generation of this argon plasma cleans the surface of the work 545. In this cleaning, the inner walls of the arc cathode 531 and chamber 570 serve as anodes and the filaments serve as cathodes.

チャンバー570は、ワーク545を収容する容器である。チャンバー570は、真空排気システム510によって内部が真空状態にされ、真空状態を維持する。 Chamber 570 is a container for accommodating work 545. The inside of the chamber 570 is evacuated by the vacuum exhaust system 510 to maintain the vacuum state.

図2は、実施の形態における機械学習システムの全体構成図である。機械学習システムは、サーバ10、通信装置20、及び成膜装置30を含む。サーバ10及び通信装置20はネットワーク40を介して相互に通信可能に接続されている。通信装置20及び成膜装置30はネットワーク50を介して相互に通信可能に接続されている。ネットワーク40は、例えばインターネットなどの広域通信網である。ネットワーク50は、例えばローカルエリアネットワークである。サーバ10は、例えば1以上のコンピュータで構成されるクラウドサーバである。通信装置20は、例えば成膜装置30を使用するユーザが所持するコンピュータである。通信装置20は、成膜装置30をネットワーク40に接続するゲートウェイとして機能する。通信装置20は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置20は、成膜装置30の製造メーカがユーザに提供する専用の装置であってもよい。成膜装置30は、図1で説明した成膜装置である。 FIG. 2 is an overall configuration diagram of the machine learning system according to the embodiment. The machine learning system includes a server 10, a communication device 20, and a film forming device 30. The server 10 and the communication device 20 are connected to each other so as to be able to communicate with each other via the network 40. The communication device 20 and the film forming device 30 are connected to each other so as to be able to communicate with each other via the network 50. The network 40 is a wide area communication network such as the Internet. The network 50 is, for example, a local area network. The server 10 is, for example, a cloud server composed of one or more computers. The communication device 20 is, for example, a computer owned by a user who uses the film forming device 30. The communication device 20 functions as a gateway that connects the film forming device 30 to the network 40. The communication device 20 is realized by installing dedicated application software on a computer owned by the user himself / herself. Alternatively, the communication device 20 may be a dedicated device provided to the user by the manufacturer of the film forming device 30. The film forming apparatus 30 is the film forming apparatus described with reference to FIG.

以下、各装置の構成を具体的に説明する。サーバ10は、プロセッサ100及び通信部101を含む。プロセッサ100は、CPUなどを含む制御装置である。プロセッサ100は、報酬計算部110、更新部120、決定部130、学習制御部140を含む。プロセッサ100が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ10として機能させる機械学習プログラムをプロセッサ100が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。 Hereinafter, the configuration of each device will be specifically described. The server 10 includes a processor 100 and a communication unit 101. The processor 100 is a control device including a CPU and the like. The processor 100 includes a reward calculation unit 110, an update unit 120, a determination unit 130, and a learning control unit 140. Each block included in the processor 100 may be realized by the processor 100 executing a machine learning program that causes the computer to function as a server 10 in the machine learning system, or may be realized by a dedicated electric circuit.

報酬計算部110は、状態観測部321が観測した状態変数に基づいて、少なくとも1つの成膜条件の決定結果に対する報酬を計算する。 The reward calculation unit 110 calculates a reward for the determination result of at least one film forming condition based on the state variable observed by the state observation unit 321.

更新部120は、状態観測部321が観測した状態変数から少なくとも1つの成膜条件を決定するための関数を、報酬計算部110によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。 The update unit 120 updates a function for determining at least one film forming condition from the state variables observed by the state observation unit 321 based on the reward calculated by the reward calculation unit 110. As the function, the action value function described later is adopted.

決定部130は、少なくとも1つの成膜条件を変更しながら、関数の更新を繰り返すことによって、報酬が最も多く得られる少なくとも1つの成膜条件を決定する。 The determination unit 130 determines at least one film forming condition that gives the most reward by repeating the update of the function while changing at least one film forming condition.

学習制御部140は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によって成膜条件を学習する。強化学習とは、エージェント(行動主体)が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Q学習及びTD学習が採用できる。以下の説明では、Q学習を例に挙げて説明する。本実施の形態では、報酬計算部110、更新部120、決定部130、学習制御部140、及び後述する状態観測部321がエージェントに相当する。 The learning control unit 140 controls the overall control of machine learning. The machine learning system of this embodiment learns film formation conditions by reinforcement learning. Reinforcement learning is better behavior for agents by having agents (behaviors) select certain behaviors based on environmental conditions, change the environment based on the selected behaviors, and reward agents for environmental changes. It is a machine learning method to learn the selection of. Q-learning and TD learning can be adopted as reinforcement learning. In the following description, Q-learning will be described as an example. In the present embodiment, the reward calculation unit 110, the update unit 120, the determination unit 130, the learning control unit 140, and the state observation unit 321 described later correspond to the agent.

通信部101は、サーバ10をネットワーク40に接続する通信回路で構成される。通信部101は、状態観測部321により観測された状態変数を通信装置20を介して受信する。通信部101は、決定部130が決定した成膜条件を通信装置20を介して成膜装置30に送信する。本実施の形態において、通信部101は、状態変数を取得する状態取得部の一例である。 The communication unit 101 is composed of a communication circuit that connects the server 10 to the network 40. The communication unit 101 receives the state variable observed by the state observation unit 321 via the communication device 20. The communication unit 101 transmits the film forming conditions determined by the determination unit 130 to the film forming apparatus 30 via the communication apparatus 20. In the present embodiment, the communication unit 101 is an example of a state acquisition unit that acquires a state variable.

通信装置20は、送信器201及び受信器202を含む。送信器201は、成膜装置30から送信された状態変数をサーバ10に送信すると共に、サーバ10から送信された成膜条件を成膜装置30に送信する。受信器202は、成膜装置30から送信された状態変数を受信すると共に、サーバ10から送信された成膜条件を受信する。 The communication device 20 includes a transmitter 201 and a receiver 202. The transmitter 201 transmits the state variables transmitted from the film forming apparatus 30 to the server 10, and also transmits the film forming conditions transmitted from the server 10 to the film forming apparatus 30. The receiver 202 receives the state variable transmitted from the film forming apparatus 30, and also receives the film forming conditions transmitted from the server 10.

成膜装置30は、図1で示す構成の他、通信部310、プロセッサ320、メモリ330、センサ部340、及び入力部350を含む。 In addition to the configuration shown in FIG. 1, the film forming apparatus 30 includes a communication unit 310, a processor 320, a memory 330, a sensor unit 340, and an input unit 350.

通信部310は、成膜装置30をネットワーク50に接続するための通信回路である。通信部310は、状態観測部321によって観測された状態変数をサーバ10に送信する。通信部310は、サーバ10の決定部130が決定した成膜条件を受信する。通信部310は、学習制御部140が決定した後述する成膜実行コマンドを受信する。 The communication unit 310 is a communication circuit for connecting the film forming apparatus 30 to the network 50. The communication unit 310 transmits the state variable observed by the state observation unit 321 to the server 10. The communication unit 310 receives the film forming conditions determined by the determination unit 130 of the server 10. The communication unit 310 receives a film formation execution command, which will be described later, determined by the learning control unit 140.

プロセッサ320は、CPUなどを含む制御装置である。プロセッサ320は、状態観測部321、成膜実行部322、及び入力判定部323を含む。通信部310は、状態観測部321が取得した状態変数をサーバ10に送信する。プロセッサ320が備える各ブロックは、例えばCPUが機械学習システムの成膜装置30として機能させる機械学習プログラムを実行することで実現される。 The processor 320 is a control device including a CPU and the like. The processor 320 includes a state observation unit 321, a film formation execution unit 322, and an input determination unit 323. The communication unit 310 transmits the state variable acquired by the state observation unit 321 to the server 10. Each block included in the processor 320 is realized, for example, by executing a machine learning program in which the CPU functions as a film forming apparatus 30 of the machine learning system.

状態観測部321は、成膜実行後において、センサ部340が検出した物理量を取得する。状態観測部321は、成膜実行後において成膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する。具体的には、状態観測部321は、センサ部340の計測値に基づいて成膜条件を取得する。また、状態観測部321は、センサ部340の計測値などに基づいて物理量を取得する。 The state observation unit 321 acquires the physical quantity detected by the sensor unit 340 after the film formation is executed. After the film formation is executed, the state observation unit 321 observes a state variable including at least one physical quantity related to the performance evaluation of the film formation and at least one film formation condition. Specifically, the state observation unit 321 acquires the film formation conditions based on the measured values of the sensor unit 340. Further, the state observation unit 321 acquires a physical quantity based on the measured value of the sensor unit 340 and the like.

図4は、成膜条件の一例を示す図である。成膜条件は、大きく中分類に分類される。中分類には、真空排気システム510に関する第1パラメータと、加熱冷却システム520に関する第2パラメータと、蒸発源システム530に関する第3パラメータと、テーブルシステム540に関する第4パラメータと、プロセスガスシステム550に関する第5パラメータとのうちの少なくとも1つのパラメータが含まれる。さらに、中分類には、エッチングシステム560に関する第6パラメータが含まれていても良い。 FIG. 4 is a diagram showing an example of film forming conditions. The film formation conditions are broadly classified into the middle category. The middle category includes the first parameter for the vacuum exhaust system 510, the second parameter for the heating / cooling system 520, the third parameter for the evaporation source system 530, the fourth parameter for the table system 540, and the second parameter for the process gas system 550. At least one of the five parameters is included. Further, the middle classification may include a sixth parameter with respect to the etching system 560.

第1パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つを含む。排気速度は、真空排気システム510がチャンバー570内の空気や残留ガス、導入されたプロセスガスを排気する速度である。排気速度は、例えば真空排気システム510を構成するポンプの性能値から計算によって得られる。或いは、排気速度は、圧力センサと排気時間から算出される計測値であってもよい。到達圧力は、成膜プロセス開始前のチャンバー570内の圧力である。到達圧力は、例えば真空排気システム510を構成するポンプの性能値から計算によって得られる。或いは、到達圧力は、圧力センサの計測値であってもよい。残留ガス種は、チャンバー570内に残留するガスであり、不純物である。残留ガス種は、例えば、窒素、酸素、水分、及び水素などである。残留ガス種は、後述する残留ガスの分圧に基づいて決定される。残留ガス分圧は、チャンバー570内に残留する複数の残留ガスの分圧である。残留ガス分圧は、四重極形質量分析計などの真空残留ガスモニタの計測によって得られる。P-Q特性は、チャンバー内圧力(P)と流量(Q)との関係を示す特性である。P-Q特性は、例えば流量センサで検知されたチャンバー570内のガスの流量と圧力センサの計測値から計算によって得られる。 The first parameter includes at least one of exhaust rate, ultimate pressure, residual gas type, residual gas partial pressure, and PQ characteristics. The exhaust speed is the speed at which the vacuum exhaust system 510 exhausts the air, the residual gas, and the introduced process gas in the chamber 570. The exhaust speed is calculated, for example, from the performance values of the pumps constituting the vacuum exhaust system 510. Alternatively, the exhaust speed may be a measured value calculated from the pressure sensor and the exhaust time. The ultimate pressure is the pressure in the chamber 570 before the start of the film forming process. The ultimate pressure is obtained by calculation, for example, from the performance values of the pumps constituting the vacuum exhaust system 510. Alternatively, the ultimate pressure may be a measured value of the pressure sensor. The residual gas type is a gas remaining in the chamber 570 and is an impurity. Residual gas species are, for example, nitrogen, oxygen, moisture, and hydrogen. The residual gas type is determined based on the partial pressure of the residual gas described later. The residual gas partial pressure is a partial pressure of a plurality of residual gases remaining in the chamber 570. The residual gas partial pressure is obtained by measurement of a vacuum residual gas monitor such as a quadrupole mass spectrometer. The PQ characteristic is a characteristic showing the relationship between the pressure (P) in the chamber and the flow rate (Q). The PQ characteristics are obtained by calculation from, for example, the flow rate of gas in the chamber 570 detected by the flow rate sensor and the measured value of the pressure sensor.

第2パラメータは、ヒータ温度、ワーク温度、ヒータ昇温速度、ワーク昇温速度、ヒータ出力、ヒータ温度精度、ワーク温度精度、ヒータ温度/ワーク温度、ヒータ温度分布、ワーク温度分布、冷却ガス種、冷却ガス圧力、及びワーク冷却速度の少なくとも1つを含む。 The second parameters are heater temperature, work temperature, heater temperature rise rate, work temperature rise rate, heater output, heater temperature accuracy, work temperature accuracy, heater temperature / work temperature, heater temperature distribution, work temperature distribution, cooling gas type, Includes at least one of cooling gas pressure and workpiece cooling rate.

ヒータ温度は、ヒータ522の温度である。ヒータ温度は、例えば温度センサ(熱電対)の計測値である。ワーク温度は、ワーク545の温度である。ワーク温度は、例えばワーク545の近傍に設けられた温度センサの計測値である。ヒータ昇温速度は、ヒータ522が昇温する際のヒータ温度の変化速度である。ヒータ昇温速度は、ヒータ温度の時系列変化から得られる。ワーク昇温温度は、ワーク545が昇温する際のワーク温度の変化速度である。ワーク昇温速度は、ワーク温度の時系列変化から得られる。 The heater temperature is the temperature of the heater 522. The heater temperature is, for example, a measured value of a temperature sensor (thermocouple). The work temperature is the temperature of the work 545. The work temperature is, for example, a measured value of a temperature sensor provided in the vicinity of the work 545. The heater temperature rise rate is the rate at which the heater temperature changes when the heater 522 heats up. The heater temperature rise rate is obtained from the time-series change of the heater temperature. The work temperature rise temperature is the rate of change of the work temperature when the work 545 raises the temperature. The work temperature rise rate is obtained from the time-series change of the work temperature.

ヒータ出力は、ヒータ522の出力である。ヒータ出力は、ヒータ電源部521の設定値から計算により得られる。ヒータ出力は、ヒータに供給される電流値と電圧値とのセンサによる計測値から計算されてもよい。 The heater output is the output of the heater 522. The heater output is obtained by calculation from the set value of the heater power supply unit 521. The heater output may be calculated from the measured values of the current value and the voltage value supplied to the heater by the sensor.

ヒータ温度精度は、ヒータ温度のバラツキを示す値である。ヒータ温度精度は過去のヒータ温度の計測値から計算される。ワーク温度精度は、ワーク温度のバラツキを示す値である。ワーク温度精度は過去のワーク温度の計測値から計算される。ヒータ温度/ワーク温度は、ヒータ522のワーク545に対する応答特性である。 The heater temperature accuracy is a value indicating variation in the heater temperature. The heater temperature accuracy is calculated from past heater temperature measurements. The work temperature accuracy is a value indicating variation in the work temperature. The work temperature accuracy is calculated from the measured values of the past work temperature. The heater temperature / work temperature is a response characteristic of the heater 522 to the work 545.

ヒータ温度分布は、ヒータ522の温度分布である。ヒータ温度分布はヒータ522の周囲に設けられた複数の温度センサの計測値から得られる。ワーク温度分布は、ワーク545の温度分布である。ワーク温度分布は、ワーク545の周囲に設けられた複数の温度センサの計測値から得られる。 The heater temperature distribution is the temperature distribution of the heater 522. The heater temperature distribution is obtained from the measured values of a plurality of temperature sensors provided around the heater 522. The work temperature distribution is the temperature distribution of the work 545. The work temperature distribution is obtained from the measured values of a plurality of temperature sensors provided around the work 545.

冷却ガス種は、チャンバー570内を冷却するガスの種別を示す情報であり、予め入力された入力値である。冷却ガス圧力は、冷却ガスの圧力である。冷却ガス圧力は、チャンバー570内に設けられた圧力センサによる計測値である。ワーク冷却速度は、ワーク545の冷却速度である。ワーク冷却速度は、ワーク545の近傍に設けられた温度センサが検出したワーク温度の時系列変化から得られる。 The cooling gas type is information indicating the type of gas for cooling the inside of the chamber 570, and is an input value input in advance. The cooling gas pressure is the pressure of the cooling gas. The cooling gas pressure is a value measured by a pressure sensor provided in the chamber 570. The work cooling rate is the cooling rate of the work 545. The work cooling rate is obtained from the time-series change of the work temperature detected by the temperature sensor provided in the vicinity of the work 545.

第3パラメータは、ターゲット組成、ターゲット厚さ、ターゲット製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性のうちの少なくとも1つを含む。ターゲット組成は、ターゲットを構成する物質の組成である。ターゲット厚さは、ターゲットの厚みである。ターゲット製法は、ターゲットの製造方法である。ターゲット組成、ターゲット厚さ、ターゲット製法は、予め入力された入力値である。 The third parameter includes at least one of target composition, target thickness, target manufacturing process, arc discharge voltage, arc discharge current, evaporation source magnetic field, evaporation source coil current, and arc ignition characteristics. The target composition is the composition of the substance constituting the target. The target thickness is the thickness of the target. The target manufacturing method is a method for manufacturing a target. The target composition, target thickness, and target manufacturing method are input values input in advance.

アーク放電電圧は、アーク電源部532がアークカソード531に供給する電圧であり、センサによる計測値である。アーク放電電流は、アーク電源部532がアークカソード531に供給する電流であり、センサによる計測値である。 The arc discharge voltage is a voltage supplied by the arc power supply unit 532 to the arc cathode 531 and is a value measured by the sensor. The arc discharge current is a current supplied by the arc power supply unit 532 to the arc cathode 531 and is a value measured by the sensor.

蒸発源磁場は、蒸発源システム530に含まれる永久磁束が放出する磁場の位置及び強度である。蒸発源磁場は予め入力された入力値である。蒸発源コイル電流は、蒸発源システム530に含まれるコイルに流れる電流であり、センサによる計測値である。アーク点火特性は、アーク点火時のアーク表面の電圧及び電流の挙動である。アーク点火特性は、アーク放電電圧及びアーク放電電流のあるタイミングの計測値から得られる。 The evaporation source magnetic field is the position and intensity of the magnetic field emitted by the permanent magnetic flux contained in the evaporation source system 530. The evaporation source magnetic field is an input value input in advance. The evaporation source coil current is a current flowing through the coil included in the evaporation source system 530, and is a value measured by a sensor. The arc ignition characteristic is the behavior of the voltage and current on the arc surface at the time of arc ignition. The arc ignition characteristics are obtained from the measured values of the arc discharge voltage and the arc discharge current at a certain timing.

第4パラメータは、バイアス電圧、バイアス電流、OL回数、OL時間変化、バイアス電圧波形、バイアス電流波形、ワーク回転数、ワーク形状、ワーク搭載量、ワーク搭載方法、及びワーク材質の少なくとも1つを含む。 The fourth parameter includes at least one of bias voltage, bias current, number of OLs, OL time change, bias voltage waveform, bias current waveform, work rotation speed, work shape, work loading amount, work mounting method, and work material. ..

バイアス電圧は、バイアス電源部543がワーク545に供給するバイアス電圧であり、センサによる計測値である。バイアス電流は、バイアス電源部543がワーク545に供給するバイアス電流であり、センサによる計測値である。 The bias voltage is a bias voltage supplied to the work 545 by the bias power supply unit 543, and is a value measured by the sensor. The bias current is a bias current supplied to the work 545 by the bias power supply unit 543, and is a value measured by the sensor.

OL(OverLoad)回数は、テーブルシステムまたはワークでの異常放電回数であり、センサによる計測値である。OL時間変化は、単位時間あたりのOL回数である。バイアス電圧波形は、バイアス電圧の波形であり、センサによる計測値から得られる。バイアス電圧波形は特にパルスバイアス時の電圧波形である。バイアス電流波形は、バイアス電流の波形であり、センサによる計測値から得られる。ワーク回転数は、ワーク545の単位時間あたりの回転数であり、テーブル541の単位時間あたりの回転数と、ワーク545がテーブル541上で自転する際の単位時間あたりの回転数とを含む。ワーク回転数は、例えばセンサによる検出値である。ワーク形状は、ワーク545の形状を示す数値であり、予め入力された入力値である。ワーク搭載量は、ワーク545の搭載量(例えば重量)であり、予め入力された入力値である。ワーク搭載方法は、テーブル541に対するワーク545の搭載方法であり、予め入力された入力値である。ワーク材質は、ワーク545の材質であり、予め入力された入力値である。 The OL (OverLoad) number of times is the number of abnormal discharges in the table system or the work, and is a value measured by the sensor. The OL time change is the number of OLs per unit time. The bias voltage waveform is a waveform of the bias voltage and is obtained from the measured value by the sensor. The bias voltage waveform is a voltage waveform especially at the time of pulse bias. The bias current waveform is a waveform of the bias current and is obtained from the measured value by the sensor. The work rotation speed is the rotation speed per unit time of the work 545, and includes the rotation speed per unit time of the table 541 and the rotation speed per unit time when the work 545 rotates on the table 541. The work rotation speed is, for example, a value detected by a sensor. The work shape is a numerical value indicating the shape of the work 545, and is an input value input in advance. The work loading amount is the loading amount (for example, weight) of the work 545, which is an input value input in advance. The work mounting method is a method of mounting the work 545 on the table 541, and is an input value input in advance. The work material is the material of the work 545, and is an input value input in advance.

第5パラメータは、ガス流量、ガス種、及びガス圧の少なくとも1つを含む。ガス流量は、プロセスガスの流量である。ガス種は、プロセスガスの種類を示す情報である。ガス圧力は、プロセスガスの圧力である。これらは、例えばセンサの検出値である。 The fifth parameter includes at least one of gas flow rate, gas type, and gas pressure. The gas flow rate is the flow rate of the process gas. The gas type is information indicating the type of process gas. The gas pressure is the pressure of the process gas. These are, for example, the detection values of the sensor.

第6パラメータは、フィラメント加熱電流、フィラメント加熱電圧、フィラメント径、放電電流、及び放電電圧の少なくとも1つを含む。フィラメント加熱電流は、エッチングシステム560を構成する一対のフィラメント電極562を加熱するための加熱電流であり、センサによる計測値である。フィラメント加熱電圧は、一対のフィラメント電極562を加熱するための加熱電圧であり、センサによる計測値である。 The sixth parameter includes at least one of a filament heating current, a filament heating voltage, a filament diameter, a discharge current, and a discharge voltage. The filament heating current is a heating current for heating a pair of filament electrodes 562 constituting the etching system 560, and is a value measured by a sensor. The filament heating voltage is a heating voltage for heating the pair of filament electrodes 562, and is a value measured by a sensor.

フィラメント径は、一対のフィラメント電極562のそれぞれの直径であり、予め入力された入力値である。なお、フィラメント径は、計算によって算出されてもよい。放電電流は、一対のフィラメント電極562の放電電流であり、センサによる計測値である。放電電圧は、一対のフィラメント電極562の放電電圧であり、センサによる計測値である。 The filament diameter is the diameter of each of the pair of filament electrodes 562, and is an input value input in advance. The filament diameter may be calculated by calculation. The discharge current is the discharge current of the pair of filament electrodes 562, and is a value measured by the sensor. The discharge voltage is the discharge voltage of the pair of filament electrodes 562, and is a value measured by the sensor.

図5は、物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性及び物理的特性のうちの少なくとも1つを含む。膜質特性は、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、パーティクル量、及びパーティクルサイズの少なくとも1つが含まれる。 FIG. 5 is a diagram showing an example of a physical quantity. Physical quantities are broadly classified into the middle category. The middle classification includes at least one of film quality properties and physical properties. The film quality properties include at least one of film thickness, roughness, surface texture, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, particle size, and particle size.

膜厚は、皮膜の厚さである。表面性状は、表面粗さを含む表面の形態である。組成は、皮膜の組成である。結晶構造は、皮膜の結晶構造である。膜微細組織は、一般的な意味であり、結晶の形態や配向性などの微細組織構造を表す。結晶性は、結晶になっている割合である。結晶粒径は、結晶粒の大きさである。残留応力は、皮膜の内部応力である。 The film thickness is the thickness of the film. The surface texture is the form of the surface including the surface roughness. The composition is the composition of the film. The crystal structure is the crystal structure of the film. Membrane microstructure has a general meaning and represents microstructure structure such as crystal morphology and orientation. Crystallinity is the percentage of crystals that are crystalline. The crystal grain size is the size of the crystal grain. The residual stress is the internal stress of the film.

膜厚は膜厚計測器により得られる。粗さは粗さ計により得られる。表面性状は顕微鏡又は粗さ計により得られる。組成はX線分光法によって得られる。結晶構造、膜微細組織、結晶性、結晶粒径、及び残留応力はX線回折法又は電子顕微鏡によって得られる。 The film thickness is obtained by a film thickness measuring instrument. Roughness is obtained by a roughness meter. The surface texture is obtained by a microscope or a roughness meter. The composition is obtained by X-ray spectroscopy. The crystal structure, film microstructure, crystallinity, crystal grain size, and residual stress are obtained by X-ray diffraction or electron microscopy.

密度は、皮膜を構成する粒子の密度である。パーティクル量(欠陥量)は皮膜に含まれるゴミの量である。パーティクルサイズ(欠陥サイズ)は皮膜に含まれるゴミの大きさである。密度はX線反射法により得られる。パーティクル量及びパーティクルサイズは顕微鏡又は画像処理により得られる。 Density is the density of the particles that make up the film. The amount of particles (defect amount) is the amount of dust contained in the film. The particle size (defect size) is the size of dust contained in the film. The density is obtained by the X-ray reflection method. The particle amount and particle size can be obtained by microscope or image processing.

物理的特性は、密着性及び光学特性の少なくとも1つを含む。密着性は皮膜の基材への密着の度合いを示し、圧痕法又はスクラッチ試験により得られる。光学特性は皮膜の色彩、艶感、又は質感を示す。光学特性は、分光測色計により計測される。 Physical properties include at least one of adhesion and optical properties. Adhesion indicates the degree of adhesion of the film to the substrate, and is obtained by an indentation method or a scratch test. Optical properties indicate the color, luster, or texture of the film. Optical characteristics are measured by a spectrocolorimeter.

図2に参照を戻す。成膜実行部322は、成膜装置30の成膜運転を制御する。入力判定部323は、量産工程であるか否かを自動又は手動により判定する。入力判定部323は、量産工程であるか否かを自動で判定する場合、入力部350に入力された条件番号の入力回数が基準回数を超えた場合、成膜装置30は量産工程にあると判定する。条件番号とは、ある1つの成膜条件を特定するための識別番号である。条件番号により特定される成膜条件は、少なくとも図4に示す成膜条件のうちInputと記載された成膜条件を含む。 Return the reference to FIG. The film forming execution unit 322 controls the film forming operation of the film forming apparatus 30. The input determination unit 323 automatically or manually determines whether or not the process is mass production. When the input determination unit 323 automatically determines whether or not it is a mass production process, if the number of times the condition number input to the input unit 350 exceeds the reference number, the film forming apparatus 30 is in the mass production process. judge. The condition number is an identification number for specifying one film forming condition. The film forming condition specified by the condition number includes at least the film forming condition described as Input among the film forming conditions shown in FIG.

入力判定部323は、量産工程であるか否かを手動により判定する場合において、入力部350に量産工程である旨のデータが入力された場合、成膜装置30は量産工程にあると判定する。量産工程にある場合、成膜装置30は機械学習を行わない。 When the input determination unit 323 manually determines whether or not it is a mass production process, if data indicating that it is a mass production process is input to the input unit 350, the film forming apparatus 30 determines that it is in the mass production process. .. In the mass production process, the film forming apparatus 30 does not perform machine learning.

メモリ330は、例えば不揮発性の記憶装置であり、最終的に決定された最適な成膜条件などを記憶する。センサ部340は、図4に例示された成膜条件及び図5に例示された物理量の計測に用いられる各種センサである。入力部350は、キーボード、及びマウスなどの入力装置である。 The memory 330 is, for example, a non-volatile storage device, and stores the finally determined optimum film forming conditions and the like. The sensor unit 340 is various sensors used for measuring the film forming conditions exemplified in FIG. 4 and the physical quantity exemplified in FIG. The input unit 350 is an input device such as a keyboard and a mouse.

図3は、図2に示す機械学習システムにおける処理の一例を示すフローチャートである。ステップS1では、学習制御部140は、入力部350を用いてユーザにより入力された、成膜条件の入力値を取得する。ここで取得される入力値は、図4に列記された成膜条件のうち、Inputと記載された成膜条件に対する入力値である。 FIG. 3 is a flowchart showing an example of processing in the machine learning system shown in FIG. In step S1, the learning control unit 140 acquires the input value of the film forming condition input by the user using the input unit 350. The input value acquired here is an input value for the film forming condition described as Input among the film forming conditions listed in FIG.

ステップS2では、学習制御部140は、少なくとも1つの成膜条件と成膜条件に対する設定値とを決定する。ここで、設定対象となる成膜条件は、図4に列挙された成膜条件のうち、Inputと記載された成膜条件以外の成膜条件であって、設定値が設定可能な少なくとも1つの成膜条件である。ここで、決定される成膜条件の設定値は強化学習における行動に相当する。 In step S2, the learning control unit 140 determines at least one film forming condition and a set value for the film forming condition. Here, the film forming condition to be set is at least one film forming condition other than the film forming condition described as Input among the film forming conditions listed in FIG. 4, and the set value can be set. It is a film forming condition. Here, the set value of the film formation condition determined corresponds to the action in reinforcement learning.

具体的には、学習制御部140は、設定対象となる成膜条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、成膜条件のそれぞれについて所定の範囲内からランダムに選択される。成膜条件の設定値の選択方法としては、例えばε-greedy法が採用できる。 Specifically, the learning control unit 140 randomly selects set values for each of the film forming conditions to be set. Here, the set value is randomly selected from within a predetermined range for each of the film forming conditions. For example, the ε-greedy method can be adopted as a method for selecting the set value of the film forming condition.

ステップS3では、学習制御部140は、成膜装置30に成膜実行コマンドを送信することで、成膜装置30に成膜運転を開始させる。成膜実行コマンドが通信部310により受信されると、成膜実行部322は、成膜実行コマンドにしたがって成膜条件を設定し、成膜運転を開始する。成膜実行コマンドには、ステップS1で設定された成膜条件の入力値及びステップS2で決定された成膜条件の設定値などが含まれる。 In step S3, the learning control unit 140 causes the film forming apparatus 30 to start the film forming operation by transmitting the film forming execution command to the film forming apparatus 30. When the film formation execution command is received by the communication unit 310, the film formation execution unit 322 sets the film formation conditions according to the film formation execution command and starts the film formation operation. The film formation execution command includes an input value of the film formation condition set in step S1 and a set value of the film formation condition determined in step S2.

成膜運転が終了すると、状態観測部321は、状態変数を観測する(ステップS4)。具体的には、状態観測部321は、図5に記載された成膜評価に関する物理量と、図4に記載された成膜条件のうちセンサなどによって状態が観測される成膜条件とを状態変数として取得する。物理量は、例えばユーザが入力部350を操作することによって成膜装置30に入力されてもよいし、物理量を計測する計測器と成膜装置30が通信することで成膜装置30に入力されてもよい。状態観測部321は、取得した状態変数を通信部310を介してサーバ10に送信する。 When the film forming operation is completed, the state observing unit 321 observes the state variable (step S4). Specifically, the state observing unit 321 sets the physical quantity related to the film formation evaluation shown in FIG. 5 and the film forming condition in which the state is observed by a sensor or the like among the film forming conditions shown in FIG. 4 as state variables. Get as. The physical quantity may be input to the film forming apparatus 30 by, for example, the user operating the input unit 350, or may be input to the film forming apparatus 30 by communication between the measuring instrument for measuring the physical quantity and the film forming apparatus 30. May be good. The state observation unit 321 transmits the acquired state variable to the server 10 via the communication unit 310.

ステップS5では、決定部130は、物理量を評価する。ここで、決定部130は、ステップS4で取得された物理量のうち評価対象となる物理量(以下、対象物理量と呼ぶ。)が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図5に列記された物理量のうち1又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、皮膜が一定の基準に到達していることを示す予め定められた値が採用できる。 In step S5, the determination unit 130 evaluates the physical quantity. Here, the determination unit 130 determines whether or not the physical quantity to be evaluated (hereinafter referred to as a target physical quantity) among the physical quantities acquired in step S4 has reached a predetermined reference value, thereby determining the physical quantity. evaluate. The target physical quantity is one or more physical quantities among the physical quantities listed in FIG. When there are a plurality of target physical quantities, the reference value has a plurality of reference values corresponding to each target physical quantity. As the reference value, for example, a predetermined value indicating that the film has reached a certain standard can be adopted.

基準値は、例えば上限値と下限値とを含む値であってもよい。この場合、対象物理量が上限値と下限値との範囲内に入った場合、基準値に到達したと判定される。基準値は一つの値であってもよい。この場合、対象物理量が基準値を超えた場合、又は基準値を下回った場合に一定の基準を満たすと判定される。 The reference value may be, for example, a value including an upper limit value and a lower limit value. In this case, when the target physical quantity falls within the range between the upper limit value and the lower limit value, it is determined that the reference value has been reached. The reference value may be one value. In this case, it is determined that a certain standard is satisfied when the target physical quantity exceeds the reference value or falls below the reference value.

決定部130は、対象物理量が基準値に到達していると判定した場合(ステップS6でYES)、ステップS2で設定した成膜条件を最終的な成膜条件として出力する(ステップS7)。一方、決定部130は、物理量が基準値に到達していないと判定した場合(ステップS6でNO)、処理をステップS8に進める。なお、対象物理量が複数の場合、決定部130は、全ての対象物理量が基準値に到達した場合、ステップS6でYESと判定すればよい。 When the determination unit 130 determines that the target physical quantity has reached the reference value (YES in step S6), the determination unit 130 outputs the film formation condition set in step S2 as the final film formation condition (step S7). On the other hand, when the determination unit 130 determines that the physical quantity has not reached the reference value (NO in step S6), the process proceeds to step S8. When there are a plurality of target physical quantities, the determination unit 130 may determine YES in step S6 when all the target physical quantities reach the reference values.

ステップS8では、報酬計算部110は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合(ステップS8でYES)、報酬計算部110は、エージェントに対する報酬を増大させる(ステップS9)。一方、対象物理量が基準値に近づいていない場合(ステップS8でNO)、報酬計算部110は、エージェントに対する報酬を減少させる(ステップS10)。この場合、報酬計算部110は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部110は、複数の対象物理量のそれぞれについて、ステップS8の判定を行えばよい。この場合、報酬計算部110は、複数の対象物理量のそれぞれについて、ステップS8の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。 In step S8, the reward calculation unit 110 determines whether or not the target physical quantity is approaching the reference value. When the target physical quantity is approaching the reference value (YES in step S8), the reward calculation unit 110 increases the reward to the agent (step S9). On the other hand, when the target physical quantity does not approach the reference value (NO in step S8), the reward calculation unit 110 reduces the reward to the agent (step S10). In this case, the reward calculation unit 110 may increase or decrease the reward according to a predetermined increase / decrease value of the reward. When there are a plurality of target physical quantities, the reward calculation unit 110 may make a determination in step S8 for each of the plurality of target physical quantities. In this case, the reward calculation unit 110 may increase or decrease the reward for each of the plurality of target physical quantities based on the determination result in step S8. Further, the increase / decrease value of the reward may be different depending on the target physical quantity.

ステップS11では、更新部120は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるQ学習は、ある環境状態sの下で、行動aを選択することへの価値であるQ値(Q(s,a))を学習する方法である。なお、環境状態sは、上記のフローの状態変数に相当する。そして、Q学習では、ある環境状態sのときに、Q(s,a)の最も高い行動aが選択される。Q学習では、試行錯誤により、ある環境状態sの下で様々な行動aをとり、そのときの報酬を用いて正しいQ(s,a)が学習される。行動価値関数Q(s,a)の更新式は以下の式(1)で示される。 In step S11, the update unit 120 updates the action value function using the reward given to the agent. The Q-learning adopted in this embodiment is a method of learning a Q-value (Q (s, a)) which is a value for selecting an action a under a certain environmental state s. The environmental state st corresponds to the state variable of the above flow. Then, in Q-learning, the action a having the highest Q (s, a) is selected in a certain environmental state s. In Q-learning, various actions a are taken under a certain environmental state s by trial and error, and the correct Q (s, a) is learned using the reward at that time. The update formula of the action value function Q ( st , at) is shown by the following formula (1).

Figure 2022018154000002
Figure 2022018154000002

ここで、s,aは、それぞれ、時刻tにおける環境状態と行動とを表す。行動aにより、環境状態はst+1に変化し、その環境状態の変化によって、報酬rt+1が算出される。また、maxの付いた項は、環境状態st+1の下で、その時に分かっている最も価値の高い行動aを選んだ場合のQ値(Q(st+1,a))にγを掛けたものである。ここで、γは割引率であり、0<γ≦1(通常は0.9~0.99)の値をとる。αは学習係数であり、0<α≦1(通常は0.1程度)の値をとる。 Here, st and at represent the environmental state and the behavior at time t , respectively. The action at changes the environmental state to st + 1 , and the change in the environmental state calculates the reward rt + 1 . In addition, the term with max is the Q value (Q ( st + 1 , a)) when the most valuable action a known at that time is selected under the environmental state st + 1, and is multiplied by γ. Is. Here, γ is a discount rate, and takes a value of 0 <γ ≦ 1 (usually 0.9 to 0.99). α is a learning coefficient and takes a value of 0 <α ≦ 1 (usually about 0.1).

この更新式は、状態sにおける行動aのQ値であるQ(s,a)よりも、行動aによる次の環境状態st+1における最良の行動をとったときのQ値に基づくγ・maxQ(st+1,a)の方が大きければ、Q(s,a)を大きくする。一方、この更新式は、Q(s,a)よりもγ・maxQ(st+1,a)の方が小さければ、Q(s,a)を小さくする。つまり、ある状態sにおけるある行動aの価値を、それによる次の状態st+1における最良の行動の価値に近づけるようにしている。これにより、ワーク545を成膜するのに最適な状態、つまり、少なくとも一つの最適な成膜条件が決定される。 This update formula is based on the Q value when the best action in the next environmental state s t + 1 by the action a is taken, rather than the Q value Q (st, at ) of the action a in the state s. If maxQ (st + 1 , a) is larger, then Q (st, at ) is increased. On the other hand, in this update formula, if γ · maxQ (st + 1 , a) is smaller than Q (st, at ) , Q ( st , at ) is made smaller. That is, the value of a certain action a in one state st is brought closer to the value of the best action in the next state st + 1 . Thereby, the optimum state for forming the work 545, that is, at least one optimum film forming condition is determined.

ステップS11の処理が終了すると、処理はステップS2に戻り、選択済みの成膜条件の設定値が変更されたり、未選択の成膜条件が次の成膜条件として選択されたりして、同様にして行動価値関数が更新される。更新部120は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。 When the process of step S11 is completed, the process returns to step S2, and the set value of the selected film forming condition is changed, or the unselected film forming condition is selected as the next film forming condition, and so on. The action value function is updated. The update unit 120 has updated the action value function, but the present invention is not limited to this, and the action value table may be updated.

Q(s,a)は、全ての状態と行動とのペア(s,a)に対する値がテーブル形式で保存されてもよい。或いは、Q(s,a)は、全ての状態と行動とのペア(s,a)に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際に成膜装置30を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される。 In Q (s, a), the values for all the state-action pairs (s, a) may be stored in a table format. Alternatively, Q (s, a) may be represented by an approximate function that approximates the values for all state-behavior pairs (s, a). This approximation function may be constructed by a multi-layered neural network. In this case, the neural network may perform online learning in which the data obtained by actually moving the film forming apparatus 30 is learned in real time and reflected in the next action. As a result, deep reinforcement learning is realized.

従来、成膜装置においては、良好な装飾皮膜が得られるように成膜条件を変化させることによって成膜条件の開発が行われてきた。良好な装飾皮膜を得るためには、装飾皮膜の評価と成膜条件との関係性を見出すことが要求される。しかし、図4に示されるように成膜条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの装飾皮膜の評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。 Conventionally, in a film forming apparatus, the film forming conditions have been developed by changing the film forming conditions so that a good decorative film can be obtained. In order to obtain a good decorative film, it is required to find a relationship between the evaluation of the decorative film and the film forming conditions. However, as shown in FIG. 4, since the types of film forming conditions are enormous, an extremely large number of physical models are required to define such relationships, and such relationships are described by the physical models. It was found that it is difficult to do. Furthermore, in order to construct such a physical model, it is also required to artificially find out which parameter influences the evaluation of which decorative film, and this construction is difficult.

本実施の形態によれば、上述した第1~第6のパラメータのうちの少なくとも1つのパラメータと、成膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも1つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。このように、本実施の形態は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、本実施の形態は、装飾皮膜に対する適切な成膜条件を容易に決定できる。 According to the present embodiment, at least one of the above-mentioned first to sixth parameters and at least one physical quantity of the film quality property and the physical property related to the performance evaluation of film formation are state variables. Observed as. Then, the reward for the determination result of the film formation condition is calculated based on the observed state variable, and the action value function for determining the film formation condition from the state variable is updated based on the calculated reward. The renewal is repeated to learn the film forming conditions that give the most reward. As described above, in this embodiment, the film forming conditions are determined by machine learning without using the above-mentioned physical model. As a result, in this embodiment, appropriate film forming conditions for the decorative film can be easily determined.

なお、本発明は以下の変形例が採用できる。 The following modifications can be adopted in the present invention.

(1)図6は、本発明の変形例に係る機械学習システムの全体構成図である。この変形例に係る機械学習システムは、成膜装置30A単体で構成されている。成膜装置30Aは、プロセッサ320A、入力部391、及びセンサ部392を含む。プロセッサ320Aは、機械学習部370及び成膜部380を含む。機械学習部370は、報酬計算部371、更新部372、決定部373、及び学習制御部374を含む。報酬計算部371~学習制御部374は、それぞれ、図2に示す報酬計算部110~学習制御部140と同じである。状態観測部381、成膜実行部382、及び入力判定部383は、それぞれ図2に示す状態観測部321、成膜実行部322、及び入力判定部323と同じである。入力部391及びセンサ部392は、それぞれ図2に示す入力部350及びセンサ部340と同じである。本変形例において状態観測部381は、状態情報を取得する状態取得部の一例である。 (1) FIG. 6 is an overall configuration diagram of a machine learning system according to a modified example of the present invention. The machine learning system according to this modification is composed of the film forming apparatus 30A alone. The film forming apparatus 30A includes a processor 320A, an input unit 391, and a sensor unit 392. The processor 320A includes a machine learning unit 370 and a film forming unit 380. The machine learning unit 370 includes a reward calculation unit 371, an update unit 372, a determination unit 373, and a learning control unit 374. The reward calculation unit 371 to the learning control unit 374 are the same as the reward calculation unit 110 to the learning control unit 140 shown in FIG. 2, respectively. The state observation unit 381, the film formation execution unit 382, and the input determination unit 383 are the same as the state observation unit 321, the film formation execution unit 322, and the input determination unit 323 shown in FIG. 2, respectively. The input unit 391 and the sensor unit 392 are the same as the input unit 350 and the sensor unit 340 shown in FIG. 2, respectively. In this modification, the state observation unit 381 is an example of a state acquisition unit that acquires state information.

このようにこの変形例に係る機械学習システムによれば、成膜装置30A単体で最適な成膜条件を学習させることができる。 As described above, according to the machine learning system according to this modification, the optimum film forming conditions can be learned by the film forming apparatus 30A alone.

(2)上記のフローでは、成膜運転の終了後に状態変数が観測されていたが、これは一例であり、1回の成膜運転中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、1回の成膜運転中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。 (2) In the above flow, the state variables were observed after the film formation operation was completed, but this is an example, and a plurality of state variables may be observed during one film formation operation. For example, when the state variables are composed only of parameters that can be measured instantaneously, a plurality of state variables can be observed during one film forming operation. As a result, the learning time can be shortened.

(3)上記実施の形態では成膜装置30はアークイオンプレーティング法で成膜する装置であったが、本発明はこれに限定されず、蒸着法など他の物理的気相成長法により成膜する装置であってもよい。 (3) In the above embodiment, the film forming apparatus 30 is an apparatus for forming a film by the arc ion plating method, but the present invention is not limited to this, and the film forming apparatus 30 is formed by another physical vapor deposition method such as a vapor deposition method. It may be a device for forming a film.

10 :サーバ
30 :成膜装置
100 :プロセッサ
110 :報酬計算部
120 :更新部
130 :決定部
140 :学習制御部
510 :真空排気システム
520 :加熱冷却システム
530 :蒸発源システム
540 :テーブルシステム
550 :プロセスガスシステム
560 :エッチングシステム
570 :チャンバー
574 :学習制御部
10: Server 30: Film forming apparatus 100: Processor 110: Reward calculation unit 120: Update unit 130: Determination unit 140: Learning control unit 510: Vacuum exhaust system 520: Heating and cooling system 530: Evaporation source system 540: Table system 550: Process gas system 560: Etching system 570: Chamber 574: Learning control unit

Claims (15)

基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算し、
前記状態変数から前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである、
機械学習方法。
It is a machine learning method in which a machine learning device determines the film forming conditions of a film forming apparatus for forming a decorative film on a substrate.
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating / cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system on which a work is placed, and the chamber. Including a process gas system that introduces process gas and an etching system,
A state variable including at least one physical quantity related to the performance evaluation of the decorative film and at least one film forming condition is acquired.
Based on the state variables, the reward for the determination result of at least one film forming condition is calculated.
The function for determining at least one film formation condition from the state variable is updated based on the reward.
By repeating the update of the function, the film forming conditions in which the reward is most obtained are determined.
The at least one film forming condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and the process. At least one of the fifth parameters for the gas system,
The at least one physical quantity is at least one of the film quality property and the physical property.
Machine learning method.
前記第1パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びP-Q特性の少なくとも1つである、
請求項1記載の機械学習方法。
The first parameter is at least one of exhaust rate, ultimate pressure, residual gas type, residual gas partial pressure, and PQ characteristic.
The machine learning method according to claim 1.
前記第2パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも1つである、
請求項1又は2記載の機械学習方法。
The second parameter is the heater temperature of the heater constituting the heating / cooling system, the work temperature which is the temperature of the work, the temperature rise rate of the heater, the temperature rise rate of the work, the output of the heater, and the temperature of the heater. At least one of accuracy, temperature accuracy of the work, heater temperature and response characteristics of the work temperature, temperature distribution of the heater, and temperature distribution of the work.
The machine learning method according to claim 1 or 2.
前記第3パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも1つである、
請求項1~3のいずれかに記載の機械学習方法。
The third parameter is at least one of the target composition, the target thickness, the target manufacturing method, the arc discharge voltage, the arc discharge current, the evaporation source magnetic field, the evaporation source coil current, and the arc ignition characteristics.
The machine learning method according to any one of claims 1 to 3.
前記第4パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも1つを含む、
請求項1~4のいずれかに記載の機械学習方法。
The fourth parameter includes a bias voltage for the work, a bias current for the work, the number of abnormal discharges, a time change of the abnormal discharge, a waveform of the bias voltage, a waveform of the bias current, a rotation speed of the work, and a rotation speed of the work. Including at least one of the shape, the mounting amount of the work, the mounting method of the work, and the material of the work.
The machine learning method according to any one of claims 1 to 4.
前記第5パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも1つである、
請求項1~5のいずれかに記載の機械学習方法。
The fifth parameter is at least one of the process gas flow rate, the process gas type, and the process gas pressure.
The machine learning method according to any one of claims 1 to 5.
前記少なくとも1つの成膜条件は、さらに前記エッチングシステムに関する第6パラメータを含む、
請求項1~6のいずれかに記載の機械学習方法。
The at least one film forming condition further includes a sixth parameter relating to the etching system.
The machine learning method according to any one of claims 1 to 6.
前記第6パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも1つである、
請求項7記載の機械学習方法。
The sixth parameter is at least one of a heating current for heating the filament of the etching system, a heating voltage for heating the filament, a diameter of the filament, a discharge current of the filament, and a discharge voltage of the filament. Is,
The machine learning method according to claim 7.
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも1つを含み、
前記物理的特性は、前記装飾皮膜における光学特性を含む、
請求項1~8のいずれかに記載の機械学習方法。
The film quality property is at least one of the film thickness, roughness, surface texture, composition, crystal structure, film microstructure, crystallinity, crystal grain size, residual stress, density, defect amount, and defect size in the decorative film. Including
The physical properties include optical properties in the decorative film.
The machine learning method according to any one of claims 1 to 8.
前記関数は深層強化学習を用いてリアルタイムで更新される、
請求項1~9のいずれかに記載の機械学習方法。
The function is updated in real time using deep reinforcement learning,
The machine learning method according to any one of claims 1 to 9.
前記報酬の計算では、前記少なくとも1つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させ、前記少なくとも1つの物理量が各物理量に対応する基準値に近づいていない場合、前記報酬を減少させる、
請求項1~10のいずれかに記載の機械学習方法。
In the calculation of the reward, when the at least one physical quantity is close to a predetermined reference value corresponding to each physical quantity, the reward is increased and the at least one physical quantity is not close to the reference value corresponding to each physical quantity. If the above reward is reduced,
The machine learning method according to any one of claims 1 to 10.
基材に装飾皮膜を成膜する成膜装置の成膜条件を決定する機械学習装置であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである、
機械学習装置。
A machine learning device that determines the film forming conditions of a film forming device that forms a decorative film on a substrate.
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating / cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system on which a work is placed, and the chamber. Including the process gas system that introduces the process gas and the etching system,
A state acquisition unit for observing a state variable including at least one physical quantity related to performance evaluation of the decorative film and at least one film forming condition.
A reward calculation unit that calculates a reward for the determination result of at least one film formation condition based on the state variable.
An update unit that updates a function for determining at least one film formation condition based on the state variable based on the reward.
By repeating the update of the function, the determination unit for determining the film forming condition in which the reward is most obtained is provided.
The at least one film forming condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and the process. At least one of the fifth parameters for the gas system,
The at least one physical quantity is at least one of the film quality property and the physical property.
Machine learning device.
基材に装飾皮膜を成膜する成膜装置の成膜条件を決定する機械学習装置としてコンピュータを機能させるコンピュータ読み取り可能な機械学習プログラムであって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、
前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも1つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも1つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである、
機械学習プログラム。
A computer-readable machine learning program that allows a computer to function as a machine learning device that determines the film formation conditions of a film forming device that deposits a decorative film on a substrate.
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating / cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system on which a work is placed, and the chamber. Including the process gas system that introduces the process gas and the etching system,
A state acquisition unit for observing a state variable including at least one physical quantity related to performance evaluation of the decorative film and at least one film forming condition.
A reward calculation unit that calculates a reward for the determination result of at least one film formation condition based on the state variable.
An update unit that updates a function for determining at least one film formation condition based on the state variable based on the reward.
By repeating the update of the function, the determination unit for determining the film forming condition in which the reward is most obtained is provided.
The at least one film forming condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and the process. At least one of the fifth parameters for the gas system,
The at least one physical quantity is at least one of the film quality property and the physical property.
Machine learning program.
基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、
前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測し、
前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも1つの成膜条件を受信し、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである、
通信方法。
It is a communication method of the film forming apparatus when machine learning the film forming conditions of the film forming apparatus for forming a decorative film on a substrate.
The film forming apparatus includes a vacuum exhaust system for evacuating a chamber, a heating / cooling system for heating and cooling the chamber, an evaporation source system for evaporating a target, a table system on which a work is placed, and the chamber. Includes a process gas system that introduces process gas into the chamber, an etching system, and a communication unit.
Observe the state variables including at least one physical quantity related to the performance evaluation of the decorative film and at least one film forming condition.
The state variable is transmitted over the network to receive at least one machine-learned film formation condition.
The at least one film forming condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and the process. At least one of the fifth parameters for the gas system,
The at least one physical quantity is at least one of the film quality property and the physical property.
Communication method.
基材に装飾皮膜を成膜する成膜装置であって、
チャンバーを真空にするための真空排気システムと、
前記チャンバーを加熱及び冷却する加熱冷却システムと、
ターゲットを蒸発させる蒸発源システムと、
ワークを載置するテーブルシステムと、
前記チャンバーにプロセスガスを導入するプロセスガスシステムと、
エッチングシステムと、
前記装飾皮膜の性能評価に関する少なくとも1つの物理量と、少なくとも1つの成膜条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワーク上に送信し、機械学習済みの成膜条件を受信する通信部とを備え、
前記少なくとも1つの成膜条件は、前記真空排気システムに関する第1パラメータと、前記加熱冷却システムに関する第2パラメータと、前記蒸発源システムに関する第3パラメータと、前記テーブルシステムに関する第4パラメータと、前記プロセスガスシステムに関する第5パラメータとのうちの少なくとも1つであり、
前記少なくとも1つの物理量は、膜質特性及び物理的特性のうちの少なくとも1つである、
成膜装置。
A film forming device that forms a decorative film on a substrate.
A vacuum exhaust system for evacuating the chamber,
A heating and cooling system that heats and cools the chamber,
An evaporation source system that evaporates the target,
A table system on which the work is placed and
A process gas system that introduces process gas into the chamber,
Etching system and
A state observing unit for observing state variables including at least one physical quantity related to performance evaluation of the decorative film and at least one film forming condition.
It is equipped with a communication unit that transmits the state variables on the network and receives machine-learned film formation conditions.
The at least one film forming condition includes a first parameter relating to the vacuum exhaust system, a second parameter relating to the heating and cooling system, a third parameter relating to the evaporation source system, a fourth parameter relating to the table system, and the process. At least one of the fifth parameters for the gas system,
The at least one physical quantity is at least one of the film quality property and the physical property.
Film forming equipment.
JP2020121054A 2020-07-15 2020-07-15 Machine learning method, machine learning device, machine learning program, communication method, and film forming device Active JP7401405B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020121054A JP7401405B2 (en) 2020-07-15 2020-07-15 Machine learning method, machine learning device, machine learning program, communication method, and film forming device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020121054A JP7401405B2 (en) 2020-07-15 2020-07-15 Machine learning method, machine learning device, machine learning program, communication method, and film forming device

Publications (2)

Publication Number Publication Date
JP2022018154A true JP2022018154A (en) 2022-01-27
JP7401405B2 JP7401405B2 (en) 2023-12-19

Family

ID=80203134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020121054A Active JP7401405B2 (en) 2020-07-15 2020-07-15 Machine learning method, machine learning device, machine learning program, communication method, and film forming device

Country Status (1)

Country Link
JP (1) JP7401405B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5234561A (en) * 1988-08-25 1993-08-10 Hauzer Industries Bv Physical vapor deposition dual coating process
JP2009191308A (en) * 2008-02-13 2009-08-27 Toyota Motor Corp Hard film, and hard film forming method, and hard film evaluation method
WO2019216143A1 (en) * 2018-05-08 2019-11-14 千代田化工建設株式会社 Plant operation condition setting assistance system, learning device, and operation condition setting assistance device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5234561A (en) * 1988-08-25 1993-08-10 Hauzer Industries Bv Physical vapor deposition dual coating process
JP2009191308A (en) * 2008-02-13 2009-08-27 Toyota Motor Corp Hard film, and hard film forming method, and hard film evaluation method
WO2019216143A1 (en) * 2018-05-08 2019-11-14 千代田化工建設株式会社 Plant operation condition setting assistance system, learning device, and operation condition setting assistance device

Also Published As

Publication number Publication date
JP7401405B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
JP2021017650A (en) Evaluation method, evaluation device, evaluation program, generation method, communication method, and film deposition device
WO2021010415A1 (en) Machine learning method, machine learning device, machine learning program, communication method, and film-forming device
CN109715848A (en) The method and process of machine learning are realized in amount wafer processing apparatus complicated and changeable
BE1025251B1 (en) Feedback system
TW201404247A (en) Plasma processing apparatus
CN106574833B (en) Method for diagnosing film thickness sensor and film thickness monitor
JP5397215B2 (en) Semiconductor manufacturing apparatus, semiconductor device manufacturing method, simulation apparatus, and simulation program
JP7051471B2 (en) Thin-film deposition equipment and thin-film deposition method
JP2022018154A (en) Machine learning method, machine learning device, machine learning program, communication method, and film deposition apparatus
JP7481185B2 (en) Machine learning method, machine learning device, machine learning program, communication method, and film formation device
CN103196772A (en) Method for performing on-line measurement on stoichiometric ratio and component mass of PLD (Pulsed Laser Deposition) membrane
JP7481184B2 (en) Machine learning method, machine learning device, machine learning program, communication method, and film formation device
WO2021010413A1 (en) Machine learning method, machine learning device, machine learning program, communication method, and film deposition device
JP2021017649A (en) Machine learning method, machine learning device, machine learning program, communication method, and film deposition device
JP7217822B1 (en) Film thickness monitoring method and film thickness monitoring device
JP2021017648A (en) Evaluation method, evaluation device, evaluation program, generation method, communication method, and film deposition device
TWI682456B (en) Plasma processing device and analysis method for analyzing plasma processing data
JP2019099870A (en) Vapor deposition device and vapor deposition method
TW202303785A (en) Systems and methods for predicting film thickness of individual layers using virtual metrology
JP2019094534A (en) Sputtering device and method of manufacturing film
JP2018083972A (en) Sputtering device, and film production
JP2009152433A (en) Information processing device, information processing method, and program
CN112084688B (en) Cathode life prediction method
BE1025541B1 (en) DISPLAY DEVICE
JPH08246169A (en) Plasma-treating device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150