CN111324993A - 一种湍流场更新方法、装置及其相关设备 - Google Patents
一种湍流场更新方法、装置及其相关设备 Download PDFInfo
- Publication number
- CN111324993A CN111324993A CN202010110908.3A CN202010110908A CN111324993A CN 111324993 A CN111324993 A CN 111324993A CN 202010110908 A CN202010110908 A CN 202010110908A CN 111324993 A CN111324993 A CN 111324993A
- Authority
- CN
- China
- Prior art keywords
- turbulence
- data
- model
- sample
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000002787 reinforcement Effects 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000012530 fluid Substances 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000693 micelle Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种湍流场更新方法，包括获取样本湍流数据；利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；通过RANS方程计算获得湍流场的初始湍流数据；通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据；该湍流场更新方法可以有效提高计算精度，实现更为准确的湍流场更新。本申请还公开了一种湍流场更新装置、设备以及计算机可读存储介质，均具有上述有益效果。
Description
技术领域
本申请涉及强化学习技术领域，特别涉及一种湍流场更新方法，还涉及一种湍流场更新装置、设备和计算机可读存储介质。
背景技术
湍流现象普遍存在于自然界与工业界中，例如，自然界中的沙尘暴、台风海啸等极端天气，大型民航客机、客船所处的复杂流动环境，以及航空发动机自主研发涉及的发动机内部流动等，都是典型的湍流现象。湍流是空间和时间分布不规则的复杂流动现象，表现为强非线性、随机性、多尺度性等特点。
在湍流场中，实际湍流环境的雷诺数往往达到Re～O(1010)，针对这种强非线性的超高雷诺数的复杂流动问题，一般采用风洞、水洞试验观测和雷诺平均RANS方程数值模拟求解，但由于试验观测技术的限制和试验成本的约束，雷诺平均的数值模拟方法是现在主要的湍流研究手段。
然而，由于湍流模型多来源于简单流动，在面对高雷诺数分离流等复杂问题时，RANS方程的计算结果往往与实际情况存在较大偏差，无法实现更为精确的湍流场更新。
因此，如何有效提高计算精度，实现更为准确的湍流场更新是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种湍流场更新方法，该湍流场更新方法可以有效提高计算精度，实现更为准确的湍流场更新；本申请的另一目的是提供一种湍流场更新装置、设备和计算机可读存储介质，也具有上述有益效果。
为解决上述技术问题，第一方面，本申请提供了一种湍流场更新方法，包括：
获取样本湍流数据；
利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；
通过RANS方程计算获得湍流场的初始湍流数据；
通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；
通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据。
优选的，所述利用所述样本湍流数据进行模型训练，获得强化学习湍流模型之前，还包括：
对所述样本湍流数据进行预处理，获得标准样本湍流数据。
优选的，所述对所述样本湍流数据进行预处理，获得标准样本湍流数据，包括：
对所述样本湍流数据进行归一化处理，获得归一化样本湍流数据；
对所述归一化样本湍流数据进行等间隔抽取处理，获得所述标准样本湍流数据。
优选的，所述利用所述样本湍流数据进行模型训练，获得强化学习湍流模型，包括：
对所述样本湍流数据进行特征提取，获得样本湍流特征；
利用所述样本湍流特征进行模型训练，获得所述强化学习湍流模型。
优选的，所述利用所述样本湍流特征进行模型训练，获得所述强化学习湍流模型，包括：
建立DQN神经网络；
将预设目标函数作为迭代条件，利用所述样本湍流特征对所述DQN神经网络进行迭代训练，获得所述强化学习湍流模型。
优选的，所述通过RANS方程计算获得湍流场的初始湍流数据，包括：
获取所述湍流场的初始雷诺应力；
利用所述初始雷诺应力对所述RANS方程的雷诺应力项进行封闭，计算获得所述初始湍流数据。
优选的，所述通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力，包括：
获取所述强化学习湍流模型训练过程中的学习经历和网络参数；
利用所述学习经历和网络参数对所述强化学习湍流模型进行优化，获得优化强化学习湍流模型；
通过所述优化强化学习湍流模型对所述初始湍流数据进行处理，获得所述预测雷诺应力。
第二方面，本申请还提供了一种湍流场更新装置，包括：
样本获取模块，用于获取样本湍流数据；
模型训练模块，用于利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；
初始数据计算模块，用于通过RANS方程计算获得湍流场的初始湍流数据；
初始数据处理模块，用于通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；
湍流场更新模块，用于通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据。
第三方面，本申请还公开了一种湍流场更新设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种湍流场更新方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种湍流场更新方法的步骤。
本申请所提供的一种湍流场更新方法，包括获取样本湍流数据；利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；通过RANS方程计算获得湍流场的初始湍流数据；通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据。
可见，本申请所提供的湍流场更新方法，基于强化学习具备的通用化、无标签、序列化决策、闭环更新的能力，利用强化学习技术实现了湍流模型的构建，并将RANS方程求解器与强化学习湍流模型进行耦合，依靠当前湍流场数据进行训练，获得泛化能力更强的模型，从而实现了湍流场更新，可见，基于强化学习技术的模型构建，有效降低了目标高雷诺数湍流与低雷诺数训练数据差异的影响，提高了模型的泛化能力；通过交替求解RANS方程计算湍流场和使用强化学习湍流模型预测雷诺应力，有效降低了高雷诺数湍流场的计算难度，实现了高精度快速求解，从而实现了更为准确的湍流场更新。
本申请所提供的一种湍流场更新装置、设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种湍流场更新方法的流程示意图；
图2为本申请所提供的另一种湍流场更新方法的流程示意图；
图3为本申请所提供的一种湍流场更新装置的结构示意图；
图4为本申请所提供的一种湍流场更新设备的结构示意图。
具体实施方式
本申请的核心是提供一种湍流场更新方法，该湍流场更新方法可以有效提高计算精度，实现更为准确的湍流场更新；本申请的另一核心是提供一种湍流场更新装置、设备和计算机可读存储介质，也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种湍流场更新方法的流程示意图，包括：
S101：获取样本湍流数据；
本步骤旨在实现样本湍流数据的获取，该样本湍流数据即为已经公开的DNS(Direct Numerical Simulation，直接数值模拟)的高精度、高分辨率的流场数据，可用于实现后续模型训练。
S102：利用样本湍流数据进行模型训练，获得强化学习湍流模型；
本步骤旨在实现模型训练，以获得强化学习湍流模型。具体而言，强化学习技术具有较强的通用化、无标签、序列化决策、闭环更新的能力，基于强化学习技术对样本湍流数据进行处理，实现强化学习湍流模型的构建，可以有效降低目标高雷诺数湍流与低雷诺数训练数据差异的影响，提高模型精度。
作为一种优选实施例，上述利用样本湍流数据进行模型训练，获得强化学习湍流模型之前，还可以包括：对样本湍流数据进行预处理，获得标准样本湍流数据。
为有效提高模型精度，在进行模型训练之前，还可以对样本湍流数据进行预处理，以获得标准样本湍流数据。其中，上述预处理操作的实现方法并不唯一，例如，可以为标准化处理、归一化处理、采样处理等，本申请对此不做限定。
作为一种优选实施例，上述对样本湍流数据进行预处理，获得标准样本湍流数据，可以包括：对样本湍流数据进行归一化处理，获得归一化样本湍流数据；对归一化样本湍流数据进行等间隔抽取处理，获得标准样本湍流数据。
本优选实施例提供了一种较为具体的样本湍流数据的预处理方法，即数据归一化处理和数据抽取处理。首先，采用平板湍流的主流速度和密度对样本湍流数据进行归一化；进一步，在样本湍流数据空间的三个方向上对归一化样本湍流数据进行等间隔抽取，即可获得上述标准样本湍流数据。
作为一种优选实施例，上述利用样本湍流数据进行模型训练，获得强化学习湍流模型，可以包括：对样本湍流数据进行特征提取，获得样本湍流特征；利用样本湍流特征进行模型训练，获得强化学习湍流模型。
本优选实施例提供了一种较为具体的模型训练方法，即基于样本特征的模型构建。首先对预处理后的样本湍流数据进行湍流场特征提取，进而利用该样本湍流特征进行模型构建，即可获得上述强化学习湍流模型。其中，特征提取操作可采用已有技术中的任意一种，本申请对此不做限定。
作为一种优选实施例，上述利用样本湍流特征进行模型训练，获得强化学习湍流模型，可以包括：建立DQN神经网络(Deep-Q-Network，深度价值函数神经网络)；将预设目标函数作为迭代条件，利用样本湍流特征对DQN神经网络进行迭代训练，获得强化学习湍流模型。
本优选实施例提供了一种具体类型的强化学习湍流模型，即基于DQN神经网络的训练模型。具体而言，建立DQN神经网络，并输入上述样本湍流特征进行基于强化学习的迭代训练，在迭代过程中，预先建立目标函数作为迭代条件，以保证模型收敛，从而获得准确的强化学习湍流模型。
S103：通过RANS方程(Reynolds Averaged Navior-Stokes，雷诺平均纳维尔-斯托克斯方程/模型)计算获得湍流场的初始湍流数据；
本步骤旨在实现初始湍流数据的计算，即基于RANS方程实现，其中，RANS方程是描述湍流统计量的演化的系综平均N-S方程(Navior-Stokes，纳维尔-斯托克斯方程)，初始湍流数据则为湍流场未更新之前的湍流场数据。
作为一种优选实施例，上述通过RANS方程计算获得湍流场的初始湍流数据，可以包括：获取湍流场的初始雷诺应力；利用初始雷诺应力对RANS方程的雷诺应力项进行封闭，计算获得初始湍流数据。
本优选实施例提供了较为具体的初始湍流数据的计算方法，首先，获取湍流场的初始雷诺应力，该初始雷诺应力为当前湍流场中预先给定的雷诺应力值，进而利用该值对RANS方程的雷诺应力项进行封闭求解，即可获得上述初始湍流数据。
S104：通过强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力；
S105：通过RANS方程对预测雷诺应力进行计算，获得更新湍流数据。
具体的，可将初始湍流数据输入至强化学习模型中进行处理，从而预测获得对应于更新后湍流场的雷诺应力，即上述预测雷诺应力，由此，即可根据该预测雷诺应力实现湍流场的更新。进一步，在湍流场更新过程中，同样可基于RANS方程实现，具体可利用上述预测雷诺应力对RANS方程的雷诺应力项进行封闭求解，获得上述更新湍流数据，该更新湍流数据即为对应于更新后湍流场的数据信息，至此，完成湍流场更新。
作为一种优选实施例，上述通过强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力，可以包括：获取强化学习湍流模型训练过程中的学习经历和网络参数；利用学习经历和网络参数对强化学习湍流模型进行优化，获得优化强化学习湍流模型；通过优化强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力。
为进一步保证预测雷诺应力取值的准确性，在利用强化学习湍流模型对初始湍流数据进行计算之前，可先利用强化学习湍流模型训练过程中所记录的数据信息对模型进行优化，该数据信息可包括学习经历和网络参数，在模型训练过程中产生并记录于记忆库中，可直接调用，其中，网络参数可以为权重、偏置等。由此，即可利用优化强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力。
需要说明的是，上述S101至S102为强化学习湍流模型的训练过程，在模型训练完成后，将其存储至预先建立的存储空间中即可。进一步，在实际的湍流场更新过程中，模型训练过程仅需执行一次，在后续需要多次使用时，直接从存储空间中调取即可，无需重复训练。
可见，本申请所提供的湍流场更新方法，基于强化学习具备的通用化、无标签、序列化决策、闭环更新的能力，利用强化学习技术实现了湍流模型的构建，并将RANS方程求解器与强化学习湍流模型进行耦合，依靠当前湍流场数据进行训练，获得泛化能力更强的模型，从而实现了湍流场更新，可见，基于强化学习技术的模型构建，有效降低了目标高雷诺数湍流与低雷诺数训练数据差异的影响，提高了模型的泛化能力；通过交替求解RANS方程计算湍流场和使用强化学习湍流模型预测雷诺应力，有效降低了高雷诺数湍流场的计算难度，实现了高精度快速求解，从而实现了更为准确的湍流场更新。
在上述各个实施例的基础上，本申请实施例提供了一种更为具体的湍流场更新方法，请参考图2，图2为本申请所提供的另一种湍流场更新方法的流程示意图。
具体而言，本申请所提供的湍流场更新方法，将深度强化学习算法DQN与雷诺平均的RANS方程求解器进行耦合，使用湍流场数据(包括x、y、z方向的速度分量u、v、w和压力p)对RANS方程中的雷诺应力τ张量的6个分量(3个正应力分量和3个切应力分量)进行预测，再用雷诺应力封闭RANS方程进行下一步流场求解，实现湍流场更新。基于此，该湍流场更新方法的具体实现流程如下：
1、训练强化学习湍流模型RLTM
目前已有大量公开的直接数值模拟DNS的高精度、高分辨率流场数据供研究人员使用，这些数据通常以一定的时间间隔存储，包含三维流场在x、y、z方向的速度数据u、v、w和压力数据p，因此，可基于这些数据来训练可用于预测流场雷诺应力的深度神经网络模型。
(1)已有DNS流场数据准备与预处理：
通常，直接数值模拟DNS计算当中已经将流场速度和压力数据使用特征速度U和流体密度ρ进行了归一化，若没有，则可以使用平板湍流的主流速度U和密度ρ进行归一化处理。进一步，考虑到DNS方法使用分辨率远高于平均雷诺RANS方程的计算网格，为使两套计算网格相匹配，同时减小训练成本，可以对原始的DNS数据在空间三个方向上进行等间隔抽取数据，组成新的按时间排序的、训练使用的稀疏三维流场数据。
(2)湍流场特征(强化学习状态)选取：
选用每个计算网格点上的速度分量u、v、w和压力p作为特征，同时也是强化学习算法中的状态s(State)，进一步，所有网格点上的状态s构成环境E(Environment)。
(3)强化学习湍流模型RLTM训练与记忆库积累：
典型的强化学习参数空间可组成一个四元组<A，S，R，T>，即动作空间A、状态空间S、奖励空间R和转移函数空间T。智能体在环境当中观测环境和自身当前的状态s，根据一定的规则或策略π，做出一个动作a(Action)，因此获得当前的奖励r和长期累计奖励R(Reward)，影响环境发生变化或转移T(Transition)。在新的环境中，根据观测到新的状态s1，而作出新的动作a1，获得新的奖励r1和累计奖励R1，之后重复这个过程。
具体的，可以使用经典的DQN方法，构建2个结构相同但参数不同的神经网络，分别是间隔一定时间更新参数的目标网络(target_net)和每步更新参数的预测网络(pred_net)。其中，每步更新参数的预测网络即为雷诺应力预测神经网络，用于预测雷诺应力τ的6个分量。由此，即可使用已有的高精度、高分辨率的DNS数据对雷诺应预测神经网络进行训练，将这个过程中的学习经历(st，at，qt，rt，st+1)存储到记忆库当中，以便在强化学习湍流模型RLTM与RANS方程进行耦合求解的过程中被随机抽取出来进行重放，以辅助预测雷诺应力τpred；同时，将雷诺应力预测神经网络的参数，即权重w与偏置b进行存储，为之后的耦合计算提供一组较好的神经网络初始参数。基于此，实现过程如下：
输入状态S(速度分量u、v、w和压力p)信息，雷诺应力预测神经网络的第1层(输入层)使用ReLu函数作为激活函数，第2层(输出层)不使用激活函数，获得全部的预测价值Qpred(与奖励r相关)。目标网络也具有同样的网络结构，输出全部的中间目标价值Q′，并用于计算和更新目标价值Qtarget。计算中，折扣因子γ体现越是深入未来，对当前回报的影响越小，取值为介于0与1之间的常数。网络的具体形式如下：
L1＝relu(wl*S+b1)
Q＝w2*L1+b2
其中，w1和、w2和b1、b2分别为第1层和第2层的网络参数，即权重与偏置；L1为第一层网络的输出，价值Q为最终输出；
Qtarget和Qpred的具体形式为：
Qpred＝Q(st+1，at+1)
其中，st+1，at+1，rt+1分别为下一时刻的状态、动作和奖励。
进一步，获得全部Qpred之后，选择最大的Qpred对应的动作a，即当前的雷诺应力预测值τpred，以及获得的奖励r，奖励r定义为：
其中，τDNS为已知的高精度、高分辨率DNS数据的雷诺应力；τpred为当前的雷诺应力预测值。
至此，强化学习湍流模型RLTM的一轮训练结束。
(4)更新雷诺应力预测神经网络参数：
对于雷诺应力预测神经网络，可以使用Qtarget和Qpred计算损失，并通过反向传播运算更新网络参数。具体来说，雷诺应力预测神经网络的反向传播和更新参数的目标函数定义为minimize：(τDNS-τpred 2)，通过τDNS来修正训练网络模型，通过RMSProp优化器更新权重w与偏置b。其中，在每轮计算过程中，对网络参数和将学习经历(s，τpred，Q′t，r，s′)进行记录并存储至记忆库当中。
2、强化学习湍流模型RLTM与RANS方程的耦合计算
(1)基于ANS方程计算初始流场：
针对具体求解的湍流问题，利用预先给定的初始雷诺应力τ0，如全零分布，对RANS方程的雷诺应力项进行封闭，求解出初始流场u，v，w，p。
在笛卡尔坐标系下，不可压缩的RANS方程如下：
其中，第一式为连续方程，体现流体的不可压缩性；第二式为动量方程，本质为牛顿第二定律，体现流体微团的受力情况。u和p分别为流体速度与压强，ρ为密度；
表示雷诺平均的物理量；下标i和j表示x、y、z不同方向上的物理量分量；上标′表示去除平均值后的脉动量，体现湍流的高脉动性；σij为应力张量，由平均速度分量
对x、y、z的空间偏导数组成，体现流体的受压(或受拉)和剪切情况；
是由于雷诺平均操作而额外出现的雷诺应力张量，即上述τ，需要进行封闭。
(2)使用强化学习湍流模型RLTM预测雷诺应力：
在通过求解RANS方程获得初始流场数据后，将其作为状态s输入到强化学习湍流模型RLTM当中，通过交互使用与训练模型时同样结构的雷诺应力预测神经网络和目标神经网络，计算获得预测雷诺应力τpred。
具体来说，该过程的主要步骤与强化学习湍流模型的训练环节类似，但由于针对具体湍流问题的计算中没有预先获知高精度、高分辨率的τDNS数据，因此，雷诺应力预测神经网络的反向传播与参数更新的目标函数需要更改为minimize：(r-rpred 2)。其中，r为每一步预测τpred获得的实际奖励，而rpred为通过额外补充的2层奖励反馈估计神经网络(reward_net)计算获得的预测奖励，其中第一层使用relu作为激励函数，其网络的具体形式如下：
L1＝relu(w2*τpred+b2)
rpred＝w1*L1+b1
特别指出的是，模型训练环节存储的网络结构参数会作为初始值赋予预测神经网络，以提高初始网络的性能，并借助DQN算法中特有的经验重播和阶段性固定目标神经网络的参数。每次DQN算法更新时，都可以从记忆库中随机抽取一些训练阶段的经历(s，τpred，Q′t，r，s′)进行学习，例如在使用目标神经网络计算Qtarget的过程中，
中使用到的Q′就是从记忆库中抽取出的参数，这种随机抽取的方法可以有效打破时间方向上发展的湍流物理量之间的相关性，能够有效保证神经网络的效率。同时，在计算过程当中，目标神经网络的结构参数在一段时间内保持不变，再由随时具备最新参数的雷诺应力预测神经网络进行更新，以有效打破两个网络之间的相关性。
(3)RANS方程计算流场更新：
基于上述预测雷诺应力τpred对RANS方程的雷诺应力项进行封闭，求解获得更新后的流场信息u，v，w，p，并作为下一步的状态s1，使用强化学习湍流模型预测下一步的预测雷诺应力，以此循环下去，实现湍流场的更新。
可见，本申请实施例所提供的湍流场更新方法，基于强化学习具备的通用化、无标签、序列化决策、闭环更新的能力，利用强化学习技术实现了湍流模型的构建，并将RANS方程求解器与强化学习湍流模型进行耦合，依靠当前湍流场数据进行训练，获得泛化能力更强的模型，从而实现了湍流场更新，可见，基于强化学习技术的模型构建，有效降低了目标高雷诺数湍流与低雷诺数训练数据差异的影响，提高了模型的泛化能力；通过交替求解RANS方程计算湍流场和使用强化学习湍流模型预测雷诺应力，有效降低了高雷诺数湍流场的计算难度，实现了高精度快速求解，从而实现了更为准确的湍流场更新。
为解决上述技术问题，本申请还提供了一种湍流场更新装置，请参考图3，图3为本申请所提供的一种湍流场更新装置的结构示意图，包括：
样本获取模块1，用于获取样本湍流数据；
模型训练模块2，用于利用样本湍流数据进行模型训练，获得强化学习湍流模型；
初始数据计算模块3，用于通过RANS方程计算获得湍流场的初始湍流数据；
初始数据处理模块4，用于通过强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力；
湍流场更新模块5，用于通过RANS方程对预测雷诺应力进行计算，获得更新湍流数据。
可见，本申请实施例所提供的湍流场更新装置，基于强化学习具备的通用化、无标签、序列化决策、闭环更新的能力，利用强化学习技术实现了湍流模型的构建，并将RANS方程求解器与强化学习湍流模型进行耦合，依靠当前湍流场数据进行训练，获得泛化能力更强的模型，从而实现了湍流场更新，可见，基于强化学习技术的模型构建，有效降低了目标高雷诺数湍流与低雷诺数训练数据差异的影响，提高了模型的泛化能力；通过交替求解RANS方程计算湍流场和使用强化学习湍流模型预测雷诺应力，有效降低了高雷诺数湍流场的计算难度，实现了高精度快速求解，从而实现了更为准确的湍流场更新。
作为一种优选实施例，该湍流场更新装置还可以包括数据预处理模块，用于对样本湍流数据进行预处理，获得标准样本湍流数据。
作为一种优选实施例，上述数据预处理模块可以包括：
归一化单元，用于对样本湍流数据进行归一化处理，获得归一化样本湍流数据；
数据抽取单元，用于对归一化样本湍流数据进行等间隔抽取处理，获得标准样本湍流数据。
作为一种优选实施例，上述模型训练模块2可以包括：
特征提取单元，用于对样本湍流数据进行特征提取，获得样本湍流特征；
模型训练单元，用于利用样本湍流特征进行模型训练，获得强化学习湍流模型。
作为一种优选实施例，上述模型训练单元可具体用于建立DQN神经网络；将预设目标函数作为迭代条件，利用样本湍流特征对DQN神经网络进行迭代训练，获得强化学习湍流模型。
作为一种优选实施例，初始数据计算模块3可具体用于获取湍流场的初始雷诺应力；利用初始雷诺应力对RANS方程的雷诺应力项进行封闭，计算获得初始湍流数据。
作为一种优选实施例，上述湍流场更新模块5可具体用于获取强化学习湍流模型训练过程中的学习经历和网络参数；利用学习经历和网络参数对强化学习湍流模型进行优化，获得优化强化学习湍流模型；通过优化强化学习湍流模型对初始湍流数据进行处理，获得预测雷诺应力。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述技术问题，本申请还提供了一种服务器管理系统，请参考图4，图4为本申请所提供的一种湍流场更新设备的结构示意图，该湍流场更新设备可包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时可实现如上述任意一种湍流场更新方法的步骤。
对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种湍流场更新方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。
Claims (10)
1.一种湍流场更新方法，其特征在于，包括：
获取样本湍流数据；
利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；
通过RANS方程计算获得湍流场的初始湍流数据；
通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；
通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据。
2.根据权利要求1所述的湍流场更新方法，其特征在于，所述利用所述样本湍流数据进行模型训练，获得强化学习湍流模型之前，还包括：
对所述样本湍流数据进行预处理，获得标准样本湍流数据。
3.根据权利要求2所述的湍流场更新方法，其特征在于，所述对所述样本湍流数据进行预处理，获得标准样本湍流数据，包括：
对所述样本湍流数据进行归一化处理，获得归一化样本湍流数据；
对所述归一化样本湍流数据进行等间隔抽取处理，获得所述标准样本湍流数据。
4.根据权利要求1所述的湍流场更新方法，其特征在于，所述利用所述样本湍流数据进行模型训练，获得强化学习湍流模型，包括：
对所述样本湍流数据进行特征提取，获得样本湍流特征；
利用所述样本湍流特征进行模型训练，获得所述强化学习湍流模型。
5.根据权利要求4所述的湍流场更新方法，其特征在于，所述利用所述样本湍流特征进行模型训练，获得所述强化学习湍流模型，包括：
建立DQN神经网络；
将预设目标函数作为迭代条件，利用所述样本湍流特征对所述DQN神经网络进行迭代训练，获得所述强化学习湍流模型。
6.根据权利要求1所述的湍流场更新方法，其特征在于，所述通过RANS方程计算获得湍流场的初始湍流数据，包括：
获取所述湍流场的初始雷诺应力；
利用所述初始雷诺应力对所述RANS方程的雷诺应力项进行封闭，计算获得所述初始湍流数据。
7.根据权利要求1所述的湍流场更新方法，其特征在于，所述通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力，包括：
获取所述强化学习湍流模型训练过程中的学习经历和网络参数；
利用所述学习经历和网络参数对所述强化学习湍流模型进行优化，获得优化强化学习湍流模型；
通过所述优化强化学习湍流模型对所述初始湍流数据进行处理，获得所述预测雷诺应力。
8.一种湍流场更新装置，其特征在于，包括：
样本获取模块，用于获取样本湍流数据；
模型训练模块，用于利用所述样本湍流数据进行模型训练，获得强化学习湍流模型；
初始数据计算模块，用于通过RANS方程计算获得湍流场的初始湍流数据；
初始数据处理模块，用于通过所述强化学习湍流模型对所述初始湍流数据进行处理，获得预测雷诺应力；
湍流场更新模块，用于通过所述RANS方程对所述预测雷诺应力进行计算，获得更新湍流数据。
9.一种湍流场更新设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的湍流场更新方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至7任一项所述的湍流场更新方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010110908.3A CN111324993B (zh) | 2020-02-21 | 2020-02-21 | 一种湍流场更新方法、装置及其相关设备 |
| PCT/CN2020/117025 WO2021164250A1 (zh) | 2020-02-21 | 2020-09-23 | 一种湍流场更新方法、装置及其相关设备 |
| US17/801,283 US11741373B2 (en) | 2020-02-21 | 2020-09-23 | Turbulence field update method and apparatus, and related device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010110908.3A CN111324993B (zh) | 2020-02-21 | 2020-02-21 | 一种湍流场更新方法、装置及其相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111324993A true CN111324993A (zh) | 2020-06-23 |
| CN111324993B CN111324993B (zh) | 2022-06-07 |
Family
ID=71172898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010110908.3A Active CN111324993B (zh) | 2020-02-21 | 2020-02-21 | 一种湍流场更新方法、装置及其相关设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11741373B2 (zh) |
| CN (1) | CN111324993B (zh) |
| WO (1) | WO2021164250A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021164250A1 (zh) * | 2020-02-21 | 2021-08-26 | 苏州浪潮智能科技有限公司 | 一种湍流场更新方法、装置及其相关设备 |
| CN113420507A (zh) * | 2021-07-08 | 2021-09-21 | 刘维烁 | 流体流动模拟方法、装置以及介质 |
| CN113536709A (zh) * | 2021-07-26 | 2021-10-22 | 厦门大学 | 一种基于湍流建模机器学习的湍流模型修正方法 |
| CN114282448A (zh) * | 2021-11-16 | 2022-04-05 | 北京百度网讯科技有限公司 | 流场信息获取方法、模型训练方法、装置及电子设备 |
| CN114417748A (zh) * | 2022-01-19 | 2022-04-29 | 中山大学 | 一种水上飞机的水气交混状态湍流场的模拟方法及装置 |
| CN116070123A (zh) * | 2023-04-07 | 2023-05-05 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种壁湍流冗余数据剔除方法、装置、设备及介质 |
| CN117574029A (zh) * | 2024-01-19 | 2024-02-20 | 中国空气动力研究与发展中心计算空气动力研究所 | 高分辨率雷诺应力与雷诺平均Navier-Stokes方程求解器的兼容方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116341397B (zh) * | 2023-05-30 | 2023-09-05 | 湖南光华防务科技集团有限公司 | 一种基于深度神经网络的灭火弹温度场模拟方法 |
| CN116361927B (zh) * | 2023-06-02 | 2023-08-29 | 浙江大学 | 面向高速飞行器复杂内流数值模拟的高精度湍流建模方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742050A (zh) * | 2017-11-14 | 2018-02-27 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种面向混合网格高精度阻力预测的熵修正方法 |
| CN108073547A (zh) * | 2017-12-06 | 2018-05-25 | 苏州大学 | 一种基于能量耗散的溶血经验预测方法及装置 |
| CN108985929A (zh) * | 2018-06-11 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 训练方法、业务数据分类处理方法及装置、电子设备 |
| US10255807B1 (en) * | 2017-09-28 | 2019-04-09 | Here Global B.V. | Method and apparatus for providing a map data update based on region-specific data turbulence |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777542A (zh) | 2016-11-23 | 2017-05-31 | 大连理工大学 | 弹性叶片螺旋桨流噪声预测方法 |
| US10187171B2 (en) * | 2017-03-07 | 2019-01-22 | The United States Of America, As Represented By The Secretary Of The Navy | Method for free space optical communication utilizing patterned light and convolutional neural networks |
| CN108717722A (zh) | 2018-04-10 | 2018-10-30 | 天津大学 | 基于深度学习和sph框架的流体动画生成方法及装置 |
| CN109165440B (zh) | 2018-08-22 | 2022-04-01 | 西北工业大学 | 一种轴流压气机全三维级间气动匹配优化方法 |
| CN110083977B (zh) * | 2019-05-14 | 2023-06-06 | 南京大学 | 一种基于深度学习的大气湍流监测方法 |
| CN111324993B (zh) | 2020-02-21 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 一种湍流场更新方法、装置及其相关设备 |
-
2020
- 2020-02-21 CN CN202010110908.3A patent/CN111324993B/zh active Active
- 2020-09-23 US US17/801,283 patent/US11741373B2/en active Active
- 2020-09-23 WO PCT/CN2020/117025 patent/WO2021164250A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10255807B1 (en) * | 2017-09-28 | 2019-04-09 | Here Global B.V. | Method and apparatus for providing a map data update based on region-specific data turbulence |
| CN107742050A (zh) * | 2017-11-14 | 2018-02-27 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种面向混合网格高精度阻力预测的熵修正方法 |
| CN108073547A (zh) * | 2017-12-06 | 2018-05-25 | 苏州大学 | 一种基于能量耗散的溶血经验预测方法及装置 |
| CN108985929A (zh) * | 2018-06-11 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 训练方法、业务数据分类处理方法及装置、电子设备 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021164250A1 (zh) * | 2020-02-21 | 2021-08-26 | 苏州浪潮智能科技有限公司 | 一种湍流场更新方法、装置及其相关设备 |
| US11741373B2 (en) | 2020-02-21 | 2023-08-29 | Inspur Suzhou Intelligent Technology Co., Ltd. | Turbulence field update method and apparatus, and related device thereof |
| CN113420507A (zh) * | 2021-07-08 | 2021-09-21 | 刘维烁 | 流体流动模拟方法、装置以及介质 |
| CN113420507B (zh) * | 2021-07-08 | 2023-11-21 | 刘维烁 | 流体流动模拟方法、装置以及介质 |
| CN113536709A (zh) * | 2021-07-26 | 2021-10-22 | 厦门大学 | 一种基于湍流建模机器学习的湍流模型修正方法 |
| CN114282448A (zh) * | 2021-11-16 | 2022-04-05 | 北京百度网讯科技有限公司 | 流场信息获取方法、模型训练方法、装置及电子设备 |
| CN114417748A (zh) * | 2022-01-19 | 2022-04-29 | 中山大学 | 一种水上飞机的水气交混状态湍流场的模拟方法及装置 |
| CN114417748B (zh) * | 2022-01-19 | 2022-09-23 | 中山大学 | 一种水上飞机的水气交混状态湍流场的模拟方法及装置 |
| CN116070123A (zh) * | 2023-04-07 | 2023-05-05 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种壁湍流冗余数据剔除方法、装置、设备及介质 |
| CN117574029A (zh) * | 2024-01-19 | 2024-02-20 | 中国空气动力研究与发展中心计算空气动力研究所 | 高分辨率雷诺应力与雷诺平均Navier-Stokes方程求解器的兼容方法 |
| CN117574029B (zh) * | 2024-01-19 | 2024-04-26 | 中国空气动力研究与发展中心计算空气动力研究所 | 高分辨率雷诺应力与雷诺平均Navier-Stokes方程求解器的兼容方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11741373B2 (en) | 2023-08-29 |
| WO2021164250A1 (zh) | 2021-08-26 |
| US20230102815A1 (en) | 2023-03-30 |
| CN111324993B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111324993B (zh) | 一种湍流场更新方法、装置及其相关设备 | |
| CN111130839B (zh) | 一种流量需求矩阵预测方法及其系统 | |
| WO2020224112A1 (zh) | 一种基于训练级数模型的时间序列预测方法 | |
| CN110427654B (zh) | 一种基于敏感状态的滑坡预测模型构建方法及系统 | |
| Erdogan et al. | Inverse propagation of uncertainties in finite element model updating through use of fuzzy arithmetic | |
| CN112598248B (zh) | 负荷预测方法、装置、计算机设备和存储介质 | |
| CN112187554B (zh) | 一种基于蒙特卡洛树搜索的运维系统故障定位方法和系统 | |
| CN113762595B (zh) | 通行时间预测模型训练方法、通行时间预测方法及设备 | |
| Sepasdar et al. | A data-driven approach to full-field nonlinear stress distribution and failure pattern prediction in composites using deep learning | |
| Bai et al. | A forecasting method of forest pests based on the rough set and PSO-BP neural network | |
| CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
| CN116861694A (zh) | 一种基于人工智能的电缆温度预测方法 | |
| CN114048544B (zh) | 飞行器结构响应特性预示方法、装置、设备和介质 | |
| Seghier et al. | Random forest-based algorithms for accurate evaluation of ultimate bending capacity of steel tubes | |
| CN114154622A (zh) | 交通运行体系流量数据采集缺失补全的算法模型 | |
| Shi et al. | Network reliability analysis through survival signature and machine learning techniques | |
| CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
| CN108228959A (zh) | 利用删失数据估计系统实际状态的方法及应用其的滤波器 | |
| CN117131979A (zh) | 基于有向超图及注意力机制的交通流速度预测方法及系统 | |
| CN116011071A (zh) | 基于主动学习的空中造楼机结构可靠性分析方法及系统 | |
| CN112988527A (zh) | Gpu管理平台异常检测方法、装置以及存储介质 | |
| CN116364203A (zh) | 一种基于深度学习的水质预测方法、系统和装置 | |
| CN115965160A (zh) | 一种数据中心能耗预测方法、装置、存储介质及电子设备 | |
| CN116386312A (zh) | 一种交通量预测模型的构建方法和系统 | |
| JP4461245B2 (ja) | 株価変動数値解析装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |