CN112434725B - 一种部署到html5的模型压缩方法 - Google Patents
一种部署到html5的模型压缩方法 Download PDFInfo
- Publication number
- CN112434725B CN112434725B CN202011191931.6A CN202011191931A CN112434725B CN 112434725 B CN112434725 B CN 112434725B CN 202011191931 A CN202011191931 A CN 202011191931A CN 112434725 B CN112434725 B CN 112434725B
- Authority
- CN
- China
- Prior art keywords
- model
- compression
- accuracy
- auxiliary
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种部署到HTML5的模型压缩方法,包括:步骤1:获得原始的未经压缩的模型;步骤2:确认运算单元的重要性和剩余网络在验证集上的准确率;步骤3:构建主要压缩模型及对应的模型参数,构建辅助压缩模型及对应的模型参数;步骤4:计算出验证子集的预测概率、其余验证子集的预测概率和验证集总准确率;步骤5:判断是否满足停止压缩的条件,并确定最终输出的压缩模型;步骤6:将压缩模型部署到HTML5上,并判断是否使用辅助压缩模型。本发明缩小了网络结构,降低计算资源,使得总体在模型规模、预算时间、权重存储等方面均有压缩,并保证了可接受的准确率;通过辅助模型,弥补单个压缩模型的不足,参考辅助模型的结果,来提升整体预测能力。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种部署到 HTML5 的模型压缩方法。
背景技术
在 HTML5 的使用场景中,为了响应快、降低耗费资源、提高用户使用体验感和页面的顺畅度,需要用到模型压缩的方法,在压缩模型结构降低计算的同时,还要保证一定的模型预测能力,避免过多地牺牲模型效果。而深层次的模型中,大量模型权重中,含有一部分对预测贡献力弱的权重值,适当的剔除一些,一定程度上降低了模型的复杂度和网络结构,减少了权重数量,并保留了重要的权重值,还具备接近未压缩前的模型的预测能力,使得压缩模型可以在广泛的场景中应用。
在风险控制场景中,由于风险事件的出现量,比起正常事件,一般会低得多;模型的预测情况,也呈现极端化,比如预测有风险(1)和无风险(0)两类,会有绝大多数比例的实例是无风险的、少量有风险的实例;预测时,还有一部分实例呈现出不确定性高的情况(预测概率值在 0.5 左右)。压缩模型的过程中,不确定性高的(趋近于 0.5)的那些样本实例,预测精度也会受到影响。
发明内容
本发明提供了一种部署到 HTML5 的模型压缩方法,在压缩的过程中,降低不确定性高的那些样本实例造成预测精度受到的影响。同时,此类压缩模型的方法同时适用于多分类模型中。
本发明一种部署到 HTML5 的模型压缩方法,包括:
A.使用常规模型训练方法,在训练集上训练模型,验证集 Val 上评估模型,达到预定的评估效果后,获得原始的未经压缩的模型 M_A 和模型 M_A 对应的网络权重 W_A;
B.从模型的输入到输出的处理过程,逐层检验模型每层运算单元去除后的预测能力, 确认运算单元的重要性,给出运算单元去除后,剩余网络在验证集上的准确率 Acc_A;
C.设定一个初始准确率阈值,并根据这个初始准确率阈值、步骤 B 中的准确率Acc_A,构建辅助压缩模型 M_C来提升准确率;辅助压缩模型 M_C 在第一次使用模型时未构建,辅助压缩模型M_C 的提升准确率此时为 0;构建主要压缩模型 M_B 及对应的模型参数 W_B,将重要性低的运算单元构成新的通路网络,并通过新的通路网络构建辅助压缩模型 M_C 及对应的模型参数 W_C,主要压缩模型 M_B 和辅助压缩模型 M_C 为初始压缩模型;辅助压缩模型 M_C 的提升准确率为使用模型 M_C 后带来的准确率提升值,即:辅助压缩模型 M_C 的提升准确率 =主要压缩模型 M_B、辅助压缩模型 M_C一起使用的准确率−主要压缩模型 M_B的准确率;
D.在验证集 Val 上评估主要压缩模型 M_B,输入分类任务并预测分类任务的概率,形成验证子集和其余验证子集并计算出验证子集的预测概率、其余验证子集的预测概率,最终获取验证集 Val 总准确率;
E.若步骤 D 中的验证集 Val 总准确率<步骤 B 中的初始准确率阈值,则停止压缩,并使用上一版本的主要压缩模型 M_B 和辅助压缩模型 M_C;若步骤 D 中的最后准确率≥步骤B 中的初始准确率阈值,则重复步骤 C 和步骤 D,直至满足停止压缩的条件成立;
F.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在HTML5 上,使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率,根据分类任务的概率选择是否加入辅助压缩模型 M_C。
主要压缩模型 M_B 和辅助压缩模型 M_C 因为相对于 M_A 经过压缩,且网络结构比M_A 小,计算资源会远小于模型 M_A,使得总体在模型规模、预算时间、权重存储等方面均有压缩,并保证了可接受的准确率;使用压缩后的模型,利用被删除的运算单元作为辅助模型、辅助提升比较难分类的情况。
进一步的,步骤 D 包括:
D1.在验证集 Val 上评估主要压缩模型 M_B,获得主要压缩模型 M_B 的权重和辅助压缩
模型 M_C 的权重;
D2.根据分类任务创建具体的分类,且主要压缩模型 M_B 预测具体分类的概率、辅助压缩模型 M_C 预测具体分类的概率;
D3.形成验证子集和其余验证子集,利用主要压缩模型 M_B 的权重和 M_B 预测具体分类的概率计算在验证子集上的预测概率,利用主要压缩模型 M_C 的权重和 M_C 预测具体分类的概率计算在其余验证子集上的预测概率;
D4.通过步骤D3 获得的验证子集预测概率和其余验证子集预测概率获取验证集Val 总准确率。
进一步的,步骤 F 包括:
F1.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在
HTML5 上;
F2.使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率;
F3.若步骤 F2 预测的分类任务的概率>指定分类的阈值,则只使用主要压缩模型M_B 并将主要压缩模型 M_B 的预测结果作为最终输出结果;否则,则加入辅助压缩模型M_C,使用主要压缩模型 M_B 和辅助压缩模型 M_C 对具体分类进行预测,并将预测结果作为最终输出结果。
通过辅助模型,弥补单个压缩模型的不足,在单个模型预测到某个分类时,概率值不够高时(不确定性较大),参考辅助模型的结果,来提升整体预测能力。
本发明一种部署到 HTML5 的模型压缩方法,通过在模型 M_A 的基础上压缩得到主要压缩模型 M_B 和辅助压缩模型 M_C,缩小了网络结构,降低计算资源,使得总体在模型规模、预算时间、权重存储等方面均有压缩,并保证了可接受的准确率,利用被删除的运算单元构成辅助模型,通过辅助模型,弥补单个压缩模型的不足,在单个模型预测到某个分类时, 概率值不够高时(不确定性较大),参考辅助模型的结果,来提升整体预测能力。
附图说明
图 1 为本发明一种部署到 HTML5 的模型压缩方法的流程图。
图 2 为本发明一种部署到 HTML5 的模型压缩方法使用辅助压缩模型 M_C 的效果图。
具体实施方式
以下结合实施例的具体实施方式,对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下, 根据本领域普通技术知识和惯用手段做出的各种替换或变更,均应包括在本发明的范围内。
如图 1 所示本发明的一种部署到 HTML5 的模型压缩方法,包括:
A.使用常规模型训练方法,在训练集上训练模型,验证集 Val 上评估模型,达到预定的评估效果后,获得原始的未经压缩的模型 M_A 和模型 M_A 对应的网络权重 W_A;
B.从模型的输入到输出的处理过程,逐层检验模型每层运算单元去除后的预测能力, 确认运算单元的重要性,给出运算单元去除后,剩余网络在验证集上的准确率 Acc_A;单元的重要性,给出运算单元去除后,剩余网络在验证集上的准确率 Acc_A;
C.设定一个初始准确率阈值,并根据这个初始准确率阈值、步骤 B 中的准确率Acc_A,构建辅助压缩模型 M_C来提升准确率;辅助压缩模型 M_C 在第一次使用模型时未构建,辅助压缩模型M_C 的提升准确率此时为 0;构建主要压缩模型 M_B 及对应的模型参数 W_B,将重要性低的运算单元构成新的通路网络,并通过新的通路网络构建辅助压缩模型 M_C 及对应的模型参数 W_C,主要压缩模型 M_B 和辅助压缩模型 M_C 为初始压缩模型;辅助压缩模型 M_C 的提升准确率为使用模型 M_C 后带来的准确率提升值,即:辅助压缩模型 M_C 的提升准确率 =主要压缩模型 M_B、辅助压缩模型 M_C一起使用的准确率−主要压缩模型 M_B的准确率;
D.在验证集 Val 上评估主要压缩模型 M_B,输入分类任务并预测分类任务的概率,形成验证子集和其余验证子集并计算出验证子集的预测概率、其余验证子集的预测概率,最终获取验证集 Val 总准确率;
步骤 D 包括:
D1.在验证集 Val 上评估主要压缩模型 M_B,获得主要压缩模型 M_B 的权重和辅助压缩模型 M_C 的权重;
D2.根据分类任务创建具体的分类,且主要压缩模型 M_B 预测具体分类的概率、辅助压缩模型 M_C 预测具体分类的概率;
D3.形成验证子集和其余验证子集,利用主要压缩模型 M_B 的权重和 M_B 预测具体分类的概率计算在验证子集上的预测概率,利用主要压缩模型 M_C 的权重和 M_C 预测具体分类的概率计算在其余验证子集上的预测概率;
D4.通过步骤D3 获得的验证子集预测概率和其余验证子集预测概率获取验证集Val 总准确率。
E.若步骤 D 中的验证集 Val 总准确率<步骤 B 中的初始准确率阈值,则停止压缩,并使用上一版本的主要压缩模型 M_B 和辅助压缩模型 M_C;若步骤 D 中的最后准确率≥步骤B 中的初始准确率阈值,则重复步骤 C 和步骤 D,直至满足停止压缩的条件成立;
F.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在HTML5上,使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率,根据分类任务的概率选择是否加入辅助压缩模型 M_C。
步骤 F 包括:
F1.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在HTML5 上;
F2.使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率;
F3.若步骤 F2 预测的分类任务的概率>指定分类的阈值,则只使用主要压缩模型M_B 并将主要压缩模型 M_B 的预测结果作为最终输出结果;否则,则加入辅助压缩模型M_C,使用主要压缩模型 M_B 和辅助压缩模型 M_C 对具体分类进行预测,并将预测结果作为最终输出结果。
如图 2 所示本发明一种部署到 HTML5 的模型压缩方法使用辅助压缩模型 M_C的效果如下,只使用主要压缩模型 M_B 时预测准确率为 50%,主要压缩模型 M_B 结合辅助压缩模型 M_C 后预测准确率为 66%,当加入辅助压缩模型后,提升主要压缩模型的预测概率并纠正主要压缩模型可能出现的预测错误,参考辅助压缩模型的结果,来提升整体预测能力。
本发明一种部署到 HTML5 的模型压缩方法,当一部分实例呈现出不确定性高的情况(预测概率值在 0.5 左右)时,结合辅助压缩模型 M_C,弥补单个压缩模型的不足,参考辅助模型的结果,来提升整体预测能力,同时辅助压缩模型的构建利用被删除的运算单元,保留了未压缩模型的某方面特征;主要压缩模型 M_B 和辅助压缩模型 M_C 因为相对于 M_A 经过压缩,且网络结构比 M_A 小,计算资源会远小于模型 M_A,使得总体在模型规模、预算时间、权重存储等方面均有压缩,并保证了可接受的准确率。
Claims (3)
1.一种部署到 HTML5 的模型压缩方法,其特征在于,包括:
A.使用常规模型训练方法,在训练集上训练模型,验证集 Val 上评估模型,达到预定的评估效果后,获得原始的未经压缩的模型 M_A 和模型 M_A 对应的网络权重W_A;
B.从模型的输入到输出的处理过程,逐层检验模型每层运算单元去除后的预测能力,确认运算单元的重要性,给出运算单元去除后,剩余网络在验证集上的准确率 Acc_A;
C.设定一个初始准确率阈值,并根据这个初始准确率阈值、步骤 B 中的准确率 Acc_A,构建辅助压缩模型 M_C来提升准确率;辅助压缩模型 M_C 在第一次使用模型时未构建,辅助压缩模型M_C 的提升准确率此时为 0;构建主要压缩模型 M_B 及对应的模型参数 W_B,将重要性低的运算单元构成新的通路网络,并通过新的通路网络构建辅助压缩模型 M_C及对应的模型参数 W_C,主要压缩模型 M_B 和辅助压缩模型 M_C 为初始压缩模型;辅助压缩模型 M_C 的提升准确率为使用模型 M_C 后带来的准确率提升值,即:辅助压缩模型M_C 的提升准确率 =主要压缩模型 M_B、辅助压缩模型 M_C一起使用的准确率−主要压缩模型 M_B的准确率;
D.在验证集 Val 上评估主要压缩模型 M_B,输入分类任务并预测分类任务的概率,形成验证子集和其余验证子集并计算出验证子集的预测概率、其余验证子集的预测概率,最终获取验证集 Val 总准确率;
E.若步骤 D 中的验证集 Val 总准确率<步骤 B 中的初始准确率阈值,则停止压缩,并使用上一版本的主要压缩模型 M_B 和辅助压缩模型 M_C;若步骤 D 中的最后准确率≥步骤B 中的初始准确率阈值,则重复步骤 C 和步骤 D,直至满足停止压缩的条件成立;
F.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在HTML5 上,使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率,根据分类任务的概率选择是否加入辅助压缩模型 M_C。
2.如权利要求 1 所述的一种部署到 HTML5 的模型压缩方法,其特征在于,步骤 D 包括:
D1.在验证集 Val 上评估主要压缩模型 M_B,获得主要压缩模型 M_B 的权重和辅助压缩
模型 M_C 的权重;
D2.根据分类任务创建具体的分类,且主要压缩模型 M_B 预测具体分类的概率、辅助压缩模型 M_C 预测具体分类的概率;
D3.形成验证子集和其余验证子集,利用主要压缩模型 M_B 的权重和 M_B 预测具体分类的概率计算在验证子集上的预测概率,利用主要压缩模型 M_C 的权重和 M_C 预测具体分类的概率计算在其余验证子集上的预测概率;
D4.通过步骤D3 获得的验证子集预测概率和其余验证子集预测概率获取验证集 Val总准确率。
3.如权利要求 1 所述的一种部署到 HTML5 的模型压缩方法,其特征在于,步骤 F 包
括:
F1.将步骤 E 中的两个压缩模型通过 TensorFlow.js 转换为 HTML5 可用的模型,部署在
HTML5 上;
F2.使用压缩模型时,优先使用主要压缩模型 M_B 并预测分类任务的概率;
F3.若步骤 F2 预测的分类任务的概率>指定分类的阈值,则只使用主要压缩模型 M_B并将主要压缩模型 M_B 的预测结果作为最终输出结果;否则,则加入辅助压缩模型 M_C,使用主要压缩模型 M_B 和辅助压缩模型 M_C 对具体分类进行预测,并将预测结果作为最终输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011191931.6A CN112434725B (zh) | 2020-10-30 | 2020-10-30 | 一种部署到html5的模型压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011191931.6A CN112434725B (zh) | 2020-10-30 | 2020-10-30 | 一种部署到html5的模型压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112434725A CN112434725A (zh) | 2021-03-02 |
CN112434725B true CN112434725B (zh) | 2023-06-09 |
Family
ID=74694859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011191931.6A Active CN112434725B (zh) | 2020-10-30 | 2020-10-30 | 一种部署到html5的模型压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112434725B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110050282A (zh) * | 2016-11-04 | 2019-07-23 | 谷歌有限责任公司 | 卷积神经网络压缩 |
CN110490323A (zh) * | 2019-08-20 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 网络模型压缩方法、装置、存储介质和计算机设备 |
CN111126627A (zh) * | 2019-12-25 | 2020-05-08 | 四川新网银行股份有限公司 | 基于分离度指数的模型训练系统 |
WO2020131968A1 (en) * | 2018-12-18 | 2020-06-25 | Movidius Ltd. | Neural network compression |
CN111753895A (zh) * | 2020-06-12 | 2020-10-09 | 北京小米松果电子有限公司 | 数据处理方法、装置及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568260B2 (en) * | 2018-10-29 | 2023-01-31 | Google Llc | Exponential modeling with deep learning features |
KR20200052444A (ko) * | 2018-10-30 | 2020-05-15 | 삼성전자주식회사 | 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들 |
-
2020
- 2020-10-30 CN CN202011191931.6A patent/CN112434725B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110050282A (zh) * | 2016-11-04 | 2019-07-23 | 谷歌有限责任公司 | 卷积神经网络压缩 |
WO2020131968A1 (en) * | 2018-12-18 | 2020-06-25 | Movidius Ltd. | Neural network compression |
CN110490323A (zh) * | 2019-08-20 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 网络模型压缩方法、装置、存储介质和计算机设备 |
CN111126627A (zh) * | 2019-12-25 | 2020-05-08 | 四川新网银行股份有限公司 | 基于分离度指数的模型训练系统 |
CN111753895A (zh) * | 2020-06-12 | 2020-10-09 | 北京小米松果电子有限公司 | 数据处理方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
Model Compression and Hardware Acceleration for Neural Networks: A Comprehensive Survey;Lei Deng等;《 Proceedings of the IEEE 》;第108卷(第4期);第485-532页 * |
PhishZip: A New Compression-based Algorithm for Detecting Phishing Websites;R. Purwanto等;《2020 IEEE Conference on Communications and Network Security (CNS)》;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112434725A (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
CN106940679A (zh) | 数据处理方法及装置 | |
CN112465043B (zh) | 模型训练方法、装置和设备 | |
CN112631240A (zh) | 航天器故障主动检测方法及装置 | |
CN111950660A (zh) | 一种人工智能训练平台的告警预测方法及装置 | |
CN109634790B (zh) | 一种基于循环神经网络的磁盘故障预测方法 | |
CN115145817A (zh) | 一种软件测试方法、装置、设备及可读存储介质 | |
CN108804743A (zh) | 一种核事故源项反演方法 | |
CN112434725B (zh) | 一种部署到html5的模型压缩方法 | |
CN114168429A (zh) | 报错分析方法、装置、计算机设备及存储介质 | |
CN110704614B (zh) | 对应用中的用户群类型进行预测的信息处理方法及装置 | |
CN115016950B (zh) | 一种基于多线程模型的数据分析方法及系统 | |
WO2024027071A1 (zh) | 一种数据监控方法及系统 | |
CN114490094B (zh) | 一种基于机器学习的gpu显存分配方法及系统 | |
CN116384240A (zh) | 一种服务器能耗预测方法、装置及存储介质 | |
CN115190027A (zh) | 一种基于网络数字孪生体的自然故障生存性评估方法 | |
CN113821419A (zh) | 一种基于svr和高斯函数的云服务器老化预测方法 | |
CN112783747A (zh) | 一种应用程序的执行时间预测方法及装置 | |
CN111274109B (zh) | 一种基于请求处理模拟的系统软硬件拓扑的评估方法及系统 | |
Tarvo | Using statistical models to predict software regressions | |
WO2023242927A1 (ja) | データ管理装置、データ管理方法、及びプログラム | |
CN116776926B (zh) | 一种对话模型的优化部署方法、装置、设备及介质 | |
CN114996010B (zh) | 面向移动边缘环境下的智能服务保障方法 | |
WO2023203687A1 (en) | Accuracy predicting system, accuracy predicting method, apparatus, and non-transitory computer-readable storage medium | |
CN114298273A (zh) | 一种深度学习模型自动训练的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |