CN111488459B - 一种基于关键词的产品分类方法 - Google Patents

一种基于关键词的产品分类方法 Download PDF

Info

Publication number
CN111488459B
CN111488459B CN202010295098.3A CN202010295098A CN111488459B CN 111488459 B CN111488459 B CN 111488459B CN 202010295098 A CN202010295098 A CN 202010295098A CN 111488459 B CN111488459 B CN 111488459B
Authority
CN
China
Prior art keywords
product
language model
training
keyword
bert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010295098.3A
Other languages
English (en)
Other versions
CN111488459A (zh
Inventor
张灿
房鹏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focus Technology Co Ltd
Original Assignee
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focus Technology Co Ltd filed Critical Focus Technology Co Ltd
Priority to CN202010295098.3A priority Critical patent/CN111488459B/zh
Publication of CN111488459A publication Critical patent/CN111488459A/zh
Application granted granted Critical
Publication of CN111488459B publication Critical patent/CN111488459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3346Query execution using probabilistic model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于关键词的产品分类方法,包括如下步骤:步骤一:准备训练集,从训练集中提取产品数据,标注产品数据的目录码,形成样本;步骤二:产品数据的预处理,所述预处理包括噪声样本过滤、词形变换、平衡样本;步骤三:采用预训练语言模型Bert搭建产品分类模型;步骤四:加载并微调预训练语言模型Bert;步骤五:基于语言模型Bert,预测产品的目录码。通过有监督的深度学习,能够克服关键词检索匹配技术的局限,智能解决具有相同关键词但所属不同类别、同一类别内有不同关键词的产品分类、细粒度产品目录分类较难等难题,达到同时采用多种数据预处理方案克服深度学习中样本不平衡、同义异形、标签错误等噪声干扰的效果。

Description

一种基于关键词的产品分类方法
技术领域
本发明涉及深度学习和自然语言处理领域,特别是涉及一种基于关键词的产品分类方法。
背景技术
很多场景都需要将某种产品分类到已有产品目录体系,例如新产品上架,清洗已有产品分类不规范问题,检索同类产品等。当未知类别的产品数量过多时,人工分类已不能满足大规模分类的需求。传统的搜索引擎检索技术只适用于检索一批包含相同关键词的产品,这批产品很可能具有不一样的类别分布,因此不适用于产品分类。
BERT模型的全称是Bidirectional Encoder Representation fromTransformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的,模型在pre-train方法上,用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
发明内容
本发明所要解决的技术问题是克服现有技术的不足,提供一种基于关键词的产品分类方法。
为解决上述技术问题,本发明提供一种基于关键词的产品分类方法,其特征在于,包括如下步骤:
步骤一:准备训练集,从训练集中提取产品数据,标注产品数据的目录码,形成样本;
步骤二:产品数据的预处理,所述预处理包括噪声样本过滤、词形变换、平衡样本;
步骤三:采用预训练语言模型Bert搭建产品分类模型,定义预训练语言模型Bert的模型结构和损失函数;
步骤四:加载预训练语言模型Bert,微调预训练语言模型Bert;
步骤五:基于训练后的语言模型Bert,输入产品的关键词,预测产品的目录码。
所述步骤一中,所述训练集为已有产品的目录体系,所述产品数据为产品名称和关键词,所述目录码为细粒度目录码,所述标注产品数据的目录码的过程是将产品名称、产品关键词和目录码处理成文本标签对的形式。
所述步骤二中,所述噪声样本过滤是指:计算文本标签对中产品名称和产品关键词的交集,将所述交集作为代理关键词,统计代理关键词所在目录的分布频次,对于每个代理关键词,若分布的目录数量在5个以上,则删除频次低于10的目录中的相应文本标签对;
所述词形变换是指:将文本标签对中的产品名称变换成具有不同词形的文本,所述变换的方法包括词形还原、词形扩充、符号转换;
所述平衡采样是指:对于经过噪声样本过滤和词形变换后的数据集,统计每个目录码拥有的样本数量并计算均值,对低于均值的目录码的样本,以上采样或重复采样至达到均值,对于高于均值的目录码的样本,以下采样至达到样本平衡。
所述步骤二中,若文本标签对中产品名称和产品关键词的交集为空,则选择产品关键词作代理关键词;所述词形还原具体指,利用词形还原工具将复数、形容词、副词转换为原形词,对这些转换词进行记录;所述词形扩充具体指,反向将训练集中的原形词扩充成复数、形容词或副词;所述符号转换具体指,将“-”,“_”删除或转换成空格;所述上采样的方法包括:对原样本随机选择若干位置插入词,用以形成新样本,所述下采样的方法包括:以指定概率P随机删除该样本,其中P=(source-target)÷source,source代表未采样样本的总数量,target代表目标样本综述。
所述步骤三中,所述预训练语言模型Bert的网络结构依次为:输入层、嵌入层、transformer结构、全连接层,定义损失函数为交叉熵损失函数。
所述步骤三中,预训练语言模型Bert中,将接收的产品数据输入进嵌入层,得到Token embeddings、Segment embeddings和Position embeddings,将这三个嵌入向量进行拼接,基于transformer结构的encoder block学习语义信息,全连接层通过公式
output=transformer_vector(b,w)*weight(w,c)+baisc
Figure BDA0002451889670000021
将transformer输出向量转化为预测概率,即预测该产品属于每个类别的概率,其中b代表batch size,w代表权重,c代表产品种类数;
损失函数的使用为,计算真实标签的one-hot向量与模型预测值softmax概率的损失,训练至损失函数收敛,所述交叉熵损失函数为
Figure BDA0002451889670000022
其中p(xi)是真实概率分布,q(xi)是预测概率分布。
所述步骤四中,加载预训练语言模型Bert的参数,全连接层中的weight(w,c)和baisc是自定义参数,以0.02为标准差,采用截断正态分布对自定义参数进行随机初始化,输入训练集,微调预训练语言模型Bert,预训练语言模型Bert中输入的文本对为三种形式:形式一:预训练语言模型Bert中输入的文本对为“产品名称+目录码”文本对;形式二:预训练语言模型Bert中输入的文本对为“产品关键词+目录码”文本对;形式三:预训练语言模型Bert中输入的文本对为“产品名称+[SEP]+产品关键词+目录码”文本对;所述[SEP]是bert中定义的特殊分隔符,代表将两段文本进行拼接和区分,对比输入所述三种形式的文本对的预训练语言模型Bert,根据对比结果选择测试集分类准确率最高的预训练语言模型Bert。
所述步骤五中,基于步骤四训练得到的预训练语言模型Bert,输入一个产品的关键词,返回预测结果中分类概率最高的三个目录码。
本发明所达到的有益效果:针对产品分类问题进行了方案设计,利用预训练语言模型Bert训练基于关键词的产品分类模型,通过该模型,输入产品完整名称或者关键词即可预测产品所属目录。通过有监督的深度学习,能够克服关键词检索匹配技术的局限,智能解决具有相同关键词但所属不同类别、同一类别内有不同关键词的产品分类、细粒度产品目录分类较难等难题,同时采用多种数据预处理方案克服深度学习中样本不平衡、同义异形、标签错误等噪声干扰。
附图说明
图1为本发明的示例性实施例的方法流程简图;
图2为本发明的示例性实施例中的噪声样本示意图;
图3为本发明的示例性实施例中的词形变换示意图;
图4为本发明的示例性实施例中的产品分类模型结构示意图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步的说明:
如图1所示,本发明公开一种基于关键词的产品分类方法的方法,包括:
步骤11:准备训练集,从产品数据库中提取产品的名称、关键词、细粒度目录码作为训练样本,每条样本是一个包含(名称、关键词、目录码)的文本标签对。
步骤12:数据预处理,对提取的产品名称和产品关键词作数据预处理。
噪声样本过滤,如图2所示,圆圈中的数字num代表某一个关键词例如bag在不同类别中的样本数量,num值低于10说明bag关键词在该类中的样本数量非常稀少,因此白色圆圈代表的样本是噪声样本,噪声样本的特点是关于一个关键词所在目录频次分布的稀有异常值。这里的关键词并非产品数据库中提取的产品关键词,因为产品关键词是由用户人工自定义的,具有一定随机性,而产品名称中通常包含核心关键词和其他修饰词,因此对每条样本产品名称和产品关键词的交集作为代理关键词,若交集为空则选择产品关键词作代理关键词。统计这些代理关键词所在目录的频次分布。对每个代理关键词,若分布在超过5个目录以上,则删除频次低于10时目录对应的文本标签对样本。
词形变换,如图3所示,采取的词形变换措施包括单复数转换、形容词副词转换、符号转换。利用词形还原工具将复数、形容词、副词转换为原形词,同时对这些转换词进行记录,反向将训练集中的原形词扩充成复数、形容词或副词。此外,英文短语中常用“-”,“_”等符号将两个词连接,这些符号转换成空格或者去掉后两个单词基本含义不变,因此加入符号转换进行预处理。通过上述方法将文本标签对中的产品名称、关键词变换成具有不同词形的文本以扩充样本,避免训练和测试时输入形式不一致但含义一致的关键词导致误分类问题。
平衡采样。基于步骤122扩充后的数据集,对目录码频次进行统计,并计算所有频次的均值。对不足均值的目录码样本进行上采样或重复采样至均值,对高于均值的目录码样本进行下采样至均值。上采样的措施是:对原样本随机选择若干位置并插入一些词形成新样本,下采样的措施是以一定概率P随机删除该样本,其中P=(source-target)÷source,source代表未采样样本的总数量,target代表目标样本综述。
步骤13:采用预训练语言模型搭建基于Bert的产品分类模型,如图4所示,定义预训练语言模型Bert的模型结构和损失函数,在transformer结构的基础上加入全连接和softmax分类层并定义损失函数。
Bert模型接收输入后,进入嵌入层,得到Token embeddings、Segment embeddings和Position embeddings,将这三个嵌入向量进行拼接。然后基于transformer结构的encoder block学习语义信息,全连接层(Dense)通过公式(2)和公式(3)将transformer输出向量转化为预测概率,即预测该产品属于每个类别的概率。其中b代表batch size,w代表权重,c代表产品种类数。
output=transformer_vector(b,w)*weight(w,c)+baisc
Figure BDA0002451889670000051
损失函数采用交叉熵损失函数Cross Entropy Loss function:
Figure BDA0002451889670000052
其中p(xi)是真实概率分布,q(xi)是预测概率分布,
计算真实标签的one-hot向量与模型预测值softmax概率的损失,训练至损失函数收敛。其中one-hot向量是将类别变量转换为机器学习算法易于利用的一种形式的过程,假设共有5种产品类型,目录码分别为1101,1102,1103,1104,1105,当一个样本的真实标签为1104时,其one-hot向量为[0,0,0,1,0]。
步骤14:加载预训练Bert模型的参数,全连接层中的weight(w,c)和baisc是自定义参数,以0.02为标准差,采用截断正态分布对自定义参数进行随机初始化,输入训练集,训练并微调模型。可选择下列几种方式作为训练集输入方式,方式一:输入为(产品名称,目录码)文本对,方式二:输入为(产品关键词,目录码)文本对,方式三:输入为(产品名称+[SEP]+产品关键词,目录码)文本对,[SEP]是bert中定义的特殊分隔符,代表将两段文本进行拼接和区分。因为用户指定的关键词不一定是该产品的真实类别,例如产品名称cotton babysleeping bag的产品关键词为(sleeping bag,baby sleeping bag)前一个关键词常在户外运动产品类别下出现,因此产品关键词中具有一定噪声干扰,可以根据最终测试集分类准确率最高的模型选择合适的训练方式。
步骤15:基于训练后的语言模型Bert,输入产品的关键词,预测产品的目录码,即基于步骤14训练得到的最优模型,向模型输入一个完整的产品名称或简短的关键词皆可,计算图4所示的softmax probability,选择概率最高的三个目录码反馈给用户。
本发明主要用于提供一种基于关键词的产品分类方法,该方法能够高效准确的完成产品分类功能。分类模型准确性高、输入产品名称、关键词及其各种词形变体均能准确判别产品类别。适用场景多,包括搜索引擎检索、产品上架、数据清洗、智能推荐等多个业务场景。可快速对大规模产品进行归类,能帮助企业降低人力成本。
以上实施例不以任何方式限定本发明,凡是对以上实施例以等效变换方式做出的其它改进与应用,都属于本发明的保护范围。

Claims (6)

1.一种基于关键词的产品分类方法,其特征在于,包括如下步骤:
步骤一:准备训练集,从训练集中提取产品数据,标注产品数据的目录码,形成样本;
所述步骤一中,所述训练集为已有产品的目录体系,所述产品数据为产品名称和关键词,所述目录码为细粒度目录码,所述标注产品数据的目录码的过程是将产品名称、产品关键词和目录码处理成文本标签对的形式;
步骤二:产品数据的预处理,所述预处理包括噪声样本过滤、词形变换、平衡样本;
所述步骤二中,所述噪声样本过滤是指:计算文本标签对中产品名称和产品关键词的交集,将所述交集作为代理关键词,统计代理关键词所在目录的分布频次,对于每个代理关键词,若分布的目录数量在5个以上,则删除频次低于10的目录中的相应文本标签对;
所述词形变换是指:将文本标签对中的产品名称变换成具有不同词形的文本,所述变换的方法包括词形还原、词形扩充、符号转换;
所述平衡样本是指:对于经过噪声样本过滤和词形变换后的数据集,统计每个目录码拥有的样本数量并计算均值,对低于均值的目录码的样本,以上采样或重复采样至达到均值,对于高于均值的目录码的样本,以下采样至达到样本平衡;
步骤三:采用预训练语言模型Bert搭建产品分类模型,定义预训练语言模型Bert的模型结构和损失函数;
步骤四:加载预训练语言模型Bert,微调预训练语言模型Bert;
步骤五:基于训练后的语言模型Bert,输入产品的关键词,预测产品的目录码。
2.如权利要求1所述的一种基于关键词的产品分类方法,其特征在于,所述步骤二中,若文本标签对中产品名称和产品关键词的交集为空,则选择产品关键词作代理关键词;所述词形还原具体指,利用词形还原工具将复数、形容词、副词转换为原形词,对这些转换词进行记录;所述词形扩充具体指,反向将训练集中的原形词扩充成复数、形容词或副词;所述符号转换具体指,将“-”,“_”删除或转换成空格;所述上采样的方法包括:对原样本随机选择若干位置插入词,用以形成新样本,所述下采样的方法包括:以指定概率P随机删除该样本,其中P=(source-target)÷source,source代表未采样样本的总数量,target代表目标样本综述。
3.如权利要求2所述的一种基于关键词的产品分类方法,其特征在于:所述步骤三中,所述预训练语言模型Bert的网络结构依次为:输入层、嵌入层、transformer结构、全连接层,定义损失函数为交叉熵损失函数。
4.如权利要求3所述的一种基于关键词的产品分类方法,其特征在于,所述步骤三中,预训练语言模型Bert中,将接收的产品数据输入进嵌入层,得到Token embeddings、Segment embeddings和Position embeddings,将这三个嵌入向量进行拼接,基于transformer结构的encoder block学习语义信息,全连接层通过公式
output=transformer_vector(b,w)*weight(w,c)+baisc
Figure FDA0003698675910000021
将transformer输出向量转化为预测概率,即预测该产品属于每个类别的概率,其中b代表batch size,w代表权重,c代表产品种类数;
损失函数的使用为,计算真实标签的one-hot向量与模型预测值softmax概率的损失,训练至损失函数收敛,所述交叉熵损失函数为
Figure FDA0003698675910000022
其中p(xi)是真实概率分布,q(xi)是预测概率分布。
5.如权利要求4所述的一种基于关键词的产品分类方法,其特征在于:所述步骤四中,加载预训练语言模型Bert的参数,全连接层中的weight(w,c)和baisc是自定义参数,以0.02为标准差,采用截断正态分布对自定义参数进行随机初始化,输入训练集,微调预训练语言模型Bert,预训练语言模型Bert中输入的文本对为三种形式:形式一:预训练语言模型Bert中输入的文本对为“产品名称+目录码”文本对;形式二:预训练语言模型Bert中输入的文本对为“产品关键词+目录码”文本对;形式三:预训练语言模型Bert中输入的文本对为“产品名称+[SEP]+产品关键词+目录码”文本对;所述[SEP]是bert中定义的特殊分隔符,代表将两段文本进行拼接和区分,对比输入所述三种形式的文本对的预训练语言模型Bert,根据对比结果选择测试集分类准确率最高的预训练语言模型Bert。
6.如权利要求5所述的一种基于关键词的产品分类方法,其特征在于,所述步骤五中,基于步骤四训练得到的预训练语言模型Bert,输入一个产品的关键词,返回预测结果中分类概率最高的三个目录码。
CN202010295098.3A 2020-04-15 2020-04-15 一种基于关键词的产品分类方法 Active CN111488459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295098.3A CN111488459B (zh) 2020-04-15 2020-04-15 一种基于关键词的产品分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295098.3A CN111488459B (zh) 2020-04-15 2020-04-15 一种基于关键词的产品分类方法

Publications (2)

Publication Number Publication Date
CN111488459A CN111488459A (zh) 2020-08-04
CN111488459B true CN111488459B (zh) 2022-07-22

Family

ID=71812785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295098.3A Active CN111488459B (zh) 2020-04-15 2020-04-15 一种基于关键词的产品分类方法

Country Status (1)

Country Link
CN (1) CN111488459B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699782A (zh) * 2020-12-29 2021-04-23 杭州电子科技大学 基于N2N和Bert的雷达HRRP目标识别方法
CN112733543A (zh) * 2021-01-26 2021-04-30 上海交通大学 基于文本编辑生成模型的机构命名实体归一化方法和系统
CN113032563B (zh) * 2021-03-22 2023-07-14 山西三友和智慧信息技术股份有限公司 一种基于人工遮掩关键词的正则化文本分类微调方法
CN113011529B (zh) * 2021-04-28 2024-05-07 平安科技(深圳)有限公司 文本分类模型的训练方法、装置、设备及可读存储介质
CN113486177A (zh) * 2021-07-12 2021-10-08 贵州电网有限责任公司 一种基于文本分类的电力领域表格列标注方法
CN116186249B (zh) * 2022-10-24 2023-10-13 数采小博科技发展有限公司 一种电商商品的品目预测机器人及其实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165294A (zh) * 2018-08-21 2019-01-08 安徽讯飞智能科技有限公司 一种基于贝叶斯分类的短文本分类方法
CN109815952A (zh) * 2019-01-24 2019-05-28 珠海市筑巢科技有限公司 品牌名称识别方法、计算机装置及计算机可读存储介质
CN110941958A (zh) * 2019-11-15 2020-03-31 腾讯云计算(北京)有限责任公司 一种文本类目标注方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165294A (zh) * 2018-08-21 2019-01-08 安徽讯飞智能科技有限公司 一种基于贝叶斯分类的短文本分类方法
CN109815952A (zh) * 2019-01-24 2019-05-28 珠海市筑巢科技有限公司 品牌名称识别方法、计算机装置及计算机可读存储介质
CN110941958A (zh) * 2019-11-15 2020-03-31 腾讯云计算(北京)有限责任公司 一种文本类目标注方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111488459A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488459B (zh) 一种基于关键词的产品分类方法
CN109657230B (zh) 融合词向量和词性向量的命名实体识别方法及装置
US6892189B2 (en) Method for learning and combining global and local regularities for information extraction and classification
CN107798624B (zh) 一种软件问答社区中的技术标签推荐方法
CN111414479A (zh) 基于短文本聚类技术的标签抽取方法
CN110580292A (zh) 一种文本标签生成方法、装置和计算机可读存储介质
EP1323078A1 (en) A document categorisation system
CN111177432B (zh) 一种基于分层深度哈希的大规模图像检索方法
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
CN112765315B (zh) 一种法律场景智能分类系统和方法
CN110659367A (zh) 文本分类号的确定方法、装置以及电子设备
CN116662565A (zh) 基于对比学习预训练的异质信息网络关键词生成方法
CN113836896A (zh) 一种基于深度学习的专利文本摘要生成方法和装置
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN113065356B (zh) 一种基于语义分析算法的it设备运维故障建议处理方法
CN112818157B (zh) 一种基于多阶对抗特征学习的组合查询图像检索方法
CN113722494A (zh) 一种基于自然语言理解的设备故障定位方法
CN116628173B (zh) 一种基于关键字提取的智能客服信息生成系统及生成方法
CN108038109A (zh) 从非结构化文本中提取特征词的方法及系统、计算机程序
Krivosheev et al. Business entity matching with siamese graph convolutional networks
CN110413779B (zh) 一种针对电力行业的词向量训练方法及其系统、介质
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及系统
CN111475607A (zh) 一种基于Mashup服务功能特征表示与密度峰值检测的Web数据聚类方法
CN113095087A (zh) 一种基于图卷积神经网络的中文词义消歧方法
CN111767724A (zh) 一种文本相似度计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant