CN111241279B - 一种基于多任务学习机制的自然语言关系抽取方法 - Google Patents

一种基于多任务学习机制的自然语言关系抽取方法 Download PDF

Info

Publication number
CN111241279B
CN111241279B CN202010014221.XA CN202010014221A CN111241279B CN 111241279 B CN111241279 B CN 111241279B CN 202010014221 A CN202010014221 A CN 202010014221A CN 111241279 B CN111241279 B CN 111241279B
Authority
CN
China
Prior art keywords
task
model
training
relation extraction
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010014221.XA
Other languages
English (en)
Other versions
CN111241279A (zh
Inventor
胡文心
王伟杰
杨静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010014221.XA priority Critical patent/CN111241279B/zh
Publication of CN111241279A publication Critical patent/CN111241279A/zh
Application granted granted Critical
Publication of CN111241279B publication Critical patent/CN111241279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多任务学习机制的自然语言关系抽取方法,包括如下步骤:利用多个辅助任务来引入不同任务间所互相隐含的信息来提升关系抽取的效果。引入知识蒸馏来增强辅助任务指导训练多任务模型的效果,为基于多任务学习的关系和抽取引入教师退火算法让多任务模型的效果能够超远作为指导任务的单任务模型,最终提升关系抽取的准确度。该方法首先在不同的辅助任务上进行训练得到用于指导训练的多任务模型,然后利用辅助任务学习到的模型和真实标签作为监督信息同时指导多任务模型的学习,最后在SemEval2010 task‑8数据集上进行了测评,该模型的表现优于单独使用改进过的BERT进行关系抽取的模型,也同样优于主流的基于深度学习关系抽取的模型。

Description

一种基于多任务学习机制的自然语言关系抽取方法
技术领域
本发明涉及自然语言处理中关系抽取技术,尤其涉及一种基于多任务学习机制的自然语言关系抽取方法。
背景技术
随着大数据和人工智能时代的来临,互联网上各类信息以爆炸般的速度增长,如何从海量的数据中获取信息成为一个亟待解决的问题。信息抽取作为自然语言理解的一个重要分支,其主要目标是将嵌入在文本中的无结构信息通过自动提取进而转化为结构化数据,与其相关的技术研究逐渐兴起。关系抽取,作为信息抽取的一个重要的子任务,其主要目标是在给定一段文本的情况下,针对一个特定的实体对,抽取出一个实体关系三元组relation(e1,e2)。关系抽取作为自然语言理解领域的一项常见的基础任务,在各个方面都有着广泛的应用:例如创建新的结构化知识库并增强现有知识库;构建垂直领域的知识图谱;支持上层的高级应用如文本摘要、自动问答、机器翻译、语义网标注。
与传统的基于机器学习的方法相比,基于深度学习的方法在关系抽取任务上的表现更为优异,并且逐渐成为主流。目前关于实体关系抽取的研究主要集中在基于卷积神经网络和循环神经网络及其变体的方法上。基于卷积神经网络及其变体的方法能够有效并且自动的提取特征,但却无法准确地对时间序列问题进行刻画;基于循环神经网络及其变体的方法能够自动的捕获序列在时间上的依存关系,却无法有效地处理序列中的长距离依赖问题。此外这些基于深度神经网络的方法往往还需要依赖额外的高阶自然语言处理工具来获取词汇、句法和语义等信息,而这些额外的处理步骤会累计错误。这些问题都为给关系抽取任务效果进一步的提升造成了阻碍,所以目前亟需建立一种更为有效的关系抽取模型。
发明内容
本发明的目的是针对现有技术的不足而提出的一种基于多任务学习机制的自然语言关系抽取方法,该方法结合当前主流的关系抽取任务是基于单个任务模型的特点,提出了一种引入多任务学习和预训练语言表示机制的关系抽取方法。该模型基于预训练语言模型,利用辅助任务来帮助关系抽取模型来获取不同任务之间互相蕴含的知识,并提出使用知识蒸馏来帮助关系抽取任务能够更好的利用辅助任务学习到的表示空间,并使用教师退火算法让多任务模型效果更好,最终提升模型在关系抽取任务上的表现。通过与普通的基于BERT的关系抽取模型和基于命名实体识别和关系抽取联合学习的模型进行对比实验,在SemEval2010-task8数据集上证明了该模型对关系抽取任务的表现有较为明显的提升。
实现本发明目的的具体技术方案是:
一种基于多任务学习机制的自然语言关系抽取方法,该方法包括以下具体步骤:
步骤1:依据通用NLP模型基准,选取其中与关系抽取任务的训练数据类似的分类任务,即训练数据同时能够用于关系抽取任务训练的任务,作为训练多任务模型的辅助任务;
步骤2:将输入的句子或句子对经过WordPiece分词之后得到子词序列,将每个辅助任务的训练数据根据数据集大小按比例采样并混合之后送入预训练语言模型进行统一训练;
步骤3:使用预训练语言模型编码工具对输入数据进行编码表示;
步骤4:对关系抽取任务及辅助任务分别建立独立的单任务模型;
步骤5:利用建立的单任务模型,基于知识蒸馏进行多任务模型训练和预测
使用关系抽取任务的单任务模型作为初始多任务模型来对辅助任务进行预测输出,最小化该输出与辅助任务对应的单任务模型预测输出的交叉熵,同时使用退火算法,即按比例混合模型输出与任务真实标签来优化模型性能,从而实现模型的训练,最终得到多任务模型用于预测关系抽取。
所述知识蒸馏,具体为:
通过同时将提前训练的单任务模型的输出和单任务模型的真实标签按照一个随着训练流程不断改变的比例作为权重加权平均之后作为多任务模型训练时的目标输出,即单任务模型和真实标签同时用于多任务模型的训练。
本发明的有益效果在于:
为了解决处理过程带来的错误累计传播这一问题,本发明为关系抽取任务引入了预训练语言模型,通过改进预训练语言模型并将其用于关系抽取领域,使得模型能够隐式的学习到一系列语言特征来构建关系抽取任务并有效的刻画两个实体指代之间的长距离依赖,并且不必从头学习一个完整的模型。本发明在同一数据集上对比了基于传统机器学习和深度学习方法的关系抽取模型的效果,实验结果表明基于预训练语言模型的方法在关系抽取任务上的表现优于现有基于深度学习的方法。
其次,为了进一步提升关系抽取模型的准确率,提出利用多任务学习来改进关系抽取任务模型,在关系抽取模型之中将多任务学习整合进入基于预训练语言模型获得任务之间互相蕴含的语义信息。并加入知识蒸馏来获取辅助任务提供的那些关系抽取任务模型自身不易学习到的特征。通过对比实验分析,与传统的单任务关系抽取模型相比,基于多任务学习的关系抽取方法通过引入辅助任务来使得模型在关系抽取中时能够利用额外的辅助任务所学习到的信息,而额外加入的知识蒸馏能够使得模型中知识在不同任务中的迁移效果进一步得到提升,最终表现在关系抽取任务上的效果优于主流基于深度学习的方法。
附图说明
图1为本发明所提出的知识蒸馏和退火算法的原理示意图;
图2为本发明所提出的基于多任务学习的关系抽取方法模型结构图;
图3为本发明所提出的基于多任务学习的关系抽取方法实施流程图。
具体实施方式
结合以下具体实施例和附图,对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
本发明提出一种基于多任务学习机制的自然语言关系抽取方法,具体分为三部分,如图2所示:
输入层:主要用于处理输入数据。输入层和单任务模型的输入层类似,同样是先将句子或句子对经过WordPiece分词之后得到子词序列。但是与单任务模型不同的是,为了避免多任务数据集大小不平衡问题,每个辅助任务的训练样本会按比例采样并混合之后送入模型进行训练,所以需要额外的信息来对不同任务进行区分,因此在单任务模型的三种嵌入的基础上之上,我们会为子词序列增加一个额外的任务嵌入,即用于表示当前序列具体是属于哪种任务,以便最终分入不同的任务层进行预测输出。
预训练模型层:这里以BERT为例。BERT作为一个预训练模型,提供一个通用的语言表示,可以较为方便的将多种下游任务构建在BERT层之上,因此我们基于BERT来构建多任务模型。BERT层可以为不同的模型之间共享,因此不同任务所带来的额外的语义信息都会被BERT层隐式的学习到,进而增强下游任务的表现。
任务层:任务层为关系抽取和其他每一个辅助任务单独构建一个分类网络。
多任务模型的训练过程是通过同时将提前训练的单任务模型的输出和单任务模型的真实标签按照一个随着训练流程不断改变的比例进行加权平均之后作为多任务模型训练时的目标输出,即单任务模型和真实标签同时指导多任务模型来进行训练,这样能使得多任务模型在获得单个辅助任务的所提供的知识的同时,利用每个辅助任务的真实标签来帮助多任务模型中关系抽取任务的表现超越用于提供指导的关系抽取单任务模型。
该方法基于预训练语言模型,利用辅助任务来帮助关系抽取模型来获取不同任务之间互相蕴含的知识,并提出使用知识蒸馏来帮助关系抽取任务能够更好的利用辅助任务学习到的表示空间,并使用教师退火算法让多任务模型效果更好,最终提升模型在关系抽取任务上的表现。其具体操作按下述步骤进行,如图3所示:
(1)选取辅助任务。
多任务模型最终是为了关系抽取这一主要任务来服务的,而关系抽取从实现方式上可以视为一个分类任务,因此在本方法的具体实验中,最终选取了GLUE基准中的分类任务即CoLA,SST-2,MRPC,QQP,MNLI,QNLI,RTE,WNLI这八种作为辅助任务
(2)输入数据。
将句子或句子对经过WordPiece分词之后得到子词序列,将每个辅助任务的训练样本按比例采样并混合之后送入模型进行训练,在单任务模型的三种嵌入的基础上之上,为子词序列增加一个额外的任务嵌入,即用于表示当前序列具体是属于哪种任务,以便最终分入不同的任务层进行预测输出。
对训练样本的采样策略为:假设所有任务的集合为T,对于T中的每一个任务t,则选取其对应数据集中的训练样本被选中作为训练样本的概率为
Figure BDA0002358257330000041
其中Dt表示任务t对应数据集的大小。之后根据不同数据集的权重将每个数据集扩展至一个合适的倍数,并保证每个数据集至少被重复一遍,将扩展后得到的不同数据集合并后随机打乱作为单个完整的数据集,最后分批送入模型进行训练。
(3)预训练语言模型编码
在基于本方法进行的实验中,将多种辅助任务构建在BERT层之上,从而进一步构建多任务模型。BERT层可以为不同的模型之间共享,因此不同任务所带来的额外的语义信息都会被BERT层隐式的学习到,进而增强下游任务的表现。
(4)单任务模型构建
为关系抽取和其他每一个辅助任务单独构建一个分类网络。为了提高模型的复用效率和加速模型训练任务,同时由于所选取的辅助任务都可以看作分类任务,简单的选取每个句子开头的[cls]标记对应的最顶层Transformer编码器的输出作为分类网络的输出c,并在其之上构建一个简单的前馈全连接网络,激活函数为sigmoid函数,并利用softmax函数获得每个类别对应的最终概率P=softmax(Wc),其中W为全连接线性网络通过训练得到的参数。
每个辅助任务分别计算其单独的损失函数
Figure BDA0002358257330000051
此时模型的总损失函数
Figure BDA0002358257330000053
任务j的损失。
yi:类别i的真实值。
softmax(HWT+B):类别i的预测值。
Losstotal:多任务模型的总损失。
(5)基于知识蒸馏进行多任务模型训练和预测
基于多任务学习的知识蒸馏使用规范化语言描述如下:
Figure BDA0002358257330000054
表示任务t的训练集,ft(x,θ)表示用于处理任务t的网络模型在输入为x的情况下的输出,其中网络内部隐藏层参数为θ。对于标准的有监督模型会训练网络的参数θ,来最小化真实标签与单任务模型的输出之间的交叉熵损失函数ce
Figure BDA0002358257330000055
而基于知识蒸馏的模型则是最小化教师模型与学生模型之间预测输出的交叉熵来帮助知识的迁移:
Figure BDA0002358257330000056
其中θ′代表教师网络中的模型参数。
将知识蒸馏移植到多任务学习中,则对任务集T中的每一个任务t,训练一个参数为θt的单任务模型,并使用这些模型来学习一个参数为θ的多任务模型,其损失函数可以表示为:
Figure BDA0002358257330000057
如果只优化教师网络和学生网络预测输出之间的交叉熵,则将使得多任务模型会以单任务模型为原型,一味的模仿单任务模型的行为,性能的上限将会局限于单任务模型的表现。为了时多任务模型能够超越单任务模型的表现,为多任务模型知识蒸馏引入了一个简单的退火算法,如图1所示,具体描述如下:在多任务模型训练的初期,模型会较多的依赖单任务模型,通过将单任务模型学习到的信息迁移到多任务模型之中,来快速提升模型对已有任务的性能表现。随着训练的过程不断深入,多任务模型逐渐趋向于根据真实标签来获取信息,当训练过程趋于结束时,多任务模型的信息几乎全部来源于任务的真实标签。此时多任务模型的损失函数可以由如下的公式表示:
Figure BDA0002358257330000061
其中λ为单任务输出与真实标签的比例,该参数是随看训练过程线性从0增长到1,表示多任务模型在训练过程的从依赖用于作为指导的单任务模型逐渐过渡到以真实标签为监督信息的过程。加入知识蒸馏的多任务模型训练过程既优化上述损失函数的过程。当多任务模型构建完成后,就可以使用多任务模型来进行关系抽取了。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于多任务学习机制的自然语言关系抽取方法,其特征在于,该方法包括以下具体步骤:
步骤1:依据通用NLP模型基准,选取其中与关系抽取任务的训练数据类似的分类任务,即训练数据同时能够用于关系抽取任务训练的任务,作为训练多任务模型的辅助任务;
步骤2:将输入的句子或句子对经过WordPiece分词之后得到子词序列,将每个辅助任务的训练数据根据数据集大小按比例采样并混合之后送入预训练语言模型进行统一训练;
步骤3:使用预训练语言模型编码工具对输入数据进行编码表示;
步骤4:对关系抽取任务及辅助任务分别建立独立的单任务模型;
步骤5:利用建立的单任务模型,基于知识蒸馏进行多任务模型训练和预测
使用关系抽取任务的单任务模型作为初始多任务模型来对辅助任务进行预测输出,最小化该输出与辅助任务对应的单任务模型预测输出的交叉熵,同时使用退火算法,即按比例混合模型输出与任务真实标签来优化模型性能,从而实现模型的训练,最终得到多任务模型用于预测关系抽取;其中:
所述知识蒸馏,具体为:通过同时将提前训练的单任务模型的输出和单任务模型的真实标签按照一个随着训练流程不断改变的比例作为权重加权平均之后作为多任务模型训练时的目标输出,即单任务模型和真实标签同时用于多任务模型的训练。
CN202010014221.XA 2020-01-07 2020-01-07 一种基于多任务学习机制的自然语言关系抽取方法 Active CN111241279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010014221.XA CN111241279B (zh) 2020-01-07 2020-01-07 一种基于多任务学习机制的自然语言关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010014221.XA CN111241279B (zh) 2020-01-07 2020-01-07 一种基于多任务学习机制的自然语言关系抽取方法

Publications (2)

Publication Number Publication Date
CN111241279A CN111241279A (zh) 2020-06-05
CN111241279B true CN111241279B (zh) 2020-10-30

Family

ID=70875947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010014221.XA Active CN111241279B (zh) 2020-01-07 2020-01-07 一种基于多任务学习机制的自然语言关系抽取方法

Country Status (1)

Country Link
CN (1) CN111241279B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329467B (zh) * 2020-11-03 2022-09-30 腾讯科技(深圳)有限公司 地址识别方法、装置、电子设备以及存储介质
CN112528034B (zh) * 2020-11-16 2022-06-10 中国科学院深圳先进技术研究院 一种基于知识蒸馏的实体关系抽取方法
CN112417877B (zh) * 2020-11-24 2022-09-27 广州平云信息科技有限公司 一种基于改进bert的文本蕴含关系识别方法
CN112395393B (zh) * 2020-11-27 2022-09-30 华东师范大学 一种基于多任务多示例的远程监督关系抽取方法
CN112613273B (zh) * 2020-12-16 2022-09-23 上海交通大学 多语言bert序列标注模型的压缩方法及系统
CN112818097A (zh) * 2021-01-26 2021-05-18 山西三友和智慧信息技术股份有限公司 一种基于对话框状态跟踪模型的任务外训练系统
CN114757432B (zh) * 2022-04-27 2023-05-30 浙江传媒学院 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统
CN114707520B (zh) * 2022-06-06 2022-09-13 天津大学 一种面向会话的语义依存分析方法及装置
CN117172323B (zh) * 2023-11-02 2024-01-23 知呱呱(天津)大数据技术有限公司 一种基于特征对齐的专利多领域知识抽取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN110427484A (zh) * 2018-04-26 2019-11-08 上海意仕腾教育科技有限公司 一种基于深度学习的中文自然语言处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960252A (zh) * 2017-03-08 2017-07-18 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测方法
US20180314942A1 (en) * 2017-04-19 2018-11-01 AIBrain Corporation Scalable framework for autonomous artificial intelligence characters
CN107436942A (zh) * 2017-07-28 2017-12-05 广州市香港科大霍英东研究院 基于社交媒体的词嵌入方法、系统、终端设备及存储介质
KR102602117B1 (ko) * 2017-10-26 2023-11-13 매직 립, 인코포레이티드 딥 멀티태스크 네트워크들에서 적응적 손실 밸런싱을 위한 그라디언트 정규화 시스템들 및 방법들
CN108596818B (zh) * 2017-12-22 2021-10-26 华南理工大学 一种基于多任务学习卷积神经网络的图像隐写分析方法
CN110175708B (zh) * 2019-05-13 2023-04-18 湖南麓川信息科技有限公司 一种用于在线增量预测食材的模型及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN110427484A (zh) * 2018-04-26 2019-11-08 上海意仕腾教育科技有限公司 一种基于深度学习的中文自然语言处理方法
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法

Also Published As

Publication number Publication date
CN111241279A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111241279B (zh) 一种基于多任务学习机制的自然语言关系抽取方法
CN108829722A (zh) 一种远程监督的Dual-Attention关系分类方法及系统
CN110532355B (zh) 一种基于多任务学习的意图与槽位联合识别方法
JP2021096812A (ja) セマンティック表現モデルの処理方法、装置、電子機器、及び記憶媒体
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN111522961B (zh) 一种基于注意力机制及实体描述的产业图谱构建方法
CN113051929A (zh) 一种基于细粒度语义信息增强的实体关系抽取的方法
CN113705218A (zh) 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置
CN113723105A (zh) 语义特征提取模型的训练方法、装置、设备及存储介质
CN114676255A (zh) 文本处理方法、装置、设备、存储介质及计算机程序产品
CN114492460B (zh) 基于衍生提示学习的事件因果关系抽取方法
CN113971394A (zh) 文本复述改写系统
CN114153942B (zh) 一种基于动态注意力机制的事件时序关系抽取方法
Bai et al. A universal bert-based front-end model for mandarin text-to-speech synthesis
CN111967265B (zh) 一种数据集自动生成的中文分词与实体识别联合学习方法
CN113326367A (zh) 基于端到端文本生成的任务型对话方法和系统
CN116304064A (zh) 一种基于抽取式的文本分类方法
CN110377753A (zh) 基于关系触发词与gru模型的关系抽取方法及装置
CN112131879A (zh) 一种关系抽取系统、方法和装置
CN115759102A (zh) 一种中国诗酒文化命名实体识别方法
CN113342982B (zh) 融合RoBERTa和外部知识库的企业行业分类方法
CN115688703A (zh) 一种特定领域文本纠错方法、存储介质和装置
CN113486160B (zh) 基于跨语言知识的对话方法及系统
CN115422945A (zh) 一种融合情感挖掘的谣言检测方法及系统
CN115309886A (zh) 基于多模态信息输入的人工智能文本创作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant