CN111931506B - 一种基于图信息增强的实体关系抽取方法 - Google Patents
一种基于图信息增强的实体关系抽取方法 Download PDFInfo
- Publication number
- CN111931506B CN111931506B CN202010823187.0A CN202010823187A CN111931506B CN 111931506 B CN111931506 B CN 111931506B CN 202010823187 A CN202010823187 A CN 202010823187A CN 111931506 B CN111931506 B CN 111931506B
- Authority
- CN
- China
- Prior art keywords
- sentence
- entity
- graph
- entities
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于图信息增强的实体关系抽取方法,属于信息抽取和大数据挖掘技术领域。本发明包括如下步骤:1)训练集文本数据处理;2)将训练集中的实体关系三元组集合转换为关系图;3)构建训练集中句子的初始向量表示;4)基于图神经网络模型生成图中节点即实体的向量表示;5)构建训练集中句子的向量表示,由句子初始向量和实体向量融合生成句子向量,训练全连接网络;6)依据前述1)到5)抽取测试集中实体的关系。本发明通过预训练模型和图神经网络模型生成句子向量,引入句子分类损失的权重训练方法,提高了实体关系抽取的性能,在信息检索、文本分类、问答系统等领域具有广阔的应用前景。
Description
技术领域
本发明涉及一种基于图信息增强的实体关系抽取方法,属于信息抽取和大数据挖掘技术领域。
背景技术
实体关系抽取是知识图谱构建、信息抽取领域的重要研究课题。实体关系抽取是指从文本数据集中抽取不同实体之间的各种语义关系。知识图谱在智能搜索与问答、个性化建模与推荐、文本分类与聚类等领域得到广泛应用。
实体关系抽取方法主要分为基于机器学习的方法、基于神经网络的方法、基于远程监督的方法、基于半监督的方法等。基于机器学习的实体关系抽取方法通常首先构建文本特征,然后采用支持向量机、随机森林,以及条件随机场等模型进行实体关系识别。基于神经网络的方法是指采用卷积神经网络、循环神经网络等深度学习模型来抽取实体关系。基于远程监督的实体关系抽取方法是指通过远程知识库扩大标注数据集,使模型能够学习到包含实体关系的自然语言上下文特征信息。基于半监督的实体关系抽取方法则同时利用大量标注样本数据和少量未标记样本数据,来构建实体关系的学习器。
图神经网络(Graph Neural Network,简称GNN)能够将语料集中句子内的实体关系集合转换为图数据,然后学习图节点即实体的向量表示。对于拓扑结构的图数据,图中每个节点通过语义关系或其他关联关系等与其邻居节点相连,节点的邻居节点的数量和类型是动态变化的。这些节点及其关系能够用于获取实体之间的依赖关系信息。通过图神经网络训练学习数据集中实体的图结构信息,生成表示实体的节点的向量表示。
实体关系抽取是知识图谱构建的重要研究内容。目前实体关系抽取方法主要利用语料集的文本信息,来学习刻画实体关系的词法和句法等自然语言方面的特征,难以学习三个或更多个实体之间的隐式关系的结构特征。
发明内容
本发明的目的在于针对现有实体关系抽取方法难以学习多个实体之间隐式关系的结构特征的技术缺陷,提出了一种基于图信息增强的实体关系抽取方法,将训练集中的实体关系三元组集合转换为图数据,基于图神经网络生成实体的向量;再基于预训练模型BERT生成句子词语向量,构建句子初始向量,拼接句子初始向量和实体向量为句子向量,再将句子向量输入至全连接网络,进行句子权重训练,实现实体关系抽取。
所述基于图信息增强的实体关系抽取方法,包括以下步骤:
步骤1:训练集文本数据处理:将训练集中的句子进行分词、抽取头实体和尾实体及其关系,并将头实体和尾实体保存为字典形式;
步骤1,具体为:利用预训练模型BERT中的tokenizer方法对句子进行分词,抽取头实体和尾实体,获取头实体和尾实体的位置标记,标注头实体和尾实体的关系;
步骤2:将训练集中的实体关系三元组集合转换为关系图;
对训练集进行实体对及其关系抽取,获取关系三元组集合,并将其转换为图的表示形式,即构建其对应的关系图;
该关系图,记为G,G中节点表示实体,边表示实体关系三元组中头实体和尾实体之间的关系;
其中,关系三元组包括头实体,关系和尾实体;
步骤3:构建训练集中句子的初始向量表示,利用预训练模型BERT生成句子词语的向量,进而构建句子的初始向量;
步骤3.1:对分词后的句子加入句子的开始标记“[CLS]”,句子的结尾标记“[SEP]”;
步骤3.2:对句子中的token或词语进行标引,将句子中每个词与词汇表对应,生成句子索引向量;
步骤3.3:将句子索引向量输入到预训练模型BERT中;
步骤3.4:对于每个单词,采用其最后两层隐藏层的特征向量作为词向量;对于每个句子,将其所有词语的词向量求平均作为句子的初始向量表示;
步骤4:基于图神经网络模型生成关系图中节点即实体的向量表示;
步骤4.1:生成关系图中每个节点v的初始向量;
对于节点v,设其表示实体e,通过预训练模型BERT生成实体e的词向量,作为节点v的初始向量;
步骤4.2:采用GraphSAGE训练图神经网络,提取隐藏层向量,生成关系图中节点的向量表示;
其中,GraphSAGE,即Graph Sample and Aggregate;
步骤5:构建训练集中句子的向量表示,即拼接句子初始向量、头实体向量和尾实体向量,构建为句子向量,再将句子向量输入全连接网络中,根据句子的分类损失计算模型损失并反向传播回全连接层,进行全连接网络参数的学习和更新;
其中,构建句子向量具体为:
对于句子s,设s包含头实体h和尾实体t,通过步骤4的图神经网络模型生成头实体h的向量vh,以及尾实体t的向量vt;设由步骤3生成句子s的句子初始向量vs,将vs,vh,vt拼接,构建为句子s的向量表示;
模型损失如公式(1)所示:
其中,n为句子数量,li为句子si的分类损失,αi为权重;
步骤6:抽取测试集中实体的关系,具体为:
基于测试集依次进行步骤1的文本数据处理,步骤2的关系图构建,步骤3的句子初始向量表示构建,步骤4的实体节点的向量表示构建,步骤5的句子向量表示构建,将句子向量输入全连接网络中,然后利用Softmax函数对句子中的实体关系分类。
有益效果
本发明基于图信息增强的实体关系抽取方法,与现有实体关系抽取方法相比,具有如下有益效果:
1.本发明的实体关系抽取方法具有移植性和鲁棒性,对于语料集的来源和领域不受限制;基于图神经网络对实体关系三元组集合建模,对实体关系三元组中关系类型不受限制;
2.所述方法通过引入基于图神经网络生成的实体向量表示,挖掘了多个实体之间的隐含关系结构特征,增强了句子初始向量的实体特征信息,提高了实体关系抽取的准确性;
3.所述方法引入句子动态权重分类损失的训练方法,由于自然语言的复杂性和灵活性,同一种关系在文本中存在多种表达形式,不同表达形式在同一种关系抽取中具有不同的重要性,即区分了同一种关系的不同句子表达形式的重要程度,提高了实体关系抽取的准确性;
4.所述方法能够抽取不同领域的实体关系,在信息检索、文本分类、问答系统等领域具有广阔的应用前景。
附图说明
图1为本发明一种基于图信息增强的实体关系抽取方法及实施例1的流程示意图。
具体实施方式
下面结合实施例对本发明一种基于图信息增强的实体关系抽取方法的优选实施方式进行详细说明。
实施例1
本实施例叙述了采用本发明所述的一种图信息增强的实体关系抽取方法的流程,如图1所示。本发明基于图信息增强的实体关系抽取方法依托的实体关系抽取系统以PyCharm为开发工具,Python为开发语言,Pytorch为开发框架。
从图1可以看出,具体包括如下步骤:
步骤1:训练集文本数据处理:将训练集中句子进行分词、抽取头实体和尾实体及其关系,并将头实体和尾实体保存为字典形式;
步骤1,具体为:利用预训练模型BERT中的tokenizer方法对句子进行分词,抽取头实体和尾实体,获取头实体和尾实体的位置标记,标注头实体和尾实体的关系;
对于句子“Li Ming's father is Li Peng.”,分词后的结果为“[‘Li’,‘Ming’,‘'’,‘s’,‘father’,‘is’,‘Li’,‘Peng’,‘.’]”,抽取头实体和尾实体为“Li Ming,LiPeng”,获取头实体和尾实体的位置标记为“[0,1],[6,7]”,标注头实体和尾实体的关系为“Is_father”。
步骤2:将训练集中的实体关系三元组集合转换为关系图;
对训练集进行实体对及其关系抽取,获取关系三元组集合,并将其转换为图的表示形式,即构建其对应的关系图G;
图G中节点表示实体,边表示实体关系三元组中头实体和尾实体之间的关系;
其中,关系三元组包括头实体,关系和尾实体;
步骤3:构建句子的向量表示。利用预训练模型BERT生成句子词语的向量,进而构建句子的初始向量;
步骤3.1:对分词后的句子加入句子的开始标记“[CLS]”,句子的结尾标记“[SEP]”。
例如,对于句子“[‘Li’,‘Ming’,‘'’,‘s’,‘father’,‘is’,‘Li’,‘Peng’,‘.’]”,加入句子的开始标记、结尾标记为“[‘[CLS]’,‘Li’,‘Ming’,‘”,‘s’,‘father’,‘is’,‘Li’,‘Peng’,‘.’,‘[SEP]’]”。
步骤3.2:对句子中的token或词语进行标引,将句子中每个词与词汇表对应,生成句子索引向量。
例如,上面例句生成的索引向量为:“[([CLS],101),(Li,5622),(Ming,11861),(',1005),(s,1055),(father,2289),(is,2003),(Li,5622),(Peng,26473),(.,1012),([SEP],102)]”。
步骤3.3:将句子索引向量输入到预训练模型BERT中。例如,预训练模型BERT模型为一个12层的深度神经网络模型,每个隐藏层包含768个节点。因此对于输入的每个单词,在对单词进行token转换后,经过模型会生成12个768维度的隐藏层特征。
步骤3.4:对于每个单词,采用其最后两层隐藏层的特征向量作为词向量。对于每个句子,将其所有词语的词向量求平均作为句子的初始向量表示。
步骤4:基于图神经网络模型生成关系图中节点即实体的向量表示;
步骤4.1:生成关系图中每个节点v的初始向量;
对于节点v,设其表示实体e,通过预训练模型BERT模型生成实体e的词向量,作为节点v的初始向量;
步骤4.2:采用GraphSAGE方法训练图神经网络,提取隐藏层向量,生成关系图中节点的向量表示;
其中,GraphSAGE,即Graph Sample and Aggregate;
步骤5:构建句子的向量表示,即拼接句子初始向量、头实体向量和尾实体向量,构建为句子向量,再将句子向量输入全连接网络中,根据句子的分类损失计算模型损失并反向传播回全连接层,进行全连接网络参数的学习和更新;
其中,构建句子向量具体为:
对于句子s,设s包含头实体h和尾实体t,通过步骤4的图神经网络模型生成头实体h的向量vh,以及尾实体t的向量vt。设由步骤3生成句子s的句子初始向量vs,将vs,vh,vt拼接,构建为句子s的向量;
模型损失如公式(1)所示:
其中n为句子数量,li为句子si的分类损失,αi为权重;
步骤6:抽取测试集中实体的关系;
对于测试集,依次进行步骤1的文本数据处理,步骤2的关系图构建,步骤3的句子初始向量表示构建,步骤4的实体节点的向量表示构建,步骤5的句子向量表示构建,将句子向量输入全连接网络中,然后利用Softmax函数对句子中的实体关系分类。
为说明本发明的实体关系抽取效果,本实验是在同等条件下,以相同的训练集和测试集分别采用两种方法进行比较。第一种方法是基于注意力机制的双向长短时记忆网络的实体关系抽取方法,第二种是本发明的实体关系抽取方法。
实体关系抽取是多分类任务,采用的评测指标为:宏平均F1值(Macro Average F1值),该值为所有关系种类识别的F1值的平均值,计算方法如公式2所示:
其中,Y为所有识别的关系种类集合,Py和Ry为关系种类y识别的查准率(Precision)和召回率(Recall),Py=TPy/(TPy+FPy),Ry=TPy/(TPy+FNy)。对于关系种类y,TPy表示模型预测为正例且样本用例真值为真的样本数,即正确接受;FNy表示模型预测为假但样本用例真值为真的样本数,即错误拒绝;FPy表示模型预测为真但样本用例真值为假的样本数,即错误接受。
实体关系抽取的结果为:已有技术的基于注意力机制的双向长短时记忆网络的宏平均F1值约为83.2%。采用本发明方法的宏平均F1值约为85.98%。通过实验表明了本发明提出的一种基于图信息增强的实体关系抽取方法的有效性。
以上所述为本发明的较佳实施例而已,本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。
Claims (4)
1.一种基于图信息增强的实体关系抽取方法,其特征在于:包括以下步骤:
步骤1:训练集文本数据处理:将训练集中的句子进行分词、抽取头实体和尾实体及其关系,并将头实体和尾实体保存为字典形式;
步骤2:将训练集中的实体关系三元组集合转换为关系图;
步骤3:构建训练集中句子的初始向量表示,利用预训练模型BERT生成句子词语的向量,进而构建句子的初始向量,具体包括如下子步骤:
步骤3.1:对分词后的句子加入句子的开始标记“[CLS]”,句子的结尾标记“[SEP]”;
步骤3.2:对句子中的token或词语进行标引,将句子中每个词与词汇表对应,生成句子索引向量;
步骤3.3:将句子索引向量输入到预训练模型BERT中;
步骤3.4:对于每个单词,采用其最后两层隐藏层的特征向量作为词向量;对于每个句子,将其所有词语的词向量求平均作为句子的初始向量表示;
步骤4:基于图神经网络模型生成关系图中节点即实体的向量表示;
步骤4.1:生成关系图中每个节点v的初始向量;
步骤4.2:采用GraphSAGE训练图神经网络,提取隐藏层向量,生成关系图中节点的向量表示;GraphSAGE,即Graph Sample and Aggregate;
步骤5:构建训练集中句子的向量表示,即拼接句子初始向量、头实体向量和尾实体向量,构建为句子向量,再将句子向量输入全连接网络中,根据句子的分类损失计算模型损失并反向传播回全连接层,进行全连接网络参数的学习和更新;
构建句子向量,具体为:对于句子s,设s包含头实体h和尾实体t,通过步骤4的图神经网络模型生成头实体h的向量vh,以及尾实体t的向量vt;设由步骤3生成句子s的句子初始向量vs,将vs,vh,vt拼接,构建为句子s的向量表示;
其中,模型损失如公式(1)所示:
其中,n为句子数量,li为句子si的分类损失,αi为权重,i为句子编号,其取值范围为1到n;
步骤6:抽取测试集中实体的关系,具体为:
基于测试集依次进行步骤1的文本数据处理,步骤2的关系图构建,步骤3的句子初始向量表示构建,步骤4的实体节点的向量表示构建,步骤5的句子向量表示构建,将句子向量输入全连接网络中,然后利用Softmax函数对句子中的实体关系分类。
2.根据权利要求1所述的一种基于图信息增强的实体关系抽取方法,其特征在于:步骤1,具体为:利用预训练模型BERT中的tokenizer方法对句子进行分词,抽取头实体和尾实体,获取头实体和尾实体的位置标记,标注头实体和尾实体的关系。
3.根据权利要求1所述的一种基于图信息增强的实体关系抽取方法,其特征在于:步骤2,具体为:对训练集进行实体对及其关系抽取,获取关系三元组集合,并将其转换为图的表示形式,即构建其对应的关系图;
该关系图,记为G,G中节点表示实体,边表示实体关系三元组中头实体和尾实体之间的关系;
其中,关系三元组包括头实体,关系和尾实体。
4.根据权利要求1所述的一种基于图信息增强的实体关系抽取方法,其特征在于:步骤4.1对于节点v,设其表示实体e,通过预训练模型BERT生成实体e的词向量,作为节点v的初始向量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010442302X | 2020-05-22 | ||
CN202010442302 | 2020-05-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931506A CN111931506A (zh) | 2020-11-13 |
CN111931506B true CN111931506B (zh) | 2023-01-10 |
Family
ID=73311445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010823187.0A Active CN111931506B (zh) | 2020-05-22 | 2020-08-17 | 一种基于图信息增强的实体关系抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931506B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112487206B (zh) * | 2020-12-09 | 2022-09-20 | 中国电子科技集团公司第三十研究所 | 一种自动构建数据集的实体关系抽取方法 |
CN114648345B (zh) * | 2020-12-17 | 2024-08-02 | 支付宝(杭州)信息技术有限公司 | 训练表征模型及确定实体表征向量的方法及装置 |
CN112883153B (zh) * | 2021-01-28 | 2023-06-23 | 北京联合大学 | 基于信息增强bert的关系分类方法及装置 |
CN113569572B (zh) * | 2021-02-09 | 2024-05-24 | 腾讯科技(深圳)有限公司 | 文本实体生成方法、模型训练方法及装置 |
CN112948506A (zh) * | 2021-04-01 | 2021-06-11 | 重庆邮电大学 | 一种基于卷积神经网络的改进元学习的关系预测方法 |
CN112860904B (zh) * | 2021-04-06 | 2022-02-22 | 哈尔滨工业大学 | 一种融入外部知识的生物医疗关系抽取方法 |
CN113191118B (zh) * | 2021-05-08 | 2023-07-18 | 山东省计算中心(国家超级计算济南中心) | 一种基于序列标注的文本关系抽取方法 |
CN113282726B (zh) * | 2021-05-27 | 2022-05-17 | 成都数之联科技股份有限公司 | 数据处理方法及系统及装置及介质及数据分析方法 |
CN114444506B (zh) * | 2022-01-11 | 2023-05-02 | 四川大学 | 一种融合实体类型的关系三元组抽取方法 |
CN115168599B (zh) * | 2022-06-20 | 2023-06-20 | 北京百度网讯科技有限公司 | 多三元组抽取方法、装置、设备、介质及产品 |
CN116094843B (zh) * | 2023-04-10 | 2023-06-16 | 北京航空航天大学 | 一种基于知识图谱的网络威胁评估方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及系统 |
WO2018174816A1 (en) * | 2017-03-24 | 2018-09-27 | Agency For Science, Technology And Research | Method and apparatus for semantic coherence analysis of texts |
CN110674279A (zh) * | 2019-10-15 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 基于人工智能的问答处理方法、装置、设备及存储介质 |
CN110879831A (zh) * | 2019-10-12 | 2020-03-13 | 杭州师范大学 | 基于实体识别技术的中医药语句分词方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190122111A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
-
2020
- 2020-08-17 CN CN202010823187.0A patent/CN111931506B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018174816A1 (en) * | 2017-03-24 | 2018-09-27 | Agency For Science, Technology And Research | Method and apparatus for semantic coherence analysis of texts |
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及系统 |
CN110879831A (zh) * | 2019-10-12 | 2020-03-13 | 杭州师范大学 | 基于实体识别技术的中医药语句分词方法 |
CN110674279A (zh) * | 2019-10-15 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 基于人工智能的问答处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111931506A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931506B (zh) | 一种基于图信息增强的实体关系抽取方法 | |
CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
CN112115238B (zh) | 一种基于bert和知识库的问答方法和系统 | |
CN111737496A (zh) | 一种电力设备故障知识图谱构建方法 | |
CN111209401A (zh) | 网络舆情文本信息情感极性分类处理系统及方法 | |
CN107818164A (zh) | 一种智能问答方法及其系统 | |
CN115357719B (zh) | 基于改进bert模型的电力审计文本分类方法及装置 | |
CN113962219A (zh) | 面向电力变压器知识检索和问答的语义匹配方法及系统 | |
CN114818717B (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
CN113191148A (zh) | 一种基于半监督学习和聚类的轨道交通实体识别方法 | |
CN113919366A (zh) | 一种面向电力变压器知识问答的语义匹配方法和装置 | |
CN113360582B (zh) | 基于bert模型融合多元实体信息的关系分类方法及系统 | |
CN116661805B (zh) | 代码表示的生成方法和装置、存储介质及电子设备 | |
CN112818118A (zh) | 基于反向翻译的中文幽默分类模型 | |
CN113011161A (zh) | 一种基于深度学习与模式匹配的人案物关联关系抽取方法 | |
CN114648029A (zh) | 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法 | |
CN115688784A (zh) | 一种融合字与词语特征的中文命名实体识别方法 | |
CN114997288A (zh) | 一种设计资源关联方法 | |
CN114398900A (zh) | 一种基于RoBERTa模型的长文本语义相似度计算方法 | |
CN114742069A (zh) | 一种代码相似度检测方法及装置 | |
CN111666374A (zh) | 一种在深度语言模型中融入额外知识信息的方法 | |
CN118467985A (zh) | 一种基于自然语言的训练评分方法 | |
CN111178080A (zh) | 一种基于结构化信息的命名实体识别方法及系统 | |
CN113051886B (zh) | 一种试题查重方法、装置、存储介质及设备 | |
CN117454898A (zh) | 一种根据输入文本实现法人实体标准化输出的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |