CN115114919A - 呈现提示信息的方法和装置以及存储介质 - Google Patents
呈现提示信息的方法和装置以及存储介质 Download PDFInfo
- Publication number
- CN115114919A CN115114919A CN202110295319.1A CN202110295319A CN115114919A CN 115114919 A CN115114919 A CN 115114919A CN 202110295319 A CN202110295319 A CN 202110295319A CN 115114919 A CN115114919 A CN 115114919A
- Authority
- CN
- China
- Prior art keywords
- vector
- entity
- concepts
- context
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 168
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
公开了呈现提示信息的方法和装置以及存储介质。该方法包括：对神经网络输入包括实体和实体的上下文的电子文本、实体类型、上下文词性以及本文形式的多个预定义概念，其中该神经网络包括BERT模型和图卷积神经网络；使用BERT模型基于实体、上下文、实体类型和上下文词性的组合生成第一向量；使用BERT模型基于每一个概念生成第二向量；使用图卷积神经网络基于图生成第三向量，其中该图是基于多个概念和概念之间的关系而生成的；拼接第二向量和第三向量以生成第四向量；基于第一向量和第四向量计算实体和每一个概念之间的语义相似度；基于第一向量和语义相似度，确定实体对应于某一个概念；基于所确定的概念生成提示信息以呈现给用户。
Description
技术领域
本发明总体上涉及实体消歧(Entity Disambiguation)技术，更具体地，涉及利用实体消歧技术向用户呈现关于文本中的实体的提示信息的方法和装置、以及存储介质。
背景技术
在实际的语言环境中，经常存在着一个实体名称对应于多个概念的情况。例如，在文本中出现的实体名称“苹果”可能指一种水果，也可能指的是苹果公司。为了解决相同的实体名称产生歧义的问题，目前已经提出并发展了实体消歧技术。
实体消歧技术可以将上下文中的提及信息(mention)，即实体，链接到知识图谱中的适当概念，其在诸如问题回答、语义搜索和信息抽取的许多领域中扮演着基本角色。概念是指具有可区别性并且独立存在的某种事物，知识图谱中包括的不同概念之间存在相互联系。举例来说，现实中存在着名字相近的两个人物：迈克尔·杰弗里·乔丹和迈克尔·欧文·乔丹，前者是篮球明星，后者是机器学习领域的泰斗。因此，在知识图谱中可以存在以下两个概念：“篮球明星迈克尔·杰弗里·乔丹”以及“机器学习专家迈克尔·欧文·乔丹”。此外，在知识图谱中还可以存在着与“篮球明星迈克尔·杰弗里·乔丹”相关联的多个体育方面的概念，以及与“机器学习专家迈克尔·欧文·乔丹”相关联的多个计算机技术方面的概念。当一段文本中包括实体“迈克尔·乔丹”时，需要根据文本的上下文语境来确定该实体是指知识图谱中的“篮球明星迈克尔·杰弗里·乔丹”还是“机器学习领域专家迈克尔·欧文·乔丹”。
当利用实体消歧技术确定文本中提及的实体对应于某一具体概念后，可以基于所确定的概念向用户提供提示信息，以使用户能够明白该实体的正确含义。举例来说，针对文本“苹果今天发布了新的手机……”中出现的实体“苹果”，可以向用户给出提示：“苹果公司：一家美国高科技公司，代表产品有iPhone手机……”。
然而，由于自然语言具有高度复杂性，实体消歧技术面临着如何辨别上下文中实体的正确含义，并将其关联至知识图谱中的正确概念的挑战。
目前主要存在着两种实体消歧方法：使用排序模型对实体消岐问题建模的方法，以及使用分类模型对实体消歧问题建模的方法。
使用排序模型的方法包括候选概念生成和候选概念排序两个步骤。在生成候选概念的步骤中通常使用简单的规则，然而这经常会导致不能够筛选出正确的候选概念，进而又会在后续的排序步骤中产生级联误差。
使用分类模型的方法将实体消岐问题建模为单标签文本分类任务。例如ElenaTutubalina等人于2018年6月发表在《生物医学情报学杂志》(Journal of Biomedicalinformatics)上的论文“Medical concept normalization in social media posts withrecurrent neural networks”中所描述的模型包括两部分：神经网络和辅助特征。在神经网络部分，采用门控循环单元(Gated Recurrent Unit，GRU)网络和注意力机制网络对实体进行编码。在辅助特征部分，采用TF-IDF相似度和Word2Vec相似度对模型进行增强。然而，在该模型中，Word2Vec相似度特征没有足够的语义信息，因此难以正确地比较实体与概念之间语义级别的相似度。
发明内容
为了解决现有技术中存在的一个或多个问题，本发明提出了一种新的使用分类模型的方法，该方法采用BERT模型对实体进行编码，并且采用字符相似度和语义相似度作为辅助特征。根据本发明的方法能够提高将文本中提及的实体与知识图谱中的正确概念相关联的概率，从而为用户提供更加准确的提示信息。
根据本发明的一个方面，提供了一种计算机实现的利用神经网络向查看电子文本的用户呈现提示信息的方法，其中所述神经网络包括BERT模型和图卷积神经网络，所述方法包括：对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度；基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
根据本发明的另一个方面，提供了一种利用神经网络向查看电子文本的用户呈现提示信息的装置，其中所述神经网络包括BERT模型和图卷积神经网络，所述装置包括：存储有计算机程序的存储器；以及一个或多个处理器，所述处理器通过执行所述计算机程序而执行以下操作：对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度；基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
根据本发明的另一个方面，提供了一种向查看电子文本的用户呈现提示信息的装置，其中，所述电子文本包括实体和所述实体的上下文，所述装置包括：主模块、语义相似度计算模块、字符相似度计算模块和呈现模块，所述主模块包括：BERT模块，其被配置为基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合生成第一向量(V2)；以及分类模块，其被配置为基于所述第一向量(V2)、由所述语义相似度计算模块计算的语义相似度以及由所述字符相似度计算模块计算的字符相似度，来确定所述实体对应于多个预定义概念中的一个概念，其中所述概念是本文形式；所述语义相似度计算模块包括：BERT模块，其被配置为基于所述多个概念中的每一个概念生成第二向量(V4)；以及图卷积神经网络，其被配置为基于图生成第三向量(V5)，其中所述图是基于所述多个概念以及概念之间的关系而生成的，其中，所述语义相似度计算模块通过拼接所述第二向量(V4)和所述第三向量(V5)而生成第四向量(V6)，并且基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度，其中，所述字符相似度计算模块被配置为计算所述实体和所述多个概念中的每一个概念之间的字符相似度，其中，所述呈现模块被配置为基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
根据本发明的另一个方面，提供了一种存储有计算机程序的存储介质，所述计算机程序在被计算机执行时使得所述计算机执行如上所述的方法。
附图说明
图1示意性地示出了根据本发明的神经网络的架构。
图2示出了实体、上下文、实体类型和上下文词性的组合。
图3示意性地示出了基于所有概念构建的图。
图4示出了根据本发明的向用户呈现关于实体的提示信息的装置的模块图。
图5示出了根据本发明的向用户呈现关于实体的提示信息的方法的流程图。
图6示出了实现本发明的计算机硬件的示例性配置框图。
具体实施方式
图1示意性地示出了根据本发明的神经网络的架构。图1中的左半部分示出了主模型，右半部分示出了辅助特征部分。主模型主要用于执行分类任务，即，确定文本中包含的实体属于哪一概念(类别)。在主模型中采用了现有的BERT(Bidirectional EncoderRepresentation from Transformers，基于变换器的双向编码器表示技术)模型。在基于神经网络的自然语言处理中，文本中的每个字通常用一维向量来表示(称为“词向量”)，BERT模型使用词向量作为输入，输出与该字对应的融合了全文语义信息的向量表示。从而，BERT模型可以针对某一文本生成包含丰富语义信息的语义表示。然后，针对具体的自然语言处理任务，对所产生的文本的语义表示进行微调，以使其能够适用于该具体任务。
以下将依次描述本发明中的主模型以及辅助特征部分。
对于文本中出现的某一实体，本发明采用实体、上下文、实体类型和上下文词性的组合作为主模型的输入。图2示意性地示出了这种组合的具体形式。
如图2所示，第一行表示文本内容。在实体的首字符之前添加开始标记[E]，并且在尾字符之后添加结束标记[E/]，然后将实体的前文放置在开始标记[E]之前，将实体的后文放置在结束标记[E/]之后。以此方式，将实体与其上下文进行匹配。因此，“M1 M2…”表示实体的字符串，“L1 L2…”和“R1 R2…”分别表示实体的前文和后文的字符串。
此外，参照词典资源，标记实体的实体类型，并且标记相应上下文的词性信息。词典资源包括预先定义的词性词典和实体类型词典，在词性词典中定义了例如名词、动词、副词、形容词等词性，在实体类型词典中定义了多种实体类型，例如动物、公司、游戏等。图2中的第二行示出了参照词典资源而确定的本文中实体的类型Entity Typex以及上下文的词性POSi。
图2中第一行的文本内容可以表示为二维向量[batch_size,document_token]，其中batch_size表示输入的文档数目，document_token表示每个文档中的字符ID序列。类似地，第二行的词性和实体类型信息也可以表示为二维向量[batch_size,document_token]。
返回参照图1，嵌入与加和层(Embedding and Adding layer)110将输入的实体、上下文、实体类型和上下文词性的组合转化为非稀疏向量，以输入至BERT模型120。
具体来说，嵌入与加和层110将图2中第一行所对应的二维向量[batch_size,document_token]转换为[batch_size,document_token,embedding_dim]，其中embedding_dim表示嵌入的维度。类似地，嵌入与加和层110将图2中第二行所对应的二维向量[batch_size,document_token]转换为[batch_size,document_token,embedding_dim]。
然后，基于以下公式(1)，嵌入与加和层110对第一行与第二行进行加权求和，以获得输出向量V1。
V1＝sigmoid(W1X1+W2X2) -(1)
其中，sigmoid表示激活函数sigmoid＝1/(1+exp(-x)),W1，W2表示待训练的权重，X1，X2分别表示与图2中的第一行和第二行对应的转换后的向量。
BERT模型120接收由嵌入与加和层110输出的向量V1，并针对文本内容中的实体进行编码，提取实体的语义信息。鉴于BERT模型是本领域技术人员已知的，本发明中将不再进行具体描述。如上所述向BERT模型120输入向量V1[batch_size,document_token,embedding_dim]，BERT模型120输出向量V2[batch_size,bert_dim]，其中bert_dim表示BERT模型120的隐藏层维度，也就是输出维度。
拼接层130接收BERT模型120的输出V2，并将其与辅助特征拼接起来。辅助特征将在下文详细描述。拼接之后，拼接层130输出向量V3[batch_size,bert_dim+2*class_dim]，其中class_dim表示类别的数目。类别对应于知识图谱中的概念，因此class_dim也表示知识图谱中预定义的概念的数目。
随后，拼接层130的输出向量V3被输入至分类层140。作为一个示例，分类层140可以由Softmax分类器来实现。在分类层140中，向量V3首先被转换为独热编码形式(One-Hotencoding)，转换后的维度为[batch_size,class_dim]。然后，分类层140基于转换后的向量生成分类预测结果，该预测结果指示文本中的实体属于知识图谱中的每一个概念(类别)的概率，与最大概率对应的概念可以被确定为实体所属的概念。
特别地，在实践中知识图谱通常不可能囊括所有存在的概念，而是仅包括有限数量的概念。因此，可能存在以下情况：某一实体不属于知识图谱中的任何概念，用任何概念来解释该实体的含义都将是不合适的。针对这一情况，可以设置一个阈值。当预测结果中的最大概率大于该阈值时，将该最大概率所对应的概念确定为实体所属的概念，并且基于所确定的概念的内容生成对用户的提示信息，以帮助用户了解实体的正确含义。另一方面，当预测结果中的所有概率均小于该阈值时，说明实体不适于被分类到任何一个概念，在此情况下，将不针对该实体生成提示信息。
以下详细描述辅助特征。在本发明中，计算实体与概念之间的相似度特征作为辅助特征，以用于增强模型的性能。优选地，为了减少计算量，只选择预设的知识图谱中的概念。相似度特征包括字符相似度和语义相似度。作为一个示例，本发明使用BM25相似度作为字符相似度，并且使用基于神经网络的向量相似度作为语义相似度。
具体来说，在使用BM25相似度作为字符相似度的情况下，通过以下方式来计算字符相似度：针对文本中的一个实体，计算它与知识图谱中的每一个概念(以文本形式)之间的BM25相似度。作为计算结果，将获得一个维度是[batch_size,class_dim]的向量。鉴于BM25算法(Best Match 25，最佳匹配25)是本领域技术人员已知的文本相似度算法，本文中将省略计算BM25相似度的详细描述。
此外，关于语义相似度，本发明计算实体的向量表示与知识图谱中的每一个概念的向量表示之间的余弦相似度。作为计算结果，将获得一个维度是[batch_size,class_dim]的向量。以下将详细描述语义相似度的计算方法。
参见图1右半部分所示的辅助特征部分，使知识图谱中的每个概念经历嵌入与加和层110以及BERT模型120的处理，随后由BERT模型120输出表示每个概念自身的语义特征的向量V4。如图1所示，主模型和辅助特征部分共享使用嵌入与加和层110以及BERT模型120。
另一方面，基于知识图谱中的所有概念构建一个图，图3示出了所构建的图的一个示例。在图3中，每个节点N表示一个概念，节点之间的连线表示概念之间的相互关联。
针对所构建的图计算拉普拉斯矩阵，然后将该拉普拉斯矩阵输入至图卷积神经网络(GCN)150。鉴于图卷积神经网络(GCN)是本领域技术人员已知的技术，因此本发明将不再进行详细描述。GCN 150可以输出表示所有概念的整体特征的向量，该整体特征包含了各个概念之间的相互关系。由于概念之间是相互关联的，如图3的示意图所示，而GCN 150能够对概念之间的关系进行建模，因此GCN 150生成的向量V5中包含了不同概念之间的相互关系。向量V5的维度为[batch_size,graph_dim]，其中graph_dim表示GCN 150的输出层的维度。
然后，将BERT模型120的输出向量V4和GCN 150的输出向量V5都输入至拼接和维度转换层160。拼接和维度转换层160对向量V4和向量V5进行拼接以及维度转换，从而输出维度为[batch_size,bert_dim]的向量V6。需要注意的是，向量V6是知识图谱中的概念的向量表示。
另一方面，如上所述，在图1左半部分所示的主模型中，由BERT模型120针对输入的实体获得向量表示V2。然后，基于主模型中BERT模型120输出的实体的向量表示V2和由拼接和维度转换层160输出的概念的向量表示V6来计算实体和概念之间的语义相似度。
优选地，将向量V2和向量V6都输入至映射层170。映射层170用于将向量V2和向量V6映射到同一个向量空间，以便后续比较二者之间的相似度。映射层170本质上可以是一个带有隐藏层的全连接层，其根据以下公式(2)将输入的向量映射到同一向量空间：
Y＝sigmoid(WX+b) -(2)
其中，sigmoid表示激活函数sigmoid＝1/(1+exp(-x))，W和b表示待训练的权重。X表示输入的向量V2或V6，其维度是[batch_size,bert_dim]。Y表示映射后的向量，其维度是[batch_size,trans_dim]，其中trans_dim是实体的向量和概念的向量被映射至同一向量空间后的维度。
之后，可以根据以下公式(3)来计算余弦相似度，以作为语义相似度：
其中，x1和x2分别表示实体的向量表示和概念的向量表示。特别地，在利用映射层170的情况下，x1和x2分别表示映射后的向量表示。
至此，已经获得了作为辅助特征的字符相似度和语义相似度。如上文中关于主模型所描述的，将该辅助特征与BERT模型120的输出向量V2一起输入至拼接层130，以执行后续的处理。
以下将说明根据本发明的模型的训练过程。在训练中，对图1所示的模型输入训练数据集，训练数据集包括文本和知识图谱。文本包括实体及其上下文，知识图谱包括预定义的多个概念。模型最终生成对于实体的分类预测结果，预测结果指示该实体所属的概念。
基于预测的概念和真值，根据损失函数(例如交叉熵损失函数)来训练模型，从而获得模型的最优参数。在训练中，可以将BERT模型120的初始参数设置为BERT预训练模型的参数。然而，本领域技术人员也可以采用任何其它已知方法来执行训练，本发明对此不作限制。
训练完成后，可以利用训练好的模型来预测文本中提及的实体所对应的具体概念。然后，可以基于所预测的概念的内容生成对用户的提示信息，以帮助用户了解该实体的正确含义。可以以多种方式(例如，视觉方式、听觉方式)提供提示信息。例如，当用户正在浏览文档时，可以通过超链接或弹出窗口的方式向用户提示某一实体的含义，或者可以通过声音向用户进行提示。
图4示意性地示出了根据本发明的向用户呈现提示信息的装置的模块视图，图5示出了根据本发明的向用户呈现提示信息的方法的流程图。
参考图4和图5，根据本发明的装置包括主模块410、辅助特征生成模块420以及呈现模块430。在步骤S510，对主模块410输入实体、上下文、实体类型和上下文词性的组合(如图2所示)，并且对辅助特征生成模块420输入预定义的多个概念。
主模块410包括BERT模块411以及分类模块412。在步骤S520，由BERT模块411基于输入的实体、上下文、实体类型和上下文词性的组合，生成向量V2。
辅助特征生成模块420包括语义相似度计算模块421和字符相似度计算模块422，语义相似度计算模块421进一步包括BERT模块4211以及图卷积神经网络(GCN)模块4212。需要说明的是，辅助特征生成模块420中BERT模块4211与主模块410中的BERT模块411可以是同一模块，具有相同的功能，但为了描述清楚，下文中使用不同的附图标记来指代它们。
在步骤S530，由BERT模块4211基于输入的每一个概念生成向量V4。在步骤S540，基于输入的多个概念以及概念之间的相互关系生成图，并且由GCN模块4212基于所生成的图生成向量V5。向量V5表示多个概念的整体特征，该整体特征指示概念之间的相互关系。
然后，在语义相似度计算模块421中，对所生成的向量V4和向量V5进行拼接以生成向量V6(步骤S550)，然后基于向量V2和向量V6，根据公式(3)计算实体和每一个概念之间的语义相似度(步骤S560)。优选的是，可以在将向量V2和向量V6映射到同一向量空间之后计算语义相似度。
在步骤S570，由字符相似度计算模块422计算实体和每一个概念之间的字符相似度。
在步骤S580，由分类模块412基于由BERT模块411生成的向量V2以及由辅助特征生成模块420计算的语义相似度和字符相似度，来生成分类预测结果。该预测结果指示实体属于每一个概念的概率，与最大概率对应的概念可以被确定为实体所属的概念。
在步骤S590，由呈现模块430基于所确定的实体所属的概念生成提示信息，以呈现给用户。优选地，呈现模块430可以以视觉方式和/或听觉方式来呈现提示信息。
需要说明的是，根据本发明的方法不是必须按照图5中示出的顺序来执行，也可以以不同的顺序来执行，只要能够在技术上实现。例如，计算字符相似度的步骤S570也可以在计算语义相似度的处理之前执行。
以上已经结合实施例详细说明了本发明的模型和方法。本发明提供了一种新的基于分类模型的实体消歧方案，其中利用了BERT模型，并且使用字符相似度和语义相似度作为辅助特征。此外，本发明使用实体类型和上下文词性信息作为语义增强，有效地利用了词典资源信息，有助于提高模型的性能。此外，本发明利用图卷积神经网络(GCN)针对全部概念构成的图提取整体特征，从而可以使知识图谱中其它概念所包含的信息融入当前概念中，从而使当前概念包含的语义信息更加完善。
在上述实施例中描述的方法可以由软件、硬件或者软件和硬件的组合来实现。包括在软件中的程序可以事先存储在设备的内部或外部所设置的存储介质中。作为一个示例，在执行期间，这些程序被写入随机存取存储器(RAM)并且由处理器(例如CPU)来执行，从而实现在本文中描述的各种方法和处理。
图6示出了根据程序执行本发明的方法的计算机硬件的示例配置框图，该计算机硬件是根据本发明的识别面部动作的装置或生成面部图像的装置的示例。
如图6所示，在计算机600中，中央处理单元(CPU)601、只读存储器(ROM)602以及随机存取存储器(RAM)603通过总线604彼此连接。
输入/输出接口605进一步与总线604连接。输入/输出接口605连接有以下组件：以键盘、鼠标、麦克风等配置的输入单元606；以显示器、扬声器等配置的输出单元607；以硬盘、非易失性存储器等配置的存储单元608；以网络接口卡(诸如局域网(LAN)卡、调制解调器等)形成的通信单元609；以及驱动可移除介质611的驱动器610，该可移除介质611例如是磁盘、光盘、磁光盘或半导体存储器。
在具有上述结构的计算机中，CPU 601将存储在存储单元608中的程序经由输入/输出接口605和总线604加载到RAM 603中，并且执行该程序，以便执行上文中描述的方法。
要由计算机(CPU 601)执行的程序可以被记录在作为封装介质的可移除介质611上，该封装介质以例如磁盘(包括软盘)、光盘(包括压缩光盘-只读存储器(CD-ROM))、数字多功能光盘(DVD)等)、磁光盘、或半导体存储器来形成。此外，要由计算机(CPU 601)执行的程序也可以经由诸如局域网、因特网、或数字卫星广播的有线或无线传输介质来提供。
当可移除介质611安装在驱动器610中时，可以将程序经由输入/输出接口605安装在存储单元608中。另外，可以经由有线或无线传输介质由通信单元609来接收程序，并且将程序安装在存储单元608中。可替选地，可以将程序预先安装在ROM 602或存储单元608中。
由计算机执行的程序可以是根据本说明书中描述的顺序来执行处理的程序，或者可以是并行地执行处理或当需要时(诸如，当调用时)执行处理的程序。
本文中所描述的单元或装置仅是逻辑意义上的，并不严格对应于物理设备或实体。例如，本文所描述的每个单元的功能可能由多个物理实体来实现，或者，本文所描述的多个单元的功能可能由单个物理实体来实现。此外，在一个实施例中描述的特征、部件、元素、步骤等并不局限于该实施例，而是也可以应用于其它实施例，例如替代其它实施例中的特定特征、部件、元素、步骤等，或者与其相结合。
本发明的范围不限于在本文中描述的具体实施例。本领域普通技术人员应该理解的是，取决于设计要求和其他因素，在不偏离本发明的原理和精神的情况下，可以对本文中的实施例进行各种修改或变化。本发明的范围由所附权利要求及其等同方案来限定。
附记：
(1)一种计算机实现的利用神经网络向查看电子文本的用户呈现提示信息的方法，其中所述神经网络包括BERT模型和图卷积神经网络，所述方法包括：
对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；
使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；
使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；
使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；
通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；
基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度；
基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；
基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
(2)根据(1)所述的方法，还包括：
计算所述实体和所述多个概念中的每一个概念之间的字符相似度；
基于所述第一向量、所述语义相似度和所述字符相似度，确定所述实体所对应的概念。
(3)根据(2)所述的方法，其中，所述语义相似度是基于所述第一向量(V2)和所述第四向量(V6)计算的余弦相似度，所述字符相似度是所述实体与所述多个概念中的每一个概念之间的BM25相似度。
(4)根据(1)所述的方法，还包括：通过将所述实体和所述上下文所对应的向量与所述实体的类型和所述上下文的词性所对应的向量进行加权求和，来组合所述实体、所述上下文、所述实体的类型和所述上下文的词性。
(5)根据(1)所述的方法，其中，所述第三向量(V5)表示所述多个概念的整体特征，所述整体特征指示概念之间的相互关系。
(6)根据(1)所述的方法，其中，在将所述第一向量(V2)和所述第四向量(V6)映射到同一向量空间之后，计算所述语义相似度。
(7)根据(2)所述的方法，还包括：
基于所述第一向量、所述语义相似度和所述字符相似度，确定所述实体对应于所述多个概念中的每一个概念的概率，
当所确定的概率中的最大概率大于预定阈值时，将所述最大概率确定为所述实体所对应的概念；
当所确定的概率均小于所述预定阈值时，不为所述实体生成所述提示信息。
(8)根据(1)所述的方法，其中，以视觉方式和听觉方式中的至少一种向所述用户呈现所述提示信息。
(9)一种利用神经网络向查看电子文本的用户呈现提示信息的装置，其中所述神经网络包括BERT模型和图卷积神经网络，所述装置包括：
存储有计算机程序的存储器；以及
一个或多个处理器，所述处理器通过执行所述计算机程序而执行以下操作：
对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；
使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；
使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；
使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；
通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；
基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度；
基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；
基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
(10)一种向查看电子文本的用户呈现提示信息的装置，其中，所述电子文本包括实体和所述实体的上下文，所述装置包括：主模块、语义相似度计算模块、字符相似度计算模块和呈现模块，
所述主模块包括：
BERT模块，其被配置为基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合生成第一向量(V2)；
分类模块，其被配置为基于所述第一向量(V2)、由所述语义相似度计算模块计算的语义相似度以及由所述字符相似度计算模块计算的字符相似度，来确定所述实体对应于多个预定义概念中的一个概念，其中所述概念是本文形式，
所述语义相似度计算模块包括：
BERT模块，其被配置为基于所述多个概念中的每一个概念生成第二向量(V4)；
图卷积神经网络，其被配置为基于图生成第三向量(V5)，其中所述图是基于所述多个概念以及概念之间的关系而生成的，
其中，所述语义相似度计算模块通过拼接所述第二向量(V4)和所述第三向量(V5)而生成第四向量(V6)，并且基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度，
其中，所述字符相似度计算模块被配置为计算所述实体和所述多个概念中的每一个概念之间的字符相似度，
其中，所述呈现模块被配置为基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
(11)一种存储有计算机程序的存储介质，所述计算机程序在被计算机执行时使得所述计算机执行根据(1)-(8)任一项所述的向用户呈现提示信息的方法。
Claims (10)
1.一种计算机实现的利用神经网络向查看电子文本的用户呈现提示信息的方法，其中所述神经网络包括BERT模型和图卷积神经网络，所述方法包括：
对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；
使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；
使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；
使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；
通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；
基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个概念之间的语义相似度；
基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；
基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
2.根据权利要求1所述的方法，还包括：
计算所述实体和所述多个概念中的每一个概念之间的字符相似度；
基于所述第一向量、所述语义相似度和所述字符相似度，确定所述实体所对应的概念。
3.根据权利要求2所述的方法，其中，所述语义相似度是基于所述第一向量(V2)和所述第四向量(V6)计算的余弦相似度，所述字符相似度是所述实体与所述多个概念中的每一个概念之间的BM25相似度。
4.根据权利要求1所述的方法，还包括：通过将所述实体和所述上下文所对应的向量与所述实体的类型和所述上下文的词性所对应的向量进行加权求和，来组合所述实体、所述上下文、所述实体的类型和所述上下文的词性。
5.根据权利要求1所述的方法，其中，所述第三向量(V5)表示所述多个概念的整体特征，所述整体特征指示概念之间的相互关系。
6.根据权利要求1所述的方法，其中，在将所述第一向量(V2)和所述第四向量(V6)映射到同一向量空间之后，计算所述语义相似度。
7.根据权利要求2所述的方法，还包括：
基于所述第一向量、所述语义相似度和所述字符相似度，确定所述实体对应于所述多个概念中的每一个概念的概率，
当所确定的概率中的最大概率大于预定阈值时，将所述最大概率确定为所述实体所对应的概念；
当所确定的概率均小于所述预定阈值时，不为所述实体生成所述提示信息。
8.根据权利要求1所述的方法，其中，以视觉方式和听觉方式中的至少一种向所述用户呈现所述提示信息。
9.一种利用神经网络向查看电子文本的用户呈现提示信息的装置，其中所述神经网络包括BERT模型和图卷积神经网络，所述装置包括：
存储有计算机程序的存储器；以及
一个或多个处理器，所述处理器通过执行所述计算机程序而执行以下操作：
对所述神经网络输入所述电子文本、与所述电子文本有关的信息以及多个预定义的概念，其中，所述电子文本包括实体和所述实体的上下文，与所述电子文本有关的信息包括所述实体的类型和所述上下文的词性，所述概念是本文形式；
使用所述BERT模型基于所述实体、所述上下文、所述实体的类型和所述上下文的词性的组合，生成第一向量(V2)；
使用所述BERT模型基于所述多个概念中的每一个概念生成第二向量(V4)；
使用所述图卷积神经网络基于图生成第三向量(V5)，其中，所述图是基于所述多个概念以及概念之间的关系而生成的；
通过拼接所述第二向量(V4)和所述第三向量(V5)，生成第四向量(V6)；
基于所述第一向量(V2)和所述第四向量(V6)计算所述实体和所述多个概念中的每一个之间的语义相似度；
基于所述第一向量(V2)和所述语义相似度，确定所述实体对应于所述多个概念中的一个概念；
基于所确定的对应于所述实体的概念生成所述提示信息，以呈现给所述用户。
10.一种存储有计算机程序的存储介质，所述计算机程序在被计算机执行时使得所述计算机执行根据权利要求1-8中任一项所述的向用户呈现提示信息的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295319.1A CN115114919A (zh) | 2021-03-19 | 2021-03-19 | 呈现提示信息的方法和装置以及存储介质 |
| EP22162112.1A EP4060548A1 (en) | 2021-03-19 | 2022-03-15 | Method and device for presenting prompt information and storage medium |
| JP2022040587A JP2022145623A (ja) | 2021-03-19 | 2022-03-15 | ヒント情報を提示する方法及び装置並びにコンピュータプログラム |
| US17/695,857 US20220300708A1 (en) | 2021-03-19 | 2022-03-16 | Method and device for presenting prompt information and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295319.1A CN115114919A (zh) | 2021-03-19 | 2021-03-19 | 呈现提示信息的方法和装置以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115114919A true CN115114919A (zh) | 2022-09-27 |
Family
ID=80780679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295319.1A Pending CN115114919A (zh) | 2021-03-19 | 2021-03-19 | 呈现提示信息的方法和装置以及存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220300708A1 (zh) |
| EP (1) | EP4060548A1 (zh) |
| JP (1) | JP2022145623A (zh) |
| CN (1) | CN115114919A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648923A (zh) * | 2024-01-29 | 2024-03-05 | 安徽省立医院(中国科学技术大学附属第一医院) | 一种适用于医疗语境的中文拼写纠错方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230245146A1 (en) * | 2022-01-28 | 2023-08-03 | Walmart Apollo, Llc | Methods and apparatus for automatic item demand and substitution prediction using machine learning processes |
| US12019989B2 (en) * | 2022-08-16 | 2024-06-25 | Zhejiang Lab | Open domain dialog reply method and system based on thematic enhancement |
| JP2024040948A (ja) | 2022-09-13 | 2024-03-26 | 株式会社不二工機 | 流路切換弁 |
| CN116804998A (zh) * | 2023-08-22 | 2023-09-26 | 神州医疗科技股份有限公司 | 基于医学语义理解的医学术语检索方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324709A (zh) * | 2020-02-10 | 2020-06-23 | 广西师范大学 | 基于学科知识图谱和卷积神经网络的智能答疑方法 |
| CN111967253A (zh) * | 2020-08-29 | 2020-11-20 | 深圳呗佬智能有限公司 | 一种实体消歧方法、装置、计算机设备及存储介质 |
| CN112084383A (zh) * | 2020-09-07 | 2020-12-15 | 中国平安财产保险股份有限公司 | 基于知识图谱的信息推荐方法、装置、设备及存储介质 |
| US20210034701A1 (en) * | 2019-07-30 | 2021-02-04 | Baidu Usa Llc | Coreference-aware representation learning for neural named entity recognition |
| CN112434533A (zh) * | 2020-11-16 | 2021-03-02 | 广州视源电子科技股份有限公司 | 实体消歧方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11043214B1 (en) * | 2018-11-29 | 2021-06-22 | Amazon Technologies, Inc. | Speech recognition using dialog history |
| US10990879B2 (en) * | 2019-09-06 | 2021-04-27 | Digital Asset Capital, Inc. | Graph expansion and outcome determination for graph-defined program states |
| US20210374141A1 (en) * | 2020-05-29 | 2021-12-02 | Soco, Inc. | Question answering retrieval via sparse transformer matching |
-
2021
- 2021-03-19 CN CN202110295319.1A patent/CN115114919A/zh active Pending
-
2022
- 2022-03-15 JP JP2022040587A patent/JP2022145623A/ja active Pending
- 2022-03-15 EP EP22162112.1A patent/EP4060548A1/en active Pending
- 2022-03-16 US US17/695,857 patent/US20220300708A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210034701A1 (en) * | 2019-07-30 | 2021-02-04 | Baidu Usa Llc | Coreference-aware representation learning for neural named entity recognition |
| CN111324709A (zh) * | 2020-02-10 | 2020-06-23 | 广西师范大学 | 基于学科知识图谱和卷积神经网络的智能答疑方法 |
| CN111967253A (zh) * | 2020-08-29 | 2020-11-20 | 深圳呗佬智能有限公司 | 一种实体消歧方法、装置、计算机设备及存储介质 |
| CN112084383A (zh) * | 2020-09-07 | 2020-12-15 | 中国平安财产保险股份有限公司 | 基于知识图谱的信息推荐方法、装置、设备及存储介质 |
| CN112434533A (zh) * | 2020-11-16 | 2021-03-02 | 广州视源电子科技股份有限公司 | 实体消歧方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| IKUYA YAMADA 等: "Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities", HTTPS://ARXIV.ORG/ABS/1909.00426V2, 1 September 2019 (2019-09-01) * |
| ZHENG FANG 等: "High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking", WWW \'20: PROCEEDINGS OF THE WEB CONFERENCE 2020, 20 April 2020 (2020-04-20), pages 640 - 650, XP058722998, DOI: 10.1145/3366423.3380146 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648923A (zh) * | 2024-01-29 | 2024-03-05 | 安徽省立医院(中国科学技术大学附属第一医院) | 一种适用于医疗语境的中文拼写纠错方法 |
| CN117648923B (zh) * | 2024-01-29 | 2024-05-10 | 安徽省立医院(中国科学技术大学附属第一医院) | 一种适用于医疗语境的中文拼写纠错方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022145623A (ja) | 2022-10-04 |
| US20220300708A1 (en) | 2022-09-22 |
| EP4060548A1 (en) | 2022-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10170104B2 (en) | Electronic device, method and training method for natural language processing | |
| WO2020232861A1 (zh) | 命名实体识别方法、电子装置及存储介质 | |
| CN115114919A (zh) | 呈现提示信息的方法和装置以及存储介质 | |
| JP4148522B2 (ja) | 表現検出システム、表現検出方法、及びプログラム | |
| CN112906392B (zh) | 一种文本增强方法、文本分类方法及相关装置 | |
| WO2017127296A1 (en) | Analyzing textual data | |
| CN110866098B (zh) | 基于transformer和lstm的机器阅读方法、装置及可读存储介质 | |
| CN111930929A (zh) | 一种文章标题生成方法、装置及计算设备 | |
| KR20200087977A (ko) | 멀티모달 문서 요약 시스템 및 방법 | |
| JP7272060B2 (ja) | 生成方法、学習方法、生成プログラム、及び生成装置 | |
| US20220165257A1 (en) | Neural sentence generator for virtual assistants | |
| CN111241820A (zh) | 不良用语识别方法、装置、电子装置及存储介质 | |
| CN111241397A (zh) | 一种内容推荐方法、装置和计算设备 | |
| CN115861995A (zh) | 一种视觉问答方法、装置及电子设备和存储介质 | |
| CN113239666A (zh) | 一种文本相似度计算方法及系统 | |
| CN110968725A (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
| CN116341519A (zh) | 基于背景知识的事件因果关系抽取方法、装置及存储介质 | |
| CN111523312A (zh) | 一种基于释义消歧的查词显示方法、装置和计算设备 | |
| CN116842168B (zh) | 跨领域问题处理方法、装置、电子设备及存储介质 | |
| CN112632956A (zh) | 文本匹配方法、装置、终端和存储介质 | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN115859999B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
| Yadav et al. | Image Processing-Based Transliteration from Hindi to English | |
| CN111801673A (zh) | 应用程序的介绍方法、移动终端及服务器 | |
| CN115563270A (zh) | 呈现提示信息的方法和装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |