CN111881255B - 同义文本获取方法、装置、电子设备及存储介质 - Google Patents
同义文本获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111881255B CN111881255B CN202010587746.2A CN202010587746A CN111881255B CN 111881255 B CN111881255 B CN 111881255B CN 202010587746 A CN202010587746 A CN 202010587746A CN 111881255 B CN111881255 B CN 111881255B
- Authority
- CN
- China
- Prior art keywords
- text
- training data
- texts
- pair
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 164
- 230000014509 gene expression Effects 0.000 claims abstract description 50
- 230000015654 memory Effects 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了同义文本获取方法、装置、电子设备及存储介质，涉及智能搜索及深度学习领域，其中的方法可包括：获取训练数据，任一训练数据中分别包括：两个同义的文本；利用训练数据训练图模型，得到图模型中的各节点的向量表达，其中，图模型中的各节点分别对应于训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将两个节点通过边相连；针对图模型中的任一节点对应的待处理的文本，根据图模型中的各节点的向量表达，确定出待处理的文本的K个近邻文本，作为待处理的文本的同义文本，K为正整数。应用本申请所述方案，可提升同义文本的召回能力等。
Description
技术领域
本申请涉及计算机应用技术，特别涉及智能搜索及深度学习领域的同义文本获取方法、装置、电子设备及存储介质。
背景技术
智能搜索技术中，搜索引擎通常会为商家(广告主)提供三种关键词匹配服务来满足不同的推广需求：精确匹配、短语匹配和宽泛匹配。其中，精确匹配是指查询(query)和关键词(keyword)或者其同义变体字面内容一致，短语匹配是指关键词或同义变体作为短语包含在query中，宽泛匹配是指query和keyword语义相关，即存在语义相关性。
其中精确匹配由于其精准的流量触达能力，至今仍是搜索引擎中非常重要的一种匹配模式。目前，通常采用查询预先构建的同义词表的方式，来确定出同义变体等，同义词表中可记录有各query与对应的同义keyword(如可为同义keyword list)之间的对应关系。但这种方式完全受限于同义词表的覆盖程度，很难准确全面的获取到所需的内容。
发明内容
本申请提供了同义文本获取方法、装置、电子设备及存储介质。
一种同义文本获取方法，包括：
获取训练数据，任一训练数据中分别包括：两个同义的文本；利用所述训练数据训练图模型，得到所述图模型中的各节点的向量表达，其中，所述图模型中的各节点分别对应于所述训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将所述两个节点通过边相连；
针对所述图模型中的任一节点对应的待处理的文本，根据所述图模型中的各节点的向量表达，确定出所述待处理的文本的K个近邻文本，作为所述待处理的文本的同义文本，K为正整数。
一种同义文本获取装置，包括：预处理模块和文本获取模块；
所述预处理模块，用于获取训练数据，任一训练数据中分别包括：两个同义的文本，利用所述训练数据训练图模型，得到所述图模型中的各节点的向量表达，其中，所述图模型中的各节点分别对应于所述训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将所述两个节点通过边相连；
所述文本获取模块，用于针对所述图模型中的任一节点对应的待处理的文本，根据所述图模型中的各节点的向量表达，确定出所述待处理的文本的K个近邻文本，作为所述待处理的文本的同义文本，K为正整数。
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如以上所述的方法。
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：可借助于图模型中的各节点的向量表达，确定出待处理的文本的同义文本，从而摆脱了现有方式中的同义词表的限制，提升了同义文本的召回能力，能够准确全面的获取到所需的同义文本。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请所述同义文本获取方法第一实施例的流程图；
图2为本申请所述图模型的图网络结构示意图；
图3为本申请所述同义文本获取方法第二实施例的流程图；
图4为本申请所述同义文本获取装置40实施例的组成结构示意图；
图5为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请所述同义文本获取方法第一实施例的流程图。如图1所示，包括以下具体实现方式。
在101中，获取训练数据，任一训练数据中分别包括：两个同义的文本；利用训练数据训练图模型，得到图模型中的各节点的向量表达，其中，图模型中的各节点分别对应于训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将两个节点通过边相连。
在102中，针对图模型中的任一节点对应的待处理的文本，根据图模型中的各节点的向量表达，确定出待处理的文本的K个近邻文本，作为待处理的文本的同义文本，K为正整数。
本实施例中，可首先获取多条训练数据，每条训练数据中可分别包括两个同义(即语义相同)的文本，所述文本包括：第一文本和第二文本，第一文本和第二文本为不同类型的文本。也就是说，对于任一条训练数据来说，其中的两个同义的文本可均为第一文本，也可均为第二文本，还可分别为第一文本和第二文本。以搜索广告触发场景(关键词匹配服务)为例，第一文本可为query，第二文本可为keyword。但本申请所述方案并不局限于这两种文本。
以第一文本为query、第二文本为keyword为例，可采用以下方式来获取训练数据。
A、根据用户的搜索点击日志，将符合预定要求的两个query组成query对，若query对中的两个query的相似度大于第一阈值，则将query对作为训练数据。
比如，可根据query-url点击关系，组成query对，url即指统一资源定位符(Uniform Resource Locator)。用户输入query后，会展示搜索结果，用户可能点击了其中的某一个或某几个结果，从而形成query-url点击关系，假设某两个query对应同一个的url，那么则可将这两个query组成query对，并计算这个query对的余弦(cosine)相似度，若相似度高于第一阈值，则可将这个query对作为一条训练数据。
B、根据商家(广告主)购买日志，将符合预定要求的两个keyword组成keyword对，若keyword对中的两个keyword的相似度大于第二阈值，则将keyword对作为训练数据。
比如，同一商家或同一类型的不同商家购买了两个keyword，那么则可将这两个keyword组成keyword对，并计算这个keyword对的cosine相似度，若相似度高于第二阈值，则可将这个keyword对作为一条训练数据。
C、根据用户的会话(session)日志，将符合预定要求的两个query组成query对，若query对中的两个query的相似度大于第三阈值，则将query对作为训练数据。
比如，一个会话中可能包含多个query，如用户对某个query对应的搜索结果不满意，那么则可重新输入query，前后两次输入的query通常为相似query，可组成query对，并计算这个query对的cosine相似度，若相似度高于第三阈值，则可将这个query对作为一条训练数据。
D、根据预先构建的同义词表，构建训练数据，同义词表中记录有各query与对应的同义keyword之间的对应关系。
如同义词表中可记录有各query与对应的同义keyword list之间的对应关系，从而可根据所述对应关系构建训练数据。
通过上述方式，可离线挖掘出大量的高质量的训练数据，从而可为后续的模型训练等奠定良好的基础。
训练数据的具体数量可根据实际需要而定，比如，训练数据中可分别包括一亿个query和一亿个keyword。
基于获取到的训练数据，可进行图模型的训练。之所以采用图模型，是因为所述大量的高质量的训练数据可能是以一对多、多对一的形式存在的，比如一个query可能会有多个同义的query等，传统的模型只考虑一对一形式的数据，未能去考虑这种图结构类型的数据，另外query到keyword的同义检索也可以看成是图里面的一个典型的链路预测(linkprediction)问题。
图2为本申请所述图模型的图网络结构示意图。如图2所示，其中的各节点分别对应于训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则可将两个节点通过边相连，也就是说，可将出现在训练数据中的各文本进行去重处理后分别作为图模型中的一个节点，并且，将出现在同一训练数据中的两个节点通过边相连。
优选地，本实施例中采用了如图2所示的递归神经网络graphsage，但是并不局限于这种网络，其它的图网络形式也是可以的。
可利用训练数据训练图模型，得到图模型中的各节点的向量表达。其中，图模型中的任一节点的向量表达均可通过对该节点的邻居节点的向量表达进行聚合得到，邻居节点为与该节点通过边直接相连的节点。
聚合方法通常为将各邻居节点的向量表达进行拼接后再乘以一个预定取值的矩阵变换得到。如图2所示，以节点E为例，其邻居节点包括节点B、节点C、节点F和节点N，那么可通过聚合节点B、节点C、节点F和节点N的向量表达得到节点E的向量表达，再比如，节点N的邻居节点包括节点P、节点M、节点G和节点E，那么可通过聚合节点P、节点M、节点G和节点E的向量表达得到节点N的向量表达。
可基于传统的深度学习中的随机梯度下降方法来训练图模型。
完成上述处理后，针对任一待处理的第一文本，可根据得到的向量表达，如根据待处理的第一文本的向量表达及图模型中的各第二文本的向量表达，确定出待处理的第一文本的K个近邻第二文本，作为待处理的第一文本的同义文本，K为正整数，具体取值可根据实际需要而定，通常大于一。
待处理的第一文本为图模型中的文本/节点，在确定出待处理的第一文本的K个近邻第二文本时，至少可采用以下方式之一。
1)分别将图模型中的各第二文本与待处理的第一文本组成文本对，分别计算各文本对中的两个文本的向量表达之间的距离，按照距离从小到大的顺序对各文本对进行排序，选出排序后处于前K位的文本对，将选出的文本对中的第二文本作为待处理的第一文本的K个近邻第二文本。
即采用枚举的方法来两两计算向量表达之间的距离，选出距离待处理的第一文本距离最近的K个第二文本。
2)采用K近邻算法确定出待处理的第一文本的K个近邻第二文本。
所述K近邻算法具体为何种算法不作限制，比如，可为分层可通航小世界图(HNSW，Hierarchcal Navigable Small Worldgraphs)算法，具体实现为现有技术。
在实际应用中，具体采用上述哪种方式来确定出待处理的第一文本的K个近邻第二文本可根据实际需要而定，灵活方便。
可将确定出的K个近邻第二文本作为待处理的第一文本的同义文本。
可以看出，本实施例中所述的同义文本获取方式摆脱了现有方式中的同义词表的限制，提升了同义文本的召回能力，能够准确全面的获取到所需的同义文本。
进一步地，还可分别将各近邻第二文本与待处理的第一文本组成文本对，并分别获取各文本对中的两个文本的同义评分，过滤掉评分低于第四阈值的文本对，将剩余的文本对中的第二文本作为待处理的第一文本的同义文本。通过这种方式，可进一步过滤掉质量较差的近邻第二文本，从而进一步提升了获取到的同义文本的准确性等。
优选地，针对任一文本对，可分别利用同义判别模型，确定出该文本对中的两个文本的同义评分。同义判别模型可为对已有的基础模型进行微调(Finetune)得到的。所述基础模型可为知识增强的语义表示模型(ERNIE，Enhanced Representation from kNowledgeIntEgration)2.0。
基于已有的基础模型进行微调得到同义判别模型，可减少模型训练成本，提升训练效率等。
所述微调可包括两个阶段。具体地，可获取第一阶段微调训练数据，利用第一阶段微调训练数据对基础模型进行第一阶段微调，并获取第二阶段微调训练数据，利用第二阶段微调训练数据对进行第一阶段微调后的模型进行第二阶段微调，得到所需的同义判别模型，其中，第一阶段微调训练数据和第二阶段微调训练数据为采用不同方式获取到的训练数据。
仍以第一文本为query、第二文本为keyword为例。
第一阶段微调训练数据的获取方式可包括：按照预定策略对训练图模型时获取的训练数据进行筛选，将筛选出的训练数据作为第一阶段微调训练数据中的正例，根据获取到的商家的负反馈数据，构建第一阶段微调训练数据中的负例。
比如，可将方式A、方式B和方式C中的相似度对应的阈值增大，即对训练数据的要求更为严格，从而过滤掉一部分不符合要求的训练数据，将剩余的训练数据作为第一阶段微调训练数据中的正例，即正样本。另外，可按照现有方式获取商家的负反馈数据，商家会将不相关的query作屏蔽，这为本申请提供了很好的大量的高质量负例数据，如可将某个屏蔽的query和对应的keyword作为负例，即负样本。
第二阶段微调训练数据的获取方式可包括：获取混合类型的文本对，混合类型的文本对中包括：由query与对应的同义keyword组成的文本对、由query和作为短语包含在query中的keyword组成的文本对，以及query和与query存在语义相关性的keyword组成的文本对，将人工标注为正例和负例后的混合类型的文本对作为第二阶段微调训练数据。即可获取搜索引擎中的精确匹配、短语匹配和宽泛匹配等对应的混合类型的文本对，送给人工进行标注，如精确匹配对应的文本对通常会被标注为正例，短语匹配和宽泛匹配对应的文本对通常会被标注为负例等。
通过上述方式，可分别获取到不同阶段的微调训练数据，并可利用不同阶段的微调训练数据分阶段对基础模型进行微调，从而提升了模型训练效果等。
利用微调得到的同义判别模型，可对K个近邻第二文本分别与待处理的第一文本组成的文本对进行端到端的同义评分，并过滤掉评分低于第四阈值的文本对，将剩余的文本对中的第二文本作为待处理的第一文本的同义文本。
上述各阈值的具体取值均可根据实际需要而定。
图3为本申请所述同义文本获取方法第二实施例的流程图。如图3所示，包括以下具体实现方式。
在301中，获取训练数据，任一训练数据中分别包括两个同义的文本，所述文本包括：query和keyword。
本实施例中，以第一文本为query、第二文本为keyword为例进行说明。
获取训练数据的方式可包括：根据用户的搜索点击日志，将符合预定要求的两个query组成query对，若query对中的两个query的相似度大于第一阈值，则将query对作为训练数据；根据商家购买日志，将符合预定要求的两个keyword组成keyword对，若keyword对中的两个keyword的相似度大于第二阈值，则将keyword对作为训练数据；根据用户的会话日志，将符合预定要求的两个query组成query对，若述query对中的两个query的相似度大于第三阈值，则将query对作为训练数据；根据预先构建的同义词表，构建训练数据，同义词表中记录有各query与对应的同义keyword之间的对应关系。
在302中，将各训练数据中的query和keyword进行去重处理后分别作为图模型中的节点，若任意两个节点出现在同一训练数据中，则将两个节点通过边相连。
在303中，利用训练数据训练图模型，得到图模型中的各节点的向量表达，其中，任一节点的向量表达均通过对该节点的邻居节点的向量表达进行聚合得到，邻居节点为与该节点通过边直接相连的节点。
在304中，针对任一待处理的query，根据得到的向量表达，确定出待处理的query的K个近邻keyword，K为正整数。
比如，可分别将图模型中的各keyword与待处理的query组成文本对，分别计算各文本对中的两个文本的向量表达之间的距离，按照距离从小到大的顺序对各文本对进行排序，选出排序后处于前K位的文本对，将选出的文本对中的keyword作为待处理的query的K个近邻keyword。或者，可采用K近邻算法确定出待处理的query的K个近邻keyword。K通常大于一。
在305中，分别将各近邻keyword与待处理的query组成文本对。
在306中，针对任一文本对，分别利用同义判别模型，确定出该文本对中的两个文本的同义评分，同义判别模型为对已有的基础模型进行微调得到的。
所述微调可包括：获取第一阶段微调训练数据，利用第一阶段微调训练数据对基础模型进行第一阶段微调；获取第二阶段微调训练数据，利用第二阶段微调训练数据对进行第一阶段微调后的模型进行第二阶段微调，得到同义判别模型，其中，第一阶段微调训练数据和第二阶段微调训练数据为采用不同方式获取到的训练数据。
在307中，过滤掉评分低于第四阈值的文本对，将剩余的文本对中的keyword作为最终所需结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图4为本申请所述同义文本获取装置40实施例的组成结构示意图。如图4所示，包括：预处理模块400和文本获取模块401。
预处理模块400，用于获取训练数据，任一训练数据中分别包括：两个同义的文本，利用训练数据训练图模型，得到图模型中的各节点的向量表达，其中，图模型中的各节点分别对应于训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将两个节点通过边相连。
文本获取模块401，用于针对图模型中的任一节点对应的待处理的文本，根据图模型中的各节点的向量表达，确定出待处理的文本的K个近邻文本，作为待处理的文本的同义文本，K为正整数。
其中，所述两个同义的文本可包括：两个同义的第一文本，或两个同义的第二文本，或两个同义的第一文本和第二文本，第一文本和第二文本为不同类型的文本。
待处理的文本可包括：待处理的第一文本。相应地，文本获取模块401可根据待处理的第一文本的向量表达及图模型中的各第二文本的向量表达，确定出待处理的第一文本的K个近邻第二文本。
优选地，图模型中的任一节点的向量表达均通过对该节点的邻居节点的向量表达进行聚合得到，邻居节点为与该节点通过边直接相连的节点。
假设第一文本为query，第二文本为keyword，那么预处理模块400获取训练数据的方式可包括：根据用户的搜索点击日志，将符合预定要求的两个query组成query对，若query对中的两个query的相似度大于第一阈值，则将query对作为训练数据；根据商家购买日志，将符合预定要求的两个keyword组成keyword对，若keyword对中的两个keyword的相似度大于第二阈值，则将keyword对作为训练数据；根据用户的会话日志，将符合预定要求的两个query组成query对，若query对中的两个query的相似度大于第三阈值，则将query对作为训练数据；根据预先构建的同义词表，构建训练数据，同义词表中记录有各query与对应的同义keyword之间的对应关系。
文本获取模块401可分别将图模型中的各第二文本与待处理的第一文本组成文本对，并分别计算各文本对中的两个文本的向量表达之间的距离，按照距离从小到大的顺序对各文本对进行排序，选出排序后处于前K位的文本对，将选出的文本对中的第二文本作为待处理的第一文本的K个近邻第二文本。或者，文本获取模块401可采用K近邻算法确定出待处理的第一文本的K个近邻第二文本。
文本获取模块401还可分别将各近邻第二文本与待处理的第一文本组成文本对，并分别获取各文本对中的两个文本的同义评分，过滤掉评分低于第四阈值的文本对，将剩余的文本对中的第二文本作为待处理的第一文本的同义文本。
优选地，文本获取模块401可针对任一文本对，分别利用同义判别模型，确定出该文本对中的两个文本的同义评分，同义判别模型为对已有的基础模型进行微调得到的。
所述同义判别模型可由预处理模块400训练得到，具体过程可包括：获取第一阶段微调训练数据，利用第一阶段微调训练数据对基础模型进行第一阶段微调，获取第二阶段微调训练数据，利用第二阶段微调训练数据对进行第一阶段微调后的模型进行第二阶段微调，得到同义判别模型，其中，第一阶段微调训练数据和第二阶段微调训练数据为采用不同方式获取到的训练数据。
假设第一文本为query，第二文本为keyword，那么预处理模块400可按照预定策略对训练图模型时获取的训练数据进行筛选，将筛选出的训练数据作为第一阶段微调训练数据中的正例，根据获取到的商家的负反馈数据，构建第一阶段微调训练数据中的负例，另外，预处理模块400可获取混合类型的文本对，混合类型的文本对中可包括：由query与对应的同义keyword组成的文本对、由query和作为短语包含在query中的keyword组成的文本对，以及query和与query存在语义相关性的keyword组成的文本对，将人工标注为正例和负例的混合类型的文本对作为第二阶段微调训练数据。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。
总之，采用本申请装置实施例所述方案，可借助于图模型中的各节点的向量表达，确定出待处理的文本的同义文本，从而摆脱了现有方式中的同义词表的限制，提升了同义文本的召回能力，能够准确全面的获取到所需的同义文本等；可基于同义判别模型的评分，进一步过滤掉质量较差的近邻文本，从而进一步提高了获取到的同义文本的准确性等；可基于已有的基础模型进行微调得到同义判别模型，从而可减少模型训练成本，提升训练效率等。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管或者液晶显示器监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网、广域网、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种同义文本获取方法，包括：
获取训练数据，任一训练数据中分别包括：两个同义的文本，所述两个同义的文本包括：两个同义的第一文本，或两个同义的第二文本，或两个同义的第一文本和第二文本，第一文本和第二文本为不同类型的文本；利用所述训练数据训练图模型，得到所述图模型中的各节点的向量表达，其中，所述图模型中的各节点分别对应于所述训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将所述两个节点通过边相连；所述图模型中的任一节点的向量表达均通过对所述节点的邻居节点的向量表达进行聚合得到，所述邻居节点为与所述节点通过边直接相连的节点；
针对所述图模型中的任一节点对应的待处理的文本，根据所述图模型中的各节点的向量表达，确定出所述待处理的文本的K个近邻文本，作为所述待处理的文本的同义文本，K为正整数。
2.根据权利要求1所述的方法，其中，
所述待处理的文本包括：待处理的第一文本；所述根据所述图模型中的各节点的向量表达，确定出所述待处理的文本的K个近邻文本包括：根据所述待处理的第一文本的向量表达及所述图模型中的各第二文本的向量表达，确定出所述待处理的第一文本的K个近邻第二文本。
3.根据权利要求2所述的方法，其中，
所述第一文本包括：查询query；所述第二文本包括：关键词keyword；
所述获取训练数据包括：
根据用户的搜索点击日志，将符合预定要求的两个query组成query对，若所述query对中的两个query的相似度大于第一阈值，则将所述query对作为训练数据；
根据商家购买日志，将符合预定要求的两个keyword组成keyword对，若所述keyword对中的两个keyword的相似度大于第二阈值，则将所述keyword对作为训练数据；
根据用户的会话日志，将符合预定要求的两个query组成query对，若所述query对中的两个query的相似度大于第三阈值，则将所述query对作为训练数据；
根据预先构建的同义词表，构建所述训练数据，所述同义词表中记录有各query与对应的同义keyword之间的对应关系。
4.根据权利要求2所述的方法，其中，所述确定出所述待处理的第一文本的K个近邻第二文本包括：
分别将所述图模型中的各第二文本与所述待处理的第一文本组成文本对，分别计算各文本对中的两个文本的向量表达之间的距离，按照距离从小到大的顺序对各文本对进行排序，选出排序后处于前K位的文本对，将选出的文本对中的第二文本作为所述待处理的第一文本的K个近邻第二文本；
或者，采用K近邻算法确定出所述待处理的第一文本的K个近邻第二文本。
5.根据权利要求2所述的方法，还包括：
分别将各近邻第二文本与所述待处理的第一文本组成文本对，并分别获取各文本对中的两个文本的同义评分；
过滤掉评分低于第四阈值的文本对，将剩余的文本对中的第二文本作为所述待处理的第一文本的同义文本。
6.根据权利要求5所述的方法，其中，所述分别获取各文本对中的两个文本的同义评分包括：
针对任一文本对，分别利用同义判别模型，确定出所述文本对中的两个文本的同义评分；所述同义判别模型为对已有的基础模型进行微调得到的。
7.根据权利要求6所述的方法，其中，所述微调包括：
获取第一阶段微调训练数据，利用所述第一阶段微调训练数据对所述基础模型进行第一阶段微调；
获取第二阶段微调训练数据，利用所述第二阶段微调训练数据对进行第一阶段微调后的模型进行第二阶段微调，得到所述同义判别模型；
其中，所述第一阶段微调训练数据和所述第二阶段微调训练数据为采用不同方式获取到的训练数据。
8.根据权利要求7所述的方法，其中，
所述第一文本包括：查询query；所述第二文本包括：关键词keyword；
所述获取第一阶段微调训练数据包括：按照预定策略对训练所述图模型时获取的训练数据进行筛选，将筛选出的训练数据作为所述第一阶段微调训练数据中的正例，根据获取到的商家的负反馈数据，构建所述第一阶段微调训练数据中的负例；
所述获取第二阶段微调训练数据包括：获取混合类型的文本对，所述混合类型的文本对中包括：由query与对应的同义keyword组成的文本对、由query和作为短语包含在所述query中的keyword组成的文本对，以及query和与所述query存在语义相关性的keyword组成的文本对，将人工标注为正例和负例的所述混合类型的文本对作为所述第二阶段微调训练数据。
9.一种同义文本获取装置，包括：预处理模块和文本获取模块；
所述预处理模块，用于获取训练数据，任一训练数据中分别包括：两个同义的文本，所述两个同义的文本包括：两个同义的第一文本，或两个同义的第二文本，或两个同义的第一文本和第二文本，第一文本和第二文本为不同类型的文本；利用所述训练数据训练图模型，得到所述图模型中的各节点的向量表达，其中，所述图模型中的各节点分别对应于所述训练数据中的一个不同的文本，若任意两个节点出现在同一训练数据中，则将所述两个节点通过边相连；所述图模型中的任一节点的向量表达均通过对所述节点的邻居节点的向量表达进行聚合得到，所述邻居节点为与所述节点通过边直接相连的节点；
所述文本获取模块，用于针对所述图模型中的任一节点对应的待处理的文本，根据所述图模型中的各节点的向量表达，确定出所述待处理的文本的K个近邻文本，作为所述待处理的文本的同义文本，K为正整数。
10.根据权利要求9所述的装置，其中，
所述待处理的文本包括：待处理的第一文本；
所述文本获取模块根据所述待处理的第一文本的向量表达及所述图模型中的各第二文本的向量表达，确定出所述待处理的第一文本的K个近邻第二文本。
11.根据权利要求10所述的装置，其中，
所述第一文本包括：查询query；所述第二文本包括：关键词keyword；
所述预处理模块获取训练数据的方式包括：
根据用户的搜索点击日志，将符合预定要求的两个query组成query对，若所述query对中的两个query的相似度大于第一阈值，则将所述query对作为训练数据；
根据商家购买日志，将符合预定要求的两个keyword组成keyword对，若所述keyword对中的两个keyword的相似度大于第二阈值，则将所述keyword对作为训练数据；
根据用户的会话日志，将符合预定要求的两个query组成query对，若所述query对中的两个query的相似度大于第三阈值，则将所述query对作为训练数据；
根据预先构建的同义词表，构建所述训练数据，所述同义词表中记录有各query与对应的同义keyword之间的对应关系。
12.根据权利要求10所述的装置，其中，
所述文本获取模块分别将所述图模型中的各第二文本与所述待处理的第一文本组成文本对，分别计算各文本对中的两个文本的向量表达之间的距离，按照距离从小到大的顺序对各文本对进行排序，选出排序后处于前K位的文本对，将选出的文本对中的第二文本作为所述待处理的第一文本的K个近邻第二文本；
或者，所述文本获取模块采用K近邻算法确定出所述待处理的第一文本的K个近邻第二文本。
13.根据权利要求10所述的装置，其中，所述文本获取模块进一步用于，分别将各近邻第二文本与所述待处理的第一文本组成文本对，并分别获取各文本对中的两个文本的同义评分，过滤掉评分低于第四阈值的文本对，将剩余的文本对中的第二文本作为所述待处理的第一文本的同义文本。
14.根据权利要求13所述的装置，其中，所述文本获取模块针对任一文本对，分别利用同义判别模型，确定出所述文本对中的两个文本的同义评分，所述同义判别模型为对已有的基础模型进行微调得到的。
15.根据权利要求14所述的装置，其中，所述预处理模块进一步用于，获取第一阶段微调训练数据，利用所述第一阶段微调训练数据对所述基础模型进行第一阶段微调，获取第二阶段微调训练数据，利用所述第二阶段微调训练数据对进行第一阶段微调后的模型进行第二阶段微调，得到所述同义判别模型，其中，所述第一阶段微调训练数据和所述第二阶段微调训练数据为采用不同方式获取到的训练数据。
16.根据权利要求15所述的装置，其中，
所述第一文本包括：查询query；所述第二文本包括：关键词keyword；
所述预处理模块按照预定策略对训练所述图模型时获取的训练数据进行筛选，将筛选出的训练数据作为所述第一阶段微调训练数据中的正例，根据获取到的商家的负反馈数据，构建所述第一阶段微调训练数据中的负例；
所述预处理模块获取混合类型的文本对，所述混合类型的文本对中包括：由query与对应的同义keyword组成的文本对、由query和作为短语包含在所述query中的keyword组成的文本对，以及query和与所述query存在语义相关性的keyword组成的文本对，将人工标注为正例和负例的所述混合类型的文本对作为所述第二阶段微调训练数据。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010587746.2A CN111881255B (zh) | 2020-06-24 | 2020-06-24 | 同义文本获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010587746.2A CN111881255B (zh) | 2020-06-24 | 2020-06-24 | 同义文本获取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881255A CN111881255A (zh) | 2020-11-03 |
| CN111881255B true CN111881255B (zh) | 2023-10-27 |
Family
ID=73156569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010587746.2A Active CN111881255B (zh) | 2020-06-24 | 2020-06-24 | 同义文本获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881255B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925912B (zh) * | 2021-02-26 | 2024-01-12 | 北京百度网讯科技有限公司 | 文本处理方法、同义文本召回方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978356A (zh) * | 2014-04-10 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 一种同义词的识别方法及装置 |
| CN107122413A (zh) * | 2017-03-31 | 2017-09-01 | 北京奇艺世纪科技有限公司 | 一种基于图模型的关键词提取方法及装置 |
| CN109508414A (zh) * | 2018-11-13 | 2019-03-22 | 北京奇艺世纪科技有限公司 | 一种同义词挖掘方法及装置 |
| CN110413737A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种同义词的确定方法、装置、服务器及可读存储介质 |
| CN110442760A (zh) * | 2019-07-24 | 2019-11-12 | 银江股份有限公司 | 一种问答检索系统的同义词挖掘方法及装置 |
| CN111209410A (zh) * | 2019-12-27 | 2020-05-29 | 中国地质大学（武汉） | 一种基于锚点的动态知识图谱表示学习方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10095784B2 (en) * | 2015-05-29 | 2018-10-09 | BloomReach, Inc. | Synonym generation |
-
2020
- 2020-06-24 CN CN202010587746.2A patent/CN111881255B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978356A (zh) * | 2014-04-10 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 一种同义词的识别方法及装置 |
| CN107122413A (zh) * | 2017-03-31 | 2017-09-01 | 北京奇艺世纪科技有限公司 | 一种基于图模型的关键词提取方法及装置 |
| CN109508414A (zh) * | 2018-11-13 | 2019-03-22 | 北京奇艺世纪科技有限公司 | 一种同义词挖掘方法及装置 |
| CN110442760A (zh) * | 2019-07-24 | 2019-11-12 | 银江股份有限公司 | 一种问答检索系统的同义词挖掘方法及装置 |
| CN110413737A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种同义词的确定方法、装置、服务器及可读存储介质 |
| CN111209410A (zh) * | 2019-12-27 | 2020-05-29 | 中国地质大学（武汉） | 一种基于锚点的动态知识图谱表示学习方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种结合词向量和图模型的特定领域实体消歧方法;汪沛;线岩团;郭剑毅;文永华;陈玮;王红斌;;智能系统学报(03);全文 * |
| 基于图的同义词集自动获取方法;吴云芳等;《计算机研究与发展》(第第4期期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111881255A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11397772B2 (en) | Information search method, apparatus, and system | |
| CN111984689B (zh) | 信息检索的方法、装置、设备以及存储介质 | |
| US20210365515A1 (en) | Method for Recommending a Search Term, Method for Training a Target Model and Electronic Device | |
| JP2021166109A (ja) | 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム | |
| KR20160144384A (ko) | 딥 러닝 모델을 이용한 상황 의존 검색 기법 | |
| CN111949814A (zh) | 搜索方法、装置、电子设备和存储介质 | |
| US20210200813A1 (en) | Human-machine interaction method, electronic device, and storage medium | |
| CN111814077B (zh) | 信息点查询方法、装置、设备和介质 | |
| CN112541076B (zh) | 目标领域的扩充语料生成方法、装置和电子设备 | |
| WO2021139209A1 (zh) | 查询自动补全的方法、装置、设备和计算机存储介质 | |
| CN113553414B (zh) | 智能对话方法、装置、电子设备和存储介质 | |
| CN111538815B (zh) | 一种文本查询方法、装置、设备及存储介质 | |
| US10198497B2 (en) | Search term clustering | |
| CN111475725A (zh) | 用于搜索内容的方法、装置、设备和计算机可读存储介质 | |
| CN111563198B (zh) | 一种物料召回方法、装置、设备及存储介质 | |
| CN111984774B (zh) | 搜索方法、装置、设备以及存储介质 | |
| CN111310058B (zh) | 资讯主题的推荐方法、装置、终端及存储介质 | |
| CN111291184B (zh) | 表情的推荐方法、装置、设备及存储介质 | |
| CN112182348A (zh) | 语义匹配判定方法、装置、电子设备、计算机可读介质 | |
| CN112084150A (zh) | 模型训练、数据检索方法，装置，设备以及存储介质 | |
| CN111881255B (zh) | 同义文本获取方法、装置、电子设备及存储介质 | |
| CN112052397B (zh) | 用户特征生成方法、装置、电子设备及存储介质 | |
| CN112100530B (zh) | 网页分类方法、装置、电子设备及存储介质 | |
| CN111666417B (zh) | 生成同义词的方法、装置、电子设备以及可读存储介质 | |
| CN111309872B (zh) | 搜索处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |