CN114398943A - 样本增强方法及其装置 - Google Patents

样本增强方法及其装置 Download PDF

Info

Publication number
CN114398943A
CN114398943A CN202111501568.8A CN202111501568A CN114398943A CN 114398943 A CN114398943 A CN 114398943A CN 202111501568 A CN202111501568 A CN 202111501568A CN 114398943 A CN114398943 A CN 114398943A
Authority
CN
China
Prior art keywords
entity
corpus
triple information
target
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111501568.8A
Other languages
English (en)
Other versions
CN114398943B (zh
Inventor
刘剑
孙建东
史亚冰
蒋烨
柴春光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111501568.8A priority Critical patent/CN114398943B/zh
Publication of CN114398943A publication Critical patent/CN114398943A/zh
Priority to EP22211847.3A priority patent/EP4170542A3/en
Priority to US18/063,089 priority patent/US20230103728A1/en
Application granted granted Critical
Publication of CN114398943B publication Critical patent/CN114398943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种样本增强方法及其装置，涉及人工智能领域，尤其涉及知识图谱和自然语言处理领域。具体实现方案为：对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息；对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息；根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。本申请对样本语料进行多种方式下的数据增强，从而可以在样本语料较少的情况下也能生成较高质量的语料，减少了语义丧失，提升三元组信息抽取的效果，且不需要大量对样本语料进行标注。

Description

样本增强方法及其装置
技术领域
本公开涉及人工智能领域，尤其涉及知识图谱和自然语言处理领域，具体涉及一种样本增强方法及其装置。
背景技术
相关技术中，在对语料抽取三元组信息时，对大量语料进行标注耗费成本较高，而简单的词汇增强效果不明显且会导致语料丧失语义，在输入模型识别时，实体识别子任务与关系分类子任务是独立的，忽略了这两个子任务之间的相关性，导致两个子任务的特征信息无法交互。
发明内容
本公开提供了一种用于样本增强的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种样本增强，通过对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和所述第二样本语料的第二三元组信息；对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息；根据所述第一样本语料和所述第一三元组信息、所述第二样本语料和所述第二三元组信息，以及所述第三样本语料和所述第三三元组信息，生成三元组信息抽取网络的训练语料集。
本申请提出的数据增强以及半监督学习能够起到扩充数据的作用，并且能够显著提升SPO三元组抽取的效果。通过数据增强生成的数据质量都比较高，而半监督学习通过多个模型投票的方式，能够显著降低模型预测方差并提升模型效果。故本申请提出的方法，只需要少量标注数据即可达到较好的效果，从而大大减少了人力成本。
根据本公开的另一方面，提供了一种样本增强装置，包括增强模块，用于对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和所述第二样本语料的第二三元组信息；获取模块，用于对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息；生成模块，用于根据所述第一样本语料和所述第一三元组信息、所述第二样本语料和所述第二三元组信息，以及所述第三样本语料和所述第三三元组信息，生成三元组信息抽取网络的训练语料集。
本申请提出的数据增强以及半监督学习能够起到扩充数据的作用，并且能够显著提升SPO三元组抽取的效果。通过数据增强生成的数据质量都比较高，而半监督学习通过多个模型投票的方式，能够显著降低模型预测方差并提升模型效果。故本申请提出的方法，只需要少量标注数据即可达到较好的效果，从而大大减少了人力成本。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述样本增强方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述样本增强方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述样本增强方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一示例性实施例的一种样本增强方法的示意图。
图2是根据本公开一示例性实施例的基于实体指称替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息的示意图。
图3是根据本公开一示例性实施例的基于同义词替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息的示意图。
图4是根据本公开一示例性实施例的基于相同实体类别下的词元替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息的示意图。
图5是根据本公开一示例性实施例的基于回译，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息的示意图。
图6是根据本公开一示例性实施例的获取第三样本语料的第三三元组信息的示意图。
图7是根据本公开一示例性实施例的对三元组信息抽取网络进行训练的示意图。
图8是根据本公开一示例性实施例的获取训练语料集的三元组信息的示意图。
图9是根据本公开一示例性实施例的一种样本增强方法的的示意图。
图10是根据本公开一示例性实施例的一种样本增强方法的的示意图。
图11是根据本公开一示例性实施例的一种样本增强装置的示例性示意图。
图12是根据本公开一示例性实施例的电子设备的示例性示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。
图1是本申请提出的一种样本增强方法的示例性实施方式，如图1所示，该样本增强方法，包括以下步骤：
S101，对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息。
信息抽取(Information Extraction，IE)是把文本里包含的信息进行结构化处理，变成表格一样的组织形式，其目标是识别出文本中出现的各种元素，例如时间、地点、人物，以及元素间的关系。
本申请中是根据信息抽取获得样本语料的三元组信息。可选地，三元组信息可为SPO(Subject，Predicate，Object)三元组信息，即为知识三元组信息，其中，Subject指的是实体，一般指可以用名字标识的现实中的事物，如人名、地名、组织机构名等，还包括时间表达式、数字表达式、地址等；Predicate指的是实体的属性或者实体之间的关系；Object指的是实体的属性值或者关联实体。举例说明，若SPO三元组信息为(A公司，产品，手机)，则其代表的含义是A公司所生产的产品是手机，其中，A公司为实体，产品为实体之间的关系，手机为关联实体。
获取标注有第一三元组信息的第一样本语料，为了避免标注的第一样本语料较少的情况下获取的抽取模型结果不准确，需要对第一样本语料进行数据增强。其中，数据增强是扩充数据样本规模的一种有效地方法，从而使得数据的规模增大，模型才能够有着更好的泛化能力。
将数据增强后获得的语料作为第二样本语料，将第二样本语料对应的三元组信息作为第二三元组信息。可选地，对第一样本语料进行数据增强时，可采用实体指称替换、同义词替换、同实体类别下的词元替换和回译等方法。
S102，对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息。
为了扩充数据样本规模，对没有进行标记的第三样本语料进行半监督学习，并获取半监督学习后获得的第三样本语料的第三三元组信息。其中，半监督学习(Semi-Supervised Learning，SSL)是监督学习与无监督学习相结合的一种学习方法，半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。
可选地，可采用正向无标记学习(Positive-unlabeled learning，PU Learning)算法、自训练算法(self-training)等算法对无三元组信息的第三样本语料进行半监督学习。
S103，根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。
将上述获得的第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息进行组合，生成三元组信息抽取网络的训练语料集。
本申请提出了一种样本增强方法，通过对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息；对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息；根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。本申请提出的数据增强以及半监督学习能够起到扩充数据的作用，并且能够显著提升SPO三元组抽取的效果。通过数据增强生成的数据质量都比较高，而半监督学习通过多个模型投票的方式，能够显著降低模型预测方差并提升模型效果。故本申请提出的方法，只需要少量标注数据即可达到较好的效果，从而大大减少了人力成本。
进一步地，为了扩充训练语料集的形式，从而提升三元组信息抽取网络的泛化能力，需要对标注有第一三元组信息的第一样本语料进行数据增强。在对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息时。可选地，可以基于实体指称替换、同义词替换、同实体类别下的词元(token)替换和回译中的至少一种数据增强操作，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息。下面分别对这四种方法进行介绍。
图2是本申请提出的一种样本增强方法的示例性实施方式，如图2所示，基于实体指称替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，包括以下步骤：
S201，对第一三元组信息中实体进行实体指称替换，生成第二三元组信息。
实体指称是指第一三元组信息中的Subject实体和Object关联实体，实体指称替换指的是将第一三元组信息中的Subject实体和Object关联实体进行同类实体替换，从而生成实体指称替换后的第二三元组信息。
在对第一三元组信息中实体进行实体指称替换时，可以根据第一三元组信息中实体的类型，确定用于替换的候选实体，其中，用于替换的候选实体来自于第一样本语料中的同类型实体或者预设的实体-类型词表。
由于有的第一三元组信息中实体之间存在重叠关系，而有的第一三元组信息中实体之间不存在重叠关系，故需要识别第一三元组信息中实体之间是否存在重叠关系，并根据重叠关系的识别结果，确定用于实体指称替换的目标实体词典。
作为一种可实现的方式，若识别结果指示第一三元组信息中实体之间未存在重叠关系，则获取第一三元组信息中实体的实体类型，并获取实体类型对应的实体词典，将该实体字典确定为目标实体词典。举例说明，若第一三元组信息为(A公司，产品，手机)，“A公司”与“手机”不存在重叠关系，则获取第一三元组信息中实体的实体类型，实体类型对应的实体词典中，S(Subject)实体对应的目标实体词典可以为公司词典：A公司、B公司、C公司、D公司……，O(Object)实体对应的目标实体词典可以为产品词典：手机、平板、纸巾、茶具……
作为另一种可实现的方式，若识别结果指示第一三元组信息中实体之间存在重叠关系，则获取重叠实体词典，作为重叠实体对应的目标实体词典，其中，重叠实体词典中包括有重叠关系的实体对。举例说明，若第一三元组信息为(新疆，特产，新疆大枣)，其中，O(Object)实体“新疆大枣”中对应的既有实体“新疆”，又有实体“大枣”，则O(Object)实体“新疆大枣”中存在重叠关系。获取重叠实体词典，作为重叠实体对应的目标实体词典，其中，重叠实体词典中包括有重叠关系的实体对，比如说：“山东-山东大葱”、“北京-北京糖葫芦”等。
获取第一三元组信息中存在重叠关系的实体对对应的实体类型对，从重叠实体词典中获取与实体类型对匹配的替换实体对，基于替换实体对，对存在重叠关系的实体对进行实体指称替换，生成第二三元组信息。举例说明，第一三元组信息(新疆，特产，新疆大枣)，对“新疆大枣”可替换为“山东大葱”、“北京糖葫芦”，可得到第二三元组信息(山东，特产，山东大葱)和第二三元组信息(北京，特产，北京糖葫芦)。
S202，确定第一三元组信息中实体在第一样本语料中的位置。
确定第一三元组信息中实体在第一样本语料中的位置。比如说，可以确定第一三元组信息中实体在第一样本语料中的第几个字。举例说明，若第一样本语料为“A公司的产品是手机，我试了试，挺不错的”，当第一三元组信息为(A公司，产品，手机)时，第一三元组信息中S(Subject)实体和O(Object)实体分别为“A公司”和“手机”，“A公司”在第一样本语料中的位置为第1字-第3字，“手机”在第一样本语料中的位置为第8字-第9字。
S203，将位置上的实体替换为第二三元组信息中的实体，生成第二样本语料。
将上述确定的第一三元组信息中实体在第一样本语料中的位置上的实体替换为第二三元组信息中的实体，将生成的语料作为第二样本语料。
举例说明，第一样本语料为“A公司的产品是手机，我试了试，挺不错的”，根据“A公司”对应的目标实体词典，对“A公司”进行实体替换，根据“手机”对应的目标实体词典，对“手机”进行实体替换。示例性的，替换后生成的第二样本语料可以为：“B公司的产品是茶具，我试了试，挺不错的”、“E公司的产品是台灯，我试了试，挺不错的”。
本申请以1条第一样本语料生成2条第二样本语料为示例，不能作为对本申请的限制，在实际使用情况下，可根据工作人员设置，确定根据第一样本语料生成第二样本语料的个数。
需要注意的是，如果所替换的实体指称不只包含1个token，那么，依次延展BIO(B-begin，I-inside，O-outside)标签。示例性地，如果所替换的实体指称为“张三是个优秀的明星”，其对应的BIO标签为BIOOOOOBI，若替换为“李二柱是个优秀的明星”，替换后其对应的延展后的BIO标签为BIIOOOOOBI。
本申请实施例基于实体指称替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，减少了语义丧失，提升了三元组信息抽取的效果，且根据实体之间是否存在重叠关系，设计了不同的字典，更适用于多种行业。
图3是本申请提出的一种样本增强方法的示例性实施方式，如图3所示，基于同义词替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，包括以下步骤：
S301，对第一样本语料进行分词，获取分词后的候选词元。
对第一样本语料进行分词，获取分词后的候选词元。比如说，若第一样本语料为“H公司的产品是甜点，我昨天品尝了两个，味道挺不错的”，对第一样本语料进行分词，分词后的候选词元分别为：“H”、“公司”、“产品”、“甜点”、“我”、“昨天”、“品尝”、“两个”、“味道”、“不错”。
S302，对第一样本语料中实体指称之外的词元进行同义词替换，生成第二样本语料，其中，第二三元组信息与第一三元组信息相同。
同义词的含义是语言不同而语义相同或相近的语词。本申请实施例中同义词替换指的是将第一样本语料中对应的第一三元组信息中的Subject实体和Object关联实体之外的词元，随机替换成语言不同而语义相同或相近的语元，从而生成第二样本语料。
上述第一样本语料“H公司的产品是甜点，我昨天品尝了两个，味道挺不错的”对应的第一三元组信息为(H公司，产品，甜点)，对第一样本语料中实体指称之外的词元，按照一定概率抽取出需要被替换的候选词元进行同义词替换，生成第二样本语料。
可选地，概率可以为人为设定，也可以是随机确定，范围可以是0.1～1，可选地，概率可以服从二项分布。举例说明，第二样本语料可为“H公司的产品是甜点，我今天品尝了两个，味道挺优秀的”，或者“H公司的产品是甜点，我前天尝试了五个，口感挺特别的”。其中，由于没有对第一样本语料中的实体进行同义词替换，第二样本语料对应的第二三元组信息与第一样本语料对应的第一三元组信息相同。
本申请实施例基于同义词替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，减少了语义丧失，提升了三元组信息抽取的效果。
图4是本申请提出的一种样本增强方法的示例性实施方式，如图4所示，基于相同实体类别下的词元替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，包括以下步骤：
S401，对第一样本语料进行分词，获取分词后的候选词元。
词元替换指的是将第一样本语料中实体类别的词元作为待替换词元，并将待替换词元替换为与其所属实体类别相同的词元。
对第一样本语料进行分词，获取分词后的候选词元。比如说，若第一样本语料为“A市H公司的产品是新疆大枣，味道挺不错的”，其对应的第一三元组信息为(A市H公司，产品，新疆大枣)。对第一样本语料进行分词，分词后的候选词元分别为：“A市”、“H”、“公司”、“产品”、“新疆”、“大枣”、“味道”、“不错”。
S402，从候选词元中选取被标为实体类别的词元，作为待替换的目标词元。
对分词后得到的候选词元进行BIO类型的识别，确定每个词元的BIO标签。可以将被标注为B类型的候选词元和被标注为I类型的候选词元选取被标为实体类别的词元，作为待替换的目标词元。
比如说，从上述分词后的候选词元中选取被标为实体类别的词元“A市”、“H”、“公司”和“新疆”、“大枣”。
S403，获取与目标词元所属实体类别相同的替换词元。
获取与目标词元所属实体类别相同的替换词元。比如说，可将“A市H公司”的替换词元确定为“A市B公司”，可将“新疆大枣”的替换词元确定为“新疆哈密瓜”。
S404，将第一样本语料中目标词元替换为替换词元，生成第二样本语料。
将第一样本语料中目标词元替换为替换词元，生成第二样本语料。比如说，将“A市H公司”的替换词元确定为“A市B公司”，可将“新疆大枣”的替换词元确定为“新疆哈密瓜”，则第二样本语料为“A市B公司的产品是新疆哈密瓜，味道挺不错的”。
S405，基于替换词元更新第一三元组信息，生成第二三元组信息。
根据替换词元后生成的第二样本语料，生成第二三元组信息。比如说上述第二样本语料为“A市B公司的产品是新疆哈密瓜，味道挺不错的”对应的第二三元组信息为(A市B公司，产品，新疆哈密瓜)。
需要注意的是，如果替换词元不只包含1个词元，那么，依次延展BIO(B-begin，I-inside，O-outside)标签。
本申请实施例基于相同实体类别下的词元替换，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，减少了语义丧失，提升了三元组信息抽取的效果。
图5是本申请提出的一种样本增强方法的示例性实施方式，如图5所示，基于回译，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，包括以下步骤：
S501，将第一样本语料中的实体指称替换为目标符号。
回译指的是将第一样本语料翻译成某种中间语言后，再将中间语言重新翻译成第一样本语料原始语言，从而对第一样本语料进行数据增强，以获取第二样本语料。
为了保证翻译前后实体指称的完整性，将第一样本语料中的实体指称替换为目标符号。比如说，若第一样本语料为“H公司的产品是甜点，我昨天品尝了两个，味道挺不错的”，可将实体指称“H公司”替换为“MMM”,可将实体指称“甜点”替换为“NN”。
S502，对替换为目标符号的第一样本语料进行翻译，生成中间样本语料。
将上述第一样本语料为“H公司的产品是甜点，我昨天品尝了两个，味道挺不错的”的实体指称“H公司”替换为“MMM”,可将实体指称“甜点”替换为“NN”，得到“MMM的产品是NN，我昨天品尝了两个，味道挺不错的”。对替换为目标符号的第一样本语料进行翻译，生成中间样本语料。可选地，可采用英文，意大利语，法语等语言进行翻译。
示例性的，可将替换为目标符号的第一样本语料翻译成英文，获得中间样本语料“MMM’s product is NN,I tasted two yesterday and they tasted pretty good”。
S503，对中间样本语料进行回译，将回译生成的样本语料中的目标字符替换为实体指称，得到第二样本语料，其中，第二三元组信息与第一三元组信息相同。
对中间样本语料进行回译，将回译生成的样本语料中的目标字符替换为实体指称，得到第二样本语料。
示例性的，将中间样本语料“MMM’s product is NN,I tasted two yesterdayand they tasted pretty good”进行回译，获得回译生成的样本语料为“MMM的产品是NN，我昨天尝了两个，味道还不错”，将回译生成的样本语料中的目标字符替换为实体指称，即将“MMM”替换为“H公司”，将“NN”替换为“甜点”，得到替换后得到的样本语料为“H公司的产品是甜点，我昨天尝了两个，味道还不错”，将替换后得到的样本语料作为第二样本语料。
本申请实施例基于回译，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息，减少了语义丧失，提升了三元组信息抽取的效果。
图6是本申请提出的一种样本增强方法的示例性实施方式，如图6所示，对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息，包括以下步骤：
S601，基于第一样本语料和第二样本语料，训练多类第一三元组预测模型。
对上述获得的第一样本语料和第二样本语料进行训练，获取多类第一三元组预测模型。比如说，对上述获得的第一样本语料和第二样本语料进行训练，获取5个不同类别的第一三元组预测模型。
S602，将第三样本语料输入每个第一三元组预测模型中，以预测第三样本语料对应的候选三元组信息。
将第三样本语料输入每个第一三元组预测模型中，以预测第三样本语料对应的候选三元组信息。其中，第三样本语料为没有进行标注的样本语料。比如说，将第三样本语料输入5个第一三元组预测模型中，以预测第三样本语料对应的5组候选三元组信息。
S603，从候选三元组信息中，基于投票机制确定第三三元组信息。
从候选三元组信息中，基于投票机制确定第三三元组信息。比如说，5个第一三元组预测模型输出的5组候选三元组信息中，若有3个及3个以上的第一三元组预测模型都预测出了同一候选三元组信息，则将该候选三元组信息确定为第三三元组信息。
本申请实施例通过对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息，增加了较高质量的样本语料和三元组信息的数量，减少了语义丧失，提升了三元组信息抽取的效果。
图7是本申请提出的一种样本增强方法的示例性实施方式，如图7所示，基于上述实施例的基础上，生成三元组信息抽取网络的训练语料集之后，还包括以下步骤：
S701，基于训练语料集中的批量训练语料对三元组信息抽取网络进行迭代训练。
对上述获得的训练语料集中的训练语料进行分词，得到训练语料的词元，并得到每个词元的词编码。图8是获取训练语料集的三元组信息的示意图，如图8所示，将训练语料集在输入层进行分词，并得到每个词元的词编码。比如说，若某个训练语料为“A国B公司生产的手机比C国D公司生产的平板销量高”，则对其进行分词后可得到『[CLS]|A|国|B|公|司|生|产|的|手机|比|C|国|D|公|司|生|产|的|平|板|销|量|高|[SEP]』，再对每个词元的词编码，可分别对应表示为E[CLS]、E1、E2……En-1、En、E[SEP],其中，n为进行分词的任一训练语料的字体加标点符号的总个数。
如图8所示，将每个词元的词编码输入三元组信息抽取网络中的预训练语言模型中进行上下文关联，以输出每个词元的语义表征向量。可表示为：H[CLS]、H1、H2……Hn-1、Hn、H[SEP]。
如图8所示，将每个词元的语义表征向量输入多指针分类模型中进行实体类别预测，可选地，类别预测的标签可表示为010……100、000……010等，以输出训练语料的预测三元组信息。
获取训练语料中被预测为第一实体类别的候选第一实体，以及被预测为第二实体类别的候选第二实体。其中，第一实体类别为SPO三元组信息中的S(Subject)实体，第二实体类别为SPO三元组信息中的O(Object)实体。
从候选第一实体中选取预测概率大于第一设定阈值的实体，确定为目标第一实体。示例性的，可以将第一设定阈值设置为0.5，则从候选第一实体中选取预测概率大于0.5的实体，确定为目标第一实体。
从候选第二实体中选取预测概率大于第二设定阈值的实体，确定为目标第二实体。示例性的，可以将第二设定阈值设置为0.5，则从候选第二实体中选取预测概率大于0.5的实体，确定为目标第二实体。
基于上述已经确定的目标第一实体和目标第二实体，生成训练语料的预测三元组信息，以下列三种方式做示例性说明。
作为一种可实现的方式，对目标第一实体和目标第二实体进行组合，以确定第一实体对，根据第一实体对和第一实体对的实体关系，生成训练语料的预测三元组信息。示例性的，第一实体对可为“A国”和“B公司”，则第一实体对和第一实体对的实体关系为B公司的属地是A国，生成训练语料的预测三元组信息为(B公司，属地，A国)。
作为另一种可实现的方式，获取目标第一实体和目标第二实体之间的距离，并根据距离确定第二实体对，根据第二实体对和第二实体对的实体关系，生成训练语料的预测三元组信息。可选地，可获取目标第一实体和目标第二实体之间的相似度，选取相似度大于相似度阈值的目标第一实体和目标第二实体作为第二实体对，根据第二实体对和第二实体对的实体关系，生成训练语料的预测三元组信息。可选地，可获取目标第一实体和目标第二实体之间的欧氏距离，选取欧氏距离小于距离阈值的目标第一实体和目标第二实体作为第二实体对，根据第二实体对和第二实体对的实体关系，生成训练语料的预测三元组信息。
作为另一种可实现的方式，获取目标第一实体和目标第二实体之间的距离，根据距离和目标第一实体和目标第二实体在训练语料中的位置，比如说，目标第一实体需要在目标第二实体的前面，确定第三实体对，根据第三实体对和第三实体对的实体关系，生成训练语料的预测三元组信息。可选地，可获取目标第一实体和目标第二实体之间的相似度，选取相似度大于相似度阈值且目标第一实体在语料中的位置在目标第二实体前边的目标第一实体和目标第二实体，作为第三实体对；可选地，可获取目标第一实体和目标第二实体之间的欧氏距离，选取欧氏距离小于距离阈值且目标第一实体在语料中的位置在目标第二实体前边的目标第一实体和目标第二实体作为第三实体对。
基于训练语料的标注三元组信息和预测三元组信息，对三元组信息抽取网络进行调整，以生成目标三元组信息抽取网络。
S702，每次训练后基于批量训练语料中训练语料各自的预测结果，从批量训练语料中筛选出待标注训练语料。
获取每次训练后基于批量训练语料中训练语料各自的预测结果，从批量训练语料中筛选出待标注训练语料。可选地，可对预测结果的S(Subject)实体和O(Object)实体分别对应的分数进行相加，获得预测结果的置信度，将所有预测结果的置信度进行排序，将置信度最低的设定个数的样本取出，作为待标注训练语料。比如说，若设定个数为70，则将置信度最低的70个样本取出，作为待标注训练语料。
S703，获取待标注训练语料的标注三元组信息。
对待标注训练语料进行标注，获取待标注训练语料对应的标注三元组信息。可选地，可由人工进行标注。
S704，将待标注训练语料和标注三元组信息添加至训练语料集，并返回继续下一次训练。
将待标注训练语料和标注三元组信息添加至训练语料集，将该训练语料集重新输入三元组信息抽取网络，重复上述步骤进行训练，直到满足预设结束条件，则结束训练。
可选地，预设结束条件可以为：训练到预设训练次数后结束训练。
可选地，预设结束条件可以为：训练到预测结果的最低置信度大于设定置信度阈值后，结束训练。
本申请实施例在获取训练语料集后，基于训练语料集中的批量训练语料对三元组信息抽取网络进行迭代训练，从而逐步提升模型的效果，从而获取更准确的三元组信息。
图9是本申请提出的一种样本增强方法的示例性实施方式，如图8所示，该样本增强方法：包括以下步骤：
S901，对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息。
S902，基于第一样本语料和第二样本语料，训练多类第一三元组预测模型。
S903，将第三样本语料输入每个第一三元组预测模型中，以预测第三样本语料对应的候选三元组信息。
S904，从候选三元组信息中，基于投票机制确定第三三元组信息。
关于步骤S901～S904，的实现方式，可采用本申请中各实施例中的实现方式，在此不再进行赘述。
S905，根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。
S906，基于训练语料集中的批量训练语料对三元组信息抽取网络进行迭代训练。
S907，每次训练后基于批量训练语料中训练语料各自的预测结果，从批量训练语料中筛选出待标注训练语料。
S908，获取待标注训练语料的标注三元组信息。
S909，将待标注训练语料和标注三元组信息添加至训练语料集，并返回继续下一次训练。
关于步骤S905～S909，的实现方式，可采用本申请中各实施例中的实现方式，在此不再进行赘述。
本申请提出了一种样本增强方法，通过对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息；对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息；根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。本申请提出的数据增强以及半监督学习能够起到扩充数据的作用，并且能够显著提升SPO三元组抽取的效果。通过数据增强生成的数据质量都比较高，而半监督学习通过多个模型投票的方式，能够显著降低模型预测方差并提升模型效果。故本申请提出的方法，只需要少量标注数据即可达到较好的效果，从而大大减少了人力成本。
图10是本申请提出的一种样本增强方法的示例性实施方式，如图10所示，该样本增强方法，通过基于实体指称替换、同义词替换、同实体类别下的词元替换和回译中的至少一种数据增强操作，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息。并且对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息。根据所述第一样本语料和所述第一三元组信息、所述第二样本语料和所述第二三元组信息，以及所述第三样本语料和所述第三三元组信息，生成三元组信息抽取网络的训练语料集进行主动学习，即对所述三元组信息抽取网络进行迭代训练，最终获取训练后的三元组信息抽取网络。
图11是本申请提出的一种样本增强装置的示例性示意图，如图11所示，该样本增强装置1100包括增强模块1101、获取模块1102和生成模块1103，其中：
增强模块1101，用于对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和第二样本语料的第二三元组信息。
获取模块1102，用于对无三元组信息的第三样本语料进行半监督学习，以获取第三样本语料的第三三元组信息。
生成模块1103，用于根据第一样本语料和第一三元组信息、第二样本语料和第二三元组信息，以及第三样本语料和第三三元组信息，生成三元组信息抽取网络的训练语料集。
进一步地，该样本增强装置1100还包括训练模块1104，用于基于训练语料集中的批量训练语料对三元组信息抽取网络进行迭代训练；每次训练后基于批量训练语料中训练语料各自的预测结果，从批量训练语料中筛选出待标注训练语料；获取待标注训练语料的标注三元组信息；将待标注训练语料和标注三元组信息添加至训练语料集，并返回继续下一次训练。
进一步地，增强模块1101，还用于：基于实体指称替换、同义词替换、同实体类别下的词元替换和回译中的至少一种数据增强操作，对第一样本语料进行数据增强，以获取第二样本语料和第二三元组信息。
进一步地，增强模块1101，还用于：对第一三元组信息中实体进行实体指称替换，生成第二三元组信息；确定第一三元组信息中实体在第一样本语料中的位置；将位置上的实体替换为第二三元组信息中的实体，生成第二样本语料。
进一步地，增强模块1101，还用于：识别第一三元组信息中实体之间是否存在重叠关系；根据重叠关系的识别结果，确定用于实体指称替换的目标实体词典；基于目标实体词典，对第一三元组信息中的实体进行实体指称替换，生成第二三元组信息。
进一步地，增强模块1101，还用于：响应于识别结果指示实体之间未存在重叠关系，获取第一三元组信息中实体的实体类型；获取实体类型对应的实体词典，确定为目标实体词典。
进一步地，增强模块1101，还用于：响应于识别结果指示实体之间存在重叠关系，获取重叠实体词典，作为重叠实体对应的目标实体词典，其中，重叠实体词典中包括有重叠关系的实体对。
进一步地，增强模块1101，还用于：获取第一三元组信息中存在重叠关系的实体对对应的实体类型对；从重叠实体词典中获取与实体类型对匹配的替换实体对；基于替换实体对，对存在重叠关系的实体对进行实体指称替换，生成第二三元组信息。
进一步地，增强模块1101，还用于：对第一样本语料进行分词，获取分词后的候选词元；对第一样本语料中实体指称之外的词元进行同义词替换，生成第二样本语料，其中，第二三元组信息与第一三元组信息相同。
进一步地，增强模块1101，还用于：对第一样本语料进行分词，获取分词后的候选词元；从候选词元中选取被标为实体类别的词元，作为待替换的目标词元；获取与目标词元所属实体类别相同的替换词元；将第一样本语料中目标词元替换为替换词元，生成第二样本语料；基于替换词元更新第一三元组信息，生成第二三元组信息。
进一步地，增强模块1101，还用于：将第一样本语料中的实体指称替换为目标符号；对替换为目标符号的第一样本语料进行翻译，生成中间样本语料；对中间样本语料进行回译，将回译生成的样本语料中的目标字符替换为实体指称，得到第二样本语料，其中，第二三元组信息与第一三元组信息相同。
进一步地，获取模块1102，还用于：基于第一样本语料和第二样本语料，训练多类第一三元组预测模型；将第三样本语料输入每个第一三元组预测模型中，以预测第三样本语料对应的候选三元组信息；从候选三元组信息中，基于投票机制确定第三三元组信息。
进一步地，训练模块1104，还用于：对训练语料进行分词，得到训练语料的词元，并得到每个词元的词编码；将每个词元的词编码输入三元组信息抽取网络中的预训练语言模型中进行上下文关联，以输出每个词元的语义表征向量；将每个词元的语义表征向量输入多指针分类模型中进行实体类别预测，以输出训练语料的预测三元组信息；基于训练语料的标注三元组信息和预测三元组信息，对三元组信息抽取网络进行调整，以生成目标三元组信息抽取网络。
进一步地，训练模块1104，还用于：获取训练语料中被预测为第一实体类别的候选第一实体，以及被预测为第二实体类别的候选第二实体；从候选第一实体中选取预测概率大于第一设定阈值的实体，确定为目标第一实体；从候选第二实体中选取预测概率大于第二设定阈值的实体，确定为目标第二实体；基于目标第一实体和目标第二实体，生成训练语料的预测三元组信息。
进一步地，训练模块1104，还用于：对目标第一实体和目标第二实体进行组合，以确定第一实体对；根据第一实体对和第一实体对的实体关系，生成训练语料的预测三元组信息。
进一步地，训练模块1104，还用于：获取目标第一实体和目标第二实体之间的距离，并根据距离确定第二实体对；根据第二实体对和第二实体对的实体关系，生成训练语料的预测三元组信息。
进一步地，训练模块1104，还用于：获取目标第一实体和目标第二实体之间的距离；根据距离和目标第一实体和目标第二实体在训练语料中的位置，确定第三实体对；根据第三实体对和第三实体对的实体关系，生成训练语料的预测三元组信息。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如样本增强方法。例如，在一些实施例中，样本增强方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的样本增强方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行样本增强方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (37)

1.一种样本增强方法，包括：
对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和所述第二样本语料的第二三元组信息；
对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息；
根据所述第一样本语料和所述第一三元组信息、所述第二样本语料和所述第二三元组信息，以及所述第三样本语料和所述第三三元组信息，生成三元组信息抽取网络的训练语料集。
2.根据权利要求1所述的方法，其中，所述生成三元组信息抽取网络的训练语料集之后，还包括：
基于所述训练语料集中的批量训练语料对所述三元组信息抽取网络进行迭代训练；
每次训练后基于所述批量训练语料中训练语料各自的预测结果，从所述批量训练语料中筛选出待标注训练语料；
获取所述待标注训练语料的标注三元组信息；
将所述待标注训练语料和所述标注三元组信息添加至所述训练语料集，并返回继续下一次训练。
3.根据权利要求1所述的方法，其中，所述对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和所述第二样本语料的第二三元组信息，包括：
基于实体指称替换、同义词替换、同实体类别下的词元替换和回译中的至少一种数据增强操作，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息。
4.根据权利要求3所述的方法，其中，基于实体指称替换，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息，包括：
对所述第一三元组信息中实体进行实体指称替换，生成所述第二三元组信息；
确定所述第一三元组信息中实体在所述第一样本语料中的位置；
将所述位置上的实体替换为所述第二三元组信息中的实体，生成所述第二样本语料。
5.根据权利要求4所述的方法，其中，所述对所述第一三元组信息中的实体进行实体指称替换，生成所述第二三元组信息，包括：
识别所述第一三元组信息中实体之间是否存在重叠关系；
根据所述重叠关系的识别结果，确定用于实体指称替换的目标实体词典；
基于所述目标实体词典，对所述第一三元组信息中的实体进行实体指称替换，生成所述第二三元组信息。
6.根据权利要求5所述的方法，其中，所述根据所述重叠关系的识别结果，确定用于实体指称替换的目标实体词典，包括：
响应于识别结果指示所述实体之间未存在重叠关系，获取所述第一三元组信息中实体的实体类型；
获取所述实体类型对应的实体词典，确定为所述目标实体词典。
7.根据权利要求5所述的方法，其中，所述根据所述重叠关系的识别结果，确定用于实体指称替换的目标实体字典，包括：
响应于所述识别结果指示所述实体之间存在重叠关系，获取重叠实体词典，作为重叠实体对应的所述目标实体词典，其中，所述重叠实体词典中包括有重叠关系的实体对。
8.根据权利要求7所述的方法，其中，所述基于所述目标实体词典对所述第一三元组信息中的实体进行实体指称替换，包括：
获取所述第一三元组信息中存在所述重叠关系的实体对对应的实体类型对；
从所述重叠实体词典中获取与所述实体类型对匹配的替换实体对；
基于所述替换实体对，对存在所述重叠关系的实体对进行实体指称替换，生成所述第二三元组信息。
9.根据权利要求3所述的方法，其中，基于同义词替换，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息，包括：
对所述第一样本语料进行分词，获取分词后的候选词元；
对所述第一样本语料中实体指称之外的词元进行同义词替换，生成所述第二样本语料，其中，所述第二三元组信息与所述第一三元组信息相同。
10.根据权利要求3所述的方法，其中，基于相同实体类别下的词元替换，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息，包括：
对所述第一样本语料进行分词，获取分词后的候选词元；
从所述候选词元中选取被标为实体类别的词元，作为待替换的目标词元；
获取与所述目标词元所属实体类别相同的替换词元；
将所述第一样本语料中所述目标词元替换为所述替换词元，生成所述第二样本语料；
基于所述替换词元更新所述第一三元组信息，生成所述第二三元组信息。
11.根据权利要求3所述的方法，其中，基于回译，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息，包括：
将所述第一样本语料中的实体指称替换为目标符号；
对替换为所述目标符号的第一样本语料进行翻译，生成中间样本语料；
对所述中间样本语料进行回译，将回译生成的样本语料中的所述目标字符替换为所述实体指称，得到所述第二样本语料，其中，所述第二三元组信息与所述第一三元组信息相同。
12.根据权利要求1所述的方法，其中，所述对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息，包括：
基于所述第一样本语料和所述第二样本语料，训练多类第一三元组预测模型；
将所述第三样本语料输入每个所述第一三元组预测模型中，以预测所述第三样本语料对应的候选三元组信息；
从所述候选三元组信息中，基于投票机制确定所述第三三元组信息。
13.根据权利要求2-12任一项所述的方法，其中，所述基于所述训练语料集中的批量训练语料对所述三元组信息抽取网络进行迭代训练，包括：
对所述训练语料进行分词，得到所述训练语料的词元，并得到每个所述词元的词编码；
将每个所述词元的词编码输入所述三元组信息抽取网络中的预训练语言模型中进行上下文关联，以输出每个所述词元的语义表征向量；
将每个所述词元的语义表征向量输入多指针分类模型中进行实体类别预测，以输出所述训练语料的预测三元组信息；
基于所述训练语料的标注三元组信息和所述预测三元组信息，对所述三元组信息抽取网络进行调整，以生成目标三元组信息抽取网络。
14.根据权利要求13所述的方法，其中，所述将每个所述词元的语义表征向量输入多指针分类模型中进行实体类别预测，以输出所述训练语料的预测三元组信息，包括：
获取所述训练语料中被预测为第一实体类别的候选第一实体，以及被预测为第二实体类别的候选第二实体；
从所述候选第一实体中选取预测概率大于第一设定阈值的实体，确定为目标第一实体；
从所述候选第二实体中选取预测概率大于第二设定阈值的实体，确定为目标第二实体；
基于所述目标第一实体和所述目标第二实体，生成所述训练语料的预测三元组信息。
15.根据权利要求14所述的方法，其中，所述基于所述目标第一实体和所述目标第二实体，生成所述训练语料的预测三元组信息，包括：
对所述目标第一实体和所述目标第二实体进行组合，以确定第一实体对；
根据所述第一实体对和所述第一实体对的实体关系，生成所述训练语料的预测三元组信息。
16.根据权利要求14所述的方法，其中，所述基于所述目标第一实体和所述目标第二实体，生成所述训练语料的预测三元组信息，包括：
获取所述目标第一实体和所述目标第二实体之间的距离，并根据所述距离确定第二实体对；
根据所述第二实体对和所述第二实体对的实体关系，生成所述训练语料的预测三元组信息。
17.根据权利要求14所述的方法，其中，所述基于所述目标第一实体和所述目标第二实体，生成所述训练语料的预测三元组信息，包括：
获取所述目标第一实体和所述目标第二实体之间的距离；
根据所述距离和所述目标第一实体和所述目标第二实体在所述训练语料中的位置，确定第三实体对；
根据所述第三实体对和所述第三实体对的实体关系，生成所述训练语料的预测三元组信息。
18.一种样本增强装置，包括：
增强模块，用于对标注有第一三元组信息的第一样本语料进行数据增强，获取增强的第二样本语料和所述第二样本语料的第二三元组信息；
获取模块，用于对无三元组信息的第三样本语料进行半监督学习，以获取所述第三样本语料的第三三元组信息；
生成模块，用于根据所述第一样本语料和所述第一三元组信息、所述第二样本语料和所述第二三元组信息，以及所述第三样本语料和所述第三三元组信息，生成三元组信息抽取网络的训练语料集。
19.根据权利要求18所述的装置，还包括训练模块，所述训练模块用于：
基于所述训练语料集中的批量训练语料对所述三元组信息抽取网络进行迭代训练；
每次训练后基于所述批量训练语料中训练语料各自的预测结果，从所述批量训练语料中筛选出待标注训练语料；
获取所述待标注训练语料的标注三元组信息；
将所述待标注训练语料和所述标注三元组信息添加至所述训练语料集，并返回继续下一次训练。
20.根据权利要求18所述的装置，所述增强模块，还用于：
基于实体指称替换、同义词替换、同实体类别下的词元替换和回译中的至少一种数据增强操作，对所述第一样本语料进行数据增强，以获取所述第二样本语料和所述第二三元组信息。
21.根据权利要求20所述的装置，所述增强模块，还用于：
对所述第一三元组信息中实体进行实体指称替换，生成所述第二三元组信息；
确定所述第一三元组信息中实体在所述第一样本语料中的位置；
将所述位置上的实体替换为所述第二三元组信息中的实体，生成所述第二样本语料。
22.根据权利要求21所述的装置，所述增强模块，还用于：
识别所述第一三元组信息中实体之间是否存在重叠关系；
根据所述重叠关系的识别结果，确定用于实体指称替换的目标实体词典；
基于所述目标实体词典，对所述第一三元组信息中的实体进行实体指称替换，生成所述第二三元组信息。
23.根据权利要求22所述的装置，所述增强模块，还用于：
响应于识别结果指示所述实体之间未存在重叠关系，获取所述第一三元组信息中实体的实体类型；
获取所述实体类型对应的实体词典，确定为所述目标实体词典。
24.根据权利要求22所述的装置，所述增强模块，还用于：
响应于所述识别结果指示所述实体之间存在重叠关系，获取重叠实体词典，作为重叠实体对应的所述目标实体词典，其中，所述重叠实体词典中包括有重叠关系的实体对。
25.根据权利要求24所述的装置，所述增强模块，还用于：
获取所述第一三元组信息中存在所述重叠关系的实体对对应的实体类型对；
从所述重叠实体词典中获取与所述实体类型对匹配的替换实体对；
基于所述替换实体对，对存在所述重叠关系的实体对进行实体指称替换，生成所述第二三元组信息。
26.根据权利要求20所述的装置，所述增强模块，还用于：
对所述第一样本语料进行分词，获取分词后的候选词元；
对所述第一样本语料中实体指称之外的词元进行同义词替换，生成所述第二样本语料，其中，所述第二三元组信息与所述第一三元组信息相同。
27.根据权利要求20所述的装置，所述增强模块，还用于：
对所述第一样本语料进行分词，获取分词后的候选词元；
从所述候选词元中选取被标为实体类别的词元，作为待替换的目标词元；
获取与所述目标词元所属实体类别相同的替换词元；
将所述第一样本语料中所述目标词元替换为所述替换词元，生成所述第二样本语料；
基于所述替换词元更新所述第一三元组信息，生成所述第二三元组信息。
28.根据权利要求20所述的装置，所述增强模块，还用于：
将所述第一样本语料中的实体指称替换为目标符号；
对替换为所述目标符号的第一样本语料进行翻译，生成中间样本语料；
对所述中间样本语料进行回译，将回译生成的样本语料中的所述目标字符替换为所述实体指称，得到所述第二样本语料，其中，所述第二三元组信息与所述第一三元组信息相同。
29.根据权利要求18所述的装置，所述获取模块，还用于：
基于所述第一样本语料和所述第二样本语料，训练多类第一三元组预测模型；
将所述第三样本语料输入每个所述第一三元组预测模型中，以预测所述第三样本语料对应的候选三元组信息；
从所述候选三元组信息中，基于投票机制确定所述第三三元组信息。
30.根据权利要求19-29任一项所述的装置，所述训练模块，还用于：
对所述训练语料进行分词，得到所述训练语料的词元，并得到每个所述词元的词编码；
将每个所述词元的词编码输入所述三元组信息抽取网络中的预训练语言模型中进行上下文关联，以输出每个所述词元的语义表征向量；
将每个所述词元的语义表征向量输入多指针分类模型中进行实体类别预测，以输出所述训练语料的预测三元组信息；
基于所述训练语料的标注三元组信息和所述预测三元组信息，对所述三元组信息抽取网络进行调整，以生成目标三元组信息抽取网络。
31.根据权利要求30所述的装置，所述训练模块，还用于：
获取所述训练语料中被预测为第一实体类别的候选第一实体，以及被预测为第二实体类别的候选第二实体；
从所述候选第一实体中选取预测概率大于第一设定阈值的实体，确定为目标第一实体；
从所述候选第二实体中选取预测概率大于第二设定阈值的实体，确定为目标第二实体；
基于所述目标第一实体和所述目标第二实体，生成所述训练语料的预测三元组信息。
32.根据权利要求31所述的装置，所述训练模块，还用于：
对所述目标第一实体和所述目标第二实体进行组合，以确定第一实体对；
根据所述第一实体对和所述第一实体对的实体关系，生成所述训练语料的预测三元组信息。
33.根据权利要求31所述的装置，所述训练模块，还用于：
获取所述目标第一实体和所述目标第二实体之间的距离，并根据所述距离确定第二实体对；
根据所述第二实体对和所述第二实体对的实体关系，生成所述训练语料的预测三元组信息。
34.根据权利要求31所述的装置，所述训练模块，还用于：
获取所述目标第一实体和所述目标第二实体之间的距离；
根据所述距离和所述目标第一实体和所述目标第二实体在所述训练语料中的位置，确定第三实体对；
根据所述第三实体对和所述第三实体对的实体关系，生成所述训练语料的预测三元组信息。
35.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-17中任一项所述的方法。
36.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-17中任一项所述的方法。
37.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-17中任一项所述方法的步骤。
CN202111501568.8A 2021-12-09 2021-12-09 样本增强方法及其装置 Active CN114398943B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111501568.8A CN114398943B (zh) 2021-12-09 2021-12-09 样本增强方法及其装置
EP22211847.3A EP4170542A3 (en) 2021-12-09 2022-12-07 Method for sample augmentation
US18/063,089 US20230103728A1 (en) 2021-12-09 2022-12-08 Method for sample augmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111501568.8A CN114398943B (zh) 2021-12-09 2021-12-09 样本增强方法及其装置

Publications (2)

Publication Number Publication Date
CN114398943A true CN114398943A (zh) 2022-04-26
CN114398943B CN114398943B (zh) 2023-04-07

Family

ID=81227413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111501568.8A Active CN114398943B (zh) 2021-12-09 2021-12-09 样本增强方法及其装置

Country Status (3)

Country Link
US (1) US20230103728A1 (zh)
EP (1) EP4170542A3 (zh)
CN (1) CN114398943B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881034A (zh) * 2022-05-12 2022-08-09 平安科技（深圳）有限公司 关系数据增强方法、装置、设备及存储介质
EP4170542A3 (en) * 2021-12-09 2023-05-10 Beijing Baidu Netcom Science Technology Co., Ltd. Method for sample augmentation

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808661A (zh) * 2017-10-23 2018-03-16 中央民族大学 一种基于协作式批量主动学习的藏语语音语料标注方法及系统
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备
CN110298032A (zh) * 2019-05-29 2019-10-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 文本分类语料标注训练系统
US20200050662A1 (en) * 2018-08-09 2020-02-13 Oracle International Corporation System And Method To Generate A Labeled Dataset For Training An Entity Detection System
CN111144120A (zh) * 2019-12-27 2020-05-12 北京知道创宇信息技术股份有限公司 一种训练语句的获取方法、装置、存储介质及电子设备
CN111460825A (zh) * 2020-03-31 2020-07-28 科大讯飞(苏州)科技有限公司 一种数据增强方法、装置、设备及存储介质
CN111539223A (zh) * 2020-05-29 2020-08-14 北京百度网讯科技有限公司 语言模型的训练方法、装置、电子设备及可读存储介质
CN111737994A (zh) * 2020-05-29 2020-10-02 北京百度网讯科技有限公司 基于语言模型获取词向量的方法、装置、设备及存储介质
CN112036186A (zh) * 2019-06-04 2020-12-04 腾讯科技（深圳）有限公司 语料标注方法、装置、计算机存储介质及电子设备
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112380864A (zh) * 2020-11-03 2021-02-19 广西大学 一种基于回译的文本三元组标注样本增强方法
CN112507125A (zh) * 2020-12-03 2021-03-16 平安科技（深圳）有限公司 三元组信息提取方法、装置、设备及计算机可读存储介质
US20210097136A1 (en) * 2019-09-27 2021-04-01 Sap Se Generating corpus for training and validating machine learning model for natural language processing
CN112651238A (zh) * 2020-12-28 2021-04-13 深圳壹账通智能科技有限公司 训练语料扩充方法及装置、意图识别模型训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114398943B (zh) * 2021-12-09 2023-04-07 北京百度网讯科技有限公司 样本增强方法及其装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808661A (zh) * 2017-10-23 2018-03-16 中央民族大学 一种基于协作式批量主动学习的藏语语音语料标注方法及系统
US20200050662A1 (en) * 2018-08-09 2020-02-13 Oracle International Corporation System And Method To Generate A Labeled Dataset For Training An Entity Detection System
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备
CN110298032A (zh) * 2019-05-29 2019-10-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 文本分类语料标注训练系统
CN112036186A (zh) * 2019-06-04 2020-12-04 腾讯科技（深圳）有限公司 语料标注方法、装置、计算机存储介质及电子设备
US20210097136A1 (en) * 2019-09-27 2021-04-01 Sap Se Generating corpus for training and validating machine learning model for natural language processing
CN111144120A (zh) * 2019-12-27 2020-05-12 北京知道创宇信息技术股份有限公司 一种训练语句的获取方法、装置、存储介质及电子设备
CN111460825A (zh) * 2020-03-31 2020-07-28 科大讯飞(苏州)科技有限公司 一种数据增强方法、装置、设备及存储介质
CN111539223A (zh) * 2020-05-29 2020-08-14 北京百度网讯科技有限公司 语言模型的训练方法、装置、电子设备及可读存储介质
CN111737994A (zh) * 2020-05-29 2020-10-02 北京百度网讯科技有限公司 基于语言模型获取词向量的方法、装置、设备及存储介质
US20210374334A1 (en) * 2020-05-29 2021-12-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for training language model, electronic device and readable storage medium
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112380864A (zh) * 2020-11-03 2021-02-19 广西大学 一种基于回译的文本三元组标注样本增强方法
CN112507125A (zh) * 2020-12-03 2021-03-16 平安科技（深圳）有限公司 三元组信息提取方法、装置、设备及计算机可读存储介质
CN112651238A (zh) * 2020-12-28 2021-04-13 深圳壹账通智能科技有限公司 训练语料扩充方法及装置、意图识别模型训练方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUSHDI SHAMS: "Semi-supervised Classification for Natural language Processing", 《ARXIV-COMPUTER SCIENCE》 *
杨贺羽: "基于深度学习的半监督式命名实体识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄培馨等: "融合对抗训练的端到端知识三元组联合抽取", 《计算机研究与发展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4170542A3 (en) * 2021-12-09 2023-05-10 Beijing Baidu Netcom Science Technology Co., Ltd. Method for sample augmentation
CN114881034A (zh) * 2022-05-12 2022-08-09 平安科技（深圳）有限公司 关系数据增强方法、装置、设备及存储介质
CN114881034B (zh) * 2022-05-12 2023-07-25 平安科技（深圳）有限公司 关系数据增强方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4170542A3 (en) 2023-05-10
EP4170542A2 (en) 2023-04-26
US20230103728A1 (en) 2023-04-06
CN114398943B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US20230142217A1 (en) Model Training Method, Electronic Device, And Storage Medium
CN112528677B (zh) 一种语义向量提取模型的训练方法、装置及电子设备
CN114398943B (zh) 样本增强方法及其装置
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
US20220188509A1 (en) Method for extracting content from document, electronic device, and storage medium
US11170169B2 (en) System and method for language-independent contextual embedding
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN112926308B (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN114417879B (zh) 跨语言文本语义模型的生成方法、装置及电子设备
CN114021548A (zh) 敏感信息检测方法、训练方法、装置、设备以及存储介质
CN112906368B (zh) 行业文本增量方法、相关装置及计算机程序产品
CN112560425B (zh) 模板生成方法、装置、电子设备及存储介质
CN115357710B (zh) 表格描述文本生成模型的训练方法、装置及电子设备
CN115909376A (zh) 文本识别方法、文本识别模型训练方法、装置及存储介质
CN114676699A (zh) 实体情感分析方法、装置、计算机设备和存储介质
CN114647727A (zh) 应用于实体信息识别的模型训练方法、装置和设备
CN114417862A (zh) 文本匹配方法、文本匹配模型的训练方法和装置
WO2022141855A1 (zh) 文本正则方法、装置、电子设备及存储介质
Liu AB/S‐Based Computer‐Aided Translation Teaching Method
CN114330345B (zh) 命名实体识别方法、训练方法、装置、电子设备及介质
CN114896993B (zh) 翻译模型的生成方法、装置、电子设备及存储介质
CN114925185B (zh) 交互方法、模型的训练方法、装置、设备及介质
CN116069914B (zh) 训练数据的生成方法、模型训练方法以及装置
CN114722841B (zh) 翻译方法、装置及计算机程序产品
Braović et al. A Systematic Review of Computational Approaches to Deciphering Bronze Age Aegean and Cypriot Scripts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant