CN112417860A - 训练样本增强方法、系统、设备及存储介质 - Google Patents
训练样本增强方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112417860A CN112417860A CN202011423410.9A CN202011423410A CN112417860A CN 112417860 A CN112417860 A CN 112417860A CN 202011423410 A CN202011423410 A CN 202011423410A CN 112417860 A CN112417860 A CN 112417860A
- Authority
- CN
- China
- Prior art keywords
- sample
- alternative
- vector
- sentence vector
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 251
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种训练样本增强方法、系统、设备及存储介质，该方法包括：采集语料数据，从所述语料数据中提取备选样本；获取所述备选样本的句向量；分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。本发明从原始语料中直接挖掘与种子样本相似的样本数据，基于相似度计算自动扩充训练样本集，减少了人工标注样本的需求，整个过程均为自动实现的，无需人工干预，节省了人力，并且采用增强后的训练样本集训练得到的模型具有更好的鲁棒性，受噪声影响小，提高了模型应用的准确率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种训练样本增强方法、系统、设备及存储介质。
背景技术
当前的相似性算法主要是分为有监督和无监督。有监督方法，就是用朴素贝叶斯分类器之类的有监督模型来判断文本相似性或者计算相似度。这类方法要求有一定数量的标注语料，构建的代价比较高；由于训练语料通常无法做得很大，模型的泛化性不够，实际用起来会有点麻烦；距离计算环节的复杂度会比较高。而无监督方法，就是用欧氏距离等方法，直接计算文本之间的距离或者相似度。这类方法的特点是：不需要标注语料，特征工程或者参数估计可以使用很大的数据；很多方法对语言的依赖比较小，可以应对多语种混杂的场景，但是距离计算环节复杂度较低。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种训练样本增强方法、系统、设备及存储介质，基于相似性自动扩充训练样本集，减少人工标注成本，节省人力。
本发明实施例提供一种训练样本增强方法，包括如下步骤：
采集语料数据，从所述语料数据中提取备选样本；
获取所述备选样本的句向量；
分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
在一些实施例中，从所述语料数据中提取备选样本之后，还包括如下步骤：
按照预设的规范化处理规则，对所述备选样本进行规范化处理。
在一些实施例中，所述获取所述备选样本的句向量，包括采用如下至少一种方法获取所述备选样本的句向量：
基于doc2vec获取所述备选样本的第一句向量；
根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量；
根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量。
在一些实施例中，所述获取所述备选样本的句向量，包括如下步骤：
基于doc2vec获取所述备选样本的第一句向量、根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量、根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量；
将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
在一些实施例中，所述根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，包括如下步骤：
基于TF-IDF算法对由word2vec得到的各个词的词向量加权后得到所述备选样本的第二句向量。
在一些实施例中，获取所述备选样本的句向量之后，还包括如下步骤：
将各个所述备选样本的句向量进行归一化处理，使得各个所述备选样本的句向量的长度一致。
在一些实施例中，所述分别计算种子样本的句向量与各个所述备选样本的句向量的相似度，包括如下步骤：
分别计算所述种子样本的句向量与各个所述备选样本的句向量的余弦相似度，作为对应的两个句向量的相似度。
在一些实施例中，所述根据计算得到的相似度从所述备选样本中选择增强样本，包括选择与所述种子样本的相似度大于预设相似度阈值的备选样本作为增强样本。
在一些实施例中，所述加入训练集中之后，还包括如下步骤：
判断所述训练集中的样本数量是否大于等于预设样本数量阈值；
如果否，则将所述训练集中的样本作为新的种子样本，分别计算新的种子样本的句向量与各个所述备选样本的句向量的相似度，根据计算得到的相似度从所述备选样本中选择新的增强样本，加入训练集中。
本发明实施例还提供一种训练样本增强系统，用于实现所述的训练样本增强方法，其特征在于，所述系统包括：
语料采集模块，用于采集语料数据，从所述语料数据中提取备选样本；
向量获取模块，用于获取所述备选样本的句向量；
相似度计算模块，用于分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
样本增强模块，用于根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
在一些实施例中，所述向量获取模块采用如下步骤获取所述备选样本的句向量：
所述向量获取模块基于doc2vec获取所述备选样本的第一句向量、根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量、根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量；
所述向量获取模块将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
本发明实施例还提供一种训练样本增强设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的训练样本增强方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的训练样本增强方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本发明的训练样本增强方法、系统、设备及存储介质具有如下有益效果：
本发明从原始语料中直接挖掘与种子样本相似的样本数据，基于相似度计算自动扩充训练样本集，减少了人工标注样本的需求，整个过程均为自动实现的，无需人工干预，节省了人力，并且采用增强后的训练样本集训练得到的模型具有更好的鲁棒性，受噪声影响小，提高了模型应用的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的训练样本增强方法的流程图；
图2是本发明一实施例的获取备选样本的句向量的流程图；
图3是本发明一实施例的判断样本数量是否满足要求的流程图；
图4是本发明一实施例的训练样本增强系统的结构示意图；
图5是本发明一实施例的训练样本增强设备的结构示意图；
图6是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
如图1所示，本发明实施例提供一种训练样本增强方法，包括如下步骤：
S100：采集语料数据，从所述语料数据中提取备选样本；
为了训练通用场景的数据扩充，该实施例中收集了领域内各个场景的数据，并且加入了开源的高质量数据，例如维基百科、新闻等数据源；
S200：获取所述备选样本的句向量；
S300：分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
S400：根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
本发明的目的在于从原始语料中直接挖掘与种子样本相似的样本数据，然后将挖掘到的样本数据加入到训练样本集中，实现对已有的训练样本的增强。首先，通过步骤S100采集语料数据作为备选样本，然后通过步骤S200获取备选样本的句向量，并通过步骤S300计算备选样本和种子样本的句向量之间的相似度，通过步骤S400基于相似度计算自动扩充训练样本集，减少了人工标注样本的需求，整个过程均为自动实现的，无需人工干预，节省了人力，并且采用增强后的训练样本集训练得到的模型具有更好的鲁棒性，受噪声影响小，提高了模型应用的准确率。
通过采用本发明的训练样本增强方法增强后得到的训练样本集可以用于机器学习模型的训练，例如用于卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)、Transformer等模型的训练。扩充增强后的训练样本集具有更丰富的训练样本，并且通过相似度筛选的增强样本与种子样本的相似度高，可以基于与其相似的种子样本的标签为增强样本进行标注，标注更为准确，也有利于机器学习模型训练更为准确，得到效果更好的模型。
在该实施例中，所述步骤S100：从所述语料数据中提取备选样本之后，还包括对所述备选样本进行数据预处理的步骤，具体地，数据预处理包括如下步骤：
按照预设的规范化处理规则，对所述备选样本进行规范化处理。
所述规范化处理规则可以包括对大小写的统一规则、对标点符号的统一规则、繁体转简体的统一规则、去除停用词规则、去除低频词规则等等，使得处理后的备选样本具有统一的格式。
在该实施例中，所述步骤S200：获取所述备选样本的句向量，包括采用如下一种或多种方式获取所述备选样本的句向量：
基于doc2vec获取所述备选样本的第一句向量；doc2vec是一种基于word2vec算法提出的、基于无监督的、用于将文本转换为向量的算法，其具有一些优点，比如不用固定句子长度，接受不同长度的句子做训练样本等，Doc2vec相对于word2vec不同之处在于，在输入层，增添了段落向量，段落向量能根据从段落中给定的上下文样本去预测下一个词；
根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，具体地，每个词的词向量获取方式可以采用word2vec算法，word2vec算法是将词语表示为向量的算法；
根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量，具体地，每个字的字向量也可以采用word2vec算法得到，也可以基于预设的字与字向量的映射关系来得到。
上述三种方式均为获取所述备选样本的句向量的可选的方法。进一步地，对应的种子样本的句向量也可以采用上述一种或多种方式来获取。在一种实施方式中，为了得到丰富的句向量，可以将上述三种方式进行融合，即将三种方式得到的第一句向量、第二句向量和第三句向量进行拼接，将拼接的句向量作为所述备选样本的句向量。
具体地，如图2所示，所述步骤S200：获取所述备选样本的句向量，包括如下步骤：
S210：基于doc2vec获取所述备选样本的第一句向量；
S220：根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，具体地，每个词的词向量获取方式可以采用word2vec算法；
S230：根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量，具体地，每个字的字向量也可以采用word2vec算法得到，也可以基于预设的字与字向量的映射关系来得到；
S240：将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
所述步骤S240中，将三种句向量进行拼接时，三种句向量的顺序是没有限定的，例如可以按照第一句向量、第二句向量和第三句向量的顺序进行拼接，也可以按照第一句向量、第三句向量和第二句向量的顺序进行拼接，或者按照第二句向量、第三句向量、第一句向量的方式进行拼接等等。
进一步地，在采用上述步骤S210～S240得到备选样本的句向量时，种子样本的句向量也采用上述步骤S210～S240类似的方式得到，并且种子样本的句向量中第一句向量、第二句向量和第三句向量的拼接顺序与备选样本的句向量中第一句向量、第二句向量和第三句向量的拼接顺序一致。
进一步地，考虑到在文本中，不同的词的重要程度有所不同，如果统一按照一致的权重来构建所述第二句向量，可能会对文本的语义表达不够准确。基于此，所述步骤S220：根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，包括如下步骤：
基于TF-IDF算法对由word2vec得到的各个词的词向量加权后得到所述备选样本的第二句向量。TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(InverseDocument Frequency)。此处TF-IDF用以评估一个词语对于一个备选样本的重要程度。词语的重要性随着它在备选样本中出现的次数成正比增加，但同时会随着它在整个语料库中出现的频率成反比下降。
在该实施例中，考虑到不同长度的句子对最终结果的影响，所述步骤S200：获取所述备选样本的句向量之后，还包括如下步骤：
将各个所述备选样本的句向量进行归一化处理，使得各个所述备选样本的句向量的长度一致，从而减小因为句子长度不同带来的负面影响。
在本发明中，种子样本即指的是训练集中初始的样本，即需要进行数据扩充增强的样本。考虑到在计算种子样本和所有备选样本计算相似度时，直接进行计算的时间复杂度为O(n*m)，n为种子样本数量，m为备选样本数量(即收集数据量，一般数据量在100w以上)。如果种子样本数据量过大，耗时非常严重。因此，为了减少训练样本增强过程中的工程量，可以首先将收集的备选样本数据预先进行向量化然后保存下来，方便后续直接使用。并将向量之间的运算转换为矩阵运算，大幅度节省了计算时间。
进一步地，所述步骤S300：分别计算种子样本的句向量与各个所述备选样本的句向量的相似度，包括如下步骤：
分别计算所述种子样本的句向量与各个所述备选样本的句向量的余弦相似度，作为对应的两个句向量的相似度。余弦相似度是指通过测量两个向量的夹角的余弦值来度量两个向量之间的相似性。余弦相似度相比于k-means、dbscan等基于欧氏距离计算相似度的方法，更适用于高维度上的距离计算。
此处选择余弦相似度来计算种子样本与备选样本的句向量的相似度仅为一种优选的实施方式，而不作为本发明的保护范围的限制。在其他可替代的实施方式中，所述步骤S300：分别计算种子样本的句向量与各个所述备选样本的句向量的相似度，也可以采用k-means、dbscan等基于欧氏距离计算相似度的方法，均属于本发明的保护范围之内。
在该实施例中，为了保证扩充增强后的训练样本的准确性，保证增强样本与种子样本的相似度足够高，所述步骤S400：根据计算得到的相似度从所述备选样本中选择增强样本，包括选择与所述种子样本的相似度大于预设相似度阈值的备选样本作为增强样本。此处预设相似度阈值的数值可以根据需要选择和调整，在预测相似度阈值设置得较高时，可以提高增强样本和种子样本的相似度要求，但是可能样本扩充的速度会比较慢。在预测相似度阈值设置得较低时，样本扩充速度较快，可以快速获得比较多的增强样本，但是可能会有部分增强样本与种子样本的相似度较低。
在该实施例中，为了保证扩充增强后样本的准确性，避免因为样本标注不准确而影响后续模型的训练效果，只保留高阈值部分的增强样本。如果仅通过单轮的相似性计算可能会获取不到充足的训练样本，因此可以基于前一轮得到的相似样本再进行一次相似性计算，直到收集到足够的样本。
具体地，如图3所示，在该实施例中，所述步骤S400：根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中之后，还包括如下步骤：
S510：判断所述训练集中的样本数量是否大于等于预设样本数量阈值；
如果否，则S520：将所述训练集中的样本作为新的种子样本，S530：分别计算新的种子样本的句向量与各个所述备选样本的句向量的相似度，然后继续步骤S540：根据计算得到的相似度从所述备选样本中选择新的增强样本，加入训练集中，在加入训练集后，可以再继续步骤S510进行判断，确定当前训练集中的样本数量是否大于等于预设样本数量阈值，直到当前训练集中的样本数量满足要求为止；
如果是，则S550：说明已经收集到了足够数量的训练样本，结束当前的训练样本增强流程。
如图4所示，本发明实施例还提供一种训练样本增强系统，用于实现所述的训练样本增强方法，所述系统包括：
语料采集模块M100，用于采集语料数据，从所述语料数据中提取备选样本；为了训练通用场景的数据扩充，所述语料采集模块M100收集了领域内各个场景的数据，并且加入了开源的高质量数据，例如维基百科、新闻等数据源；
向量获取模块M200，用于获取所述备选样本的句向量，具体地，所述向量获取模块M200还可以用于获取种子样本的句向量，种子样本的句向量与备选样本的句向量格式一致，可以采用相同的方式获取；
相似度计算模块M300，用于分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
样本增强模块M400，用于根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
本发明的目的在于从原始语料中直接挖掘与种子样本相似的样本数据，然后将挖掘到的样本数据加入到训练样本集中，实现对已有的训练样本的增强。首先，通过语料采集模块M100采集语料数据作为备选样本，然后通过向量获取模块M200获取备选样本的句向量，并通过相似度计算模块M300计算备选样本和种子样本的句向量之间的相似度，通过样本增强模块M400基于相似度计算自动扩充训练样本集，减少了人工标注样本的需求，整个过程均为自动实现的，无需人工干预，节省了人力，并且采用增强后的训练样本集训练得到的模型具有更好的鲁棒性，受噪声影响小，提高了模型应用的准确率。
通过采用本发明的训练样本增强系统增强后得到的训练样本集可以用于机器学习模型的训练，例如用于卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)、Transformer等模型的训练。扩充增强后的训练样本集具有更丰富的训练样本，并且通过相似度筛选的增强样本与种子样本的相似度高，可以基于与其相似的种子样本的标签为增强样本进行标注，标注更为准确，也有利于机器学习模型训练更为准确，得到效果更好的模型。
在该实施例中，所述训练样本增强系统还可以包括数据预处理模块，用于在所述语料采集模块M100采集语料数据，从所述语料数据中提取备选样本之后，按照预设的规范化处理规则，对所述备选样本进行规范化处理。所述规范化处理规则可以包括对大小写的统一规则、对标点符号的统一规则、繁体转简体的统一规则、去除停用词规则、去除低频词规则等等，使得处理后的备选样本具有统一的格式。
在该实施例中，所述向量获取模块M200可以采用如下任一种或多种方式获取所述备选样本的句向量：
基于doc2vec获取所述备选样本的第一句向量；
根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，具体地，每个词的词向量获取方式可以采用word2vec算法；
根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量，具体地，每个字的字向量也可以采用word2vec算法得到，也可以基于预设的字与字向量的映射关系来得到。
在该实施例中，为了得到丰富的句向量，可以将上述三种方式进行融合，即将三种方式得到的第一句向量、第二句向量和第三句向量进行拼接，即所述向量获取模块M200优选采用如下步骤获取所述备选样本的句向量：
所述向量获取模块M200基于doc2vec获取所述备选样本的第一句向量、根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量、根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量；
所述向量获取模块M200将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
所述向量获取模块M200将三种句向量进行拼接时，三种句向量的顺序是没有限定的，例如可以按照第一句向量、第二句向量和第三句向量的顺序进行拼接，也可以按照第一句向量、第三句向量和第二句向量的顺序进行拼接，或者按照第二句向量、第三句向量、第一句向量的方式进行拼接等等。
进一步地，考虑到在文本中，不同的词的重要程度有所不同，如果统一按照一致的权重来构建所述第二句向量，可能会对文本的语义表达不够准确。基于此，所述向量获取模块M200获取所述第二句向量包括：基于TF-IDF算法对由word2vec得到的各个词的词向量加权后得到所述备选样本的第二句向量。
在该实施例中，所述相似度计算模块M300分别计算种子样本的句向量与各个所述备选样本的句向量的相似度，包括分别计算种子样本的句向量与各个所述备选样本的句向量的余弦相似度。在其他可替代的实施方式中，所述种子样本的句向量和所述备选样本的句向量之间相似度的计算也可以采用其他算法，均属于本发明的保护范围之内。
在该实施例中，所述样本增强模块M400根据计算得到的相似度从所述备选样本中选择增强样本包括：选择与所述种子样本的相似度大于预设相似度阈值的备选样本作为增强样本。此处预设相似度阈值的数值可以根据需要选择和调整，在预测相似度阈值设置得较高时，可以提高增强样本和种子样本的相似度要求，但是可能样本扩充的速度会比较慢。在预测相似度阈值设置得较低时，样本扩充速度较快，可以快速获得比较多的增强样本，但是可能会有部分增强样本与种子样本的相似度较低。
本发明实施例还提供一种训练样本增强设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的训练样本增强方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述训练样本增强方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
所述训练样本增强设备中，所述存储器中的程序被处理器执行时实现所述的训练样本增强方法的步骤，因此，所述计算机存储介质也可以获得上述训练样本增强方法的技术效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的训练样本增强方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述训练样本增强方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所述计算机存储介质中的程序被处理器执行时实现所述的训练样本增强方法的步骤，因此，所述计算机存储介质也可以获得上述训练样本增强方法的技术效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (13)
1.一种训练样本增强方法，其特征在于，包括如下步骤：
采集语料数据，从所述语料数据中提取备选样本；
获取所述备选样本的句向量；
分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
2.根据权利要求1所述的训练样本增强方法，其特征在于，从所述语料数据中提取备选样本之后，还包括如下步骤：
按照预设的规范化处理规则，对所述备选样本进行规范化处理。
3.根据权利要求1所述的训练样本增强方法，其特征在于，所述获取所述备选样本的句向量，包括采用如下至少一种方法获取所述备选样本的句向量：
基于doc2vec获取所述备选样本的第一句向量；
根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量；
根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量。
4.根据权利要求1所述的训练样本增强方法，其特征在于，所述获取所述备选样本的句向量，包括如下步骤：
基于doc2vec获取所述备选样本的第一句向量、根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量、根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量；
将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
5.根据权利要求3或4所述的训练样本增强方法，其特征在于，所述根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量，包括如下步骤：
基于TF-IDF算法对由word2vec得到的各个词的词向量加权后得到所述备选样本的第二句向量。
6.根据权利要求1所述的训练样本增强方法，其特征在于，获取所述备选样本的句向量之后，还包括如下步骤：
将各个所述备选样本的句向量进行归一化处理，使得各个所述备选样本的句向量的长度一致。
7.根据权利要求1所述的训练样本增强方法，其特征在于，所述分别计算种子样本的句向量与各个所述备选样本的句向量的相似度，包括如下步骤：
分别计算所述种子样本的句向量与各个所述备选样本的句向量的余弦相似度，作为对应的两个句向量的相似度。
8.根据权利要求1所述的训练样本增强方法，其特征在于，所述根据计算得到的相似度从所述备选样本中选择增强样本，包括选择与所述种子样本的相似度大于预设相似度阈值的备选样本作为增强样本。
9.根据权利要求1所述的训练样本增强方法，其特征在于，所述加入训练集中之后，还包括如下步骤：
判断所述训练集中的样本数量是否大于等于预设样本数量阈值；
如果否，则将所述训练集中的样本作为新的种子样本，分别计算新的种子样本的句向量与各个所述备选样本的句向量的相似度，根据计算得到的相似度从所述备选样本中选择新的增强样本，加入训练集中。
10.一种训练样本增强系统，用于实现权利要求1至9中任一项所述的训练样本增强方法，其特征在于，所述系统包括：
语料采集模块，用于采集语料数据，从所述语料数据中提取备选样本；
向量获取模块，用于获取所述备选样本的句向量；
相似度计算模块，用于分别计算种子样本的句向量与各个所述备选样本的句向量的相似度；
样本增强模块，用于根据计算得到的相似度从所述备选样本中选择增强样本，加入训练集中。
11.根据权利要求10所述的训练样本增强系统，其特征在于，所述向量获取模块采用如下步骤获取所述备选样本的句向量：
所述向量获取模块基于doc2vec获取所述备选样本的第一句向量、根据所述备选样本中各个词的词向量得到所述备选样本的第二句向量、根据所述备选样本中各个字的字向量获取所述备选样本的第三句向量；
所述向量获取模块将所述第一句向量、所述第二句向量和所述第三句向量进行拼接，得到所述备选样本的句向量。
12.一种训练样本增强设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的训练样本增强方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至9中任一项所述的训练样本增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423410.9A CN112417860A (zh) | 2020-12-08 | 2020-12-08 | 训练样本增强方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011423410.9A CN112417860A (zh) | 2020-12-08 | 2020-12-08 | 训练样本增强方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112417860A true CN112417860A (zh) | 2021-02-26 |
Family
ID=74775206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011423410.9A Pending CN112417860A (zh) | 2020-12-08 | 2020-12-08 | 训练样本增强方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417860A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536770A (zh) * | 2021-09-09 | 2021-10-22 | 平安科技（深圳）有限公司 | 基于人工智能的文本解析方法、装置、设备及存储介质 |
| CN117193733A (zh) * | 2023-09-12 | 2023-12-08 | 上海澜码科技有限公司 | 示例库的构建、使用方法及生成的示例代码的评估方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| CN110175329A (zh) * | 2019-05-28 | 2019-08-27 | 上海优扬新媒信息技术有限公司 | 一种样本扩充的方法、装置、电子设备与存储介质 |
| CN110413986A (zh) * | 2019-04-12 | 2019-11-05 | 上海晏鼠计算机技术股份有限公司 | 一种改进词向量模型的文本聚类多文档自动摘要方法及系统 |
| CN110705612A (zh) * | 2019-09-18 | 2020-01-17 | 重庆邮电大学 | 一种混合多特征的句子相似度计算方法、存储介质及系统 |
-
2020
- 2020-12-08 CN CN202011423410.9A patent/CN112417860A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| CN110413986A (zh) * | 2019-04-12 | 2019-11-05 | 上海晏鼠计算机技术股份有限公司 | 一种改进词向量模型的文本聚类多文档自动摘要方法及系统 |
| CN110175329A (zh) * | 2019-05-28 | 2019-08-27 | 上海优扬新媒信息技术有限公司 | 一种样本扩充的方法、装置、电子设备与存储介质 |
| CN110705612A (zh) * | 2019-09-18 | 2020-01-17 | 重庆邮电大学 | 一种混合多特征的句子相似度计算方法、存储介质及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536770A (zh) * | 2021-09-09 | 2021-10-22 | 平安科技（深圳）有限公司 | 基于人工智能的文本解析方法、装置、设备及存储介质 |
| CN113536770B (zh) * | 2021-09-09 | 2021-11-30 | 平安科技（深圳）有限公司 | 基于人工智能的文本解析方法、装置、设备及存储介质 |
| CN117193733A (zh) * | 2023-09-12 | 2023-12-08 | 上海澜码科技有限公司 | 示例库的构建、使用方法及生成的示例代码的评估方法 |
| CN117193733B (zh) * | 2023-09-12 | 2024-03-19 | 上海澜码科技有限公司 | 示例库的构建、使用方法及生成的示例代码的评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200242302A1 (en) | Intention identification method, intention identification apparatus, and computer-readable recording medium | |
| US10657325B2 (en) | Method for parsing query based on artificial intelligence and computer device | |
| CN109815487B (zh) | 文本质检方法、电子装置、计算机设备及存储介质 | |
| CN110580308B (zh) | 信息审核方法及装置、电子设备、存储介质 | |
| CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
| CN110162786B (zh) | 构建配置文件以及抽取结构化信息的方法、装置 | |
| CN110263340B (zh) | 评论生成方法、装置、服务器及存储介质 | |
| CN109710951B (zh) | 基于翻译历史的辅助翻译方法、装置、设备及存储介质 | |
| CN110941951B (zh) | 文本相似度计算方法、装置、介质及电子设备 | |
| CN111079432B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN110245232B (zh) | 文本分类方法、装置、介质和计算设备 | |
| CN111783450B (zh) | 语料文本中的短语提取方法、装置、存储介质及电子设备 | |
| WO2022174496A1 (zh) | 基于生成模型的数据标注方法、装置、设备及存储介质 | |
| CN111597800B (zh) | 同义句的获取方法及装置、设备及存储介质 | |
| CN111626055B (zh) | 文本处理方法及装置、计算机存储介质、电子设备 | |
| CN110874536A (zh) | 语料质量评估模型生成方法和双语句对互译质量评估方法 | |
| CN112417860A (zh) | 训练样本增强方法、系统、设备及存储介质 | |
| CN113569578B (zh) | 一种用户意图识别方法、装置和计算机设备 | |
| CN112989050B (zh) | 一种表格分类方法、装置、设备及存储介质 | |
| CN111460224B (zh) | 评论数据的质量标注方法、装置、设备及存储介质 | |
| CN110929499B (zh) | 文本相似度获取方法、装置、介质及电子设备 | |
| CN112559711A (zh) | 一种同义文本提示方法、装置及电子设备 | |
| US20230139642A1 (en) | Method and apparatus for extracting skill label | |
| CN111666405B (zh) | 用于识别文本蕴含关系的方法和装置 | |
| CN108733702B (zh) | 用户查询上下位关系提取的方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |