CN116401382A - 样本数据获取及模型获取方法、装置、设备及存储介质 - Google Patents

样本数据获取及模型获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116401382A
CN116401382A CN202310084917.3A CN202310084917A CN116401382A CN 116401382 A CN116401382 A CN 116401382A CN 202310084917 A CN202310084917 A CN 202310084917A CN 116401382 A CN116401382 A CN 116401382A
Authority
CN
China
Prior art keywords
sample
corpus
seed
text corpus
amplification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310084917.3A
Other languages
English (en)
Inventor
杨霖
冯欣伟
时鸿剑
吴学谦
田孟
李斐斐
孙雨
陈帅宇
姚凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu International Technology Shenzhen Co ltd
Original Assignee
Baidu International Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu International Technology Shenzhen Co ltd filed Critical Baidu International Technology Shenzhen Co ltd
Priority to CN202310084917.3A priority Critical patent/CN116401382A/zh
Publication of CN116401382A publication Critical patent/CN116401382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了样本数据及模型获取方法、装置、设备及存储介质，涉及深度学习、自然语言处理以及知识图谱等人工智能领域。所述样本数据获取方法可包括：获取种子样本，包括：种子语料及对应的标签，种子语料为从原始文本语料集中选出的原始文本语料，标签为人工标注的标签；根据种子样本，从剩余的原始文本语料中选出符合预定要求的目标文本语料，根据目标文本语料生成初始扩增样本；基于原始文本语料集构建知识网络，根据种子样本、初始扩增样本以及知识网络，生成二次扩增样本；利用种子样本、初始扩增样本以及二次扩增样本组成样本集，用于利用样本集中的样本对待训练模型进行训练。应用本公开所述方案，可降低实现成本及提升模型训练效果等。

Description

样本数据获取及模型获取方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域，特别涉及深度学习、自然语言处理以及知识图谱等领域的样本数据获取及模型获取方法、装置、设备及存储介质。
背景技术
文本数据生产的目的是构造出适用于模型训练的具体任务数据，即样本数据。传统的文本数据生产方式通常如下：获取大量的原始文本语料，根据任务具体形式对原始文本语料进行规范化处理，并对规范化处理后的文本语料进行人工标注，从而得到可用于模型训练的样本数据。但这种方式需要耗费较大的人力和时间成本，而且效率低下。
发明内容
本公开提供了样本数据获取及模型获取方法、装置、设备及存储介质。
一种样本数据获取方法，包括：
获取种子样本，其中包括：种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签；
根据所述种子样本，从所述原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据所述目标文本语料生成初始扩增样本；
基于所述原始文本语料集构建知识网络，根据所述种子样本、所述初始扩增样本以及所述知识网络，生成二次扩增样本；
利用所述种子样本、所述初始扩增样本以及所述二次扩增样本组成样本集，用于利用所述样本集中的样本对待训练模型进行训练。
一种模型获取方法，包括：
获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，所述种子样本中包括种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，所述初始扩增样本为根据目标文本语料生成的样本，所述目标文本语料为根据所述种子样本从所述原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，所述二次扩增样本为根据所述种子样本、所述初始扩增样本以及知识网络生成的样本，所述知识网络为根据所述原始文本语料集构建出的知识网络；
利用所述样本集中的样本对待训练模型进行训练。
一种样本数据获取装置，包括：第一获取模块、第一扩增模块、第二扩增模块以及样本处理模块；
所述第一获取模块，用于获取种子样本，其中包括：种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签；
所述第一扩增模块，用于根据所述种子样本，从所述原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据所述目标文本语料生成初始扩增样本；
所述第二扩增模块，用于基于所述原始文本语料集构建知识网络，根据所述种子样本、所述初始扩增样本以及所述知识网络，生成二次扩增样本；
所述样本处理模块，用于利用所述种子样本、所述初始扩增样本以及所述二次扩增样本组成样本集，用于利用所述样本集中的样本对待训练模型进行训练。
一种模型获取装置，包括：第二获取模块以及模型训练模块；
所述第二获取模块，用于获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，所述种子样本中包括种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，所述初始扩增样本为根据目标文本语料生成的样本，所述目标文本语料为根据所述种子样本从所述原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，所述二次扩增样本为根据所述种子样本、所述初始扩增样本以及知识网络生成的样本，所述知识网络为根据所述原始文本语料集构建出的知识网络；
所述模型训练模块，用于利用所述样本集中的样本对待训练模型进行训练。
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开所述样本数据获取方法实施例的流程图；
图2为本公开所述种子样本、初始扩增样本以及二次扩增样本之间的关系示意图；
图3为本公开所述模型获取方法实施例的流程图；
图4为本公开所述样本数据获取装置实施例400的组成结构示意图；
图5为本公开所述模型获取装置实施例500的组成结构示意图；
图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本公开所述样本数据获取方法实施例的流程图。如图1所示，包括以下具体实现方式。
在步骤101中，获取种子样本，其中包括：种子语料以及对应的标签，种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签。
在步骤102中，根据种子样本，从原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据目标文本语料生成初始扩增样本。
在步骤103中，基于原始文本语料集构建知识网络，根据种子样本、初始扩增样本以及知识网络，生成二次扩增样本。
在步骤104中，利用种子样本、初始扩增样本以及二次扩增样本组成样本集，用于利用样本集中的样本对待训练模型进行训练。
采用上述方法实施例所述方案，仅需进行少量的人工标注，即可自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率及提升了模型训练效果，而且，分别采用了两种不同的扩增方式来生成扩增样本，从而提升了扩增样本的数量及扩增样本的多样性，进而进一步提升了模型训练效果等。
如何获取原始文本语料不作限制。比如，可由具体行业日常沉淀，或者可以较低成本从网络中获取等。
可利用大量的原始文本语料组成原始文本语料集。另外，可人工从原始文本语料集中选出部分原始文本语料，所述选出可以是指随机选出，选出的原始文本语料数量可远小于原始文本语料集中的原始文本语料数量，并且，可对选出的原始文本语料进行人工标注，即生成其标签。相比于全量的人工标注，小量级的标注能够大幅的减少人工成本。
基于种子样本，可从原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，并可根据目标文本语料生成初始扩增样本。
优选地，针对各种子样本，可分别进行以下处理：分别获取种子样本中的种子语料与剩余的各原始文本语料之间的明文相似度以及语义相似度，响应于确定任一原始文本语料符合以下要求：与种子语料之间的明文相似度和语义相似度中的至少一种大于对应的阈值，将该原始文本语料作为目标文本语料。
明文相似度以及语义相似度分别对应的阈值可以相同，也可以不同，另外，具体取值可根据实际需要而定。
以种子语料a以及原始文本语料b为例，可获取种子语料a与原始文本语料b之前的明文相似度，并可获取种子语料a与原始文本语料b之间的语义相似度，进而可将获取到的明文相似度以及语义相似度分别与对应的阈值进行比较，若明文相似度大于对应的阈值，或者，若语义相似度大于对应的阈值，或者，若明文相似度以及语义相似度分别大于对应的阈值，那么可将原始文本语料b作为选出的原始文本语料，即作为目标文本语料。
其中，明文相似度即指两个文本语料的明文信息之间的相似度，语义相似度即指两个文本语料的文本语义信息之间的相似度。如何计算相似度不作限制，比如可采用已有的成熟的计算方式。
优选地，针对任一目标文本语料，可分别进行以下处理：将目标文本语料对应的种子语料的标签作为目标文本语料的标签，利用目标文本语料及其标签组成初始扩增样本，目标文本语料对应的种子语料为用于选出目标文本语料的种子语料。
仍以上述的种子语料a以及原始文本语料b(目标文本语料)为例，种子语料a即为原始文本语料b对应的种子语料，可将种子语料a的标签作为原始文本语料b的标签，进而可利用原始文本语料b及其标签组成一条初始扩增样本。
通过上述处理，可实现粗粒度的样本扩增，即可利用种子语料通过相似度匹配方式从原始文本语料集中查找出目标文本语料，并可根据目标文本语料及相应的标签生成初始扩增样本，从而实现了初步的样本扩增，而且，可采用明文相似度以及语义相似度等不同的相似度匹配方式，从而提升了查找出的目标文本语料的全面性等。
另外，还可利用原始文本语料集构建知识网络，并可根据种子样本、初始扩增样本以及知识网络，生成二次扩增样本。这里所述的原始文本语料集是指包括所有的原始文本语料(包括种子语料以及目标文本语料)的原始文本语料集。
优选地，可分别对原始文本语料集中的各原始文本语料进行知识识别，即进行知识挖掘，进而可根据识别出的知识构建出知识网络。
识别出的知识可包括实体以及分面等能够代表文本语料内容的核心知识，即可进行实体识别以及分面识别等，比如，某电影为一个实体，电影的属性信息为分面。
根据识别出的知识间的关联关系，可构建出知识网络，即知识网络图，进而可根据种子样本、初始扩增样本以及知识网络，生成所需的二次扩增样本。
优选地，针对任一种子样本，可分别进行以下处理：根据知识网络，确定出从该种子样本中的种子语料中识别出的知识的相似知识，利用相似知识对种子语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据二次扩增语料生成二次扩增样本，相似知识为通过边直接相连的知识，类似地，针对任一初始扩增样本，可分别进行以下处理：根据知识网络，确定出从该初始扩增样本中的目标文本语料中识别出的知识的相似知识，利用相似知识对目标文本语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据二次扩增语料生成二次扩增样本。
以种子语料a为例，假设其中存在两个实体，分别为实体x和实体y，针对每个实体，可分别从知识网络中确定出其相似知识，即在知识网络中与实体x通过边直接相连的知识(假设为实体z)以及与实体y通过边直接相连的知识(假设为实体w)，并可用实体z和实体w分别去替换实体x和实体y，从而得到种子语料a对应的二次扩增语料，如可包括：实体x被实体z替换后的二次扩增语料、实体y被实体w替换后的二次扩增语料以及实体x和实体y分别被实体z和实体w替换后的二次扩增语料等。
优选地，针对种子样本，根据二次扩增语料生成二次扩增样本的方式可包括：将种子语料的标签作为二次扩增语料的标签，利用二次扩增语料及其标签组成二次扩增样本，类似地，针对初始扩增样本，根据二次扩增语料生成二次扩增样本的方式可包括：将目标文本语料的标签作为二次扩增语料的标签，利用二次扩增语料及其标签组成二次扩增样本。即可将替换前的文本语料的标签作为替换后得到的二次扩增语料的标签。
通过上述处理，可实现细粒度的样本扩增，即充分了利用了文本语料中的细粒度的相关知识，基于知识之间的关联关系构建出较为完备的知识网络，根据知识网络，通过知识间的相似度进行知识查找及替换等，从而实现了进一步的样本扩增。
结合上述介绍，图2为本公开所述种子样本、初始扩增样本以及二次扩增样本之间的关系示意图，具体实现请参照前述相关说明。
进一步地，可利用得到的种子样本、初始扩增样本以及二次扩增样本组成样本集，并可利用样本集中的样本对待训练模型进行训练。
相应地，图3为本公开所述模型获取方法实施例的流程图。如图3所示，包括以下具体实现方式。
在步骤301中，获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，种子样本中包括种子语料以及对应的标签，种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，初始扩增样本为根据目标文本语料生成的样本，目标文本语料为根据种子样本从原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，二次扩增样本为根据种子样本、初始扩增样本以及知识网络生成的样本，知识网络为根据原始文本语料集构建出的知识网络。
在步骤302中，利用样本集中的样本对待训练模型进行训练。
采用上述方法实施例所述方案，仅需少量的人工标注，即可自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率及提升了模型训练效果，而且，分别采用了两种不同的扩增方式来生成扩增样本，从而提升了扩增样本的数量及扩增样本的多样性，进而进一步提升了模型训练效果等。
样本集中的各样本的生成方式可参照前述相关说明，不再赘述。进一步地，可利用样本集中的样本对待训练模型进行训练。
优选地，在利用样本集中的样本对待训练模型进行训练之前，还可利用种子分类器分别预测出样本集中的各样本的标签，响应于确定任一样本的标签与预测出的标签不一致，可将该样本确定为强负例样本，种子分类器为利用种子样本训练得到的。
通过上述处理，可确定出强负例样本，而强负例样本能够让模型在训练过程中挖掘到更加深层次的内在关系，促使模型更加细致地拟合当前场景样本，从而提升模型训练效果。
另外，由于按照本公开所述方式得到的样本主要为自动化构建的，缺少人工的参与审核与筛选，因此很可能会存在部分噪声样本，为了进一步构造出更加纯净的样本，可采用以下优化处理方式。
优选地，在利用样本集中的样本对待训练模型进行训练之前，可分别对样本集中的各样本进行噪声识别，并可将识别为噪声样本的样本从样本集中过滤掉。噪声样本通常是指标签错误的样本。
比如，针对样本集中的任一样本，可分别利用预先训练得到的评分模型对该样本进行评分，响应于确定所述评分小于预定阈值，可将该样本确定出噪声样本。所述阈值的具体取值可根据实际需要而定。
评分模型可为预先训练得到的，可利用评分模型对样本进行评分，评估出其为噪音样本的可能性。
通过上述方式，可实现噪声样本的粗过滤，从而可去除掉一些较为明显的噪声样本，进而可进一步提升模型训练效果。
另外，优选地，在对待训练模型进行训练时，在每轮的训练过程中，可分别生成第一损失(loss)和第二损失，第一损失为根据输入待训练模型的样本生成的，输入待训练模型的样本为样本集中的样本，第二损失为根据构造出的插值样本生成的，插值样本为对输入待训练模型的样本进行两两线性插值后得到的样本，进而可结合第一损失以及第二损失对待训练模型进行参数更新。
通过线性插值处理，可构造出一批介于正常样本与噪声样本之间的样本数据，缓解数据受噪声的影响。
比如，某一样本的文本语料为xp，标签(labelp)为1，另一样本的文本语料为xq，labelq为0(假设该label错误，正确应该为1)，进行线性插值后的文本语料x为：
x＝σxp+(1-σ)xq； (1)
其中，σ可为随机从贝塔(beta)分布中采样得到的，取值范围可为[0，1]。
标签也可按照同样的方式进行处理，假设σ为0.5，那么线性插值后的标签即为0.5*1+(1-0.5)*0＝0.5，从而可得到一条插值样本，其文本语料为按照公式(1)得到的x，标签为0.5。
通过线性插值，中和了噪声样本对于模型训练的影响，间接起到了样本去噪的作用，进而进一步提升了模型训练效果。
比如，假设输入待训练模型的样本为样本1～样本30，这些样本同属于一个批次(batch)，那么可根据待训练模型对于这些样本的处理结果生成第一损失，并且，模型内部可对这些样本进行两两线性插值(将每个样本分别与自身之外的其它各样本进行线性插值)，从而可得到多个插值样本，并可根据待训练模型对于这些插值样本的处理结果生成第二损失，进而可结合第一损失以及第二损失来对待训练模型进行参数更新，即进行梯度更新。
优选地，第二损失可为交叉熵损失，第一损失可为按照提升模型对于噪声样本的纠正能力的原则对交叉熵损失进行优化后的损失。
其中，第二损失即传统的交叉熵损失l(θ)可如下所示：
Figure BDA0004072131400000091
其中，N表示同一batch中的样本数量，hi表示模型预测值(概率值形式)，yi表示样本的标签。
传统的交叉墒损失不适用于存在较多噪声样本的情况，该损失会在训练后期对噪声样本产生严重的过拟合现象。
为此，本公开所述方案中对传统的交叉熵损失进行了一定的优化，从而可得到如下所示的第一损失lB：
Figure BDA0004072131400000101
其中，wi为新引入的参数，取值可为经验值，zi表示模型预测值(非概率值，如可为具体的分类结果)。
通过引入wi，在一定程度上舍弃了原始的标签yi对于模型的引导作用，而是基于模型的预测值zi来作为后续更新的引导，这样处理对于正常样本来说没有任何影响，而对于噪声样本来说，能够缓解其错误标签所带来的负向影响。
可以看出，上述处理方式中，采用了多重去噪方式，即通过大模型评分、线性插值以及损失优化等多种方式过滤产出了更为纯净的训练样本，从而缓解了自动化生成样本所带来的噪声样本的问题，即尽可能地去除了噪声样本对于模型训练的影响，进而提升了模型训练效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。
总之，采用本公开方法实施例所述方案，仅需少量的人工参与来标注种子样本，后续即可通过多种扩增方式自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率以及提升了模型训练效果，而且，可采用多重去噪方式来提升样本的纯净性，进而进一步提升了模型训练效果等。
另外，本公开方法实施例所述方案可适用于不同的场景，如文本分类及文本搜索等场景，具有广泛适用性。
以文本分类中的文本情感分类场景为例，待训练模型即可为文本情感分类模型，所述分类可以是指二分类，也可以是指多分类(如三分类等)，那么相应地，文本语料的标签即指分类结果，如二分类时的标签可包括正向积极的情感和负向消极的情感，可分别用1和0来表示，如三分类时的标签可包括高兴、伤心和平静等。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图4为本公开所述样本数据获取装置实施例400的组成结构示意图。如图4所示，包括：第一获取模块401、第一扩增模块402、第二扩增模块403以及样本处理模块404。
第一获取模块401，用于获取种子样本，其中包括：种子语料以及对应的标签，种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签。
第一扩增模块402，用于根据种子样本，从原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据目标文本语料生成初始扩增样本。
第二扩增模块403，用于基于原始文本语料集构建知识网络，根据种子样本、初始扩增样本以及知识网络，生成二次扩增样本。
样本处理模块404，用于利用种子样本、初始扩增样本以及二次扩增样本组成样本集，用于利用样本集中的样本对待训练模型进行训练。
采用上述装置实施例所述方案，仅需进行少量的人工标注，即可自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率及提升了模型训练效果，而且，分别采用了两种不同的扩增方式来生成扩增样本，从而提升了扩增样本的数量及扩增样本的多样性，进而进一步提升了模型训练效果等。
可人工从原始文本语料集中选出部分原始文本语料，所述选出可以是指随机选出，选出的原始文本语料数量可远小于原始文本语料集中的原始文本语料数量，并且，可对选出的原始文本语料进行人工标注，即生成其标签。
基于种子样本，第一扩增模块402可从原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，并可根据目标文本语料生成初始扩增样本。
优选地，针对各种子样本，第一扩增模块402可分别进行以下处理：分别获取种子样本中的种子语料与剩余的各原始文本语料之间的明文相似度以及语义相似度，响应于确定任一原始文本语料符合以下要求：与种子语料之间的明文相似度和语义相似度中的至少一种大于对应的阈值，将该原始文本语料作为目标文本语料。
优选地，针对任一目标文本语料，第一扩增模块402还可分别进行以下处理：将该目标文本语料对应的种子语料的标签作为该目标文本语料的标签，利用该目标文本语料及其标签组成初始扩增样本，该目标文本语料对应的种子语料为用于选出该目标文本语料的种子语料。
另外，第二扩增模块403可基于原始文本语料集构建知识网络，并可根据种子样本、初始扩增样本以及知识网络，生成二次扩增样本。
优选地，第二扩增模块403可分别对原始文本语料集中的各原始文本语料进行知识识别，即进行知识挖掘，进而可根据识别出的知识构建出知识网络。
相应地，优选地，针对任一种子样本，第二扩增模块403可分别进行以下处理：根据知识网络，确定出从该种子样本中的种子语料中识别出的知识的相似知识，利用相似知识对种子语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据二次扩增语料生成二次扩增样本，相似知识为通过边直接相连的知识，类似地，针对任一初始扩增样本，可分别进行以下处理：根据知识网络，确定出从该初始扩增样本中的目标文本语料中识别出的知识的相似知识，利用相似知识对目标文本语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据二次扩增语料生成二次扩增样本。
优选地，针对种子样本，第二扩增模块403根据二次扩增语料生成二次扩增样本的方式可包括：将种子语料的标签作为二次扩增语料的标签，利用二次扩增语料及其标签组成二次扩增样本，类似地，针对初始扩增样本，第二扩增模块403根据二次扩增语料生成二次扩增样本的方式可包括：将目标文本语料的标签作为二次扩增语料的标签，利用二次扩增语料及其标签组成二次扩增样本。即可将替换前的文本语料的标签作为替换后得到的二次扩增语料的标签。
图5为本公开所述模型获取装置实施例500的组成结构示意图。如图5所示，包括：第二获取模块501以及模型训练模块502。
第二获取模块501，用于获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，种子样本中包括种子语料以及对应的标签，种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，初始扩增样本为根据目标文本语料生成的样本，目标文本语料为根据种子样本从原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，二次扩增样本为根据种子样本、初始扩增样本以及知识网络生成的样本，知识网络为根据原始文本语料集构建出的知识网络。
模型训练模块502，用于利用样本集中的样本对待训练模型进行训练。
采用上述装置实施例所述方案，仅需少量的人工标注，即可自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率及提升了模型训练效果，而且，分别采用了两种不同的扩增方式来生成扩增样本，从而提升了扩增样本的数量及扩增样本的多样性，进而进一步提升了模型训练效果等。
优选地，在利用样本集中的样本对待训练模型进行训练之前，模型训练模块502还可利用种子分类器分别预测出样本集中的各样本的标签，响应于确定任一样本的标签与预测出的标签不一致，可将该样本确定为强负例样本，种子分类器为利用种子样本训练得到的。
优选地，模型训练模块502在利用样本集中的样本对待训练模型进行训练之前，还可分别对样本集中的各样本进行噪声识别，并可将识别为噪声样本的样本从样本集中过滤掉。
比如，针对样本集中的任一样本，可分别利用预先训练得到的评分模型对该样本进行评分，响应于确定所述评分小于预定阈值，可将该样本确定出噪声样本。
另外，优选地，模型训练模块502在对待训练模型进行训练时，在每轮的训练过程中，可分别生成第一损失和第二损失，第一损失为根据输入待训练模型的样本生成的，输入待训练模型的样本为样本集中的样本，第二损失为根据构造出的插值样本生成的，插值样本为对输入待训练模型的样本进行两两线性插值后得到的样本，进而可结合第一损失以及第二损失对待训练模型进行参数更新。
优选地，第二损失可为交叉熵损失，第一损失可为按照提升模型对于噪声样本的纠正能力的原则对交叉熵损失进行优化后的损失。
图4和图5所示装置实施例的具体工作流程可参照前述方法实施例中的相关说明，不再赘述。
总之，采用本公开装置实施例所述方案，仅需少量的人工参与来标注种子样本，后续即可通过多种扩增方式自动地获取到大量的扩增样本，用于模型的训练，从而节省了人力和时间成本，并提升了处理效率以及提升了模型训练效果，而且，可采用多重去噪方式来提升样本的纯净性，进而进一步提升了模型训练效果，另外，可适用于不同的场景，如文本分类及文本搜索等场景，具有广泛适用性。
本公开所述方案可应用于人工智能领域，特别涉及深度学习、自然语言处理以及知识图谱等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
本公开所述实施例中的文本语料并不是针对某一特定用户的，并不能反映出某一特定用户的个人信息。本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种样本数据获取方法，包括：
获取种子样本，其中包括：种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签；
根据所述种子样本，从所述原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据所述目标文本语料生成初始扩增样本；
基于所述原始文本语料集构建知识网络，根据所述种子样本、所述初始扩增样本以及所述知识网络，生成二次扩增样本；
利用所述种子样本、所述初始扩增样本以及所述二次扩增样本组成样本集，用于利用所述样本集中的样本对待训练模型进行训练。
2.根据权利要求1所述的方法，其中，所述根据所述种子样本，从所述原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料包括：
针对各种子样本，分别进行以下处理：
分别获取所述种子样本中的种子语料与剩余的各原始文本语料之间的明文相似度以及语义相似度；
响应于确定任一原始文本语料符合以下要求：与所述种子语料之间的明文相似度和语义相似度中的至少一种大于对应的阈值，将所述原始文本语料作为所述目标文本语料。
3.根据权利要求2所述到的方法，其中，所述根据所述目标文本语料生成初始扩增样本包括：
针对任一目标文本语料，分别进行以下处理：将所述目标文本语料对应的种子语料的标签作为所述目标文本语料的标签，利用所述目标文本语料及其标签组成所述初始扩增样本，所述目标文本语料对应的种子语料为用于选出所述目标文本语料的种子语料。
4.根据权利要求3所述的方法，其中，所述基于所述原始文本语料集构建知识网络包括：
分别对所述原始文本语料集中的各原始文本语料进行知识识别，根据识别出的知识构建出所述知识网络。
5.根据权利要求4所述的方法，其中，所述根据所述种子样本、所述初始扩增样本以及所述知识网络，生成二次扩增样本包括：
针对任一种子样本，分别进行以下处理：根据所述知识网络，确定出从所述种子样本中的种子语料中识别出的知识的相似知识，利用所述相似知识对所述种子语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据所述二次扩增语料生成所述二次扩增样本，所述相似知识为通过边直接相连的知识；
针对任一初始扩增样本，分别进行以下处理：根据所述知识网络，确定出从所述初始扩增样本中的目标文本语料中识别出的知识的相似知识，利用所述相似知识对所述目标文本语料中的对应知识进行替换，将替换结果作为所述二次扩增语料，根据所述二次扩增语料生成所述二次扩增样本。
6.根据权利要求5所述的方法，其中，
针对所述种子样本，所述根据所述二次扩增语料生成所述二次扩增样本包括：将所述种子语料的标签作为所述二次扩增语料的标签，利用所述二次扩增语料及其标签组成所述二次扩增样本；
针对所述初始扩增样本，所述根据所述二次扩增语料生成所述二次扩增样本包括：将所述目标文本语料的标签作为所述二次扩增语料的标签，利用所述二次扩增语料及其标签组成所述二次扩增样本。
7.一种模型获取方法，包括：
获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，所述种子样本中包括种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，所述初始扩增样本为根据目标文本语料生成的样本，所述目标文本语料为根据所述种子样本从所述原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，所述二次扩增样本为根据所述种子样本、所述初始扩增样本以及知识网络生成的样本，所述知识网络为根据所述原始文本语料集构建出的知识网络；
利用所述样本集中的样本对待训练模型进行训练。
8.根据权利要求7所述的方法，还包括：
所述利用所述样本集中的样本对待训练模型进行训练之前，利用种子分类器分别预测出所述样本集中的各样本的标签，响应于确定任一样本的标签与预测出的标签不一致，将所述样本确定为强负例样本，所述种子分类器为利用所述种子样本训练得到的。
9.根据权利要求7所述的方法，还包括：
所述利用所述样本集中的样本对待训练模型进行训练之前，分别对所述样本集中的各样本进行噪声识别，将识别为噪声样本的样本从所述样本集中过滤掉。
10.根据权利要求7～9中任一项所述的方法，其中，所述利用所述样本集中的样本对待训练模型进行训练包括：
在每轮的训练过程中，分别生成第一损失和第二损失，所述第一损失为根据输入所述待训练模型的样本生成的，输入所述待训练模型的样本为所述样本集中的样本，所述第二损失为根据构造出的插值样本生成的，所述插值样本为对输入所述待训练模型的样本进行两两线性插值后得到的样本；
结合所述第一损失以及所述第二损失对所述待训练模型进行参数更新。
11.根据权利要求10所述的方法，其中，
所述第二损失为交叉熵损失，所述第一损失为按照提升模型对于噪声样本的纠正能力的原则对所述交叉熵损失进行优化后的损失。
12.一种样本数据获取装置，包括：第一获取模块、第一扩增模块、第二扩增模块以及样本处理模块；
所述第一获取模块，用于获取种子样本，其中包括：种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签；
所述第一扩增模块，用于根据所述种子样本，从所述原始文本语料集中剩余的原始文本语料中选出符合预定要求的目标文本语料，根据所述目标文本语料生成初始扩增样本；
所述第二扩增模块，用于基于所述原始文本语料集构建知识网络，根据所述种子样本、所述初始扩增样本以及所述知识网络，生成二次扩增样本；
所述样本处理模块，用于利用所述种子样本、所述初始扩增样本以及所述二次扩增样本组成样本集，用于利用所述样本集中的样本对待训练模型进行训练。
13.根据权利要求12所述的装置，其中，
所述第一扩增模块针对各种子样本，分别进行以下处理：分别获取所述种子样本中的种子语料与剩余的各原始文本语料之间的明文相似度以及语义相似度，响应于确定任一原始文本语料符合以下要求：与所述种子语料之间的明文相似度和语义相似度中的至少一种大于对应的阈值，将所述原始文本语料作为所述目标文本语料。
14.根据权利要求13所述到的装置，其中，
所述第一扩增模块针对任一目标文本语料，分别进行以下处理：将所述目标文本语料对应的种子语料的标签作为所述目标文本语料的标签，利用所述目标文本语料及其标签组成初始扩增样本，所述目标文本语料对应的种子语料为用于选出所述目标文本语料的种子语料。
15.根据权利要求14所述的装置，其中，
所述第二扩增模块分别对所述原始文本语料集中的各原始文本语料进行知识识别，根据识别出的知识构建出所述知识网络。
16.根据权利要求15所述的装置，其中，
所述第二扩增模块针对任一种子样本，分别进行以下处理：根据所述知识网络，确定出从所述种子样本中的种子语料中识别出的知识的相似知识，利用所述相似知识对所述种子语料中的对应知识进行替换，将替换结果作为二次扩增语料，根据所述二次扩增语料生成所述二次扩增样本，所述相似知识为通过边直接相连的知识；
所述第二扩增模块针对任一初始扩增样本，分别进行以下处理：根据所述知识网络，确定出从所述初始扩增样本中的目标文本语料中识别出的知识的相似知识，利用所述相似知识对所述目标文本语料中的对应知识进行替换，将替换结果作为所述二次扩增语料，根据所述二次扩增语料生成所述二次扩增样本。
17.根据权利要求16所述的装置，其中，
针对所述种子样本，所述第二扩增模块将所述种子语料的标签作为所述二次扩增语料的标签，利用所述二次扩增语料及其标签组成所述二次扩增样本；
针对所述初始扩增样本，所述第二扩增模块将所述目标文本语料的标签作为所述二次扩增语料的标签，利用所述二次扩增语料及其标签组成所述二次扩增样本。
18.一种模型获取装置，包括：第二获取模块以及模型训练模块；
所述第二获取模块，用于获取样本集，其中包括：种子样本、初始扩增样本以及二次扩增样本，所述种子样本中包括种子语料以及对应的标签，所述种子语料为从原始文本语料集中选出的原始文本语料，所述标签为人工标注的标签，所述初始扩增样本为根据目标文本语料生成的样本，所述目标文本语料为根据所述种子样本从所述原始文本语料集中剩余的原始文本语料中选出的符合预定要求的原始文本语料，所述二次扩增样本为根据所述种子样本、所述初始扩增样本以及知识网络生成的样本，所述知识网络为根据所述原始文本语料集构建出的知识网络；
所述模型训练模块，用于利用所述样本集中的样本对待训练模型进行训练。
19.根据权利要求18所述的装置，其中，
所述模型训练模块进一步用于，所述利用所述样本集中的样本对待训练模型进行训练之前，利用种子分类器分别预测出所述样本集中的各样本的标签，响应于确定任一样本的标签与预测出的标签不一致，将所述样本确定为强负例样本，所述种子分类器为利用所述种子样本训练得到的。
20.根据权利要求18所述的装置，其中，
所述模型训练模块进一步用于，所述利用所述样本集中的样本对待训练模型进行训练之前，分别对所述样本集中的各样本进行噪声识别，将识别为噪声样本的样本从所述样本集中过滤掉。
21.根据权利要求18～20中任一项所述的装置，其中，
所述模型训练模块在每轮的训练过程中，分别生成第一损失和第二损失，所述第一损失为根据输入所述待训练模型的样本生成的，输入所述待训练模型的样本为所述样本集中的样本，所述第二损失为根据构造出的插值样本生成的，所述插值样本为对输入所述待训练模型的样本进行两两线性插值后得到的样本，结合所述第一损失以及所述第二损失对所述待训练模型进行参数更新。
22.根据权利要求21所述的装置，其中，
所述第二损失为交叉熵损失，所述第一损失为按照提升模型对于噪声样本的纠正能力的原则对所述交叉熵损失进行优化后的损失。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-11中任一项所述的方法。
25.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1-11中任一项所述的方法。
CN202310084917.3A 2023-01-16 2023-01-16 样本数据获取及模型获取方法、装置、设备及存储介质 Pending CN116401382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310084917.3A CN116401382A (zh) 2023-01-16 2023-01-16 样本数据获取及模型获取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310084917.3A CN116401382A (zh) 2023-01-16 2023-01-16 样本数据获取及模型获取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116401382A true CN116401382A (zh) 2023-07-07

Family

ID=87016709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310084917.3A Pending CN116401382A (zh) 2023-01-16 2023-01-16 样本数据获取及模型获取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116401382A (zh)

Similar Documents

Publication Publication Date Title
CN111639710A (zh) 图像识别模型训练方法、装置、设备以及存储介质
CN111967262A (zh) 实体标签的确定方法和装置
CN114549874A (zh) 多目标图文匹配模型的训练方法、图文检索方法及装置
CN113344089B (zh) 模型训练方法、装置及电子设备
CN112949433B (zh) 视频分类模型的生成方法、装置、设备和存储介质
CN114861637B (zh) 拼写纠错模型生成方法和装置、拼写纠错方法和装置
CN113657395A (zh) 文本识别方法、视觉特征提取模型的训练方法及装置
CN114037059A (zh) 预训练模型、模型的生成方法、数据处理方法及装置
CN115062718A (zh) 语言模型训练方法、装置、电子设备及存储介质
CN114299194A (zh) 图像生成模型的训练方法、图像生成方法及装置
CN114090601B (zh) 一种数据筛选方法、装置、设备以及存储介质
CN113392920B (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN114611625A (zh) 语言模型训练、数据处理方法、装置、设备、介质及产品
CN113947189A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113919424A (zh) 文本处理模型的训练、文本处理方法、装置、设备和介质
CN113641724B (zh) 知识标签挖掘方法、装置、电子设备及存储介质
CN115909376A (zh) 文本识别方法、文本识别模型训练方法、装置及存储介质
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN114119972A (zh) 模型获取及对象处理方法、装置、电子设备及存储介质
CN114218431A (zh) 视频搜索方法、装置、电子设备以及存储介质
CN114969195A (zh) 对话内容挖掘方法和对话内容评估模型的生成方法
CN113590774A (zh) 事件查询方法、装置以及存储介质
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN114610953A (zh) 一种数据分类方法、装置、设备及存储介质
CN114328855A (zh) 文档查询方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination