CN112395401B - 自适应负样本对采样方法、装置、电子设备及存储介质 - Google Patents

自适应负样本对采样方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112395401B
CN112395401B CN202011290082.XA CN202011290082A CN112395401B CN 112395401 B CN112395401 B CN 112395401B CN 202011290082 A CN202011290082 A CN 202011290082A CN 112395401 B CN112395401 B CN 112395401B
Authority
CN
China
Prior art keywords
sample
sampling
negative
target
sample pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011290082.XA
Other languages
English (en)
Other versions
CN112395401A (zh
Inventor
金培根
刘志慧
何斐斐
陆林炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011290082.XA priority Critical patent/CN112395401B/zh
Publication of CN112395401A publication Critical patent/CN112395401A/zh
Application granted granted Critical
Publication of CN112395401B publication Critical patent/CN112395401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及数据处理，揭露一种自适应负样本对采样方法，包括：抽取第一样本对集合，构建第二样本对集合，将第二样本对集合中各个样本对的第一个样本作为目标文本；确定各个目标文本对应的目标候选样本集，将目标候选样本集划分为多个负样本集合；确定训练集、校验集，基于训练集训练待训练模型，基于校验集确定训练后的模型对于各个负样本集合的预测错误率，基于预测错误率进行负样本对采样，根据采样结果更新训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。本发明还提供一种负样本对采样装置、电子设备及可读存储介质。本发明提高了模型泛化能力，提升了模型性能。

Description

自适应负样本对采样方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种自适应负样本对采样方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，模型的应用愈加广泛，例如，智能问答应用时，针对用户的提问通过模型匹配问答库中对应的标准问题，将标准问题对应的标准答案发送给用户。为提高模型匹配效果，需要大量的正样本对及负样本对对模型进行训练。
当前通常通过随机采样的方式获取负样本对，这种方式有以下不足：1)随机采样的负样本对可能与正样本对极为相似；2)随机采样的负样本对可能与标的没有任何交集，使得负样本对过于简单，从而导致模型泛化能力弱、训练得到的模型性能差。因此，亟需一种负样本对采样方法，以提高模型泛化能力，提升模型性能。
发明内容
鉴于以上内容，有必要提供一种自适应负样本对采样方法，旨在提高模型泛化能力，提升模型性能。
本发明提供的自适应负样本对采样方法，包括：
解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本；
基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合；
将所述第一、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
可选的，所述基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，包括：
选择一个目标文本，将所述第一、第二样本对集合中各个样本对的第二个样本的集合作为选择的目标文本对应的第一候选样本集；
从所述第一候选样本集中剔除在第一、第二样本对集合中与所述选择的目标文本配对的样本，得到第二候选样本集；
将从所述第二候选样本集中随机抽取的预设数量的样本的集合作为所述选择的目标文本对应的目标候选样本集。
可选的，所述将所述目标候选样本集划分为多个不同等级的负样本集合包括：
计算各个目标文本与其对应的目标候选样本集中每个样本的相似度值，将相似度值大于预设阈值的样本从所述目标候选样本集中剔除；
根据预先设置的相似度区间与样本集等级之间的映射关系表将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合。
可选的，所述基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样包括：
选择一个目标文本，基于所述预测错误率确定选择的目标文本对应的各个负样本集合的采样率；
根据所述采样率及所述采样数量确定所述选择的目标文本对应的各个负样本集合的目标采样数量，根据所述目标采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本进行组合，得到目标负样本对集合。
可选的，所述采样率的计算公式为：
其中，xij为第i个目标文本对应的第j个负样本集合的采样率，eij为第i个目标文本对应的第j个负样本集合的预测错误率，n为第i个目标文本对应的负样本集合的总数量，a、b为常数。
可选的，所述根据采样结果更新所述训练集、校验集包括：
将所述第一、第二样本对集合及所述目标负样本对集合作为更新后的训练集；
从所述校验集中剔除所述目标负样本对集合中的各个样本对，得到更新后的校验集。
可选的，在将所述目标候选样本集划分为多个不同等级的负样本集合之后，所述方法还包括：
选择一个目标文本，根据预先设置的采样率与样本集等级之间的映射关系表确定所述选择的目标文本对应的各个负样本集合的目标采样率，基于所述目标采样率及所述采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本组合，得到目标负样本对集合。
为了解决上述问题，本发明还提供一种负样本对采样装置，所述装置包括：
解析模块，用于解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
构建模块，用于从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本；
划分模块，用于基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合；
采样模块，用于将所述第一、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的负样本对采样程序，所述负样本对采样程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述自适应负样本对采样方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有负样本对采样程序，所述负样本对采样程序可被一个或者多个处理器执行，以实现上述自适应负样本对采样方法。
相较现有技术，本发明首先从第一数据库中抽取第一样本对集合，根据第二数据库中的用户数据构建第二样本对集合，将第二样本对集合中各个样本对的第一个样本作为目标文本，本步骤将基于用户数据构建的第二样本对集合中各个样本对的第一个样本作为目标文本，使得目标文本更贴近实际情况，可使后续采样更真实；接着，基于第一、第二样本对集合确定各个目标文本对应的目标候选负样本集合，将目标候选负样本集划分为多个不同等级的负样本集合，后续分别对每个负样本集合进行采样，使得样本涵盖面更广，可增加模型的鲁棒性和泛化能力；然后，确定训练集、验证集，采用训练集训练待训练模型，采用校验集确定训练后的模型对于各个负样本集合的预测错误率，基于预测错误率对各个负样本集合进行负样本对采样，本步骤基于预测错误率进行负样本对采样，使得模型充分学习错误率高的负样本集合中的样本内容，可提高模型的预测准确性，提升模型性能；最后，根据采样结果更新训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛，本步骤中模型的训练过程相当于纠错过程，边训练，边重新采样，循环迭代，使得采样更贴合模型训练需求，实现了自适应采样负样本对。因此，本发明提高了模型泛化能力，提升了模型性能。
附图说明
图1为本发明一实施例提供的自适应负样本对采样方法的流程示意图；
图2为本发明一实施例提供的负样本对采样装置的模块示意图；
图3为本发明一实施例提供的实现自适应负样本对采样方法的电子设备的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种自适应负样本对采样方法。参照图1所示，为本发明一实施例提供的自适应负样本对采样方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
本实施例中，自适应负样本对采样方法包括：
S1、解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
S2、从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本。
本实施例以智能问答系统的应用场景为例进行说明，第一数据库中存储有业务专家预先配置的多个样本组，每个样本组包括标准问题、相似问题、标准答案。例如，样本组1中，标准问题：平安福的投保年龄是多少？相似问题：多大年龄的人可以投保平安福？|20岁可以投保平安福吗？标准答案：您好，18周岁以上均可投保平安福。
本实施例将一个样本组中的标准问题和相似问题抽取出来放入一个第一样本对，第一样本对的展现形式为三元数组(P,Q,Label)，其中，P表示标准问题，Q表示相似问题(或者P表示相似问题，Q表示标准问题)，Label表示P与Q是否相似，当P与Q相似时，Label为1；当P与Q不相似时，Label为0，因第一样本对中的P与Q为相似样本，故而第一样本对集合中每个样本对的Label都为1。
第二数据库中存储有智能问答系统上线后用户咨询问题时所产生的用户数据，所述用户数据包括用户提问、智能问答系统匹配出的标准问题及其对应的标准答案、用户对于智能问答系统给出的标准答案是否满意，所构建的第二样本对的展示形式也为三元数组(U,V,Label)，其中，U表示用户提问，V表示智能问题系统给出的标准问题，Label表示用户对于智能问答系统给出的标准答案是否满意，当满意时，Label为1(说明智能问答系统给出的标准问题与用户提问较相似，解决了用户提问)；当不满意时，Label为0，故而，第二样本对集合中有的样本对的Label为1，有的为0。
本实施例的待训练模型为问题匹配模型，本实施例将第二样本对中的第一个样本(即用户提问)作为目标文本，本发明的目的是获取与目标文本不相似的文本，以组成label为0的负样本对。假设第二样本对的数量为m(例如，3000)，则目标文本的数量也为m；假设每个目标文本对应的负样本对采样数量为n，即需要为每个目标文本采集n个不相似样本(例如，5个)，则需共采集m*n(3000*5＝15000)个不相似文本，得到m*n个负样本对。
S3、基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合。
本实施例中，所述基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，包括：
A1、选择一个目标文本，将所述第一、第二样本对集合中各个样本对的第二个样本的集合作为选择的目标文本对应的第一候选样本集；
A2、从所述第一候选样本集中剔除在第一、第二样本对集合中与所述选择的目标文本配对的样本，得到第二候选样本集；
A3、将从所述第二候选样本集中随机抽取的预设数量的样本的集合作为所述选择的目标文本对应的目标候选样本集。
假设第一样本对集合中有7000个第一样本对，第二样本对集合中有3000个第二样本对，则将第一样本对集合中所有的Q与第二样本对集合中所有的V的集合作为第一候选样本集，第一候选样本集中的样本数量为10000，再将在第一、第二样本对集合中与选择的目标文本配对的样本剔除(避免重复采样)，得到的第二候选样本集可能有九千多个样本，因第二候选样本集中的样本数量巨大，然而每个目标文本对应的负样本对采样数量实际可能只需要3～10个，为加快采样效率，本实施例将随机抽取的预设数量(例如，500个)的样本的集合作为目标候选样本集。
所述将所述目标候选样本集划分为多个不同等级的负样本集合包括：
B1、计算各个目标文本与其对应的目标候选样本集中每个样本的相似度值，将相似度值大于预设阈值的样本从所述目标候选样本集中剔除；
所述相似度值为jaccard相似度值，其计算公式为：
其中，sij为第i个目标文本与其对应的目标候选样本集中第j个样本的相似度值，pi为第i个目标文本，qij为第i个目标文本对应的目标候选样本集中第j个样本。
假设目标文本pi为：平安福的投保规则，其对应的目标候选样本集中第j个样本qij为：爱满分的投保规则，则sij＝Len({的，投，保，规，则})/Len({平，安，福，的，投，保，规，则，爱，满，分})＝5/11＝0.455。
与目标文本的相似度值大于预设阈值(例如，0.8)的样本，也可以认为是目标文本的相似文本，无法组成负样本对，故而在采集负样本对之前，需从目标候选样本集中剔除这部分样本数据。
B2、根据预先设置的相似度区间与样本集等级之间的映射关系表将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合。
例如，相似度区间与样本集等级之间的映射关系表可以是将相似度值在0～0.3之间的样本的集合作为第一级负样本集合，将相似度值在0.3～0.6之间的样本的集合作为第二级负样本集合，将相似度值在0.6～0.8之间的样本的集合作为第三级负样本集合。其中，第一级负样本集合中的样本很可能与目标文本没有一点字面意思重叠或重叠字数很少(例如：平安福的投保规则vs爱满分的销售话术)；第二级负样本集合中的样本可能只是部分文字和目标文本相同(例如：平安福的投保规则vs平安福的销售话术)；第三级负样本集合中的样本有可能仅仅单个字或词的不同导致整体语义与目标文本不同(例如：平安福的投保规则vs福保保的投保规则)。
根据相似度值将目标负样本集划分为多个不同等级的负样本集合，后续分别对不同等级的负样本集合进行负样本对采集，使得负样本对的涵盖面更广，更接近真实情况，增加了模型的鲁棒性和泛化能力。
本实施例中，相似度区间与样本集等级之间的映射关系表也可以是将相似度值在0～0.1、0.1～0.2、……、0.6～0.7、0.7～0.8各个区间的样本分别划分到8个等级的负样本集合中。
在本发明的另一个实施例中，所述步骤B2还可以被替换为：将所述目标候选样本集中剩余的样本按照相似度值从高到低的顺序排序，根据排序结果将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合。
假设剔除相似度值大于0.8的样本后，目标负样本集中还剩400个样本，可在根据相似度值从高到低的顺序排序后，将剩余样本分为10个负样本集合，每个负样本集中包括40个样本。
所述基于各个目标文本及其对应的目标候选样本集确定第三样本对集合，包括：
将各个目标文本与其对应的目标候选样本集中的每个样本进行组合，得到多个第三样本对，将所述第三样本对的集合作为第三样本对集合。
本实施例中，假设目标文本数量为3000、各个目标文本对应的目标候选样本集合中的样本数量为500个，将各个目标文本与其对应的目标候选样本集合中的每个样本进行组合，得到的第三样本对集合中共有3000*500＝150万个第三样本对，因这150万第三样本对都是不相似样本对，故而，第三样本对集合中的样本对的Label全部为0。
S4、将所述第一、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
假设第一样本对集合中有7000个样本对，第二样本对集合中有3000个样本对，则训练集中共有1万个样本对(有的样本对的Label为1，有的Label为0)，校验集中共有150万个样本对(所有样本对的Label都为0)，采用训练集对待训练模型进行第一轮训练，将校验集中的样本输入训练后的模型中得到各个样本对的预测结果(相似或不相似)，根据每个样本对的预测结果与Label确定训练后的模型的预测错误率。
本实施例中，所述基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样包括：
C1、选择一个目标文本，基于所述预测错误率确定选择的目标文本对应的各个负样本集合的采样率；
C2、根据所述采样率及所述采样数量确定所述选择的目标文本对应的各个负样本集合的目标采样数量，根据所述目标采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本进行组合，得到目标负样本对集合。
所述采样率的计算公式为：
其中，xij为第i个目标文本对应的第j个负样本集合的采样率，eij为第i个目标文本对应的第j个负样本集合的预测错误率，n为第i个目标文本对应的负样本集合的总数量，a、b为常数。
假设第i个目标文本对应的第j个负样本集合有N个，且这N个样本对的label都是0，然后模型对每个样本对进行分类预测，预测结果要么是0要么是1，如果是0表示预测正确，是1表示预测错误，若预测错误的样本对个数是M，则错误率＝M/N。
从采样率的计算公式可知，预测错误率越高的负样本集合的采样率越高，从而模型可更充分的学习该负样本集合中的样本内容，提高了训练得到的模型的预测准确性，提升了模型的性能。
默认情况下，a＝1，b＝0，有特殊需求时，例如，需要采集较多的相似度值在0～0.1区间的负样本对，此时可通过调整a、b的值达到采样目的，然而，各个负样本集合的采样率需满足条件∑xij＝1。
本实施例中，所述根据采样结果更新所述训练集、校验集包括：
D1、将所述第一、第二样本对集合及所述目标负样本对集合作为更新后的训练集；
D2、从所述校验集中剔除所述目标负样本对集合中的各个样本对，得到更新后的校验集。
本实施例中，假设每个目标文本对应的负样本对的采样数量为5，则目标负样本对集合中共有3000*5＝1.5万个样本对，更新后的训练集有1万+1.5万＝2.5万个样本对，更新后的校验集中有150万-1.5万＝148.5万个样本对。
用更新后的训练集继续训练模型，用更新后的校验集确定训练后的模型的新的预测错误率，根据新的预测错误率确定更新后的采样率，并重新采样。因本方案为自适应采样方案，模型的训练过程相当于纠错的过程，故而需通过训练、校验确定新的预测错误率并进行再次采样、再次训练，循环迭代，直至模型收敛。
本实施例中，在将所述目标候选样本集划分为多个不同等级的负样本集合之后，所述方法还包括：
选择一个目标文本，根据预先设置的采样率与样本集等级之间的映射关系表确定所述选择的目标文本对应的各个负样本集合的目标采样率，基于所述目标采样率及所述采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本组合，得到目标负样本对集合。
本步骤为静态采样过程(只需一次采样)，例如，可将相似度值在0～0.3之间的第一级负样本集合的采样率设为30％，将相似度值在0.3～0.6之间的第二级负样本集合的采样率设为50％，将相似度值在0.6～0.8之间的第三级负样本集合的采样率设为20％。采样完成之后，直接和训练集(第一、第二样本对集合)进行合并组成新的训练集，直接用这个新的训练集进行模型训练直至模型收敛即可。
由上述实施例可知，本发明提出的自适应负样本对采样方法，首先，从第一数据库中抽取第一样本对集合，根据第二数据库中的用户数据构建第二样本对集合，将第二样本对集合中各个样本对的第一个样本作为目标文本，本步骤将基于用户数据构建的第二样本对集合中各个样本对的第一个样本作为目标文本，使得目标文本更贴近实际情况，可使后续采样更真实；接着，基于第一、第二样本对集合确定各个目标文本对应的目标候选负样本集合，将目标候选负样本集划分为多个不同等级的负样本集合，后续分别对每个负样本集合进行采样，使得样本涵盖面更广，可增加模型的鲁棒性和泛化能力；然后，确定训练集、验证集，采用训练集训练待训练模型，采用校验集确定训练后的模型对于各个负样本集合的预测错误率，基于预测错误率对各个负样本集合进行负样本对采样，本步骤基于预测错误率进行负样本对采样，使得模型充分学习错误率高的负样本集合中的样本内容，可提高模型的预测准确性，提升模型性能；最后，根据采样结果更新训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛，本步骤中模型的训练过程相当于纠错过程，边训练，边重新采样，循环迭代，使得采样更贴合模型训练需求，实现了自适应采样负样本对。因此，本发明提高了模型泛化能力，提升了模型性能。
如图2所示，为本发明一实施例提供的负样本对采样装置的模块示意图。
本发明所述负样本对采样装置100可以安装于电子设备中。根据实现的功能，所述负样本对采样装置100可以包括解析模块110、构建模块120、划分模块130及采样模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
解析模块110，用于解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
构建模块120，用于从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本。
本实施例以智能问答系统的应用场景为例进行说明，第一数据库中存储有业务专家预先配置的多个样本组，每个样本组包括标准问题、相似问题、标准答案。例如，样本组1中，标准问题：平安福的投保年龄是多少？相似问题：多大年龄的人可以投保平安福？|20岁可以投保平安福吗？标准答案：您好，18周岁以上均可投保平安福。
本实施例将一个样本组中的标准问题和相似问题抽取出来放入一个第一样本对，第一样本对的展现形式为三元数组(P,Q,Label)，其中，P表示标准问题，Q表示相似问题(或者P表示相似问题，Q表示标准问题)，Label表示P与Q是否相似，当P与Q相似时，Label为1；当P与Q不相似时，Label为0，因第一样本对中的P与Q为相似样本，故而第一样本对集合中每个样本对的Label都为1。
第二数据库中存储有智能问答系统上线后用户咨询问题时所产生的用户数据，所述用户数据包括用户提问、智能问答系统匹配出的标准问题及其对应的标准答案、用户对于智能问答系统给出的标准答案是否满意，所构建的第二样本对的展示形式也为三元数组(U,V,Label)，其中，U表示用户提问，V表示智能问题系统给出的标准问题，Label表示用户对于智能问答系统给出的标准答案是否满意，当满意时，Label为1(说明智能问答系统给出的标准问题与用户提问较相似，解决了用户提问)；当不满意时，Label为0，故而，第二样本对集合中有的样本对的Label为1，有的为0。
本实施例的待训练模型为问题匹配模型，本实施例将第二样本对中的第一个样本(即用户提问)作为目标文本，本发明的目的是获取与目标文本不相似的文本，以组成label为0的负样本对。假设第二样本对的数量为m(例如，3000)，则目标文本的数量也为m；假设每个目标文本对应的负样本对采样数量为n，即需要为每个目标文本采集n个不相似样本(例如，5个)，则需共采集m*n(3000*5＝15000)个不相似文本，得到m*n个负样本对。
划分模块130，用于基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合。
本实施例中，所述基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，包括：
A1、选择一个目标文本，将所述第一、第二样本对集合中各个样本对的第二个样本的集合作为选择的目标文本对应的第一候选样本集；
A2、从所述第一候选样本集中剔除在第一、第二样本对集合中与所述选择的目标文本配对的样本，得到第二候选样本集；
A3、将从所述第二候选样本集中随机抽取的预设数量的样本的集合作为所述选择的目标文本对应的目标候选样本集。
假设第一样本对集合中有7000个第一样本对，第二样本对集合中有3000个第二样本对，则将第一样本对集合中所有的Q与第二样本对集合中所有的V的集合作为第一候选样本集，第一候选样本集中的样本数量为10000，再将在第一、第二样本对集合中与选择的目标文本配对的样本剔除(避免重复采样)，得到的第二候选样本集可能有九千多个样本，因第二候选样本集中的样本数量巨大，然而每个目标文本对应的负样本对采样数量实际可能只需要3～10个，为加快采样效率，本实施例将随机抽取的预设数量(例如，500个)的样本的集合作为目标候选样本集。
所述将所述目标候选样本集划分为多个不同等级的负样本集合包括：
B1、计算各个目标文本与其对应的目标候选样本集中每个样本的相似度值，将相似度值大于预设阈值的样本从所述目标候选样本集中剔除；
所述相似度值为jaccard相似度值，其计算公式为：
其中，sij为第i个目标文本与其对应的目标候选样本集中第j个样本的相似度值，pi为第i个目标文本，qij为第i个目标文本对应的目标候选样本集中第j个样本。
假设目标文本pi为：平安福的投保规则，其对应的目标候选样本集中第j个样本qij为：爱满分的投保规则，则sij＝Len({的，投，保，规，则})/Len({平，安，福，的，投，保，规，则，爱，满，分})＝5/11＝0.455。
与目标文本的相似度值大于预设阈值(例如，0.8)的样本，也可以认为是目标文本的相似文本，无法组成负样本对，故而在采集负样本对之前，需从目标候选样本集中剔除这部分样本数据。
B2、根据预先设置的相似度区间与样本集等级之间的映射关系表将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合。
例如，相似度区间与样本集等级之间的映射关系表可以是将相似度值在0～0.3之间的样本的集合作为第一级负样本集合，将相似度值在0.3～0.6之间的样本的集合作为第二级负样本集合，将相似度值在0.6～0.8之间的样本的集合作为第三级负样本集合。其中，第一级负样本集合中的样本很可能与目标文本没有一点字面意思重叠或重叠字数很少(例如：平安福的投保规则vs爱满分的销售话术)；第二级负样本集合中的样本可能只是部分文字和目标文本相同(例如：平安福的投保规则vs平安福的销售话术)；第三级负样本集合中的样本有可能仅仅单个字或词的不同导致整体语义与目标文本不同(例如：平安福的投保规则vs福保保的投保规则)。
根据相似度值将目标负样本集划分为多个不同等级的负样本集合，后续分别对不同等级的负样本集合进行负样本对采集，使得负样本对的涵盖面更广，更接近真实情况，增加了模型的鲁棒性和泛化能力。
本实施例中，相似度区间与样本集等级之间的映射关系表也可以是将相似度值在0～0.1、0.1～0.2、……、0.6～0.7、0.7～0.8各个区间的样本分别划分到8个等级的负样本集合中。
在本发明的另一个实施例中，所述步骤B2还可以被替换为：将所述目标候选样本集中剩余的样本按照相似度值从高到低的顺序排序，根据排序结果将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合。
假设剔除相似度值大于0.8的样本后，目标负样本集中还剩400个样本，可在根据相似度值从高到低的顺序排序后，将剩余样本分为10个负样本集合，每个负样本集中包括40个样本。
所述基于各个目标文本及其对应的目标候选样本集确定第三样本对集合，包括：
将各个目标文本与其对应的目标候选样本集中的每个样本进行组合，得到多个第三样本对，将所述第三样本对的集合作为第三样本对集合。
本实施例中，假设目标文本数量为3000、各个目标文本对应的目标候选样本集合中的样本数量为500个，将各个目标文本与其对应的目标候选样本集合中的每个样本进行组合，得到的第三样本对集合中共有3000*500＝150万个第三样本对，因这150万第三样本对都是不相似样本对，故而，第三样本对集合中的样本对的Label全部为0。
采样模块140，用于将所述第一、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
假设第一样本对集合中有7000个样本对，第二样本对集合中有3000个样本对，则训练集中共有1万个样本对(有的样本对的Label为1，有的Label为0)，校验集中共有150万个样本对(所有样本对的Label都为0)，采用训练集对待训练模型进行第一轮训练，将校验集中的样本输入训练后的模型中得到各个样本对的预测结果(相似或不相似)，根据每个样本对的预测结果与Label确定训练后的模型的预测错误率。
本实施例中，所述基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样包括：
C1、选择一个目标文本，基于所述预测错误率确定选择的目标文本对应的各个负样本集合的采样率；
C2、根据所述采样率及所述采样数量确定所述选择的目标文本对应的各个负样本集合的目标采样数量，根据所述目标采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本进行组合，得到目标负样本对集合。
所述采样率的计算公式为：
其中，xij为第i个目标文本对应的第j个负样本集合的采样率，eij为第i个目标文本对应的第j个负样本集合的预测错误率，n为第i个目标文本对应的负样本集合的总数量，a、b为常数。
假设第i个目标文本对应的第j个负样本集合有N个，且这N个样本对的label都是0，然后模型对每个样本对进行分类预测，预测结果要么是0要么是1，如果是0表示预测正确，是1表示预测错误，若预测错误的样本对个数是M，则错误率＝M/N。
从采样率的计算公式可知，预测错误率越高的负样本集合的采样率越高，从而模型可更充分的学习该负样本集合中的样本内容，提高了训练得到的模型的预测准确性，提升了模型的性能。
默认情况下，a＝1，b＝0，有特殊需求时，例如，需要采集较多的相似度值在0～0.1区间的负样本对，此时可通过调整a、b的值达到采样目的，然而，各个负样本集合的采样率需满足条件∑xij＝1。
本实施例中，所述根据采样结果更新所述训练集、校验集包括：
D1、将所述第一、第二样本对集合及所述目标负样本对集合作为更新后的训练集；
D2、从所述校验集中剔除所述目标负样本对集合中的各个样本对，得到更新后的校验集。
本实施例中，假设每个目标文本对应的负样本对的采样数量为5，则目标负样本对集合中共有3000*5＝1.5万个样本对，更新后的训练集有1万+1.5万＝2.5万个样本对，更新后的校验集中有150万-1.5万＝148.5万个样本对。
用更新后的训练集继续训练模型，用更新后的校验集确定训练后的模型的新的预测错误率，根据新的预测错误率确定更新后的采样率，并重新采样。因本方案为自适应采样方案，模型的训练过程相当于纠错的过程，故而需通过训练、校验确定新的预测错误率并进行再次采样、再次训练，循环迭代，直至模型收敛。
本实施例中，在将所述目标候选样本集划分为多个不同等级的负样本集合之后，所述采样模块140还用于：
选择一个目标文本，根据预先设置的采样率与样本集等级之间的映射关系表确定所述选择的目标文本对应的各个负样本集合的目标采样率，基于所述目标采样率及所述采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本组合，得到目标负样本对集合。
本步骤为静态采样过程(只需一次采样)，例如，可将相似度值在0～0.3之间的第一级负样本集合的采样率设为30％，将相似度值在0.3～0.6之间的第二级负样本集合的采样率设为50％，将相似度值在0.6～0.8之间的第三级负样本集合的采样率设为20％。采样完成之后，直接和训练集(第一、第二样本对集合)进行合并组成新的训练集，直接用这个新的训练集进行模型训练直至模型收敛即可。
如图3所示，为本发明一实施例提供的实现自适应负样本对采样方法的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有负样本对采样程序10，所述负样本对采样程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及负样本对采样程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的负样本对采样程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行负样本对采样程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的负样本对采样程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本；
基于所述第一、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合；
将所述第一、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
具体地，所述处理器12对上述负样本对采样程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述目标负样本对集合的私密和安全性，上述目标负样本对集合还可以存储于一区块链的节点中。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有负样本对采样程序10，所述负样本对采样程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述自适应负样本对采样方法各实施例基本相同，在此不作赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种自适应负样本对采样方法，其特征在于，所述方法包括：
解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本；
基于所述第一样本对集合、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合；
将所述第一样本对集合、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛；
其中，所述将所述目标候选样本集划分为多个不同等级的负样本集合，包括：计算各个目标文本与其对应的目标候选样本集中每个样本的相似度值，将相似度值大于预设阈值的样本从所述目标候选样本集中剔除；根据预先设置的相似度区间与样本集等级之间的映射关系表将所述目标候选样本集中剩余的样本划分为多个不同等级的负样本集合；
所述基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，包括：选择一个目标文本，基于所述预测错误率确定选择的目标文本对应的各个负样本集合的采样率；根据所述采样率及所述采样数量确定所述选择的目标文本对应的各个负样本集合的目标采样数量，根据所述目标采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本进行组合，得到目标负样本对集合；
所述采样率的计算公式为：
其中，xij为第i个目标文本对应的第j个负样本集合的采样率，eij为第i个目标文本对应的第j个负样本集合的预测错误率，n为第i个目标文本对应的负样本集合的总数量，a、b为常数；
在将所述目标候选样本集划分为多个不同等级的负样本集合之后，所述方法还包括：选择一个目标文本，根据预先设置的采样率与样本集等级之间的映射关系表确定所述选择的目标文本对应的各个负样本集合的目标采样率，基于所述目标采样率及所述采样数量对各个负样本集合进行采样，将采样得到的每个样本与所述选择的目标文本组合，得到目标负样本对集合。
2.如权利要求1所述的自适应负样本对采样方法，其特征在于，所述基于所述第一样本对集合、第二样本对集合确定各个目标文本对应的目标候选样本集，包括：
选择一个目标文本，将所述第一样本对集合、第二样本对集合中各个样本对的第二个样本的集合作为选择的目标文本对应的第一候选样本集；
从所述第一候选样本集中剔除在第一样本对集合、第二样本对集合中与所述选择的目标文本配对的样本，得到第二候选样本集；
将从所述第二候选样本集中随机抽取的预设数量的样本的集合作为所述选择的目标文本对应的目标候选样本集。
3.如权利要求1所述的自适应负样本对采样方法，其特征在于，所述根据采样结果更新所述训练集、校验集，包括：
将所述第一样本对集合、第二样本对集合及所述目标负样本对集合作为更新后的训练集；
从所述校验集中剔除所述目标负样本对集合中的各个样本对，得到更新后的校验集。
4.一种负样本对采样装置，用于实现如权利要求1至3任一项所述的自适应负样本对采样方法其特征在于，所述装置包括：
解析模块，用于解析用户基于客户端发出的负样本对采样请求，获取所述负样本对采样请求携带的负样本对采样数量及待训练模型；
构建模块，用于从第一数据库中抽取第一样本对集合，从第二数据库中获取预设时间段内的用户数据，基于所述用户数据构建第二样本对集合，将所述第二样本对集合中各个样本对的第一个样本作为目标文本；
划分模块，用于基于所述第一样本对集合、第二样本对集合确定各个目标文本对应的目标候选样本集，将所述目标候选样本集划分为多个不同等级的负样本集合，基于各个目标文本及其对应的目标候选样本集确定第三样本对集合；
采样模块，用于将所述第一样本对集合、第二样本对集合作为训练集，将所述第三样本对集合作为校验集，基于所述训练集训练所述待训练模型，基于所述校验集确定训练后的模型对于各个负样本集合的预测错误率，基于所述预测错误率及所述采样数量对各个负样本集合进行负样本对采样，根据采样结果更新所述训练集、校验集，基于更新后的训练集、校验集确定更新后的预测错误率，并重新采样、训练模型，直至模型收敛。
5.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的负样本对采样程序，所述负样本对采样程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任一项所述的自适应负样本对采样方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有负样本对采样程序，所述负样本对采样程序可被一个或者多个处理器执行，以实现如权利要求1至3任一项所述的自适应负样本对采样方法。
CN202011290082.XA 2020-11-17 2020-11-17 自适应负样本对采样方法、装置、电子设备及存储介质 Active CN112395401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011290082.XA CN112395401B (zh) 2020-11-17 2020-11-17 自适应负样本对采样方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011290082.XA CN112395401B (zh) 2020-11-17 2020-11-17 自适应负样本对采样方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112395401A CN112395401A (zh) 2021-02-23
CN112395401B true CN112395401B (zh) 2024-06-04

Family

ID=74607191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011290082.XA Active CN112395401B (zh) 2020-11-17 2020-11-17 自适应负样本对采样方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112395401B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656575B (zh) * 2021-07-13 2024-02-02 北京搜狗科技发展有限公司 训练数据的生成方法、装置、电子设备及可读介质
CN115938353B (zh) * 2022-11-24 2023-06-27 北京数美时代科技有限公司 语音样本分布式采样方法、系统、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549908A (zh) * 2018-04-13 2018-09-18 浙江科技学院 基于多采样概率核主成分模型的化工过程故障检测方法
CN110533489A (zh) * 2019-09-05 2019-12-03 腾讯科技（深圳）有限公司 应用于模型训练的样本获取方法及装置、设备、存储介质
WO2020215671A1 (zh) * 2019-08-19 2020-10-29 平安科技（深圳）有限公司 数据智能分析方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549908A (zh) * 2018-04-13 2018-09-18 浙江科技学院 基于多采样概率核主成分模型的化工过程故障检测方法
WO2020215671A1 (zh) * 2019-08-19 2020-10-29 平安科技（深圳）有限公司 数据智能分析方法、装置、计算机设备及存储介质
CN110533489A (zh) * 2019-09-05 2019-12-03 腾讯科技（深圳）有限公司 应用于模型训练的样本获取方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN112395401A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112417096B (zh) 问答对匹配方法、装置、电子设备及存储介质
CN112183091A (zh) 问答对生成方法、装置、电子设备及可读存储介质
CN113283675B (zh) 指标数据分析方法、装置、设备及存储介质
CN112395401B (zh) 自适应负样本对采样方法、装置、电子设备及存储介质
CN111860377A (zh) 基于人工智能的直播方法、装置、电子设备及存储介质
CN112001179A (zh) 命名实体识别方法、装置、电子设备及可读存储介质
CN111798123A (zh) 基于人工智能的合规性评价方法、装置、设备及介质
CN115146865A (zh) 基于人工智能的任务优化方法及相关设备
CN112288337B (zh) 行为推荐方法、装置、设备及介质
CN112800178A (zh) 答案生成方法、装置、电子设备及可读存储介质
WO2022073508A1 (zh) 语音信息录入方法、装置、电子设备及存储介质
CN112597135A (zh) 用户分类方法、装置、电子设备及可读存储介质
CN114997263A (zh) 基于机器学习的结训率分析方法、装置、设备及存储介质
CN114706985A (zh) 文本分类方法、装置、电子设备及存储介质
CN113591459B (zh) 地址标准化处理方法、装置、电子设备及可读存储介质
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN114281991A (zh) 文本分类方法、装置、电子设备及存储介质
CN113706252B (zh) 产品推荐方法、装置、电子设备及存储介质
CN113850260B (zh) 关键信息抽取方法、装置、电子设备及可读存储介质
US11556593B1 (en) String similarity determination
CN115169360A (zh) 基于人工智能的用户意图识别方法及相关设备
CN113902302A (zh) 基于人工智能的数据分析方法、装置、设备及存储介质
CN114139530A (zh) 同义词提取方法、装置、电子设备及存储介质
CN113269179A (zh) 数据处理方法、装置、设备及存储介质
CN111933241A (zh) 医疗数据解析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant