CN112988212B - 神经网络模型之在线增量更新方法、装置、系统及存储介质 - Google Patents

神经网络模型之在线增量更新方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112988212B
CN112988212B CN202110314031.4A CN202110314031A CN112988212B CN 112988212 B CN112988212 B CN 112988212B CN 202110314031 A CN202110314031 A CN 202110314031A CN 112988212 B CN112988212 B CN 112988212B
Authority
CN
China
Prior art keywords
data set
training data
sample
incremental
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110314031.4A
Other languages
English (en)
Other versions
CN112988212A (zh
Inventor
陈晨
蔡海飘
江伟
唐镇川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Original Assignee
XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD filed Critical XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Priority to CN202110314031.4A priority Critical patent/CN112988212B/zh
Publication of CN112988212A publication Critical patent/CN112988212A/zh
Application granted granted Critical
Publication of CN112988212B publication Critical patent/CN112988212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G06F8/658—Incremental updates; Differential updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及神经网络模型之在线增量更新方法、装置、系统及存储介质，其针对每一个增量数据，通过对原始训练数据集进行采样，合并构建为一个样本均衡的批次，对神经网络模型进行训练和更新。本发明既能对增量数据进行学习，又实现了类似记忆库回放的功能，从过往训练数据中随机采样数据参与更新过程中的训练，就能够保留住神经网络模型原本的功能，并对神经网络模型存在的缺陷进行自我更新和完善。

Description

神经网络模型之在线增量更新方法、装置、系统及存储介质
技术领域
本发明涉及深度学习技术领域，具体涉及神经网络模型之在线增量更新方法、装置、系统及存储介质。
背景技术
常规的神经网络，在线运行的过程中，必将产生一些由于模型训练的缺陷导致判断错误的数据，称之为增量数据。如图1所示，针对在神经网络运行期间产生的增量数据，当前只能通过定期重启整套模型的训练，并把这部分数据与原有训练集进行合并，才能更新整个网络，极度耗费时间和资源。目前的神经网络并不支持在线增量更新（在不中断当前模型判断任务的前提下）。
如果只让神经网络在线更新并训练增量数据，由于增量数据的样本不均衡（只有模型缺陷的部分），必将导致模型对增量数据过拟合，从而令模型失去其原有功能，变成一个指哪打哪的机器而非人工智能，永远有训练不尽的增量数据。过拟合over-fitting：机器学习模型的训练误差远小于其在测试数据集上的误差，即泛化能力差。
鉴于此，本发明人针对上述存在的问题进行深入构思，遂产生本案。
发明内容
本发明的目的在于提供一种神经网络模型之在线增量更新方法、装置、系统及存储介质，以实现神经网络模型在保留其原有功能的前提下，不用重启全套训练，就能完成对增量数据的训练和更新。
为实现上述目的，本发明采用的技术方案为：
神经网络模型之在线增量更新方法，其包括以下步骤：
步骤1、神经网络模型产生误判数据，形成增量数据；
步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为神经网络模型的更新训练数据集；
步骤3、采用更新训练数据集对神经网络模型进行在线训练，训练结束后，若神经网络模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至神经网络模型能够对增量数据做出正确的判断。
所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应；
当所述增量数据类型与样本训练数据集Ai的类型相同时，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
神经网络模型之在线增量更新装置，其包括
更新训练数据集构建模块，用于在形成增量数据时，从神经网络模型的原始训练数据集中进行有放回的随机采样，并将采样得到的训练数据与增量数据结合形成更新训练数据集；
在线增量更新模块，连接更新训练数据集构建模块，用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练。
所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应；
当所述增量数据类型与样本训练数据集Ai的类型相同时，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
神经网络模型之在线增量更新系统，所述系统包括处理器和存储器；
所述存储器用于存储一个或多个软件程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行如上所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的方法。
一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的方法。
一种违规言论判断模型的在线增量更新方法，其包括以下步骤：
步骤1、违规言论判断模型产生误判数据，形成增量数据；所述误判是指正常言论判断为违规言论、或者违规言论判断为正常言论；
步骤2、从违规言论判断模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为违规言论判断模型的更新训练数据集；所述原始训练数据集和更新训练数据集均包括正常言论数据集和违规言论数据集；
当增量数据为正常言论时，从原始训练数据集的正常言论数据集中随机采样M-1个正常言论，与增量数据共同构成更新训练数据集的正常言论数据集；从原始训练数据集的违规言论数据集中速记采样M个违规言论作为更新训练数据集的违规言论数据集；
当增量数据为违规言论时，从原始训练数据集的违规言论数据集中随机采样M-1个违规言论，与增量数据共同构成更新训练数据集的正常言论数据集；从原始训练数据集的正常言论数据集中速记采样M个正常言论作为更新训练数据集的正常言论数据集；
步骤3、采用更新训练数据集对违规言论判断模型进行在线训练，训练结束后，若违规言论判断模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至违规言论判断模型能够对增量数据做出正确的判断。
采用上述方案后，本发明实现了神经网络模型的在线增量更新，无需对神经网络模型重启训练，在保留其在线判断功能的前提下完成了对增量数据的训练和更新。同时，由于构建增量训练数据的采样方式独特性，在每个训练批次都重新构建了放回式随机采样（并非一次性采样），从而令各个类别的样本在每个批次都是均衡的，进而令全训练流程的样本都处于均衡状态。既能从过往记忆中进行数据回放，保障模型的现有功能；同时，又能在避免过拟合的前提下，对增量数据进行训练。
附图说明
图1为现有神经网络模型的判断示意图；
图2为本发明的神经网络模型的判断示意图；
图3为本发明一实施例判断示意图。
具体实施方式
如图2所示，本发明揭示了一种神经网络模型之在线增量更新方法，其包括以下步骤：
步骤1、神经网络模型产生误判数据，形成一个增量数据；
步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为神经网络模型的更新训练数据集；
步骤3、采用更新训练数据集对神经网络模型进行在线训练，训练结束后，若神经网络模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至神经网络模型能够对增量数据做出正确的判断。
所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应。
上述步骤2在构建更新训练数据集时，若所述增量数据类型与样本训练数据集Ai的类型相同，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
本发明实现了神经网络模型对增量数据的在线更新，其针对每一个增量数据，通过对原始训练数据集进行采样，合并构建为一个样本均衡的批次，对神经网络模型进行训练和更新。本发明既能对增量数据进行学习，又实现了类似记忆库回放的功能，从过往训练数据中随机采样数据参与更新过程中的训练，就能够保留住神经网络模型原本的功能，并对神经网络模型存在的缺陷进行自我更新和完善。
例如，如图3所示，一个针对违规言论进行判断的神经网络模型，有两个分类，一类为正常言论，一类为违规言论，当前对一个言论产生了误判（既正常言论判断为了违规言论，或者违规言论判断为了正常言论）。针对这个误判言论的增量数据，首先构建一个批次，大小为32，那么M就为16；当前增量数据已占1/32。接着，从原始训练数据集中进行抽样，从另一分类言论中抽出16个样本数据，再从与增量数据同分类的言论中抽出15个样本数据与增量数据进行合并，构建成一个（正常言论:违规言论）等于1:1的均衡样本批次（16个正常言论，16个违规言论，其中里面含有当前的1个增量数据），通过这个32个样本的批次对神经网络模型执行更新，之后测试神经网络模型是否能正确判断误判的言论，若不能则重新采样下一个批次并再次进行更新训练，若能，则完成了该神经网络模型的增量数据的更新。
基于同一发明构思，本发明还揭示了一种神经网络模型之在线增量更新装置，其包括更新训练数据集构建模块和在线增量更新模块。
其中，更新训练数据集构建模块用于在形成增量数据时，从神经网络模型的原始训练数据集中进行有放回的随机采样，并将采样得到的训练数据与增量数据结合形成更新训练数据集。在线增量更新模块，连接更新训练数据集构建模块，用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练。
本实施例中，所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应；
更新训练数据集构建模块在构建更新训练数据集时，若所述增量数据类型与样本训练数据集Ai的类型相同，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
本发明还揭示了一种神经网络模型之在线增量更新系统，该系统包括处理器和存储器；存储器用于存储一个或多个软件程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行如上所述的方法。
本发明还揭示了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的方法。
本发明揭示了一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的方法。
综上，本发明的关键在于实现了神经网络模型的在线增量更新，无需对神经网络模型重启训练，在保留其在线判断功能的前提下完成了对增量数据的训练和更新。同时，由于构建增量训练数据的采样方式独特性，在每个训练批次都重新构建了放回式随机采样（并非一次性采样），从而令各个类别的样本在每个批次都是均衡的，进而令全训练流程的样本都处于均衡状态。既能从过往记忆中进行数据回放，保障模型的现有功能；同时，又能在避免过拟合的前提下，对增量数据进行训练。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.神经网络模型之在线增量更新方法，其特征在于：包括以下步骤：
步骤1、神经网络模型产生误判数据，形成增量数据；
步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为神经网络模型的更新训练数据集；
步骤3、采用更新训练数据集对神经网络模型进行在线训练，训练结束后，若神经网络模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至神经网络模型能够对增量数据做出正确的判断；
所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应；
当所述增量数据类型与样本训练数据集Ai的类型相同时，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
2.神经网络模型之在线增量更新装置，其特征在于：包括
更新训练数据集构建模块，用于在形成增量数据时，从神经网络模型的原始训练数据集中进行有放回的随机采样，并将采样得到的训练数据与增量数据结合形成更新训练数据集；
在线增量更新模块，连接更新训练数据集构建模块，用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练；
所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN}，所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN}，其中，N≥2；样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同，且一一对应；
当所述增量数据类型与样本训练数据集Ai的类型相同时，该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi，即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据；其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据，其中，i和j为1-N中的一个值，且i≠j。
3.神经网络模型之在线增量更新系统，其特征在于：所述系统包括处理器和存储器；
所述存储器用于存储一个或多个软件程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1所述的方法。
5.一种违规言论判断模型的在线增量更新方法，其特征在于：违规言论判断模型为一个针对违规言论进行判断的神经网络模型，有两个分类，一类为正常言论，一类为违规言论；包括以下步骤：
步骤1、违规言论判断模型产生误判数据，形成增量数据；所述误判是指正常言论判断为违规言论、或者违规言论判断为正常言论；
步骤2、从违规言论判断模型的原始训练数据集中进行有放回的随机采样，将得到的训练数据与增量数据构建为一个样本均衡的批次，将其作为违规言论判断模型的更新训练数据集；所述原始训练数据集和更新训练数据集均包括正常言论数据集和违规言论数据集；
当增量数据为正常言论时，从原始训练数据集的正常言论数据集中随机采样M-1个正常言论，与增量数据共同构成更新训练数据集的正常言论数据集；从原始训练数据集的违规言论数据集中速记采样M个违规言论作为更新训练数据集的违规言论数据集；
当增量数据为违规言论时，从原始训练数据集的违规言论数据集中随机采样M-1个违规言论，与增量数据共同构成更新训练数据集的正常言论数据集；从原始训练数据集的正常言论数据集中速记采样M个正常言论作为更新训练数据集的正常言论数据集；
步骤3、采用更新训练数据集对违规言论判断模型进行在线训练，训练结束后，若违规言论判断模型对增量数据未能掌握，无法做出正确的判断，重复步骤2，直至违规言论判断模型能够对增量数据做出正确的判断。
CN202110314031.4A 2021-03-24 2021-03-24 神经网络模型之在线增量更新方法、装置、系统及存储介质 Active CN112988212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110314031.4A CN112988212B (zh) 2021-03-24 2021-03-24 神经网络模型之在线增量更新方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110314031.4A CN112988212B (zh) 2021-03-24 2021-03-24 神经网络模型之在线增量更新方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112988212A CN112988212A (zh) 2021-06-18
CN112988212B true CN112988212B (zh) 2022-09-13

Family

ID=76334495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110314031.4A Active CN112988212B (zh) 2021-03-24 2021-03-24 神经网络模型之在线增量更新方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112988212B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662588B (zh) * 2022-03-21 2023-11-07 合肥工业大学 一种自动更新模型的方法、系统、设备及存储介质
CN117493889A (zh) * 2023-12-27 2024-02-02 中国科学院自动化研究所 增量式持续学习方法、装置、存储介质和电子设备
CN117671572A (zh) * 2024-02-02 2024-03-08 深邦智能科技集团(青岛)有限公司 一种多平台联动的道路图像模型处理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092894A (zh) * 2019-12-23 2020-05-01 厦门服云信息科技有限公司 一种基于增量学习的webshell检测方法、终端设备及存储介质
CN111181939A (zh) * 2019-12-20 2020-05-19 广东工业大学 一种基于集成学习的网络入侵检测方法及装置
CN112508243A (zh) * 2020-11-25 2021-03-16 国网浙江省电力有限公司信息通信分公司 电力信息系统多故障预测网络模型的训练方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317782B2 (en) * 2014-09-12 2016-04-19 Disney Enterprises, Inc. Incremental category embedding for categorization
CN110225055B (zh) * 2019-06-22 2020-10-09 福州大学 一种基于knn半监督学习模型的网络流量异常检测方法与系统
CN112149825A (zh) * 2020-09-24 2020-12-29 创新奇智(上海)科技有限公司 神经网络模型的训练方法及装置、电子设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181939A (zh) * 2019-12-20 2020-05-19 广东工业大学 一种基于集成学习的网络入侵检测方法及装置
CN111092894A (zh) * 2019-12-23 2020-05-01 厦门服云信息科技有限公司 一种基于增量学习的webshell检测方法、终端设备及存储介质
CN112508243A (zh) * 2020-11-25 2021-03-16 国网浙江省电力有限公司信息通信分公司 电力信息系统多故障预测网络模型的训练方法及装置

Also Published As

Publication number Publication date
CN112988212A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112988212B (zh) 神经网络模型之在线增量更新方法、装置、系统及存储介质
US20210019599A1 (en) Adaptive neural architecture search
CN109522550B (zh) 文本信息纠错方法、装置、计算机设备和存储介质
WO2015123950A1 (zh) 一种信息处理方法及装置
St-Louis et al. The resilience of verbal sequence learning: Evidence from the Hebb repetition effect.
CN109542780B (zh) 自然语言处理应用的测试方法、测试设备及存储介质
CN110109829B (zh) 智能对话自动化校验方法、存储介质
CN113392197B (zh) 问答推理方法、装置、存储介质及电子设备
JP2020047234A (ja) データ評価方法、装置、機器及び読み取り可能な記憶媒体
CN114168619A (zh) 语言转换模型的训练方法及装置
CN105488370B (zh) 一种儿童模式的解锁方法及装置
CN113268970A (zh) 一种在线考试试卷生成的方法和装置
Boersma Some correct error-driven versions of the Constraint Demotion Algorithm
CN117217315A (zh) 一种利用大语言模型生成高质量问答数据的方法及装置
CN112035666B (zh) 文本机器人交叉验证优化方法及装置
CN112364990B (zh) 通过元学习实现语法改错少样本领域适应的方法及系统
CN114896382A (zh) 人工智能问答模型生成方法、问答方法、装置及存储介质
CN114969372A (zh) 关系抽取方法、系统、设备及存储介质
CN114546804A (zh) 信息推送的效应评估方法、装置、电子设备和存储介质
CN110147556B (zh) 一种多向神经网络翻译系统的构建方法
CN113628077A (zh) 生成不重复考题的方法、终端及可读存储介质
CN112559377A (zh) 一种首次测试用例的生成方法和装置
CN112528221A (zh) 一种基于连续矩阵分解的知识与能力二元追踪方法
TW202217627A (zh) 人工智慧模型訓練系統及人工智慧模型訓練方法
CN117827668A (zh) 测试覆盖率提高装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant