CN114662588B - 一种自动更新模型的方法、系统、设备及存储介质 - Google Patents
一种自动更新模型的方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114662588B CN114662588B CN202210278104.3A CN202210278104A CN114662588B CN 114662588 B CN114662588 B CN 114662588B CN 202210278104 A CN202210278104 A CN 202210278104A CN 114662588 B CN114662588 B CN 114662588B
- Authority
- CN
- China
- Prior art keywords
- data set
- sample
- sample data
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000003062 neural network model Methods 0.000 claims abstract description 67
- 239000002131 composite material Substances 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自动更新模型的方法、系统、设备及存储介质，属于模型更新技术领域。自动更新模型的方法包括：获得样本数据集；将样本数据集中的若干个样本数据输入神经网络模型训练，生成旧数据集；若样本数据集中未训练的样本数据数量大于或等于样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型获得训练结果；根据训练结果对新数据集进行划分，获得可信数据集；将可信数据集与旧数据集按照预设组合规则进行组合，得到复合数据集，并将复合数据集输入至神经网络模型，更新神经网络模型；将复合数据集作为旧数据集，继续训练未训练的样本数据，自动更新网络模型。解决了模型更新步骤繁琐，更新效率低下，易造成概念偏移的问题。
Description
技术领域
本发明涉及模型更新技术领域，具体涉及一种自动更新模型的方法、系统、设备及存储介质。
背景技术
在神经网络模型的训练过程中，需要按比例选择训练样本中的部分数据输入至神经网络，进行训练，然后再选择一部分数据输入神经网络，继续训练。但目前神经网络模型训练过多的依靠人工标记样本，模型更新步骤过于繁琐，没有完整的实现神经网络模型自动更新的算法。因此，需要提供一种自动更新模型的方法、系统、设备及存储介质。
发明内容
鉴于以上现有技术的缺点，本发明的目的在于提供一种自动更新模型的方法、系统、设备及存储介质，以改善现有技术中，模型更新步骤过于繁琐，更新效率低下，易造成概念偏移的问题。
为实现上述目的及其它相关目的，本发明提一种自动更新模型的方法，包括以下过程：
S1、获得样本数据集；
S2、将样本数据集中的若干个样本数据输入至预设的神经网络模型进行训练，生成旧数据集；
S3、若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型，获得训练结果；
S4、根据训练结果对所述新数据集进行可信度划分，获得可信数据集；
S5、将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型；
S6、将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，重复步骤S3至S5，自动更新所述神经网络模型。
在本发明一实施例中，所述组合规则的公式为：result＝believe+old*k，其中，result为复合数据集中样本数据的数量，believe为可信数据集中样本数据的数量，old为旧数据集中样本数据的数量，k为预设的旧数据复合比例。
在本发明一实施例中，所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集之前，还包括：使用批量样本标记算法，根据所述新数据集中各样本数据的训练结果，生成对应的标签文件。
在本发明一实施例中，若所述样本数据集中未训练的样本数据数量小于预设的样本数量阈值，在样本数据集中加入外来样本数据，直至未训练的样本数据数量大于或等于预设的样本数量阈值。
在本发明一实施例中，所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集包括：
获得所述新数据集中各样本数据对于多个训练结果的拟合度，并对拟合度进行排序；
选择拟合度最高的若干个拟合度作为判断拟合度，将判断拟合度进行差值计算，得到拟合度差值；
若所述拟合度差值的绝对值大于或等于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为可信数据集。
在本发明一实施例中，若所述拟合度差值小于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为不可信数据集。
在本发明一实施例中，所述方法还包括，将所述不可信数据集加入至未训练的样本数据中。
在本发明一实施例中，还提供一种自动更新模型的系统，所述系统包括：
数据获得单元，用于获得样本数据集；
旧数据集生成单元，用于将样本数据集中的若干个样本数据输入至预设的神经网络模型进行训练，生成旧数据集；
新数据集生成单元，用于若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型，获得训练结果；
可信数据集生成单元，用于根据训练结果对所述新数据集进行可信度划分，获得可信数据集；
复合数据集生成单元，用于将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型；
模型更新单元，用于将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，自动更新所述神经网络模型。
在本发明一实施例中，还提供一种自动更新模型的设备，包括处理器，所述处理器与存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述任一项所述的方法。
在本发明一实施例中，还提供一种计算机可读存储介质，包括程序，当所述程序在计算机上运行时，使得计算机执行上述中任一项所述的方法。
综上所述，本发明中，通过将样本数据集中的部分样本数据输入至神经网络模型中，进行模型的初次更新，并将此部分样本数据作为旧数据集。然后将满足样本数量阈值的未训练的样本数据作为新数据集，输入至神经网络模型中训练，根据训练结果对新数据集进行可信度划分，得到可信数据集。将可信数据集与旧数据集按照组合规则进行组合，得到复合数据集。通过复合数据集更新模型，并将更新完模型的复合数据集作为旧数据集。重复执行上述过程，实现模型的自动更新训练。解决了神经网络模型更新步骤繁琐，更新效率低下，易造成概念偏移的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明一实施例中自动更新模型的方法的流程示意图；
图2显示为本发明一实施例中自动更新模型的方法的结构框图；
图3显示为本发明一实施例中自动更新YOLO模型的方法的流程示意图；
图4显示为本发明一实施例中数据集关联的示意图；
图5显示为本发明一实施例中步骤S4的流程示意图；
图6显示为本发明一实施例中自动更新模型的系统的原理结构示意图。
元件标号说明：
10、自动更新模型的系统；11、数据获得单元；12、旧数据集生成单元；13、新数据集生成单元；14、可信数据集生成单元；15、复合数据集生成单元；16、模型更新单元。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。
请参阅图1至图6。须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。
请参阅图1至图3，图1显示为本发明一实施例中自动更新模型的方法方法的流程示意图，图2显示为本发明一实施例中自动更新模型的方法的结构框图，图3显示为本发明一实施例中自动更新YOLO模型的方法的流程示意图。本发明提供一种自动更新模型的方法。通过将样本数据集中的部分样本数据输入至神经网络模型中，进行模型的初次更新，并将此部分样本数据作为旧数据集。然后将满足样本数量阈值的未训练的样本数据作为新数据集，输入至神经网络模型中训练，根据训练结果对新数据集进行可信度划分，得到可信数据集。将可信数据集与旧数据集按照组合规则进行组合，得到复合数据集。通过复合数据集更新模型，并将更新完模型的复合数据集作为旧数据集。重复执行上述过程，利用神经网络进行训练，实现网络权重的不断更新。解决了神经网络模型更新步骤繁琐，更新效率低下，易造成概念偏移的的问题。
请参阅图1至图4，图4显示为本发明一实施例中数据集关联的示意图。在本发明一实施例中，提供一种自动更新模型的方法，包括以下过程：
S1、获得样本数据集；
S2、将样本数据集中的若干个样本数据输入至预设的神经网络模型进行训练，生成旧数据集；
S3、若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型，获得训练结果；
S4、根据训练结果对所述新数据集进行可信度划分，获得可信数据集；
S5、将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型；
S6、将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，重复步骤S3至S5，自动更新所述神经网络模型。
在本发明一实施例中，获得样本数据集后，随机选择样本数据集中的若干个样本数据输入至预设的神经网络模型中进行首次训练，训练完毕后，将上述若干个样本数据作为旧数据集对神经网络模型进行第一轮更新。在神经网络模型进行下一轮更新前，将样本数据集中未参加训练的样本数据与预设的样本数量阈值a进行比较。其中，本领域技术人员可基于待训练的神经网络模型的结构以及训练环境等多种因素适应性设置样本数量阈值的大小，在此不做限定。若未参加训练的样本数据数量大于或等于样本数量阈值a，则在样本数据集中随机选取a个未参加训练的样本数据作为一个新数据集，输入至神经网络模型进行训练，获得训练结果。其中，未参加训练的样本数据为没有参加前一次神经网络模型更新的样本。根据训练结果对新数据集进行划分为可信数据集和不可信数据集，将可信数据集中的全部样本数据以及旧数据集中的部分样本数据，按照预设的组合规则进行组合，得到复合数据集。使用复合数据集对神经网络模型进行更新，并将更新后的复合数据集作为旧数据集。继续在未训练的样本数据中选择a个样本数据，重复执行步骤S3至S5，从而实现了神经网络模型的不断自动更新的过程。
其中，本实施例中样本数据集是根据训练需求，通过开源数据集或自制数据集的方式获得的多个样本数据，通过将样本数据集中的样本数据输入至预设的神经网络模型进行训练，实现对神经网络模型中参数的更新。需要说明的是，样本数据的数量应大于或等于预设的样本数量阈值，从而便于实现神经网络模型的首次训练。
在本发明一实施例中，所述组合规则的公式为：result＝believe+old*k，其中，result为复合数据集中样本数据的数量，believe为可信数据集中样本数据的数量，old为旧数据集中样本数据的数量，k为预设的旧数据复合比例。通过将全部的可信数据集与部分旧数据集的样本数据进行结合，对模型进行更新。其中，旧数据集可以提供更新前模型的识别特征，选择部分旧数据集中样本数据的目的是在保证模型更新效率的同时，防止模型由于跳跃式更新或概念偏移导致模型更新异常的情况发生。
为了代替人工标记样本导致训练效率低下的问题，在本发明一实施例中，所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集之前，还包括：使用批量样本标记算法，根据所述新数据集中各样本数据的训练结果，生成对应的标签文件。通过将训练样本进行批量标记，从而生成符合神经网络训练格式的数据集，改善了人工标注样本的种种弊端。其中，批量样本标记算法为获取结果文件的具体格式和经动态调整与置信度划分后获取的结果标签，批量生成每个样本对应的标签文件，调整为符合神经网络训练的格式。具体地，每一次将样本数据输入至神经网络模型后，根据不同的网络结构，神经网络模型通过提取样本数据中的特征信息，例如识别结果、尺寸、大小、灰度值等，并以此为依据生成多个标签文件，每个标签文件对应于一个样本数据。然后建立目录，将上述多个标签文件进行存放，以便于后续更新模型参数时，直接提取对应标签文件，按照其中存储的数据对模型进行更新。其中，标签文件的格式可根据具体神经网络模型的需求类型进行设置。
需要说明的是，本发明中的神经网络模型是指具有固定的训练样本格式和模型更新能力，且神经网络模型的输出结果须具有制成训练集的可能性，从而能够实现本发明中基于训练集数量的自动改变，实现神经神经网络模型的更新。具体的网络形式不做限定，可以是前馈神经网络模型、反馈神经网络模型或自组织神经网络模型等，本领域技术人员可根据实际训练需求适应性选择。
在本发明一实施例中，为了便于后续提取，将每一次的训练结果保存在数据库中，生成数据表，数据表中每一个数据对应一个训练结果。每一个数据至少包含训练结果的序号，与此训练结果对应的样本数据的标签文件的保存路径，与此训练结果拟合度最高的样本数据及其拟合度。
考虑到若未训练的样本数据的数量小于预设的样本数量阈值，则无法输入模型进行训练。为了实现模型的自动更新，在本发明一实施例中，若所述样本数据集中未训练的样本数据数量小于预设的样本数量阈值，在样本数据集中加入外来样本数据，直至未训练的样本数据数量大于或等于预设的样本数量阈值。可通过人工加入部分外来样本数据的方式，实现样本数据的扩充，一方面通过数据集数量的增加提高了模型的鲁棒性，另一方面可充分保证模型的自动更新能力。
如图1和图5所示，图5显示为本发明一实施例中步骤S4的流程示意图，考虑到新数据集中的样本数据并非全部为有效数据，为了提取有效数据，本实施例中，步骤S4包括以下过程：
S41、获得所述新数据集中各样本数据对于多个训练结果的拟合度，并对拟合度进行排序。
将新数据集中各样本数据输入神经网络模型训练后，得到每个样本数据与多个训练结果的拟合度，并对拟合度进行升序或降序排序。其中，拟合度表示该样本数据与训练结果的拟合程度。例如，输入猫的图片，则训练结果为猫的概率为60％，为狗的概率为40％，将上述概率称为拟合度。
S42、选择拟合度最高的若干个拟合度作为判断拟合度，将判断拟合度进行差值计算，得到拟合度差值。
选择拟合度最高的若干个拟合度作为判断拟合度，并将判断拟合度求差，得到拟合度差值。其中，判断拟合度的数量可基于模型的精度适应性选择，本实施例中判断拟合度为两个。通过将两个判断拟合度作差，得到一个拟合度差值。
S43、若所述拟合度差值的绝对值大于或等于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为可信数据集。
如果拟合度差值的绝对值大于或等于预设的拟合度差值阈值，则认为模型可将该样本数据进行较为准确的划分。因此可将该判断拟合度对应的样本数据作为可信数据集，对模型进行更新。将新数据集中的每个样本数据使用上述方法进行划分，最终得到可信数据集。其中，拟合度差值阈值是基于待训练模型的精度适应性设置。
为了防止偏差识别结果导致的概念偏移情况，需要对新数据集进行筛选，将不符合条件的数据剔除，在本发明一实施例中，所述若所述拟合度差值小于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为不可信数据集。当拟合度差值较小时，则认为模型对此样本数据不具备良好的分类识别能力，因此为了防止偏差识别，需要将此样本数据作为不可信数据集。例如，样本数据为猫的图片，将其输入至模型中，与猫的拟合度为45％，与狗的拟合度为55％，对于识别模型无法区分该样本数据具体是猫还是狗，导致模型的性能欠佳。因此需将该样本数据作为不可信数据集，不参与当前模型的更新。
为了不浪费样本数据，在本发明一实施例中，方法还包括，将所述不可信数据集加入至未训练的样本数据中。通过将该未训练的样本数据与人工加入的外来样本一同再次输入至模型中，进行训练。不会导致样本数据的浪费，且在训练过程中随着模型鲁棒性的提升，不可信数据集可能会转变为可信数据集。
上面方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本发明的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该发明的保护范围内。
请参阅图6，图6显示为本发明一实施例中自动更新模型的系统的原理结构示意图。该自动更新模型的方法系统10包括数据获得单元11、旧数据集生成单元12、新数据集生成单元13、可信数据集生成单元14、复合数据集生成单元15和模型更新单元16。其中，数据获得单元11用于获得样本数据集。旧数据集生成单元12用于将样本数据集中的若干个样本数据输入至预设的神经网络模型进行训练，生成旧数据集。新数据集生成单元13用于若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型，获得训练结果。可信数据集生成单元14用于根据训练结果对所述新数据集进行可信度划分，获得可信数据集。复合数据集生成单元15用于将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型。模型更新单元16用于将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，自动更新所述神经网络模型。
需要说明的是，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，但这并不表明本实施例中不存在其它的模块。
此外，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本发明所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本实施例还提出了一种自动更新模型的方法设备，该设备包括处理器和存储器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述任务管理方法。处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。所述存储器可以为随机存取存储器(Random Access Memory，RAM)类型的内部存储器，所述处理器、存储器可以集成为一个或多个独立的电路或硬件，如：专用集成电路(Application Specific IntegratedCircuit，ASIC)。需要说明的是，上述的存储器中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
本实施例还提出一种计算机可读的存储介质，所述存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述的任务管理方法。存储介质可以是电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。存储介质还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-RW)和DVD。
综上所述，通过将样本数据集中的部分样本数据输入至神经网络模型中，进行模型的初次更新，并将此部分样本数据作为旧数据集。然后将满足样本数量阈值的未训练的样本数据作为新数据集，输入至神经网络模型中训练，根据训练结果对新数据集进行可信度划分，得到可信数据集。将可信数据集与旧数据集按照组合规则进行组合，得到复合数据集。通过复合数据集更新模型，并将更新完模型的复合数据集作为旧数据集。重复执行上述过程，利用神经网络进行训练，实现网络权重的不断更新。解决了神经网络模型更新步骤繁琐，更新效率低下，易造成概念偏移的的问题。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种自动更新模型的方法，其特征在于，包括以下过程：
获得样本数据集，所述样本数据集中的数据为图片；
将所述样本数据集中的若干个样本数据作为旧数据集输入至预设的神经网络模型进行训练；
若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至所述神经网络模型进行训练，获得训练结果；
根据训练结果对所述新数据集进行可信度划分，获得可信数据集；
将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型；
将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，自动更新所述神经网络模型；
所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集之前，还包括：使用批量样本标记算法，根据所述新数据集中各样本数据的训练结果，生成对应的标签文件；
所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集包括：
获得所述新数据集中各样本数据对于训练结果的多个拟合度，并对所述多个拟合度进行排序；
选择拟合度最高的若干个拟合度作为判断拟合度，将判断拟合度进行差值计算，得到拟合度差值；
若所述拟合度差值的绝对值大于或等于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为可信数据集；
所述组合规则的公式为：result＝believe+old*k，其中，result为复合数据集中样本数据的数量，believe为可信数据集中样本数据的数量，old为旧数据集中样本数据的数量，k为预设的旧数据复合比例。
2.根据权利要求1所述的自动更新模型的方法，其特征在于，若所述样本数据集中未训练的样本数据数量小于预设的样本数量阈值，在样本数据集中加入外来样本数据，直至未训练的样本数据数量大于或等于预设的样本数量阈值。
3.根据权利要求1所述的自动更新模型的方法，其特征在于，若所述拟合度差值的绝对值小于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为不可信数据集。
4.根据权利要求3所述的自动更新模型的方法，其特征在于，所述方法还包括，将所述不可信数据集加入至未训练的样本数据中。
5.一种自动更新模型的系统，其特征在于，所述系统包括：
数据获得单元，用于获得样本数据集，所述样本数据集中的数据为图片；
旧数据集生成单元，用于将样本数据集中的若干个样本数据作为旧数据集输入至预设的神经网络模型进行训练；
新数据集生成单元，用于若所述样本数据集中未训练的样本数据数量大于或等于预设的样本数量阈值a，选择a个样本数据作为新数据集输入至神经网络模型，获得训练结果；
可信数据集生成单元，用于根据训练结果对所述新数据集进行可信度划分，获得可信数据集；
复合数据集生成单元，用于将所述可信数据集与所述旧数据集按照预设组合规则进行组合，得到复合数据集，并将所述复合数据集输入至所述神经网络模型，更新所述神经网络模型；
模型更新单元，用于将所述复合数据集作为旧数据集，继续训练所述未训练的样本数据，自动更新所述神经网络模型；
所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集之前，还包括：使用批量样本标记算法，根据所述新数据集中各样本数据的训练结果，生成对应的标签文件；
所述根据训练结果对所述新数据集进行可信度划分，获得可信数据集包括：
获得所述新数据集中各样本数据对于训练结果的多个拟合度，并对所述多个拟合度进行排序；
选择拟合度最高的若干个拟合度作为判断拟合度，将判断拟合度进行差值计算，得到拟合度差值；
若所述拟合度差值的绝对值大于或等于预设的拟合度差值阈值，将判断拟合度对应的样本数据作为可信数据集；
所述组合规则的公式为：result＝believe+old*k，其中，result为复合数据集中样本数据的数量，believe为可信数据集中样本数据的数量，old为旧数据集中样本数据的数量，k为预设的旧数据复合比例。
6.一种自动更新模型的设备，其特征在于：包括处理器，所述处理器与存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于：包括程序，当所述程序在计算机上运行时，执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210278104.3A CN114662588B (zh) | 2022-03-21 | 2022-03-21 | 一种自动更新模型的方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210278104.3A CN114662588B (zh) | 2022-03-21 | 2022-03-21 | 一种自动更新模型的方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114662588A CN114662588A (zh) | 2022-06-24 |
| CN114662588B true CN114662588B (zh) | 2023-11-07 |
Family
ID=82030593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210278104.3A Active CN114662588B (zh) | 2022-03-21 | 2022-03-21 | 一种自动更新模型的方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114662588B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069548A (zh) * | 2019-04-02 | 2019-07-30 | 南京工业大学 | 一种基于循环方式的关联规则合并方法 |
| CN110288091A (zh) * | 2019-06-28 | 2019-09-27 | 武汉轻工大学 | 参数学习方法、装置、终端设备及可读存储介质 |
| CN111985601A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 用于增量学习的数据识别方法 |
| CN112149825A (zh) * | 2020-09-24 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 神经网络模型的训练方法及装置、电子设备、存储介质 |
| CN112988212A (zh) * | 2021-03-24 | 2021-06-18 | 厦门吉比特网络技术股份有限公司 | 神经网络模型之在线增量更新方法、装置、系统及存储介质 |
| CN113592078A (zh) * | 2021-08-09 | 2021-11-02 | 郑州大学 | 一种基于人工智能的深度学习网络训练方法 |
| CN113822428A (zh) * | 2021-08-06 | 2021-12-21 | 中国工商银行股份有限公司 | 神经网络训练方法及装置、图像分割方法 |
| CN114169508A (zh) * | 2021-12-14 | 2022-03-11 | 广东赛昉科技有限公司 | 一种神经网络系统中数据处理的方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11556742B2 (en) * | 2020-08-03 | 2023-01-17 | International Business Machines Corporation | Training machine learning models to exclude ambiguous data samples |
-
2022
- 2022-03-21 CN CN202210278104.3A patent/CN114662588B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069548A (zh) * | 2019-04-02 | 2019-07-30 | 南京工业大学 | 一种基于循环方式的关联规则合并方法 |
| CN111985601A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 用于增量学习的数据识别方法 |
| CN110288091A (zh) * | 2019-06-28 | 2019-09-27 | 武汉轻工大学 | 参数学习方法、装置、终端设备及可读存储介质 |
| CN112149825A (zh) * | 2020-09-24 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 神经网络模型的训练方法及装置、电子设备、存储介质 |
| CN112988212A (zh) * | 2021-03-24 | 2021-06-18 | 厦门吉比特网络技术股份有限公司 | 神经网络模型之在线增量更新方法、装置、系统及存储介质 |
| CN113822428A (zh) * | 2021-08-06 | 2021-12-21 | 中国工商银行股份有限公司 | 神经网络训练方法及装置、图像分割方法 |
| CN113592078A (zh) * | 2021-08-09 | 2021-11-02 | 郑州大学 | 一种基于人工智能的深度学习网络训练方法 |
| CN114169508A (zh) * | 2021-12-14 | 2022-03-11 | 广东赛昉科技有限公司 | 一种神经网络系统中数据处理的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| An Iterative Training Sample Updating Approach for Domain Adaptation in Hyperspectral Image Classification;Shengwei Zhong 等;《IEEE Geoscience and Remote Sensing Letters》;第 1821- 1825页 * |
| 增量跨模态检索方法;江朝杰 等;《小型微型计算机系统》;第2234-2240页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114662588A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803398B2 (en) | Apparatus and method for information processing | |
| US10262272B2 (en) | Active machine learning | |
| CN108897829B (zh) | 数据标签的修正方法、装置和存储介质 | |
| WO2021089013A1 (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
| CN111898739B (zh) | 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 | |
| CN109918498B (zh) | 一种问题入库方法和装置 | |
| AU2017251771B2 (en) | Statistical self learning archival system | |
| Kim et al. | A generalised uncertain decision tree for defect classification of multiple wafer maps | |
| WO2020168754A1 (zh) | 基于预测模型的绩效预测方法、装置及存储介质 | |
| CN107133176A (zh) | 一种基于半监督聚类数据筛选的跨项目缺陷预测方法 | |
| WO2020253038A1 (zh) | 一种模型构建方法及装置 | |
| CN113268665A (zh) | 基于随机森林的信息推荐方法、装置、设备及存储介质 | |
| US11087096B2 (en) | Method and system for reducing incident alerts | |
| CN109871593B (zh) | 基于bim平台的信息继承方法、装置以及存储装置 | |
| CN114781532A (zh) | 机器学习模型的评估方法、装置、计算机设备及介质 | |
| US20050131873A1 (en) | System and method for adaptive pruning | |
| CN114662588B (zh) | 一种自动更新模型的方法、系统、设备及存储介质 | |
| CN114219051B (zh) | 图像分类方法、分类模型的训练方法、装置及电子设备 | |
| Wu et al. | Computer-aided variables sampling inspection plans for compositional proportions and measurement error adjustment | |
| US10467258B2 (en) | Data categorizing system, method, program software and recording medium therein | |
| US20210241147A1 (en) | Method and device for predicting pair of similar questions and electronic equipment | |
| US20170293863A1 (en) | Data analysis system, and control method, program, and recording medium therefor | |
| TWI777169B (zh) | 品質管控方法、裝置、電腦裝置及存儲介質 | |
| JP7238907B2 (ja) | 機械学習装置、方法及びプログラム | |
| US20220215272A1 (en) | Deterioration detection method, computer-readable recording medium storing deterioration detection program, and information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |