CN113240110B - 确定模型的方法、设备以及计算机可读存储介质 - Google Patents

确定模型的方法、设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN113240110B
CN113240110B CN202110544297.8A CN202110544297A CN113240110B CN 113240110 B CN113240110 B CN 113240110B CN 202110544297 A CN202110544297 A CN 202110544297A CN 113240110 B CN113240110 B CN 113240110B
Authority
CN
China
Prior art keywords
verification
samples
model
determining
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110544297.8A
Other languages
English (en)
Other versions
CN113240110A (zh
Inventor
洪坤磊
钱令军
肖谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiying Medical Technology Co ltd
Original Assignee
Shenzhen Zhiying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiying Medical Technology Co ltd filed Critical Shenzhen Zhiying Medical Technology Co ltd
Priority to CN202110544297.8A priority Critical patent/CN113240110B/zh
Publication of CN113240110A publication Critical patent/CN113240110A/zh
Application granted granted Critical
Publication of CN113240110B publication Critical patent/CN113240110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种确定模型的方法、设备以及计算机可读存储介质。该方法包括:利用验证集对依次训练得到的Q个模型中的Mi个模型分别进行Mi次验证,得到Mi*N个损失值,根据Mi*N个损失值统计N个样本中每个样本在Mi次验证中得到的N个统计信息,根据N个统计信息所指示的N个样本在Mi次验证中的变化规律在N个样本中确定Pi个样本,根据Pi个样本在Mi次验证中得到的至少部分损失值在Q个模型中确定目标模型。本申请在验证集的第i过程根据验证集的Mi次验证在验证集的N个样本中剔除不满足要求的样本,有助于提高根据验证集确定模型的准确性。

Description

确定模型的方法、设备以及计算机可读存储介质
技术领域
本申请涉及软件技术领域,尤其涉及软件技术领域一种确定模型的方法、设备以及计算机可读存储介质。
背景技术
在深度学习训练过程中,通过验证集可以对模型的能力进行初步评估,根据验证集可以选择出训练的较优模型。如果验证集的样本数据分布情况与训练集的样本数据分布情况一致,这样,可以保证验证集对模型的能力的初步评估结果的准确性,从而确定出较优模型。然而,由于样本的来源比较复杂,种类比较繁多,很难保证划分在验证集的样本数据分布情况与划分在训练集的样本数据分布情况完全一致,例如,在图像领域,验证集的样本数据的均值与训练集的样本数据的均值不一致,验证集的样本数据的方差与训练集的样本数据的方差也不一致,从而造成根据验证集所确定的模型的准确性较差。
发明内容
本申请实施例提供了一种确定模型的方法、设备以及计算机可读存储介质,有助于提高根据验证集确定模型的准确性。
第一方面,本申请实施例提供了一种确定模型的方法,包括:针对依次训练得到的Q个模型中的Mi个模型执行以下第i过程:利用验证集对所述Mi个模型分别进行Mi次验证,得到Mi*N个损失值,所述验证集包括N个样本,一次验证对应所述N个样本的N个损失值,一次验证的所述N个损失值与所述N个样本一一对应;根据所述Mi*N个损失值统计所述N个样本中每个样本在所述Mi次验证中得到的N个统计信息,所述N个统计信息用于指示所述N个样本在所述Mi次验证中的损失值的变化规律;根据所述N个统计信息所指示的所述N个样本在所述Mi次验证中的变化规律在所述N个样本中确定Pi个样本,所述Pi个样本中的任意一个样本在所述Mi次验证中得到Mi个损失值的变化趋势依次下降;根据所述Pi个样本在所述Mi次验证中得到的至少部分损失值在所述Q个模型中确定目标模型;其中,Mi小于或等于Q,Pi小于或等于N,i遍历完1至L,L小于或等于Q,Q,Mi,N,Pi,L,i为正整数。
在上述技术方案中,在第i过程,通过验证集的对依次训练得到的Q个模型中的Mi个模型在Mi次验证中得到的Mi*N个损失值进行统计,得到N个统计信息,根据N个统计信息所指示的变化规律在N个样本中确定出Pi个样本,所确定的Pi个样本中的任意一个样本在Mi次验证中得到Mi个损失值的变化呈下降趋势,这样,在训练集损失值下降过程中,验证集中确定出损失值下降的样本,可以保证验证集的样本数据分布情况与训练集的样本数据分布情况达到一致,再根据所确定的Pi个样本在Mi次验证中得到的至少部分损失值在Q个模型中确定出目标模型。这样,可以从验证集的N个样本中确定出满足条件的样本,剔除不满足条件的样本,避免由于部分样本的条件不满足而对验证集验证结果造成干扰,也避免采用人工剔除验证集中不满足条件的样本而造成的时间和精力上的消耗以及所带来的开销,从而可以节省开支,也有助于降低验证集的损失噪声,从而有助于提高根据验证集确定模型的准确性。
可选地,第一设备对依次训练得到的Q个模型中的Mi个模型执行第i过程。
可选地,Mi个模型是第一设备在Q个模型任意选取的模型。
可选地,Mi个模型是第一设备根据预设选取规则在Q个模型选取的模型。
可选地,Q个模型是在不同时刻得到的模型,Mi个模型是第一设备在Q个模型中选取的离当前时刻最近的Mi个模型。
可选地,Mi个模型与Mi次验证一一对应。
可选地,N个统计信息与N个样本一一对应。
在一些可能的实现方式中,利用所述验证集对所述Q-Mi个模型分别进行Q-Mi次验证,得到(Q-Mi)*N个损失值;其中,所述Mi次验证为Q次验证中离当前时刻最近的Mi次验证,所述Q次验证包括所述Mi次验证和所述Q-Mi次验证。
可选地,Mi次验证为第一设备根据预设的选取规则在Q次验证中确定的Mi次验证。
可选地,Mi次验证为第一设备在Q次验证中的任意选取的Mi次验证。
在一些可能的实现方式中,所述根据所述Pi个样本在所述Mi次验证中得到的至少部分损失值在所述Q个模型中确定目标模型,包括:根据所述Pi个样本在所述Mi次验证中的第Ki次验证的Pi个损失值确定所述第i过程对应的所述验证集的第i损失值,当i遍历完1至L时,共得到所述验证集的L个损失值;根据所述第i损失值确定所述目标模型;其中,Ki为正整数。
在一些可能的实现方式中,所述根据所述Pi个样本在所述Mi次验证中的第Ki次验证的Pi个损失值确定所述第i过程对应的所述验证集的第i损失值,包括:将所述Pi个样本在所述Mi次验证中的所述第Ki次验证的所述Pi个损失值的平均值确定所述第i过程对应的所述验证集的所述第i损失值。
可选地,根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值中的最小值确定第i过程对应的验证集的第i损失值。
可选地,根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值中的最大值确定第i过程对应的验证集的第i损失值。
可选地,根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值的均值加方差,或者均值减方差确定第i过程对应的验证集的第i损失值。
在一些可能的实现方式中,所述根据所述第i损失值确定所述目标模型,包括:确定所述L个损失值中的最小的损失值;确定所述最小的损失值对应的第j过程,j为1至L的正整数;将所述第j过程对应的第Kj次验证对应模型确定为所述目标模型;其中,Kj小于或等于Ki,j为1至L的正整数,Kj为正整数。
在一些可能的实现方式中,所述利用验证集对所述Mi个模型分别进行Mi次验证,包括:利用所述验证集按序对所述Mi个模型分别进行所述Mi次验证;其中,所述第Ki次验证为所述Mi次验证中的第Mi次验证。
可选地,每获得一个模型通过验证集对该模型进行一次验证。
可选地,通过验证集对获得到Mi个模型依次进行验证,共计Mi次验证,Mi个模型与Mi次验证一一对应。
可选地,第Ki次验证为Mi次验证中的任意一次验证。
在一些可能的实现方式中,所述确定所述L个损失值中的最小的损失值,包括:利用最小二乘法确定所述L个损失值中的各个拟合斜率;将所述各个拟合斜率中拟合斜率为零对应的损失值确定为所述最小的损失值。
可选地,利用梯度下降法确定L个损失值中的各个拟合斜率。
在一些可能的实现方式中,利用最小二乘法确定所述N个样本在所述Mi次验证中的损失值的拟合斜率;所述N个统计信息具体用于指示所述N个样本在所述Mi次验证中的拟合斜率。
可选地,利用梯度下降法确定N个样本在Mi次验证中的损失值的拟合斜率。
第二方面,本申请提供了一种确定模型的设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述确定模型的方法。
第三方面,本申请提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在设备上运行时,使得所述设备执行上述任一方面所述的方法。
第四方面,本申请提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的确定模型的步骤。
可以理解的是,上述第二方面、第三方面、第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1是本申请实施例提供的应用场景示意图;
图2是本申请实施例提供的一种数据集划分的示意图;
图3是本申请实施例提供的一种确定模型的方法的示意图;
图4是本申请实施例提供的一种确定模型的流程图;
图5是本申请实施例提供的一种确定模型的装置示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例的应用场景予以说明。
在深度学习训练过程中,深度学习的样本数据集分为训练集、验证集和测试集。其中,训练集直接参与模型的训练过程,用于训练模型的参数,但无法反映出所训练的模型的真实能力;验证集是模型训练过程中预留出的样本集,不直接参与模型的训练,可以利用验证集对模型的能力进行初步的评估,帮助在训练模型中选择出较优模型;测试集主要用于模型训练完成后,对最终确定的模型的能力进行综合评估。通常情况下,如果验证集的样本数据分布情况与训练集的样本数据分布情况一致,可以保证验证集对模型的能力进行初步评估的准确性,确定出较优模型。然而,由于样本的来源比较复杂,种类比较繁多,很难保证所预留给验证集的样本数据分布情况与训练集中的样本数据分布情况完全一致,影响根据验证集确定模型的准确性。
为此,本申请实施例提供了一种模型确定的方法、设备以及计算机可读存储介质,有助于提高根据验证集确定模型的准确性。
下面对本申请实施例提供的确定模型的方法进行详细说明。
如图1所示,示出了本申请实施例提供的一种应用场景示意图。在深度学习的训练过程中,训练集会直接参与模型的训练,通过训练集中的样本数据对模型进行训练,在训练集中每进行一次训练轮次,模型的参数就会更新一次,例如,模型的权重和偏差在每一次训练轮次中更新一次,通过多次迭代,模型的参数也会不断更新。随后,通过验证集对训练集所训练出的模型进行验证,对模型的能力进行初步评估,从而可以确定出较优模型,此外,还可以根据验证集调整模型的超参数,例如,模型的层数、学习速率、迭代次数等。最后,通过测试集测试最终所选择的较优模型的准确率。一般情况下,测试集的样本数据分布情况与训练集的样本数据分布情况不一致,通过测试集可以测试出所训练得到的模型在不同样本数据分布情况下模型的泛化能力情况,由于测试集的样本数据分布情况与训练集的样本数据分布情况不同,无法得出训练得到的模型在同种样本数据分布情况下模型的泛化能力情况,为此,需要借助验证集验证所训练得到的模型在同种样本数据分布情况下的模型的泛化能力情况,从而选择出训练的较优模型。
示例性地,如图2所示,示出了在深度学习的训练过程中,样本数据集的划分情况,采用大量的样本数据用于对模型的训练,采用较少的与训练集的样本数据分布情况一致的样本数据对训练的模型进行验证,采用较少的与训练集的样本数据分布情况不一致的样本数据对模型的泛化能力进行评估。通常情况下,在模型开始训练之前先对样本数据集进行划分,防止由于样本数据窥探而造成样本数据的划分出现偏误,使得用于评估模型的能力的样本数据挑选的过于理想,从而无法有效评估出模型的真实能力。
可选地,样本数据可以是图像数据。例如,样本数据可以是医学图像数据。
在一些实施例中,在模型的训练过程中,验证集可以进行多次使用,用于验证训练集训练得到的模型,对模型的能力进行初步评估,选择出训练的较优模型。
在一些实施例中,在模型的训练过程中,训练集在多次训练轮次中得到的损失值在一直减小,验证集在多次验证中得到的损失值也在一直减小。
在一些实施例中,在模型的训练过程中,训练集的损失值在降低到一定值后,验证集的损失值会出现上升,此时验证集的损失值最低点对应的模型为训练的模型中的较优模型。
下面结合图3描述本申请实施例中的确定模型的方法。
S310,第一设备针对依次训练得到的Q个模型中的Mi个模型执行以下第i过程:利用验证集对Mi个模型分别进行Mi次验证,得到Mi*N个损失值,验证集包括N个样本,一次验证对应N个样本的N个损失值,一次验证的N个损失值与N个样本一一对应。
在一些实施例中,Q个模型与Q次验证一一对应,Mi个模型与Mi次验证一一对应。第一设备每获得一个模型,通过验证集验证一次。
在一些实施例中,第一设备获得Q个模型后,通过验证集对Q个模型分别进行验证,总共进行Q次验证。
在一些实施例中,第一设备从Q个模型中选取Mi个模型后,通过验证集对Mi个模型分别进行验证,总共进行Mi次验证。
在一些实施例中,Q个模型是第一设备在不同时刻得到的模型,Mi次验证为Q次验证中离当前时刻最近的Mi次验证。由于模型每一次训练轮次都会更新一次模型的参数,第一设备选取离当前时刻最近的Mi次验证,有助于判断训练得到的模型的真实能力。例如,第一设备在1000次验证中确定200次验证,200次验证为与第1000次验证最近的200次验证。
在一些实施例中,第一设备利用验证集对Q-Mi个模型分别进行Q-Mi次验证,得到(Q-Mi)*N个损失值;其中,Mi次验证为Q次验证中离当前时刻最近的Mi次验证,Q次验证包括Mi次验证和Q-Mi次验证。即第一设备利用验证集对Q个模型分别进行Q次验证,并将Q个模型中每个模型的每次验证得到的损失值进行存储。
S320,第一设备根据Mi*N个损失值统计N个样本中每个样本在Mi次验证中得到的N个统计信息,N个统计信息用于指示N个样本在Mi次验证中的损失值的变化规律。
在一些实施例中,第一设备利用最小二乘法确定N个样本在Mi次验证中的损失值的拟合斜率,其中,N个统计信息具体用于指示N个样本在Mi次验证中的拟合斜率。
在一些实施例中,第一设备利用梯度下降法确定N个样本在Mi次验证中的损失值的拟合斜率。
在一些实施例中,第一设备对N个样本中每个样本在Mi次验证中对应的Mi个损失值中每相邻两次验证得到的两个损失值的差值进行计算,根据差值的变化情况确定N个统计信息。
S330,第一设备根据N个统计信息所指示的N个样本在Mi次验证中的变化规律在N个样本中确定Pi个样本,Pi个样本中的任意一个样本在Mi次验证中得到Mi个损失值的变化趋势依次下降。
可以理解的是,第一设备根据N个样本在Mi次验证对应的Mi个损失值的变化趋势从N个样本中确定Pi个样本,根据变化趋势筛选样本,保证验证集的样本数据分布情况与训练集的样本数据分布情况一致,即从N个样本确定出符合条件的Pi个样本,剔除不符合条件的样本,可以节省采用人工剔除而带来的时间和精力上的消耗,从而可以节省开支,提高根据验证集确定模型的准确性。
在一些实施例中,第一设备根据N个样本对应的N个拟合斜率确定出小于0的拟合斜率所对应的Pi个样本。
在一些实施例中,第一设备根据N个样本在Mi次验证中对应的损失值差值的变化确定满足预设条件的Pi个样本。
可选地,损失值差值为Mi次验证中离当前时刻最近的一次验证的损失值减去上一次验证的损失值,当损失值差值小于0时,确定所对应的样本为符合条件的样本。
在一些实施例中,第一设备根据N个样本对应的N条拟合曲线确定出呈下降趋势的拟合曲线对应的Pi个样本。
S340,第一设备根据Pi个样本在Mi次验证中得到的至少部分损失值在Q个模型中确定目标模型。
在一些实施例中,第一设备确定出Pi个样本后,根据Pi个样本在第Ki次验证的Pi个损失值确定第i过程对应的验证集的第i损失值,根据第i损失值确定目标模型。
在一些实施例中,第一设备根据Pi个样本在第Ki次验证的Pi个损失值的平均值确定第i过程对应的验证集的第i损失值。第一设备根据第Ki次验证的符合条件的样本对应的损失值的平均值确定验证集的第i损失值,可以避免不符合条件的样本在确定验证集的第i损失值时所带来的干扰,从而可以降低验证集的损失噪声。
在一些实施例中,第一设备根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值中的最小值确定第i过程对应的验证集的第i损失值。
在一些实施例中,第一设备根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值中的最大值确定第i过程对应的验证集的第i损失值。
在一些实施例中,第一设备根据根据Pi个样本在Mi次验证中的第Ki次验证的Pi个损失值的均值加方差,或者,均值减方差确定第i过程对应的验证集的第i损失值。第一设备通过采用统一的约束规则确定验证集的第i损失值,可以保证验证集的损失值的确定方法的一致性,避免给验证集带来额外的损失噪声。
在一些实施例中,第Ki次验证为Mi次验证中的第Mi次验证。例如,第1000次验证为1000次验证中的第1000次验证。
在一些实施例中,当i遍历完1至L时,第一设备共得到验证集的L个损失值。
在一些实施例中,第一设备确定验证集的L个损失值后,对验证集的L个损失值进行线性拟合,得到拟合斜率,根据拟合斜率确定目标模型。例如,当拟合斜率为0时,确定拟合斜率为0的损失值所对应的验证轮次即第Kj次验证,进而确定所对应的目标模型。
可选地,第一设备利用最小二乘法对验证集的损失值进行线性拟合,得到拟合斜率。
可选地,第一设备利用梯度下降法确定验证集的损失值的拟合斜率。
可选地,第一设备根据验证集的每相邻损失值之间的差值变化情况确定目标模型。
作为一种示例,第一设备确定模型的流程图如图4所示,在本实施例中,一次训练轮次为训练集完成一次模型训练与验证集完成一次模型验证,在第一步(图4中①)中,第一设备在验证集中对训练集训练结束的模型进行验证,并记录验证集的N个样本在当前模型验证得到的损失值;在第二步(图4中②)中,第一设备选取当前验证的前m次验证中N个样本的损失值,共计m*N个损失值;在第三步(图4中③)中,第一设备利用最小二乘法计算N个样本在m次验证中的损失值下降斜率,得到N个斜率;在第四步(图4中④)中,第一设备判断N个斜率与阈值k的比较情况,例如,阈值k为0,第一设备将N个斜率中小于或等于0的斜率对应的P个样本筛选出来,计算这P个样本的平均损失值确定为当前验证验证集的损失值;在第五步(图4中⑤)中,第一设备对验证结果进行判断,判断是否在训练集损失下降的情况下,出现验证集的损失上扬,若出现,则模型训练结束,确定出目标模型;否则,进入下一次训练轮次,在模型训练结束后,通过测试集对目标模型进行测试,若所确定的目标模型满足测试要求,则所确定的目标模型可以进入实际应用;若所确定的目标模型不满足测试要求,则进行第六步(图4中⑥),通过调整当前验证的前m次验证的次数m,或者调整阈值k的设定值,或者同时调整次数m和阈值k,根据在之前验证流程中所存储的样本的损失值,重新确定验证集的损失值,重新确定目标模型,重新进行测试,直到模型可以进入实际应用。
图5为本申请实施例提供的一种确定模型设备的结构示意图。如图5所示,设备500包括:处理器510、存储器520以及存储在存储器520中并可在处理器510上运行的计算机程序530,处理器510执行计算机程序530时实现上述实施例中的用于确定模型的方法中的步骤。
设备500可以是一个通用计算机设备或一个专用计算机设备。在具体实现中,设备500可以是台式机、便携式电脑、网络服务器、掌上电脑、移动手机、平板电脑、无线终端设备、通信设备或嵌入式设备,本申请实施例不限定设备500的类型。本领域技术人员可以理解,图5仅仅是设备500的举例,并不构成对设备500的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,比如还可以包括输入输出设备、网络接入设备等。
处理器510可以是中央处理单元(Central Processing Unit,CPU),处理器510还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者也可以是任何常规的处理器。
存储器520在一些实施例中可以是设备500的内部存储单元,比如设备500的硬盘或内存。存储器520在另一些实施例中也可以是设备500的外部存储设备,比如设备500上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器520还可以既包括设备500的内部存储单元也包括外部存储设备。存储器520用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,比如计算机程序的程序代码等。存储器520还可以用于暂时地存储已经输出或者将要输出的数据。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备均能执行上述相关方法步骤实现上述实施例中的用于确定模型的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的用于确定模型的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的用于确定模型的方法。
其中,本实施例提供的计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
需要说明的是,上述模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的电子设备和方法,可以通过其它的方式实现。例如,以上所描述的电子设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (7)

1.一种确定模型的方法,其特征在于,所述方法包括:
针对依次训练得到的Q个模型中的Mi个模型执行以下第i过程:
利用验证集对所述Mi个模型分别进行Mi次验证,得到Mi*N个损失值,所述验证集包括N个样本,所述样本为图像,一次验证对应所述N个样本的N个损失值,一次验证的所述N个损失值与所述N个样本一一对应;
根据所述Mi*N个损失值统计所述N个样本中每个样本在所述Mi次验证中得到的N个统计信息,所述N个统计信息用于指示所述N个样本在所述Mi次验证中的损失值的变化规律;
根据所述N个统计信息所指示的所述N个样本在所述Mi次验证中的变化规律在所述N个样本中确定Pi个样本,所述Pi个样本中的任意一个样本在所述Mi次验证中得到Mi个损失值的变化趋势依次下降;
根据所述Pi个样本在所述Mi次验证中得到的至少部分损失值在所述Q个模型中确定目标模型;
其中,所述根据所述Pi个样本在所述Mi次验证中得到的至少部分损失值在所述Q个模型中确定目标模型,包括:
根据所述Pi个样本在所述Mi次验证中的第Ki次验证的Pi个损失值确定所述第i过程对应的所述验证集的第i损失值,当i遍历完1至L时,共得到所述验证集的L个损失值;
根据所述第i损失值确定所述目标模型;
所述根据所述Pi个样本在所述Mi次验证中的第Ki次验证的Pi个损失值确定所述第i过程对应的所述验证集的第i损失值,包括:
将所述Pi个样本在所述Mi次验证中的所述第Ki次验证的所述Pi个损失值的平均值确定所述第i过程对应的所述验证集的所述第i损失值;
确定所述L个损失值中的最小的损失值;
所述根据所述第i损失值确定所述目标模型,包括:
确定所述最小的损失值对应的第j过程;
将所述第j过程对应的第Kj次验证对应模型确定为所述目标模型;
其中,Ki为正整数,Kj小于或等于Ki,j为1至L的正整数,Kj为正整数;
其中,Mi小于或等于Q,Pi小于或等于N,i遍历完1至L,L小于或等于Q,且Q、Mi、N、Pi、L、i为正整数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用所述验证集对Q-Mi个模型分别进行Q-Mi次验证,得到(Q-Mi)*N个损失值;
其中,所述Mi次验证为Q次验证中离当前时刻最近的Mi次验证,所述Q次验证包括所述Mi次验证和所述Q-Mi次验证。
3.根据权利要求1或2所述的方法,其特征在于,所述利用验证集对所述Mi个模型分别进行Mi次验证,包括:
利用所述验证集按序对所述Mi个模型分别进行所述Mi次验证;
其中,所述第Ki次验证为所述Mi次验证中的第Mi次验证。
4.根据权利要求1或2所述的方法,其特征在于,所述确定所述L个损失值中的最小的损失值,包括:
利用最小二乘法确定所述L个损失值中的各个拟合斜率;
将所述各个拟合斜率中拟合斜率为零对应的损失值确定为所述最小的损失值。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
利用最小二乘法确定所述N个样本在所述Mi次验证中的损失值的拟合斜率;
所述N个统计信息具体用于指示所述N个样本在所述Mi次验证中的拟合斜率。
6.一种确定模型的设备,包括用于执行如权利要求1至5中任一项所述方法的单元。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在设备上运行时,使得所述设备执行如权利要求1至5中任一项所述的方法。
CN202110544297.8A 2021-05-19 2021-05-19 确定模型的方法、设备以及计算机可读存储介质 Active CN113240110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110544297.8A CN113240110B (zh) 2021-05-19 2021-05-19 确定模型的方法、设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110544297.8A CN113240110B (zh) 2021-05-19 2021-05-19 确定模型的方法、设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113240110A CN113240110A (zh) 2021-08-10
CN113240110B true CN113240110B (zh) 2023-09-29

Family

ID=77137519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110544297.8A Active CN113240110B (zh) 2021-05-19 2021-05-19 确定模型的方法、设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113240110B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738939A (zh) * 2019-03-21 2019-05-10 蔡寅 一种地震前兆数据异常检测方法
CN110472743A (zh) * 2019-07-31 2019-11-19 北京百度网讯科技有限公司 样本集中特征穿越的处理方法及装置、设备与可读介质
CN111814821A (zh) * 2020-05-21 2020-10-23 北京迈格威科技有限公司 深度学习模型的建立方法、样本处理方法及装置
CN111950605A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 表计识别模型的学习方法、装置、设备和表计识别方法
CN112288686A (zh) * 2020-07-29 2021-01-29 深圳市智影医疗科技有限公司 一种模型训练方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738939A (zh) * 2019-03-21 2019-05-10 蔡寅 一种地震前兆数据异常检测方法
CN110472743A (zh) * 2019-07-31 2019-11-19 北京百度网讯科技有限公司 样本集中特征穿越的处理方法及装置、设备与可读介质
CN111814821A (zh) * 2020-05-21 2020-10-23 北京迈格威科技有限公司 深度学习模型的建立方法、样本处理方法及装置
CN111950605A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 表计识别模型的学习方法、装置、设备和表计识别方法
CN112288686A (zh) * 2020-07-29 2021-01-29 深圳市智影医疗科技有限公司 一种模型训练方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
微粒群算法优化化工建模训练集;张运陶 等;《化工学报》;第59卷(第4期);第964-969页 *
最小二乘支持向量机在 U71Mn 高锰钢表面粗糙度预测模型中的运用;庄曙东 等;《机械》;第47卷(第6期);第17-24页 *

Also Published As

Publication number Publication date
CN113240110A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109949290B (zh) 路面裂缝检测方法、装置、设备及存储介质
US9262557B2 (en) Measure of analysis performed in property checking
CN109376615A (zh) 用于提升深度学习网络预测性能的方法、装置及存储介质
US20210383162A1 (en) Data test method, electronic device and storage medium
US20150067648A1 (en) Preparing an optimized test suite for testing an application under test in single or multiple environments
CN108389631A (zh) 水痘发病预警方法、服务器及计算机可读存储介质
CN114428748B (zh) 一种用于真实业务场景的模拟测试方法及系统
CN111475402A (zh) 程序功能的测试方法及相关装置
CN117076330B (zh) 一种访存验证方法、系统、电子设备及可读存储介质
CN113240110B (zh) 确定模型的方法、设备以及计算机可读存储介质
CN112955909A (zh) 神经网络的分布式训练方法及装置
CN117217136A (zh) 一种基于rtl设计的fpga资源消耗估计方法
CN112527573B (zh) 一种接口测试方法、装置及存储介质
CN109144806B (zh) 一种寄存器传输级电路的功能验证方法及装置
CN116204396A (zh) 一种针对分析型数据库性能的测试方法和装置
CN110458707B (zh) 基于分类模型的行为评估方法、装置及终端设备
CN110647805B (zh) 一种网纹图像识别方法、装置及终端设备
CN112242959B (zh) 微服务限流控制方法、装置、设备及计算机存储介质
CN107403199A (zh) 数据处理方法和装置
US9633147B1 (en) Power state coverage metric and method for estimating the same
CN111400678A (zh) 一种用户检测方法及装置
TWI738066B (zh) 基於神經網路之資料處理裝置、方法及電腦可讀取存儲介質
Cochran et al. Formal model-based validation for tally systems
Zhang et al. An algorithm for probabilistic alternating simulation
CN114328039A (zh) 基于随机网络拓扑的硬件运行验证方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant