CN116205510A - 一种基于小样本的神经网络筛选方法和装置 - Google Patents

一种基于小样本的神经网络筛选方法和装置 Download PDF

Info

Publication number
CN116205510A
CN116205510A CN202211613216.6A CN202211613216A CN116205510A CN 116205510 A CN116205510 A CN 116205510A CN 202211613216 A CN202211613216 A CN 202211613216A CN 116205510 A CN116205510 A CN 116205510A
Authority
CN
China
Prior art keywords
neural network
screening
qualified
index
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211613216.6A
Other languages
English (en)
Inventor
陈鑫
陈奎
王娟
张祎彤
张宇坤
史岩
刘海棠
刘绚
刘婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN202211613216.6A priority Critical patent/CN116205510A/zh
Publication of CN116205510A publication Critical patent/CN116205510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本申请提供了一种基于小样本的神经网络筛选方法和装置，属于神经网络训练和集成学习技术领域，具体由通常训练方法训练出的多个初步合格神经网络基础上，用
Figure DDA0004000953610000011
筛选出少量相对合格的神经网络，再用“表决成功率”和“评价相同率均值”筛选出泛化能力较强的最优神经网络组合，最后定量估算出最优神经网络组合的泛化能力。本发明的方法可以从基于小样本训练出来的若干神经网络中筛选出泛化能力较强的神经网络组合；步骤清晰，可以开发软件自动执行，筛选效率较高；而且，随着样本的不断积累，本申请的方法可以反复迭代，使得筛选出的神经网络持续进化。

Description

一种基于小样本的神经网络筛选方法和装置
技术领域
本申请涉及神经网络训练和集成学习的领域，尤其是涉及一种基于小样本的神经网络筛选方法和装置。
背景技术
当新样本获取代价很高(例如软件质量评价的样本)时，对基于小样本训练出来的神经网络存在的泛化能力较差和泛化能力无法定量估算等问题，现有方法不能解决。
基于小样本训练神经网络时，通常会采用一些技巧，例如：借鉴Dropout方法的思路，在训练前随机去掉少量度量元，或者计算皮尔逊相关系数，去掉紧密相关的度量元等，以减少输入层节点个数，增加样本个数与它的比例；还有的仅计算准确率，只要测试样本准确率高，就认为神经网络训练成功了。但是，因为训练样本数量很少，在训练中参与计算累计误差的数据量相应很少，实际累计误差过早地小于了预定值，导致训练相比于大量样本而言过早结束；所以，经这些方法训练合格的一些神经网络，虽然都已达到了训练集上累计误差最小化的目标，但实际获得的却是初步合格的神经网络——它们中有的过拟合，大部分的泛化能力较弱，只有小部分的较强。这点与经大量样本训练后合格的神经网络拥有较强泛化能力并不相同。此外，因为没有办法定量估算泛化能力，也就没有办法把具有较强泛化能力的小部分神经网络筛选出来。
把小样本扩展成大样本的方法主要集中在计算机视觉领域，有关操作对原图像(样本)的改动十分微小，人工容易标记，可以容易地从小样本生成大量样本。有时也用生成对抗网络的方法生成新样本，可是，即使在计算机视觉领域，目前仍有很大挑战。当新样本不容易从已有样本生成时，这些方法并不适用。
集成学习通过将多个学习器结合，希望获得比单个学习器显著优越的泛化能力；但是，集成学习在小样本情况下无能为力。集成学习主要有Boost i ng、Baggi ng和遗传算法等方法。Boost i ng根据基学习器的表现对训练样本的分布进行调整，Baggi ng基于自助采样法，从样本数据集里采样，用于训练基学习器；在样本数量很小时，每个样本都很重要，如果样本数量再次减少，或训练样本集中有重复样本，会使得训练出来的神经网络泛化能力较差，几乎没有实用价值。遗传算法经过不断遗传和进化，从若干弱学习器中筛选出部分学习器，使集成性能较好；可是，从误差值、准确率等指标看，从基于小样本训练出的弱学习器中筛选出的少量学习器，表面上可能已经合格了，但实际泛化能力仍然较差，用遗传算法筛选不出更好的神经网络组合了。
发明内容
有鉴于此，本申请提供一种基于小样本的神经网络筛选方法和装置，解决了现有技术中的问题，在神经网络通常训练方法基础上，可以筛选出泛化能力较强的神经网络组合，定量估算神经网络组合的泛化能力，而且效率较高，可以持续进化。
一方面，本申请提供的一种基于小样本的神经网络筛选方法采用如下的技术方案：
一种基于小样本的神经网络筛选方法，包括：
步骤1、利用训练样本训练出初步合格的神经网络；
步骤2、计算初步合格的神经网络对测试样本的测试误差，用
Figure BDA0004000953590000031
Figure BDA0004000953590000032
筛选出m个相对合格的神经网络；
步骤3、计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且
Figure BDA0004000953590000033
Figure BDA0004000953590000034
作为最优神经网络组合；
步骤4、采用t分布，定量估算出最优神经网络组合的泛化能力，并判断是否满足最终要求，如果泛化能力达到或超过第三指标，满足最终要求，方法结束，反之，不满足最终要求，重新回到步骤1。
可选的，所述步骤1利用训练样本训练出初步合格的神经网络步骤之前还包括：按照预设的比例将小样本分成训练样本和测试样本。
所述步骤2中测试误差使用均方差计算，所述第一指标在[10,50]内取值。
所述步骤3中计算每个备选组的表决成功率和评价相同率均值步骤之前还包括：
为样本里的每个度量元生成1组w个符合各自统计分布的随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据；
以每条模拟数据为输入，为每个相对合格的神经网络分别计算输出结果；
以k个相对合格的神经网络组成一个备选组，共
Figure BDA0004000953590000041
个备选组，其中，k是奇数，k小于m；
对同一备选组内每个神经网络的输出结果，以简单投票法进行表决：如果超过半数的输出结果相同，则输出结果就是备选组对这条模拟数据的表决结果，如果没有超过半数的输出结果相同，则备选组对这条模拟数据没有表决结果；
所述表决成功率等于
Figure BDA0004000953590000042
所述评价相同率均值是评价相同率的算术平均数，所述评价相同率等于
Figure BDA0004000953590000051
所述步骤4中，采用t分布定量估算出最优神经网络组合的泛化能力步骤之前还包括：
为样本里的每个度量元再次生成n组、每组w个符合各自统计分布的随机数，组成n组、每组w条模拟数据；
计算最优神经网络组合对每组随机数的评价相同率均值。
所述步骤3中预设要求指表决成功率和评价相同率均值同时较高，第二指标在[0.8,0.9]内取值。
所述步骤4中第三指标在置信水平为0.95时的置信区间是(0.65,0.66)。
另一方面，本申请提供的一种基于小样本的神经网络筛选装置采用如下的技术方案：
一种基于小样本的神经网络筛选装置，包括：
参数设置模块，用于设置使用的参数，所述参数包括筛选出的相对合格神经网络的个数m、一个备选组包含的神经网络个数k、为每个度量元生成的一组随机数中的数字个数w、计算泛化能力而为每个度量元生成的随机数的组数n、第一指标、第二指标和第三指标，第一指标用于筛选相对合格的神经网络，第二指标用于筛选最优神经网络组合，第三指标用于判断泛化能力是否达到要求；
随机数生成模块，用于根据样本里的每个度量元的统计分布和参数，生成若干组、每组w个随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据，即每组w条模拟数据；
相对合格神经网络筛选模块，用于计算初步合格神经网络对测试样本的测试误差，并根据
Figure BDA0004000953590000061
最优神经网络组合筛选模块，用于为每个相对合格的神经网络分别计算对每条模拟数据的输出结果，从m个相对合格的神经网络组成
Figure BDA0004000953590000062
个备选组，以简单投票法对同一备选组内每个神经网络的输出结果进行表决，计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且
Figure BDA0004000953590000063
作为最优神经网络组合；
泛化能力估算模块，用于基于由随机数生成模块再次生成的n组随机数、以及由最优神经网络组合筛选模块为最优神经网络组合对每组随机数计算出的评价相同率均值，采用t分布，定量估算出最优神经网络组合的泛化能力，并用泛化能力是否达到第三指标判断是否达到最终要求。
综上所述，本申请包括以下有益技术效果：
本发明的方法和装置可以从基于小样本训练出来的若干神经网络中筛选出泛化能力较强的神经网络组合；步骤清晰，可以开发软件自动执行，筛选效率较高；而且，随着样本的不断积累，本发明的方法和装置可以反复迭代，使得筛选出的神经网络持续进化；本发明的方法具有较大应用价值。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中的基于小样本的神经网络筛选方法的流程图；
图2为本发明实施例中的筛选出相对合格神经网络的流程图；
图3为本发明实施例中的筛选出泛化能力较强的最优神经网络组合的流程图；
图4为本发明实施例中的定量估算最优神经网络组合泛化能力的流程图；
图5为本发明实施例中的基于小样本的神经网络筛选装置的结构图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图示中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本申请实施例提供一种基于小样本的神经网络筛选方法。
一种基于小样本的神经网络筛选方法，包括：
步骤1、利用训练样本训练出初步合格的神经网络。
步骤2、计算初步合格的神经网络对测试样本的测试误差，用
Figure BDA0004000953590000091
Figure BDA0004000953590000092
筛选出m个相对合格的神经网络。
步骤3、计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且
Figure BDA0004000953590000093
Figure BDA0004000953590000094
作为最优神经网络组合。
步骤4、采用t分布，定量估算出最优神经网络组合的泛化能力，并判断是否满足最终要求，如果泛化能力达到或超过第三指标，满足最终要求，方法结束，反之，不满足最终要求，重新回到步骤1。
所述步骤1利用训练样本训练出初步合格的神经网络步骤之前还包括：按照预设的比例将小样本分成训练样本和测试样本，所述预设比例可以是3:1或4:1。
所述步骤2中测试误差使用均方差(mean-square error，MSE)计算，所述第一指标在[10,50]内取值。
所述步骤3中计算每个备选组的表决成功率和评价相同率均值步骤之前还包括：
为样本里的每个度量元生成1组w个符合各自统计分布的随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据；
以每条模拟数据为输入，为每个相对合格的神经网络分别计算输出结果；
以k个相对合格的神经网络组成一个备选组，共
Figure BDA0004000953590000101
个备选组，其中，k是奇数，k小于m；
对同一备选组内每个神经网络的输出结果，以简单投票法进行表决：如果超过半数的输出结果相同，则输出结果就是备选组对这条模拟数据的表决结果，如果没有超过半数的输出结果相同，则备选组对这条模拟数据没有表决结果；
所述表决成功率等于
Figure BDA0004000953590000111
所述评价相同率均值是评价相同率的算术平均数，所述评价相同率等于
Figure BDA0004000953590000112
所述步骤4中，采用t分布定量估算出最优神经网络组合的泛化能力步骤之前还包括：
为样本里的每个度量元再次生成n组、每组w个符合各自统计分布的随机数，组成n组、每组w条模拟数据；
计算最优神经网络组合对每组随机数的评价相同率均值。
所述步骤3中预设要求指表决成功率和评价相同率均值同时较高，第二指标在[0.8,0.9]内取值。
所述步骤4里的第三指标在置信水平为0.95时的置信区间是(0.65,0.66)。
在一个具体的实施中，用于软件质量评价的神经网络，在训练时，绝大多数情况下只能利用小样本，这主要是因为新样本获取代价很高：获取一个软件完整的质量度量数据很困难，从度量数据到软件质量评价结果也很困难。然而，单靠小样本训练出来的单个神经网络，对于软件质量评价这样的复杂问题，存在泛化能力较差和泛化能力无法定量估算等问题，严重制约了神经网络在软件质量评价的应用。
另一方面，由于软件质量模型的度量元通常不多，对应的神经网络结构不会很复杂，需要调整的参数通常小于1000个，而且，小样本里的数据也不多，因此，用小样本训练一个神经网络耗时不会很长，基本上在数秒到一百秒之间。如果自动执行，在较短时间内就可以训练成千上万个神经网络。这给从中筛选出泛化能力较强的神经网络带来了可能。
表1是一个软件质量模型的15个度量元及各自的权重。按照这个软件质量模型，收集了45个软件项目各个度量元的数据及专家的质量评价结论(优秀、良好、一般、差)。
表1
序号 度量元 权重
1 代码行总数 1
2 模块个数 1
3 有效代码行数 1
4 注释行数 4
5 行数大于200的模块数 4
6 圈复杂度大于10的模块数 7
7 扇出大于7的模块数 6
8 文档审查问题数 14
9 代码审查问题数 14
10 静态分析问题数 14
11 动态测试问题数 14
12 首轮动态测试用例总数 3
13 首轮动态测试通过数 5
14 回归测试次数 4
15 回归测试问题总数 6
如图1所示，基于小样本的神经网络筛选方法包括：
步骤S11用神经网络通常训练方法训练出初步合格的神经网络。按照4:1的比例把45个项目分为两部分，其中36个用于训练，9个用于测试；选用BP神经网络，包括输入层、隐层和输出层，每层的神经元个数分别为13、9和4，激活函数分别是tans i g、l ogs i g和pure l i n，训练采用Res i l i ent算法和Levenberg-Marquardt算法。一次训练停止的条件是在200次迭代内训练误差小于预定值，其中训练误差采用均方差计算，预定值是0.01。训练停止得到的神经网络只是初步合格，它们中有的过拟合，大部分的泛化能力较弱，只有小部分的较强。
步骤S12用
Figure BDA0004000953590000131
如图2所示，其输入是步骤S11训练出的初步合格的神经网络。
步骤S121确定需要筛选出的相对合格神经网络的个数m，本实施例确定m为7。
步骤S122计算初步合格神经网络的测试误差。测试误差仍采用均方差计算，这与S11里训练误差的计算方式相同。
步骤S123判断初步合格神经网络的
Figure BDA0004000953590000132
是否小于等于第一指标。训练误差就是步骤S11里的训练误差，第一指标确定为50。如果/>
Figure BDA0004000953590000133
小于等于50，对应的神经网络就是相对合格的，否则，不合格。
步骤S124判断筛选出的相对合格的神经网络是否已有7个，如果已有7个，进入步骤S13，否则，重新进入步骤S11。
相对合格的神经网络不会过拟合，但泛化能力不确定，有的较强，有的较弱；因为没有定量估算，所以无法把泛化能力较强的神经网络筛选出来。
步骤S13用表决成功率和评价相同率均值筛选出泛化能力较强的最优神经网络组合，如图3所示，其输入是步骤S12输出的7个相对合格的神经网络。
步骤S131采用蒙特卡洛方法，基于每个度量元的统计分布及参数，为每个度量元生成1组w个符合各自统计分布的随机数，本实施例确定w为600。以
Figure BDA0004000953590000141
为例，它符合对数正态分布，置信水平＝0.95，参数是μ＝3.45、σ＝0.33，显著性水平＝0.05。每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据，共600条模拟数据。
步骤S132为每个神经网络分别计算出每条模拟数据的输出结果，即7个神经网络，每个有600个评价结果。
步骤S133以每k个相对合格的神经网络组成一个备选组，本实施例确定k为3，共35(即
Figure BDA0004000953590000142
)个备选组。
步骤S134对同一备选组内每个神经网络的输出结果，以简单投票法进行表决：即若2个或超2个神经网络的输出结果相同，则该结果就作为表决结果，反之，则是无表决结果，(例如3个神经网络的输出结果分别为：优秀、良好、一般)。对一个备选组，投票表决600次。
步骤S135为每个备选组计算表决成功率(VSR)。
Figure BDA0004000953590000143
步骤S136为每个备选组计算评价相同率均值
Figure BDA0004000953590000151
为此，先计算某个备选组内某个神经网络的评价相同率SRi，
Figure BDA0004000953590000152
然后备选组内的3个SRi的算术平均数就是该备选组的/>
Figure BDA0004000953590000153
步骤S137筛选出VSR和
Figure BDA0004000953590000154
同时较高的最优备选组，本实施例中，第3、6、7号神经网络组成的备选组是最优备选组，该组的VSR＝0.795，/>
Figure BDA0004000953590000155
步骤S138判断最优备选组的
Figure BDA0004000953590000156
是否大于等于第二指标，如果大于等于第二指标，则进入步骤S139，否则重新进入步骤S11。本实施例中，第二指标确定为0.8。最优备选组的/>
Figure BDA0004000953590000157
大于0.8，进入步骤S139。
步骤S139把最优备选组作为最优神经网络组合，进入步骤S14。
最优神经网络组合的泛化能力较强。
步骤S14定量估算最优神经网络组合的泛化能力，如图4所示，其输入是步骤S13输出的最优神经网络组合。
步骤S141采用蒙特卡洛方法，基于每个度量元的统计分布及参数，为每个度量元再次生成n组、每组w个符合各自统计分布的随机数，生成方法与步骤S131相同。本实施例确定n为9，即组成9组、每组600条模拟数据。
步骤S142计算最优神经网络组合对每组随机数的评价相同率均值
Figure BDA0004000953590000158
所述评价相同率均值的计算方法与步骤S136相同。
步骤S143采用t分步定量估算出最优神经网络组合的泛化能力。本实施例的估算结果为在置信水平0.95时的置信区间是(0.65,0.66)。
步骤S144判断泛化能力是否达到第三指标，如果达标，进入步骤S145，否则重新进入步骤S11。本实施例中，第三指标确定为在置信水平0.95时的置信区间是(0.65,0.66)，步骤S143估算出的泛化能力达到第三指标，进入步骤S145，整个筛选流程结束。
本申请还公开了一种基于小样本的神经网络筛选装置
图5是本发明实施例中的基于小样本的神经网络筛选装置，包括：
参数设置模块21，用于设置后续各个模块使用的参数：m＝7(筛选出的相对合格神经网络的个数)、k＝3(一个备选组包含的神经网络个数)、w＝600(为每个度量元生成的一组随机数中的数字个数)、n＝9(计算泛化能力而为每个度量元生成的随机数的组数)、第一指标＝50(用于筛选相对合格的神经网络)、第二指标＝0.8(用于筛选最优神经网络组合)、第三指标为在置信水平0.95时的置信区间是(0.65,0.66)(用于判断泛化能力是否达到要求)。
随机数生成模块22，用于根据样本里的每个度量元的统计分布和参数，生成若干组、每组w个随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据，即每组w条模拟数据。在本实施例中，该模块使用了两次，第一次为每个度量元生成1组、600个随机数，组成600条模拟数据，第二次为每个度量元生成9组、每组600个随机数，组成9组、每组600条模拟数据。
相对合格神经网络筛选模块23，用于计算初步合格神经网络对测试样本的测试误差，并根据
Figure BDA0004000953590000171
在本实施例中，该模块筛选出了7个相对合格的神经网络，它们的/>
Figure BDA0004000953590000172
最大为40.4，小于第一指标(50)。
最优神经网络组合筛选模块24，用于为每个相对合格的神经网络分别计算对每条模拟数据的输出结果，从m个相对合格的神经网络组成
Figure BDA0004000953590000173
个备选组，以简单投票法对同一备选组内每个神经网络的输出结果进行表决，计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时较高、且
Figure BDA0004000953590000174
作为最优神经网络组合。在本实施例中，该模块筛选出了一个最优神经网络组合，表决成功率＝0.795，评价相同率均值＝0.657，
Figure BDA0004000953590000175
大于第二指标(0.8)。/>
泛化能力估算模块25，用于基于由随机数生成模块22再次生成的n组随机数、以及由最优神经网络组合筛选模块24为最优神经网络组合对每组随机数计算出的评价相同率均值，采用t分布，定量估算出最优神经网络组合的泛化能力，并用泛化能力是否达到第三指标判断是否达到最终要求。在本实施例中，该模块用9组随机数及其9个评价相同率均值，估算出最优神经网络组合的泛化能力为在置信水平0.95时的置信区间是(0.65,0.66)，达到第三指标(在置信水平0.95时的置信区间是(0.65,0.66))。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于小样本的神经网络筛选方法，其特征在于，包括：
步骤1、利用训练样本训练出初步合格的神经网络；
步骤2、计算初步合格的神经网络对测试样本的测试误差，用
Figure FDA0004000953580000011
第一指标，筛选出m个相对合格的神经网络；
步骤3、计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且
Figure FDA0004000953580000012
第二指标的备选组，作为最优神经网络组合；
步骤4、采用t分布，定量估算出最优神经网络组合的泛化能力，并判断是否满足最终要求，如果泛化能力达到或超过第三指标，满足最终要求，方法结束，反之，不满足最终要求，重新回到步骤1。
2.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤1利用训练样本训练出初步合格的神经网络步骤之前还包括：按照预设的比例将小样本分成训练样本和测试样本。
3.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤2中测试误差使用均方差计算，所述第一指标在[10,50]内取值。
4.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤3中计算每个备选组的表决成功率和评价相同率均值步骤之前还包括：
为样本里的每个度量元生成1组w个符合各自统计分布的随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据；
以每条模拟数据为输入，为每个相对合格的神经网络分别计算输出结果；
以k个相对合格的神经网络组成一个备选组，共
Figure FDA0004000953580000021
个备选组，其中，k是奇数，k小于m；
对同一备选组内每个神经网络的输出结果，以简单投票法进行表决：如果超过半数的输出结果相同，则输出结果就是备选组对这条模拟数据的表决结果，如果没有超过半数的输出结果相同，则备选组对这条模拟数据没有表决结果；
所述表决成功率等于
Figure FDA0004000953580000022
所述评价相同率均值是评价相同率的算术平均数，所述评价相同率等于
Figure FDA0004000953580000023
5.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤4中，采用t分布定量估算出最优神经网络组合的泛化能力步骤之前还包括：
为样本里的每个度量元再次生成n组、每组w个符合各自统计分布的随机数，组成n组、每组w条模拟数据；
计算最优神经网络组合对每组随机数的评价相同率均值。
6.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤3中预设要求指表决成功率和评价相同率均值同时较高，第二指标在[0.8,0.9]内取值。
7.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤4里的第三指标在置信水平为0.95时的置信区间是(0.65,0.66)。
8.一种基于小样本的神经网络筛选装置，其特征在于,包括：
参数设置模块，用于设置使用的参数，所述参数包括筛选出的相对合格神经网络的个数m、一个备选组包含的神经网络个数k、为每个度量元生成的一组随机数中的数字个数w、计算泛化能力而为每个度量元生成的随机数的组数n、第一指标、第二指标和第三指标，第一指标用于筛选相对合格的神经网络，第二指标用于筛选最优神经网络组合，第三指标用于判断泛化能力是否达到要求；
随机数生成模块，用于根据样本里的每个度量元的统计分布和参数，生成若干组、每组w个随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据，即每组w条模拟数据；
相对合格神经网络筛选模块，用于计算初步合格神经网络对测试样本的测试误差，并根据
Figure FDA0004000953580000041
第一指标筛选出m个相对合格的神经网络；
最优神经网络组合筛选模块，用于为每个相对合格的神经网络分别计算对每条模拟数据的输出结果，从m个相对合格的神经网络组成
Figure FDA0004000953580000042
个备选组，以简单投票法对同一备选组内每个神经网络的输出结果进行表决，计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且/>
Figure FDA0004000953580000043
第二指标的备选组，作为最优神经网络组合；
泛化能力估算模块，用于基于由随机数生成模块再次生成的n组随机数、以及由最优神经网络组合筛选模块为最优神经网络组合对每组随机数计算出的评价相同率均值，采用t分布，定量估算出最优神经网络组合的泛化能力，并用泛化能力是否达到第三指标判断是否达到最终要求。
CN202211613216.6A 2022-12-15 2022-12-15 一种基于小样本的神经网络筛选方法和装置 Pending CN116205510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211613216.6A CN116205510A (zh) 2022-12-15 2022-12-15 一种基于小样本的神经网络筛选方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211613216.6A CN116205510A (zh) 2022-12-15 2022-12-15 一种基于小样本的神经网络筛选方法和装置

Publications (1)

Publication Number Publication Date
CN116205510A true CN116205510A (zh) 2023-06-02

Family

ID=86510340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211613216.6A Pending CN116205510A (zh) 2022-12-15 2022-12-15 一种基于小样本的神经网络筛选方法和装置

Country Status (1)

Country Link
CN (1) CN116205510A (zh)

Similar Documents

Publication Publication Date Title
Salmon An evaluation of econometric models of adaptive learning
Suh et al. Nested logit models for multiple-choice item response data
US20120209575A1 (en) Method and System for Model Validation for Dynamic Systems Using Bayesian Principal Component Analysis
CN108664690A (zh) 基于深度信念网络的多应力下长寿命电子器件可靠性寿命评估方法
CN108229718A (zh) 一种信息预测方法及装置
CN109389145A (zh) 基于计量大数据聚类模型的电能表生产厂商评价方法
CN111191726B (zh) 一种基于弱监督学习多层感知器的故障分类方法
Leek et al. The joint null criterion for multiple hypothesis tests
CN112116002A (zh) 一种检测模型的确定方法、验证方法和装置
CN112214880B (zh) 一种基于虚实融合的多阶段维修性评估方法
CN112651119A (zh) 一种空间谐波减速器多性能参数加速退化试验评估方法
CN109389282A (zh) 一种基于高斯混合模型的电能表生产厂商评价方法
Stratigopoulos et al. Efficient Monte Carlo-based analog parametric fault modelling
Yang Visual assessment of residual plots in multiple linear regression: A model-based simulation perspective
CN111861038A (zh) 一种基于机器学习算法的高考分数预测方法及系统
Lau et al. Bayesian mixture of autoregressive models
Casabianca et al. The impact of design decisions on measurement accuracy demonstrated using the hierarchical rater model
CN117391463A (zh) 一种河流污染的溯源方法
Fox Multilevel IRT model assessment
CN116205510A (zh) 一种基于小样本的神经网络筛选方法和装置
Liu et al. An Empirical Comparison of GANs and Normalizing Flows for Density Estimation
Harwell The importance of type I error rates when studying bias in Monte Carlo studies in statistics
CN111967276A (zh) 翻译质量评估方法及装置、电子设备、存储介质
Liu et al. Flows succeed where gans fail: Lessons from low-dimensional data
Fox Course LNIRT: Modeling response accuracy and response times

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination