CN111160667B - 一种提高食品安全预测模型鲁棒性的方法及装置 - Google Patents
一种提高食品安全预测模型鲁棒性的方法及装置 Download PDFInfo
- Publication number
- CN111160667B CN111160667B CN202010002332.9A CN202010002332A CN111160667B CN 111160667 B CN111160667 B CN 111160667B CN 202010002332 A CN202010002332 A CN 202010002332A CN 111160667 B CN111160667 B CN 111160667B
- Authority
- CN
- China
- Prior art keywords
- data
- food safety
- prediction model
- noise
- safety prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000035772 mutation Effects 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 50
- 239000000126 substance Substances 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims description 61
- 230000004927 fusion Effects 0.000 claims description 50
- 239000000383 hazardous chemical Substances 0.000 claims description 18
- 238000012935 Averaging Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 14
- 238000011022 operating instruction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 3
- LINOMUASTDIRTM-QGRHZQQGSA-N deoxynivalenol Chemical compound C([C@@]12[C@@]3(C[C@@H](O)[C@H]1O[C@@H]1C=C(C([C@@H](O)[C@@]13CO)=O)C)C)O2 LINOMUASTDIRTM-QGRHZQQGSA-N 0.000 description 32
- 229930002954 deoxynivalenol Natural products 0.000 description 32
- LINOMUASTDIRTM-UHFFFAOYSA-N vomitoxin hydrate Natural products OCC12C(O)C(=O)C(C)=CC1OC1C(O)CC2(C)C11CO1 LINOMUASTDIRTM-UHFFFAOYSA-N 0.000 description 32
- 229910052793 cadmium Inorganic materials 0.000 description 19
- BDOSMKKIYDKNTQ-UHFFFAOYSA-N cadmium atom Chemical compound [Cd] BDOSMKKIYDKNTQ-UHFFFAOYSA-N 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 7
- 241000209140 Triticum Species 0.000 description 6
- 235000021307 Triticum Nutrition 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 235000013312 flour Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000003344 environmental pollutant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 231100000719 pollutant Toxicity 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种提高食品安全预测模型鲁棒性的方法，所述方法包括：获取食品中待检测危害物的含量数据；根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差的数据；在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变的数据；搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。本发明通过科学的数据处理模拟了实际危害物测量环节的测量噪声及错误，训练出的模型在实际应用中拥有更好的鲁棒性。
Description
技术领域
本申请涉及食品安全检测领域，尤其涉及一种提高食品安全预测模型鲁棒性的方法及装置。
背景技术
因为物联网技术的发展，人们可以获得食品供应链中越来越多的信息，再加上机器学习与人工神经网络的发展，食品供应链风险的预警变为现实，越来越多的食品安全预测模型出现。但这些食品安全预测模型有很大的潜在风险。
机器学习模型可以帮助人们做出预测和决策制定，在自动驾驶、股票走势、天气预报等领域广泛应用，机器学习模型的性能决定了每次预测效果，实际应用中模型的性能不好可能会带来灾难性的后果。在食品安全预测领域，实际测量的食品危害物含量可能因为传感器性能、读数错误、仪器损坏等原因，不可避免会出现测量噪声及错误的情况，如果模型的容错率太低而造成危害物含量的错误预测，那么结果不堪设想。正因为食品安全监测对准确率的要求极为严格，所以真的将这些机器学习模型预测方法运用到实际的食品安全检测时，提高机器学习模型的鲁棒性就成为一个极为关键的环节，但目前对于机器学习模型的鲁棒性问题研究还存在一定的空白。
发明内容
为解决上述技术问题之一，本发明提供了一种提高食品安全预测模型鲁棒性的方法及装置。
本发明实施例第一方面提供了一种提高食品安全预测模型鲁棒性的方法，所述方法包括：
获取食品中待检测危害物的含量数据；
根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据；
在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变数据；
搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。
优选地，所述根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据的过程包括：
根据所述待检测危害物的浓度数据获取食品中待检测危害物在各个加工阶段的危害物衰减率；
根据所述危害物衰减率，添加高斯白噪声模拟实际的测量噪声，并增大数据的噪声方差，获取增大噪声方差数据。
优选地，所述搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型的过程包括：
将所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据分别划分为训练集和测试集；
通过所述训练集和测试集分别对所述食品安全预测模型进行测试，获得测试结果；
计算所述测试结果的均方根误差，根据所述测试结果的均方根误差筛选出性能最优的食品安全预测模型。
优选地，所述搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型的过程还包括：
在通过所述训练集和测试集分别对所述食品安全预测模型进行测试获得测试结果之后，对所述测试结果进行多源信息融合获得融合数据；
计算所述融合数据的均方根误差，根据所述融合数据的均方根误差筛选出性能最优的食品安全预测模型。
优选地，所述对所述测试结果进行多源信息融合获得融合数据的过程包括：对所述测试结果分别进行取平均、加权平均和CI融合获得融合数据。
本发明实施例第二方面提供了一种提高食品安全预测模型鲁棒性的装置，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
获取食品中待检测危害物的含量数据；
根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据；
在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变数据；
搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据所述待检测危害物的浓度数据获取食品中待检测危害物在各个加工阶段的危害物衰减率；
根据所述危害物衰减率，添加高斯白噪声模拟实际的测量噪声，并增大噪声方差，获取增大噪声方差数据。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
将所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据分别划分为训练集和测试集；
通过所述训练集和测试集分别对所述食品安全预测模型进行测试，获得测试结果；
计算所述测试结果的均方根误差，根据所述测试结果的均方根误差筛选出性能最优的食品安全预测模型。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
在通过所述训练集和测试集分别对所述食品安全预测模型进行测试获得测试结果之后，对所述测试结果进行多源信息融合获得融合数据；
计算所述融合数据的均方根误差，根据所述融合数据的均方根误差筛选出性能最优的食品安全预测模型。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：对所述测试结果分别进行取平均、加权平均和CI融合获得融合数据。
本发明的有益效果如下：本发明通过科学的数据处理模拟了实际危害物测量环节的测量噪声及错误，训练出的模型在实际应用中拥有更好的鲁棒性。通过本发明得到的食品安全预测模型，在实际的食品安全检测中更加适用，尤其是在应对噪声大、出现测量错误等问题概率较大的预测任务中会有更好的效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例1所述的一种提高食品安全预测模型鲁棒性的方法的流程图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。Huber从稳健统计的角度系统地给出的鲁棒性3个层面概念：预测模型具有较高的精度或有效性；对于模型假设出现的较小偏差(如噪声)，只能对算法性能产生较小的影响；对于模型假设出现的较大偏差(如离群点)，不可对算法性能产生“灾难性”的影响。本发明根据Huber给出的鲁棒性3层概念，针对机器学习模型在食品安全预测的工作中鲁棒性较差的问题提出一种提高食品安全预测模型鲁棒性的方法及装置。
实施例1
如图1所示，本实施例提出了一种提高食品安全预测模型鲁棒性的方法，所述方法包括：
S101、获取食品中待检测危害物的含量数据，根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据。
具体的，本实施例中，首先通过传感器等手段获得食品供应链中的各个阶段的待检测危害物的含量数据。在获得最后一个阶段的待检测危害物的含量数据之后，根据供应链各阶段危害物的检测值计算待检测危害物在各个加工阶段的危害物衰减率：
A＝{a1,a2,L,ai}
其中，A为供应链中危害物衰减率，ai为第i个加工环节的危害物衰减率， Xi为第i个加工阶段危害物浓度，Xi+1为第i+1个加工阶段的危害物浓度。
由于实际危害物含量检测中，传感器的测量噪声主要包括散粒噪声、热噪声、低频噪声等，其中受散粒噪声、热噪声的影响较大，同时考虑到这两种噪声都是白噪声，本实施例根据各阶段的危害物衰减率，通过添加高斯白噪声的方式模拟实际的测量噪声：
xi-1＝(1+ai)×xi+q×randn(1)
其中，xi为各阶段危害物含量，ai为数据衰减率，q为过程噪声方差，randn(1) 用来产生取值范围(0,1)内符合标准正态分布的随机数。
通过增大过程噪声方差q来模拟更大的传感器测量噪声方差，从而获取增大噪声方差数据。
S102、在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变数据。
具体的，在获得增大噪声方差数据之后，考虑到实际测量时可能会出现错误操作、读数错误、传感器损坏的情况，随机在数据中添加一定的突变点：
xi＝k×xi
其中，xi为各阶段危害物含量，k为突变倍数。
通过上述S101和S102的过程最终获得待检测危害物的含量数据、增大噪声方差数据和添加突变数据。
S103、搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。
具体的，本实施例搭建食品安全预测模型的过程是基于Keras Tensorflow 框架搭建LSTM、GRU模型。当然，本实施例不限定采用其他方式搭建食品安全预测模型，只要能应用至本实施例所提出的方法中即可。
LSTM是长短期记忆网路，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
LSTM算法伪代码：
输入：训练数据集
输出：预测数据H
(1)对数据集进行归一化
(2)模型对训练数据进行学习
learnHbased on D
return H
GRU是LSTM的一个变体，较LSTM模型而言，一般效果更好。
GRU算法伪代码：
(1)对数据集进行归一化
(2)模型对训练数据进行学习
Learn Hbased on D
return H
本实施例中，首先将获取的待检测危害物的含量数据、增大噪声方差数据和添加突变数据分别划分为训练集和测试集。然后通过训练集和测试集分别对上述LSTM、GRU两个模型进行测试，获得测试结果。最后计算测试结果的均方根误差。通过该均方差根误差来评估训练结果：
其中，m为样本数，yi为实际值，
为预测值。
将采用训练集和测试集对LSTM、GRU两个模型进行测试获得的均方根误差中最小值标记为Model1。
通过上述方式即可筛选出性能最优的食品安全预测模型，即均方根误差更小的则为最优的。本实施例为了更加准确且科学的筛选出性能最优的食品安全预测模型，在通过训练集和测试集分别对LSTM、GRU两个模型进行测试获得测试结果之后，对测试结果进行多源信息融合获得融合数据。该多源信息融合包括取平均、加权平均和CI融合。
取平均：
其中，x′为融合结果，yL为LSTM模型预测结果，yG为GRU模型预测结果。加权平均：
其中，x”为融合结果，R1为LSTM模型预测结果方差，R2为GRU模型预测结果方差。
CI融合算法：
其中，权系数ω∈[0,1]，Paa为方差阵，Pbb为方差阵，Pcc为协方差阵，x”′为融合结果。
将上述取平均、加权平均和CI融合三种方式获得的融合数据进行计算求取均方根误差，标记为Model2。
最后，比较Model1和Model2的均方根误差，选择均方根误差最小的一种模型作为预测的首选模型。
选取规则为：
(1)比较LSTM、GRU模型的性能得到Model1。
(2)比较使用取平均、加权平均和CI融合得到的模型性能得到Model2。
(3)比较Model1和性能Model2得到首选模型。
为了更好的验证本实施例所提出的方法的可靠性，下面结合两个实例进行阐述。
实例1
利用搭建的食品安全预测模型，进行前6环节(x1～x6)危害物含量预测后5环节(x7～x11)危害物含量数据。
首先对实验所用数据进行说明，本实验使用的数据来自于小麦粉供应链，分别采集小麦粉供应链中脱氧雪腐镰刀菌烯醇(DON)、铅、镉三种危害物的含量。以DON为例，其供应链如表1所示，该供应链共有清理、润麦、加工1 等10个环节，假设原粮中污染物含量为X1，则仓储环节检测到的污染物为X11。首先采集到仓储环节X11的DON、铅、镉危害物含量，其中DON 396组、铅1061 组、镉2057组，数据格式分别为(396,1)、(1061,1)、(2057,1)。
其次根据表2展示各环节危害物浓度按照步骤S101计算危害物衰减率，并添加原噪声方差，科学模拟实际危害物测量值。表1展示模拟的原始数据具体情况，最终原方差数据DON、铅、镉数据格式分别为(396,11)、(1061,11)、 (2057,11)。
表1
之后按照表1中“拟修改后的噪声方差”分别增大原始数据DON、铅、镉三种危害物的噪声方差，表2展示修改噪声方差后的小麦粉危害物含量情况。
表2
再对增加过噪声的数据进行部分随机突变处理，增加突变点的数据位置及大小设计原则如下：
(1)每一个数据的突变概率设为0.05；(设置依据：目前的数据为每一个样本11个数，该突变概率意味着每两条样本中平均有一个突变。)
(2)铅、镉数据突变的值以等概率(P＝1/5)取如下5个数值中的一个：当前数据的2、3、4、0.5、0.1倍；DON数据取如下5个数值中的一个：当前数据的0.1、0.2、0.3、0.4、0.5倍。(设置依据：如果数据采集时我们发现特别大的奇异值的话，一般会舍去重测，但是当前数据的几倍时是无法判断是否可以舍去的。考虑DON数据的量纲小数值大，适当缩小DON危害物数据突变倍数)
最终DON、铅、镉危害物数据分别产生198、576、1129个突变点，增大方差数据基础上添加突变点的数据细节如表3展示。
表3
处理好数据之后接下来进行数据划分，需要将原数据、增大方差数据、增大方差并添加突变点数据进行划分。划分DON、铅、镉污染物数据训练集和测试集，其中训练集格式分别为(300,6)、(861,6)、(1857,6)，标签分别为(300,5)、(861,5)、(1857,5)。测试集格式分别为(96,6)、(200,6)、 (200,6)，标签分别为(96,5)、(200,5)、(200,5)。其中训练集标签主要用于调整训练过程中模型各神经元权重与偏差，测试集标签用于检验预测结果。
分别使用原数据、增大噪声方差数据、添加突变数据训练食品安全预测模型，LSTM模型和GRU模型均迭代1200次，选择随机梯度下降(SGD)优化器，损失函数为平均绝对误差(mae)，损失函数完全收敛则训练完成。表3为DON 危害物原数据迭代1200次的GRU模型损失图，可见损失函数并没有完全收敛，增大训练次数至1500代。使用测试集对所得模型进行测试(由于铅、镉数据较小，所以训练时铅、镉危害物含量数据均放大1000倍)。表4、表5、表6分别为原数据、增大噪声数据、添加突变数据进行前6环节预测后5环节训练及预测细节，其中DON数据危害物的量纲为ug/kg，铅危害物数据量纲为mg/kg (数据放大1000倍后变为ug/kg)，镉危害物数据量纲为mg/kg(数据放大1000 倍后变为ug/kg)。
表4、表5、表6分别为危害物DON、铅、镉数据前6环节预测后5环节预测结果。根据结果，增大噪声方差数据后训练出的模型在准确度方面表现与原数据训练出的模型差距并不大。而添加突变数据训练出的模型较原方差数据训练的模型，其预测准确度有较大的下滑。其中铅危害物预测模型受突变点影响较大，其GRU预测模型的预测均方根误差增大14.01倍；DON危害物与镉危害物预测模型受突点变影响较小，但由于DON危害物数据的模拟值跨度较大，最大达到63916.2827071564ug/kg，最小为0ug/kg，所以DON危害物LSTM预测模型均方差误差最大为166.6654ug/kg。但是根据DON、铅、镉在食品中正常含量范围规定(DON要小于1000ug/kg，铅含量小于0.2mg/kg，镉含量小于 0.040mg/kg)，所得结果的误差仍在允许范围内，所以模型依旧可以使用，而且从最终的均方根误差看GRU模型的表现明显优于LSTM模型的结果。表7为部分添加突变的DON危害物数据LSTM、GRU模型预测结果及真实值，分别展示了LSTM、GRU模型预测结果其中的10组数据的预测结果共50个数据点，从表中可见绝大多数GRU模型的结果比LSTM模型要好，进一步说明GRU模型在前6 预测后5环节实验中表现更好。
使用取平均、加权平均、CI融合算法三种方式对LSTM、GRU两种模型的结果进行融合。以表6中LSTM模型预测DON含量结果与GRU模型预测DON含量结果为例，取平均均方根误差为160.3983ug/kg，加权平均均方根误差为 160.2517ug/kg，CI融合均方根误差为154.653874ug/kg，融合结果表明，LSTM 虽然有些预测结果比GRU模型更好，但比重很小，同样说明GRU模型在前6预测后5环节实验中表现更好，并且得到了性能更好的CI融合后的模型。
根据本实施例最后的选取规则，以添加突变点的DON危害物数据训练及融合结果为例，由于训练得到的GRU模型均方根误差最小，所以该模型为Model1， Model2为进行CI融合后的模型，经过比较Model2的性能更好，所以最终得到小麦粉食品供应链前6环节预测后5环节DON危害物含量的最优预测模型 Model2。
表4
表5
表6
实验结果表明：在模型进行前6个环节危害物含量预测后5个环节危害物含量的任务中，使用增加传感器噪声数据及添加突变点数据，尽管会对模型的预测性能有所影响，但模型仍然可用，同时可以达到提高食品安全预测模型的鲁棒性的效果，并且在使用多源数据融合方法后会进一步提高模型性能。
实例2
利用搭建的食品安全预测模型，进行第4环节危害物含量预测第5环节危害物含量数据。
首先进行数据说明，数据处理过程同实例1，数据划分时使用x4数据作为训练集，x5数据作为标签。划分DON、铅、镉污染物数据训练集和测试集，其中训练集格式分别为(300,1)、(861,1)、(1857,1)，标签分别为(300,1)、 (861,1)、(1857,1)。测试集格式分别为(96,1)、(200,1)、(200,1)，标签分别为(96,1)、(200,1)、(200,1)。
分别使用原数据、增大噪声方差数据、添加突变点数据训练食品安全预测模型，(由于铅、镉数据较小，所以训练时铅、镉危害物含量数据均放大1000 倍)。表7、表8、表9分别为原方差、增大方差数据、增大方差并添加突变点数据第4环节预测第5环节训练及预测细节，所有模型训练1200次，由于 DON危害物增大噪声方差数据、添加突变数据训练迭代1200次并没有使目标函数收敛，增加训练迭代次数至1500次。
表7、表8、表9分别为危害物DON、铅、镉测试集在训练好的LSTM、 GRU预测模型下的预测结果。根据结果，1对1进行预测的效果要比6对5预测要差很多，这是由于模型在学习中并没有很好地学习到数据的规律。所有均方根误差的量纲为ug/kg，原方差、增大噪声方差数据训练出的铅、镉预测模型性能相差并不是很大，均方根误差最大为2.9314ug/kg，因为DON危害物数据规律太过复杂，导致两种DON预测模型的均方根误差较大，添加噪声数据训练出的模型均方根误差达到229.8378ug/kg。但与实例1相同，添加突变数据训练得到的模型虽然比原方差数据、增大方差数据训练得到的模型准确率低一些，但是模型依旧可以使用。从训练及预测结果上看在第4环节预测第5环节实验中，GRU模型稍好于LSTM模型。
对结果进行取平均、加权平均、CI融合，以添加突变的DON危害物数据为例，LSTM模型均方差误差为229.1615ug/kg，GRU模型均方根误差为 226.6161ug/kg，取平均的融合结果为227.0172ug/kg，加权平均的结果为227.0101ug/kg，CI融合结果为218.303475ug/kg，进一步说明GRU模型的性能更好，同时得到了CI融合后性能更好的模型。
根据本实施例最终的选取规则，以添加突变的DON危害物数据训练及融合结果为例，Model1为GRU模型，Model2为CI融合后的模型，经比较最终得到小麦粉食品供应链第4环节预测第5环节DON危害物含量的最优预测模型 Model2。
表7
表8
表9
结果分析：通过实例1、实例2可以得到，虽然通过科学模拟的到的增大方差数据、增加突变点数据训练出的模型会在预测准确度上略有下降，但预测误差仍在允许范围内，所以模型仍然可用，并且通过加大噪声、增加突变的方式可达到提高食品安全预测模型的鲁棒性的目的。
实施例2
对应实施例1，本实施例还提出了一种提高食品安全预测模型鲁棒性的装置，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
获取食品中待检测危害物的含量数据；
根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差的数据；
在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变的数据；
搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。
其中，本实施例所提出的装置中所涉及的工作原理和计算过程可参照实施例1所记载的内容，本实施例不再进行赘述。本实施例根据Huber给出的鲁棒性3层概念，通过科学计算模拟食品供应链中实际危害物测量数据的测量噪声及错误，使用该模拟数据对预测模型进行训练，使预测模型适应这种实际中可能出现的噪声、突变等情况。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种提高食品安全预测模型鲁棒性的方法，其特征在于，所述方法包括：
获得食品供应链中的各个阶段的待检测危害物的含量数据；
根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据；
在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变数据；
搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型；
所述根据所述待检测危害物的含量数据进行增大噪声处理，模拟噪声方差的增大，获取增大噪声方差数据的过程包括：
在获得最后一个阶段的待检测危害物的含量数据之后，根据供应链各阶段危害物的检测值计算待检测危害物在各个加工阶段的危害物衰减率；
根据各阶段的危害物衰减率，添加高斯白噪声模拟实际的测量噪声，并增大噪声方差模拟数据的噪声，获取增大噪声方差数据。
2.根据权利要求1所述的方法，其特征在于，所述搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型的过程包括：
将所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据分别划分为训练集和测试集；
通过所述训练集和测试集分别对所述食品安全预测模型进行测试，获得测试结果；
计算所述测试结果的均方根误差，根据所述测试结果的均方根误差筛选出性能最优的食品安全预测模型。
3.根据权利要求2所述的方法，其特征在于，所述搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型的过程还包括：
在通过所述训练集和测试集分别对所述食品安全预测模型进行测试获得测试结果之后，对所述测试结果进行多源信息融合获得融合数据；
计算所述融合数据的均方根误差，根据所述融合数据的均方根误差筛选出性能最优的食品安全预测模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述测试结果进行多源信息融合获得融合数据的过程包括：对所述测试结果分别进行取平均、加权平均和CI融合获得融合数据。
5.一种提高食品安全预测模型鲁棒性的装置，其特征在于，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
获取食品供应链中的各个阶段的待检测危害物的含量数据；
在获得最后一个阶段的待检测危害物的含量数据之后，根据供应链各阶段危害物的检测值计算待检测危害物在各个加工阶段的危害物衰减率；
根据各阶段的危害物衰减率，添加高斯白噪声模拟实际的测量噪声，并增大噪声方差模拟数据的噪声，获取增大噪声方差数据；
在增大噪声处理后获得的数据的基础上添加突变点，模拟添加数据的突变，获取添加突变数据；
搭建至少一个食品安全预测模型，并通过所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据对所述至少一个食品安全预测模型进行训练，筛选出性能最优的食品安全预测模型。
6.根据权利要求5所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
将所述待检测危害物的含量数据、增大噪声方差数据和添加突变数据分别划分为训练集和测试集；
通过所述训练集和测试集分别对所述食品安全预测模型进行测试，获得测试结果；
计算所述测试结果的均方根误差，根据所述测试结果的均方根误差筛选出性能最优的食品安全预测模型。
7.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
在通过所述训练集和测试集分别对所述食品安全预测模型进行测试获得测试结果之后，对所述测试结果进行多源信息融合获得融合数据；
计算所述融合数据的均方根误差，根据所述融合数据的均方根误差筛选出性能最优的食品安全预测模型。
8.根据权利要求7所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：对所述测试结果分别进行取平均、加权平均和CI融合获得融合数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002332.9A CN111160667B (zh) | 2020-01-02 | 2020-01-02 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002332.9A CN111160667B (zh) | 2020-01-02 | 2020-01-02 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160667A CN111160667A (zh) | 2020-05-15 |
| CN111160667B true CN111160667B (zh) | 2023-05-30 |
Family
ID=70561320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002332.9A Active CN111160667B (zh) | 2020-01-02 | 2020-01-02 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160667B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465264A (zh) * | 2020-12-07 | 2021-03-09 | 湖北省食品质量安全监督检验研究院 | 食品安全风险等级预测方法、装置及电子设备 |
| CN113378383B (zh) * | 2021-06-10 | 2024-02-27 | 北京工商大学 | 一种食品供应链危害物预测方法及装置 |
| CN113627532B (zh) * | 2021-08-11 | 2023-11-28 | 平安国际智慧城市科技股份有限公司 | 食品安全检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003081527A1 (en) * | 2002-03-26 | 2003-10-02 | Council Of Scientific And Industrial Research | Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors |
| CN107292436A (zh) * | 2017-06-16 | 2017-10-24 | 北京工商大学 | 基于非线性动力学时序模型的蓝藻水华预测方法 |
| CN108231201A (zh) * | 2018-01-25 | 2018-06-29 | 华中科技大学 | 一种疾病数据分析处理模型的构建方法、系统及应用 |
| CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
| CN109491241A (zh) * | 2018-11-05 | 2019-03-19 | 浙江工商大学 | 一种针对机动目标的无人机鲁棒化跟踪方法 |
-
2020
- 2020-01-02 CN CN202010002332.9A patent/CN111160667B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003081527A1 (en) * | 2002-03-26 | 2003-10-02 | Council Of Scientific And Industrial Research | Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors |
| CN107292436A (zh) * | 2017-06-16 | 2017-10-24 | 北京工商大学 | 基于非线性动力学时序模型的蓝藻水华预测方法 |
| CN108231201A (zh) * | 2018-01-25 | 2018-06-29 | 华中科技大学 | 一种疾病数据分析处理模型的构建方法、系统及应用 |
| CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
| CN109491241A (zh) * | 2018-11-05 | 2019-03-19 | 浙江工商大学 | 一种针对机动目标的无人机鲁棒化跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 桑庆兵 ; 邓赵红 ; 王士同 ; 吴小俊 ; .基于ε-不敏感准则和结构风险的鲁棒径向基函数神经网络学习.电子与信息学报.2012,(06),全文 . * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160667A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160667B (zh) | 一种提高食品安全预测模型鲁棒性的方法及装置 | |
| Refsgaard et al. | A framework for dealing with uncertainty due to model structure error | |
| CN117495210B (zh) | 公路混凝土施工质量管理系统 | |
| CN111625988A (zh) | 基于深度学习的桥梁健康管理分析与预测系统及方法 | |
| Corbetta et al. | On dynamic state-space models for fatigue-induced structural degradation | |
| US20210216609A1 (en) | Degradation detection system | |
| CN107015875A (zh) | 一种电子整机贮存寿命评估方法及装置 | |
| Zhou et al. | Bayesian approach to hazard rate models for early detection of warranty and reliability problems using upstream supply chain information | |
| CN111626844A (zh) | 基于大数据分析的企业信用评估方法及装置 | |
| Akkerhuis et al. | The statistical evaluation of binary tests without gold standard: Robustness of latent variable approaches | |
| CN110850358A (zh) | 基于逐步回归算法的电能表综合检定方法及系统 | |
| Moral et al. | Mapping and hazard assessment of atmospheric pollution in a medium sized urban area using the Rasch model and geostatistics techniques | |
| Lopez-Martin et al. | A machine learning technique for predicting the productivity of practitioners from individually developed software projects | |
| CN116957534A (zh) | 一种预测智能电表更换数量的方法 | |
| CN115983329A (zh) | 空气质量及气象条件的预测方法、装置、设备及存储介质 | |
| JP7281708B2 (ja) | 不良品の発生に寄与する装置特定のための製造条件計算装置、製造条件計算方法及び製造条件計算プログラム | |
| Boumans | Model-based Type B uncertainty evaluations of measurement towards more objective evaluation strategies | |
| Ubaydullayeva et al. | METROLOGIK TALABLARINI TIBBIY JIXOZLARNINING O ‘LCHASH NATIJALARIGA TA’SIR QILUVCHI OMILLARI TAXLILI | |
| CN113657656A (zh) | 贷款数据分析预测方法及装置 | |
| Chun | Bayesian analysis of the sequential inspection plan via the Gibbs sampler | |
| CN114829958A (zh) | 用于评估印刷电路板的方法和系统 | |
| CN111126694A (zh) | 一种时间序列数据预测方法、系统、介质及设备 | |
| Gharib et al. | System dynamics as an assistive tool to delay analysis in identifying productivity losses | |
| CN116307184B (zh) | 一种基于因果关系的空气污染治理效果评估方法 | |
| CN112434839B (zh) | 一种配电变压器重过载风险的预测方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |