CN112308426A - 食品重金属污染风险评估模型训练方法、评估方法及装置 - Google Patents
食品重金属污染风险评估模型训练方法、评估方法及装置 Download PDFInfo
- Publication number
- CN112308426A CN112308426A CN202011201757.9A CN202011201757A CN112308426A CN 112308426 A CN112308426 A CN 112308426A CN 202011201757 A CN202011201757 A CN 202011201757A CN 112308426 A CN112308426 A CN 112308426A
- Authority
- CN
- China
- Prior art keywords
- heavy metal
- food
- risk
- sample
- risk assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 145
- 229910001385 heavy metal Inorganic materials 0.000 title claims abstract description 107
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013210 evaluation model Methods 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 title abstract description 19
- 238000012502 risk assessment Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000013526 transfer learning Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000011109 contamination Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 15
- 238000007637 random forest analysis Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 6
- 241000238017 Astacoidea Species 0.000 description 5
- 241000238557 Decapoda Species 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000013505 freshwater Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 229910052785 arsenic Inorganic materials 0.000 description 2
- RQNWIZPPADIBDY-UHFFFAOYSA-N arsenic atom Chemical compound [As] RQNWIZPPADIBDY-UHFFFAOYSA-N 0.000 description 2
- 229910052804 chromium Inorganic materials 0.000 description 2
- 239000011651 chromium Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 2
- 229910052753 mercury Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000021056 liquid food Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000021055 solid food Nutrition 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 235000021404 traditional food Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种食品重金属污染风险评估模型训练方法、评估方法及装置，所述方法包括：获取多个源域食品样本基于至少一个重金属指标的检测值，利用基于熵权的层次分析法计算各源域食品样本对应的风险值并建立第一样本训练集。利用第一样本训练集对预设神经网络模型进行训练，得到第一风险评估模型。获取设定数量待识别的目标域食品样本的重金属指标的检测值，利用基于熵权的层次分析法计算各目标域食品样本对应的风险值并建立第二样本训练集。利用第二样本训练集对第一风险评估模型进行迁移学习，得到目标风险评估模型。本发明基于迁移学习和神经网络相结合，能够基于数量较少的样本训练得到具有高拟合度的目标风险评估模型，效率高、精度高。
Description
技术领域
本发明涉及食品安全评价分析方法，尤其涉及一种食品重金属污染风险评估模型训练方法、评估方法及装置。
背景技术
随着我国市场经济不断发展，食品安全逐渐成为备受关注的焦点，食品的种类越来越丰富，新的食品安全问题不断涌现，严重危害人民群众的身体健康。如果对食品安全问题不能及时的发现和处理，就会出现生命危险甚至导致大规模食品安全事件发生。
重金属污染属于食品污染中重要的一种，铅、砷、汞和铬等重金属通过食物链进入人体后，会干扰人的正常生理功能，危害人体健康。现有技术一般通过检测含量的方式分析重金属污染物，评价尺度单一，无法结合多种指标形成综合的风险评价结果。而人为评价受主观因素影响较大，分析结果并不准确。为了保障食品安全，需要对食品中的重金属含量进行风险评估，则亟需一种方法对食品中重金属污染的风险进行准确评估。
发明内容
本发明实施例提供了一种食品重金属污染风险评估模型训练方法、评估方法及装置，以解决现有技术无法针对食品重金属污染风险进行准确评价的问题。
本发明的技术方案如下：
一方面，本发明提供一种食品重金属污染风险评估模型训练方法，包括：
获取多个源域食品样本基于至少一个重金属指标的检测值，并利用基于熵权的层次分析法计算各源域食品样本对应的风险值；
根据各源域食品样本对应的各重金属指标的检测值和风险值建立第一样本训练集；
以各源域食品样本对应的各重金属指标的检测值作为输入，以各源域食品样本对应的风险值作为输出，利用所述第一样本训练集对预设神经网络模型进行训练，得到第一风险评估模型；
获取设定数量待识别的目标域食品样本的所述重金属指标的检测值，并利用基于熵权的层次分析法计算各目标域食品样本对应的风险值；
根据各目标域食品样本对应的重金属指标的检测值和风险值作建立第二样本训练集；
以各目标域食品样本对应的重金属指标的检测值作为输入，以各目标域食品样本对应的风险值作为输出，利用所述第二样本训练集对所述第一风险评估模型进行迁移学习，得到目标风险评估模型。
在一些实施例中，利用基于熵权的层次分析法计算各源域食品样本对应的风险值，包括：
利用所有源域食品样本对应的各重金属指标的检测值构建第一矩阵，其中，所述第一矩阵的行用于记载同一源域食品样本，所述第一矩阵的列用于记载同一重金属指标的测试值；
对所述第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵；
根据各重金属指标对应的信息熵计算各重金属指标对应的权重；
根据各源域食品样本对应的各重金属指标的检测值以及各重金属指标对应的权重计算各源域食品样本的风险值。
在一些实施例中，对所述第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵，包括：
将所述第一矩阵的每一列进行离差标准化处理和正值化处理，形成第二矩阵；
根据所述第二矩阵中各重金属指标对应的数据计算各重金属指标对应的信息熵。
在一些实施例中，所述预设神经网络模型为BP神经网络模型。
在一些实施例中，利用所述第二样本训练集对所述第一风险评估模型进行迁移学习，得到目标风险评估模型之后，还包括：
将所述第二样本训练集中的第一设定比例作为训练集用于迁移学习，剩余的作为测试集用于测试所述目标风险评估模型的准确度。
在一些实施例中，所述第一风险评估模型和所述目标风险评估模型按照设定迭代次数训练得到。
另一方面，本发明还提供一种食品重金属污染风险评估方法，包括：
获取如上述方法中所述的目标风险评估模型，获取待评估食品样本的至少一个重金属指标的检测值，所述重金属指标的种类与所述目标风险评估模型中输入层对应的重金属指标的种类一致；
将所述待评估食品样本的各检测值输入所述目标风险评估模型得到所述待评估食品样本对应的风险值。
在一些实施例中，将所述待评估食品样本的各检测值输入所述目标风险评估模型得到所述待评估食品样本对应的风险值之后，还包括：
获取预警值，若所述待评估食品样本对应的风险值高于所述预警值，则生成警示信息。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。
本发明的有益效果至少是：
所述食品重金属污染风险评估模型训练方法、评估方法及装置，利用基于熵权的层次分析法计算源域食品样本和目标域食品的风险值，杜绝了人为主观因素对风险值判断的不确定性，提高了样本数据的准确度，对神经网络模型的训练效果更好。基于迁移学习和神经网络相结合，适应了食品重金属污染风险评估过程中缺乏大量样本数据的特点，能够基于数量较少的样本训练得到具有高拟合度的目标风险评估模型，效率高、精度高。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例所述食品重金属污染风险评估模型训练方法的流程示意图；
图2为本发明一实施例中利用基于熵权的层次分析法计算各源域食品样本对应的风险值的流程示意图；
图3为本发明一实施例中对第一矩阵中的项进行多量纲归一化处理并计算信息熵的流程示意图；
图4为本发明一实施例所述食品重金属污染风险评估方法的流程示意图；
图5为本发明一实施例中对BP神经网络迁移学习的逻辑示意图；
图6为本发明一实施例中BP、RandomForest(随机森林)、RBF以及TL-BP的均方误差随迭代次数的折线图；
图7为本发明一实施例中BP、RandomForest、RBF以及TL-BP对训练集和测试集四次验证的均方根误差柱形图；
图8为本发明一实施例中BP、RandomForest、RBF以及TL-BP对训练集预测结果散点图；
图9为本发明一实施例中BP、RandomForest、RBF以及TL-BP对测试集预测结果散点图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
目前传统的食品安全风险识别评估的可以采用层次分析法，该方法将有关的各个因素按照不同属性自上而下地分解成若干层次，最上层为目标层，建立层次模型，构造判断矩阵。判断矩阵可以依经验自行定义，但判断矩阵设定不合理可以会导致最终评估结果偏离实际，甚至完全相反。
此外，神经网络算法也广泛应用于食品安全领域,如随机森林(RandomForest)，支持向量机等都可以用于食品安全预测预警，但是神经网络算法需要基于大量的数据进行训练，然而在实际应用中，获取大量的训练样本非常耗时，成本又高，因此在食品安全评估分析领域往往难以获得足量的样本数据，样本量不足会导致神经网络的欠拟合，由此会产生风险识别精度不高的问题，从而达不到提前预警的目的；其次，这些网络的泛化能力不强，即在训练过程中即便能取得很好的收敛精度，但对于测试样本未必有同样的表现，其根本原因在于所采用的训练样本的多样性和代表性不够。
针对以上问题，本发明提出了一种食品重金属污染风险评估模型训练方法、评估方法及装置，将迁移学习级联到神经网络中，以解决样本量不足带来的样本多样性不够的问题。近些年，迁移学习在图像识别领域取得了较大的成功，尤其在样本量不充足时，迁移学习可将源域中学习到的部分模型或特征传递到目标域，并利用目标域中的样本对模型进行微调。与从头开始训练相比，在源域模型上进行参数微调可极大地提高训练速度，此外，迁移学习还充分利用了源域中的数据，使目标域在样本量不足的情况下也可以得到较好的训练效果。该方法具有低耗时、低成本、精度高等特点，能有效的避免传统方法样本不足、精度低，训练时间长等不足。
需要预先说明的是，域指某个时刻的某个特定领域或范围，本申请所述的源域食品样本是指在迁移学习过程中，用于初步训练神经网络的食品样本。目标域食品样本是指待识别的食品样本，通过部分目标域食品样本对源域食品样本训练后的模型进行微调，以得到高精度的评估模型。
本发明提供一种食品重金属污染风险评估模型训练方法，如图1所示，包括步骤S101～S106：
需要说明的是，本申请对步骤S101～106的说明并不是对步骤顺序的限定，应当认为，在特定的使用场景下，各步骤可以并行或调换顺序。
步骤S101：获取多个源域食品样本基于至少一个重金属指标的检测值，并利用基于熵权的层次分析法计算各源域食品样本对应的风险值。
步骤S102：根据各源域食品样本对应的各重金属指标的检测值和风险值建立第一样本训练集。
步骤S103：以各源域食品样本对应的各重金属指标的检测值作为输入，以各源域食品样本对应的风险值作为输出，利用第一样本训练集对预设神经网络模型进行训练，得到第一风险评估模型。
步骤S104：获取设定数量待识别的目标域食品样本的重金属指标的检测值，并利用基于熵权的层次分析法计算各目标域食品样本对应的风险值。
步骤S105：根据各目标域食品样本对应的重金属指标的检测值和风险值作建立第二样本训练集。
步骤S106：以各目标域食品样本对应的重金属指标的检测值作为输入，以各目标域食品样本对应的风险值作为输出，利用第二样本训练集对第一风险评估模型进行迁移学习，得到目标风险评估模型。
在步骤S101中，对源域食品样本中至少一个重金属指标的进行检测，重金属指标的类型可以根据实际应用场景的需要设置，在一些实施例中，可以对铅含量、砷含量、汞含量和铬含量进行检测，检测方式和检出单位可以结合源域食品样本的形态做适应性调整，例如，对于液态的食品样本，检出单位可以是微克/升；对于固态的食品样本，检出单位可以是毫克/千克。对源域食品样本检测得到的重金属指标的检测值作为评价风险的参考。
在一些实施例中，步骤S101中，利用基于熵权的层次分析法计算各源域食品样本对应的风险值，如图2所示，包括步骤S1011～S1014：
步骤S1011：利用所有源域食品样本对应的各重金属指标的检测值构建第一矩阵，其中，第一矩阵的行用于记载同一源域食品样本，第一矩阵的列用于记载同一重金属指标的测试值。
步骤S1012：对第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵。
步骤S1013：根据各重金属指标对应的信息熵计算各重金属指标对应的权重。
步骤S1014：根据各源域食品样本对应的各重金属指标的检测值以及各重金属指标对应的权重计算各源域食品样本的风险值。
在步骤S1011中，将各源域食品样本的检测值构建为有序的第一矩阵，将不同源域食品样本的检测值设在不同行，将各源域食品样本相同的重金属指标设置在同一列，以对齐同类数据便于处理。在步骤S1012中，由于第一矩阵中记载的数据是基于不同重金属指标的量纲并不一致，在处理过程中需要对量纲进行统一，做归一化处理。具体的，多量纲归一化可以采用离差标准化或零-均值标准化的方法处理，将数据压缩在[0,1]范围内。在步骤S1013中，通过计算各重金属指标的信息熵并计算各重金属指标对应的权重，权重基于数据本身产生，并不以人为限定的方式产生，能够杜绝人为主观因素的影响，得到更可靠的权重数据。在步骤S1014中，通过对检测值加权求和最终计算得到各源域食品样本对应的风险值。
在一些实施例中，对于步骤S1012，即对第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵，如图3所示，包括步骤S201～S202：
步骤S201：将第一矩阵的每一列进行离差标准化处理和正值化处理，形成第二矩阵。
步骤S202：根据第二矩阵中各重金属指标对应的数据计算各重金属指标对应的信息熵。
在步骤S102和步骤S103中，基于源域食品样本检测得到的数据形成第一样本训练集，用于对预设的神经网络模型进行第一次训练。预设神经网络模型可以采用BP神经网络模型、径向基神经网络或随机森林等。通过源域食品样本训练得到的第一风险评估模型能够有效拟合第一样本训练集，在一定程度上能够迎合对目标域食品样本的评价需求，因此可以作为迁移学习的基础。所述第一风险评估模型按照设定迭代次数训练得到。
在步骤S104～S105中，通过获取设定数量待识别的目标域食品样本检测重金属指标并评估风险值形成第二样本训练集，用于对第一风险评估模型进行调整训练。其中，对该部分目标域食品样本的处理方式可以参照前文步骤S1011～S1014以及步骤S201～S202的处理方式。
在步骤S106中，将第一风险评估模型作为基础模型，利用第二样本训练集进行训练调整，使之能够有效拟合目标域食品样本，所述目标风险评估模型按照设定迭代次数训练得到。这个过程中，所需要的目标域食品样本较少，能够适应食品重金属污染风险分析过程中样本数量较少的问题。
示例性的，在对小龙虾进行重金属污染风险评价分析时，由于样本数量有限，无法有效对神经网络模型进行拟合训练，可以利用样本量充足的淡水虾作为源域食品样本。获取淡水虾的源域食品样本共1484个，小龙虾的目标域食品样本391个。并分别检测淡水虾的源域食品样本以及小龙虾的目标域食品样本关于多个重金属指标的检测值。
构建第一矩阵X＝(xij)，i＝1,...,n；j＝1,...,m；X表示n个m维的样本构成的矩阵，xij表示第i个样本得第j个重金属指标。
由于各重金属指标的计量单位不统一，因此需要将指标的绝对值转化为相对值，计算相关函数矩阵K＝(kij),i＝1,2,...,n；j＝1,2,...,m，元素kij为：
其中，i＝1,2,...n；j＝1,2...,m；xj(1)＝min(x1j,x2j,...,xnj)，xj(2)＝max(x1j,x2j,...,xnj)。
在重金属检验中，显然重金属含量越低越好，因此kij数值越大越好。
进一步地，对K的每一列进行中心化处理，令
其中
和Sj分别是第j个变量的平均值和标准差，从而得到中心化处理后的K'＝(k'ij)，i＝1,2,...,n，j＝1,2,...,m。
接着将K'中元素都转化成正数，即令rij＝k′ij-tj+ε，其中，tj＝min(k′ij)，tj是第j个变量的最小值，ε是一个正值参数，从而得到一个正矩阵R＝(rij)。
对于这个正矩阵R＝(rij)，我们可以计算第j个变量的信息熵ej：
熵越小，说明包含的信息越多，这个变量越重要，则赋予这个变量的权重越大，第j个变量的权重为：
令W＝[w1,w2,...,wm]，则可以得到所有样本的风险值Y：
Y＝XWT (4)
进一步地，以各源域食品样本对应的各重金属指标的检测值作为输入，以各源域食品样本对应的风险值作为输出，建立第一样本训练集，并对预设神经网络模型进行训练，得到第一风险评估模型。
预设神经网络模型可以为BP神经网络模型，BP神经网络包括：一个输入层、一个隐藏层和一个输出层。
BP神经网络使用梯度下降来搜索可能的权向量的假设空间，以找到拟合效果最佳的权向量。具体的，即利用损失函数，每次向损失函数负梯度方向移动，直到损失函数取得最小值。也即，利用反向传播算法，求出损失函数关于每一层的权值及偏置项的偏导数，也称为梯度，用该值更新初始的权重，直到损失函数取得最小值或是达到设置的迭代次数。
假设从输入层数据为x，输入层到隐藏层的投影权重为W1＝(ω1,b1)，激活函数为g1，隐藏层到输出层的投影权重为W2＝(ω2,b2)，激活函数为g2，于是前向传播得到输出
损失函数为：
根据链式法则计算损失函数关于W1＝(ω1,b1)和W2＝(ω2,b2)的偏导，进而根据偏导值不断调整投影权重的大小，直到损失函数小于事先给定的阈值或达到设定的迭代次数。在完成迭代后，得到拟合效果最佳的第一风险评估模型。
进一步地，将第一风险评估模型迁移到目标域，使第一风险评估模型的权重向量作为目标域的初始向量。利用少量的目标域食品样本建立第二训练样本集，并对第一风险评估模型进行微调，得到目标风险评估模型。
在本实施例中，每个淡水虾样本和小龙虾样本中检测到的5种重金属浓度(mg/kg)为输入，即输入维度为5，隐藏层包含6个神经元，输出层为风险值。以源域收集的淡水虾样本作为第一训练样本集，然后根据上述步骤对BP神经网络进行训练，得到源域的风险评估模型。进一步基于源域样本训练得到的风险评估模型迁移到目标域，利用目标域小龙虾样本进行训练调整得到最终的目标风险评估模型。如图5所示，源域的风险评估模型中，输入层到隐藏层的投影权重为W1，隐藏层到输出层的投影权重为W2,将W1和W2作为初始权重W1′和W2′，对目标域样本进行训练。
在一些实施例中，步骤S106之后，即利用第二样本训练集对第一风险评估模型进行迁移学习，得到目标风险评估模型之后，还包括：
将第二样本训练集中的第一设定比例作为训练集用于迁移学习，剩余的作为测试集用于测试目标风险评估模型的准确度。
在本实施例中，将基于目标域食品样本产生的第二样本训练集中的一部分用于迁移学习，另一部分用于测试评估效果，能够计算得到目标风险评估模型的准确度，在目标风险评估模型使用前进行有效评估。
另一方面，本发明还提供一种食品重金属污染风险评估方法，如图4所示，包括步骤S301～S302：
步骤S301：获取上述方法中的目标风险评估模型，获取待评估食品样本的至少一个重金属指标的检测值，重金属指标的种类与目标风险评估模型中输入层对应的重金属指标的种类一致。
步骤S302：将待评估食品样本的各检测值输入目标风险评估模型得到待评估食品样本对应的风险值。
在本实施例中，对待评估食品样本获取的重金属指的种类应当与目标风险评估模型输入层对应的评估指标一致，以保证输出风险值的准确性。
在一些实施例中，步骤S302之后，即将待评估食品样本的各检测值输入目标风险评估模型得到待评估食品样本对应的风险值之后，还包括：
获取预警值，若待评估食品样本对应的风险值高于预警值，则生成警示信息。
本实施例中，通过建立预警机制，对风险值过高的待识别食品样本进行提示告警，根据警示信息可以进行声光报警，也可以设置其他反应动作。
神经网络模型通常需要收集足量的样本来训练模型，而在实际应用中，所能收集的食品检测数据样本非常有限，本发明通过将基于源域食品样本训练得到的第一风险评估模型，利用迁移学习的方式，用目标域食品样本对第一风险评估模型进行调整，相比于传统的模型训练方法，能够解决传统模型训练方法在小样本情况下欠拟合导致的风险识别精度不够的问题。本发明一方面可以加快模型训练的速度，另一方面能够克服样本量不足导致模型训练效果不佳的问题。
如图6所示，在小样本条件下，BP神经网络模型(BP)、随机森林算法、径向基神经网络(RBF)和基于迁移学习的BP神经网络(TL-BP)四种方法的均方误差MSE随迭代次数的变化折线图，可以看到，每种方法的均方误差都随着迭代次数的增加不断减小，最终趋于稳定，直到收敛。基于迁移学习的BP神经网络的MSE最终收敛到接近于零，远远小于其余三种方法，而且收敛速度大于BP神经网络，这意味着源域迁移到目标域的模型不仅具有较高的效率而且还具有较好的精度。
如图7所示，对BP神经网络模型(BP)、随机森林算法、径向基神经网络(RBF)和基于迁移学习的BP神经网络(TL-BP)进行交叉验证，共进行四次实验，每次实验分别得到训练集和测试集的均方根误差,最终将四次实验的均方根误差取平均，得到训练集和测试集的平均均方误差均方根误差,从图7中可以看出基于迁移学习的BP神经网络的平均均方误差明显小于其他三种方法。
如图8和图9所示，以实际风险值为横坐标，预测值为纵坐标，分别绘制训练集拟合值和测试集预测值的散点图，点越接近对角线表明预测值越接近实际风险值，其中图8为训练集预测结果散点图，图9为测试集预测结果散点图。从图8和图9中可以看出实际风险值较小时，四个模型均能实现较为准确的预测，但当实际风险大于0.2时，BP神经网络，随机森林以及径向基神经网络(RBF)的预测精度都表现较差，BP神经网络的预测结果总体略偏高，RBF神经网络和随机森林的预测效果都偏低；从图8和图9中可以看出散点主要集中在实际风险小于0.2的部分，即图的左半部分，因此高风险样本预测结果不准确是由于原始样本中大多是低风险样本，高风险样本较少而导致的。
而基于迁移学习的BP神经网络由于参考了源域中数据和模型的信息，无论是训练集还是测试集，预测效果与实际风险值的误差都很小，从图8和图9中可以看出，TL-BP的散点几乎都在对角线上，这说明相比其他三个模型的预测结果，基于迁移学习的BP神经网络预测效果要更加准确。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。
综上所述，所述食品重金属污染风险评估模型训练方法、评估方法及装置，利用基于熵权的层次分析法计算源域食品样本和目标域食品的风险值，杜绝了人为主观因素对风险值判断的不确定性，提高了样本数据的准确度，对神经网络模型的训练效果更好。基于迁移学习和神经网络相结合，适应了食品重金属污染风险评估过程中缺乏大量样本数据的特点，能够基于数量较少的样本训练得到具有高拟合度的目标风险评估模型，效率高、精度高。
具体的，本发明结合了迁移学习和BP神经网络，在目标域样品的数量较少的情况下，利用源域数据训练模型，然后再使用目标域数据对源域数据训练后的模型进行微调，得到高精度的预测模型，从而实现对食品安全风险的预警。相比从头开始进行建模，通过迁移学习，利用已有的成熟知识或模型结构来训练新的模型，这样训练效率更高。本发明在小样本情况下也能有较好的预测效果，样本量越小，优势越明显。本发明不需要再去花费巨大代价去重新采集和标定庞大的新数据集，同时再次利用现有知识域数据，能充分利用已有的大量数据。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种食品重金属污染风险评估模型训练方法，其特征在于，包括：
获取多个源域食品样本基于至少一个重金属指标的检测值，并利用基于熵权的层次分析法计算各源域食品样本对应的风险值；
根据各源域食品样本对应的各重金属指标的检测值和风险值建立第一样本训练集；
以各源域食品样本对应的各重金属指标的检测值作为输入，以各源域食品样本对应的风险值作为输出，利用所述第一样本训练集对预设神经网络模型进行训练，得到第一风险评估模型；
获取设定数量待识别的目标域食品样本的所述重金属指标的检测值，并利用基于熵权的层次分析法计算各目标域食品样本对应的风险值；
根据各目标域食品样本对应的重金属指标的检测值和风险值作建立第二样本训练集；
以各目标域食品样本对应的重金属指标的检测值作为输入，以各目标域食品样本对应的风险值作为输出，利用所述第二样本训练集对所述第一风险评估模型进行迁移学习，得到目标风险评估模型。
2.根据权利要求1所述的食品重金属污染风险评估模型训练方法，其特征在于，利用基于熵权的层次分析法计算各源域食品样本对应的风险值，包括：
利用所有源域食品样本对应的各重金属指标的检测值构建第一矩阵，其中，所述第一矩阵的行用于记载同一源域食品样本，所述第一矩阵的列用于记载同一重金属指标的测试值；
对所述第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵；
根据各重金属指标对应的信息熵计算各重金属指标对应的权重；
根据各源域食品样本对应的各重金属指标的检测值以及各重金属指标对应的权重计算各源域食品样本的风险值。
3.根据权利要求2所述的食品重金属污染风险评估模型训练方法，其特征在于，对所述第一矩阵中的项进行多量纲归一化处理，并计算各重金属指标对应的信息熵，包括：
将所述第一矩阵的每一列进行离差标准化处理和正值化处理，形成第二矩阵；
根据所述第二矩阵中各重金属指标对应的数据计算各重金属指标对应的信息熵。
4.根据权利要求1所述的食品重金属污染风险评估模型训练方法，其特征在于，所述预设神经网络模型为BP神经网络模型。
5.根据权利要求1所述的食品重金属污染风险评估模型训练方法，其特征在于，利用所述第二样本训练集对所述第一风险评估模型进行迁移学习，得到目标风险评估模型之后，还包括：
将所述第二样本训练集中的第一设定比例作为训练集用于迁移学习，剩余的作为测试集用于测试所述目标风险评估模型的准确度。
6.根据权利要求1所述的食品重金属污染风险评估模型训练方法，其特征在于，所述第一风险评估模型和所述目标风险评估模型按照设定迭代次数训练得到。
7.一种食品重金属污染风险评估方法，其特征在于，包括：
获取如权利要求1至6任意一项所述方法中的目标风险评估模型，获取待评估食品样本的至少一个重金属指标的检测值，所述重金属指标的种类与所述目标风险评估模型中输入层对应的重金属指标的种类一致；
将所述待评估食品样本的各检测值输入所述目标风险评估模型得到所述待评估食品样本对应的风险值。
8.根据权利要求7所述的食品重金属污染风险评估方法，其特征在于，将所述待评估食品样本的各检测值输入所述目标风险评估模型得到所述待评估食品样本对应的风险值之后，还包括：
获取预警值，若所述待评估食品样本对应的风险值高于所述预警值，则生成警示信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201757.9A CN112308426A (zh) | 2020-11-02 | 2020-11-02 | 食品重金属污染风险评估模型训练方法、评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011201757.9A CN112308426A (zh) | 2020-11-02 | 2020-11-02 | 食品重金属污染风险评估模型训练方法、评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112308426A true CN112308426A (zh) | 2021-02-02 |
Family
ID=74334224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011201757.9A Pending CN112308426A (zh) | 2020-11-02 | 2020-11-02 | 食品重金属污染风险评估模型训练方法、评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308426A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011796A (zh) * | 2021-05-06 | 2021-06-22 | 北京工商大学 | 一种基于“层次分析-神经网络”的食用油安全预警方法 |
| CN113887868A (zh) * | 2021-08-31 | 2022-01-04 | 华南农业大学 | 一种基于改进的神经网络实现食品风险评估的方法 |
| CN114091818A (zh) * | 2021-10-19 | 2022-02-25 | 上海淇玥信息技术有限公司 | 基于冷启动场景领域适应学习的风险设备识别方法及装置 |
| CN114723464A (zh) * | 2022-04-24 | 2022-07-08 | 中国标准化研究院 | 食品接触材料质量安全风险监测模型训练方法及应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992245A (zh) * | 2015-07-09 | 2015-10-21 | 南京信息工程大学 | 一种基于广义熵理论的水环境风险管理动态智能综合分析方法 |
| US10101328B1 (en) * | 2017-12-29 | 2018-10-16 | Clear Labs, Inc. | Detection of microorganisms in food samples and food processing facilities |
| CN111291967A (zh) * | 2020-01-13 | 2020-06-16 | 北京化工大学 | 基于布谷鸟搜索的隐马尔可夫模型食品安全风险评估方法 |
| CN111489046A (zh) * | 2019-01-29 | 2020-08-04 | 广东省公共卫生研究院 | 一种基于供应链和bp神经网络的区域性食品安全评价模型 |
-
2020
- 2020-11-02 CN CN202011201757.9A patent/CN112308426A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992245A (zh) * | 2015-07-09 | 2015-10-21 | 南京信息工程大学 | 一种基于广义熵理论的水环境风险管理动态智能综合分析方法 |
| US10101328B1 (en) * | 2017-12-29 | 2018-10-16 | Clear Labs, Inc. | Detection of microorganisms in food samples and food processing facilities |
| CN111489046A (zh) * | 2019-01-29 | 2020-08-04 | 广东省公共卫生研究院 | 一种基于供应链和bp神经网络的区域性食品安全评价模型 |
| CN111291967A (zh) * | 2020-01-13 | 2020-06-16 | 北京化工大学 | 基于布谷鸟搜索的隐马尔可夫模型食品安全风险评估方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011796A (zh) * | 2021-05-06 | 2021-06-22 | 北京工商大学 | 一种基于“层次分析-神经网络”的食用油安全预警方法 |
| CN113011796B (zh) * | 2021-05-06 | 2024-02-02 | 北京工商大学 | 一种基于“层次分析-神经网络”的食用油安全预警方法 |
| CN113887868A (zh) * | 2021-08-31 | 2022-01-04 | 华南农业大学 | 一种基于改进的神经网络实现食品风险评估的方法 |
| CN114091818A (zh) * | 2021-10-19 | 2022-02-25 | 上海淇玥信息技术有限公司 | 基于冷启动场景领域适应学习的风险设备识别方法及装置 |
| CN114723464A (zh) * | 2022-04-24 | 2022-07-08 | 中国标准化研究院 | 食品接触材料质量安全风险监测模型训练方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308426A (zh) | 食品重金属污染风险评估模型训练方法、评估方法及装置 | |
| CN111830408B (zh) | 一种基于边缘计算和深度学习的电机故障诊断系统及方法 | |
| CN107909564A (zh) | 一种基于深度学习的全卷积网络图像裂纹检测方法 | |
| CN110348752B (zh) | 一种考虑环境干扰的大型工业系统结构安全性评估方法 | |
| CN115169479A (zh) | 污水处理过程远程监控方法、系统及存储介质 | |
| CN108710974A (zh) | 一种基于深度置信网络的水体氨氮预测方法及装置 | |
| CN118129088B (zh) | 一种基于人工智能的压力管道电磁超声检测方法 | |
| CN111931983A (zh) | 一种降水量预测方法及系统 | |
| CN111415008B (zh) | 一种基于vmd-foa-grnn的船舶流量预测方法 | |
| CN117493991A (zh) | 一种基于kpca-scso-svm的发动机状态评估方法 | |
| CN114154401A (zh) | 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统 | |
| Sun et al. | Pruning Elman neural network and its application in bolt defects classification | |
| CN111783616A (zh) | 一种基于数据驱动自学习的无损检测方法 | |
| CN114880940A (zh) | 基于多域分析和人工神经网络的压实质量检测方法及装置 | |
| CN114660180A (zh) | 一种基于声发射与1D CNNs的中小桥梁轻量化健康监测方法与系统 | |
| CN117352088A (zh) | 一种基于卷积神经网络的空间污染物分布的预测方法 | |
| CN113723471B (zh) | 纳米颗粒浓度和粒径估算方法及装置 | |
| CN115153549A (zh) | 一种基于bp神经网络的人机交互界面认知负荷预测方法 | |
| CN112561203B (zh) | 一种基于聚类和gru实现水位预警的方法及系统 | |
| CN114814092A (zh) | 基于bp神经网络的ip指标测量方法 | |
| CN110728292A (zh) | 一种多任务联合优化下的自适应特征选择算法 | |
| CN113128615A (zh) | 基于pca的bp神经网络对信息安全的检测系统、方法、应用 | |
| CN112651168A (zh) | 基于改进神经网络算法的建设用地面积预测方法 | |
| CN115808504B (zh) | 一种用于浓度预测的气体传感器在线漂移补偿方法 | |
| Zhang et al. | Hybrid Probabilistic Deep Learning for Damage Identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210202 |
|
| RJ01 | Rejection of invention patent application after publication |