CN117670067A - 一种基于大数据的质量安全管理方法及平台 - Google Patents
一种基于大数据的质量安全管理方法及平台 Download PDFInfo
- Publication number
- CN117670067A CN117670067A CN202410141083.XA CN202410141083A CN117670067A CN 117670067 A CN117670067 A CN 117670067A CN 202410141083 A CN202410141083 A CN 202410141083A CN 117670067 A CN117670067 A CN 117670067A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- food
- abnormal
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 39
- 235000013305 food Nutrition 0.000 claims abstract description 102
- 230000002159 abnormal effect Effects 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 5
- 239000003153 chemical reaction reagent Substances 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000008157 edible vegetable oil Substances 0.000 description 2
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 235000015895 biscuits Nutrition 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013325 dietary fiber Nutrition 0.000 description 1
- 235000013373 food additive Nutrition 0.000 description 1
- 239000002778 food additive Substances 0.000 description 1
- 235000011194 food seasoning agent Nutrition 0.000 description 1
- 230000003050 macronutrient Effects 0.000 description 1
- 235000021073 macronutrients Nutrition 0.000 description 1
- 239000011785 micronutrient Substances 0.000 description 1
- 235000013369 micronutrients Nutrition 0.000 description 1
- 239000002366 mineral element Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 239000000447 pesticide residue Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据的质量安全管理方法及平台，涉及大数据领域，方法包括：获取食品质量检测平台的质量数据集；对质量数据集中的数据进行预处理得到预处理后的质量数据；根据特征的重要度，将对特征分配不同的权重值；根据不同特征对应的将预处理后的质量数据乘以权重值得到特征值量数据集；通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值；对异常得分分值进行排序得到不同级别的食品质量提示信息；根据提示信息生成异常食品处置信息，异常食品处置信息用于处置异常食品。通过改进的异常数据检测算法对食品质量数据进行异常检测，提高了异常检测的精度，提高了质量监管部门的工作效率，保障了食用农产品的安全。
Description
技术领域
本发明涉及大数据技术领域，特别涉及一种基于大数据的质量安全管理方法及平台。
背景技术
随着社会的发展和进步，人们对食品质量安全的要求越来越高，依据食品质量数据的进行管理作为食品安全监管中起着重要作用的手段。近些年来，随着信息技术的普及和广泛的应用，基于大数据的食品质量异常检测技术运用异常检测技术对市场中的农产品数据进行处理分析，并协助监管部门进行科学高效地管理起到了一定的作用。但是，相关技术中的食品质量异常检测的方法存在检测精度低，不能从大量的检测数据中提取出异常质量数据的技术问题。
基于上述技术问题，本发明提出一种基于大数据的质量安全管理方法及平台。
发明内容
本发明提供一种基于大数据的质量安全管理方法及平台，提高了食品质量管理的效率和检测精确度。
根据本公开的一方面，提供了一种基于大数据的质量安全管理方法，所述方法包括：
获取食品质量检测平台的质量数据集；其中，所述质量数据包括如下特征：检测编号，检测品种，食品分类，检测项目，被检单位，试剂名称；
对所述质量数据集中的数据进行预处理得到预处理后的质量数据；
根据特征的重要程度，将对所述特征分配不同的权重值；
根据不同特征对应的将所述预处理后的质量数据乘以权重值得到特征值量数据集；
通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值；
对所述异常得分分值进行排序得到不同级别的食品质量提示信息；其中，所述提示信息包括：食品分类，食品名称，检测项目，检测结果，检测人，异常得分分值；
根据所述提示信息生成异常食品处置信息，其中，所述异常食品处置信息包括：处置状态，处置原因，处置人，处置时间，处置图片，食品名称，食品编号，所述异常食品处置信息用于处置异常食品。
在一种可能的实现方式中，通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值之前，设置算法的异常分值阈值；对所述异常得分分值进行排序得到不同级别的食品质量提示信息，包括：对所述异常得分分值进行排序，根据所述异常分值阈值得到不同级别的食品质量提示信息。
在一种可能的实现方式中，所述方法还包括：根据特征的重要程度，将对所述特征分配不同的权重值；
根据不同特征对应的将所述预处理后的质量数据乘以权重值得到特征值量数据集；
所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树。
在一种可能的实现方式中，所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
对于每一棵二叉树，确定所有叶子节点的路径长度，根据所有叶子结点的路径长度，确定路径长度的标准差；
对于多个二叉树的路径长度的标准差进行归一化处理，得到第二权重集；
根据从所述特征值量数据集中选取的样本数据，确定每个样本数据在每棵二叉树中的路径长度；
针对每个样本数据，样本数据在每棵二叉树中的路径长度乘以对应的二叉树的第二权重，再对所有的乘积求和；
计算所述m个数据所构建的二叉树的平均路径长度；
将所述求和的值除以所述平均路径长度得到指数值；
以1/2作为底所述指数值作为指数的计算结果为样本数据的异常得分分值。
在一种可能的实现方式中，所述从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树，包括：
设置当前树的高度和树的限制高度；
判断当前树的高度是否大于树的限制高度，如果是则确定数据的当前节点为叶子节点，
否则，执行数据分割处理：选取权重较大的特征q，从特征q的最大值与最小值之间随机选取一个分割点p将数据划分为x1，x2两个数据集，将特征q的值小于p的数据点放入x1数据集，将特征q的值大于p的数据点放入x2数据集，并确定分割点p为非叶子节点；
对于x1，x2两个数据集继续执行数据分割处理，直到确定出m个数据处于叶子节点或非叶子节点，得到一个二叉树；
针对不同的特征构建出不同的二叉树。
在一种可能的实现方式中，对所述质量数据集中的数据进行预处理得到预处理后的质量数据，包括：如果存在缺失值的属性，将缺失的属性值用属性集的平均值来代替，如果于检测项目数据格式不一致，转换成一致的数据格式。
根据本公开的一方面，提供了一种基于大数据的质量安全管理平台，所述平台应用所述的基于大数据的质量安全管理方法，所述平台包括：
食品质量数据管理模块，用于录入食品检测数据或查询食品检测结果；
异常数据检测模块，用于检测食品质量数据中的异常点，确定食品质量提示信息并生成质量提示信息的列表；
异常食品处置管理模块，用于对异常食品处置信息进行录入，查询或修改；
信息发布模块，以列表的形式将质量提示信息对用户进行实时的展示。
与现有技术相比，本发明的有益效果是：
本公开实施例的基于大数据的质量安全管理方法，通过获取食品质量检测平台的质量数据集，对所述质量数据集中的数据进行预处理得到预处理后的质量数据，通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值；对所述异常得分分值进行排序得到不同级别的食品质量提示信息，根据所述提示信息生成异常食品处置信息。通过所述管理方法对考虑了质量数据的特征权重的数据进行异常数据的检测，确定了食品质量提示信息，提高了食品质量数据检测的精确性。
而且，优先选取权重较高的特征，减少随机选取特征所带来的影响，提高孤立二叉树的质量，通过对于多个二叉树的路径长度的标准差进行归一化处理，得到第二权重集，将路径长度的标准差作为处理过程的权重值，同样提高了对食品质量数据异常检测方法精确度。更加精确的食品质量提示信息有利于食品质量安全和管理部门做出更加及时准确地管理策略。
本公开实施例的基于大数据的质量安全管理方法可以自动检测出其中所包含的异常食品的基本信息以及显著提高检测技术的准确性和检测性能，有利于帮助监管部门进行监管，提高监管效率，保障市民的食用农产品安全。
本公开实施例的基于大数据的质量安全管理平台，通过食品质量数据管理模块录入食品检测数据或查询食品检测结果，通过异常数据检测模块检测食品质量数据中的异常点，有利于防止检测异常的食品进入交易市场中引起食品安全问题。提高了农产品质量监管部门的工作效率，保障了食用农产品的安全。
附图说明
图1示出本公开一实施例的一种基于大数据的质量安全管理方法的流程框图。
图2示出本公开一实施例的基于大数据的质量安全管理平台的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
根据本公开的一方面，提供了一种基于大数据的质量安全管理方法，所述方法包括：
获取食品质量检测平台的质量数据集；其中，所述质量数据包括如下特征：检测编号，检测品种，食品分类，检测项目，被检单位，试剂名称；
例如，所述检测编号可以为食品的抽检批次号与食品的商品条形码编号的组合，所述检测品种可以为大米、挂面、食用油、饼干等，所述食品分类可以为食用油类，调味品类或蔬菜制品类等，所述检测项目可以为宏量营养量：碳水化合物，蛋白质，脂肪，膳食纤维的含量，或微量营养量：矿物元素，维生素的含量。检测项目还可以包括：各种食品添加剂的含量或农药的残留量等。
对所述质量数据集中的数据进行预处理得到预处理后的质量数据；
例如，如果存在缺失值的属性，将缺失的属性值用属性集的平均值来代替，如果于检测项目数据格式不一致，转换成一致的数据格式。
根据特征的重要程度，将对所述特征分配不同的权重值；
例如，对质量数据的特征分别赋予不同的权重值，检测编号0.2，检测品种0.2，食品分类0.25，检测项目0.1，被检单位0.1，试剂名称0.15。可以通过熵权法对经过预处理之后的数据进行特征权重的客观分配。熵权法为成熟的方法，本公开不对此进行限定。
根据不同特征对应的将所述预处理后的质量数据乘以权重值得到特征值量数据集；
通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值；例如，通过孤立森林检测的方法确定所述分值。
对所述异常得分分值进行排序得到不同级别的食品质量提示信息；其中，所述提示信息包括：食品分类，食品名称，检测项目，检测结果，检测人，异常得分分值；
根据所述提示信息生成异常食品处置信息，其中，所述异常食品处置信息包括：处置状态，处置原因，处置人，处置时间，处置图片，食品名称，食品编号，所述异常食品处置信息用于处置异常食品。例如，处置状态可以包括：已处理和待处理。处置原因可以包括：添加剂超标或农药残留量超标等。处理图片可以包括工作人员现场的处置照片。
本公开实施例的基于大数据的质量安全管理方法可以自动检测出其中所包含的异常食品的基本信息以及显著提高检测技术的准确性和检测性能，有利于帮助监管部门进行监管，提高监管效率，保障市民的食用农产品安全。
在一种可能的实现方式中，通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值之前，设置算法的异常分值阈值；对所述异常得分分值进行排序得到不同级别的食品质量提示信息，包括：对所述异常得分分值进行排序，根据所述异常分值阈值得到不同级别的食品质量提示信息。
例如，设置0.55,0.75,0.9为三个级别的异常分值阈值，分值在0.55-0.75对应第三级提示信息，分值在0.75-0.9对应第二级提示信息，分值在0.9-1对应第一级提示信息。
在一种可能的实现方式中，所述方法还包括：根据特征的重要程度，将对所述特征分配不同的权重值；
根据不同特征对应的将所述预处理后的质量数据乘以权重值得到特征值量数据集。
所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树。例如，选取100个数据构建孤立森林中的多个二叉树。
在一种可能的实现方式中，所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
对于每一棵二叉树，确定所有叶子节点的路径长度，根据所有叶子结点的路径长度，确定路径长度的标准差；例如，通过上述构建的多个二叉树来确定一课二叉树的所有叶子节点的路径长度。
对于多个二叉树的路径长度的标准差进行归一化处理，得到第二权重集；
根据从所述特征值量数据集中选取的样本数据，确定每个样本数据在每棵二叉树中的路径长度；
针对每个样本数据，样本数据在每棵二叉树中的路径长度乘以对应的二叉树的第二权重，再对所有的乘积求和；
计算所述m个数据所构建的二叉树的平均路径长度；
将所述求和的值除以所述平均路径长度得到指数值；
以1/2作为底所述指数值作为指数的计算结果为样本数据的异常得分分值。
在一种可能的实现方式中，所述从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树，包括：
设置当前树的高度和树的限制高度；
判断当前树的高度是否大于树的限制高度，如果是则确定数据的当前节点为叶子节点，
否则，执行数据分割处理：选取权重较大的特征q，从特征q的最大值与最小值之间随机选取一个分割点p将数据划分为x1，x2两个数据集，将特征q的值小于p的数据点放入x1数据集，将特征q的值大于p的数据点放入x2数据集，并确定分割点p为非叶子节点；
对于x1，x2两个数据集继续执行数据分割处理，直到确定出m个数据处于叶子节点或非叶子节点，得到一个二叉树；
针对不同的特征构建出不同的二叉树。
根据本公开的一方面，提供了一种基于大数据的质量安全管理平台，所述平台应用所述的基于大数据的质量安全管理方法，所述平台包括：
食品质量数据管理模块，用于录入食品检测数据或查询食品检测结果；例如，通过手动或自动的方式来录入食品检测数据，通过文件导入放入方式进行录入，然后在检测录入页面中以表单的形式选择相应的数据录入检测信息，点击保存后系统会判断输入的信息是否完整并将相应的结果进行返回，如果完整则弹出录入成功的提示窗。
异常数据检测模块，用于检测食品质量数据中的异常点，确定食品质量提示信息并生成质量提示信息的列表；例如，所述列表按照异常分值的级别进行排序，有利于及时的发现异常的检测数据。
异常食品处置管理模块，用于对异常食品处置信息进行录入，查询或修改；例如，平台的管理人员可以对如下信息进行查询，修改，添加：处置状态，处置原因，处置人，处置时间，处置图片，食品名称，食品编号。现场处理后可以将处置图片添加进异常食品处置信息。用户在点击选择一条待处置的异常农产品后，输入异常农产品的处置详情，点击保存后系统会验证输入信息的有效性和合法性，通过验证后提示用户录入信息成功。
信息发布模块，以列表的形式将质量提示信息对用户进行实时的展示。例如，用户点击信息发布管理，需要输入信息的标题、摘要以及通知的内容等详细信息，点击保存后系统会判断输入的信息是否完整且合法，通过判断后提示用户发布信息成功并将最新输入的信息展示在页面中。
本公开实施例的基于大数据的质量安全管理平台，通过食品质量数据管理模块录入食品检测数据或查询食品检测结果，通过异常数据检测模块检测食品质量数据中的异常点，有利于防止检测异常的食品进入交易市场中引起食品安全问题。提高了农产品质量监管部门的工作效率，保障了食用农产品的安全。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种基于大数据的质量安全管理方法，其特征在于，所述方法包括：
获取食品质量检测平台的质量数据集；其中，所述质量数据包括如下特征：检测编号，检测品种，食品分类，检测项目，被检单位，试剂名称；
对所述质量数据集中的数据进行预处理得到预处理后的质量数据；
根据特征的重要程度，将对所述特征分配不同的权重值；
根据不同特征对应的将所述预处理后的质量数据乘以权重值得到特征值量数据集；
通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值；
对所述异常得分分值进行排序得到不同级别的食品质量提示信息；其中，所述提示信息包括：食品分类，食品名称，检测项目，检测结果，检测人，异常得分分值；
根据所述提示信息生成异常食品处置信息，其中，所述异常食品处置信息包括：处置状态，处置原因，处置人，处置时间，处置图片，食品名称，食品编号，所述异常食品处置信息用于处置异常食品。
2.根据权利要求1所述的一种基于大数据的质量安全管理方法，其特征在于，通过异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值之前，设置算法的异常分值阈值；对所述异常得分分值进行排序得到不同级别的食品质量提示信息，包括：对所述异常得分分值进行排序，根据所述异常分值阈值得到不同级别的食品质量提示信息。
3.根据权利要求1所述的一种基于大数据的质量安全管理方法，其特征在于，所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树。
4.根据权利要求3所述的一种基于大数据的质量安全管理方法，其特征在于，所述异常数据检测算法确定预处理后的质量数据的各个数据点的异常得分分值，包括：
对于每一棵二叉树，确定所有叶子节点的路径长度，根据所有叶子结点的路径长度，确定路径长度的标准差；
对于多个二叉树的路径长度的标准差进行归一化处理，得到第二权重集；
根据从所述特征值量数据集中选取的样本数据，确定每个样本数据在每棵二叉树中的路径长度；
针对每个样本数据，样本数据在每棵二叉树中的路径长度乘以对应的二叉树的第二权重，再对所有的乘积求和；
计算所述m个数据所构建的二叉树的平均路径长度；
将所述求和的值除以所述平均路径长度得到指数值；
以1/2作为底所述指数值作为指数的计算结果为样本数据的异常得分分值。
5.根据权利要求3所述的一种基于大数据的质量安全管理方法，其特征在于，所述从所述特征值量数据集中选取m个数据构建孤立森林中的多个二叉树，包括：
设置当前树的高度和树的限制高度；
判断当前树的高度是否大于树的限制高度，如果是则确定数据的当前节点为叶子节点，
否则，执行数据分割处理：选取权重较大的特征q，从特征q的最大值与最小值之间随机选取一个分割点p将数据划分为x1，x2两个数据集，将特征q的值小于p的数据点放入x1数据集，将特征q的值大于p的数据点放入x2数据集，并确定分割点p为非叶子节点；
对于x1，x2两个数据集继续执行数据分割处理，直到确定出m个数据处于叶子节点或非叶子节点，得到一个二叉树；
针对不同的特征构建出不同的二叉树。
6.根据权利要求1所述的一种基于大数据的质量安全管理方法，其特征在于，对所述质量数据集中的数据进行预处理得到预处理后的质量数据，包括：如果存在缺失值的属性，将缺失的属性值用属性集的平均值来代替，如果于检测项目数据格式不一致，转换成一致的数据格式。
7.一种基于大数据的质量安全管理平台，所述平台应用权利要求1-6任一项所述的方法，其特征在于，所述平台包括：
食品质量数据管理模块，用于录入食品检测数据或查询食品检测结果；
异常数据检测模块，用于检测食品质量数据中的异常点，确定食品质量提示信息并生成质量提示信息的列表；
异常食品处置管理模块，用于对异常食品处置信息进行录入，查询或修改；
信息发布模块，以列表的形式将质量提示信息对用户进行实时的展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410141083.XA CN117670067A (zh) | 2024-02-01 | 2024-02-01 | 一种基于大数据的质量安全管理方法及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410141083.XA CN117670067A (zh) | 2024-02-01 | 2024-02-01 | 一种基于大数据的质量安全管理方法及平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117670067A true CN117670067A (zh) | 2024-03-08 |
Family
ID=90068383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410141083.XA Pending CN117670067A (zh) | 2024-02-01 | 2024-02-01 | 一种基于大数据的质量安全管理方法及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670067A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093705A (zh) * | 2024-04-23 | 2024-05-28 | 中检溯源江苏技术服务有限公司 | 一种食品检测用信息追溯监管系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114090402A (zh) * | 2021-11-03 | 2022-02-25 | 中国电子科技集团公司第三十研究所 | 一种基于孤立森林的用户异常访问行为检测方法 |
| CN114943475A (zh) * | 2022-06-20 | 2022-08-26 | 广东电网有限责任公司广州供电局 | 基于配电网关键要素数据的配电运行风险评估方法、系统 |
| CN116843236A (zh) * | 2023-09-01 | 2023-10-03 | 山东每日好农业发展有限公司 | 一种基于人工智能的食品存储监管系统 |
| CN117314149A (zh) * | 2023-05-17 | 2023-12-29 | 南京汉卫公共卫生研究院有限公司 | 一种食品安全监督管理系统 |
-
2024
- 2024-02-01 CN CN202410141083.XA patent/CN117670067A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114090402A (zh) * | 2021-11-03 | 2022-02-25 | 中国电子科技集团公司第三十研究所 | 一种基于孤立森林的用户异常访问行为检测方法 |
| CN114943475A (zh) * | 2022-06-20 | 2022-08-26 | 广东电网有限责任公司广州供电局 | 基于配电网关键要素数据的配电运行风险评估方法、系统 |
| CN117314149A (zh) * | 2023-05-17 | 2023-12-29 | 南京汉卫公共卫生研究院有限公司 | 一种食品安全监督管理系统 |
| CN116843236A (zh) * | 2023-09-01 | 2023-10-03 | 山东每日好农业发展有限公司 | 一种基于人工智能的食品存储监管系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093705A (zh) * | 2024-04-23 | 2024-05-28 | 中检溯源江苏技术服务有限公司 | 一种食品检测用信息追溯监管系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914543B (zh) | 搜索结果的展现方法和装置 | |
| CN108734184B (zh) | 一种对敏感图像进行分析的方法及装置 | |
| CN102938054B (zh) | 基于视觉注意模型的压缩域敏感图像识别方法 | |
| CN117670067A (zh) | 一种基于大数据的质量安全管理方法及平台 | |
| CN102591876A (zh) | 搜索结果排序方法及装置 | |
| CN112437053B (zh) | 入侵检测方法及装置 | |
| CN112733146A (zh) | 基于机器学习的渗透测试方法、装置、设备及存储介质 | |
| CN112529319A (zh) | 基于多维特征的评分方法、装置、计算机设备及存储介质 | |
| Qadrini | Handling Unbalanced Data With Smote Adaboost | |
| CN110807159B (zh) | 数据标记方法、装置、存储介质及电子设备 | |
| CN115829240A (zh) | 一种提升甜面酱品质的发酵方法、装置、设备及存储介质 | |
| CN117975445B (zh) | 一种食品识别方法、系统、设备和介质 | |
| CN113627542A (zh) | 一种事件信息处理方法、服务器及存储介质 | |
| CN112016582B (zh) | 菜品推荐方法及其装置 | |
| Pusadan et al. | The Image Extraction Using the HSV Method to Determine the Maturity Level of Palm Oil Fruit with the k-nearest Neighbor Algorithm | |
| CN113450139A (zh) | 基于交互策略的流量检测、系统、存储介质及电子设备 | |
| CN113220970A (zh) | 一种基于区块链的电商大数据平台 | |
| CN112819527A (zh) | 一种用户分群处理方法及装置 | |
| CN112765449A (zh) | 一种应用程序展示方法、装置及存储介质 | |
| Anandababu et al. | Structural similarity measurement with metaheuristic algorithm for content based image retrieval | |
| CN117952809B (zh) | 一种农贸市场病原采样与监测方法及系统 | |
| CN116228484B (zh) | 基于量子聚类算法的课程组合方法及装置 | |
| CN109947927B (zh) | 一种信息处理方法及装置 | |
| CN114020643B (zh) | 一种知识库测试方法及装置 | |
| CN111506671B (zh) | 处理实体对象的属性的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |