CN106874407B - 基于概念层次树的农残数据融合处理方法及其系统 - Google Patents

Abstract

本发明涉及一种基于概念层次树的农药残留侦测数据融合处理方法与系统，涉及食品安全信息数字化采集与数据处理领域。本发明通过数据格式转换及补充、构建概念层次树、农药衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL标准进行污染等级判定等过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备、可靠的分析数据集，有利于对农残数据做进一步的统计分析；适用于各食品安全检测单位，用以提高信息采集与处理的效率。

Description

基于概念层次树的农残数据融合处理方法及其系统

技术领域

本发明涉及食品安全信息数字化采集与数据处理领域，主要涉及一种农药残留数据的融合处理方法与系统。

背景技术

食品中的农药残留是为世界各国所关注的食品安全问题，与人类健康和食品国际贸易密切相关。为保证食品安全，我国各地食品安全检测部门每年都要对食用农产品中的农药残留进行检测，随着信息技术和互联网的快速发展，农药残留检测平台日趋自动化、信息化、网络化，农药残留数据的获取和分析技术也在不断更新、完善和发展，大量农残数据得以采集和存储。而在将全国各检测单位的侦测结果及时采集到数据中心之后，如何通过数据转换及综合处理方法来融合源于单个或多个信息源的检测数据和信息，并进行快速、精准的污染等级判定，从而更好地估计被测目标的性质或评估污染态势是一个亟待解决的问题。

农产品中农药残留的含量是衡量食品安全的重要指标，依据农产品中农残检测结果值同各国、各组织的MRL(Maximum Residue Limit，即最大农药残留限量，指农药在某农产品、食品、饲料中的最高法定允许残留浓度)的对比结果进行污染等级判定，是评估农产品污染态势的常用方法，然而，由于不同国家或组织的MRL标准的数据量较大，且具有较大差异，现有的人工污染等级判定流程十分繁琐、冗杂，耗时较多、效率低下。

数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。数据融合起源于军事领域的传感器和地理空间数据等“硬”数据，而随着大数据时代的到来，其在源于社会的软数据处理方面也有了新的应用和发展。针对同样的事物可能会有不同的表示(例如：“番茄”同“西红柿”等)，需从逻辑语义层和意义建构理论角度进行解释。而多源侦测结果信息的处理还涉及多种异构数据的转换问题、数据的合并处理或者数据命名、结构或单位的一致性问题等，且通常需要经过归约变换或属性选择以满足业务分析需求。

综上，针对数据进行有效地融合处理，进而梳理整合成一个更有价值的分析数据集，对于进一步的分析研究具有重要的意义。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于概念层次树的农药残留侦测数据的融合处理方法及其系统，通过属性关系映射及层次化分类方法，实现对农药残留数据的融合处理及判定结果存储，形成完备、可靠的分析数据集，为下一步的统计分析奠定基础。

本发明的核心是：本发明实现对农残采集数据的融合处理，具体包括农药、地域等信息的数据格式转换及补充、衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL标准进行污染等级判定等，并在此基础上设计一个农残数据融合处理系统。数据源中多个属性通常可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树，一般由领域专家提供。通过概念泛化处理，可以使处理的数据体现不同的层次和汇聚密度，有利于发现不同层次属性值之间的关系。本发明基于概念层次树的归纳方法以及多数据源信息的融合处理思想，提供一种农药残留侦测数据融合处理方法，采用本方法对农残数据元组进行归纳处理。本发明通过属性关系映射及层次化分类过程，首先，将一个属性的较具体的值由该属性的概念树中的父概念代替，对相同元组进行合并，构成更宏观的元组；然后，根据合并得到的宏元组规模或实际分析需要，决定是否继续采用该属性的概念树中的父概念替代对应值或根据另一个属性进行概念树提升，最终得到一个覆盖面更广、更有价值的归纳后的宏元组。

本发明的技术方案如下：

一种基于概念层次树的农药残留侦测数据的融合处理方法，通过采用数据属性关系映射及层次化分类方法，包括数据格式转换及补充(包括农药、地域等信息)、构建概念层次树、农药衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL(Maximum ResidueLimit，最大农药残留限量)标准进行污染等级判定等过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备、可靠的分析数据集，可用于进一步统计分析；如图1所示，具体包括如下步骤：

A.针对农残侦测原始数据，执行数据类型及格式转换和信息补充，将原始数据集与数据库中的属性建立对应，得到待处理数据集；

B.根据A所得的待处理数据集及各国的MRL标准数据，结合领域知识构建概念层次树；

本发明具体实施时，概念层次树包括衍生物概念树、农产品分类概念树、农残污染程度概念树和采样点地区概念树；

C.根据B中概念层次树，进行农药衍生物及禁药业务逻辑判断及处理；

D.根据B中概念层次树判断待处理数据集中的数据元组中农产品的类别归属和所在层次，参照不同国家或地区的MRL评判标准逐级执行污染等级判定；

E.系统自动生成最终的判定结果记录，并将其存入侦测结果数据库；

F.如若数据文件中有多条记录，则重复上述C至E步骤，直至所有记录处理完成，形成可靠的分析数据集。

其中，步骤A所述操作包括的步骤具体为：

A1.制定统一的属性规范，根据业务分析需求和数据字段特征，执行数据类型及格式转换，将检测单位上传的原始数据转换为基础数据库对应的字段列表；

本发明在具体实施中建立的基础数据库包括农产品信息数据库、农药信息数据库、MRL数据库和地域信息数据库。

A2.建立不同数据源维表间的属性映射关系，保证属性描述的一致性；

A3.针对原始数据对应属性进行信息扩充(主要针对地域和农药信息)。也即，根据分析需要，针对样品类别、地域信息、农药信息、MRL信息及采样时间进行完整性判定、完善和补充。验证数据文件中的农产品、农药基本信息格式及内容是否正确，如果不正确则给予修正提示；如若正确，则系统自动综合基础数据库中表进行数据融合和扩充。

进一步地，步骤B所述操作包括的处理步骤具体为：

B1.根据A中处理所得的结果数据集、农药性质及各国的MRL标准数据，结合专家领域知识构建农药衍生物、农产品分类和农残污染程度概念层次树(不同国家有所不同)。

取＜表示“一般一特殊”的关系，则概念层次(偏序集)表示为H＝(h，＜)，其中h是一个有限的概念集，＜是h上的一个偏序，且该概念层次是规则的(即满足：在h中存在一最大概念y，对任意x∈h有x＜y；存在概念集h_i(i＝0,1,…n-1)使得

且

若h_i中一个概念的父结点在h_j中，则h_i中所有概念的父结点都在h_j中(i≠j))，则衍生物、农产品分类和农残污染程度概念树可分别表示为H₁、H₂(不同国家有所不同，此处统一以H₂表示)和H₃；

B2.根据A中处理所得的数据集及国家区域规划标准数据，构建采样点地区概念树H₄；

步骤C所述操作包括的步骤具体为：

C1.逐一判断A数据集中元组的农药是否为衍生物，如果不是，则不对该元组做特殊处理，而如果为衍生物，则根据B中H₁构造，将农药子结点h_i对应检测结果值v(h_i)进行累加合并处理，来代替其父结点值v(h_j)，也即v(h_j)＝∑v(h_i)，其中h_i＜h_j；并将累加合并后浓缩汇总的对应元组的结点名称用父结点名称做统一关联代替，从而符合实际分析需要，为后续污染判定与分析提供依据，并缩小元组总体规模；

C2.根据各国家(地区)的违禁药品规定及A中元组的农药性质建立禁药维表；

C3.根据C2所得维表判断数据记录中的农药是否为禁药，如若是，则直接针对该记录进行业务标记及污染定级(污染严重，例如“1级污染”)；

而步骤D所述操作包括的步骤具体为：

D1.根据B中农产品分类概念层次树H₂判断A中数据记录的农产品类别归属和所处层次，执行MRL查询。如若查询不到对应农产品的MRL，则根据层次树H₂逐层查询其父级或祖先农产品对应的MRL标准，作为下一步的判定标准；

D2.根据B中采样点地区概念树H₄判断A中数据及MRL的国家或地区归属，针对不同国家或地区的特殊要求，查询对应MRL标准具体限量值，并针对具体国家执行具体地特殊判定处理。如若可成功查询到与农产品、地区所对应的具体MRL参照值，则执行步骤D3；

D3.根据B中污染程度概念层次树H₃将A中数据元组的检出含量同不同国家或地区的MRL评判标准(Maximum Residue Limit，最大农药残留限量)进行值的量化比较，通过比较大小得到污染等级，从而完成自动污染等级判定，减弱原有判定方式的复杂性。

本发明实施例提供一种农药残留侦测数据融合处理系统，该数据融合处理系统实现上述农药残留侦测数据融合处理方法，系统包括数据获取和管理模块、用户管理模块；还包括数据融合处理模块、MRL查询与污染判定模块；具体地：

一、数据获取和管理模块，包括农药残留数据的上传、查询、下载以及数据删除子模块。数据上传模块用于提供数据上传通道，进而获取农药残留侦测原始数据；而数据查询、下载及删除则可以对上传后的数据进行针对性的查询、下载及删除。

二、数据融合处理模块，用于针对原始数据执行信息融合处理及补充(主要针对样品类别、地域信息、农药信息、MRL信息及采样时间进行数据格式转换及扩充处理)，并对农药衍生物或禁药进行相关处理，为后续侦测数据的判定与分析提供依据；

三、MRL查询与污染判定模块，用于根据农产品分类、MRL的国家和地区归属以及MRL(Maximum Residue Limit，最大农药残留限量)针对检测结果集执行污染等级对比判定，并将最终判定结果存入侦测结果数据库中；

四、用户管理模块，用于支持检测部门相关业务人员针对系统用户及用户信息的增加、删除、修改和查询的管理操作。此外所涉及到的用户功能权限主要包括针对不同角色(超级管理员及普通用户)用户的权限设定。

与现有技术相比，本发明的有益效果是：上述农药残留侦测数据融合处理方法与系统，通过基于概念层次树的数据融合处理方法实现了针对多个信息源(全国各省份的农残侦测数据源、农药衍生物关系数据、国家MRL及区域规划标准数据源等)的数据融合处理；并根据各国、各组织的MRL值，通过执行相应计算及对比操作，实现自动、快速、精准地污染等级判定，得出最终判定结果，从而有效地帮助我国各食品安全检测单位提高信息采集与综合处理的效率，为后续进一步的统计分析做好准备。

附图说明

图1为本发明实施例中农药残留侦测数据融合处理方法的流程示意图。

图2a)和2b)分别为两个典型的概念层次树示例，图中字母均表示概念，直线均表示概念间的偏序关系。

图3a)、3b)、3c)和3d)分别为本发明实施例中农药衍生物、农产品(以水果为例)分类、农残污染程度及采样点地区概念层次树结构图。

图4为本发明实施例中的衍生物合并处理具体流程图。

图5为本发明实施例中的禁药处理具体流程图。

图6为本发明实施例中的污染等级判定具体流程图。

具体实施方式

下文将结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于概念层次树的农药残留侦测数据的融合处理方法及其系统，通过数据格式转换及补充(包括农药、地域等信息)、农药衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL标准进行污染等级判定等过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备、可靠的分析数据集，可用于进一步统计分析。

图1为本发明实施例中农药残留侦测数据融合处理方法的总体流程示意图，图2为两个典型的概念层次树示例，图中字母表示概念，直线表示概念间的偏序关系。在本实施例中使用本发明的前提条件为：已获取源于全国各省份的农残侦测原始数据，其关键字段包括样品名称及编号、采样时间及地区、采样点具体地址、检测项目编号及名称、检测方法及检测结果等。

如图1所示，本实施例包括以下步骤：

A.获取农残侦测原始数据，并执行数据格式转换和信息补充，得到待处理数据集；

A1.制定统一的属性规范，根据业务分析需求和数据字段特征，执行数据类型及格式转换，将检测单位上传的原始数据转换为基础数据库对应的字段列表；

具体地，根据侦测数据的特征和业务分析需求，针对多源信息进行格式转换、验证并存储至基础数据库。验证数据文件中的农产品、农药基本信息是否正确，如果不正确则提示修改，例如，检查农产品的名称及分类是否存在、正确；检查农药名称和CAS号是否存在、正确及对应；检查地域信息是否有误，若有错误则返回相应信息；

其中，本实施例中农药残留侦测数据融合处理系统中包括4个基础数据库(农产品信息数据库、农药信息数据库、MRL数据库以及地域信息数据库)和1个侦测结果数据库，以为侦测数据的判定与分析提供依据。目前基础数据库涉及中国、日本、欧盟、CAC、香港和美国六个国家/地区的基础数据信息。而1个侦测结果数据库则用于对侦测结果(处理得到的分析数据集)进行存储和管理。

A2.建立不同数据源维表间的属性映射关系，保证属性描述的一致性，例如建立同义词映射关系表，统一对同一事物(此处主要指农产品)的表示；

A3.根据分析需要，针对样品类别、地域信息、农药信息、MRL信息及采样时间进行完整性判定、完善和补充。验证数据文件中的农产品、农药基本信息格式及内容是否正确，如果不正确则给予修正提示；如若正确，则系统自动综合数据库中其他基础表来进行信息补充，进行数据扩充。

B.根据A中处理所得的数据集及各国的MRL标准数据，结合领域知识构建概念层次树；

B1.根据A中处理所得的结果数据集、农药性质及各国的MRL标准数据，结合专家领域知识构建农药衍生物和农产品分类概念层次树(不同国家有所不同)，如图3(a)和3(b)所示。

设概念层次(偏序集)表示为H＝(h，＜)，其中h是一个有限的概念集，＜是h上的一个偏序，表示“一般一特殊”的关系(例如：槐荫区＜山东＜中国)，且该概念层次是规则的(即满足：在h中存在一最大概念y，对任意x∈h有x＜y；存在概念集h_i(i＝0,1,…n-1)使得

且

若h_i中一个概念的父结点在h_j中，则h_i中所有概念的父结点都在h_j中(i≠j))，则衍生物和农产品分类概念树可分别表示为H₁、H₂(不同国家有所不同，此处统一以H₂表示)和H₃(图3(c))；

B2.根据A中处理所得的数据集及国家区域规划标准数据，构建采样点地区概念树H₄，如图3(d)所示；

C.根据B中概念层次树，进行农药衍生物及禁药业务逻辑判断及处理，如图4和5所示；

C1.逐一判断A数据集中元组的农药是否为衍生物，如果是，则根据B中H₁构造，将农药子结点h_i对应检测结果值v(h_i)进行累加合并处理，来代替其父结点值v(h_j)，也即v(h_j)＝∑v(h_i)，其中h_i＜h_j；并将浓缩汇总后的对应元组的结点名称用父结点名称做统一关联代替，从而符合实际分析需要，为后续污染判定与分析提供依据，并缩小元组总体规模；

C2.根据各国家(地区)的违禁药品规定及A中元组的农药性质建立禁药维表；

C3.根据C2所得维表判断数据记录中的农药是否为禁药，如若是，则直接针对该记录进行业务标记及污染定级(污染严重)，定级为“1级污染”；

而步骤D所述操作包括的步骤具体为：

D1.根据B中农产品分类概念层次树H₂判断A中数据记录的农产品类别归属和所处层次，执行MRL查询。如若查询不到对应农产品的MRL，则根据层次树H₂逐层查询其父级或祖先农产品对应的MRL标准，作为下一步的判定标准；

D2.根据B中采样点地区概念树H₄判断A中数据及MRL的国家或地区归属，针对不同国家或地区的特殊要求，查询对应MRL标准具体限量值，并针对具体国家执行具体地特殊判定处理。

在根据日本的MRL标准进行判定时，如若找不到对应农产品的MRL限量值，则默认MRL为0.001mg/kg；其他情况下，如果仍查询不到对应的MRL值，则统一返回“无MRL”值，判定结果取为“待定”；否则，若可成功查询到与农产品、地区所对应的具体MRL参照值，则执行步骤D3；

D3.根据B中污染程度概念层次树H₃将A中数据元组的检出含量同不同国家或地区的MRL评判标准(Maximum Residue Limit，最大农药残留限量)进行值的量化比较，完成自动污染等级判定，减弱原有判定方式的复杂性。如果该农产品中未检出农药，则判定结果为“未检出”；如果检出含量<0.1MRL，判定结果为“3级污染”；如果0.1MRL＝<检出含量<1MRL，则判定结果为“2级污染”；如果检出含量>＝1MRL，则判定结果为“1级污染”，如图3(c)和图6所示。

E.系统自动生成最终的判定结果记录，并将其存入结果数据库。

F.如若A中存在多条记录待处理，则重复上述C至E步骤，直至所有记录处理完成。

本实施例中最终判定结果表(现涉及中国、日本等6个国家)中的关键字段包括：样品编号及名称、样品类别(国家名称)，采用时间及地区，采样点具体地址，检测项目编号及名称，检测方法及检测结果(国家名称)。其中，根据不同国家的MRL不同，样品类别定义及超标判定结果(“合格(2、3级污染)”、“不合格(1级污染)”或“待定”)有所不同。

上述数据融合处理系统能够实现本技术方案所述方法，完成数据获取和管理、数据融合处理及补充、污染等级判定等功能。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种农药残留侦测数据的融合处理方法，所述融合处理方法基于概念层次树进行数据属性关系映射及数据层次化分类，包括通过数据格式转换及补充过程、农药衍生物及禁药信息处理过程、农产品类别归属判定过程和污染等级判定过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备可靠的分析数据集，可用于进一步统计分析；具体包括如下步骤：

A.针对农残侦测原始数据，执行数据类型及格式的转换和信息补充，得到待处理数据集；

B.根据A所得的待处理数据集、最大农药残留限量MRL标准数据和领域知识，构建生成农药残留侦测数据的概念层次树，包括农药衍生物概念层次树H₁、农产品分类概念层次树H₂、农残污染程度概念层次树H₃和采样点地区概念树H₄；

构建概念层次树具体为：

B1.设定＜表示“一般一特殊”的关系，将概念层次偏序集表示为H＝(h，＜)，其中h是一个有限的概念集，＜是h上的一个偏序，且该概念层次满足：在h中存在一最大概念y，对任意x∈h有x＜y；存在概念集h_i，i＝0,1,…n-1，使得

且

当h_i中一个概念的父结点在h_j中时，h_i中所有概念的父结点都在h_j中，i≠j；由此将农药衍生物概念层次树、农产品分类概念层次树和农残污染程度概念层次树分别表示为H₁、H₂和H₃；

B2.再根据国家区域规划标准数据，构建采样点地区概念树H₄；

C.根据B中概念层次树，对农药进行衍生物及禁药业务的逻辑判断及处理；

D.根据B中概念层次树，判断待处理数据集中的数据元组对应的农产品的类别归属和所在层次，参照MRL评判标准，逐级进行污染等级判定；

E.生成最终的污染等级判定结果记录，将其存入侦测结果数据库；

F.如若数据文件中有多条记录，则重复上述步骤C至E，直至所有记录处理完成，形成可靠的分析数据集。

2.如权利要求1所述方法，其特征是，步骤A具体为：

A1.制定统一的属性规范，根据业务分析需求和数据字段特征，执行数据类型及格式转换，将原始检测数据转换为基础数据库对应的字段列表；

A2.建立不同数据源维表间的属性映射关系，保证属性描述的一致性；

A3.针对原始检测数据对应属性进行信息扩充。

3.如权利要求2所述方法，其特征是，A1所述基础数据库包括农产品信息数据库、农药信息数据库、MRL数据库和地域信息数据库。

4.如权利要求2所述方法，其特征是，A3所述信息扩充具体为：针对样品类别、地域信息、农药信息、MRL信息和采样时间进行完整性判定、完善和补充；包括验证数据文件中的农产品和农药的基本信息是否正确，如果不正确则给予修正提示；如正确，则结合基础数据库中的信息进行数据融合和扩充。

5.如权利要求1所述方法，其特征是，步骤C中，当A所述待处理数据集中的数据元组对应的农药为衍生物或异构体时，根据步骤B中H₁的构造，所述农药对应H₁中的农药子结点h_i，将所述农药子结点h_i对应检测结果值v(h_i)进行累加合并，代替其父结点值v(h_j)，记为：v(h_j)＝∑v(h_i)，其中h_i＜h_j；得到浓缩汇总后的对应元组的结点；并由此缩小元组总体规模。

6.如权利要求1所述方法，其特征是，步骤C还包括建立禁药维表；根据所述禁药维表判断所述待处理数据集中的数据元组对应的农药是否为禁药；当所述农药为禁药时，对所述农药记录进行污染定级标记。

7.如权利要求1所述方法，其特征是，步骤D包括的步骤具体为：

D1.根据B中农产品分类概念层次树H₂判断A中所述待处理数据集的记录对应的农产品类别归属和所处层次，查询相应的MRL；当查询不到农产品对应的MRL时，根据农产品分类概念层次树H₂逐层查询得到其父级或祖先农产品对应的MRL标准，作为下一步的判定标准；

D2.根据B中采样点地区概念树H₄，判断A中所述待处理数据集的记录及MRL的国家或地区归属，针对不同国家或地区的特殊要求，查询对应MRL标准具体限量值；当成功查询到与农产品、地区所对应的具体MRL参照值时，执行步骤D3；

D3.根据B中农残污染程度概念层次树H₃，将A中数据元组的检出含量同不同国家或地区的MRL评判标准限量值进行值的量化比较，完成自动污染等级判定。

8.一种实现权利要求1～7任一项所述方法的农药残留侦测数据的融合处理系统，包括数据获取和管理模块、用户管理模块；还包括数据融合处理模块、MRL查询与污染判定模块；

所述数据获取和管理模块，用于上传、查询、下载及删除农药残留侦测原始数据；

所述数据融合处理模块，用于针对所述农药残留侦测原始数据的样品类别、地域信息、农药信息、MRL信息及采样时间进行数据格式转换及扩充处理，构建生成农药残留侦测数据的概念层次树，并对农药衍生物或禁药进行处理，用于进一步判定侦测数据的污染等级；

所述MRL查询与污染判定模块，用于根据农产品分类、MRL的国家和地区归属以及MRL针对检测结果集执行污染等级进行对比判定，并将最终判定结果存入结果表中。

9.如权利要求8所述融合处理系统，其特征是，所述系统包括基础数据库和侦测结果数据库；所述基础数据库包括农产品信息数据库、农药信息数据库、MRL数据库和地域信息数据库。

Images