CN112733139A - 通过大数据网络进行农业数据安全清洗的工作方法 - Google Patents

通过大数据网络进行农业数据安全清洗的工作方法 Download PDF

Info

Publication number
CN112733139A
CN112733139A CN202011569742.8A CN202011569742A CN112733139A CN 112733139 A CN112733139 A CN 112733139A CN 202011569742 A CN202011569742 A CN 202011569742A CN 112733139 A CN112733139 A CN 112733139A
Authority
CN
China
Prior art keywords
data
behavior
safety
agricultural
agricultural data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011569742.8A
Other languages
English (en)
Inventor
杨琴
师铭
姚平波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yangcheng Big Data Technology Co ltd
Original Assignee
Chongqing Yangcheng Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yangcheng Big Data Technology Co ltd filed Critical Chongqing Yangcheng Big Data Technology Co ltd
Priority to CN202011569742.8A priority Critical patent/CN112733139A/zh
Publication of CN112733139A publication Critical patent/CN112733139A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Virology (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种通过大数据网络进行农业数据安全清洗的工作方法，包括：S1，从IoT物联网中的云端服务器选取农业数据安全行为数据作为目标数据进行安全行为感知，得到所述目标数据的安全行为状态数据，按照防护需求选取所述目标数据的安全行为状态数据；S2，设置云端服务器农业数据安全行为状态标记的格式；S3，对农业数据安全行为标记进行筛选过程中，建立安全行为期望函数，并通过设置权重函数对农业数据安全行为标记进行概率度量，从而评价农业数据安全行为标记的预期目标并形成决策模型，上传至云端服务器进行数据同步，并分发至上位机服务器集群。

Description

通过大数据网络进行农业数据安全清洗的工作方法
技术领域
本发明涉及IoT物联网数据安全领域，尤其涉及一种通过大数据网络进行农业数据安全清洗的工作方法。
背景技术
当今社会信息化程度逐渐提高，需要大数据分析进行技术支持，每个网关节点都需要数据的上传和下载，这些数据在传输过程中其云端服务器分发数据并进行安全行为分析，安全行为交互是以数据为载体，对于大数据网络环境下的农业数据进行安全操作过程中，其大数据网络筛选分析的操作行为对于整个网络安全至关重要，这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种通过大数据网络进行农业数据安全清洗的工作方法。
为了实现本发明的上述目的，本发明提供了一种通过大数据网络进行农业数据安全清洗的工作方法，包括：
S1，从IoT物联网中的云端服务器选取农业数据安全行为数据作为目标数据进行安全行为感知，得到所述目标数据的安全行为状态数据，按照防护需求选取所述目标数据的安全行为状态数据；
S2，设置云端服务器农业数据安全行为状态标记的格式，生成云端服务器农业数据安全行为状态标记，将所述云端服务器农业数据安全行为状态标记分别存入本地服务器上位机服务器集群与本地服务器集群；
S3，对农业数据安全行为标记进行筛选过程中，建立安全行为期望函数，并通过设置权重函数对农业数据安全行为标记进行概率度量，从而评价农业数据安全行为标记的预期目标并形成决策模型，上传至云端服务器进行数据同步，并分发至上位机服务器集群。
优选的，所述S1包括：
S1-1，对所述安全行为状态数据进行分析评估，生成分析评估结果；依据所述分析评估结果匹配安全防护策略，并依据所述安全防护策略执行至少一个安全管控方法对所述安全行为状态数据进行安全管控，确定对应的安全管控结果；依据所述安全管控结果重新对所述安全行为状态数据进行逐层筛查，得到所述安全行为状态数据的安全状态，开始对所述安全行为状态数据进行安全行为数据采集，生成对应的安全行为数据特征集，所述特征集包括属性特征；对所述特征集的属性特征进行颗粒化筛选，生成对应的颗粒集包括所述安全行为状态数据对应的特定安全行为数据颗粒；安全行为数据颗粒包括：IoT物联网云端服务器遭遇恶意攻击，与云端服务器进行数据交互的上位机服务器集群发生宕机或者恶意攻击，本地服务器集群发生宕机或者恶意攻击。
优选的，所述S1还包括：
S1-2，结合云端服务器获取的农业数据安全行为状态数据的安全行为数据特征集{B1,B2,…,BA}，和云端服务器的颗粒集{C1,C2,…,CA}，构造云端服务器的行为状态矩阵{D1,D2,…,DA}；
初始化农业数据的安全行为状态数据相关参数；对农业数据安全行为状态属性b对应的云端服务器的行为状态矩阵Db，关于其对应的云端服务器的行为状态矩阵Db和行为获取时间特征矩阵Eb，构造安全行为训练函数Fb；
通过判断提取农业数据安全行为状态数据迭代控制变量g所达到的迭代上限为G；
将安全行为训练函数Fb对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db收敛；同时对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db对安全行为训练函数Fb进行迭代优化；判断所处理完成的全部云端服务器的农业数据安全行为状态属性。
优选的，所述S1包括：
S1-3，依据特定安全行为数据颗粒对所述安全行为状态数据跟踪监测，确定所述安全行为状态数据的安全行为状态；对所述目标数据进行数据标识，得到所述目标数据的标记信息；所述标记信息包括数据标签、数据日志和自定义的方式；
S1-4，对安全行为状态的安全行为训练函数Fa进行计算，
Figure BDA0002862413950000031
其中
Figure BDA0002862413950000032
为欧式距离的平方，通过欧式距离计算农业数据安全行为状态属性b对应的云端服务器的颗粒矩阵Cb与收敛阈值μ的乘积，和云端服务器的行为状态矩阵Db与行为获取时间特征矩阵Eb的转置乘积之间的差异，进行优化处理，缩小差异化；
对Fa进行优化迭代，
Figure BDA0002862413950000033
Figure BDA0002862413950000034
Figure BDA0002862413950000035
其中Db(c,g)表示矩阵Db的第c行，第g列个控制变量元素；Eb(t,g)表示行为获取时间特征矩阵Ea的第t行的时间元素，第g列个控制变量元素；
Figure BDA0002862413950000036
表示云端服务器的行为状态矩阵Db的转置；
Figure BDA0002862413950000037
表示行为获取时间特征矩阵Eb的转置；
Figure BDA0002862413950000038
表示云端服务器的颗粒矩阵Cb的转置；Cb(m,g)表示云端服务器的颗粒矩阵Cb的第m行，第g列个控制变量元素；从而判断全部云端服务器中农业数据安全行为状态属性。
优选的，所述S2包括：
S2-1，在上位机服务器集群启动时将农业数据安全行为状态标记的上位机服务器集群数据加载到内存，并在上位机服务器集群运行过程中将农业数据安全行为状态标记数据进行实时更新，同时将存储的上位机服务器集群中农业数据安全行为状态标记数据更新在云端服务器的数据库中；
设置农业数据安全行为状态标记数据收集格式标签Label，将农业数据身份信息，以及农业数据安全行为分类信息、农业数据安全行为目标和农业数据安全行为策略，农业数据身份信息为标记标识符：用于标识农业数据安全行为标记数据；
农业数据安全行为策略用于标识农业数据安全行为标记相关的安全策略；并且调整农业数据安全行为分类信息敏感程度，标记安全行为等级的取值设置为整数；对农业数据安全行为细化的敏感行为程度，并指定农业数据安全行为对应的安全策略；调用同一种农业数据安全属性相关信息的多个安全行为标签组成目标标签组TagSet。
优选的，所述S2包括：
S2-2，上位机服务器集群中农业数据安全行为标记数据将所述农业数据标记安全行为相关联的数据、通过上位机服务器集群的缓存单元、将上位机服务器集群的工作环境数据与云端服务器的工作环境数据进行备份；本地服务器集群对安全行为标记数据是每个相对应的上位机服务器集群关于农业数据安全行为的备份、以及云端服务器关于农业数据安全行为标记数据的备份；本地服务器集群创建农业数据安全标记，并保证农业数据身份信息的唯一性，并完成农业数据安全行为标记的初始化操作。
优选的，所述S2包括：
S2-3，在上位机服务器集群的每个服务器中创建农业数据安全行为标记数据的标记存储表，所述标记存储表保存农业数据进行安全行为输入时的标记数据，当所述标记存储表中的标记安全行为数据少于一定数量时，向所标记的本地服务器集群申请一定预留空间为农业数据安全行为标记作为存储区，以保证标记存储表中的标记数据满足上位机服务器集群的标记创建要求，其中每个上位机服务器集群的所述标记存储表存储在上位机服务器集群中，动态运行时加载到上位机服务器集群的缓存中，并实时更新上位机服务器集群的农业数据安全行为数据库，在接收到创建新的农业数据安全行为标记的请求后，从所述标记存储表中取出从本地服务器集群预留空间的农业数据安全行为标记数据，然后创建农业数据安全行为标记并作为存储结果返回至本地服务器集群，同时将新录入的农业数据安全行为标记数据的创建信息同步到上位机服务器集群和本地服务器集群。
优选的，所述S2还包括：
S2-4，进行农业数据安全行为标记创建操作，创建操作包括：进行农业数据安全行为标记记录，以标记标识符检索农业数据安全行为标记记录发现是否存在重复安全行为标记，如果存在重复安全行为标记，则删除历史安全行为标记记录，不将新的农业数据安全行为标记进行录入，保留历史安全行为标记记录，如果不存在重复安全行为标记，将新的农业数据安全行为标记进行录入，对农业数据安全行为数据进行修改操作，如果农业数据安全行为数据中产生更新的安全行为数据，判断更新的安全行为修改标记是否具备完整的修改标签、如果具备完整的修改标签则修改安全行为标记关联数据、修改上位机服务器集群工作环境数据并同时更新云端服务器工作环境数据；对农业数据安全行为数据进行删除操作时，首先删除农业数据安全行为标记，同时删除上位机服务器集群工作环境数据和云端服务器工作环境数据。
优选的，所述S3包括：
S3-1，在农业数据安全行为标记进行筛选时，由于执行安全行为的外部环境差异会产生不同的预期期望，现在假设安全行为差异忽略不计，建立安全行为期望函数，
Figure BDA0002862413950000061
Δdi为农业数据安全行为标记di的结果限定值，n为正整数，用于对安全行为标记进行累加计数，label(Δdi)为设定标签标记的农业数据安全行为获取参数值，从而乘以联合概率分布P(di|xi)，xi为安全行为标记的实例，μ为收敛阈值，Pi(di)为安全行为标记di的隐含变量，通过安全行为调节系数α完成农业数据安全行为标记di的结果限定值
Figure BDA0002862413950000064
的定义；
S3-2，农业数据安全行为标记形成行为决策的权重函数，对于云端服务器中调用预期安全行为标记结果的概率度量，需要预期安全行为标记结果对于农业数据安全行为标记发送行为变化的影响；根据安全行为标记实例设计农业数据安全行为标记权重函数为：
Figure BDA0002862413950000062
其中，；h作为进行安全行为获取的难易度的度量值通过β拟合函数对农业数据安全行为标记，安全行为标记的结果发生概率W受到农业数据安全行为期望函数的约束，0＜h＜1，通过行为判断结果函数yk实现安全行为标记实例xi进行行为稳定度判断的条件，所设计的安全行为标记权重函数X(h)获取农业数据安全行为标记的稳定数据。
优选的，所述S3包括：
S3-3，农业数据安全行为标记决策模型表达方式如下：
Figure BDA0002862413950000063
其中，si表示安全行为标记的实际结果；L(si)为实际安全行为标记结果的判断函数，i表示发生安全行为标记的数量；V(xi)表示安全行为标记发生的概率；X(h)是权重函数，与安全行为标记发生的概率进行权重判断；通过价值函数λ对安全行为标记结果偏离参照点的距离进行评价，从而向云端服务器发送农业数据安全行为标记的决策值，对农业数据安全行为标记价值决策判断。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
能够通过云端服务器和本地服务器的数据调用过程，对IoT物联网中农业数据的安全行为进行数据分析，将安全行为分析结果通过用户调用指令进行数据分发，并能够对安全行为进行识别操作，聚类之后形成高准确度的安全行为数据，并传送至云端服务器。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明总体示意图；
图2是本发明具体实施示意图；
图3是本发明具体实施获取指令示意图；
图4是本发明工作流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1至4所示，本发明公开一种通过大数据网络进行农业数据安全清洗的工作方法，包括如下步骤：
如图1所示，用户通过无线网络向云端服务器发送工作指令，通过在本地服务器中获取IoT物联网农业数据工作数据，进行IoT物联网数据采集，分类和优化提取，并针对异常IoT物联网的使用行为进行数据收敛，将收敛之后的数据存入虚拟服务器中，供用户进行实时调用，
由于传统云端服务器将数据分发或者收集过程中，每个本地服务器都是单独和云端服务器进行数据交互，这在交互过程中会存在黑墙(black wall)效应，即平行的两个本地服务器交互的数据会因为网络数据攻击之后，造成数据篡改，篡改的数据在云端服务器无法识别其真实性，并且也无法查看相应的本地服务器组的原始数据。
为了防止这种数据篡改造成的问题，如图2和3所示，在每个AP站点设置本地服务器组，所述本地服务器组包括上位机服务器集群和本地服务器集群，其中一个AP，即AP1的上位机服务器集群能够获取另一个AP，即AP2的本地服务器集群的原始数据以及AP3的本地服务器集群的原始数据，然后通过AP1中的上位机服务器集群与云端服务器进行数据交互，同时AP2的上位机服务器集群也与云端服务器进行数据交互，从而能够进行数据验证，对农业数据的行为进行分析，判断安全性。
S1，从IoT物联网中的云端服务器选取农业数据安全行为数据作为目标数据进行安全行为感知，得到所述目标数据的安全行为状态数据，按照防护需求选取所述目标数据的安全行为状态数据；
S1-1，对所述安全行为状态数据进行分析评估，生成分析评估结果；依据所述分析评估结果匹配安全防护策略，并依据所述安全防护策略执行至少一个安全管控方法对所述安全行为状态数据进行安全管控，确定对应的安全管控结果；依据所述安全管控结果重新对所述安全行为状态数据进行逐层筛查，得到所述安全行为状态数据的安全状态，开始对所述安全行为状态数据进行安全行为数据采集，生成对应的安全行为数据特征集，所述特征集包括属性特征；对所述特征集的属性特征进行颗粒化筛选，生成对应的颗粒集包括所述安全行为状态数据对应的特定安全行为数据颗粒；安全行为数据颗粒包括：IoT物联网云端服务器遭遇恶意攻击，与云端服务器进行数据交互的上位机服务器集群发生宕机或者恶意攻击，本地服务器集群发生宕机或者恶意攻击；
S1-2，结合云端服务器获取的农业数据安全行为状态数据的安全行为数据特征集{B1,B2,…,BA}，和云端服务器的颗粒集{C1,C2,…,CA}，构造云端服务器的行为状态矩阵{D1,D2,…,DA}；
初始化农业数据的安全行为状态数据相关参数；对农业数据安全行为状态属性b对应的云端服务器的行为状态矩阵Db，关于其对应的云端服务器的行为状态矩阵Db和行为获取时间特征矩阵Eb，构造安全行为训练函数Fb；
通过判断提取农业数据安全行为状态数据迭代控制变量g所达到的迭代上限为G；
将安全行为训练函数Fb对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db收敛；同时对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db对安全行为训练函数Fb进行迭代优化；判断所处理完成的全部云端服务器的农业数据安全行为状态属性；
S1-3，依据特定安全行为数据颗粒对所述安全行为状态数据跟踪监测，确定所述安全行为状态数据的安全行为状态；对所述目标数据进行数据标识，得到所述目标数据的标记信息；所述标记信息包括数据标签、数据日志和自定义的方式；
S1-4，对安全行为状态的安全行为训练函数Fa进行计算，
Figure BDA0002862413950000091
其中
Figure BDA0002862413950000092
为欧式距离的平方，通过欧式距离计算农业数据安全行为状态属性b对应的云端服务器的颗粒矩阵Cb与收敛阈值μ的乘积，和云端服务器的行为状态矩阵Db与行为获取时间特征矩阵Eb的转置乘积之间的差异，进行优化处理，缩小差异化；
对Fa进行优化迭代，
Figure BDA0002862413950000101
Figure BDA0002862413950000102
Figure BDA0002862413950000103
其中Db(c,g)表示矩阵Db的第c行，第g列个控制变量元素；Eb(t,g)表示行为获取时间特征矩阵Ea的第t行的时间元素，第g列个控制变量元素；
Figure BDA0002862413950000104
表示云端服务器的行为状态矩阵Db的转置；
Figure BDA0002862413950000105
表示行为获取时间特征矩阵Eb的转置；
Figure BDA0002862413950000106
表示云端服务器的颗粒矩阵Cb的转置；Cb(m,g)表示云端服务器的颗粒矩阵Cb的第m行，第g列个控制变量元素；从而判断全部云端服务器中农业数据安全行为状态属性；
S2，设置云端服务器农业数据安全行为状态标记的格式，生成云端服务器农业数据安全行为状态标记，将所述云端服务器农业数据安全行为状态标记分别存入本地服务器上位机服务器集群与本地服务器集群；
S2-1，在上位机服务器集群启动时将农业数据安全行为状态标记的上位机服务器集群数据加载到内存，并在上位机服务器集群运行过程中将农业数据安全行为状态标记数据进行实时更新，同时将存储的上位机服务器集群中农业数据安全行为状态标记数据更新在云端服务器的数据库中；
设置农业数据安全行为状态标记数据收集格式标签Label，将农业数据身份信息，以及农业数据安全行为分类信息、农业数据安全行为目标和农业数据安全行为策略，农业数据身份信息为标记标识符：用于标识农业数据安全行为标记数据；
农业数据安全行为策略用于标识农业数据安全行为标记相关的安全策略；并且调整农业数据安全行为分类信息敏感程度，标记安全行为等级的取值设置为整数；对农业数据安全行为细化的敏感行为程度，并指定农业数据安全行为对应的安全策略；调用同一种农业数据安全属性相关信息的多个安全行为标签组成目标标签组TagSet；
S2-2，上位机服务器集群中农业数据安全行为标记数据将所述农业数据标记安全行为相关联的数据、通过上位机服务器集群的缓存单元、将上位机服务器集群的工作环境数据与云端服务器的工作环境数据进行备份；本地服务器集群对安全行为标记数据是每个相对应的上位机服务器集群关于农业数据安全行为的备份、以及云端服务器关于农业数据安全行为标记数据的备份；本地服务器集群创建农业数据安全标记，并保证农业数据身份信息的唯一性，并完成农业数据安全行为标记的初始化操作；
S2-3，在上位机服务器集群的每个服务器中创建农业数据安全行为标记数据的标记存储表，所述标记存储表保存农业数据进行安全行为输入时的标记数据，当所述标记存储表中的标记安全行为数据少于一定数量时，向所标记的本地服务器集群申请一定预留空间为农业数据安全行为标记作为存储区，以保证标记存储表中的标记数据满足上位机服务器集群的标记创建要求，其中每个上位机服务器集群的所述标记存储表存储在上位机服务器集群中，动态运行时加载到上位机服务器集群的缓存中，并实时更新上位机服务器集群的农业数据安全行为数据库，在接收到创建新的农业数据安全行为标记的请求后，从所述标记存储表中取出从本地服务器集群预留空间的农业数据安全行为标记数据，然后创建农业数据安全行为标记并作为存储结果返回至本地服务器集群，同时将新录入的农业数据安全行为标记数据的创建信息同步到上位机服务器集群和本地服务器集群；
S2-4，进行农业数据安全行为标记创建操作，创建操作包括：进行农业数据安全行为标记记录，以标记标识符检索农业数据安全行为标记记录发现是否存在重复安全行为标记，如果存在重复安全行为标记，则删除历史安全行为标记记录，不将新的农业数据安全行为标记进行录入，保留历史安全行为标记记录，如果不存在重复安全行为标记，将新的农业数据安全行为标记进行录入，对农业数据安全行为数据进行修改操作，如果农业数据安全行为数据中产生更新的安全行为数据，判断更新的安全行为修改标记是否具备完整的修改标签、如果具备完整的修改标签则修改安全行为标记关联数据、修改上位机服务器集群工作环境数据并同时更新云端服务器工作环境数据；对农业数据安全行为数据进行删除操作时，首先删除农业数据安全行为标记，同时删除上位机服务器集群工作环境数据和云端服务器工作环境数据。
S2-5，农业数据安全行为标记负责保证标记标识符的唯一性，当完成标记的初始化操作后，上位机服务器集群中标记存储表保存一定数量的预申请的标记，当标记存储表中的安全行为标记数据少于一定数量时，在上位机服务器集群构件缓存，以保证标记存储表中的安全行为标记数据满足该上位机服务器集群的标记创建要求；每个上位机服务器集群的标记存储表存储后，动态运行时加载到缓存中，并不断地更新云端服务器，从标记存储表中取出从本地服务器集群预留的安全行为标记，然后创建安全行为标记并作为结果返回，
S2-6，在上位机服务器集群进行安全行为标记过程中，其接收到安全行为标记检索的请求并验证安全行为标记检索请求的合法性指令时，如果安全行为标记检索信息在缓存中已加载，则直接从缓存中检索安全行为标记，并记录为合法检索请求，否则在上位机服务器集群中检索相应的安全行为标记，执行云端服务器代理响应指令，并同时调用本地服务器集群中检索安全行为标记，执行云端服务器代理响应指令；为提高上位机服务器集群执行农业数据安全行为标记检索执行的效率，检索位置的优先顺序为，第一级缓存，第二级上位机服务器集群，第三级本地服务器集群。
S2-7，在上位机服务器集群接收到农业数据安全行为标记修改请求并验证修改请求的合法性时，修改并同步上位机服务器集群和本地服务器集群，对于农业数据安全行为标记，以及标记的安全行为关联数据和缓存数据，执行云端服务器代理响应指令，修改并同步上位机服务器集群和本地服务器集群，在上位机服务器集群的安全行为标记代理接收到删除请求并验证删除请求的合法性之后，删除并同步上位机服务器集群和本地服务器集群，对于安全行为标记，以及标记的安全行为关联数据和缓存数据，执行云端服务器代理响应指令，删除并同步上位机服务器集群和本地服务器集群，如果需要删除云端服务器农业数据安全行为标记数据，则执行上位机服务器集群广播响应，对云端服务器控制的全部上位机服务器集群进行删除指令同步，从而保证删除农业数据安全行为标记数据的一致。
S3，对农业数据安全行为标记进行筛选过程中，建立安全行为期望函数，并通过设置权重函数对农业数据安全行为标记进行概率度量，从而评价农业数据安全行为标记的预期目标并形成决策模型，上传至云端服务器进行数据同步，并分发至上位机服务器集群；
S3-1，在农业数据安全行为标记进行筛选时，由于执行安全行为的外部环境差异会产生不同的预期期望，现在假设安全行为差异忽略不计，建立安全行为期望函数，
Figure BDA0002862413950000131
Δdi为农业数据安全行为标记di的结果限定值，n为正整数，用于对安全行为标记进行累加计数，label(Δdi)为设定标签标记的农业数据安全行为获取参数值，从而乘以联合概率分布P(di|xi)，xi为安全行为标记的实例，μ为收敛阈值，Pi(di)为安全行为标记di的隐含变量，通过安全行为调节系数α完成农业数据安全行为标记di的结果限定值
Figure BDA0002862413950000132
的定义；
S3-2，农业数据安全行为标记形成行为决策的权重函数，对于云端服务器中调用预期安全行为标记结果的概率度量，需要预期安全行为标记结果对于农业数据安全行为标记发送行为变化的影响；根据安全行为标记实例设计农业数据安全行为标记权重函数为：
Figure BDA0002862413950000141
其中，；h作为进行安全行为获取的难易度的度量值通过β拟合函数对农业数据安全行为标记，安全行为标记的结果发生概率W受到农业数据安全行为期望函数的约束，0＜h＜1，通过行为判断结果函数yk实现安全行为标记实例xi进行行为稳定度判断的条件，所设计的安全行为标记权重函数X(h)获取农业数据安全行为标记的稳定数据；
S3-3，农业数据安全行为标记决策模型表达方式如下：
Figure BDA0002862413950000142
其中，si表示安全行为标记的实际结果；L(si)为实际安全行为标记结果的判断函数，i表示发生安全行为标记的数量；V(xi)表示安全行为标记发生的概率；X(h)是权重函数，与安全行为标记发生的概率进行权重判断；通过价值函数λ对安全行为标记结果偏离参照点的距离进行评价，从而向云端服务器发送农业数据安全行为标记的决策值，对农业数据安全行为标记价值决策判断。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，包括：
S1，从IoT物联网中的云端服务器选取农业数据安全行为数据作为目标数据进行安全行为感知，得到所述目标数据的安全行为状态数据，按照防护需求选取所述目标数据的安全行为状态数据；
S2，设置云端服务器农业数据安全行为状态标记的格式，生成云端服务器农业数据安全行为状态标记，将所述云端服务器农业数据安全行为状态标记分别存入本地服务器上位机服务器集群与本地服务器集群；
S3，对农业数据安全行为标记进行筛选过程中，建立安全行为期望函数，并通过设置权重函数对农业数据安全行为标记进行概率度量，从而评价农业数据安全行为标记的预期目标并形成决策模型，上传至云端服务器进行数据同步，并分发至上位机服务器集群。
2.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S1包括：
S1-1，对所述安全行为状态数据进行分析评估，生成分析评估结果；依据所述分析评估结果匹配安全防护策略，并依据所述安全防护策略执行至少一个安全管控方法对所述安全行为状态数据进行安全管控，确定对应的安全管控结果；依据所述安全管控结果重新对所述安全行为状态数据进行逐层筛查，得到所述安全行为状态数据的安全状态，开始对所述安全行为状态数据进行安全行为数据采集，生成对应的安全行为数据特征集，所述特征集包括属性特征；对所述特征集的属性特征进行颗粒化筛选，生成对应的颗粒集包括所述安全行为状态数据对应的特定安全行为数据颗粒；安全行为数据颗粒包括：IoT物联网云端服务器遭遇恶意攻击，与云端服务器进行数据交互的上位机服务器集群发生宕机或者恶意攻击，本地服务器集群发生宕机或者恶意攻击。
3.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S1还包括：
S1-2，结合云端服务器获取的农业数据安全行为状态数据的安全行为数据特征集{B1,B2,…,BA}，和云端服务器的颗粒集{C1,C2,…,CA}，构造云端服务器的行为状态矩阵{D1,D2,…,DA}；
初始化农业数据的安全行为状态数据相关参数；对农业数据安全行为状态属性b对应的云端服务器的行为状态矩阵Db，关于其对应的云端服务器的行为状态矩阵Db和行为获取时间特征矩阵Eb，构造安全行为训练函数Fb；
通过判断提取农业数据安全行为状态数据迭代控制变量g所达到的迭代上限为G；
将安全行为训练函数Fb对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db收敛；同时对行为获取时间特征矩阵Eb和云端服务器的行为状态矩阵Db对安全行为训练函数Fb进行迭代优化；判断所处理完成的全部云端服务器的农业数据安全行为状态属性。
4.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S1包括：
S1-3，依据特定安全行为数据颗粒对所述安全行为状态数据跟踪监测，确定所述安全行为状态数据的安全行为状态；对所述目标数据进行数据标识，得到所述目标数据的标记信息；所述标记信息包括数据标签、数据日志和自定义的方式；
S1-4，对安全行为状态的安全行为训练函数Fa进行计算，
Figure FDA0002862413940000021
其中
Figure FDA0002862413940000022
为欧式距离的平方，通过欧式距离计算农业数据安全行为状态属性b对应的云端服务器的颗粒矩阵Cb与收敛阈值μ的乘积，和云端服务器的行为状态矩阵Db与行为获取时间特征矩阵Eb的转置乘积之间的差异，进行优化处理，缩小差异化；
对Fa进行优化迭代，
Figure FDA0002862413940000031
Figure FDA0002862413940000032
Figure FDA0002862413940000033
其中Db(c,g)表示矩阵Db的第c行，第g列个控制变量元素；Eb(t,g)表示行为获取时间特征矩阵Ea的第t行的时间元素，第g列个控制变量元素；
Figure FDA0002862413940000034
表示云端服务器的行为状态矩阵Db的转置；
Figure FDA0002862413940000035
表示行为获取时间特征矩阵Eb的转置；
Figure FDA0002862413940000036
表示云端服务器的颗粒矩阵Cb的转置；Cb(m,g)表示云端服务器的颗粒矩阵Cb的第m行，第g列个控制变量元素；从而判断全部云端服务器中农业数据安全行为状态属性。
5.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S2包括：
S2-1，在上位机服务器集群启动时将农业数据安全行为状态标记的上位机服务器集群数据加载到内存，并在上位机服务器集群运行过程中将农业数据安全行为状态标记数据进行实时更新，同时将存储的上位机服务器集群中农业数据安全行为状态标记数据更新在云端服务器的数据库中；
设置农业数据安全行为状态标记数据收集格式标签Label，将农业数据身份信息，以及农业数据安全行为分类信息、农业数据安全行为目标和农业数据安全行为策略，农业数据身份信息为标记标识符：用于标识农业数据安全行为标记数据；
农业数据安全行为策略用于标识农业数据安全行为标记相关的安全策略；并且调整农业数据安全行为分类信息敏感程度，标记安全行为等级的取值设置为整数；对农业数据安全行为细化的敏感行为程度，并指定农业数据安全行为对应的安全策略；调用同一种农业数据安全属性相关信息的多个安全行为标签组成目标标签组TagSet。
6.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S2包括：
S2-2，上位机服务器集群中农业数据安全行为标记数据将所述农业数据标记安全行为相关联的数据、通过上位机服务器集群的缓存单元、将上位机服务器集群的工作环境数据与云端服务器的工作环境数据进行备份；本地服务器集群对安全行为标记数据是每个相对应的上位机服务器集群关于农业数据安全行为的备份、以及云端服务器关于农业数据安全行为标记数据的备份；本地服务器集群创建农业数据安全标记，并保证农业数据身份信息的唯一性，并完成农业数据安全行为标记的初始化操作。
7.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S2包括：
S2-3，在上位机服务器集群的每个服务器中创建农业数据安全行为标记数据的标记存储表，所述标记存储表保存农业数据进行安全行为输入时的标记数据，当所述标记存储表中的标记安全行为数据少于一定数量时，向所标记的本地服务器集群申请一定预留空间为农业数据安全行为标记作为存储区，以保证标记存储表中的标记数据满足上位机服务器集群的标记创建要求，其中每个上位机服务器集群的所述标记存储表存储在上位机服务器集群中，动态运行时加载到上位机服务器集群的缓存中，并实时更新上位机服务器集群的农业数据安全行为数据库，在接收到创建新的农业数据安全行为标记的请求后，从所述标记存储表中取出从本地服务器集群预留空间的农业数据安全行为标记数据，然后创建农业数据安全行为标记并作为存储结果返回至本地服务器集群，同时将新录入的农业数据安全行为标记数据的创建信息同步到上位机服务器集群和本地服务器集群。
8.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S2还包括：
S2-4，进行农业数据安全行为标记创建操作，创建操作包括：进行农业数据安全行为标记记录，以标记标识符检索农业数据安全行为标记记录发现是否存在重复安全行为标记，如果存在重复安全行为标记，则删除历史安全行为标记记录，不将新的农业数据安全行为标记进行录入，保留历史安全行为标记记录，如果不存在重复安全行为标记，将新的农业数据安全行为标记进行录入，对农业数据安全行为数据进行修改操作，如果农业数据安全行为数据中产生更新的安全行为数据，判断更新的安全行为修改标记是否具备完整的修改标签、如果具备完整的修改标签则修改安全行为标记关联数据、修改上位机服务器集群工作环境数据并同时更新云端服务器工作环境数据；对农业数据安全行为数据进行删除操作时，首先删除农业数据安全行为标记，同时删除上位机服务器集群工作环境数据和云端服务器工作环境数据。
9.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S3包括：
S3-1，在农业数据安全行为标记进行筛选时，由于执行安全行为的外部环境差异会产生不同的预期期望，现在假设安全行为差异忽略不计，建立安全行为期望函数，
Figure FDA0002862413940000051
Δdi为农业数据安全行为标记di的结果限定值，n为正整数，用于对安全行为标记进行累加计数，label(Δdi)为设定标签标记的农业数据安全行为获取参数值，从而乘以联合概率分布P(di|xi)，xi为安全行为标记的实例，μ为收敛阈值，Pi(di)为安全行为标记di的隐含变量，通过安全行为调节系数α完成农业数据安全行为标记di的结果限定值
Figure FDA0002862413940000061
的定义；
S3-2，农业数据安全行为标记形成行为决策的权重函数，对于云端服务器中调用预期安全行为标记结果的概率度量，需要预期安全行为标记结果对于农业数据安全行为标记发送行为变化的影响；根据安全行为标记实例设计农业数据安全行为标记权重函数为：
Figure FDA0002862413940000062
其中，；h作为进行安全行为获取的难易度的度量值通过β拟合函数对农业数据安全行为标记，安全行为标记的结果发生概率W受到农业数据安全行为期望函数的约束，0＜h＜1，通过行为判断结果函数yk实现安全行为标记实例xi进行行为稳定度判断的条件，所设计的安全行为标记权重函数X(h)获取农业数据安全行为标记的稳定数据。
10.根据权利要求1所述的通过大数据网络进行农业数据安全清洗的工作方法，其特征在于，所述S3包括：
S3-3，农业数据安全行为标记决策模型表达方式如下：
Figure FDA0002862413940000063
其中，si表示安全行为标记的实际结果；L(si)为实际安全行为标记结果的判断函数，i表示发生安全行为标记的数量；V(xi)表示安全行为标记发生的概率；X(h)是权重函数，与安全行为标记发生的概率进行权重判断；通过价值函数λ对安全行为标记结果偏离参照点的距离进行评价，从而向云端服务器发送农业数据安全行为标记的决策值，对农业数据安全行为标记价值决策判断。
CN202011569742.8A 2020-12-26 2020-12-26 通过大数据网络进行农业数据安全清洗的工作方法 Withdrawn CN112733139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011569742.8A CN112733139A (zh) 2020-12-26 2020-12-26 通过大数据网络进行农业数据安全清洗的工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011569742.8A CN112733139A (zh) 2020-12-26 2020-12-26 通过大数据网络进行农业数据安全清洗的工作方法

Publications (1)

Publication Number Publication Date
CN112733139A true CN112733139A (zh) 2021-04-30

Family

ID=75617059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011569742.8A Withdrawn CN112733139A (zh) 2020-12-26 2020-12-26 通过大数据网络进行农业数据安全清洗的工作方法

Country Status (1)

Country Link
CN (1) CN112733139A (zh)

Similar Documents

Publication Publication Date Title
CN113792453B (zh) 基于数字孪生的局部放电监测系统、方法和装置
EP3343869B1 (en) A method for modeling attack patterns in honeypots
CN109934615B (zh) 基于深度稀疏网络的产品营销方法
US11777983B2 (en) Systems and methods for rapidly generating security ratings
US20170214716A1 (en) Violation information management module forming violation information intelligence analysis system
TWI778411B (zh) 學習模型應用系統、學習模型應用方法及程式產品
CN107426148A (zh) 一种基于运行环境特征识别的反爬虫方法及系统
CN114116829A (zh) 异常数据分析方法、异常数据分析系统和存储介质
CN112560111B (zh) 一种适用于物联网的时序数据采集防篡改方法及装置
Hu et al. Source inference attacks: Beyond membership inference attacks in federated learning
Zhang et al. Deficiencies in the simulation of the geographic distribution of climate types by global climate models
CN112733139A (zh) 通过大数据网络进行农业数据安全清洗的工作方法
CN112580028A (zh) 通过分布式计算进行农业信息化数据安全优化方法
CN112738076A (zh) 通过IoT物联网进行三农工作人员安全行为分析方法
CN112711755A (zh) 科技特派员通过云平台进行信息筛选工作方法
CN114124564B (zh) 一种仿冒网站检测方法、装置、电子设备及存储介质
CN115604032A (zh) 一种电力系统复杂多步攻击检测方法及系统
CN115208938A (zh) 用户行为管控方法及装置、计算机可读存储介质
KR102136222B1 (ko) 그래프 데이터 클러스터링 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
JP6906469B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112417281A (zh) 数据分析方法、装置及设备
CN118210658B (zh) 基于人工智能的数据备份方法及系统
CN115796793B (zh) 一种档案数字化转化及管理方法、系统及存储介质
US20220392189A1 (en) Data collection for object detectors
CN115481108A (zh) 一种针对同一数据在不同部门之间的管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210430