CN115952515A - 一种基于大数据的数据安全处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于大数据的数据安全处理方法及装置，包括：响应于采集指令获取采集指令中的数据信息和采集信息，基于采集信息判断本次采集是否合法；当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；将每一条匹配数据分别添加数据头封装成数据报文，并传输所述数据报文；对匹配数据进行验证，当匹配数据验证通过时，将匹配数据存储至目标存储区间。实施例避免不合法采集窃取数据，能够对要采集的数据准确选取，并保障数据的传输安全，避免传输过程中数据丢失，使得传输的数据加上身份认证，接收方可以根据身份认证对数据进行识别和认证，避免接收错误数据，保障传输质量。

Description

一种基于大数据的数据安全处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于大数据的数据安全处理方法及装置。

背景技术

大数据是指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。数据安全处理，顾名思义就是通过采用各种安全防护技术，使数据在采集、存储、检索、加工、变换和传输的过程中不会发生增加、修改、丢失和泄露等问题，确保数据的可用性、完整性和保密性，保障数据的流通安全。

目前，我国的大数据正处于初级阶段，对大数据信息的保护还不完善，随着大数据时代的来临，市场上迫切需要一种有效的保护大数据资产的方法，而传统的数据处理方法多数是采用简单加密的方式进行处理，容易被窃取和篡改，并且对于传输过程的数据质量也不能保证。

发明内容

针对所述缺陷，本发明实施例公开了一种基于大数据的数据安全处理方法及装置，其可以保障需求的数据的传输质量和传输安全。

本发明实施例第一方面公开了一种基于大数据的数据安全处理方法，包括：

响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法；

当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；

将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文；

解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

作为一种可选的实施方式，在本发明实施例第一方面中，所述采集信息包括采集时间、采集指令生成数据，所述采集指令生成数据包括采集发起时间、采集指令审核流程、采集指令发起用户、采集需求；所述基于所述采集信息判断本次采集是否合法，包括：

判断所述采集指令审核流程是否完备，若是，执行下一步，否则定义本次采集不合法；

判断所述采集需求是否符合当前数据采集需求，若是，定义本次采集合法，否则，定义本次采集不合法。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将每一条所述匹配数据分别添加数据头封装成数据报文，包括：

获取数据信息中的报文组成规则，所述报文组成规则包括数据头和数据报文格式；

根据所述数据报文格式对所述匹配数据进行编码得到编码数据，并将所述数据头添加至编码数据的头部形成数据报文。

作为一种可选的实施方式，在本发明实施例第一方面中，所述数据信息中还包含标识符，所述数据报文格式为数据头+采集时间+匹配数据+标识符，所述数据信息中还包含所述标识符。

作为一种可选的实施方式，在本发明实施例第一方面中，所述解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，包括：

检测所述数据报文的组成结构与报文组成规则是否一致；

解析数据报文以分别获取数据报文中的数据头、匹配数据和标识符；

将数据头与预存数据头进行比对，将标识符与预存标识符进行比对，当数据头与预存数据头一致，且标识符与预存标识符一致时，定义验证匹配数据验证通过。

作为一种可选的实施方式，在本发明实施例第一方面中，所述数据报文中，所述匹配数据封装成若干个数据包，每一个数据包均由数据字节+识别码组成；在对匹配数据进行验证之前，还包括：

通过每一个数据包对应的识别码检测报文数据中数据包的排列顺序是否正确；

当所述排列顺序有误时，输出重传指令以重新接收所述数据报文。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述匹配数据存储至目标存储区间，包括：

获取采集数据特征、采集信息以及预设的存储规则选取至少一个存储区间；

当存储区间为多个时，获取每一个存储区间分别对应的传输链路；

分别计算每一条传输链路的节点数量以及每一条传输链路的任务量，基于所述节点数量和任务量选取目标传输链路，并将所述目标传输链路对应的存储区间设定为目标存储区间。

本发明实施例第二方面公开一种基于大数据的数据安全处理装置，其特征在于，包括：

指令响应模块：用于响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法；

数据筛选模块：用于当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；

数据传输模块：用于将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文；

数据存储模块：用于解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

作为一种可选的实施方式，在本发明实施例第二方面中，所述采集信息包括采集时间、采集指令生成数据，所述采集指令生成数据包括采集发起时间、采集指令审核流程、采集指令发起用户、采集需求；所述基于所述采集信息判断本次采集是否合法，包括：

判断所述采集指令审核流程是否完备，若是，执行下一步，否则定义本次采集不合法；

判断所述采集需求是否符合当前数据采集需求，若是，定义本次采集合法，否则，定义本次采集不合法。

作为一种可选的实施方式，在本发明实施例第二方面中，所述将每一条所述匹配数据分别添加数据头封装成数据报文，包括：

获取数据信息中的报文组成规则，所述报文组成规则包括数据头和数据报文格式；

根据所述数据报文格式对所述匹配数据进行编码得到编码数据，并将所述数据头添加至编码数据的头部形成数据报文。

作为一种可选的实施方式，在本发明实施例第二方面中，所述数据信息中还包含标识符，所述数据报文格式为数据头+采集时间+匹配数据+标识符，所述数据信息中还包含所述标识符。

作为一种可选的实施方式，在本发明实施例第二方面中，所述解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，包括：

检测所述数据报文的组成结构与报文组成规则是否一致；

解析数据报文以分别获取数据报文中的数据头、匹配数据和标识符；

将数据头与预存数据头进行比对，将标识符与预存标识符进行比对，当数据头与预存数据头一致，且标识符与预存标识符一致时，定义验证匹配数据验证通过。

作为一种可选的实施方式，在本发明实施例第二方面中，所述数据报文中，所述匹配数据封装成若干个数据包，每一个数据包均由数据字节+识别码组成；在对匹配数据进行验证之前，还包括：

通过每一个数据包对应的识别码检测报文数据中数据包的排列顺序是否正确；

当所述排列顺序有误时，输出重传指令以重新接收所述数据报文。

作为一种可选的实施方式，在本发明实施例第二方面中，所述将所述匹配数据存储至目标存储区间，包括：

获取采集数据特征、采集信息以及预设的存储规则选取至少一个存储区间；

当存储区间为多个时，获取每一个存储区间分别对应的传输链路；

分别计算每一条传输链路的节点数量以及每一条传输链路的任务量，基于所述节点数量和任务量选取目标传输链路，并将所述目标传输链路对应的存储区间设定为目标存储区间。

本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的基于大数据的数据安全处理方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于大数据的数据安全处理方法。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中首先确认数据采集是否合法，也即是确认本次采集是否符合采集要求，避免不合法采集窃取数据，之后根据采集数据特征从大数据中筛选出匹配数据，能够对要采集的数据准确选取，并对匹配数据进行封装，保障数据的传输安全，避免传输过程中数据丢失，使得传输的数据加上身份认证，接收方可以根据身份认证对数据进行识别和认证，避免接收错误数据，保障传输质量，在多个维度对数据进行安全处理。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于大数据的数据安全处理方法的流程示意图；

图2是本发明实施例公开的另一种基于大数据的数据安全处理方法的流程示意图；

图3是本发明实施例公开的另一种基于大数据的数据安全处理方法的流程示意图；

图4是本发明实施例提供的一种基于大数据的数据安全处理装置的结构示意图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于大数据的数据安全处理方法、装置、电子设备及存储介质，实施例中首先确认数据采集是否合法，也即是确认本次采集是否符合采集要求，避免不合法采集窃取数据，之后根据采集数据特征从大数据中筛选出匹配数据，能够对要采集的数据准确选取，并对匹配数据进行封装，保障数据的传输安全，避免传输过程中数据丢失，使得传输的数据加上身份认证，接收方可以根据身份认证对数据进行识别和认证，避免接收错误数据，保障传输质量，在多个维度对数据进行安全处理。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于大数据的数据安全处理方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1所示，该基于大数据的数据安全处理方法包括以下步骤：

101、响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法。

实施例中，可应用与数据处理服务器，与该数据处理服务器项配合的有数据库和存储器，数据处理服务器与数据库和存储器之间通过互联网连接，其中，在数据处理器和存储器之间有多个网关等节点，存储器的数量是多个，可以针对不同的数据进行分类存储。数据库在本实施例中用于容纳大数据，也即是数据处理服务器中根据采集指令从数据库中采集所需要的数据进行相应的处理和传输，将匹配数据存储至相应的存储器。

102、当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据。

实施例首先需要对本次数据采集的合法性进行验证，避免恶意采集、恶意窃取数据。对数据采集的合法性进行验证，也即是验证当前的采集是否符合常规的流程，可以包括流程的审核是否完备、采集指令的申请人是否符合权限等等。当采集合法的前提下，再进一步从数据库中，筛选与采集数据特征相符合的数据。采集数据特征可以是数据关键词、或者数据的标识码，其中数据关键词可以是数据使用场景的关键词，可以是数据内容的关键词，可以是数据容量的关键词，还可以是数据的创建时间的关键词，等等，还可以是各种关键词种类的组合。

103、将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文。

实施例为了安全的传输数据，也即是安全的将数据从数据库中的大数据中精准筛选出来再传输至存储器中，将筛选出来的匹配数据进行封装，封装后的数据报文包含数据头，通过该数据头可以作为数据传输的密钥，也可以是数据的身份识别认证。

104、解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

当从数据库中传输过来的数据报文被接收到时，首先解析该数据报文，此时需要对数据报文进行认证，验证数据是否安全，是否完整等，只有当数据完整且安全，符合采集指令需求的数据再最终存储至目标存储区间。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于大数据的数据安全处理方法的流程示意图，如图2所示，该基于大数据的数据安全处理方法包括：

201、响应于采集指令获取采集指令中的数据信息和采集信息，所述采集信息包括采集时间、采集指令生成数据，所述采集指令生成数据包括采集发起时间、采集指令审核流程、采集指令发起用户、采集需求。

采集时间也即是计划对数据进行采集的时间，由于采集的数据种类可能很多，相应采集指令也很多，为了避免拥挤，提前设定采集时间，可以更好的规划数据采集任务。

202、判断所述采集指令审核流程是否完备；若是，执行步骤203，否则，定义本次采集不合法。

203、判断所述采集需求是否符合当前数据采集需求，若是，定义本次采集合法，并执行步骤204，否则，定义本次采集不合法。

实施例验证采集指令的合法性通过采集指令审核流程以及采集需求的角度出发，判断采集指令审核流程是否完备，如果缺少任意一个流程节点则表明该采集指令失效，不合法。而采集需求则是例如当前需要A数据、B数据和C数据，但采集指令是需要D数据，则不符合当前的数据采集需求，因此定义为不合法，反之例如采集指令是需要A数据，则符合当前的数据采集需求，在采集指令审核流程完备的情况下，则本次采集合法。

204、从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据。

205、获取数据信息中的报文组成规则，所述报文组成规则包括数据头和数据报文格式。

报文组成规则预先定义，通常是特定的工作人员提前输入该报文组成规则，封装在采集指令中。例如用户A需要采集数据时，通过智能终端输入报文组成规则，输入其他数据信息和采集信息以生成采集指令。

206、根据所述数据报文格式对所述匹配数据进行编码得到编码数据，并将所述数据头添加至编码数据的头部形成数据报文，并传输所述数据报文。

本步骤中，数据信息中还包含标识符，所述数据报文格式为数据头+采集时间+匹配数据+标识符，所述数据信息中还包含所述标识符。标识符用于标识不同的数据，与不同的采集指令所对应，而数据头则可以作为数据传输的密钥，用于后续进行比对验证。

207、解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

实施例三

请参阅图3，图3是本发明实施例公开的另一种基于大数据的数据安全处理方法的流程示意图，如图3所示，该基于大数据的数据安全处理方法包括：

301、响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法。

302、当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据。所述匹配数据封装成若干个数据包，每一个数据包均由数据字节+识别码组成。

303、将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文。

304、通过每一个数据包对应的识别码检测报文数据中数据包的排列顺序是否正确。

实施例需要对采集的匹配数据进行验证，防止采集错误、传输错误等，但是在验证之前，实施例先对报文数据进行匹配。由于报文数据中，将匹配数据封装成多个数据包，有序的对数据包进行排列，对该报文数据的验证包括对数据包排列顺序的比对，当生成报文数据的时候，由于每一个数据包对应有一个识别码和数据字节，数据字节也即是数据本身，识别码是唯一的对应于数据包的身份认证，提前将每一个数据包的识别码记录，并且按照数据包的排列顺序将识别码进行排列，将排列后的识别码发送至接收报文数据的服务器或者终端，在报文数据的接收端基于该排列后的识别码对报文数据进行比对。

305、当所述排列顺序有误时，输出重传指令以重新接收所述数据报文。

当根据排列后的识别码比对到匹配数据有误时，输出重传指令返回至数据库，具体可以是对整个报文数据进行重传，也可以是对匹配数据中丢失的数据包单独重传，回传后将该重传的数据包补回至上一次传输的匹配数据响应位置中。

306、检测所述数据报文的组成结构与报文组成规则是否一致。

307、解析数据报文以分别获取数据报文中的数据头、匹配数据和标识符。

308、将数据头与预存数据头进行比对，将标识符与预存标识符进行比对，当数据头与预存数据头一致，且标识符与预存标识符一致时，定义验证匹配数据验证通过。

步骤306至步骤308中是对报文数据中的匹配数据进行验证，首先比对组成是否正确，然后再一次比对数据头和标识符，多个层面进行验证，当任意一个不对应都判定为验证不通过。

309、当所述匹配数据验证通过时，获取采集数据特征、采集信息以及预设的存储规则选取至少一个存储区间。

310、当存储区间为多个时，获取每一个存储区间分别对应的传输链路。

311、分别计算每一条传输链路的节点数量以及每一条传输链路的任务量，5基于所述节点数量和任务量选取目标传输链路，并将所述目标传输链路对应的存储区间设定为目标存储区间。

实施例中，将匹配数据运输至不同的存储区间，每一个存储区间对应有至少一个传输链路，例如对应于存储区间a，包括三条传输链路，在这三条传输链

路中，有一条最短传输链路，通常该最短传输链路作为最优选择。但是实施例0中还进一步结合考虑任务量，也即是每一条传输链路正在传输的数据量以及等待传输的数据量，对传输链路的长度以及任务量进行综合考虑，采用加权计算的方式求取每一条传输链路的评分，将评分高的作为目标传输链路。具体的加权计算方式可以根据实际需求进行计算，附加于传输链路的长度和数据量不同的加权比例，将对应的加权比例乘以长度和数据量，再将两个乘积进行相加。

实施例四

请参阅图4，图4是本发明实施例公开的一种基于大数据的数据安全处理装置的结构示意图。如图4所示，该基于大数据的数据安全处理装置可以包括指

令响应模块401、数据筛选模块402、数据传输模块403和数据存储模块404，0其中，指令响应模块401：用于响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法；数据筛选模块402：用于当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；数据传输模块403：用于将每一条所述匹配数据分

别添加数据头封装成数据报文，并传输所述数据报文；数据存储模块404：用于5解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述

匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

本实施例中，采集信息同样地包括采集时间、采集指令生成数据，所述采集指令生成数据包括采集发起时间、采集指令审核流程、采集指令发起用户、采集需求。在指令响应模块401中，具体是判断所述采集指令审核流程是否完备，若是，执行下一步，否则定义本次采集不合法；判断所述采集需求是否符合当前数据采集需求，若是，定义本次采集合法，否则，定义本次采集不合法。

数据信息中还包含标识符，所述数据报文格式为数据头+采集时间+匹配数据+标识符，所述数据信息中还包含所述标识符。数据传输模块403中，获取数据信息中的报文组成规则，所述报文组成规则包括数据头和数据报文格式；根据所述数据报文格式对所述匹配数据进行编码得到编码数据，并将所述数据头添加至编码数据的头部形成数据报文。数据存储模块404对匹配数据的验证方式包括，检测所述数据报文的组成结构与报文组成规则是否一致；解析数据报文以分别获取数据报文中的数据头、匹配数据和标识符；将数据头与预存数据头进行比对，将标识符与预存标识符进行比对，当数据头与预存数据头一致，且标识符与预存标识符一致时，定义验证匹配数据验证通过。

本实施例与其他实施例所提供的基于大数据的数据安全处理方法的具体实施手段以及所带来的技术效果相同，在此不再赘述。

实施例五

请参阅图5，图5是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图5所示，该电子设备可以包括：

存储有可执行程序代码的存储器501；

与存储器501耦合的处理器502；

其中，处理器502调用存储器501中存储的可执行程序代码，执行实施例一中的基于大数据的数据安全处理方法中的部分或全部步骤。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的基于大数据的数据安全处理方法中的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于大数据的数据安全处理方法中的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于大数据的数据安全处理方法中的部分或全部步骤。

在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的基于大数据的数据安全处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于大数据的数据安全处理方法，其特征在于，包括：

响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法；

当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；

将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文；

解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

2.根据权利要求1所述的数据安全处理方法，其特征在于，所述采集信息包括采集时间、采集指令生成数据，所述采集指令生成数据包括采集发起时间、采集指令审核流程、采集指令发起用户、采集需求；所述基于所述采集信息判断本次采集是否合法，包括：

判断所述采集指令审核流程是否完备，若是，执行下一步，否则定义本次采集不合法；

判断所述采集需求是否符合当前数据采集需求，若是，定义本次采集合法，否则，定义本次采集不合法。

3.根据权利要求1所述的数据安全处理方法，其特征在于，所述将每一条所述匹配数据分别添加数据头封装成数据报文，包括：

获取数据信息中的报文组成规则，所述报文组成规则包括数据头和数据报文格式；

根据所述数据报文格式对所述匹配数据进行编码得到编码数据，并将所述数据头添加至编码数据的头部形成数据报文。

4.根据权利要求3所述的数据安全处理方法，其特征在于，所述数据信息中还包含标识符，所述数据报文格式为数据头+采集时间+匹配数据+标识符，所述数据信息中还包含所述标识符。

5.根据权利要求4所述的数据安全处理方法，其特征在于，所述解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，包括：

检测所述数据报文的组成结构与报文组成规则是否一致；

解析数据报文以分别获取数据报文中的数据头、匹配数据和标识符；

将数据头与预存数据头进行比对，将标识符与预存标识符进行比对，当数据头与预存数据头一致，且标识符与预存标识符一致时，定义验证匹配数据验证通过。

6.根据权利要求5所述的数据安全处理方法，其特征在于，所述数据报文中，所述匹配数据封装成若干个数据包，每一个数据包均由数据字节+识别码组成；在对匹配数据进行验证之前，还包括：

通过每一个数据包对应的识别码检测报文数据中数据包的排列顺序是否正确；

当所述排列顺序有误时，输出重传指令以重新接收所述数据报文。

7.根据权利要求6所述的数据安全处理方法，其特征在于，所述将所述匹配数据存储至目标存储区间，包括：

获取采集数据特征、采集信息以及预设的存储规则选取至少一个存储区间；

当存储区间为多个时，获取每一个存储区间分别对应的传输链路；

分别计算每一条传输链路的节点数量以及每一条传输链路的任务量，基于所述节点数量和任务量选取目标传输链路，并将所述目标传输链路对应的存储区间设定为目标存储区间。

8.一种基于大数据的数据安全处理装置，其特征在于，包括：

指令响应模块：用于响应于采集指令获取采集指令中的数据信息和采集信息，基于所述采集信息判断本次采集是否合法；

数据筛选模块：用于当本次采集合法时，从数据信息中提取采集数据特征，并根据所述采集数据特征从数据库中筛选出匹配数据；

数据传输模块：用于将每一条所述匹配数据分别添加数据头封装成数据报文，并传输所述数据报文；

数据存储模块：用于解析所述数据报文获取所述数据头和匹配数据以对匹配数据进行验证，当所述匹配数据验证通过时，将所述匹配数据存储至目标存储区间。

9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的基于大数据的数据安全处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的基于大数据的数据安全处理方法。

Images