CN115659401A - 基于大数据的数据安全管控方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术，揭露了一种基于大数据的数据安全管控方法，包括：对目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对目标数据进行特征融合，得到融合数据；根据预设第三方权威数据的业务类别，选择预设分类模型对预设第三方权威数据进行分类，得到分类数据；利用预设第一及二鉴别模型，对融合数据及分类数据进行安全性检测，得到初步检测结果及第三方数据可靠性检测结果；检测结果均为合格时，根据分类数据，利用预设第三鉴别模型检测融合数据的安全性，得到安全数据及异常数据。本发明还提出一种基于大数据的数据安全管控装置、电子设备以及存储介质。本发明可以提高数据安全性。

Description

基于大数据的数据安全管控方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于大数据的数据安全管控方法、装置、电子设备及计算机可读存储介质。

背景技术

大数据及人工智能时代，外部数据在服务消费金融业务数字化转型中的重要性愈加凸显。在外部数据实际落地运用时会遇到各种各样的问题，例如，多部门各自引入数据，数据管理标准的不统，导致数据安全得不到保障。

目前，各个政府机构、事业单位之间的业务数据是相互独立的，受理业务的机构也无法直接在别的机构的数据库中查看原始数据进行核对，只能凭借材料上的盖章等证明物来对材料的真实性进行判断，并且随着网络技术的高速发展，目前的材料造假技术也越来越高级，仅从盖章等证明物判断材料的真实性，即使对材料进行了造假或者篡改，受理机构的工作人员也难以进行甄别，且由于不同部门的需要保护的数据不同，但是一般为了方便会直接使用相同系统对数据进行真伪鉴别以及对数据进行保护，针对性较低，进而使得辨别结果或者是安全保护达不到预期效果，导致数据安全性不高。

发明内容

本发明提供一种基于大数据的数据安全管控方法、装置及计算机可读存储介质，其主要目的在于解决数据安全性较低的问题。为实现上述目的，本发明提供的一种基于大数据的数据安全管控方法，包括：

获取目标单位原始数据及预设第三方权威数据；

对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

可选地，所述对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，包括：

对所述目标单位原始数据进行压缩，得到压缩数据；

将所述压缩数据分段为多个目标待筛选数据段；

计算各个目标待筛选数据段的准确率，根据所述准确率对所述多个目标待筛选数据段进行初步筛选，得到初筛数据段；

根据所述准确率计算所述初筛数据段的校验值；

根据所述校验值及预设校验阈值，判断所述初筛数据段是否合格；

当所述初筛数据段不合格时，识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，并返回所述对所述目标单位原始数据进行压缩，得到压缩数据的步骤，直至所述初筛数据段合格；

当所述初筛数据段合格时，将合格的初筛数据段作为目标数据。

可选地，所述根据所述准确率计算所述初筛数据段的校验值，包括：

提取所述初筛数据段及所述目标待筛选数据段的平均特征值；

统计所述初筛数据段及所述目标待筛选数据段的数据总量；

根据所述初筛数据段的平均特征值、所述目标待筛选数据段的平均特征值、所述目标待筛选数据段的数据总量、所述初筛数据段的数据总量及所述初筛数据段的准确率,计算所述初筛数据段的校验值。

可选地，所述对所述目标数据进行特征融合，得到融合数据，包括：

利用预构建特征关系标识模型对所述目标数据进行特征关系标识，得到所述目标数据的数据特征；

对所述数据特征进行数据结构化处理，得到结构化数据组；

计算所述结构化数据组中数据之间的相似度；

将所述相似度值大于预设相似度阈值的数据进行融合操作，得到融合数据。

可选地，所述根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据，包括：

获取所述预设分类模型中的多个决策树及每个决策树中至少一层节点的决策维度索引和决策条件；

根据所述预设分类模型中第一节点的决策维度索引，对所述预设第三方权威数据进行特征提取，得到所述预设第三方权威数据在所述第一节点的分裂维度上的特征值；

根据所述第一节点的决策条件对所述特征值进行判断，根据判断结果从所述第一节点的分支节点中确定遍历的第二节点；

根据当前决策维度索引和决策条件，继续提取实施预设第三方权威数据在所述第二节点的特征值并确定待遍历的下一节点，直至所述决策树遍历完成，得到所述预设第三方权威数据的各个种类，根据各个种类对所述预设第三方权威数据进行分类，得到分类数据。

可选地，所述利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果，包括：

获取所述分类数据对应的数据来源地址，利用预设第二鉴别模型检测数据来源地址的准确性，得到数据来源检测结果；

当所述数据来源检测结果为合格时，利用所述第二鉴别模型检测所述分类数据进行合规性检测，得到合规性检测结果；

综合所述数据来源检测结果及所述合规性检测结果，得到第三方数据可靠性检测结果。

可选地，所述识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，包括：

根据预设规则识别所述所属目标单位的单位安全等级；

识别所述不合格初筛数据段对应所述所属目标单位的数据安全等级及数据权重；

查询所述所属目标单位的所有业务数据的数据总量及所述不合格初筛数据段在对应所属目标单位中的数据容量；

计算所述不合格初筛数据段对所述所属目标单位的影响度；

当所述影响度不大于预设影响度阈值时，舍弃所述不合格初筛数据段；

当所述影响度大于预设影响度阈值时，重新采集目标单位的业务数据，并覆盖所述不合格初筛数据段对应的目标单位原始数据。

为了解决上述问题，本发明还提供一种基于大数据的数据安全管控装置，所述装置包括：

数据融合模块，用于获取目标单位原始数据及预设第三方权威数据；对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

数据分类模块，用于识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

第一鉴别模块，用于利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

第二鉴别模块，用于利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

第三鉴别模块，用于当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于大数据的数据安全管控方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于大数据的数据安全管控方法。

本发明实施例通过对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，删除了原始数据中不合格数据，是的数据安全性更高，对所述目标数据进行特征融合，得到融合数据，数据量减少，使得后续数据安全性鉴别的效率更高；进一步根据不同的业务类别预构建分类模型集，根据业务类别可以选择对应的预设分类模型，有利于根据不同业务类别精准对数据进行分类，对所述预设第三方权威数据进行分类，得到分类数据，有利于后续根据不同类别的数据对所述融合数据进行数据的安全性检测，从而使得安全检测的正确率更高，保证了数据安全性；最后利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果，保证了融合数据的规范性和安全性，利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果，保证第三方检测数据的正确可靠，当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，利用预设第三鉴别模型，根据所述分类数据检测所述融合数据的安全性，准确区分安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据，实现了对目标单位原始数据的有效管控，提高了数据的安全性。因此本发明提出的基于大数据的数据安全管控方法、装置、电子设备及计算机可读存储介质，可以解决数据安全性较低的问题。

附图说明

图1为本发明一实施例提供的基于大数据的数据安全管控方法的流程示意图；

图2为图1所示基于大数据的数据安全管控方法中其中一个步骤的详细实施流程示意图；

图3为图1所示基于大数据的数据安全管控方法中其中另一个步骤的详细实施流程示意图；

图4为本发明一实施例提供的基于大数据的数据安全管控装置的功能模块图；

图5为本发明一实施例提供的实现所述基于大数据的数据安全管控方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于大数据的数据安全管控方法。所述基于大数据的数据安全管控方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于大数据的数据安全管控方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于大数据的数据安全管控方法的流程示意图。在本实施例中，所述基于大数据的数据安全管控方法包括：

S1、获取目标单位原始数据及预设第三方权威数据。

本发明实施例中，所述目标单位原始数据为各个需要进行数据安全检测的原始数据，所述预设第三方权威数据为国家机关等平台提供的权威数据，例如征信系统等的数据。

S2、对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库。

详细地，参阅图2所示，S2中对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，包括：

S21、对所述目标单位原始数据进行压缩，得到压缩数据；

S22、将所述压缩数据分段为多个目标待筛选数据段；

S23、计算各个目标待筛选数据段的准确率，根据所述准确率对所述多个目标待筛选数据段进行初步筛选，得到初筛数据段；

S24、根据所述准确率计算所述初筛数据段的校验值；

S25、根据所述校验值及预设校验阈值，判断所述初筛数据段是否合格；

当所述初筛数据段不合格时，S26、识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，并返回所述S21的步骤，直至所述初筛数据段合格；

当所述初筛数据段合格时，S27、将合格的初筛数据段作为目标数据。

本发明实施例中，将所述压缩数据分段为M个目标待筛选数据段，其中M为正整数，利用如下公式计算各个目标待筛选数据段的准确率：

其中，η表示所述目标待筛选数据段的准确率，取值范围为(0,1)；δ表示所述目标待筛选数据段的精准度系数；i表示所述目标待筛选数据段的段数，取值范围为[1，M]；M表述所述目标待筛选数据段的总段数；α_i表示第i个目标待筛选数据段所需要的数据总量；τ_i表示第i个目标待筛选数据段中的数据总量；T表示筛选一个所述目标待筛选数据段所用的时长；f表示所述目标待筛选数据段的筛选频率；γ表示所述目标待筛选数据段的误判率。

本发明实施例中，当所述校验值大于或等于所述预设校验阈值，判定所述初筛数据段合格，当所述校验值小于所述预设校验阈值，判定所述初筛数据段不合格，识别不合格初筛数据段中数据所属目标单位，重新采集目标单位原始数据，并返回所述对所述目标单位原始数据进行压缩，得到压缩数据的步骤，直至所述初筛数据段合格。

进一步地，所述S24包括：

提取所述初筛数据段及所述目标待筛选数据段的平均特征值；

统计所述初筛数据段及所述目标待筛选数据段的数据总量；

根据所述初筛数据段的平均特征值、所述目标待筛选数据段的平均特征值、所述目标待筛选数据段的数据总量、所述初筛数据段的数据总量及所述初筛数据段的准确率,计算所述初筛数据段的校验值。

利用如下公式计算所述初筛数据段的校验值：

其中，ψ表示当前校验值，取值范围为[0,1]；ζ表示所述初筛数据段的校验系数；表示所述目标待筛选数据段的数据总量；

表示所述初筛数据段的数据总量；η表示所述初筛数据段的准确率；λ表示所述目标待筛选数据段的平均特征值；κ表示所述初筛数据段的平均特征值。

更进一步地，S26中所述识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，包括：

根据预设规则识别所述所属目标单位的单位安全等级；

识别所述不合格初筛数据段对应所述所属目标单位的数据安全等级及数据权重；

查询所述所属目标单位的所有业务数据的数据总量及所述不合格初筛数据段在对应所属目标单位中的数据容量；

计算所述不合格初筛数据段对所述所属目标单位的影响度；

当所述影响度不大于预设影响度阈值时，舍弃所述不合格初筛数据段；

当所述影响度大于预设影响度阈值时，重新采集目标单位的业务数据，并覆盖所述不合格初筛数据段对应的目标单位原始数据。

本发明实施例中，利用如下公式计算所述不合格初筛数据段对所述所属目标单位的影响度：

其中，Ψ表示所述数据权重；S表示所述单位安全等级；S^′表示所述数据安全等级；Δa表示所述不合格初筛数据段在对应所属目标单位中的数据容量；a表示所述数据总量。

本发明实施例中，所述数据权重的取值范围为[0.1,1]。

详细地，S2中所述对所述目标数据进行特征融合，得到融合数据，包括：

利用预构建特征关系标识模型对所述目标数据进行特征关系标识，得到所述目标数据的数据特征；

对所述数据特征进行数据结构化处理，得到结构化数据组；

计算所述结构化数据组中数据之间的相似度；

将所述相似度值大于预设相似度阈值的数据进行融合操作，得到融合数据。

本发明实施例中，所述预构建特征关系标识模型用于标识所述目标数据的特征关系，每一特征关系包含一个或多个数据特征。所述预构建特征关系标识模型可以位基于BERT(Bidirectional Encoder Representation from Transformers，来自变换器的双向编码器表征量)模型构建的分类模型。

本发明实施例中，所述预设数据库为结构化数据库，例如SQL。

本发明实施例中，所述融合数据为采用SM2算法加密后的数据，在进行加密过程中生成融合数据对应的数字证书，在利用利用预设第一鉴别模型对所述融合数据进行规范性检查及安全审计操作之前，根据所述数字证书对所述融合数据进行解密，保证了融合数据的数据安全性，防止在传输过程被篡改。

本发明实施例中，对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，删除了原始数据中不合格数据，是的数据安全性更高，对所述目标数据进行特征融合，得到融合数据，数据量减少，使得后续数据安全性鉴别的效率更高。

S3、识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据。

本发明实施例中，先识别所述预设第三方权威数据的数据大类，得到业务类别，所述业务类别为数据大类，例如保险、银行、信托、医疗等类别。再根据不同的业务类别选择不同的分类模型对所述预设第三方权威数据进一步分类，得到分类数据，例如对保险类别的预设第三方权威数据进一步根据客户、产品、协议、合同等类别进行划分。

本发明实施例中，所述预设分类模型可以为随机森林模型(Random Forest，简称RF)构建的分类模型，所述随机森林模型是通过集成学习的思想将多棵树集成的一种模型，它的基本单元是决策树。以分类问题为例，每棵决策树都是一个分类器，对于一个输入样本，N棵树会有N个分类结果，而随机森林集成了所有的分类投票结果，将投票次数最多的类别指定为最终的输出，从而获得最优的类别。

详细地，参阅图3所示，S3中所述根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据，包括：

S31、获取所述预设分类模型中的多个决策树及每个决策树中至少一层节点的决策维度索引和决策条件；

S32、根据所述预设分类模型中第一节点的决策维度索引，对所述预设第三方权威数据进行特征提取，得到所述预设第三方权威数据在所述第一节点的分裂维度上的特征值；

S33、根据所述第一节点的决策条件对所述特征值进行判断，根据判断结果从所述第一节点的分支节点中确定遍历的第二节点；

S34、根据当前决策维度索引和决策条件，继续提取实施预设第三方权威数据在所述第二节点的特征值并确定待遍历的下一节点，直至所述决策树遍历完成，得到所述预设第三方权威数据的各个种类，根据各个种类对所述预设第三方权威数据进行分类，得到分类数据。

本发明实施例中，根据所述业务类别的数量构建存储层，根据所述分类数据的种类，对对应的存储层随机划分区域存储所述分类数据。

本发明实施例中，根据不同的业务类别预构建分类模型集，根据业务类别可以选择对应的预设分类模型，有利于根据不同业务类别精准对数据进行分类。对所述预设第三方权威数据进行分类，得到分类数据，有利于后续根据不同类别的数据对所述融合数据进行数据的安全性检测，从而使得安全检测的正确率更高，保证了数据安全性。

S4、利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果。

本发明实施例中，所述数据规范性检测为检测数据类型是否正确、数据是否合理、有无超过数组下限等，所述安全审计为根据有关法律法规等对所述融合数据进行安全合规性检测。

本发明实施例中，所述预设第一鉴别模型、所述预设第二鉴别模型级所述预设第三鉴别模型为BERT(Bidirectional Encoder Representation from Transformers，来自变换器的双向编码器表征量)、RNN(Recurrent Neural Network,循环神经网络)等模型构建的文本匹配模型。

本发明其中一个实施例中，所述预设第一鉴别模型可以为BERT模型构建的文本匹配模型，将所述融合数据与预设数据类型的格式进行匹配，得到规范性匹配结果；将所述融合数据与相关法律法规进行匹配，得到安全审计匹配结果；综合所述规范性匹配结果及所述安全审计匹配结果，得到初步检测结果。

S5、利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果。

本发明实施例中，所述合规性检测为根据国际、国家、政府、单位的信息检测的规范对数据进行保护、确保敏感数据免受丢失、损坏等，例如GDPR(通用数据保护条例)、PCI-DSS(支付卡行业数据安全标准)等条例规范。

本发明其中一个实施例中，所述预设第二鉴别模型可以为RNN循环神经网络构建的文本匹配模型，利用BLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)提取所述分类数据对应的数据来源地址、信息检测的规范及所述分类数据的文本特征，利用全连接层分别计算所述分类数据的文本特征与所述数据来源地址的文本特征、所述信息检测的规范的文本特征的匹配分数，根据所述匹配分数的分值高低得到数据来源检测结果及合规性检测结果。

详细地，所述S5包括：

获取所述分类数据对应的数据来源地址，利用预设第二鉴别模型检测数据来源地址的准确性，得到数据来源检测结果；

当所述数据来源检测结果为合格时，利用所述第二鉴别模型检测所述分类数据进行合规性检测，得到合规性检测结果；

综合所述数据来源检测结果及所述合规性检测结果，得到第三方数据可靠性检测结果。

本发明实施例中，所述分类数据为采用SM2算法加密后的数据，在进行加密过程中生成分类数据对应的数字证书，在利用利用预设第二鉴别模型检测所述分类数据来源可靠性之前，根据所述数字证书对所述分类数据进行解密，保证了分类数据的数据安全性。

本发明实施例中，利用预设第二鉴别模型检测数据来源地址的准确性，确保所述预设第三方权威数据来源的准确性，避免所述预设第三方权威数据的源头不对，导致后续安全检测结果不准确。

S6、当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

本发明实施例中，所述预设第三鉴别模型可以为BERT(Bidirectional EncoderRepresentation from Transformers，来自变换器的双向编码器表征量)、RNN(RecurrentNeural Network,循环神经网络)等模型构建的文本匹配模型。

本发明实施例中，所述标准管控方式为对同批次的安全数据进行数据等级标定，并根据标定结果，将对应的安全数据传输到预设不同的第一管控节点进行存储；所述集中管控方式为对所述异常数据进行分类，将分类后的数据分别传输到不同的第二管控节点进行存储。

本发明实施例中，利用所述预设第三鉴别模型，根据所述分类数据对所述融合数据的安全性及合规性进行进一步检测，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

本发明实施例通过对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，删除了原始数据中不合格数据，是的数据安全性更高，对所述目标数据进行特征融合，得到融合数据，数据量减少，使得后续数据安全性鉴别的效率更高；进一步根据不同的业务类别预构建分类模型集，根据业务类别可以选择对应的预设分类模型，有利于根据不同业务类别精准对数据进行分类，对所述预设第三方权威数据进行分类，得到分类数据，有利于后续根据不同类别的数据对所述融合数据进行数据的安全性检测，从而使得安全检测的正确率更高，保证了数据安全性；最后利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果，保证了融合数据的规范性和安全性，利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果，保证第三方检测数据的正确可靠，当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，利用预设第三鉴别模型，根据所述分类数据检测所述融合数据的安全性，准确区分安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据，实现了对目标单位原始数据的有效管控，提高了数据的安全性。因此本发明提出的基于大数据的数据安全管控方法，可以解决数据安全性较低的问题。

如图4所示，是本发明一实施例提供的基于大数据的数据安全管控装置的功能模块图。

本发明所述基于大数据的数据安全管控装置100可以安装于电子设备中。根据实现的功能，所述基于大数据的数据安全管控装置100可以包括数据融合模块101、数据分类模块102、第一鉴别模块103、第二鉴别模块104及第三鉴别模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述数据融合模块101，用于获取目标单位原始数据及预设第三方权威数据；对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

所述数据分类模块102，用于识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

所述第一鉴别模块103，用于利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

所述第二鉴别模块104，用于利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

所述第三鉴别模块105，用于当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

详细地，本发明实施例中所述基于大数据的数据安全管控装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于大数据的数据安全管控方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图5所示，是本发明一实施例提供的实现基于大数据的数据安全管控方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于大数据的数据安全管控程序。

其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于大数据的数据安全管控程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于大数据的数据安全管控程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于大数据的数据安全管控程序是多个指令的组合，在所述处理器10中运行时，可以实现：

获取目标单位原始数据及预设第三方权威数据；

对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

获取目标单位原始数据及预设第三方权威数据；

对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于大数据的数据安全管控方法，其特征在于，所述方法包括：

获取目标单位原始数据及预设第三方权威数据；

对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

2.如权利要求1所述的基于大数据的数据安全管控方法，其特征在于，所述对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，包括：

对所述目标单位原始数据进行压缩，得到压缩数据；

将所述压缩数据分段为多个目标待筛选数据段；

计算各个目标待筛选数据段的准确率，根据所述准确率对所述多个目标待筛选数据段进行初步筛选，得到初筛数据段；

根据所述准确率计算所述初筛数据段的校验值；

根据所述校验值及预设校验阈值，判断所述初筛数据段是否合格；

当所述初筛数据段不合格时，识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，并返回所述对所述目标单位原始数据进行压缩，得到压缩数据的步骤，直至所述初筛数据段合格；

当所述初筛数据段合格时，将合格的初筛数据段作为目标数据。

3.如权利要求2所述的基于大数据的数据安全管控方法，其特征在于，所述根据所述准确率计算所述初筛数据段的校验值，包括：

提取所述初筛数据段及所述目标待筛选数据段的平均特征值；

统计所述初筛数据段及所述目标待筛选数据段的数据总量；

根据所述初筛数据段的平均特征值、所述目标待筛选数据段的平均特征值、所述目标待筛选数据段的数据总量、所述初筛数据段的数据总量及所述初筛数据段的准确率,计算所述初筛数据段的校验值。

4.如权利要求1所述的基于大数据的数据安全管控方法，其特征在于，所述对所述目标数据进行特征融合，得到融合数据，包括：

利用预构建特征关系标识模型对所述目标数据进行特征关系标识，得到所述目标数据的数据特征；

对所述数据特征进行数据结构化处理，得到结构化数据组；

计算所述结构化数据组中数据之间的相似度；

将所述相似度值大于预设相似度阈值的数据进行融合操作，得到融合数据。

5.如权利要求1所述的基于大数据的数据安全管控方法，其特征在于，所述根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据，包括：

获取所述预设分类模型中的多个决策树及每个决策树中至少一层节点的决策维度索引和决策条件；

根据所述预设分类模型中第一节点的决策维度索引，对所述预设第三方权威数据进行特征提取，得到所述预设第三方权威数据在所述第一节点的分裂维度上的特征值；

根据所述第一节点的决策条件对所述特征值进行判断，根据判断结果从所述第一节点的分支节点中确定遍历的第二节点；

根据当前决策维度索引和决策条件，继续提取实施预设第三方权威数据在所述第二节点的特征值并确定待遍历的下一节点，直至所述决策树遍历完成，得到所述预设第三方权威数据的各个种类，根据各个种类对所述预设第三方权威数据进行分类，得到分类数据。

6.如权利要求1所述的基于大数据的数据安全管控方法，其特征在于，所述利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果，包括：

获取所述分类数据对应的数据来源地址，利用预设第二鉴别模型检测数据来源地址的准确性，得到数据来源检测结果；

当所述数据来源检测结果为合格时，利用所述第二鉴别模型检测所述分类数据进行合规性检测，得到合规性检测结果；

综合所述数据来源检测结果及所述合规性检测结果，得到第三方数据可靠性检测结果。

7.如权利要求2所述的基于大数据的数据安全管控方法，其特征在于，所述识别不合格初筛数据段的所属目标单位，重新采集目标单位原始数据，包括：

根据预设规则识别所述所属目标单位的单位安全等级；

识别所述不合格初筛数据段对应所述所属目标单位的数据安全等级及数据权重；

查询所述所属目标单位的所有业务数据的数据总量及所述不合格初筛数据段在对应所属目标单位中的数据容量；

计算所述不合格初筛数据段对所述所属目标单位的影响度；

当所述影响度不大于预设影响度阈值时，舍弃所述不合格初筛数据段；

当所述影响度大于预设影响度阈值时，重新采集目标单位的业务数据，并覆盖所述不合格初筛数据段对应的目标单位原始数据。

8.一种基于大数据的数据安全管控装置，其特征在于，所述装置包括：

数据融合模块，用于获取目标单位原始数据及预设第三方权威数据；对所述目标单位原始数据进行压缩及分段处理，并筛选分段后数据，得到目标数据，对所述目标数据进行特征融合，得到融合数据，并将所述融合数据转换为预设格式存储至预设数据库；

数据分类模块，用于识别所述预设第三方权威数据的业务类别，根据所述业务类别选择预设分类模型对所述预设第三方权威数据进行分类，得到分类数据；

第一鉴别模块，用于利用预设第一鉴别模型，对所述融合数据进行规范性检查及安全审计操作，得到初步检测结果；

第二鉴别模块，用于利用预设第二鉴别模型检测所述分类数据来源可靠性，得到第三方数据可靠性检测结果；

第三鉴别模块，用于当所述初步检测结果及所述第三方数据可靠性检测结果均为合格时，根据所述分类数据，利用预设第三鉴别模型检测所述融合数据的安全性，得到安全数据及异常数据，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于大数据的数据安全管控方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于大数据的数据安全管控方法。

Images