CN116842562B - 基于隐私计算技术的大数据安全平台 - Google Patents

Abstract

本发明涉及大数据信息领域，具体涉及基于隐私计算技术的大数据安全平台。基于隐私计算技术的大数据安全平台包括：信息获取单元，用于获取大数据信息。信息存储单元用于存储信息获取单元获取的大数据信息。数据比切单元，获取当前大数据信息进行处理，并与同类型的历史大数据信息进行对比切割后以其重合区域为数据分析码头，获得非重合区域的坐标区间和重合区域的坐标空间和链码。数据编码单元，用于对获得的数据分析码头、重合区域坐标空间的链码进行编码存储。通过对大数据信息进行切割，只要存储数据分析码头、链码和非重合区域即可，通过各个大数据信息的链码关系，并通过编码，可以最大限度的增加数据安全性，隐私性好、安全性高。

Description

基于隐私计算技术的大数据安全平台

技术领域

本发明涉及大数据信息领域，具体涉及基于隐私计算技术的大数据安全平台。

背景技术

信息时代，数据是各行各业最有价值的资本。本世纪也是大数据的时代，大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，最早应用于IT行业，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构，对海量数据进行分布式数据挖掘，因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

数据安全存在着多个层次，如：制度安全、技术安全、运算安全、存储安全、传输安全、产品和服务安全等。对于计算机数据安全来说：制度安全治标，技术安全治本，其他安全也是必不可少的环节。数据安全是计算机以及网络等学科的重要研究课题之一。它不仅关系到个人隐私、企业商业隐私；而且数据安全技术直接影响国家安全。

对数据安全的威胁可能会直接威胁到数据库。例如，获得对数据库未授权访问的那些人接下来可能会浏览、改变、甚至偷窃他们。但是，单独关注数据库安全并不能确保安全的数据库。系统的所有部分都必须是安全的，包括数据库、网络、操作系统、物理存放数据库的建筑物以及有机会访问系统的人员。

在现有技术中，数据安全存储设备对访问用户的生物特征进行匹配，如果该生物特征与之前合法注册的生物特征匹配，打开通信通道，否则关闭通信通道，现有技术通过生物特征实现安全的访问控制。数据安全存储设备里面，现有的安全措施都是采用数据的外部壁垒保护，并没有对数据本身进行优化。

发明内容

为解决上述技术问题，本发明提供基于隐私计算技术的大数据安全平台，用于对数据信息的隐私处理，所述的基于隐私计算技术的大数据安全平台包括：信息获取单元、信息存储单元、数据比切单元和数据编码单元。

信息获取单元，用于获取大数据信息；

信息存储单元，与信息获取单元通讯连接，信息存储单元用于存储信息获取单元获取的大数据信息；

数据比切单元，获取当前大数据信息B_i进行处理，i为大数据信息编号；并与同类型的历史大数据信息进行对比，计算获得两者的重合度C，并获取重合度的最大值MaxC，并判断MaxC是否大于一个预设的C_标，如果否，则不对当前大数据信息进行处理并保存至信息存储单元；如果是，则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息，进行切割后以其重合区域为数据分析码头D，获得非重合区域的坐标区间d_j ^k和重合区域的坐标空间D_j ^k，其中j为非重合区域和重合区域的编号，k为切割次数；处理获得重合区域坐标空间D_j ^k的链码O_j，对非重合区域进行片段扫描对比并计算重合度，如果重合度为1，则获得与非重合区域对应的重合区域的坐标空间，并处理获得的链码；如果重合度小于1，则继续进行切割直至到达一个预设的切割标准时，则停止对当前非重合区域的坐标区间d_j ^k进行对比切割，得到重合区域的坐标空间D_j ^k的链码O_j和最终的非重合区域；

数据编码单元，用于对获得的数据分析码头D、重合区域坐标空间D_j ^k的链码O_j进行编码存储。

优选的：所述的大数据信息是图片、视频、文本存储中的一种或者多种组合。

优选的：对于不同类型的大数据信息通过设置一个数据类型识别模块进行大数据信息类型的识别，并获得当前大数据信息的信息类型，将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间，识别后的大数据信息按照信息类型存储到对应的空间内。

优选的：所述的重合度C计算方法包括对当前大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得多个短文本，将所得短文本汇集获得当前短文本片段集{b_i}，对历史大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得历史短文本片段集群{b₁}、……、{b_i-1}；对当前短文本片段集{b_i}和每个历史短文本片段集群{b₁}、……、{b_i-1}进行短文本对比，提取出每个短文本片段集的重合短文本，并进行编号s，对每个历史短文本片段集中的各个短文本进行计算，获得当前大数据信息和历史大数据信息的重合度其中，w_s为编号为s的短文本长度，w_总可以是当前计算文本总长度。

优选的：所述的重合度C计算方法包括：从视频或者照片中获得帧图片，对帧图片进行编号，对当前帧图片和历史帧图片进行扫描，识别出至少两个分切码，并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放，并计算重合度。

优选的：重合度是重合面积所占当前大数据信息面积。

优选的：所述的分切码识别方法包括构建一个平面坐标系，并将帧图片植入到平面坐标系中，对帧图片进行处理获得纹理图片，对纹理图片进行识别获得色差点，并将连续的色差点进行连线。计算出的点作为分切点，y为色差点的连线在y轴上的坐标，x为色差点的连线在x轴上的坐标，并将具有闭合连线的分切点进行集合获得分切点集，将分切点集作为分切码。

优选的：所述预设的切割标准是一个预设的切割次数。

优选的：切割判定包括：识别获得待切割的非重合区域所占内存M，并判断M≤(μα+δM)，如果是，则停止切割，如果否，则继续进行切割，其中，α为切割计算量、μ为计算量占用内存换算系数、δ为信息切割节约比例系数。

优选的：所述帧图片处理方法包括黑白色-高反差-查找边缘。

本发明的技术效果和优点：通过对大数据信息进行切割，只要存储数据分析码头D、链码O_j和非重合区域即可，通过各个大数据信息的链码关系，并通过编码，可以最大限度的增加数据安全性，各个数据之间构成连接关系，在数据入侵并不能直接获得全部历史数据，隐私性好、安全性高。同时占用内存较少，便于存储和传输。

附图说明

图1为本发明提出的基于隐私计算技术的大数据安全平台的结构框图。

图2为本发明提出的基于隐私计算技术的大数据安全平台中数据比切单元处理流程图。

图3为本发明提出的基于隐私计算技术的大数据安全平台中文本信息重合度计算方法流程图。

图4为本发明提出的基于隐私计算技术的大数据安全平台中图片信息重合度计算方法流程图。

图5为本发明提出的基于隐私计算技术的大数据安全平台中图片信息处理过程中分切码识别流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

参考图1，在本实施例中提出了基于隐私计算技术的大数据安全平台，用于对数据信息的隐私处理，所述的基于隐私计算技术的大数据安全平台包括：信息获取单元、信息存储单元、数据比切单元和数据编码单元。

信息获取单元，用于获取大数据信息。信息获取单元可以是信息获取终端，也可以是从各个数据库进行数据提取，由于所述的大数据安全平台是针对客户进行的数据计算，此处的信息获取单元可以是信息获取终端。对于一个指定服务客户进行的数据计算数据平台，大多数获取的大数据信息类型是相同的，或者类型数量较少。例如，信息获取单元可以是摄像头、照相机、指纹信息读取器、语音信息获取器、登记信息读取器、检测信息获取器等，具体在此不做赘述。

信息存储单元，与信息获取单元通讯连接，信息存储单元用于存储信息获取单元获取的大数据信息，所述的信息存储单元实时获取需要存储的大数据信息，所述的信息存储单元可以是所述的大数据安全平台设置的存储空间、还可以是云储存等，具体在此不做赘述。所述的大数据信息可以是图片、视频、文本存储等，由于是对大数据信息的存储，大数据信息的特点是容量大，就需要此处的信息存储单元具有较大的内存，具体在此不做赘述。对于不同类型的大数据信息可以通过设置一个数据类型识别模块进行大数据信息类型的识别，并获得当前大数据信息的信息类型，将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间，识别后的大数据信息按照信息类型存储到对应的空间内，通过对不同的类型进行存储，这样可以大大的提高了大数据信息提取速度，更便于管理。

数据比切单元，获取当前大数据信息B_i进行处理，i为大数据信息编号。参考图2，与同类型的历史大数据信息进行对比。计算获得两者的重合度C，并获取重合度的最大值MaxC，并判断MaxC是否大于一个预设的C_标，如果否，则不对当前大数据信息进行处理并保存至信息存储单元；如果是，则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息，并以其重合区域为数据分析码头D，获得非重合区域的坐标区间d_j ^k和重合区域的坐标空间D_j ^k，其中j为非重合区域和重合区域的编号，k为切割次数。处理获得重合区域坐标空间D_j ^k的链码O_j，对非重合区域进行片段扫描对比并计算重合度，如果重合度为1，则获得与非重合区域对应的重合区域的坐标空间，并处理获得的链码；如果重合度小于1，则继续进行切割直至到达一个预设的切割标准时，则停止对当前非重合区域的坐标区间d_j ^k进行对比切割，得到重合区域的坐标空间D_j ^k的链码O_j和最终的非重合区域。如果大数据信息是文本信息时，需要计算的就是一维数据处理。参考图3，此处的文本信息包括文字、数值、编码等。所述的重合度C计算方法可以包括对当前大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得多个短文本，将所得短文本汇集获得当前短文本片段集{b_i}，对历史大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得历史短文本片段集群{b₁}、……、{b_i-1}。对当前短文本片段集{b_i}和每个历史短文本片段集群{b₁}、……、{b_i-1}进行短文本对比，提取出每个短文本片段集的重合短文本，并进行编号s，对每个历史短文本片段集中的各个短文本进行计算，获得当前大数据信息和历史大数据信息的重合度其中，w_s为编号为s的短文本长度，w_总可以是当前计算文本总长度。当文本信息是文字时，分切码可以是句号、首行缩减、逗号等，当文本信息是数值时可以是空格键、逗号、分号等，当文本信息是编码时可以是回车、终结符等。本次以一段文字的文本信息为例，历史大数据信息B₁为“努力学习，锻炼身体，讲究卫生，珍爱生命”。历史大数据信息B₂为“勤俭朴素，注意安全，锻炼身体，讲究卫生”。历史大数据信息B₃为“热爱科学，珍爱生命，注意安全，讲究卫生”。当前大数据信息B₄为“热爱科学，努力学习，锻炼身体，讲究卫生”。设置的分切码为“，”和字符，通过逗号对当前大数据信息进行切割，获得短文本分别为“热爱科学-努力学习-锻炼身体-讲究卫生”，获得的当前短文本片段集为{热爱科学-努力学习-锻炼身体-讲究卫生}。同理对历史大数据信息B₁、历史大数据信息B₂、历史大数据信息B₃切割分别获得为“努力学习-锻炼身体-讲究卫生-珍爱生命”、“勤俭朴素-注意安全-锻炼身体-讲究卫生”、“热爱科学-珍爱生命-注意安全-讲究卫生”。历史短文本片段集b₁为{努力学习-锻炼身体-讲究卫生-珍爱生命}、历史短文本片段集b₂为{勤俭朴素-注意安全-锻炼身体-讲究卫生}、历史短文本片段集b₃为{热爱科学-珍爱生命-注意安全-讲究卫生}。计算获得大数据信息B₁的重合度C＝4/16+4/16+4/16＝0.75；大数据信息B₂的重合度C＝4/16+4/16＝0.5；大数据信息B₃的重合度C＝4/16+4/16＝0.5。则认为重合度的最大值MaxC为历史大数据信息B₁，由于该数据大于一个预设的标准重合度0.5，则提取大数据信息B₁为数据分析码头D，并将大数据信息B₁标记切割获得非重合区域的坐标区间d₁ ¹为B₄(5、16)和重合区域的坐标空间D₁ ¹为B₁(1、12)，获得重合区域坐标空间D₁ ¹的链码O₁为B₄(5、16)-B₁(1、12)，对于一般的我们认为链码是我们标定重合区间的位置链码，便于定位重合区域坐标空间的位置。然后以非重合区域的坐标区间d₁ ¹{热爱科学}针对历史大数据信息进行扫描，则获得大数据信息B₁标记切割获得非重合区域的坐标区间d₁ ¹为B₄(1、4)和重合区域的坐标空间D₁ ¹为B₃(1、4)，则存储的大数据信息为历史短文本片段集b₁{锻炼身体-讲究卫生-珍爱生命}、历史短文本片段集b₃为{热爱科学}、链码B₄(5、16)-B₁(1、12)、链码B₄(1、4)-B₃(1、4)等短文本信息。由于本实施例中的“热爱科学”短文本在B₃中重合度是1，没有进行第二次分割，这个实施例较为简单，多次分割和首次分割内容相同，在此不做赘述。

参考图4，当大数据信息是图片或者视频时，需要计算的就是二维数据处理。所述的重合度C计算方法可以包括：从视频或者照片中获得帧图片，对帧图片进行编号，对当前帧图片和历史帧图片进行扫描，识别出至少两个分切码，并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放，并计算重合度，此处的重合度可以是重合面积所占当前大数据信息面积。参考图5，所述的分切码识别方法可以包括构建一个平面坐标系，并将帧图片植入到平面坐标系中，对帧图片进行处理获得纹理图片，所述帧图片处理方法可以包括黑白色-高反差-查找边缘等，可以将帧图片中的纹理显示清楚。对纹理图片进行识别获得色差点，并将连续的色差点进行连线。计算出的点作为分切点，y为色差点的连线在y轴上的坐标，x为色差点的连线在x轴上的坐标，并将具有闭合连线的分切点进行集合获得分切点集，将分切点集作为分切码。通过计算拐点作为分切码，识别效果更加明显，通过分切码为基准进行重合叠放，避免了大小、角度、方向不同造成差异，提高了替代的兼容性。通过对图片进行多次切割，则我们最后存储的数据分析码头D就是各个图片碎片和其对应的链码，并没有完整的图片或者视频信息，从而增加了大数据信息的隐私性和安全性。对于视频在进行切割时，可以通过对帧图片按照链码和图片碎片反向组装完成，在此不做赘述。对于图片切割可以预设的像素大小进行切割，具体在此不做赘述。所述预设的切割标准可以是一个预设的切割次数，一般为3-5次，具体可以根据保密程度设置，还可以是待切割的非重合区域所占内存大小，例如识别获得待切割的非重合区域所占内存M，并判断M≤(μα+δM)，如果是，则停止切割，如果否，则继续进行切割，其中，α为切割计算量，具体数据可以以具体过程中操作的使用计算量获得，μ为计算量占用内存换算系数，可以通过计算性能设置，具体在此不做赘述。δ为信息切割节约比例系数，可以通过图片切割前后占用内存比获得，具体在此不做计算。通过对比切割计算量和实际占用大小，可以判断是否有切割必要，从而最大限度的减少计算量和缩小内存占用。

数据编码单元，用于对获得的数据分析码头D、重合区域坐标空间D_j ^k的链码O_j进行编码存储。所述的编码为现有技术，增加数据的安全性，例如利用混沌映射函数生成混沌序列，将混沌序列作为密钥序列，由于生成的混沌序列是由混沌映射函数的参数决定的，混沌映射函数的参数是双方约定好的，因而密钥序列也无需进行传输。通过对大数据信息进行切割，只要存储数据分析码头D、链码O_j和非重合区域即可，通过各个大数据信息的链码关系，并通过编码，可以最大限度的增加数据安全性，各个数据之间构成连接关系，在数据入侵并不能直接获得全部历史数据，隐私性好、安全性高，同时占用内存较少，便于存储和传输。例如，视频监控区域，大数据信息是监控视频，视频拍摄大部分是同一画面，且画面内容相同，这样就会占用大量的内存，当监控区域进入事物时，可以通过切割，将进入的事物通过历史视频组合获得，由于存储的事链码，而且通过编码加密，不仅大大减少了占用内容，同时增加了安全性。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。

Claims (8)

1.基于隐私计算技术的大数据安全平台，其特征在于，所述的基于隐私计算技术的大数据安全平台包括：信息获取单元、信息存储单元、数据比切单元和数据编码单元；

信息获取单元，用于获取大数据信息；

信息存储单元，信息存储单元用于存储信息获取单元获取的大数据信息；

数据比切单元，获取当前大数据信息B_i，i为大数据信息编号；并与同类型的历史大数据信息进行对比，计算获得两者的重合度C，并获取重合度的最大值MaxC，并判断MaxC是否大于一个预设的C_标，如果否，则不对当前大数据信息进行处理并保存至信息存储单元；如果是，则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息，进行切割后以其重合区域为数据分析码头D，获得非重合区域的坐标区间d_j ^k和重合区域的坐标空间D_j ^k，其中j为非重合区域和重合区域的编号，k为切割次数；处理获得重合区域坐标空间D_j ^k的链码O_j，对非重合区域进行片段扫描对比并计算重合度，如果重合度为1，则获得与非重合区域对应的重合区域的坐标空间，并处理获得的链码；如果重合度小于1，继续进行切割直至到达一个预设的切割标准时，则停止对当前非重合区域的坐标区间d_j ^k进行对比切割，得到重合区域的坐标空间D_j ^k的链码O_j和最终的非重合区域；

数据编码单元，用于对获得的数据分析码头D、重合区域坐标空间D_j ^k的链码O_j进行编码存储。

2.根据权利要求1所述的基于隐私计算技术的大数据安全平台，其特征在于，对于不同类型的大数据信息通过设置一个数据类型识别模块进行大数据信息类型的识别，并获得当前大数据信息的信息类型，将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间，识别后的大数据信息按照信息类型存储到对应的空间内。

3.根据权利要求1或2所述的基于隐私计算技术的大数据安全平台，其特征在于，所述的重合度C计算方法包括对当前大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得多个短文本，将所得短文本汇集获得当前短文本片段集{b_i}，对历史大数据信息进行扫描，识别出分切码，以分切码为入切点对当前大数据信息进行切割，获得历史短文本片段集群{b₁}、……、{b_i-1}；对当前短文本片段集{b_i}和每个历史短文本片段集群{b₁}、……、{b_i-1}进行短文本对比，提取出每个短文本片段集的重合短文本，并进行编号s，对每个历史短文本片段集中的各个短文本进行计算，获得当前大数据信息和历史大数据信息的重合度其中，w_s为编号为s的短文本长度，w_总是当前计算文本总长度。

4.根据权利要求1或2所述的基于隐私计算技术的大数据安全平台，其特征在于，所述的重合度C计算方法包括：从视频或者照片中获得帧图片，对帧图片进行编号，对当前帧图片和历史帧图片进行扫描，识别出至少两个分切码，并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放，并计算重合度。

5.根据权利要求4所述的基于隐私计算技术的大数据安全平台，其特征在于，重合度是重合面积所占当前大数据信息面积。

6.根据权利要求5所述的基于隐私计算技术的大数据安全平台，其特征在于，所述的分切码识别方法包括构建一个平面坐标系，并将帧图片植入到平面坐标系中，对帧图片进行处理获得纹理图片，对纹理图片进行识别获得色差点，并将连续的色差点进行连线，计算出的点作为分切点，y为色差点的连线在y轴上的坐标，x为色差点的连线在x轴上的坐标，并将具有闭合连线的分切点进行集合获得分切点集，将分切点集作为分切码。

7.根据权利要求1所述的基于隐私计算技术的大数据安全平台，其特征在于，所述预设的切割标准是一个预设的切割次数。

8.根据权利要求1所述的基于隐私计算技术的大数据安全平台，其特征在于，切割判定包括：识别获得待切割的非重合区域所占内存M，并判断M≤(μα+δM)，如果是，则停止切割，如果否，则继续进行切割，其中，α为切割计算量、μ为计算量占用内存换算系数、δ为信息切割节约比例系数。