CN116842562A - 基于隐私计算技术的大数据安全平台 - Google Patents
基于隐私计算技术的大数据安全平台 Download PDFInfo
- Publication number
- CN116842562A CN116842562A CN202310795183.XA CN202310795183A CN116842562A CN 116842562 A CN116842562 A CN 116842562A CN 202310795183 A CN202310795183 A CN 202310795183A CN 116842562 A CN116842562 A CN 116842562A
- Authority
- CN
- China
- Prior art keywords
- big data
- information
- data information
- cutting
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000012634 fragment Substances 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241000258920 Chilopoda Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及大数据信息领域,具体涉及基于隐私计算技术的大数据安全平台。基于隐私计算技术的大数据安全平台包括:信息获取单元,用于获取大数据信息。信息存储单元用于存储信息获取单元获取的大数据信息。数据比切单元,获取当前大数据信息进行处理,并与同类型的历史大数据信息进行对比切割后以其重合区域为数据分析码头,获得非重合区域的坐标区间和重合区域的坐标空间和链码。数据编码单元,用于对获得的数据分析码头、重合区域坐标空间的链码进行编码存储。通过对大数据信息进行切割,只要存储数据分析码头、链码和非重合区域即可,通过各个大数据信息的链码关系,并通过编码,可以最大限度的增加数据安全性,隐私性好、安全性高。
Description
技术领域
本发明涉及大数据信息领域,具体涉及基于隐私计算技术的大数据安全平台。
背景技术
信息时代,数据是各行各业最有价值的资本。本世纪也是大数据的时代,大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,最早应用于IT行业,目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构,对海量数据进行分布式数据挖掘,因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
数据安全存在着多个层次,如:制度安全、技术安全、运算安全、存储安全、传输安全、产品和服务安全等。对于计算机数据安全来说:制度安全治标,技术安全治本,其他安全也是必不可少的环节。数据安全是计算机以及网络等学科的重要研究课题之一。它不仅关系到个人隐私、企业商业隐私;而且数据安全技术直接影响国家安全。
对数据安全的威胁可能会直接威胁到数据库。例如,获得对数据库未授权访问的那些人接下来可能会浏览、改变、甚至偷窃他们。但是,单独关注数据库安全并不能确保安全的数据库。系统的所有部分都必须是安全的,包括数据库、网络、操作系统、物理存放数据库的建筑物以及有机会访问系统的人员。
在现有技术中,数据安全存储设备对访问用户的生物特征进行匹配,如果该生物特征与之前合法注册的生物特征匹配,打开通信通道,否则关闭通信通道,现有技术通过生物特征实现安全的访问控制。数据安全存储设备里面,现有的安全措施都是采用数据的外部壁垒保护,并没有对数据本身进行优化。
发明内容
为解决上述技术问题,本发明提供基于隐私计算技术的大数据安全平台,用于对数据信息的隐私处理,所述的基于隐私计算技术的大数据安全平台包括:信息获取单元、信息存储单元、数据比切单元和数据编码单元。
信息获取单元,用于获取大数据信息;
信息存储单元,与信息获取单元通讯连接,信息存储单元用于存储信息获取单元获取的大数据信息;
数据比切单元,获取当前大数据信息Bi进行处理,i为大数据信息编号;并与同类型的历史大数据信息进行对比,计算获得两者的重合度C,并获取重合度的最大值MaxC,并判断MaxC是否大于一个预设的C标,如果否,则不对当前大数据信息进行处理并保存至信息存储单元;如果是,则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息,进行切割后以其重合区域为数据分析码头D,获得非重合区域的坐标区间dj k和重合区域的坐标空间Dj k,其中j为非重合区域和重合区域的编号,k为切割次数;处理获得重合区域坐标空间Dj k的链码Oj,对非重合区域进行片段扫描对比并计算重合度,如果重合度为1,则获得与非重合区域对应的重合区域的坐标空间,并处理获得的链码;如果重合度小于1,则继续进行切割直至到达一个预设的切割标准时,则停止对当前非重合区域的坐标区间dj k进行对比切割,得到重合区域的坐标空间Dj k的链码Oj和最终的非重合区域;
数据编码单元,用于对获得的数据分析码头D、重合区域坐标空间Dj k的链码Oj进行编码存储。
优选的:所述的大数据信息是图片、视频、文本存储中的一种或者多种组合。
优选的:对于不同类型的大数据信息通过设置一个数据类型识别模块进行大数据信息类型的识别,并获得当前大数据信息的信息类型,将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间,识别后的大数据信息按照信息类型存储到对应的空间内。
优选的:所述的重合度C计算方法包括对当前大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得多个短文本,将所得短文本汇集获得当前短文本片段集{bi},对历史大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得历史短文本片段集群{b1}、……、{bi-1};对当前短文本片段集{bi}和每个历史短文本片段集群{b1}、……、{bi-1}进行短文本对比,提取出每个短文本片段集的重合短文本,并进行编号s,计算每个历史短文本片段集中的各个短文本进行计算当前大数据信息和历史大数据信息的重合度其中,ws为编号为s的短文本长度,w总可以是当前计算文本总长度。
优选的:所述的重合度C计算方法包括:从视频或者照片中获得帧图片,对帧图片进行编号,对当前帧图片和历史帧图片进行扫描,识别出至少两个分切码,并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放,并计算重合度。
优选的:重合度是重合面积所占当前大数据信息面积。
优选的:所述的分切码识别方法包括构建一个平面坐标系,并将帧图片植入到平面坐标系中,对帧图片进行处理获得纹理图片,对纹理图片进行识别获得色差点,并将连续的色差点进行连线。计算出的点作为分切点,并将具有闭合连线的分切点进行集合获得分切点集,将分切点集作为分切码。
优选的:所述预设的切割标准是一个预设的切割次数。
优选的:切割判定包括:识别获得待切割的非重合区域所占内存M,并判断M≤(μα+δM),如果是,则停止切割,如果否,则继续进行切割,其中,α为切割计算量、μ为计算量占用内存换算系数、δ为信息切割节约比例系数。
优选的:所述帧图片处理方法包括黑白色-高反差-查找边缘。
本发明的技术效果和优点:通过对大数据信息进行切割,只要存储数据分析码头D、链码Oj和非重合区域即可,通过各个大数据信息的链码关系,并通过编码,可以最大限度的增加数据安全性,各个数据之间构成连接关系,在数据入侵并不能直接获得全部历史数据,隐私性好、安全性高。同时占用内存较少,便于存储和传输。
附图说明
图1为本发明提出的基于隐私计算技术的大数据安全平台的结构框图。
图2为本发明提出的基于隐私计算技术的大数据安全平台中数据比切单元处理流程图。
图3为本发明提出的基于隐私计算技术的大数据安全平台中文本信息重合度计算方法流程图。
图4为本发明提出的基于隐私计算技术的大数据安全平台中图片信息重合度计算方法流程图。
图5为本发明提出的基于隐私计算技术的大数据安全平台中图片信息处理过程中分切码识别流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
参考图1,在本实施例中提出了基于隐私计算技术的大数据安全平台,用于对数据信息的隐私处理,所述的基于隐私计算技术的大数据安全平台包括:信息获取单元、信息存储单元、数据比切单元和数据编码单元。
信息获取单元,用于获取大数据信息。信息获取单元可以是信息获取终端,也可以是从各个数据库进行数据提取,由于所述的大数据安全平台是针对客户进行的数据计算,此处的信息获取单元可以是信息获取终端。对于一个指定服务客户进行的数据计算数据平台,大多数获取的大数据信息类型是相同的,或者类型数量较少。例如,信息获取单元可以是摄像头、照相机、指纹信息读取器、语音信息获取器、登记信息读取器、检测信息获取器等,具体在此不做赘述。
信息存储单元,与信息获取单元通讯连接,信息存储单元用于存储信息获取单元获取的大数据信息,所述的信息存储单元实时获取需要存储的大数据信息,所述的信息存储单元可以是所述的大数据安全平台设置的存储空间、还可以是云储存等,具体在此不做赘述。所述的大数据信息可以是图片、视频、文本存储等,由于是对大数据信息的存储,大数据信息的特点是容量大,就需要此处的信息存储单元具有较大的内存,具体在此不做赘述。对于不同类型的大数据信息可以通过设置一个数据类型识别模块进行大数据信息类型的识别,并获得当前大数据信息的信息类型,将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间,识别后的大数据信息按照信息类型存储到对应的空间内,通过对不同的类型进行存储,这样可以大大的提高了大数据信息提取速度,更便于管理。
数据比切单元,获取当前大数据信息Bi进行处理,i为大数据信息编号。参考图2,与同类型的历史大数据信息进行对比。计算获得两者的重合度C,并获取重合度的最大值MaxC,并判断MaxC是否大于一个预设的C标,如果否,则不对当前大数据信息进行处理并保存至信息存储单元;如果是,则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息,并以其重合区域为数据分析码头D,获得非重合区域的坐标区间dj k和重合区域的坐标空间Dj k,其中j为非重合区域和重合区域的编号,k为切割次数。处理获得重合区域坐标空间Dj k的链码Oj,对非重合区域进行片段扫描对比并计算重合度,如果重合度为1,则获得与非重合区域对应的重合区域的坐标空间,并处理获得的链码;如果重合度小于1,则继续进行切割直至到达一个预设的切割标准时,则停止对当前非重合区域的坐标区间dj k进行对比切割,得到重合区域的坐标空间Dj k的链码Oj和最终的非重合区域。如果大数据信息是文本信息时,需要计算的就是一维数据处理。参考图3,此处的文本信息包括文字、数值、编码等。所述的重合度C计算方法可以包括对当前大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得多个短文本,将所得短文本汇集获得当前短文本片段集{bi},对历史大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得历史短文本片段集群{b1}、……、{bi-1}。对当前短文本片段集{bi}和每个历史短文本片段集群{b1}、……、{bi-1}进行短文本对比,提取出每个短文本片段集的重合短文本,并进行编号s,计算每个历史短文本片段集中的各个短文本进行计算当前大数据信息和历史大数据信息的重合度其中,ws为编号为s的短文本长度,w总可以是当前计算文本总长度。当文本信息是文字时,分切码可以是句号、首行缩减、逗号等,当文本信息是数值时可以是空格键、逗号、分号等,当文本信息是编码时可以是回车、终结符等。本次以一段文字的文本信息为例,历史大数据信息B1为“努力学习,锻炼身体,讲究卫生,珍爱生命”。历史大数据信息B2为“勤俭朴素,注意安全,锻炼身体,讲究卫生”。历史大数据信息B3为“热爱科学,珍爱生命,注意安全,讲究卫生”。当前大数据信息B4为“热爱科学,努力学习,锻炼身体,讲究卫生”。设置的分切码为“,”和字符,通过逗号对当前大数据信息进行切割,获得短文本分别为“热爱科学-努力学习-锻炼身体-讲究卫生”,获得的当前短文本片段集为{热爱科学-努力学习-锻炼身体-讲究卫生}。同理对历史大数据信息B1、历史大数据信息B2、历史大数据信息B3切割分别获得为“努力学习-锻炼身体-讲究卫生-珍爱生命”、“勤俭朴素-注意安全-锻炼身体-讲究卫生”、“热爱科学-珍爱生命-注意安全-讲究卫生”。历史短文本片段集b1为{努力学习-锻炼身体-讲究卫生-珍爱生命}、历史短文本片段集b2为{勤俭朴素-注意安全-锻炼身体-讲究卫生}、历史短文本片段集b3为{热爱科学-珍爱生命-注意安全-讲究卫生}。计算获得大数据信息B1的重合度C=4/16+4/16+4/16=0.75;大数据信息B2的重合度C=4/16+4/16=0.5;大数据信息B3的重合度C=4/16+4/16=0.5。则认为重合度的最大值MaxC为历史大数据信息B1,由于该数据大于一个预设的标准重合度0.5,则提取大数据信息B1为数据分析码头D,并将大数据信息B1标记切割获得非重合区域的坐标区间d1 1为B4(5、16)和重合区域的坐标空间D1 1为B1(1、12),获得重合区域坐标空间D1 1的链码O1为B4(5、16)-B1(1、12),对于一般的我们认为链码是我们标定重合区间的位置链码,便于定位重合区域坐标空间的位置。然后以非重合区域的坐标区间d1 1{热爱科学}针对历史大数据信息进行扫描,则获得大数据信息B1标记切割获得非重合区域的坐标区间d1 1为B4(1、4)和重合区域的坐标空间D1 1为B3(1、4),则存储的大数据信息为历史短文本片段集b1{锻炼身体-讲究卫生-珍爱生命}、历史短文本片段集b3为{热爱科学}、链码B4(5、16)-B1(1、12)、链码B4(1、4)-B3(1、4)等短文本信息。由于本实施例中的“热爱科学”短文本在B3中重合度是1,没有进行第二次分割,这个实施例较为简单,多次分割和首次分割内容相同,在此不做赘述。
参考图4,当大数据信息是图片或者视频时,需要计算的就是二维数据处理。所述的重合度C计算方法可以包括:从视频或者照片中获得帧图片,对帧图片进行编号,对当前帧图片和历史帧图片进行扫描,识别出至少两个分切码,并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放,并计算重合度,此处的重合度可以是重合面积所占当前大数据信息面积。参考图5,所述的分切码识别方法可以包括构建一个平面坐标系,并将帧图片植入到平面坐标系中,对帧图片进行处理获得纹理图片,所述帧图片处理方法可以包括黑白色-高反差-查找边缘等,可以将帧图片中的纹理显示清楚。对纹理图片进行识别获得色差点,并将连续的色差点进行连线。计算出的点作为分切点,并将具有闭合连线的分切点进行集合获得分切点集,将分切点集作为分切码。通过计算拐点作为分切码,识别效果更加明显,通过分切码为基准进行重合叠放,避免了大小、角度、方向不同造成差异,提高了替代的兼容性。通过对图片进行多次切割,则我们最后存储的数据分析码头D就是各个图片碎片和其对应的链码,并没有完整的图片或者视频信息,从而增加了大数据信息的隐私性和安全性。对于视频在进行切割时,可以通过对帧图片按照链码和图片碎片反向组装完成,在此不做赘述。对于图片切割可以预设的像素大小进行切割,具体在此不做赘述。所述预设的切割标准可以是一个预设的切割次数,一般为3-5次,具体可以根据保密程度设置,还可以是待切割的非重合区域所占内存大小,例如识别获得待切割的非重合区域所占内存M,并判断M≤(μα+δM),如果是,则停止切割,如果否,则继续进行切割,其中,α为切割计算量,具体数据可以以具体过程中操作的使用计算量获得,μ为计算量占用内存换算系数,可以通过计算性能设置,具体在此不做赘述。δ为信息切割节约比例系数,可以通过图片切割前后占用内存比获得,具体在此不做计算。通过对比切割计算量和实际占用大小,可以判断是否有切割必要,从而最大限度的减少计算量和缩小内存占用。
数据编码单元,用于对获得的数据分析码头D、重合区域坐标空间Dj k的链码Oj进行编码存储。所述的编码为现有技术,增加数据的安全性,例如利用混沌映射函数生成混沌序列,将混沌序列作为密钥序列,由于生成的混沌序列是由混沌映射函数的参数决定的,混沌映射函数的参数是双方约定好的,因而密钥序列也无需进行传输。通过对大数据信息进行切割,只要存储数据分析码头D、链码Oj和非重合区域即可,通过各个大数据信息的链码关系,并通过编码,可以最大限度的增加数据安全性,各个数据之间构成连接关系,在数据入侵并不能直接获得全部历史数据,隐私性好、安全性高,同时占用内存较少,便于存储和传输。例如,视频监控区域,大数据信息是监控视频,视频拍摄大部分是同一画面,且画面内容相同,这样就会占用大量的内存,当监控区域进入事物时,可以通过切割,将进入的事物通过历史视频组合获得,由于存储的事链码,而且通过编码加密,不仅大大减少了占用内容,同时增加了安全性。
显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法,如无特别说明和限定,均按照本领域的常规手段进行实施。
Claims (8)
1.基于隐私计算技术的大数据安全平台,其特征在于,所述的基于隐私计算技术的大数据安全平台包括:信息获取单元、信息存储单元、数据比切单元和数据编码单元;
信息获取单元,用于获取大数据信息;
信息存储单元,信息存储单元用于存储信息获取单元获取的大数据信息;
数据比切单元,获取当前大数据信息Bi,i为大数据信息编号;并与同类型的历史大数据信息进行对比,计算获得两者的重合度C,并获取重合度的最大值MaxC,并判断MaxC是否大于一个预设的C标,如果否,则不对当前大数据信息进行处理并保存至信息存储单元;如果是,则提取与当前数据信息对应的重合度的最大值MaxC的历史大数据信息,进行切割后以其重合区域为数据分析码头D,获得非重合区域的坐标区间dj k和重合区域的坐标空间Dj k,其中j为非重合区域和重合区域的编号,k为切割次数;处理获得重合区域坐标空间Dj k的链码Oj,对非重合区域进行片段扫描对比并计算重合度,如果重合度为1,则获得与非重合区域对应的重合区域的坐标空间,并处理获得的链码;如果重合度小于1,继续进行切割直至到达一个预设的切割标准时,则停止对当前非重合区域的坐标区间dj k进行对比切割,得到重合区域的坐标空间Dj k的链码Oj和最终的非重合区域;
数据编码单元,用于对获得的数据分析码头D、重合区域坐标空间Dj k的链码Oj进行编码存储。
2.根据权利要求1所述的基于隐私计算技术的大数据安全平台,其特征在于,对于不同类型的大数据信息通过设置一个数据类型识别模块进行大数据信息类型的识别,并获得当前大数据信息的信息类型,将信息存储单元按照预先设置的数据类型进行区域划分获得与信息类型一一对应的存储空间,识别后的大数据信息按照信息类型存储到对应的空间内。
3.根据权利要求1或2所述的基于隐私计算技术的大数据安全平台,其特征在于,所述的重合度C计算方法包括对当前大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得多个短文本,将所得短文本汇集获得当前短文本片段集{bi},对历史大数据信息进行扫描,识别出分切码,以分切码为入切点对当前大数据信息进行切割,获得历史短文本片段集群{b1}、……、{bi-1};对当前短文本片段集{bi}和每个历史短文本片段集群{b1}、……、{bi-1}进行短文本对比,提取出每个短文本片段集的重合短文本,并进行编号s,计算每个历史短文本片段集中的各个短文本进行计算当前大数据信息和历史大数据信息的重合度其中,ws为编号为s的短文本长度,w总是当前计算文本总长度。
4.根据权利要求1或2所述的基于隐私计算技术的大数据安全平台,其特征在于,所述的重合度C计算方法包括:从视频或者照片中获得帧图片,对帧图片进行编号,对当前帧图片和历史帧图片进行扫描,识别出至少两个分切码,并以相同的分切码为基准对历史帧图片和当前帧图片进行重合叠放,并计算重合度。
5.根据权利要求4所述的基于隐私计算技术的大数据安全平台,其特征在于,重合度是重合面积所占当前大数据信息面积。
6.根据权利要求5所述的基于隐私计算技术的大数据安全平台,其特征在于,所述的分切码识别方法包括构建一个平面坐标系,并将帧图片植入到平面坐标系中,对帧图片进行处理获得纹理图片,对纹理图片进行识别获得色差点,并将连续的色差点进行连线,计算出的点作为分切点,并将具有闭合连线的分切点进行集合获得分切点集,将分切点集作为分切码。
7.根据权利要求1所述的基于隐私计算技术的大数据安全平台,其特征在于,所述预设的切割标准是一个预设的切割次数。
8.根据权利要求1所述的基于隐私计算技术的大数据安全平台,其特征在于,切割判定包括:识别获得待切割的非重合区域所占内存M,并判断M≤(μα+δM),如果是,则停止切割,如果否,则继续进行切割,其中,α为切割计算量、μ为计算量占用内存换算系数、δ为信息切割节约比例系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310795183.XA CN116842562B (zh) | 2023-06-30 | 2023-06-30 | 基于隐私计算技术的大数据安全平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310795183.XA CN116842562B (zh) | 2023-06-30 | 2023-06-30 | 基于隐私计算技术的大数据安全平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116842562A true CN116842562A (zh) | 2023-10-03 |
CN116842562B CN116842562B (zh) | 2024-03-15 |
Family
ID=88159379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310795183.XA Active CN116842562B (zh) | 2023-06-30 | 2023-06-30 | 基于隐私计算技术的大数据安全平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116842562B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150011610A (ko) * | 2013-07-23 | 2015-02-02 | 주식회사 바넷정보기술 | 정형 및 비정형 데이터를 포함하는 빅데이터에서의 개인정보 익명화 관리 시스템 |
US20170039222A1 (en) * | 2014-04-29 | 2017-02-09 | Farrow Norris Pty Ltd | Method and system for comparative data analysis |
CN107239713A (zh) * | 2017-05-17 | 2017-10-10 | 李晓妮 | 一种敏感内容数据信息防护方法和系统 |
CN107547525A (zh) * | 2017-08-14 | 2018-01-05 | 复旦大学 | 一种大数据查询处理的隐私保护方法 |
CN114117465A (zh) * | 2021-10-21 | 2022-03-01 | 杭州趣链科技有限公司 | 一种可审计的数据链接方法 |
CN114564740A (zh) * | 2021-02-06 | 2022-05-31 | 陈笑男 | 大数据匿名化处理方法及大数据处理设备 |
-
2023
- 2023-06-30 CN CN202310795183.XA patent/CN116842562B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150011610A (ko) * | 2013-07-23 | 2015-02-02 | 주식회사 바넷정보기술 | 정형 및 비정형 데이터를 포함하는 빅데이터에서의 개인정보 익명화 관리 시스템 |
US20170039222A1 (en) * | 2014-04-29 | 2017-02-09 | Farrow Norris Pty Ltd | Method and system for comparative data analysis |
CN107239713A (zh) * | 2017-05-17 | 2017-10-10 | 李晓妮 | 一种敏感内容数据信息防护方法和系统 |
CN107547525A (zh) * | 2017-08-14 | 2018-01-05 | 复旦大学 | 一种大数据查询处理的隐私保护方法 |
CN114564740A (zh) * | 2021-02-06 | 2022-05-31 | 陈笑男 | 大数据匿名化处理方法及大数据处理设备 |
CN114117465A (zh) * | 2021-10-21 | 2022-03-01 | 杭州趣链科技有限公司 | 一种可审计的数据链接方法 |
Non-Patent Citations (1)
Title |
---|
E.K SUBRAMANIAN 等: "Privacy Preservation and Security Provision for Bigdata using Sanitization Method in Green Cloud Environment", JOURNAL OF GREEN ENGINEERING, vol. 10, no. 6, pages 1 - 21 * |
Also Published As
Publication number | Publication date |
---|---|
CN116842562B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111738244B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN112818398B (zh) | 针对大数据隐私保护的数据处理方法及大数据处理设备 | |
CN113032528B (zh) | 案件分析方法、装置、设备及存储介质 | |
CN112995414B (zh) | 基于语音通话的行为质检方法、装置、设备及存储介质 | |
CN110489997A (zh) | 一种基于模式匹配算法的敏感信息脱敏方法 | |
CN111507320A (zh) | 后厨违规行为检测方法、装置、设备和存储介质 | |
Yen et al. | Facial feature extraction using genetic algorithm | |
CN112883980A (zh) | 一种数据处理方法及系统 | |
CN116842562B (zh) | 基于隐私计算技术的大数据安全平台 | |
CN111177450B (zh) | 一种图像检索云识别方法、系统及计算机可读存储介质 | |
CN113688762B (zh) | 基于深度学习的人脸识别方法、装置、设备及介质 | |
CN115859273A (zh) | 一种数据库异常访问的检测方法、装置、设备及存储介质 | |
EP3093793A1 (en) | Fingerprint identification method and device using same | |
Pradhan et al. | Generating digital signature using facial landmlark detection | |
CN111859896A (zh) | 配方文档检测方法、装置、计算机可读介质及电子设备 | |
CN116992496B (zh) | 一种用于企业服务管理的数据资源安全监督系统 | |
CN117459324B (zh) | Gpt模型的访问方法、设备及计算机可读存储介质 | |
CN114627303B (zh) | 基于识别模型的图像处理方法、装置、设备及存储介质 | |
Qazzaz et al. | Embedding Data in Non-Important Gabor Ridges | |
CN117633083A (zh) | 一种大数据服务器的冗余闲时整理系统 | |
CN117892280A (zh) | 视频双因子身份认证方法、系统、电子设备及存储介质 | |
CN114092141A (zh) | 羊毛党识别方法、装置、设备及存储介质 | |
CN113591987A (zh) | 图像识别方法、装置、电子设备和介质 | |
CN116486451A (zh) | 数据传输方法及相关设备 | |
CN111914771A (zh) | 一种证照信息自动比对方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |