CN112597520A - 基于数据分割的数据处理系统及方法 - Google Patents
基于数据分割的数据处理系统及方法 Download PDFInfo
- Publication number
- CN112597520A CN112597520A CN202011590091.0A CN202011590091A CN112597520A CN 112597520 A CN112597520 A CN 112597520A CN 202011590091 A CN202011590091 A CN 202011590091A CN 112597520 A CN112597520 A CN 112597520A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- original
- covert
- secret
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 68
- 238000013500 data storage Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 3
- 238000010408 sweeping Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013523 data management Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Storage Device Security (AREA)
Abstract
本发明数据处理技术领域，具体涉及基于数据分割的数据处理系统及方法。所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点。其利用将数据转换为图像，再通过图像分析和识别来得到图像特征，该图像特征能够反映对应的数据中的特征，得到数据中的隐秘数据部分，再针对隐秘数据进行加密，提升了数据加密处理的效率，同时，因为只对部分数据进行加密，在数据利用和提取时，也提升了效率。
Description
技术领域
本发明属于数据处理技术领域，具体涉及基于数据分割的数据处理系统及方法。
背景技术
数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输。
数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
数据分割是指把逻辑上是统一整体的数据分割成较小的、可以独立管理的物理单元进行存储，以便于重构、重组和恢复，以提高创建索引和顺序扫描的效率。数据分割使数据仓库的开发人员和使用者具有更大的灵活性。
现有技术中，专利号为CN201210515917.6A的专利公开了一种数据加密方法及装置、数据解密方法及装置，该方法包括：获取敏感数据，判断所述敏感数据的数据类型属于字符型或数值型；若所述敏感数据的数据类型属于字符型，则提取所述敏感数据中的单个原始字符，将所述单个原始字符转换成加密字符集中的加密字符，所述敏感数据即转换为加密数据；若所述敏感数据的数据类型属于数值型，则将所述敏感数据后N位原始数字转换成N位加密数字，所述敏感数据即转换为所述加密数据。本发明通过保留原数据格式的方式对数据进行加密，使得加密数据在数据存储系统中所需要的存储空间不变，减少了传统加密算法的系统开销和通讯开销。
其虽然公开了针对敏感数据进行加密的方法，但其没有公开如何识别敏感数据以及敏感数据的处理的方法。
发明内容
有鉴于此，本发明的主要目的在于提供基于数据分割的数据处理系统及方法，其利用将数据转换为图像，再通过图像分析和识别来得到图像特征，该图像特征能够反映对应的数据中的特征，得到数据中的隐秘数据部分，再针对隐秘数据进行加密，提升了数据加密处理的效率，同时，因为只对部分数据进行加密，在数据利用和提取时，也提升了效率。
为达到上述目的，本发明的技术方案是这样实现的：
基于数据分割的数据处理系统，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像分析单元，配置用于对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；数据加密单元，配置用于为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
进一步的，所述图像分析单元获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
进一步的，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
进一步的，所述数据加密单元，为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
进一步的，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库还包括：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
一基于数据分割的数据处理方法，所述方法执行以下步骤：将原始数据转换为二进制数据；将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
进一步的，所述获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
进一步的，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
进一步的，所述为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
进一步的，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库还包括：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
本发明的基于数据分割的数据处理系统及方法，具有如下有益效果：其利用将数据转换为图像，再通过图像分析和识别来得到图像特征，该图像特征能够反映对应的数据中的特征，得到数据中的隐秘数据部分，再针对隐秘数据进行加密，提升了数据加密处理的效率，同时，因为只对部分数据进行加密，在数据利用和提取时，也提升了效率。主要通过以下过程实现：1.数据和图像的转换，本发明通过将数据转换为图像，再通过对图像进行扫描和特征分析，利用图像来反应数据的特征，进而实现数据中的隐秘数据和非隐秘数据；2.数据的分类处理，本发明通过识别数据中的隐秘数据和非隐秘数据，实现了同一数据中不同部分的分类处理，针对隐秘数据进行加密，提升了数据的安全性，针对非隐秘数据不进行加密，提升了数据的使用效率，同时由于加密时，只针对部分数据进行加密，提升了数据的加密效率；3.数据扫描方法，本发明针对图像进行扫描时，使用的算法为隔行隔列降采样，同时针对图像进行分层扫描，其扫描效率更高；4.特征分析方法，本发明基于预设的多维度特征分析函数，进行多维度特征分析，得到的分析结果更能反映数据本身的特征。
附图说明
图1为本发明实施例提供的基于数据分割的数据处理系统的系统结构示意图；
图2为本发明实施例提供的基于数据分割的数据处理方法的方法流程示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示，基于数据分割的数据处理系统，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像分析单元，配置用于对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；数据加密单元，配置用于为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
具体的，其利用将数据转换为图像，再通过图像分析和识别来得到图像特征，该图像特征能够反映对应的数据中的特征，得到数据中的隐秘数据部分，再针对隐秘数据进行加密，提升了数据加密处理的效率，同时，因为只对部分数据进行加密，在数据利用和提取时，也提升了效率。主要通过以下过程实现：1.数据和图像的转换，本发明通过将数据转换为图像，再通过对图像进行扫描和特征分析，利用图像来反应数据的特征，进而实现数据中的隐秘数据和非隐秘数据；2.数据的分类处理，本发明通过识别数据中的隐秘数据和非隐秘数据，实现了同一数据中不同部分的分类处理，针对隐秘数据进行加密，提升了数据的安全性，针对非隐秘数据不进行加密，提升了数据的使用效率，同时由于加密时，只针对部分数据进行加密，提升了数据的加密效率；3.数据扫描方法，本发明针对图像进行扫描时，使用的算法为隔行隔列降采样，同时针对图像进行分层扫描，其扫描效率更高；4.特征分析方法，本发明基于预设的多维度特征分析函数，进行多维度特征分析，得到的分析结果更能反映数据本身的特征。
实施例2
在上一实施例的基础上，所述图像分析单元获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
具体的，目前电信运营商都存储了海量的客户敏感数据，传统技术中对客户敏感数据采用的是DES加密方法，系统开销大，通讯开销成本较高。比如对客户姓名使用RC2算法加密后，数据长度由原来的8位变为64位，需要对数据库字段进行扩位，大大增加了系统开销。
实施例3
在上一实施例的基础上，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
具体的，专用密钥，又称为对称密钥或单密钥，加密和解密时使用同一个密钥，即同一个算法。如DES和MIT的Kerberos算法。单密钥是最简单方式，通信双方必须交换彼此密钥，当需给对方发信息时，用自己的加密密钥进行加密，而在接收方收到数据后，用对方所给的密钥进行解密。当一个文本要加密传送时，该文本用密钥加密构成密文，密文在信道上传送，收到密文后用同一个密钥将密文解出来，形成普通文体供阅读。在对称密钥中，密钥的管理极为重要，一旦密钥丢失，密文将无密可保。这种方式在与多方通信时因为需要保存很多密钥而变得很复杂，而且密钥本身的安全就是一个问题。
实施例4
在上一实施例的基础上，所述数据加密单元，为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
具体的，公开密钥，又称非对称密钥，加密和解密时使用不同的密钥，即不同的算法，虽然两者之间存在一定的关系，但不可能轻易地从一个推导出另一个。有一把公用的加密密钥，有多把解密密钥，如RSA算法。
非对称密钥由于两个密钥(加密密钥和解密密钥)各不相同，因而可以将一个密钥公开，而将另一个密钥保密，同样可以起到加密的作用。
在这种编码过程中，一个密码用来加密消息，而另一个密码用来解密消息。在两个密钥中有一种关系，通常是数学关系。公钥和私钥都是一组十分长的、数字上相关的素数(是另一个大数字的因数)。有一个密钥不足以翻译出消息，因为用一个密钥加密的消息只能用另一个密钥才能解密。每个用户可以得到唯一的一对密钥，一个是公开的，另一个是保密的。公共密钥保存在公共区域，可在用户中传递，甚至可印在报纸上面。而私钥必须存放在安全保密的地方。任何人都可以有你的公钥，但是只有你一个人能有你的私钥。它的工作过程是：“你要我听你的吗？除非你用我的公钥加密该消息，我就可以听你的，因为我知道没有别人在偷听。只有我的私钥(其他人没有)才能解密该消息，所以我知道没有人能读到这个消息。我不必担心大家都有我的公钥，因为它不能用来解密该消息。”
公开密钥的加密机制虽提供了良好的保密性，但难以鉴别发送者，即任何得到公开密钥的人都可以生成和发送报文。数字签名机制提供了一种鉴别方法，以解决伪造、抵赖、冒充和篡改等问题。
实施例5
在上一实施例的基础上，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库还包括：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
具体的，数据处理是从大量的原始数据抽取出有价值的信息，即数据转换成信息的过程。主要对所输入的各种形式的数据进行加工整理，其过程包含对数据的收集、存储、加工、分类、归并、计算、排序、转换、检索和传播的演变与推导全过程。
数据管理是指数据的收集整理、组织、存储、维护、检索、传送等操作，是数据处理业务的基本环节，而且是所有数据处理过程中必有得共同部分。
数据处理中，通常计算比较简单，且数据处理业务中的加工计算因业务的不同而不同，需要根据业务的需要来编写应用程序加以解决。而数据管理则比较复杂，由于可利用的数据呈爆炸性增长，且数据的种类繁杂，从数据管理角度而言，不仅要使用数据，而且要有效地管理数据。因此需要一个通用的、使用方便且高效的管理软件，把数据有效地管理起来。
数据处理与数据管理是相联系的，数据管理技术的优劣将对数据处理的效率产生直接影响。而数据库技术就是针对该需求目标进行研究并发展和完善起来的计算机应用的一个分支。
大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，天互数据总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。
实施例6
基于数据分割的数据处理方法，所述方法执行以下步骤：将原始数据转换为二进制数据；将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
具体的，其利用将数据转换为图像，再通过图像分析和识别来得到图像特征，该图像特征能够反映对应的数据中的特征，得到数据中的隐秘数据部分，再针对隐秘数据进行加密，提升了数据加密处理的效率，同时，因为只对部分数据进行加密，在数据利用和提取时，也提升了效率。
实施例7
在上一实施例的基础上，所述获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
具体的，本发明通过将数据转换为图像，再通过对图像进行扫描和特征分析，利用图像来反应数据的特征，进而实现数据中的隐秘数据和非隐秘数据。
实施例8
在上一实施例的基础上，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
实施例9
在上一实施例的基础上，所述为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
具体的，数据扫描方法，本发明针对图像进行扫描时，使用的算法为隔行隔列降采样，同时针对图像进行分层扫描，其扫描效率更高；特征分析方法，本发明基于预设的多维度特征分析函数，进行多维度特征分析，得到的分析结果更能反映数据本身的特征。
具体的，本发明通过识别数据中的隐秘数据和非隐秘数据，实现了同一数据中不同部分的分类处理，针对隐秘数据进行加密，提升了数据的安全性，针对非隐秘数据不进行加密，提升了数据的使用效率，同时由于加密时，只针对部分数据进行加密，提升了数据的加密效率。
实施例10
在上一实施例的基础上，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库还包括：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。
Claims (10)
1.基于数据分割的数据处理系统，其特征在于，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像分析单元，配置用于对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；数据加密单元，配置用于为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
2.如权利要求1所述的系统，其特征在于，所述图像分析单元获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
3.如权利要求2所述的系统，其特征在于，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
4.如权利要求3所述的系统，其特征在于，所述数据加密单元，为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
5.如权利要求4所述的系统，其特征在于，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库包括还：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
6.一种基于权利要求1至5之一所述系统的基于数据分割的数据处理方法，其特征在于，所述方法执行以下步骤：将原始数据转换为二进制数据；将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；对数据图像按照设定的分析模型进行图像识别分析，获取数据图像中符合隐秘数据图像特征的部分，将该部分对应的原始数据进行提取，得到原始隐秘数据，剩余部分作为非隐秘数据；为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据；根据所述隐秘数据的序号、所述填充数据和加密数据，生成映射表；同时根据所述隐秘数据的序号、所述映射表的名词和所述隐秘数据对应的原始文档名称，生成索引表；据所述映射表和所述索引表，生成隐秘数据的信息安全卡，并根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库。
7.如权利要求6所述的方法，其特征在于，所述获取得到数据图像中符合隐秘数据图像特征的部分包括：将数据图像的边缘作为扫描的最外层，使用扫描函数，对数据图像进行隔行隔列降采样；所述扫秒函数表达式为：
其中，Ν表示扫描的层数，取值范围为5～10，i表示高斯金字塔第1图像的列数，j表示高斯金字塔第1图像的行数，W(m，n)为5X5的窗口函数；扫描后将得到图像的扫描特征；基于得到的扫描特征，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分。
8.如权利要求7所述的方法，其特征在于，所述基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分包括：对图像的扫描特征进行阈值分割，得到分割结果BW，将分割结果BW进行一次开闭运算，基于预设的多维度特征分析函数，进行多维度特征分析，得到图像的隐秘部分；所述多维度特征分析函数表达式为：
式中，g(x，y)为图像中像素点(x，y)的灰度值，n为维度数量，取值范围为3～12。
9.如权利要求8所述的方法，其特征在于，所述为原始隐秘数据添加序号，将填充数据添加至所述原始隐秘数据中，得到加密数据包括：为原始隐秘数据添加序号，随机生成一组填充数据，将填充数据以固定间隔填充进原始隐秘数据中，再对原始隐秘数据进行加密。
10.如权利要求9所述的方法，其特征在于，所述数据加密单元根据预设的隐秘数据存储策略，将所述隐秘数据的信息安全卡存入数据库包括还：根据共享数据生成共享数据的信息安全卡；根据预设的共享数据存储策略，将所述共享数据的信息安全卡存入数据库；其中，所述共享数据包括所述非隐秘数据和所述加密数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011590091.0A CN112597520B (zh) | 2020-12-28 | 2020-12-28 | 基于数据分割的数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011590091.0A CN112597520B (zh) | 2020-12-28 | 2020-12-28 | 基于数据分割的数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597520A true CN112597520A (zh) | 2021-04-02 |
| CN112597520B CN112597520B (zh) | 2023-01-17 |
Family
ID=75202898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011590091.0A Active CN112597520B (zh) | 2020-12-28 | 2020-12-28 | 基于数据分割的数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597520B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002039411A1 (en) * | 2000-11-10 | 2002-05-16 | Alphalogix Co., Ltd. | Apparatus and method for encrypting/decrypting information on a pixel-by-pixel basis and encryption/decryption system using the same |
| CN104468090A (zh) * | 2014-11-12 | 2015-03-25 | 辽宁大学 | 基于图像像素坐标的汉字密码编码方法 |
| CN105872305A (zh) * | 2016-04-13 | 2016-08-17 | 宁波工程学院 | 一种完全可分离的加密域图像可逆数据隐藏方法 |
| CN105893871A (zh) * | 2016-03-29 | 2016-08-24 | 清华大学 | 一种基于数据分割的数据安全保护方法及装置 |
| CN106408501A (zh) * | 2016-09-21 | 2017-02-15 | 成都创慧科达科技有限公司 | 一种基于图像识别技术的加密装置及方法 |
| CN106504179A (zh) * | 2016-10-31 | 2017-03-15 | 重庆邮电大学 | 一种基于边缘检测的灰度图像隐写方法 |
| WO2018002944A1 (en) * | 2016-07-01 | 2018-01-04 | Hewlett-Packard Development Company, L.P. | Converting binary data to images |
| CN109688289A (zh) * | 2018-12-25 | 2019-04-26 | 秒针信息技术有限公司 | 一种图像加密传输、图像解密方法及装置 |
| CN109872284A (zh) * | 2019-01-18 | 2019-06-11 | 平安普惠企业管理有限公司 | 图像信息脱敏方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-28 CN CN202011590091.0A patent/CN112597520B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002039411A1 (en) * | 2000-11-10 | 2002-05-16 | Alphalogix Co., Ltd. | Apparatus and method for encrypting/decrypting information on a pixel-by-pixel basis and encryption/decryption system using the same |
| CN104468090A (zh) * | 2014-11-12 | 2015-03-25 | 辽宁大学 | 基于图像像素坐标的汉字密码编码方法 |
| CN105893871A (zh) * | 2016-03-29 | 2016-08-24 | 清华大学 | 一种基于数据分割的数据安全保护方法及装置 |
| CN105872305A (zh) * | 2016-04-13 | 2016-08-17 | 宁波工程学院 | 一种完全可分离的加密域图像可逆数据隐藏方法 |
| WO2018002944A1 (en) * | 2016-07-01 | 2018-01-04 | Hewlett-Packard Development Company, L.P. | Converting binary data to images |
| CN106408501A (zh) * | 2016-09-21 | 2017-02-15 | 成都创慧科达科技有限公司 | 一种基于图像识别技术的加密装置及方法 |
| CN106504179A (zh) * | 2016-10-31 | 2017-03-15 | 重庆邮电大学 | 一种基于边缘检测的灰度图像隐写方法 |
| CN109688289A (zh) * | 2018-12-25 | 2019-04-26 | 秒针信息技术有限公司 | 一种图像加密传输、图像解密方法及装置 |
| CN109872284A (zh) * | 2019-01-18 | 2019-06-11 | 平安普惠企业管理有限公司 | 图像信息脱敏方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 包雪娜，刘佩林: "基于同步分层运动估计架构的参考帧压缩方法", 《信息技术》, no. 3, 25 March 2012 (2012-03-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597520B (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7017182B2 (en) | Method of securely transmitting information | |
| CN105323064A (zh) | 于线上加上即时文件动态标签、加密的系统及方法 | |
| JP2005010826A (ja) | 認証端末装置、生体情報認証システム、及び生体情報取得システム | |
| CN114640523B (zh) | 一种计算机数据安全加密方法及系统 | |
| CN113411328B (zh) | 一种基于数据预辨识敏感数据高效传输系统 | |
| CN111177763A (zh) | 一种文件多重加密的二维码电子加密解密管理系统及方法 | |
| CN107426172A (zh) | 一种身份信息的匹配推送方法及装置 | |
| Jain et al. | Diagonal queue medical image steganography with Rabin cryptosystem | |
| CN115758422A (zh) | 一种文件加密方法及系统 | |
| Punithavathi et al. | Visual cryptography: A brief survey | |
| CN110535630B (zh) | 密钥生成方法、装置及存储介质 | |
| US6023511A (en) | Cryptosystem for encrypting digital image or voice file | |
| GB2457491A (en) | Identifying a remote network user having a password | |
| CN112597520B (zh) | 基于数据分割的数据处理系统及方法 | |
| US20020017781A1 (en) | Seat belt guide | |
| CN114422230B (zh) | 一种基于数据加密的信息传输系统 | |
| CN201063641Y (zh) | 含有人体信息的高度安全的加密解密装置 | |
| Wazery et al. | A hybrid technique based on RSA and data hiding for securing handwritten signature | |
| CN110266641A (zh) | 信息读取方法及装置 | |
| CN111970207A (zh) | 一种基于视频二维码识别的安全实时数据传输系统及方法 | |
| KR970005596B1 (ko) | 디지틀 정보의 암호화 및 복호화 방법 | |
| Lin et al. | A confused Document Encrypting Scheme and its implementation | |
| Zaki | Cryptographic key generation using fingerprint biometrics | |
| Arumugam | An effective hybrid encryption model using biometric key for ensuring data security. | |
| Tasevski et al. | StegYou: model for hiding, retrieving and detecting digital data in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221221 Address after: 908, block a, floor 8, No. 116, Zizhuyuan Road, Haidian District, Beijing 100089 Applicant after: ZHONGZI DATA CO.,LTD. Applicant after: CHINA HIGHWAY ENGINEERING CONSULTING Corp. Address before: 253039 No.150, Honghai Road, Luquantun Town, Wucheng County, Dezhou City, Shandong Province Applicant before: Dezhou Zhengjie Electric Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |