CN104573058A - 一种基于HBase的海量图片存储方法及其实现系统 - Google Patents

一种基于HBase的海量图片存储方法及其实现系统 Download PDF

Info

Publication number
CN104573058A
CN104573058A CN201510032775.1A CN201510032775A CN104573058A CN 104573058 A CN104573058 A CN 104573058A CN 201510032775 A CN201510032775 A CN 201510032775A CN 104573058 A CN104573058 A CN 104573058A
Authority
CN
China
Prior art keywords
picture
hbase
module
color histogram
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510032775.1A
Other languages
English (en)
Other versions
CN104573058B (zh
Inventor
袁东风
马翠云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510032775.1A priority Critical patent/CN104573058B/zh
Publication of CN104573058A publication Critical patent/CN104573058A/zh
Application granted granted Critical
Publication of CN104573058B publication Critical patent/CN104573058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于HBase的海量图片存储方法及其实现系统，该方法为：对超过HBase数据库存储数据块HFile的大小的图片进行分割，并对提取出的图片的颜色直方图的特征向量进行加密，该方法的实现系统为：包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。实现了快速上传并安全存储要上传的图片，防止其他非法用户对图片的读取，实现对图片的高效安全存储。

Description

一种基于HBase的海量图片存储方法及其实现系统
技术领域
本发明涉及一种基于HBase的海量图片存储方法及其实现系统，属于大数据存储领域。
背景技术
伴随着计算机网络的发展,海量数据的时代已经到来，视频、图片等非结构化数据在整个数据集中占有着超过80％的空间,而这所有的数量集都有可能被计算处理。对于如此大数据集的分析、管理和挖掘,传统技术包括传统关系数据库是无法胜任的,现阶段主流的数据库工具处理的结构化数据在GB级别,分析大数据集时力不从心,并且目标数据量的处理需求一直在增长,传统技术无法适应这种扩展性。
从拥有数据到预判需求,当务之急是最快最好的分析和理解这些数据。目前，在已拥有的技术和工具中,最成熟也最成功的一套大数据解决方案为Hadoop文件存储计算框架及构架于其上的相关组件，例如分布式数据库HBase。HBase–Hadoop Database是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
目前HBase针对图片存储的解决方案主要有两种：第一种方案是基于HDFS的HBase图片存储解决方案，HDFS是Hadoop Distributed File System的简称，是Hadoop分布式文件系统，此方案通过将非结构化的图片数据保存到HDFS中，而将图片文件的索引存储在HBase中。仅仅让HBase管理容量较小的图片文件的索引，减少了HBase中对于图片等大对象数据频繁Split(分裂)和Compaction(合并)的触发，提高HBase的写性能。另外一种方案是直接将图片数据以字节的形式存储到HBase中。这种方法的优点是实现简单，也方便对数据进行管理。每个用户保存在HBase中的图片都是私人信息，但是，目前存在的这两种针对图片存储的解决方案都无法解决图片存储的安全性问题，无法防止其他用户的随机访问。
中国专利文献CN104199899A公开了一种基于Hbase的海量图片存储方法及装置，包括：读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息为图片的属性信息与图片的原始索引信息；确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。但是，该专利只涉及将图片的结构化文本信息保存到一个指定的Mapfile文件中，与上述第二种方案类似，未能解决图片存储的安全性问题。
发明内容
针对现有技术的不足，本发明公开了一种基于HBase的海量图片存储方法；
本发明还公开了上述方法的实现系统；
本发明通过对用户上传的图片进行加密并且结合Hadoop的分布式计算框架MapReduce，实现将用户的私人图片安全、高效的上传到HBase数据库。
本发明的技术方案如下：
一种基于HBase的海量图片存储方法，具体步骤包括：
(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；
(2)提取图片特征值,所述图片特征值包括色彩、饱和度、值，计算图片的颜色直方图；
(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；
(4)将加密后的数据生成HFile文件，存入HBase数据库。
提取图片特征值，计算图片的颜色直方图,方便以后用户检索图片时对上传图片与HBase数据库中的图片的相似度进行比较。
根据本发明优选的，计算图片的颜色直方图，具体是指：
颜色量化，即将图片的颜色空间划分成若干个小的颜色区间，每个小的颜色区间成为颜色直方图的一个bin；计算颜色落在每个小的颜色区间内的像素数量得到颜色直方图。
根据本发明优选的，所述利用同态加密算法对图片特征值进行加密，所述同态加密算法是指Paillier算法，具体步骤包括：
a、随机的选取两个素数p和q，且满足pq和(p-1)(q-1)的最大公约数为1；
b、设n＝pq,计算n，λ＝lcm(p-1,q-1)，λ为(p-1)与(q-1)的最小公倍数，函数lcm用来求取两数的最小公倍数；
c、选取随机数是指所有与n2互为素数的整数，计算私钥中的一个参数μ，计算公式如下；
μ＝(L(gλmodn2))-1mod n
式中，t mod t’表示t对t’求余数，函数L的定义为L(s)＝(s-1)/n,
此时，公钥为(n,g)，私钥为(λ,μ)；
d、Paillier加解密：对于明文m，m∈Zn，m表示明文，即需要加密的原始数据，也即步骤(2)所述颜色直方图的特征向量；Zn表示所有与n互为素数的整数，并选择随机数rr，
则加密过程为：c＝gm·rnmod n2，
其中，c表示加密后的密文；
解密过程为：m＝L(cλmod n2)·μmod n。
同态加密中，对加密后的数据进行加法或者乘法操作后进行解密，与直接对未加密的数据进行同样的加法或者乘法操作后得到的结果相同。
根据本发明优选的，所述对图片进行分割，具体是指，指将图片分割成大小的均等的若干个切片，切片的大小与HBase数据库存储数据块HFile的大小的差t满足|t|≦s，s＝5kb，将分割后的所有切片保存到同样的行健、列族中，HBase数据库按照切片的顺序自动打上时间戳并保存。
上述方法的实现系统，包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。
本发明的有益效果为：
本发明对对超过HBase数据库存储数据块HFile的大小的图片进行分割，提取出图片的特征值，并对提取出的图片的颜色直方图的特征向量进行加密存储，实现了快速上传并安全存储要上传的图片，防止其他非法用户对图片的读取，实现对图片的高效安全存储。
附图说明
图1为本发明所述一种基于HBase的海量图片存储方法流程图；
图2为本发明所述一种基于HBase的海量图片存储方法的实现系统示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于HBase的海量图片存储方法，具体步骤包括：
(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；
(2)提取图片特征值,所述图片特征值包括色彩、饱和度、值，计算图片的颜色直方图；
(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；
(4)将加密后的数据生成HFile文件，存入HBase数据库。
提取图片特征值，计算图片的颜色直方图,方便以后用户检索图片时对上传图片与HBase数据库中的图片的相似度进行比较。
实施例2
根据实施例1所述图片存储方法，其区别在于，计算图片的颜色直方图，具体是指：颜色量化，即将图片的颜色空间划分成若干个小的颜色区间，每个小的颜色区间成为颜色直方图的一个bin；计算颜色落在每个小的颜色区间内的像素数量得到颜色直方图。
实施例3
根据实施例1所述图片存储方法，其区别在于，所述利用同态加密算法对图片特征值进行加密，所述同态加密算法是指Paillier算法，具体步骤包括：
a、随机的选取两个素数p和q，且满足pq和(p-1)(q-1)的最大公约数为1；
b、设n＝pq,计算n，λ＝lcm(p-1,q-1)，λ为(p-1)与(q-1)的最小公倍数，函数lcm用来求取两数的最小公倍数；
c、选取随机数是指所有与n2互为素数的整数，计算私钥中的一个参数μ，计算公式如下；
μ＝(L(gλmod n2))-1mod n
式中，t mod t’表示t对t’求余数，函数L的定义为L(s)＝(s-1)/n,
此时，公钥为(n,g)，私钥为(λ,μ)；
d、Paillier加解密：对于明文m，m∈Zn，m表示明文，即需要加密的原始数据，也即步骤(2)所述颜色直方图的特征向量；Zn表示所有与n互为素数的整数，并选择随机数·r，
则加密过程为：c＝gm·rnmod n2，
其中，c表示加密后的密文；
解密过程为：m＝L(cλmod n2)·μmod n。
同态加密中，对加密后的数据进行加法或者乘法操作后进行解密，与直接对未加密的数据进行同样的加法或者乘法操作后得到的结果相同。
实施例4
根据实施例1所述图片存储方法，其区别在于，所述对图片进行分割，具体是指，指将图片分割成大小的均等的若干个切片，切片的大小与HBase数据库存储数据块HFile的大小的差t满足|t|≦s，s＝5kb，将分割后的所有切片保存到同样的行健、列族中，HBase数据库按照切片的顺序自动打上时间戳并保存。
实施例5
根据实施例1-4任一所述图片存储方法的实现系统，其区别在于，包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。

Claims (5)

1.一种基于HBase的海量图片存储方法，其特征在于，具体步骤包括：
(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；
(2)提取图片特征值,所述图片特征值包括色彩、饱和度、值，计算图片的颜色直方图；
(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；
(4)将加密后的数据生成HFile文件，存入HBase数据库。
2.根据权利要求1所述图片存储方法，其特征在于，计算图片的颜色直方图，具体是指：颜色量化，即将图片的颜色空间划分成若干个小的颜色区间，每个小的颜色区间成为颜色直方图的一个bin；计算颜色落在每个小的颜色区间内的像素数量得到颜色直方图。
3.根据权利要求1所述图片存储方法，其特征在于，所述利用同态加密算法对图片特征值进行加密，所述同态加密算法是指Paillier算法，具体步骤包括：
a、随机的选取两个素数p和q，且满足pq和(p-1)(q-1)的最大公约数为1；
b、设n＝pq,计算n，λ＝lcm(p-1,q-1)，λ为(p-1)与(q-1)的最小公倍数，函数lcm用来求取两数的最小公倍数；
c、选取随机数g， 是指所有与n2互为素数的整数，计算私钥中的一个参数μ，计算公式如下；
μ＝(L(gλmodn2))-1modn
式中，t mod t’表示t对t’求余数，函数L的定义为L(s)＝(s-1)/n,
此时，公钥为(n,g)，私钥为(λ,μ)；
d、Paillier加解密：对于明文m，m∈Zn，m表示明文，即需要加密的原始数据，也即步骤(2)所述颜色直方图的特征向量；Zn表示所有与n互为素数的整数，并选择随机数r， r ∈ Z n * ;
则加密过程为：c＝gm·rnmodn2，
其中，c表示加密后的密文；
解密过程为：m＝L(cλmodn2)·μmodn。
4.根据权利要求1所述图片存储方法，其特征在于，所述对图片进行分割，具体是指，指将图片分割成大小的均等的若干个切片，切片的大小与HBase数据库存储数据块HFile的大小的差t满足|t|≦s，s＝5kb，将分割后的所有切片保存到同样的行健、列族中，HBase数据库按照切片的顺序自动打上时间戳并保存。
5.根据权利要求1-4任一所述图片存储方法的实现系统，其特征在于，包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。
CN201510032775.1A 2015-01-22 2015-01-22 一种基于HBase的海量图片存储方法及其实现系统 Active CN104573058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510032775.1A CN104573058B (zh) 2015-01-22 2015-01-22 一种基于HBase的海量图片存储方法及其实现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510032775.1A CN104573058B (zh) 2015-01-22 2015-01-22 一种基于HBase的海量图片存储方法及其实现系统

Publications (2)

Publication Number Publication Date
CN104573058A true CN104573058A (zh) 2015-04-29
CN104573058B CN104573058B (zh) 2018-11-13

Family

ID=53089120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510032775.1A Active CN104573058B (zh) 2015-01-22 2015-01-22 一种基于HBase的海量图片存储方法及其实现系统

Country Status (1)

Country Link
CN (1) CN104573058B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295403A (zh) * 2016-10-11 2017-01-04 北京集奥聚合科技有限公司 一种基于hbase的数据安全处理方法及系统
CN109918519A (zh) * 2019-02-26 2019-06-21 重庆善功科技有限公司 一种面向海量延时摄影胚胎图像存储与查询的方法及系统
CN111294482A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种图像处理方法及系统
CN111930978A (zh) * 2020-07-10 2020-11-13 南京南瑞信息通信科技有限公司 基于HBase的电网图片存储方法、介质和计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103073A1 (en) * 2001-12-04 2003-06-05 Toru Yokoyama File conversion method, file converting device, and file generating device
CN103744976A (zh) * 2014-01-13 2014-04-23 北京工业大学 一种基于同态加密的图像安全检索方法
CN103812638A (zh) * 2014-01-22 2014-05-21 北京工业大学 一种加密域surf图像特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103073A1 (en) * 2001-12-04 2003-06-05 Toru Yokoyama File conversion method, file converting device, and file generating device
CN103744976A (zh) * 2014-01-13 2014-04-23 北京工业大学 一种基于同态加密的图像安全检索方法
CN103812638A (zh) * 2014-01-22 2014-05-21 北京工业大学 一种加密域surf图像特征提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295403A (zh) * 2016-10-11 2017-01-04 北京集奥聚合科技有限公司 一种基于hbase的数据安全处理方法及系统
CN109918519A (zh) * 2019-02-26 2019-06-21 重庆善功科技有限公司 一种面向海量延时摄影胚胎图像存储与查询的方法及系统
CN111294482A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种图像处理方法及系统
CN111930978A (zh) * 2020-07-10 2020-11-13 南京南瑞信息通信科技有限公司 基于HBase的电网图片存储方法、介质和计算设备

Also Published As

Publication number Publication date
CN104573058B (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN107480163B (zh) 一种云环境下支持隐私保护的高效密文图像检索方法
Zhang et al. Pop: Privacy-preserving outsourced photo sharing and searching for mobile devices
CN105871543B (zh) 多数据拥有者背景下基于属性的多关键字密文检索方法
Zhao et al. TPE2: Three-pixel exact thumbnail-preserving image encryption
CN103744976B (zh) 一种基于同态加密的图像安全检索方法
Cheng et al. Encrypted JPEG image retrieval using block-wise feature comparison
WO2018184407A1 (zh) 一种具有隐私保护的K-means聚类方法及系统
Cui et al. Harnessing encrypted data in cloud for secure and efficient mobile image sharing
CN106875325B (zh) 一种可搜索图像加密算法
CN106559422B (zh) 基于密钥协商的多维密文区间查询方法
Jin et al. Color image encryption in non-RGB color spaces
CN109543061A (zh) 一种支持多密钥的加密图像检索方法
Hamza et al. An efficient cryptosystem for video surveillance in the internet of things environment
CN104573058A (zh) 一种基于HBase的海量图片存储方法及其实现系统
Cheng et al. AC-coefficient histogram-based retrieval for encrypted JPEG images
CN110866135B (zh) 一种基于响应长度隐藏的k-NN图像检索方法及系统
CN111541679A (zh) 一种云环境下基于秘密共享的图像安全检索方法
Xu et al. A Cryptograph Domain Image Retrieval Method Based on Paillier Homomorphic Block Encryption.
Cui et al. Harnessing encrypted data in cloud for secure and efficient image sharing from mobile devices
CN108011713B (zh) 一种云存储中基于同态加密的密文检索方法
CN109409111B (zh) 一种面向加密图像的模糊搜索方法
Jin et al. Efficient blind face recognition in the cloud
Tian et al. CAPIA: Cloud assisted privacy-preserving image annotation
Li et al. Ftpe-Bc: Fast Thumbnail-Preserving Image Encryption Using Block-Churning
CN109672525A (zh) 一种具有高效前向索引的可搜索公钥加密方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant