CN108647290A - 基于HBase的互联网手机云相册备份查询方法及系统 - Google Patents
基于HBase的互联网手机云相册备份查询方法及系统 Download PDFInfo
- Publication number
- CN108647290A CN108647290A CN201810423732.XA CN201810423732A CN108647290A CN 108647290 A CN108647290 A CN 108647290A CN 201810423732 A CN201810423732 A CN 201810423732A CN 108647290 A CN108647290 A CN 108647290A
- Authority
- CN
- China
- Prior art keywords
- hbase
- user
- clouds
- user terminal
- rowkey
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Abstract
本发明公开了一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：S1：用户上传照片,生成文件MD5值；S2：检索照片，并用户终端输出已经按时间排好序的图片数据；S3：删除照片。本发明中Hbase本身是一套分布式集群系统，海量数据可以分布到各个不同的节点，实现协同工作，达到加大吞吐量效果，通过Hbase rowKey的设计，省略了全表扫描的问题，解决传统海量数据查询慢的事实，加大了系统的吞吐量，提高了响应速度。
Description
技术领域
本发明属于太阳能电池装置技术领域，具体涉及一种基于HBase的互联网手机云相册备份查询方法，同时，本发明还公开了一种基于HBase的互联网手机云相册备份查询系统。
背景技术
在互联网手机时代，手机联网已经是常态，手机拍照的频率相当高，统计发现一年下来手机拍照少则100张左右，多则上达10000以上。然而，手机用户常常觉得自己拍的照片放在本地手机存储不安全，可能有丢失、误删的危险。那么，云端存储照片的需求就孕育而生，也是必须的。在现实生活中，用户照片资源的数量是海量的，更无法统计的，尤其是有的用户会保存好几年的相片。加大了云端对海量照片的存储、检索查询的难度，造成了相当大空间浪费。我们假设一个云端平台有100万用户(大的平台不仅仅这些)，每个用户一年需要备份暂时有2000张照片到云端，每个人保存3年，那么整个云端平台记录总数为1000000*2000*3条，即60亿条，使用传统的关系型数据库已经无法应付，特别对于关系型数据库的检索、排序。当今数据的存储主要用到关系型数据库。应对海量数据，只能进行分表分库存储，然后再处理端要加一层额外的处理哪个用户对应哪个库，哪个表进行存储、查询。
以上技术实现缺点有：
1.加大了处理端的开发复杂度；2.极大的浪费数据库服务器资源；3.拓展性不好；4.查询响应速度不够快。基于此，现提供基于HBase的方法，以解决上述海量互联网云相册备份查询的问题
发明内容
本发明的目的在于提供一种基于HBase的互联网手机云相册备份查询方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：
S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；
S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：
StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)
EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)
检索结束后，向用户终端输出已经按时间排好序的图片数据；
S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbase client完成删除。
同时，本发明还公开了一种基于HBase的互联网手机云相册备份查询系统，包括：
用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作；
云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反馈并发送至用户终端的应用APP服务内；
Hbase集群，用于存储用户照片信息路径；
Hadoop分布式文件系统，用于存储用户照片文件。
优选的，所述云端请求处理系统的前端配置有负载均衡服务器，用于运行多个云端请求处理系统，手机端的请求通过负责均衡平均分布，将云端请求处理程序和HBase集群以及Hadoop分布式文件系统放在同一个网络内，相互可以访问，保持互通。
优选的，所述Hbase集群中还存储有文件的具体位置相对信息、文件大小、地理位置信息。
优选的，所述Hbase集群采用RowKey索引方式，Hbase Rowkey的二进制序由小到大进行存放，Hbase读取数据的scan可以通过setStartRow与setEndRow来限定范围，范围越小，性能越高，RowKey＝用户ID_时间long_文件MD5值，由于拉取数据要按时间排序，为将数据按时间倒序排序存放，可以将时间戳反转，用Long.Max_Value-timestamp追加到Key的末尾，这是用户ID末尾，最终RowKey＝用户ID_(Long.Max_Value-时间long)_文件MD5值。
优选的，所述用户终端包括手机和平板电脑，用于存储和上传照片，并通过3G/4G通讯、WIFI通讯与云端请求处理系统通讯连接。
本发明的技术效果和优点：
1、Hbase本身是一套分布式集群系统，海量数据可以分布到各个不同的节点，实现协同工作，达到加大吞吐量效果。
2、通过Hbase rowKey的设计，省略了全表扫描的问题，解决传统海量数据查询慢的事实，加大了系统的吞吐量，提高了响应速度。
附图说明
图1为本发明一种基于HBase的互联网手机云相册备份查询系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于HBase的互联网手机云相册备份查询方法，包括如下具体操作步骤：
S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；
S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：
StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)
EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)
检索结束后，向用户终端输出已经按时间排好序的图片数据；
S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbase client完成删除。
如图1所示，本发明还公开了一种基于HBase的互联网手机云相册备份查询系统，包括：
用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作，用户终端包括手机和平板电脑，用于存储和上传照片，并通过3G/4G通讯、WIFI通讯与云端请求处理系统通讯连接；
云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反馈并发送至用户终端的应用APP服务内，所述云端请求处理系统的前端配置有负载均衡服务器，用于运行多个云端请求处理系统，手机端的请求通过负责均衡平均分布，将云端请求处理程序和HBase集群以及Hadoop分布式文件系统放在同一个网络内，相互可以访问，保持互通；
Hbase集群，用于存储用户照片信息路径，采用RowKey索引方式，Hbase Rowkey的二进制序由小到大进行存放，Hbase读取数据的scan可以通过setStartRow与setEndRow来限定范围，范围越小，性能越高，RowKey＝用户ID_时间long_文件MD5值，由于拉取数据要按时间排序，为将数据按时间倒序排序存放，可以将时间戳反转，用Long.Max_Value-timestamp追加到Key的末尾，这是用户ID末尾，最终RowKey＝用户ID_(Long.Max_Value-时间long)_文件MD5值，Hbase集群中还存储有文件的具体位置相对信息、文件大小、地理位置信息。
Hadoop分布式文件系统，用于存储用户照片文件。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于HBase的互联网手机云相册备份查询方法，其特征在于：包括如下具体操作步骤：
S1：用户上传照片，用户输入用户ID、登录名、登录密码后从用户终端登录应用APP，向云端请求处理系统发出操作请求，选择需要上传的照片文件，选择确定后开始上传，云端处理接收照片，生成文件MD5值，保存到Hadoop目录，最后生成rowKey＝用户ID_(Long.Max_Value-当前时间long)_文件MD5；值column列族cf:path存着Hadoop目录路径；
S2：检索照片，用户终端完成登录后，输入查询开始时间和结束时间，使用Hbase scan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到：
StartRow＝用户ID_(Long.Max_Value-开始时间的时间戳)
EndRow＝用户ID_(Long.Max_Value-结束时间的时间戳)
检索结束后，向用户终端输出已经按时间排好序的图片数据；
S3：删除照片，用户终端完成登录后，选择需要删除的图片，则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端，云端请求处理系统接收到删除请求，检验权限并通过后，使用Hbaseclient完成删除。
2.一种根据权利要求1所述的基于HBase的互联网手机云相册备份查询系统，其特征在于，包括：
用户终端，所述用户终端内安装有应用APP服务，用于维护用户终端的图片上传、下载请求和删除操作；
云端请求处理系统，所述云端请求处理系统用于对用户的身份进行验证识别并接收用户终端发出的请求以及做出对应的数据反馈并发送至用户终端的应用APP服务内；
Hbase集群，用于存储用户照片信息路径；
Hadoop分布式文件系统，用于存储用户照片文件。
3.根据权利要求2所述的一种基于HBase的互联网手机云相册备份查询系统，其特征在于：所述云端请求处理系统的前端配置有负载均衡服务器，用于运行多个云端请求处理系统，手机端的请求通过负责均衡平均分布，将云端请求处理程序和HBase集群以及Hadoop分布式文件系统放在同一个网络内，相互可以访问，保持互通。
4.根据权利要求2所述的一种基于HBase的互联网手机云相册备份查询系统，其特征在于：所述Hbase集群中还存储有文件的具体位置相对信息、文件大小、地理位置信息。
5.根据权利要求2所述的一种基于HBase的互联网手机云相册备份查询系统，其特征在于：所述Hbase集群采用RowKey索引方式，Hbase Rowkey的二进制序由小到大进行存放，Hbase读取数据的scan可以通过setStartRow与setEndRow来限定范围，范围越小，性能越高，RowKey＝用户ID_时间long_文件MD5值，由于拉取数据要按时间排序，为将数据按时间倒序排序存放，可以将时间戳反转，用Long.Max_Value-timestamp追加到Key的末尾，这是用户ID末尾，最终RowKey＝用户ID_(Long.Max_Value-时间long)_文件MD5值。
6.根据权利要求2所述的一种基于HBase的互联网手机云相册备份查询系统，其特征在于：所述用户终端包括手机和平板电脑，用于存储和上传照片，并通过3G/4G通讯、WIFI通讯与云端请求处理系统通讯连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810423732.XA CN108647290A (zh) | 2018-05-06 | 2018-05-06 | 基于HBase的互联网手机云相册备份查询方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810423732.XA CN108647290A (zh) | 2018-05-06 | 2018-05-06 | 基于HBase的互联网手机云相册备份查询方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108647290A true CN108647290A (zh) | 2018-10-12 |
Family
ID=63749015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810423732.XA Pending CN108647290A (zh) | 2018-05-06 | 2018-05-06 | 基于HBase的互联网手机云相册备份查询方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108647290A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116775591A (zh) * | 2023-08-25 | 2023-09-19 | 上海凯翔信息科技有限公司 | 一种用于不同版本的云端nas同步系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554051A (zh) * | 2015-08-29 | 2016-05-04 | 深圳市美贝壳科技有限公司 | 家庭云服务快捷同步相册的方法 |
| CN105677826A (zh) * | 2016-01-04 | 2016-06-15 | 博康智能网络科技股份有限公司 | 一种针对海量非结构化数据的资源管理方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN106844374A (zh) * | 2015-12-04 | 2017-06-13 | 北京四维图新科技股份有限公司 | 一种存储、检索照片的方法及装置 |
| CN106855872A (zh) * | 2015-12-08 | 2017-06-16 | 山东商务职业学院 | 基于Hadoop平台的海量图片的快速检索方法 |
| CN107291881A (zh) * | 2017-06-19 | 2017-10-24 | 北京计算机技术及应用研究所 | 基于HBase的海量日志存储和查询方法 |
-
2018
- 2018-05-06 CN CN201810423732.XA patent/CN108647290A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554051A (zh) * | 2015-08-29 | 2016-05-04 | 深圳市美贝壳科技有限公司 | 家庭云服务快捷同步相册的方法 |
| CN106844374A (zh) * | 2015-12-04 | 2017-06-13 | 北京四维图新科技股份有限公司 | 一种存储、检索照片的方法及装置 |
| CN106855872A (zh) * | 2015-12-08 | 2017-06-16 | 山东商务职业学院 | 基于Hadoop平台的海量图片的快速检索方法 |
| CN105677826A (zh) * | 2016-01-04 | 2016-06-15 | 博康智能网络科技股份有限公司 | 一种针对海量非结构化数据的资源管理方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN107291881A (zh) * | 2017-06-19 | 2017-10-24 | 北京计算机技术及应用研究所 | 基于HBase的海量日志存储和查询方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116775591A (zh) * | 2023-08-25 | 2023-09-19 | 上海凯翔信息科技有限公司 | 一种用于不同版本的云端nas同步系统 |
| CN116775591B (zh) * | 2023-08-25 | 2023-11-17 | 上海凯翔信息科技有限公司 | 一种用于不同版本的云端nas同步系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107861686B (zh) | 文件存储方法、服务端和计算机可读存储介质 | |
| CN104834713A (zh) | 对终端设备的图像数据进行存储及传输处理的方法及系统 | |
| CN109936571B (zh) | 一种海量数据共享方法、开放共享平台及电子设备 | |
| WO2014015488A1 (zh) | 一种数据存储、数据查询的方法及装置 | |
| CN104503864A (zh) | 一种基于局域网的文件备份方法和装置 | |
| CN103180842A (zh) | 云计算系统和用于该云计算系统的数据同步方法 | |
| US20160132520A1 (en) | Method and apparatus for finding file in storage device and router | |
| WO2015117426A1 (zh) | 文件管理方法及装置 | |
| US10235504B2 (en) | Facilitating access to content from group interactions | |
| US11625412B2 (en) | Storing data items and identifying stored data items | |
| CN107092686B (zh) | 一种基于云存储平台的文件管理方法及装置 | |
| CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
| WO2017174013A1 (zh) | 数据存储管理方法、装置及数据存储系统 | |
| WO2017096850A1 (zh) | 文件系统同步的方法及装置 | |
| CN106341485A (zh) | 一种云存储的方法及装置 | |
| CN108647290A (zh) | 基于HBase的互联网手机云相册备份查询方法及系统 | |
| CN110347656B (zh) | 文件存储系统中请求的管理方法和装置 | |
| CN106649528A (zh) | 图片写入和读取方法、装置 | |
| US10853316B1 (en) | File versioning for content stored in a cloud computing environment | |
| CN112035402A (zh) | 一种文件存储方法、装置及终端设备 | |
| CN107526530B (zh) | 数据处理方法和设备 | |
| US20140279887A1 (en) | Virtual storage gate system | |
| CN110888847B (zh) | 一种回收站系统及文件回收方法 | |
| CN115706727A (zh) | 云桌面数据的迁移方法、节点和服务器 | |
| US20230177081A1 (en) | Storing and retrieving media recordings in an object store |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181012 |