CN111182026A - 一种智能云盒子 - Google Patents

一种智能云盒子 Download PDF

Info

Publication number
CN111182026A
CN111182026A CN201911179462.3A CN201911179462A CN111182026A CN 111182026 A CN111182026 A CN 111182026A CN 201911179462 A CN201911179462 A CN 201911179462A CN 111182026 A CN111182026 A CN 111182026A
Authority
CN
China
Prior art keywords
node
space
slave
data
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911179462.3A
Other languages
English (en)
Other versions
CN111182026B (zh
Inventor
曾凡龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Jinmu Lianhang Digital Technology Co ltd
Original Assignee
Wuhan Changheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Changheng Technology Co ltd filed Critical Wuhan Changheng Technology Co ltd
Priority to CN201911179462.3A priority Critical patent/CN111182026B/zh
Publication of CN111182026A publication Critical patent/CN111182026A/zh
Application granted granted Critical
Publication of CN111182026B publication Critical patent/CN111182026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种智能云盒子，通过先选出与存储文件大小相似的多个从节点，然后计算这些从节点的空间利用率，选出空间利用率最高的节点存储文件，这种处理方法可以有效地平等分散用户对资源的请求，将用户的请求有效地写入到数据节点中，可以使得系统的响应时间达到最小，从而提高系统资源的利用率。

Description

一种智能云盒子
技术领域
本发明涉及私有云领域，尤其涉及一种智能云盒子。
背景技术
云盒子做为一款基于私有云架构的企业网盘类文档管理系统，将团队分散的文档、表格、图纸、视频等信息碎片集中存储，通过授权访问、变动提醒、操作日志、历史版本、内容保护、即时通讯、流程审批等功能，帮助企业构建透明、安全、移动的内部文档协作平台。在存储数据过程中，通常使用负载均衡算法决定数据存储位置，将读写任务合理地发送到数据节点上，为分布式系统维护可用的存储空间。然而实际应用中发现有些数据节点的负载任务过于繁重，相比之下另一些数据节点的负载却很轻，存在任务分配不合理的问题，因此，为解决上述问题，本发明提供一种智能云盒子，提出新的负载均衡算法，合理分配任务，使得各节点任务快速执行。
发明内容
有鉴于此，本发明提出了一种智能云盒子，提出新的负载均衡算法，合理分配任务，使得各节点任务快速执行。
本发明的技术方案是这样实现的：本发明提供了一种智能云盒子，包括主节点、备份节点和多个从节点；
主节点存储并维护元数据，使用心跳包周期性地与每个从节点进行通信收集从节点的状态，客户端首次与主节点通信时，获取元数据，下次读取数据时，直接绕过主节点访问从节点；
从节点用于存储用户数据，并且在写用户数据过程时，根据负载均衡算法选出最佳的从节点存储用户数据；
备份节点按照预设时间间隔定期从主节点中复制元数据至备份节点，在主节点发生故障后修复完成时，将复制的元数据发送至主节点。
在以上技术方案的基础上，优选的，每个从节点的空间被划分为多个数据块，每个数据块均具备全局唯一的块句柄，数据块用于读写数据过程中，提取或存储用户数据。
进一步优选的，元数据包括：已存储的文件和数据块的命名空间、文件与数据块的对应关系、访问控制信息、当前数据块的位置信息；
从节点的状态包括从节点总空间以及已使用空间。
进一步优选的，负载均衡算法包括以下步骤：
S1、遍历所有的从节点，根据从节点总空间与已使用空间计算每个从节点的剩余空间，根据筛选算法筛选出剩余空间大小与存入文件大小相似的从节点，并设置存储点群临时存储这些从节点；
S2、遍历该存储点群，根据空间利用率算法计算每个从节点的空间利用率，选取空间利用率最大的从节点存储文件。
进一步优选的，S1中计筛选算法为：
Figure BDA0002290863100000021
式中，Zi表示文件大小与第i个节点剩余空间的比率，F表示要存储的文件大小，T表示第i个节点总存储空间大小，U表示第i个点已被使用的空间大小；
将满足Zi小于1的从节点纳入存储点群中。
进一步优选的，S2中空间利用率算法包括以下步骤：
S101、遍历每个从节点，计算每个从节点的剩余空间，相互比较各从节点的剩余空间大小，获取从节点间剩余空间最大值；
S102、计算每个从节点的剩余空间与剩余空间最大值的比值，该比值为该节点的空间利用率。
本发明的一种智能云盒子相对于现有技术具有以下有益效果：
(1)通过先选出与存储文件大小相似的多个从节点，然后计算这些从节点的空间利用率，选出空间利用率最高的节点存储文件，这种处理方法可以有效地平等分散用户对资源的请求，将用户的请求有效地写入到数据节点中，可以使得系统的响应时间达到最小，从而提高系统资源的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种智能云盒子的结构图；
图2为本发明一种智能云盒子中负载均衡算法的流程图；
图3为本发明一种智能云盒子中负载均衡算法内的空间利用率算法的流程图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，本发明的一种智能云盒子，包括主节点、备份节点和多个从节点。
主节点存储并维护元数据，使用心跳包周期性地与每个从节点进行通信收集从节点的状态，从节点的状态包括从节点总空间以及已使用空间。客户端首次与主节点通信时，获取元数据，下次读取数据时，直接绕过主节点访问从节点；其中，元数据包括：已存储的文件和数据块的命名空间、文件与数据块的对应关系、访问控制信息、当前数据块的位置信息。主节点读取每个从节点的数据块的位置信息到内存，当有新的从节点加入集群，主节点为新增从节点的数据块分配新的位置，当有从节点节点宕机时，可回收此节点的数据块位置信息，还可以将数据块在从节点之间迁移，由于所有的操作均在内存中，所以访问速度很快。
备份节点按照预设时间间隔定期从主节点中复制元数据至备份节点，在主节点发生故障后修复完成时，将复制的元数据发送至主节点。
从节点用于存储用户数据，每个从节点的空间被划分为多个数据块，每个数据块均具备全局唯一的块句柄，数据块用于读写数据过程中，提取或存储用户数据。并且在写用户数据过程时，根据负载均衡算法选出最佳的从节点存储用户数据；其中，如图2所示，负载均衡算法包括以下步骤：
S1、遍历所有的从节点，根据从节点总空间与已使用空间计算每个从节点的剩余空间，根据筛选算法筛选出剩余空间大小与存入文件大小相似的从节点，并设置存储点群临时存储这些从节点；
S2、遍历该存储点群，根据空间利用率算法计算每个从节点的空间利用率，选取空间利用率最大的从节点存储文件。
由于现有的负载均衡算法都是对从几点中选取剩余容量大的从节点存储数据，这样容易造成每次读写是对容量最大的前几个从节点进行读写，容量排序靠后的节点就被闲置，在数据存储量大的情况下，容易造成数据堵塞和冗余的情况，从节点资源利用率不高，而本实施例中，先选出与存储文件大小相似的多个从节点，然后计算这些从节点的空间利用率，选出空间利用率最高的节点存储文件，这样处理可以避免节点碎片出现，提高空间的利用率。
进一步优选的，S1中计筛选算法为：
Figure BDA0002290863100000051
式中，Zi表示文件大小与第i个节点剩余空间的比率，F表示要存储的文件大小，T表示第i个节点总存储空间大小，U表示第i个点已被使用的空间大小；将满足Zi小于1的从节点纳入存储点群中。
进一步优选的，如图3所示，S2中空间利用率算法包括以下步骤：
S101、遍历每个从节点，计算每个从节点的剩余空间，相互比较各从节点的剩余空间大小，获取从节点间剩余空间最大值；
S102、计算每个从节点的剩余空间与剩余空间最大值的比值，该比值为该节点的空间利用率。
从节点在读取数据时，客户端将需要的文件名和字节范围发送至主节点，主节点返回该文件名的数据块句柄以及数据块位置，客户端根据主节点提供的信息，发送数据块句柄以及数据读取范围到相应的从节点，从节点将所请求的数据传输到客户端；在写入数据时，客户端将文件名和数据转换成主节点可以读取的文件名和块索引，然后主节点将块句柄和能够存储的位置全部返回给客户端，客户端将数据发送给所有可以存储的从节点，从节点写入数据，并向主节点报告写入状态。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种智能云盒子，其特征在于：包括主节点、备份节点和多个从节点；
所述主节点存储并维护元数据，使用心跳包周期性地与每个从节点进行通信收集从节点的状态，客户端首次与主节点通信时，获取元数据，下次读取数据时，直接绕过主节点访问从节点；
所述从节点用于存储用户数据，并且在写用户数据过程时，根据负载均衡算法选出最佳的从节点存储用户数据；
所述备份节点按照预设时间间隔定期从主节点中复制元数据至备份节点，在主节点发生故障后修复完成时，将复制的元数据发送至主节点。
2.如权利要求1所述的一种智能云盒子，其特征在于：每个所述从节点的空间被划分为多个数据块，每个数据块均具备全局唯一的块句柄，数据块用于读写数据过程中，提取或存储用户数据。
3.如权利要求2所述的一种智能云盒子，其特征在于：所述元数据包括：已存储的文件和数据块的命名空间、文件与数据块的对应关系、访问控制信息、当前数据块的位置信息；
所述从节点的状态包括从节点总空间以及已使用空间。
4.如权利要求2所述的一种智能云盒子，其特征在于：所述负载均衡算法包括以下步骤：
S1、遍历所有的从节点，根据从节点总空间与已使用空间计算每个从节点的剩余空间，根据筛选算法筛选出剩余空间大小与存入文件大小相似的从节点，并设置存储点群临时存储这些从节点；
S2、遍历该存储点群，根据空间利用率算法计算每个从节点的空间利用率，选取空间利用率最大的从节点存储文件。
5.如权利要求4所述的一种智能云盒子，其特征在于：所述S1中计筛选算法为：
Figure FDA0002290863090000021
式中，Zi表示文件大小与第i个节点剩余空间的比率，F表示要存储的文件大小，T表示第i个节点总存储空间大小，U表示第i个点已被使用的空间大小；
将满足Zi小于1的从节点纳入存储点群中。
6.如权利要求5所述的一种智能云盒子，其特征在于：所述S2中空间利用率算法包括以下步骤：
S101、遍历每个从节点，计算每个从节点的剩余空间，相互比较各从节点的剩余空间大小，获取从节点间剩余空间最大值；
S102、计算每个从节点的剩余空间与剩余空间最大值的比值，该比值为该节点的空间利用率。
CN201911179462.3A 2019-11-27 2019-11-27 一种智能云盒子 Active CN111182026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911179462.3A CN111182026B (zh) 2019-11-27 2019-11-27 一种智能云盒子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911179462.3A CN111182026B (zh) 2019-11-27 2019-11-27 一种智能云盒子

Publications (2)

Publication Number Publication Date
CN111182026A true CN111182026A (zh) 2020-05-19
CN111182026B CN111182026B (zh) 2023-05-12

Family

ID=70650109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911179462.3A Active CN111182026B (zh) 2019-11-27 2019-11-27 一种智能云盒子

Country Status (1)

Country Link
CN (1) CN111182026B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6401121B1 (en) * 1995-12-26 2002-06-04 Mitsubishi Denki Kabushiki Kaisha File server load distribution system and method
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US20040133607A1 (en) * 2001-01-11 2004-07-08 Z-Force Communications, Inc. Metadata based file switch and switched file system
US20100125847A1 (en) * 2008-11-17 2010-05-20 Fujitsu Limited Job managing device, job managing method and job managing program
CN102546782A (zh) * 2011-12-28 2012-07-04 北京奇虎科技有限公司 一种分布式系统及其数据操作方法
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储系统及其进行缓存控制的方法
CN106131227A (zh) * 2016-08-31 2016-11-16 浪潮(北京)电子信息产业有限公司 负载平衡方法、元数据服务器系统及负载平衡系统
US9830111B1 (en) * 2012-08-08 2017-11-28 Amazon Technologies, Inc. Data storage space management
US20180107427A1 (en) * 2015-03-31 2018-04-19 International Business Machines Corporation Selecting storage units in a dispersed storage network
CN107967124A (zh) * 2017-12-14 2018-04-27 南京云创大数据科技股份有限公司 一种分布式持久性内存存储系统及方法
CN109656963A (zh) * 2018-12-18 2019-04-19 深圳前海微众银行股份有限公司 元数据获取方法、装置、设备及计算机可读存储介质
CN110213358A (zh) * 2019-05-23 2019-09-06 深圳壹账通智能科技有限公司 集群资源调度的方法、节点、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6401121B1 (en) * 1995-12-26 2002-06-04 Mitsubishi Denki Kabushiki Kaisha File server load distribution system and method
US20040133607A1 (en) * 2001-01-11 2004-07-08 Z-Force Communications, Inc. Metadata based file switch and switched file system
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US20100125847A1 (en) * 2008-11-17 2010-05-20 Fujitsu Limited Job managing device, job managing method and job managing program
CN102546782A (zh) * 2011-12-28 2012-07-04 北京奇虎科技有限公司 一种分布式系统及其数据操作方法
US9830111B1 (en) * 2012-08-08 2017-11-28 Amazon Technologies, Inc. Data storage space management
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储系统及其进行缓存控制的方法
US20180107427A1 (en) * 2015-03-31 2018-04-19 International Business Machines Corporation Selecting storage units in a dispersed storage network
CN106131227A (zh) * 2016-08-31 2016-11-16 浪潮(北京)电子信息产业有限公司 负载平衡方法、元数据服务器系统及负载平衡系统
CN107967124A (zh) * 2017-12-14 2018-04-27 南京云创大数据科技股份有限公司 一种分布式持久性内存存储系统及方法
CN109656963A (zh) * 2018-12-18 2019-04-19 深圳前海微众银行股份有限公司 元数据获取方法、装置、设备及计算机可读存储介质
CN110213358A (zh) * 2019-05-23 2019-09-06 深圳壹账通智能科技有限公司 集群资源调度的方法、节点、设备及存储介质

Also Published As

Publication number Publication date
CN111182026B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US10901796B2 (en) Hash-based partitioning system
CN100565512C (zh) 消除文件存储系统中冗余文件的系统及方法
CN103150263B (zh) 分级存储方法
CN103106152B (zh) 基于层次存储介质的数据调度方法
CN107045422B (zh) 分布式存储方法和设备
US9361034B2 (en) Transferring storage resources between snapshot storage pools and volume storage pools in a distributed network
CN107291889A (zh) 一种数据存储方法及系统
CN107844269A (zh) 一种基于一致性哈希的分层混合存储系统及方法
EP3163446B1 (en) Data storage method and data storage management server
CN104407926B (zh) 一种云计算资源的调度方法
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN108139941A (zh) 基于网络流控制的动态资源分配
CN103095805A (zh) 一种对数据进行智能分层管理的云存储系统
CN103890738A (zh) 用于保留克隆分离操作之后的存储对象中的消重的系统和方法
CN102546782A (zh) 一种分布式系统及其数据操作方法
CN104317742A (zh) 一种优化空间管理的自动精简配置方法
CN103888499A (zh) 一种分布式对象处理的方法及系统
CN107800808A (zh) 一种基于Hadoop架构的数据存储系统
CN100424699C (zh) 一种属性可扩展的对象文件系统
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN109063192A (zh) 一种高性能海量文件存储系统工作方法
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN105493080B (zh) 基于上下文感知的重复数据删除的方法和装置
CN110008174A (zh) 一种目录导出方法、系统及相关装置
CN103023996A (zh) 一种云数据存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230411

Address after: No. 303, 3rd Floor, Baozicheng Building, No. 32 Shuangyong Road, Qingxiu District, Nanning City, Guangxi Zhuang Autonomous Region, 530000

Applicant after: Guangxi Jinmu Lianhang Digital Technology Co.,Ltd.

Address before: 430000 room 1001, 10th floor, Zhihua City, block 52, Heping Avenue (Jianshe 1st Road - Jianshe 2nd road section), Qingshan District, Wuhan City, Hubei Province

Applicant before: Wuhan Changheng Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant