CN102333120B - 一种负载均衡处理的流存储系统 - Google Patents

一种负载均衡处理的流存储系统 Download PDF

Info

Publication number
CN102333120B
CN102333120B CN201110299101.XA CN201110299101A CN102333120B CN 102333120 B CN102333120 B CN 102333120B CN 201110299101 A CN201110299101 A CN 201110299101A CN 102333120 B CN102333120 B CN 102333120B
Authority
CN
China
Prior art keywords
server
load
storage
central
service routine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110299101.XA
Other languages
English (en)
Other versions
CN102333120A (zh
Inventor
邹阳星
江盛欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201110299101.XA priority Critical patent/CN102333120B/zh
Publication of CN102333120A publication Critical patent/CN102333120A/zh
Application granted granted Critical
Publication of CN102333120B publication Critical patent/CN102333120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供了一种负载均衡处理的流存储系统，包括中心服务器和从服务器，所述从服务器由多个服务器组成网络存储器，中心服务器和从服务器之间采用关系数据库进行数据存储，且中心服务器和从服务器之间设置有负载均衡机制，所述负载均衡机制基于数据库为桥梁，采用分布式部署，根据从服务器的存储能力状态，分配存储任务，使每个服务器负载均衡来进行流媒体的存储。

Description

一种负载均衡处理的流存储系统
技术领域
本发明属于流媒体存储领域。
背景技术
在大型的视频监控项目中，特别是类似移动基站、机房等环境监控项目，重要的媒体数据往往需要集中存储在监控中心，而存储系统就应具备支持大容量并发存储的能力。系统整体的并发存储能力取决于磁盘设备的带宽、容量，以及相关服务的性能。现有技术对于数据存储的研究已经很多，也很成熟，但对于大型视频监控项目的合理存储，依然有待改进。
与数据存储相关的技术包括：
关系数据库：是创建在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
NAS：NAS是英文“Network Attached Storage”的缩写，意思是“网络附加存储”。按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”或者“网络磁盘阵列”。
故而可结合关系数据库、NAS和负载均衡机制实现对大型监控项目数据流的有效存储管理。
发明内容
本发明的目的在于提供一种基于数据库为桥梁，采用分布式部署，根据存储服务的能力状态，分配存储任务，使各台存储服务器的负载达到均衡水平来进行流媒体存储的系统。
为了实现上述发明目的，采用的技术方案如下：
一种负载均衡处理的流存储系统，包括中心服务器和从服务器，所述从服务器由多个服务器组成网络存储器，中心服务器和从服务器之间采用关系数据库进行数据存储，且中心服务器和从服务器之间设置有负载均衡机制，所述负载均衡机制基于数据库为桥梁，采用分布式部署，根据从服务器的存储能力状态，分配存储任务，使每个服务器负载均衡来进行流媒体的存储。
上述技术方案中，所述负载均衡机制由设置在中心服务器的中心调度程序和设置在从服务器的从服务程序实现，所述从服务程序运行在从服务器的磁盘存储设备上，从服务程序定时向中心调度程序报告所在磁盘存储设备的性能参数，中心调度程对收集到的性能参数进行加权计算得出每个从服务器的总体负载系数，根据总体负载系数大小对执行的存储任务进行调度和分配，从而使整个系统能提供最大限度的存储能力。
进一步地，所述总体负载系数通过如下计算公式确定：
Gr = (1.0-Sr)( 0.25*Nr+0.25*Ir+0.4*Cr+0.1*(1-J/(J+1)) )
其中，Gr为总体负载系数，Sr为空间使用率，Nr为网络负载率，Ir为磁盘IO负载率，Cr为CPU负载率，J为执行的任务数。
本发明具有如下有益效果：
1、采用中心调度程序做到各个从服务器负载均衡，提高对各个服务器资源的利用率。
2、采用分布式的部署通过对从服务器的叠加可以不断扩充系统的存储空间容量，满足了流媒体对大容量存储空间的要。
3、采用数据库为通信桥梁对运行状态进行持久化处理，提高了系统崩溃后的快速恢复能力。
附图说明
图1为本发明的架构示意图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明的架构如附图1所示，由多个从服务器通过网络组成NAS，然后与中心服务器连接，中心服务器和NAS均通过中心数据库实现数据的存储管理，作为大型监控项目的数据源所在的流媒体服务器与NAS连接，其数据将存储在具体的从服务器上。
本发明主要包括三部分：中心数据库，中心调度程序和从服务程序。
中心数据库：采用关系数据库模式，负责整个系统的数据存储和信息交换功能，包括存储文件索引的存储，任务信息的存储和从服务信息的存储。
中心调度程序：设置在中心服务器上，负责任务的调度，根据负载均衡策略对磁盘设备和相关从服务的负载进行合理有效的分配。
从服务程序：负责具体任务的执行和本身相关负载状态的报告。
本发明通过主从的分布式结构，每个从服务程序运行在从服务器的各个磁盘存储设备上，从服务程序定时向中心服务器报告所在的性能参数（包括网络负载率，磁盘IO负载率，磁盘空间使用率，当前执行的任务数，CPU负载率等），中心调度程序对收集到的每个从服务器的性能参数进行加权计算得出每个从服务器的总体负载系数，根据总体负载系数大小对执行的存储任务进行调度和分配，从而使系统能提供最大限度的存储能力。
总体负载系数计算公式如下：
Gr = (1.0-Sr)( 0.25*Nr+0.25*Ir+0.4*Cr+0.1*(1-J/(J+1)) )
Gr : 总体负载系数
Sr : 空间使用率
Nr: 网络负载率
Ir :  磁盘IO负载率
Cr : CPU负载率
J :  执行的任务数。

Claims (1)

1.一种负载均衡处理的流存储系统，其特征在于包括中心服务器和从服务器，所述从服务器由多个服务器组成网络存储器，中心服务器和从服务器之间采用关系数据库进行数据存储，且中心服务器和从服务器之间设置有负载均衡机制，所述负载均衡机制基于数据库为桥梁，采用分布式部署，根据从服务器的存储能力状态，分配存储任务，使每个服务器负载均衡来进行流媒体的存储；所述负载均衡机制由设置在中心服务器的中心调度程序和设置在从服务器的从服务程序实现，所述从服务程序运行在从服务器的磁盘存储设备上，从服务程序定时向中心调度程序报告所在磁盘存储设备的性能参数，中心调度程对收集到的性能参数进行加权计算得出每个从服务器的总体负载系数，根据总体负载系数大小对执行的存储任务进行调度和分配，从而使整个系统能提供最大限度的存储能力；所述总体负载系数通过如下计算公式确定：
Gr = (1.0-Sr)( 0.25*Nr+0.25*Ir+0.4*Cr+0.1*(1-J/(J+1)) )
其中，Gr为总体负载系数，Sr为空间使用率，Nr为网络负载率，Ir为磁盘IO负载率，Cr为CPU负载率，J为执行的任务数。
CN201110299101.XA 2011-09-29 2011-09-29 一种负载均衡处理的流存储系统 Active CN102333120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110299101.XA CN102333120B (zh) 2011-09-29 2011-09-29 一种负载均衡处理的流存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110299101.XA CN102333120B (zh) 2011-09-29 2011-09-29 一种负载均衡处理的流存储系统

Publications (2)

Publication Number Publication Date
CN102333120A CN102333120A (zh) 2012-01-25
CN102333120B true CN102333120B (zh) 2014-05-21

Family

ID=45484721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110299101.XA Active CN102333120B (zh) 2011-09-29 2011-09-29 一种负载均衡处理的流存储系统

Country Status (1)

Country Link
CN (1) CN102333120B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752387B (zh) * 2012-06-29 2015-12-02 用友软件股份有限公司 数据存储处理系统和数据存储处理方法
CN104683487A (zh) * 2015-03-30 2015-06-03 四川空间信息产业发展有限公司 基于三维数据访问的分布式服务器集群资源调度方法
CN105183387A (zh) * 2015-09-14 2015-12-23 联想(北京)有限公司 一种控制方法及控制器、存储设备
CN107291370B (zh) * 2016-03-30 2021-06-04 杭州海康威视数字技术股份有限公司 一种云存储系统调度方法和装置
CN105939387A (zh) * 2016-06-23 2016-09-14 中国南方电网有限责任公司 基于网省地统一调度的多级负载均衡及服务器角色切换方法
CN107562913A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 一种分布式文件系统的数据存储方法及装置
CN110062199B (zh) * 2018-01-19 2020-07-10 杭州海康威视系统技术有限公司 负载均衡方法、装置及计算机可读存储介质
US10904335B2 (en) 2018-09-04 2021-01-26 Cisco Technology, Inc. Reducing distributed storage operation latency using segment routing techniques

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026744A (zh) * 2007-03-30 2007-08-29 Ut斯达康通讯有限公司 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术（北京）股份有限公司 一种具有p2p功能的分布式存储系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026744A (zh) * 2007-03-30 2007-08-29 Ut斯达康通讯有限公司 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术（北京）股份有限公司 一种具有p2p功能的分布式存储系统和方法

Also Published As

Publication number Publication date
CN102333120A (zh) 2012-01-25

Similar Documents

Publication Publication Date Title
CN102333120B (zh) 一种负载均衡处理的流存储系统
CN102521012B (zh) 基于虚拟机的gpu集群管理系统
CN103152393B (zh) 一种云计算的计费方法和计费系统
CN103309738B (zh) 用户作业调度方法及装置
US20160050261A1 (en) Intelligent messaging grid for big data ingestion and/or associated methods
CN106027328A (zh) 一种基于应用容器部署的集群监控的方法及系统
CN103516807A (zh) 一种云计算平台服务器负载均衡系统及方法
CN103207920A (zh) 一种元数据并行采集系统
JP5914245B2 (ja) 多階層の各ノードを考慮した負荷分散方法
CN103368864A (zh) 一种基于c/s架构的智能负载均衡方法
CN104468353A (zh) 基于sdn的数据中心网络流量管理方法
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
US20130067181A1 (en) Method and apparatus for providing criticality based data backup
CN103019853A (zh) 一种作业任务的调度方法和装置
CN103984761A (zh) 海量异构数据的存储方法及系统
CN102222174A (zh) 一种基因计算系统和方法
CN102447719A (zh) Web GIS服务的动态负载均衡信息处理系统
CN109831524A (zh) 一种负载均衡处理方法及装置
CN104375897A (zh) 基于最小相对负载不均衡度的云计算资源调度方法
CN101986661A (zh) 一种改进的虚拟机群下MapReduce数据处理方法
CN102946429A (zh) 一种基于云存储的高效资源动态调度方法
CN102637138A (zh) 一种计算调度虚拟机的方法
CN102339233A (zh) 云计算集中管理平台
CN102695190B (zh) 一种无线传感器网络中的数据采集方法
CN204740299U (zh) 基于云计算的电能质量智能监测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 510530 Luogang District Science City, Guangdong Province Road, No. 2819, No.

Applicant after: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Address before: 510530 Luogang District Science City, Guangdong Province Road, No. 2819, No.

Applicant before: GUANGDONG GOSUN TELECOMMUNICATIONS Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: GUANGDONG GOSUN TELECOMMUNICATIONS CO., LTD. TO: GOSUNCN TECHNOLOGY GROUP CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120125

Assignee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Assignor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Contract record no.: 2019990000223

Denomination of invention: Flow storage system for load balance processing

Granted publication date: 20140521

License type: Exclusive License

Record date: 20190709

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Flow storage system for load balance processing

Effective date of registration: 20190807

Granted publication date: 20140521

Pledgee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Pledgor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Registration number: Y2019990000037

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Assignor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Contract record no.: 2019990000223

Date of cancellation: 20220922

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220922

Granted publication date: 20140521

Pledgee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Pledgor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Registration number: Y2019990000037