CN114785797A - 一种录像存储容灾系统及方法 - Google Patents

一种录像存储容灾系统及方法 Download PDF

Info

Publication number
CN114785797A
CN114785797A CN202210445183.2A CN202210445183A CN114785797A CN 114785797 A CN114785797 A CN 114785797A CN 202210445183 A CN202210445183 A CN 202210445183A CN 114785797 A CN114785797 A CN 114785797A
Authority
CN
China
Prior art keywords
server
storage
control
control server
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210445183.2A
Other languages
English (en)
Inventor
杨帆
孟伸伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhenshi Intelligent Technology Co Ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202210445183.2A priority Critical patent/CN114785797A/zh
Publication of CN114785797A publication Critical patent/CN114785797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种录像存储容灾系统及方法，涉及存储技术领域，解决了录像存储容灾系统中易出现大规模存储服务器宕机的情况而导致整个存储系统稳定性较差的技术问题，其技术方案要点是通过多层级控制服务器的部署，可以将每一个控制服务器管理的存储服务器数量降低，减少了因为控制服务器宕机出现的大面积存储服务器出现的失联的风险，如果出现控制服务器宕机，只会出现小规模的存储服务器的失联，并且配合BACK服务器能够快速的将失联的存储服务器切换到其他控制服务器上，将风险分散，大大提高了系统的稳定性。

Description

一种录像存储容灾系统及方法
技术领域
本申请涉及存储技术领域，尤其涉及一种录像存储容灾系统及方法。
背景技术
在分布式存储系统中，系统可用性是很重要重要的指标之一，需要保证在机器发生故障时，系统可用性不受影响。现有监控行业中存储系统的架构设计中，当出现控制服务器宕机时会出现大规模的存储服务器的失联，且失联存储服务器中的存储业务不能快速的切换到其他控制服务器上，存储风险较大，整个存储系统稳定性较差。因此，亟需一种存储架构以实现录像存储容灾。
发明内容
本申请提供了一种录像存储容灾系统及方法，其技术目的是在视频录像中，减少因控制服务器宕机而出现的大面积存储服务器失联的风险，并快速将失联的存储服务器切换到其他控制服务器，将风险分散，提高整个录像存储容灾系统的稳定性。
本申请的上述技术目的是通过以下技术方案得以实现的：
一种录像存储容灾系统，包括back服务器、监控平台和至少两个第一控制服务器，所述back服务器与所述监控平台连接，所述第一控制服务器与所述back服务器和所述监控平台均连接；
所述第一控制服务器连接有至少两个第二控制服务器，每个所述第二控制服务器连接有一个存储集群，所述存储集群包括至少两个存储服务器；
所述第二控制服务器与任一所述第一控制服务器能建立连接；所述存储服务器与任一所述第二控制服务器能建立连接。
一种录像存储容灾方法，当存储服务器i＇＇出现宕机时，包括：
管理所述存储服务器i＇＇的第二控制服务器i＇将所述存储服务器i＇＇的录像任务迁移到当前存储集群中负载最轻的其他存储服务器；或
若当前存储集群中没有能使用的其他存储服务器时，第二控制服务器i＇向管理所述第二控制服务器i＇的第一控制服务器i发送请求信息，第一控制服务器i通过研判将所述存储服务器i＇＇的录像任务迁移到第一控制服务器i下负载最轻的其他第二控制服务器下的负载最轻的其他存储服务器中去录像；或
若第一控制服务器i没有能使用的其他存储服务器时，第一控制服务器i向监控平台发送请求信息，监控平台通过研判将在所述存储服务器i＇＇的录像任务迁移到负载最轻的其他第一控制服务器下的负载最轻的第二控制服务器下的负载最轻的其他存储服务器中去录像。
本申请的有益效果在于：本申请将控制服务器的层级增加，将每一个控制服务器管理的服务器数量降低，减少存储服务器失联的风险；层级1的第一控制服务器和层级2 的第二控制服务器之间通过vms组件通讯。同时，增加一个BACK服务器，当监控平台出现风险时，控制服务器和监控平台之前的通信不会间断，将在监控平台修复的时间段内控制服务器传输的信息能够有效保存，待到监控平台通信恢复，BACK服务器将数据批量传输给监控平台，保证了数据的完整性。
通过多层级控制服务器的部署，可以将每一个控制服务器管理的存储服务器数量降低，减少了因为控制服务器宕机出现的大面积存储服务器出现的失联的风险，如果出现控制服务器宕机，只会出现小规模的存储服务器的失联，并且配合BACK服务器能够快速的将失联的存储服务器切换到其他控制服务器上，将风险分散，大大提高了系统的稳定性。
附图说明
图1为本申请所述系统的框架示意图；
图2为存储服务器向第二控制服务器注册上线的流程示意图；
图3存储服务器的map数据结构示意图；
图4为第二控制服务器的map数据结构示意图。
具体实施方式
下面将结合附图对本申请技术方案进行详细说明。
如图1所示，本申请所述录像存储容灾系统包括back服务器、监控平台和至少两个第一控制服务器，所述back服务器与所述监控平台连接，所述第一控制服务器与所述 back服务器和所述监控平台均连接。
所述第一控制服务器连接有至少两个第二控制服务器，每个所述第二控制服务器连接有一个存储集群，所述存储集群包括至少两个存储服务器。
所述第二控制服务器与任一所述第一控制服务器能建立连接；所述存储服务器与任一所述第二控制服务器能建立连接。
具体地，图1中所示的A、B、C代表层级1的第一控制服务器，A01、A02、B01、B02、C01、C02...代表层级2的第二控制服务器，之所以多层级部署控制服务器，是由于在遇到大规模，多路数部署的时候，多层级部署可以将每一个控制服务器管理的存储服务器数量降低，减少了因为控制服务器宕机出现的大面积存储服务器出现的失联的风险，如果出现控制服务器宕机，只会出现小规模的存储服务器的失联，并且配合BACK服务器也可以快速的将失联的存储服务器切换到其他控制服务器上，将风险分散，这样能大大提高系统的稳定性。
在存储集群1、存储集群2、存储集群3下各自分布着存储节点(即存储服务器)，在与监控平台同级再部署一个BACK服务器。
本申请所述的录像存储容灾方法包括：
当存储服务器i＇＇出现宕机时，包括：
管理所述存储服务器i＇＇的第二控制服务器i＇将所述存储服务器i＇＇的录像任务迁移到当前存储集群中负载最轻的其他存储服务器；或
若当前存储集群中没有能使用的其他存储服务器时，第二控制服务器i＇向管理所述第二控制服务器i＇的第一控制服务器i发送请求信息，第一控制服务器i通过研判将所述存储服务器i＇＇的录像任务迁移到第一控制服务器i下负载最轻的其他第二控制服务器下的负载最轻的其他存储服务器中去录像；或
若第一控制服务器i没有能使用的其他存储服务器时，第一控制服务器i向监控平台发送请求信息，监控平台通过研判将在所述存储服务器i＇＇的录像任务迁移到负载最轻的其他第一控制服务器下的负载最轻的第二控制服务器下的负载最轻的其他存储服务器中去录像。
作为具体实施例地，当第二控制服务器i＇出现宕机时，包括：
第二控制服务器i＇向第一控制服务器i发送请求信息，第一控制服务器i通过研判将第二控制服务器i＇的工作迁移到第一控制服务器i下负载最轻的其他第二控制服务器中；或
若第一控制服务器i没有能使用的其他第二控制服务器时，第一控制服务器i向监控平台发送请求信息，监控平台通过研判将第二控制服务器i＇的工作迁移到负载最轻的其他第一控制服务器下负载最轻的其他第二控制服务器中。
作为具体实施例地，当第一控制服务器i出现宕机时，监控平台将第一控制服务器i 的工作迁移到负载最轻的其他第一控制服务器中。
作为具体实施例地，第一控制服务器定时将其管理的全部服务器的状态信息发送给监控平台和back服务器，当监控平台出现宕机时，back服务器接收全部第一控制服务器、第二控制服务器和存储服务器的全部状态信息以及存储服务器下的镜头信息和录像任务信息，待监控平台恢复工作后，back服务器将存储的信息发送给监控平台。
结合图1，上述方法的具体流程如下：
1)集群1中的存储节点1出现宕机事件，则管理他们的第二控制服务器A01将在存储节点1下管理的镜头的录像任务切换给集群1中负载最轻的节点。
若集群1下没有可使用的存储节点，则可以通过第一控制服务器A请求第一控制服务器A下的其他集群接管集群1下面的摄像头的录像任务，第一控制服务器A通过研判，将在集群1中正在进行录像任务的镜头迁移到第一控制服务器A下负载最轻的其他第二控制服务器下负载最轻的存储节点中去录像。
若第一控制服务器A没有可使用的存储节点，第一控制服务器A将请求信息发往监控平台，监控平台通过研判，往一个层级1的其他第一控制服务器下发信令，将在集群1 中正在进行录像任务的镜头迁移到负载最轻的其他第一控制服务器下的负载最轻的集群下面的存储节点中去录像。
2)层级2中的第二控制服务器A01出现宕机事件，因为层级2中的第二控制服务器会向层级1的第一控制服务器发送心跳，从而层级1的第一控制服务器A可以感知到层级2中的第二控制服务器A01出现宕机，则第一控制服务器A通过研判决定是否由层级2 中的其他第二控制服务器来接管第二控制服务器A01的工作。
第一控制服务器A通过研判，将由第一控制服务器A下的负载最轻的一个其他第二控制服务器来接管第二控制服务器A01的工作。
若第一控制服务器A下没有可使用的第二控制服务器，则第一控制服务器A向监控平台发送请求信息，监控平台通过研判，往一个层级1中负载最轻的其他第一控制服务器下发信令，在该其他第一控制服务器下选择一个负载最轻的第二控制服务器接管第二控制服务器A01的工作。
3)层级1中的第一控制服务器A出现宕机事件，则监控平台通过研判决定将第一控制服务器A下面的服务器的工作迁移到层级1中负载最轻的其他第一控制服务器上。
4)层级1中各个第一控制服务器会定时的将自己本身下面的所有的服务器的状态信息发往监控平台，并且也将状态信息发往BACK服务器，BACK服务器会定时的向监控平台发送心跳信息，如果监控平台出现宕机问题，则BACK服务器接收各个服务器的状态信息以及各个服务器下面挂在的镜头信息和录像任务信息。等待监控平台恢复工作后，BACK 服务器将存储的信息推送给监控平台。
作为具体实施例地，存储集群中的存储服务器向层级2的第二控制服务器注册上线的过程如图2所示，存储服务器和第二控制服务器之间的交互信息格式如下:
MS_MSG_TYPE_STORAGE_RECORD_LOAD_REPORT_REQ＝0x03000001,
MS_MSG_TYPE_STORAGE_RECORD_LOAD_REPORT_RESP＝0x03000002。
其中，MS_MSG_TYPE_STORAGE_RECORD_LOAD_REPORT_REQ消息是存储服务器向第二控制服务器发送上线信息，该上线信息中含有当前存储服务器的详细信息如下：
Figure BDA0003615358410000041
上述信息会被层级2的第二控制服务器存储在本地内存中，其中根据存储服务器的 ID(000000011234、000000011235)值取其前8(00000001)位作为一个map表中的key 值，并将存储服务器的详细信息作为value值存放到map中，数据结构如图3所示，该数据结构包含集群的ID、录像服务ID以及当前录像服务器的详细数据这三个字段。
第二控制服务器接收到存储服务器的发来的消息后，会返回消息 MS_MSG_TYPE_STORAGE_RECORD_LOAD_REPORT_RESP，确认接受成功。
层级2和层级1之间的信息交互格式如下所示：
MS_MSG_TYPE_STORAGE_RECORD_CONTROL_REPORT_REQ＝0x03000001,
MS_MSG_TYPE_STORAGE_RECORD_CONTROL_REPORT_RESP＝0x03000002。
其中，MS_MSG_TYPE_STORAGE_RECORD_CONTROL_REPORT_REQ是层级2的第二控制服务器向层级1中的第一控制服务器发送请求报文，发送的具体的消息格式如图3所示。
层级1的第一控制服务器接收到层级2的第二控制服务器发送来的服务器信息通过以下4个步骤来确定存储服务器是否过载：
(1)通过判断挂在到第二控制服务器上面的录像镜头数量，如果超过额定值，则判断为过载。
(2)通过计算已经使用的带宽和额定带宽做对比，如果小于10％100的阀值，则判断存储服务器过载。
(3)通过计算CPU的使用率，如果小于百分之10的阀值，则判断存储服务器过载。
(4)通过计算存储服务器内存的使用率，如果小于百分之5的阀值，则判断存储服务器过载。
通过以上任一步骤得到过载信息则判断存储服务器过载。
层级1的第一控制服务器通过层级2的第二控制服务器的ID(00001234、00001235)的前4位作为key值写入到一个map中，如图4所示。层级1将map信息发送到监控平台，具体地，可以通过HTTP协议发送到监控平台，报文格式为jsion。并且层级1的第一控制服务器将map表格信息发送到BACK服务器。
以上为本申请示范性实施例，本申请的保护范围由权利要求书及其等效物限定。

Claims (5)

1.一种录像存储容灾系统，其特征在于，包括back服务器、监控平台和至少两个第一控制服务器，所述back服务器与所述监控平台连接，所述第一控制服务器与所述back服务器和所述监控平台均连接；
所述第一控制服务器连接有至少两个第二控制服务器，每个所述第二控制服务器连接有一个存储集群，所述存储集群包括至少两个存储服务器；
所述第二控制服务器与任一所述第一控制服务器能建立连接；所述存储服务器与任一所述第二控制服务器能建立连接。
2.一种通过如权利要求1所述的录像存储容灾系统实现的录像存储容灾方法，其特征在于，包括：当存储服务器i＇＇出现宕机时，包括：
管理所述存储服务器i＇＇的第二控制服务器i＇将所述存储服务器i＇＇的录像任务迁移到当前存储集群中负载最轻的其他存储服务器；或
若当前存储集群中没有能使用的其他存储服务器时，第二控制服务器i＇向管理所述第二控制服务器i＇的第一控制服务器i发送请求信息，第一控制服务器i通过研判将所述存储服务器i＇＇的录像任务迁移到第一控制服务器i下负载最轻的其他第二控制服务器下的负载最轻的其他存储服务器中去录像；或
若第一控制服务器i没有能使用的其他存储服务器时，第一控制服务器i向监控平台发送请求信息，监控平台通过研判将在所述存储服务器i＇＇的录像任务迁移到负载最轻的其他第一控制服务器下的负载最轻的第二控制服务器下的负载最轻的其他存储服务器中去录像。
3.如权利要求2所述的录像存储容灾方法，其特征在于，当第二控制服务器i＇出现宕机时，包括：
第二控制服务器i＇向第一控制服务器i发送请求信息，第一控制服务器i通过研判将第二控制服务器i＇的工作迁移到第一控制服务器i下负载最轻的其他第二控制服务器中；或
若第一控制服务器i没有能使用的其他第二控制服务器时，第一控制服务器i向监控平台发送请求信息，监控平台通过研判将第二控制服务器i＇的工作迁移到负载最轻的其他第一控制服务器下负载最轻的其他第二控制服务器中。
4.如权利要求2所述的录像存储容灾方法，其特征在于，当第一控制服务器i出现宕机时，监控平台将第一控制服务器i的工作迁移到负载最轻的其他第一控制服务器中。
5.如权利要求2所述的录像存储容灾方法，其特征在于，第一控制服务器定时将其管理的全部服务器的状态信息发送给监控平台和back服务器，当监控平台出现宕机时，back服务器接收全部第一控制服务器、第二控制服务器和存储服务器的全部状态信息以及存储服务器下的镜头信息和录像任务信息，待监控平台恢复工作后，back服务器将存储的信息发送给监控平台。
CN202210445183.2A 2022-04-26 2022-04-26 一种录像存储容灾系统及方法 Pending CN114785797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210445183.2A CN114785797A (zh) 2022-04-26 2022-04-26 一种录像存储容灾系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210445183.2A CN114785797A (zh) 2022-04-26 2022-04-26 一种录像存储容灾系统及方法

Publications (1)

Publication Number Publication Date
CN114785797A true CN114785797A (zh) 2022-07-22

Family

ID=82432502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210445183.2A Pending CN114785797A (zh) 2022-04-26 2022-04-26 一种录像存储容灾系统及方法

Country Status (1)

Country Link
CN (1) CN114785797A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414738A (zh) * 2013-06-14 2013-11-27 长沙市沃申信息技术有限公司 支持ssd云缓存的ems网络存储管理方法
CN103527406A (zh) * 2012-06-28 2014-01-22 西门子公司 风电厂控制系统
CN107145406A (zh) * 2017-05-14 2017-09-08 四川盛世天成信息技术有限公司 一种基于集群技术的容灾备份方法及系统
CN108499100A (zh) * 2018-03-30 2018-09-07 南京工业大学 一种基于边缘计算的云游戏错误恢复方法及系统
CN108600322A (zh) * 2018-03-27 2018-09-28 通号通信信息集团有限公司 基于铁路视频技术规范的综合视频监控云服务系统及方法
CN111176888A (zh) * 2018-11-13 2020-05-19 浙江宇视科技有限公司 云存储的容灾方法、装置及系统
CN112328512A (zh) * 2020-09-22 2021-02-05 北京计算机技术及应用研究所 一种应用于多控存储系统的缓存同步系统及方法
CN113742256A (zh) * 2020-05-28 2021-12-03 三星电子株式会社 用于可扩展且一致性存储器装置的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103527406A (zh) * 2012-06-28 2014-01-22 西门子公司 风电厂控制系统
CN103414738A (zh) * 2013-06-14 2013-11-27 长沙市沃申信息技术有限公司 支持ssd云缓存的ems网络存储管理方法
CN107145406A (zh) * 2017-05-14 2017-09-08 四川盛世天成信息技术有限公司 一种基于集群技术的容灾备份方法及系统
CN108600322A (zh) * 2018-03-27 2018-09-28 通号通信信息集团有限公司 基于铁路视频技术规范的综合视频监控云服务系统及方法
CN108499100A (zh) * 2018-03-30 2018-09-07 南京工业大学 一种基于边缘计算的云游戏错误恢复方法及系统
CN111176888A (zh) * 2018-11-13 2020-05-19 浙江宇视科技有限公司 云存储的容灾方法、装置及系统
CN113742256A (zh) * 2020-05-28 2021-12-03 三星电子株式会社 用于可扩展且一致性存储器装置的系统和方法
CN112328512A (zh) * 2020-09-22 2021-02-05 北京计算机技术及应用研究所 一种应用于多控存储系统的缓存同步系统及方法

Similar Documents

Publication Publication Date Title
CN110535676B (zh) Smf动态容灾的实现方法、装置、设备及存储介质
CN110581782B (zh) 一种容灾数据的处理方法、装置及系统
CN105515812A (zh) 资源的故障处理方法及装置
CN112272291B (zh) 视频存储方法、装置、管理设备及可读存储介质
US20110045820A1 (en) Method for recovering connectivity in the event of a failure in a radio communications system and controlling node thereof
CN104394382A (zh) 视频监控录像的存储方法、设备和系统
EP2723017A1 (en) Method, apparatus and system for implementing distributed auto-incrementing counting
CN109361625B (zh) 核查转发表项的方法、装置和控制器
CN109391691A (zh) 一种单节点故障下nas服务的恢复方法及相关装置
CN101437175B (zh) 一种处理容灾切换的方法、装置及系统
CN100563263C (zh) 在网络存储业务中实现系统高可用性的方法和系统
CN113489149B (zh) 基于实时状态感知的电网监控系统业务主节点选取方法
CN112512021A (zh) 拥塞控制方法、装置、设备、介质及系统
EP3570169A1 (en) Method and system for processing device failure
CN102857436B (zh) 一种基于irf网络的流量传输方法和设备
CN110661836B (zh) 消息路由方法、装置及系统、存储介质
CN102325171B (zh) 一种监控系统中数据的存储方法及其系统
CN117061535A (zh) 多活构架数据同步方法、装置、计算机设备和存储介质
CN114785797A (zh) 一种录像存储容灾系统及方法
CN103414591A (zh) 一种端口故障恢复时的快速收敛方法和系统
CN113038394B (zh) 会话绑定关系处理方法、装置、电子设备和可读介质
CN102647424B (zh) 一种数据传输方法及其装置
CN112637337B (zh) 一种数据处理方法及装置
CN115152192B (zh) Pce受控网络可靠性
JP2014230234A (ja) ネットワーク管理装置及びネットワーク管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination