CN202563493U - 非结构化数据共享灾备平台 - Google Patents

Abstract

本实用新型公开了一种非结构化数据共享灾备平台，它由通过通信网络互连的生产中心及容灾中心组成，生产中心至少包括数据库系统、办公自动化系统、交换机a、生产阵列和备份代理服务器，数据库系统、办公自动化系统、生产阵列和备份代理服务器分别与交换机a相连；容灾中心至少包括备份处理系统、备份存储系统、交换机b、容灾阵列和虚拟化服务器，交换机b分别连接备份处理系统、备份存储系统、容灾阵列和虚拟化服务器；备份代理服务器与虚拟化服务器之间通过通信网络互连。本实用新型具有灾备规模大，可扩展性和稳定性强，基于虚拟化存储和分布式计算，可靠性高，兼容性和通用性好以及成本低等特点。

Description

非结构化数据共享灾备平台

技术领域

本实用新型涉及一种非结构化数据共享灾备平台。

背景技术

近年来，我国信息产业持续高速发展，已经成为国民经济的重要支柱产业，人们对信息的依赖性也就越来越强，目前企业数据都向着集中存储、集中管理方向发展，而大集中带来优化管理的同时也意味着数据的风险在集中，“灾备”问题无法回避。

“灾备”是随着信息技术的发展和应用广泛应用而逐渐凸显其重要性的，信息技术发展程度越高，对信息化依赖程度越高的国家，尤其是信息化水平高的发达国家，比如美国，因其接受的网络攻击和恐怖事件往往越频繁，造成的损失和社会影响就越大，相应的，这也使其在“灾备”上积累了非常宝贵的经验，其“灾备”业起步早，发展快。而在我国，除了一些金融机构“灾备”系统已经启动建设外，其他行业的灾难恢复体系基础还非常薄弱，目前中国的“灾备”行业还处于起步阶段。

目前，数据灾备主要分为冷备模式（Cold Standby）和暖备模式（Warm Standby）两种，冷备模式（Cold Standby）：备份系统未安装或未配置成与主用系统相同或相似的运行环境，应用系统数据没有及时装入备份系统。其缺点是：恢复时间长，一般要数天或者更长时间，数据的完整性与一致性差。灾备等级：3级，只适合于企事业单位数据大集中初期的要求。暖备模式（Warm Standby）：具备备份系统安装场地、备份主机、存储设备和通信设备，备份系统已经安装配置成与主用系统相同或相似的系统和网络运行环境，安装了应用系统业务定期备份数据。一旦发生灾难，直接使用定期备份数据，手工逐笔或自动批量追补孤立数据，恢复业务运行。其缺点是：恢复时间较长，一般要十几小时至数天，数据完整性与一致性较差。灾备等级：4－5级，只适合于企事业单位数据大集中初期的要求。

实用新型内容

本实用新型的目的在于解决现有技术的不足，提供一种高可靠性、高稳定性、高可扩展性的低成本非结构化数据共享灾备平台。 

本实用新型的目的是通过以下技术方案来实现的：非结构化数据共享灾备平台，它由通过通信网络互连的生产中心及容灾中心组成，生产中心至少包括数据库系统、办公自动化系统、交换机a、生产阵列和备份代理服务器，数据库系统、办公自动化系统、生产阵列和备份代理服务器分别与交换机a相连；容灾中心至少包括备份处理系统、备份存储系统、交换机b、容灾阵列和虚拟化服务器，交换机b分别连接备份处理系统、备份存储系统、容灾阵列和虚拟化服务器，数据库系统与办公自动化系统之间、备份处理系统与备份存储系统之间分别通过总线相连；备份代理服务器与虚拟化服务器之间通过通信网络互连。 

本实用新型所述的通信网络包括局域网LAN或广域网WAN。

本实用新型的有益效果是：

（1）基于Big-Cluster的大平台集群技术，提升了数据共享灾备整体可靠性；

（2）采用三级容错技术，对于中间状态信息可允许适当的丢失，提高了系统的性能和可用性之间的平衡度；

（3）基于微通道内存映射和Smart-Slice的极速指纹提取技术，保证了工作的连续性也提高了工作效率；

（4）支持网卡（私网/公网）、COM口、磁盘心跳等多种心跳方式，多重保障心跳检测途径，进一步提高了系统的可靠性；利用内核空间进行心跳探测的技术，可避免心跳探测受系统负荷影响，从而避免在高负荷状态下心跳超时所导致的误切换；

（5）单个数据中心的存储和计算设备量就能达到成千上万台，计算能力和存储能力都可以用“海量”来形容；

（6）服务器可以运行异构操作系统，来自不同供应商的存储设备都可以顺利接入系统，兼容性和通用性好，使用方便；

（7）只允许有访问权的用户进行访问相应的数据，可控制访问不同的存储设备分区，保障了数据安全性；

（8）支持持续数据保护和恢复，可以实现定时自动备份和恢复。 

附图说明

图1为本实用新型结构示意框图。

具体实施方式

下面结合附图进一步详细描述本实用新型的技术方案：如图1所示，非结构化数据共享灾备平台，它由通过通信网络互连的生产中心及容灾中心组成，通信网络包括局域网LAN或广域网WAN。生产中心至少包括数据库系统、办公自动化系统、交换机a、生产阵列和备份代理服务器，数据库系统、办公自动化系统、生产阵列和备份代理服务器分别与交换机a相连；容灾中心至少包括备份处理系统、备份存储系统、交换机b、容灾阵列和虚拟化服务器，交换机b分别连接备份处理系统、备份存储系统、容灾阵列和虚拟化服务器，数据库系统与办公自动化系统之间、备份处理系统与备份存储系统之间分别通过总线相连；备份代理服务器与虚拟化服务器之间通过通信网络互连。 

非结构化数据共享灾备平台包括数据计算、数据存储和安全管理三大功能模块，其中，数据计算子系统由几类不同的功能区构成，每类功能区单独以集群形式存在，集群的规模可根据用户的业务量进行动态构建和配置；不同功能区之间或者功能区内部间通过SOA、标准的IP（Socket/FTP）或者MQ等协议方式进行数据交换，媒体文件的存取通过FTP（文件传输协议）完成，任务结束后的消息通过MQ队列进行传递。整个数据计算子系统的所有进程实例都是动态自适应运行的，数据计算子系统的管理中心能够自动剔除异常进程实例（比如计算任务分配模块、数据处理等关键进程），在运行过程，能根据各个中心的具体业务需求动态配置数据处理的对应任务类别和数量，自动融入并监控新增数据处理进程实例。通过数据计算子系统的网管系统实时完成“共享灾备”分布式集群系统的参数配置和监视。

任务调度中心：该功能区由计算任务分配中心、集群心跳模块、设备代理模块等三个主要进程组成。

计算任务分配中心主要完成获取用户提交的任务列表，实时获取并维护数据处理模块的状态信息，根据数据处理模块的状态信息和任务分配原则完成对任务的调度分配。计算任务分配中心可以部署在任意多台计算机设备上，这些计算机设备组成一任务调度中心集群网络环境，多个计算任务分配中心进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个计算任务分配中心进程实例的状态为主，其他都为备，这样可以极大的提高计算任务分配中心的可靠性。而计算任务分配中心进程实例的主备切换需要HAC来完成，所有计算任务分配中心在运行过程实时向集群心跳模块汇报自己的当前状态，只要发现当前为主状态的计算任务分配中心进程实例异常就根据参数序号原则在剩下的正常为备状态的计算任务分配中心进程实例选择一个序号最小的计算任务分配中心进程实例为主，该计算任务分配中心进程实例在切换后，要保留一定时间间隔的时间窗，以利计算任务分配模块集群的稳定，避免热备进程间的颠簸。主状态计算任务分配中心进程实例除了汇报自己状态外，还得完成最新任务的分配，完成任务的确认，并向目标中心消息队列发送任务结束消息。

集群心跳模块主要完成任务调度中心集群网络环境（包括网络、计算机等设备）和计算任务分配中心进程之间的心跳检测，实时监视并控制计算任务分配中心进程的主备状态。集群心跳模块在运行过程实时向互为备份的集群心跳模块进程实例汇报自己的当前状态，并实时获取所有计算任务分配中心进程实例的状态信息，根据计算任务分配模块状态信息发送正确的控制命令，只有状态为主的HAC进程实例才能控制计算任务分配中心进程实例间主备状态切换。

设备代理模块主要完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，这里可以完成计算任务分配模块、HAC进程实例的维护。

数据服务单元：该功能区由数据处理模块、数据处理M（数据处理进程管理进程）、设备代理模块等三个主要进程组成。

数据文件的处理主要由数据处理模块完成，根据任务类别分为：归档、下载、转码、迁移、回迁、合成等媒体服务类别。一台计算机设备可以启动一个数据处理模块进程服务实例，也可以启动多个处理不同任务类别或者相同任务类别的数据处理模块进程服务实例，也可以根据用户的要求部署在刀片集群上。多个数据处理模块进程实例和不同任务类别的数据处理模块组成电视台的后台MSF（媒体服务工厂）。数据处理模块进程实例在运行过程实时向计算任务分配模块（任务调度中心）进程汇报自己的当前状态。

数据处理进程能够智能化的完成数据处理进程的管理，使其数据处理具有自我管理能力，异常退出后的自动恢复能力，根据参数的配置的数据处理实例数量动态调整本地数据处理实例数量。同时，数据处理M获取本地设备上所有数据处理进程实例汇报的实时状态，并向计算任务分配模块集群转发本地设备上数据处理进程实例状态，以备计算任务分配模块进程完成任务的实时分配和调度用。

设备代理模块主要完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，这里可以完成数据处理、数据处理进程实例的维护。

WEB服务中心：该功能区由WLB（WEB负载均衡）、设备代理模块、任务服务库（.NET SOA_LIB）等三个主要部分组成。

WLB（WEB负载均衡）主要完成IIS（WEB及应用服务器）之间的负载均衡和容错服务控制，WLB进程实例在设定频率内完成检查IIS、DB有效性检查，同时通过心跳，综合本地计算机设备和WLB集群中其他计算机设备的CPU利用率情况，再向需要IIS服务的进程实例组播发送“有效”的服务器名称。

设备代理模块主要完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，这里可以完成WLB进程实例的维护。

任务服务库（.NET SOA_LIB）以Web Service的形式提供给计算任务分配模块进程完成任务信息的处理。

数据推送中心：该功能中心由DPU（数据推送单元）和设备代理模块组成。

DPU进程自动实时的获取本机上队列中的最新消息信息，对消息内容进行解析，根据消息内容完成业务的处理。

设备代理模块主要完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，这里可以完成DPU进程实例的维护。

数据存储中心：数据存储中心主要存储以下几类数据，以媒体文件为主的公共数据交换和处理区存储设备，以存储元数据为主的数据库系统，以存储消息为主的MQ系统。所有数据存储中心中：媒体文件存储设备、DB、MQ都分别一一进行了热备容错构建，避免单点故障，进而提高数据计算子系统的可用性。

网管服务中心：数据计算子系统的网管中心主要功能完成灾备中心间互联互通的业务参数配置，数据计算子系统的所有进程的部署配置及实时监控，实时获取整个数据计算子系统的中所有设备的资源利用等运行情况信息，包括计算机的CPU利用率、总内存、剩余内存、磁盘容量等信息；数据处理进程实例处理任务的情况信息，包括当前数据处理进程实例是否是忙或者空闲状态信息，或者异常状态信息，正忙数据处理进程实例完成任务的百分比，正在处理的媒体文件名称，任务类型等状态信息；各个计算机设备及其对应进程的运行状态等信息，包括计算任务分配模块、HAC进程的主、备和异常状态监控，也包括数据处理、数据处理M、DPU、WLB等进程是否正常或者异常状态信息，并可以远程完成以上进程实例的启动、结束或者结束命令动作。

 数据存储子系统基于IP的分布式存储虚拟化技术，不仅可以简化异构存储管理的复杂性，更可以高效充分地利用存储空间，能够实现数据有效备份和容灾，提高信息的安全可靠性。通过将三级存储设备虚拟为二级存储，可以为用户提供快速海量存储。

存储虚拟化是指将用户看到的存储资源同具体的物理存储设备分隔开来，为存储用户提供统一的虚拟存储池。它是具体存储设备或存储系统的抽象，展示给用户一个逻辑视图，同时将应用程序和用户所需要的数据存储操作和具体的存储控制分离。存储虚拟化的任务首先是在多个物理存储设备或存储系统上创建一个抽象层，屏蔽复杂性，简化管理；其次是对存储资源进行优化。

由于IP存储技术的成熟性和开放性，通过以IP和以太网为骨干网络中传输数据，使得各种设备可以通过IP网络连接各种存储设备，并且像使用本地的设备一样，无需关心设备的地址或位置。也通过该技术可以实现局域网内部和远程的数据访问、数据备份、数据镜像和服务器集群等。

与传统存储相比，基于IP的分布式虚拟化存储的优点主要体现在：（1）扩容方便：传统存储设备随着时间的推移，逐步会被淘汰或者停产，但没有对应配件（最常见的是相同容量或者型号的硬盘停产）可替换或者扩容，如果采用了虚拟化技术后，可以在虚拟引擎平台下，很方便的把不同厂商、不同类别的异构存储设备纳入到同一的虚拟池中，虚拟池容量随之增加；（2）保护投资：传统存储设备随着时间的推移，该型号存储设备会逐步会被淘汰或者停产，如果该设备还能正常运行，但已经没有对应配件（最常见的是相同容量或者型号的硬盘停产）可替换或者扩容，还是只有忍痛淘汰，购买新设备，还有一种情况是用户一次性购买多年后都不会用满的大容量存储空间，一是空间浪费惊人，二是电子硬件产品每三个月就会价格降一倍，而容量增加一倍，用户投资浪费；（3）存储灵活：可以适应不同厂商、不同类别的异构存储平台，为存储资源管理提供了更好的灵活性；不拘设备部署区域，都可以完成设备间的整合；（4）管理方便：提供了一个大容量存储系统集中管理的手段，避免了由于存储设备扩充所带来的管理方面的麻烦，而且存储空间能面向应用端到端进行分配；（5）性能更好：虚拟化存储系统可以很好地进行负载均衡，把每一次数据访问所需的带宽合理地分配到各个存储备份上，提高了系统的整体访问带宽和降低单个设备的I/O瓶颈。

分布式虚拟化存储系统可以将分布在企业内部以及互联网上的各种存储资源整合成具有统一逻辑视图的高性能存储平台。

从客户的数据发出端到运营商的“灾备”中心全程支持安全保护。客户数据的发出端到运营商“灾备”中心可支持采用加密技术，保护数据的传输安全，并支持加密数据存储；运营商“灾备”中心设备采用防火墙和入侵防御系统（IPS）进行深度安全防护，保护数据中心免受黑客、病毒等入侵；运营商机房内的存储设备，支持接入主机的AAA认证、CHAP鉴权、LUN Masking等；支持管理员的密码认证和权限分级；支持管理安全机制（SSH等）。设备方面：整机可靠性设计及测试，在对整机设计的过程中，充分保障了整机可靠性；在结构设计方面，保证散热要求又满足运输的坚固性，所有整机进行8小时高温高湿测试；在设备出厂前，进行服务器72小时/工作站48小时系统稳定性测试；生产过程质量控制，在生产方面采用严格规范的生产流程、严格质量控制检测流程来确保单机设备的质量。架构方面：双机（多机）集群，系统为核心处理服务提供双机或者多机集群架构，保证整个系统高性能的前提下，还能最大限度的保证系统的高可靠性，其中包括WEB服务器、应用服务器、数据库服务器等等核心设备，在任何一台计算机设备出现故障的情况下，整个系统还能继续对用户业务进行支撑。RAID磁盘：根据素材（节目）的重要性，可建立RAID10/RAID5/RAID6等磁盘结构，它们都提供对半磁盘冗余、一块或者多块冗余磁盘，最大限度保证两块磁盘同时坏的情况下，都不会影响系统的正常继续运行。供电安全：平台中使用的所有设备均可选配双冗余电源，从而避免了单机电源故障对系统的影响；同时建议系统供电的电源使用UPS电源，以保障外部供电故障情况下系统业务的不间断。五层应用：平台系统提供了完全独立的构件隔离和应用服务器技术，使工作站只能通过内置的或者外挂的浏览器向应用服务器发出请求。其中，需要人工操作的应用模块只能通过应用服务器与数据库进行交互，做到了应用与数据隔离，有效保护了数据库和存储文件。独立网关：中心与外网之间、中心与中心之间进行数据交换的唯一入口是相互连接的网关，可以在网关上安装杀病毒软件和防火墙，向外屏蔽各自中心的网络拓扑结构，隔离外网的病毒侵入，隔离非法操作造成整个中心崩溃。防病毒墙：在网络环境下，未经控制的计算机病毒往往会给系统造成巨大破坏。平台系统的管理服务器中部署病毒防护软件的Server端，对网络整体的病毒防护管理进行全面的把控。内容与访问控制方面：数据流媒体化访问：对进入系统中的任何非结构化（视频、音频、图片、文档、网页等等）数据都进行数据流媒体化处理，便于用户实时检索，连续预览文件内容。在预览中，客户端只能与流媒体服务器进行交互，而流媒体服务器再与流媒体文件进行数据的交互，客户端不直接对媒体数据进行操作，从而避免了对于真实文件的浏览采用的文件共享方式，阻止了客户端直接和真实文件存储设备进行数据交互，降低了病毒感染和黑客侵入的概率，增强了系统数据的安全性。统一用户管理：保障系统安全重在管理。一个IT系统仅有充分的硬件保障还不够，必须做好用户、设备等多方面管理才能真正的保证安全。平台系统提供了统一用户管理功能，使得所有用户只有注册并经过身份验证后才能访问系统资源，或进行相关操作，防止了非法用户对系统资源的使用，更细的用户权限类别：系统管理员、审计管理员、企业管理员、企业用户四级用户权限类别，支持密码、USB-Key、以及密码和USB-Key三种认证方式。设备级权限管理：系统提供用户与设备绑定的权限控制，可以灵活控制哪些用户访问哪些设备，不能访问哪些设备等等。任务级权限管理：每个企事业单位的业务是以工作流任务的形式驱动的，所以需要提供一套安全机制，防止非授权用户执行不属于自己的功能。功能级权限管理：平台提供了角色授权方式和用户授权方式两种模式，可对系统内不同身份的人员能做何种功能进行详细设定，不同的功能之间可以灵活组合；明确的功能级权限管理确保了系统应用的安全。录级权限管理：很多单位拥有不同保密级别的素材资料，不同身份的使用者只能访问其权限范围内的资料，不同部门的用户对其它部门资料的访问也要受到一定的限制。平台系统提供的记录级权限管理可以妥善解决资料分类级别（密级）、资料所属部门/栏目与人员访问权限的组合匹配等问题，既保证了用户权限范围资料的方便调用，又保证了保密资料的安全使用。字段级权限管理：媒资系统内部管理的素材/资料非常繁杂，各类素材/资料需要有不同的元数据字段来描述它的详细信息和属性，部分素材/资料的一些关键描述字段需要限制访问和修改人员，平台的字段级权限管理可以方便设置特定用户/角色可以查看/修改的字段集，保证元数据访问/修改的安全性。

元数据由于需要频繁访问，通常都存储在计算机系统的在线硬盘（硬盘阵列）中，其中部分媒体数据的描述信息和属性存储在数据库系统中。这部分数据的安全性是通过数据库备份恢复和目录备份、分级存储来实现的。关键数据的RAID3/5/10冗余保护：平台系统的关键数据全部存储在数据库服务器的硬盘上，为避免单个硬盘在系统运行期间出现故障，管理服务器的数据硬盘采用硬件RAID卡实现对RAID3/5的冗余保护，对特殊要求，还可以提供RAID10冗余保护，这样既提高了服务器关键数据访问效率，又同时避免了在单硬盘故障情况下造成的任何数据丢失。利用数据库的备份机制自动备份：在平台系统的数据库服务器中，可利用数据库的备份机制设定自动备份任务。自动备份任务的设置策略是每周五进行全部备份，周六至周四进行增量备份，所有备份任务设定在晚12点开始自动执行。这样保证了在数据库出现不可恢复的故障的情况下，可以通过数据库的备份还原工具，使用备份数据将系统恢复到前一天的可用状态。人工数据库备份：由于自动数据库备份机制设计为每天晚上自动执行，并会同时通过多个增量备份数据和全备份数据进行数据库恢复，对系统管理人员的专业知识有相当程度的要求。为此，平台系统提供了人工数据库备份手段，可由用户自由选择备份文件存储位置，将备份数据拷贝到外部存储设备进行冗余存储，进一步扩大了备份数据的安全性。当系统出现难以排除的故障时，用户可通过平台系统提供的独立数据恢复工具，在全新的数据库系统上选择某一个备份文件进行数据恢复，可让媒资系统恢复到备份状态前，从而继续进行各项业务。

Claims (2)

1.非结构化数据共享灾备平台，其特征在于：它由通过通信网络互连的生产中心及容灾中心组成，生产中心至少包括数据库系统、办公自动化系统、交换机a、生产阵列和备份代理服务器，数据库系统、办公自动化系统、生产阵列和备份代理服务器分别与交换机a相连；容灾中心至少包括备份处理系统、备份存储系统、交换机b、容灾阵列和虚拟化服务器，交换机b分别连接备份处理系统、备份存储系统、容灾阵列和虚拟化服务器，数据库系统与办公自动化系统之间、备份处理系统与备份存储系统之间分别通过总线相连；备份代理服务器与虚拟化服务器之间通过通信网络互连。

2.根据权利要求1所述的非结构化数据共享灾备平台，其特征在于：所述的通信网络包括局域网LAN或广域网WAN。