CN103856724B - 一种制作应急系统 - Google Patents

一种制作应急系统 Download PDF

Info

Publication number
CN103856724B
CN103856724B CN201210515990.3A CN201210515990A CN103856724B CN 103856724 B CN103856724 B CN 103856724B CN 201210515990 A CN201210515990 A CN 201210515990A CN 103856724 B CN103856724 B CN 103856724B
Authority
CN
China
Prior art keywords
media file
metadata
module
storage device
standby
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210515990.3A
Other languages
English (en)
Other versions
CN103856724A (zh
Inventor
王炜
倪宇
黄正兵
吴春中
张志云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201210515990.3A priority Critical patent/CN103856724B/zh
Publication of CN103856724A publication Critical patent/CN103856724A/zh
Application granted granted Critical
Publication of CN103856724B publication Critical patent/CN103856724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种制作应急系统,包括:备存储设备和备数据库;元数据分发模块,用于对数据库管理模块发向中心数据库的操作消息进行截获、缓存并发送;元数据代理模块,用于接收元数据分发模块发来的操作消息并根据该操作消息对备数据库进行同步操作;媒体迁移消息转发模块,用于过滤元数据代理模块所接收的操作消息中的元数据,抽取其中与媒体文件相关的元数据并发送相应的操作指令;媒体文件迁移模块,用于接收操作指令,根据增加媒体文件的操作指令将所述主系统中相应的媒体文件复制到所述备存储设备中,根据删除/修改媒体文件的操作指令删除/修改所述备存储设备中相应的媒体文件。本申请能够完成整个制作网的备份工作。

Description

一种制作应急系统
技术领域
本发明涉及多媒体领域,尤其涉及一种制作应急系统。
背景技术
电视台制播网络系统经过近10年的发展,网络制播是核心节目生产形态,已经完全替代了传统的对编、单机编辑。网络化共享编辑、流程化制作已经是绝大多数电视台的核心必备生产工具,对系统依赖性也越来越大。同时,对制播出系统的安全也提出更高的要求。虽然目前在制播系统中,已经针对存储、数据库以及交换设备等分别考虑高安全措施。但在系统整体应急方面,还未有好的措施。尤其是能够在短时间内完成应急切换,并保证数据库丢失在可接受范围。
当前的所有安全措施都是针对关键应用点,并且对管理、维护有一定的要求;都需要一定的时间窗口进行判定,无法完全做到短时间内“业务可持续性”要求,而且没有解决小概率、但性质严重的系统“UFO”瘫痪情况下,如何快速恢复业务的问题。
发明内容
本发明要解决的技术问题是如何完成整个制作网的备份工作。
为了解决上述问题,本发明提供了一种制作应急系统,与用于制作播放多媒体节目的主系统相连,所述主系统包括用于保存媒体文件的主存储设备、中心数据库及对该中心数据库进行操作的数据库管理模块;所述制作应急系统包括:
备存储设备和备数据库;
元数据分发模块,用于对数据库管理模块发向所述中心数据库的操作消息进行截获、缓存并发送;
元数据代理模块,用于接收所述元数据分发模块发来的操作消息并根据该操作消息对所述备数据库进行同步操作,包括增加、或删除、或修改相应的元数据;所述元数据为与媒体文件相关的数据库信息;
媒体迁移消息转发模块,用于过滤元数据代理模块所接收的操作消息中的元数据,抽取其中与媒体文件相关的元数据并发送相应的操作指令,包括增加、删除和修改媒体文件的操作指令;
媒体文件迁移模块,用于接收媒体迁移消息转发模块所发送的的操作指令,根据增加媒体文件的操作指令将所述主系统中相应的媒体文件复制到所述备存储设备中,根据删除/修改媒体文件的操作指令删除/修改所述备存储设备中相应的媒体文件。
进一步地,所述的系统还包括:
数据回写模块,用于按用户选择的时间段和栏目,将所述备数据库中的元数据复制或移动到主系统的中心数据库中;根据备数据库确定媒体文件在所述备存储设备中的存放路径,将所述媒体文件从所述备存储设备复制或移动到主系统的主存储设备中。
进一步地,所述数据回写模块在回写时,将用户选择的时间段内的所述备数据库保存的媒体文件的全局唯一标识符,同中心数据库中的媒体文件的全局唯一标识符进行比较,如果发现所述备数据库中存在而中心数据库不存在的媒体文件,则将备数据库中的元数据复制或移动到中心数据库,将该元数据对应的媒体文件从所述备存储设备复制或移动到主系统的主存储设备中。
进一步地,所述媒体迁移消息转发模块过滤操作消息中的元数据,抽取其中与媒体文件相关的元数据并据此发送相应指令是指:
所述媒体迁移消息转发模块分析所述操作消息涉及的相关表,如果是与媒体文件相关的关键表,则立即依据操作消息中指示的操作,相应发出从主存储设备复制多媒体文件到备存储设备、或修改、或删除备存储设备中媒体文件的操作指令。
进一步地,元数据分发模块还用于在收到操作消息后,按以下规则进行分发过滤:
当需要同步序列时,对于查询和创建序列的元数据将会被同步,不需要同步序列则所有查询类SQL语句全部丢弃;
所有执行的SQL语句会首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步;
所有对记录集进行的增删改操作,首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步。
进一步地,一个元数据代理模块接收一个或多个元数据分发模块发送的操作消息。
进一步地,所述媒体文件迁移模块提供限速与极速复制两种方式;限速复制方式通过单线程读写,实时调整单次传输大小;极速复制方式通过读写双线程实现。
进一步地,所述媒体文件迁移模块具备错误重做机制,重做队列可持久化;所述媒体文件迁移模块关闭时将重做队列序列化为xml文件保存到本地,在启动前预读保存的xml文件。
进一步地,所述媒体文件迁移模块在出现更新多媒体文件的操作指令时先发送将目标媒体文件改名的指令,然后再发送生成新的媒体文件的指令。
本发明的技术方案在中心数据库进行增加、修改、删除等操作时,把数据库操作消息截获出来,实现修改的缓存和转发工作,把应急系统的数据库不工作导致数据库中间件不能正常的危机化解掉,同时提供配置可选择同步的数据库表;实现接收服务端发来的数据库修改命令同步执行本地数据库的修改,并通过分析修改的数据来启动媒体数据、节目信息等数据的复制工作;这样就实现了网络数据库、媒体文件、节目信息等节目制作过程中需要的所有数据的同步工作,当制作网出现任何原因(包括:数据库宕机、存储故障、网络故障)时能够提供一个小规模的制作网供节目制作应急使用,最终完成整个制作网的备份工作和应急制作。
附图说明
图1是实施例一的制作应急系统的示意框图;
图2是元数据同步流程的流程示意图;
图3是多媒体数据同步流程的流程示意图;
图4是素材回写功能的流程示意图;
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。
实施例一,一种制作应急系统,与用于制作播放多媒体节目的主系统相连,用于对主系统中的媒体文件进行备份供应急时使用;所述主系统包括用于保存媒体文件的主存储设备、中心数据库及对该中心数据库进行操作的数据库管理模块;
如图1所示,所述制作应急系统包括:
备存储设备和备数据库;
元数据分发模块,用于对发向所述中心数据库的操作消息进行截获、缓存并发送;可与数据库管理模块部署在主系统的同一个服务器中;
元数据代理模块,用于接收所述元数据分发模块发来的操作消息,并根据该操作消息对所述备数据库进行同步操作,包括增加、或删除、或修改相应的元数据;所述元数据为与媒体文件相关的数据库信息;
媒体迁移消息转发模块,用于过滤元数据代理模块所接收的操作消息中的元数据,抽取其中与媒体文件相关的元数据并发送相应的操作指令,包括增加、删除和修改媒体文件的操作指令;
媒体文件迁移模块,用于接收媒体迁移消息转发模块所发送的操作指令,根据增加媒体文件的操作指令将所述主系统中相应的媒体文件复制到所述备存储设备中,根据删除/修改媒体文件的操作指令删除/修改所述备存储设备中相应的媒体文件。所述媒体文件可以但不限于包括以下一种或几种:串联单、文稿、节目、素材、工程文件以及图片。
后文将制作应急系统中元数据分发模块之外的模块统称为制作应急引擎设备(Emergency Edit Engine)。
主系统中所有业务都是由对中心数据库的操作开始,因此本实施例利用此特性将各软件对主系统的中心数据库的操作分发到制作应急引擎设备上。制作应急引擎设备再将操作同步到本设备中的备数据库后分析该操作,过滤出与媒体文件相关的操作并完成同步,从而达到元数据、媒体文件对备份支持业务的要求。
本实施例的制作应急引擎设备的关键技术核心是解决数据一致性。
所有数据同步是由对主系统的中心数据库的操作触发,在元数据代理模块接收到数据库管理模块转发(通过元数据分发模块)的数据库的操作消息(增,删,改)以后,会立即将数据库操作同步到所述备数据库中。
定位媒体文件在文件系统的位置是通过查询数据库中与媒体文件相关的数据表。
本实施例中,所述媒体迁移消息转发模块过滤操作消息中的元数据,抽取其中与媒体文件相关的元数据并据此发送相应指令具体可以是指:
所述媒体迁移消息转发模块分析所述操作消息涉及的相关表,如果是与媒体文件相关的关键表,则立即依据操作消息中指示的操作,相应发出从主系统的主存储设备复制多媒体文件(即迁移)到备存储设备、或修改、或删除备存储设备中媒体文件的操作指令。
最后媒体文件迁移模块执行相应的媒体文件操作指令,完成媒体文件的同步。元数据的同步是由元数据代理模块完成的。
本实施例的制作应急系统还可以包括:
数据回写模块,用于按用户选择的时间段和栏目,将所述备数据库中的元数据复制或移动到主系统的中心数据库中;根据备数据库确定媒体文件在所述备存储设备中的存放路径,将所述媒体文件从所述备存储设备复制或移动到主系统的主存储设备中,以便主系统应急使用。
在主系统灾难恢复以后,为了最大可能的保证用户劳动成果,数据回写模块将所述备数据库中的用户工作成果回灌到主系统,考虑到新闻业务的特殊点,元数据回灌以串联单为主线,将某一时间段内某一栏目的串联单、稿件、节目(含工程文件)回写入到主系统的中心数据库,在中心数据库已有该串联单、稿件、节目时数据回写模块会提示用户是覆盖中心数据库的数据还是新建相关数据,如果新建数据,与之相关的所有关联关系也会自动修改,以保证串联单、稿件、节目的完整关联关系。
本实施例中,所述数据回写模块在回写时,通过采用将用户选择的时间段内的所述备数据库保存的媒体文件的GUID,同中心数据库中的媒体文件的GUID(全局唯一标识符)进行比较,如果发现所述备数据库中存在而中心数据库不存在的媒体文件,则在用户需要的情况下,可将备数据库中的元数据回灌(复制或移动)到中心数据库,将该元数据对应的媒体文件从所述备存储设备回灌到主系统的主存储设备中。
考虑到回写的执行频率很低,而执行效率要求很高因此可不作限速等影响效率的功能限制。
本实施例中,所述主系统的数据库管理模块可分发对于中心数据库的操作消息,该分发与对中心数据库的操作分线程隔离,避免分发影响中心数据库的读写性能:出于最大限度的减少同步功能对数据库管理模块的影响,只有对中心数据库操作成功后,才会将操作消息发送给元数据分发模块作为同步使用。
由于数据库管理模块的COM+实现,为了减少其设计复杂性,每个实例为建立TCP主动连接到元数据分发模块,用于发送所述操作消息;
当数据库管理模块在发送数据前,会检查元数据分发模块的服务是否已经启动,如果没有启动或已经异常终止,则会先尝启动元数据分发模块的服务,然后再连接发送数据;当数据库管理模块不用进行主备同步时,只需要更改注册表相关参数即可。
本实施例中,所述主系统的数据库管理模块还可以进行数据过滤,避免分发影响中心数据库的读写性能;数据过滤主要减少不必要的信息分发,可以只对需要同步的表数据进行同步;一般仅将对元数据进行增、删、改的操作消息进行转发,当需要同步序列时对更改序列的操作消息也会进行转发。
本实施例中,所述元数据分发模块用于缓存主系统中数据库管理模块分发的操作消息;
所述元数据分发模块的缓存大小可设置,默认大小为400M左右,增加配置参数可设置大小。
当超过最大缓存后,后续的数据信息将被元数据分发模块丢弃,直到最开始的操作消息成功同步到所述制作应急引擎设备中;
所有传输成功的操作消息将会被缓存,部分传输成功后没有同步成功的操作消息会在超时后进行缓存;软件异常本地缓存内容不丢失。
所述元数据分发模块为了保证数据的存储效率,可以对大数据采用先压缩,后存储的方式。
对历史操作消息如果不需要同步,可以关闭所有系统后,将缓存文件手动删除,或使用元数据分发模块的服务的一个控制台工具,对相关数据任务进行删除操作。
本实施例中,元数据的同步流程如图2所示,数据库管理模块根据客户端的操作,进行ExecuteCommand(执行指令)、GetRecordset(获取记录设置)函数入库,然后进行同步服务处理,操作消息(比如但不限于为SQL语句)将发送到元数据分发模块;最后通过ADO接口(执行接口)对中心数据库(主数据库)进行操作。元数据分发模块分析SQL语句,根据本地配置信息,过滤出需要的操作消息并缓存;所述元数据分发模块可以但不限于通过TCP/IP将缓存的操作消息发送至制作应急引擎设备中的元数据代理模块;
作为缓存分发数据库操作的一个服务,数据需要发送给远端的制作应急引擎设备里的元数据代理模块,以使得其执行相关SQL语句完成对备数据库更新操作,其操作限于对备数据库的数据进行增加、删除、修改,从而将对主数据库的操作同步到备数据库,使用TCP主动连接到元数据代理模块,然后循环发送数据。
本实施例中,元数据分发模块配置的目标地址和端口和元数据代理模块监听的地址和端口一致。
当与元数据代理模块之间的网络出现问题恢复后,发送的数据将会继续。
本实施例中,每次元数据分发模块重新启动后,会检测是否有未发送完成的操作消息,如果有则将这些未发送成功的操作消息发到元数据代理模块;
当配置目前元数据代理模块的目标地址和端口改变后,需要重新启动元数据分发模块的服务。
本实施例中,元数据分发模块还用于在收到操作消息后,按以下规则进行分发过滤:
当需要同步序列时,对于查询和创建序列的元数据将会被同步,不需要同步序列则所有查询类SQL语句全部丢弃(不同步);
所有执行的SQL语句会首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步;
所有对ADO记录集进行的增删改操作,首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步。
本实施例中,元数据分发模块的服务可自动启动。
元数据分发模块与数据库管理模块在同台PC机上,数据库管理模块的同步操作前会自动检测元数据分发模块服务是否已经启动,如果没有启动则会先启动本服务;
元数据分发模块本身没有异常情况下的自启动功能,也可以增加看门狗之类的辅助工具,以实现异常情况下的服务自启动。
本实施例中,一个元数据代理模块可以接收多个元数据分发模块发送的操作消息,可以接收多个元数据分发模块的连接操作并同步到数据存储模块的备数据库中;可以同步ORACLE、DB2数据库,但主备的数据库类型需要一致。
本实施例中,元数据备份过程如下:
数据库管理模块在执行对于主系统的中心数据库的操作消息成功后,通过TCP方式同步通知元数据分发模块进行缓存,元数据分发模块再根据当前的缓存使用状态异步通知元数据代理模块,而元数据代理模块激活容器中插件媒体迁移消息转发模块进行插件自定义的操纵。
本实施例中,媒体数据同步流程如图3所示,元数据代理模块的功能就是将对中心数据库的操作同步到备数据库,就是接收中心数据库的操作(数据库同步消息),判断是否对媒体文件表进行的更改,如果不是则下次继续判断,如果是则发送媒体文件同步消息(异步消息)到媒体迁移消息转发模块,由其分析消息内容,提取需同步的物理文件,将操作消息还原成SQL语句,记录集操作等再由媒体文件迁移模块对备存储设备进行相同的操作,比如从主存储设备存储复制物理文件;对ORACLE由于其实现的机制,有可能部分对数据库操作的数据不能完整的传给元数据分发模块并导致元数据代理模块不能完整的将数据信息同步到备数据库中。这时,元数据代理模块将从中心数据库主动读取完整的信息,以完成同步的功能。
本实施例中,所述媒体文件迁移消息转发模块用于媒体迁移命令分发,通过MQ(消息队列)方式,根据数据库操纵途径(语句,记录集)分别发到不同的MQ中。
本实施例中,媒体文件备份的实现是通过监听MQ的方式,以媒体文件为核心,过滤出需要的操作消息,将收到的操作消息,转换成文件迁移,文件删除,文件对比等操作指令进行优化并行处理。
本实施例中,所述媒体迁移消息转发模块还可用于消息过滤,仅处理与节目,素材相关的语句或记录集操作。
本实施例中,所述媒体文件迁移模块能够进行高效的文件迁移、提供限速与极速迁移功能;限速方式通过单线程读写,实时调整单次传输大小,传输休眠时间实现;极速迁移通过读写双线程实现。
本实施例中,所述媒体文件迁移模块具备错误重做机制,重做队列可持久化;所述媒体文件迁移模块关闭时可以把重做队列序列化为xml文件保存到本地,在启动前预读保存的xml文件。
本实施例中,所述媒体文件迁移模块可具备看门狗服务和容错机制。
本实施例中,所述媒体文件迁移模块在网络断开,数据读取、写入文件时存储盘异常影响后续任务的执行时将该后续任务放入重做队列。
程序线程由线程守护监控,可以捕捉到所有迁移环节的异常,内存,文件,系统错误,都将自动将任务推送到重做队列中;
重做队列5秒扫描一次,推送一个重做任务到待迁移队列中。
本实施例中,所述媒体文件迁移模块在出现更新媒体文件的操作指令(修改媒体文件的操作指令中的一种)时先发送将目标媒体文件改名的指令,然后再发送生成新的媒体文件的指令,以便可挽回,不允许先删除目标媒体文件再生成;文件迁移完成需要进行基于字节的大小校验,如果是媒体文件还需调用底层媒体分析SDK再进行一次媒体文件验证,保证文件可用。
本实施例中,所述数据回写模块用于进行串联单,稿件,节目等媒体文件的回写;可按节目栏目,日期限定制作应急引擎中串联单回写的范围;串联单中相关的文稿、节目、节目工程文件均自动回写;出现GUID重复时提示用户可选择覆盖中心或新建;如果新建、保证中心系统中串联、稿件、节目关联关系不变。还可选素材上载的时间段进行回写范围限定,自动比较中心系统没有的素材进行回写,物理素材迁移不限速。
本实施例中,如图4所示,回写时可以串联单为主线,选择查询的时间段,比如由用户输入上载素材的日期段,据此查询出串联单、创建串联单的日期、素材、素材的日期段,然后从备数据库回写到中心数据库:首先在备数据库中查询该日期段中的所有素材,通过素材GUID在中心数据库中对比来判断中心数据库是否已有该素材,如果没有则可以复制素材的物理文件到中心数据库,遇到GUID重复情况由用户判断进行覆盖或新建;判断完一个素材继续判断下一个素材,直到所选择的日期段的素材已完成对比,结束。回写程序保证串联单,文稿、节目的关联关系不变。以素材创建时间和素材GUID为条件,将用户选择时段内的备数据库中有而中心数据库中没有的GUID对应的素材,从备存储设备迁移到主系统的主存储设备,并将其元数据写入中心数据库。
本实施例在技术实现上,核心技术点就是如何在对主系统最小改动的情况下,最快速的将元数据和媒体文件由主系统同步到应急系统。
对于元数据同步,采用了数据访问中间件双写的方式完成,其时间限差是秒级以内,完全符合元数据备份的实效性要求。同时,由于元数据同步机制仅仅是将对数据库进行更改的操作从中心数据库同步到备数据库库,此类操作仅仅占主系统对数据库访问的30%(主系统的中心数据库很大负载是用于业务查询)。再配合应急仅同步关键数据表功能,因此备数据库库所需的IOPS仅为中心数据库的1/5~1/4,同时备数据库仅需支撑10台左右的客户端,因此在目前水平的硬件选型上支持应急系统的正常运行时绰绰有余的。
对于媒体文件同步,在实效性上采用了触发式同步,在元数据同步的同时应急系统会根据元数据内容判断是否需要进行媒体文件的同步,如果需要就立即发出从主存储设备复制媒体文件到备存储设备的迁移命令。但由于媒体文件数据量较大,而迁移操作对存储的读写都是抢占式的。虽应急系统本地存储常态下只有写入需求,没有读的需求,但某些中心存储系统在当初设计时可能并没有考虑应急系统的迁移带宽的加入,突然增加较大的读带宽很可能对中心存储的带宽造成冲击,导致中心编辑网播卡、丢帧等问题。因此媒体文件迁移时必须采用限制带宽的技术,在实效性和对中心系统的影响性上取得一个折衷。
对于迁移带宽限制技术。采用控制每次迁移(即复制)的数据块大小来达到在一个统计时段内平均迁移带宽可控的方式。
平均带宽M/S=[每次迁移数据块大小(固定1024KB)×次数]/迁移用的时间。
每次迁移完成后,根据本次迁移用的时间按用上述公式统计本次迁移的平均带宽,如发现平均带宽高于设定值,则自动延长两次迁移之间的间隔至一预定长度,以便在较长的统计时间内其平均带宽等于设定值。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种制作应急系统,与用于制作播放多媒体节目的主系统相连,所述主系统包括用于保存媒体文件的主存储设备、中心数据库及对该中心数据库进行操作的数据库管理模块;其特征在于,所述制作应急系统包括:
备存储设备和备数据库;
元数据分发模块,用于对数据库管理模块发向所述中心数据库的操作消息进行截获、缓存并发送;
元数据代理模块,用于接收所述元数据分发模块发来的操作消息并根据该操作消息对所述备数据库进行同步操作,包括增加、或删除、或修改相应的元数据;所述元数据为与媒体文件相关的数据库信息;
媒体迁移消息转发模块,用于过滤元数据代理模块所接收的操作消息中的元数据,抽取其中与媒体文件相关的元数据并发送相应的操作指令,包括增加、删除和修改媒体文件的操作指令;
媒体文件迁移模块,用于接收媒体迁移消息转发模块所发送的的操作指令,根据增加媒体文件的操作指令将所述主系统中相应的媒体文件复制到所述备存储设备中,根据删除/修改媒体文件的操作指令删除/修改所述备存储设备中相应的媒体文件;
数据回写模块,用于按用户选择的时间段和栏目,将所述备数据库中的元数据复制或移动到主系统的中心数据库中;根据备数据库确定媒体文件在所述备存储设备中的存放路径,将所述媒体文件从所述备存储设备复制或移动到主系统的主存储设备中。
2.如权利要求1所述的系统,其特征在于:
所述数据回写模块在回写时,将用户选择的时间段内的所述备数据库保存的媒体文件的全局唯一标识符,同中心数据库中的媒体文件的全局唯一标识符进行比较,如果发现所述备数据库中存在而中心数据库不存在的媒体文件,则将备数据库中的元数据复制或移动到中心数据库,将该元数据对应的媒体文件从所述备存储设备复制或移动到主系统的主存储设备中。
3.如权利要求1所述的系统,其特征在于,所述媒体迁移消息转发模块过滤操作消息中的元数据,抽取其中与媒体文件相关的元数据并据此发送相应指令是指:
所述媒体迁移消息转发模块分析所述操作消息涉及的相关表,如果是与媒体文件相关的关键表,则立即依据操作消息中指示的操作,相应发出从主存储设备复制多媒体文件到备存储设备、或修改、或删除备存储设备中媒体文件的操作指令。
4.如权利要求1所述的系统,其特征在于,元数据分发模块还用于在收到操作消息后,按以下规则进行分发过滤:
当需要同步序列时,对于查询和创建序列的元数据将会被同步,不需要同步序列则所有查询类SQL语句全部丢弃;
所有执行的SQL语句会首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步;
所有对记录集进行的增删改操作,首先解析操作的数据表是否在已经配置好的同步表中,只有需要同步的数据表操作才进行同步。
5.如权利要求1所述的系统,其特征在于:
一个元数据代理模块接收一个或多个元数据分发模块发送的操作消息。
6.如权利要求1所述的系统,其特征在于:
所述媒体文件迁移模块提供限速与极速复制两种方式;限速复制方式通过单线程读写,实时调整单次传输大小;极速复制方式通过读写双线程实现。
7.如权利要求1所述的系统,其特征在于:
所述媒体文件迁移模块具备错误重做机制,重做队列可持久化;所述媒体文件迁移模块关闭时将重做队列序列化为xml文件保存到本地,在启动前预读保存的xml文件。
8.如权利要求1所述的系统,其特征在于:
所述媒体文件迁移模块在出现更新多媒体文件的操作指令时先发送将目标媒体文件改名的指令,然后再发送生成新的媒体文件的指令。
CN201210515990.3A 2012-12-05 2012-12-05 一种制作应急系统 Active CN103856724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210515990.3A CN103856724B (zh) 2012-12-05 2012-12-05 一种制作应急系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210515990.3A CN103856724B (zh) 2012-12-05 2012-12-05 一种制作应急系统

Publications (2)

Publication Number Publication Date
CN103856724A CN103856724A (zh) 2014-06-11
CN103856724B true CN103856724B (zh) 2017-03-29

Family

ID=50863880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210515990.3A Active CN103856724B (zh) 2012-12-05 2012-12-05 一种制作应急系统

Country Status (1)

Country Link
CN (1) CN103856724B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291750B (zh) 2016-03-31 2020-11-06 阿里巴巴集团控股有限公司 一种数据迁移方法和装置
CN107391539B (zh) * 2017-04-28 2020-08-04 阿里巴巴集团控股有限公司 事务处理方法、服务器和存储介质
CN107679931A (zh) * 2017-08-17 2018-02-09 平安科技(深圳)有限公司 订单异步处理的方法、装置、存储介质及终端
CN113641647B (zh) * 2021-08-10 2023-11-17 中影电影数字制作基地有限公司 媒资文件分发管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650744A (zh) * 2009-09-16 2010-02-17 中兴通讯股份有限公司 一种基于表空间迁移处理大数据量的系统及方法
US7788521B1 (en) * 2005-07-20 2010-08-31 Bakbone Software, Inc. Method and system for virtual on-demand recovery for real-time, continuous data protection
CN101876997A (zh) * 2009-12-01 2010-11-03 广州从兴电子开发有限公司 一种内存数据库主备同步方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558927B2 (en) * 2003-05-06 2009-07-07 Aptare, Inc. System to capture, transmit and persist backup and recovery meta data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788521B1 (en) * 2005-07-20 2010-08-31 Bakbone Software, Inc. Method and system for virtual on-demand recovery for real-time, continuous data protection
CN101650744A (zh) * 2009-09-16 2010-02-17 中兴通讯股份有限公司 一种基于表空间迁移处理大数据量的系统及方法
CN101876997A (zh) * 2009-12-01 2010-11-03 广州从兴电子开发有限公司 一种内存数据库主备同步方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电视台网络化节目制播体系应用业务系统网络管理软件设计方案;毕江等;《现代电视技术》;20080131;第28-32页 *

Also Published As

Publication number Publication date
CN103856724A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
JP7090744B2 (ja) 分散データベースクラスタシステム、及びデータ同期方法
US10503616B2 (en) Periodic data replication
US10565071B2 (en) Smart data replication recoverer
EP2052338B1 (en) Dynamic bulk-to-brick transformation of data
CN101501668B (zh) 通过身份保持的企业服务可利用性
US20150074458A1 (en) Systems and Methods of Event Driven Recovery Management
CN103856724B (zh) 一种制作应急系统
CN103530204B (zh) 一种实时数据备份方法及系统
CN106557592A (zh) 数据同步方法、装置及服务器集群
KR102119258B1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
US20110282843A1 (en) Method and system for data backup and replication
CN111274257B (zh) 一种基于数据的实时同步方法及系统
CN108123976A (zh) 集群间的数据备份方法、装置及系统
CN111177254B (zh) 一种异构关系型数据库之间数据同步的方法和装置
CN104486387B (zh) 一种数据同步处理方法及系统
CN105681420A (zh) 一种基于Docker实现交换机操作系统备份的方法
CN107229540A (zh) 一种基于时间点的数据库恢复方法及系统
WO2011015970A1 (en) Data gap management in a remote data mirroring system
CN106850761A (zh) 日志文件存储方法及装置
CN108228755A (zh) 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN105956207A (zh) 一种基于binlog的可配置的mysql数据库实时同步方法
CN107357800A (zh) 一种数据库高可用零丢失解决方法
CN105760398A (zh) 一种日志记录系统及日志记录操作方法
CN112667698B (zh) 一种基于融媒体平台的MongoDB数据同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant