CN101547215A - 一种实时数据采集过程中的文件转储方法及系统 - Google Patents

Abstract

本发明公开了一种实时数据采集过程中的文件转储方法及系统，属于数据存储技术领域。现有的实时数据采集系统采集海量数据时，是将来自数据源的数据直接存储到目标存储器中，这对系统所处的网络环境及磁盘系统有极高的要求，然而由于计算机网络系统软、硬件的复杂性，安全可靠的网络环境不仅投资巨大，而且无法完全杜绝事故发生。本发明所述的方法及系统，是将收录模块接收的数据首先存储到本地存储器中，然后通过转储模块再将本地存储器中存储的数据转存到目标存储器中，从而提高了实时数据采集系统在采集海量数据时的稳定性和容错能力。

Description

一种实时数据采集过程中的文件转储方法及系统

技术领域

本发明属于数据存储技术领域，具体涉及一种实时数据采集过程中的文件转储方法及系统。

背景技术

在数字化技术高速发展的今天，在广播电视领域，其收录系统以其可以接收多颗卫星的多套节目，并且能够同时下载，自动采集各卫星上的电视节目等强大功能成为了各电视台和媒体单位获取节目素材、进行节目交流的重要手段。

收录控制系统实现自动多频道收录，批处理采集功能，用户只需按照工作需要制定节目采集任务表单，系统每天按表单指定时间和内容自动采集。收录系统的前端输入支持各种模拟视音频接口(模拟复合、分量、Y/C)、SDI信号以及ASI接口(符合DVB标准的TS流信号)等，后端输出则囊括了包括MPEG2I、MPEG2IBP、DV、DV50、M-JPEG、WMV、MPEG4等各种视频格式的文件。大多数情况下，收录系统都是在全天候不间断信号无人值守的情况下运行，所以可靠性和冗余容错能力对于整个系统来说至关重要。

目前，广播电视领域中，其现有的收录系统均实时接受来自卫星等数据源的数据，然后直接存储在网络中的磁盘阵列中，因为，广播电视领域中的数据文件多是多媒体文件，数据量巨大，对于存储空间的要求比较高，目前这类海量数据文件的存储通常采用集中存储方法，即将数据存储到目标存储器中，常用的多为磁盘阵列，因为磁盘阵列可以提供一个海量的存储空间，能够满足这类文件大量存储的需要，应用起来非常方便，但是收录系统的实时性及不可重复性，该方案对收录系统所处的网络环境及磁盘系统有极高的要求，一方面网络与磁盘系统必须提供足够的带宽，另一方面必须能够提供绝对可靠的连接，在长时间运行期间不能出现哪怕一瞬间的中断。而由于计算机网络系统软、硬件的复杂性，安全可靠的网络环境不仅投资巨大，而且无法完全杜绝事故发生，所以还需要由收录系统提供自身的安全机制，保证收录数据的安全性，现有收录系统的结构示意图如图1所示。

为解决上述海量数据实时收录的安全性问题，在现有的收录系统中，一般会根据收录计划将文件收录为一个文件或多个文件切片，从而减少文件收录出错的概率，有利于节目的编辑和制作。对于切片长度的控制，一般遵循以下原则：对于时效性高的节目，切片的时间可能短一些，而对于时效性不高的节目，切片的时间就可能会长一些。无论是切片还是不切片，文件存储都是采用的集中存储方法，即将采集的素材直接并入到网络存储体系中，通过在线的磁盘阵列为素材存储提供一个海量的存储空间，但是一旦连接网络出现故障，就可能导致直接在网络中的磁盘阵列上写文件失败，从而使整个收录的文件报废。

发明内容

针对现有技术中存在的问题，本发明的目的是提供一种实时数据采集过程中的文件转储方法及系统，采用该方法及系统能够提高海量数据实时收录过程中的稳定性和容错能力，完全不用担心网络故障的发生，降低了对计算机连接网络的依赖。

为了实现上述目的，本发明采用的技术方案是，一种实时数据采集过程中的文件转储方法，包括以下步骤：

(1)收录模块根据用户设置的收录任务将从数据源采集的数据存储到用户指定的本地存储器，成为本地文件；

(2)收录模块完成本地文件的收录时，收录模块将该信息通知代理模块，然后代理模块将本地文件信息发送给转储模块；

(3)转储模块将本地文件转储到目标存储器中；

进一步，所述的本地文件为一个文件或一个以上的文件切片；

进一步，步骤(3)中，转储模块将本地文件转储到目标存储器时，以转储拷贝单元为单位进行转储，所述的转储拷贝单元是指每次切片完成时或者无切片设置的收录任务完成时生成的所有数据文件；

更进一步，步骤(3)中，转储模块以转储拷贝单元为单位进行转储时，具体方法以下：

1)将文件信息或文件片段信息与其相应的被设置为未拷贝成功的标志位作为一个整体放在循环队列中等待转储；

2)转储模块中的线程检测循环队列，如果发现循环队列中有数据时，则读取文件信息或文件片段信息，判断标志位，如果标志位为未拷贝成功状态，则继续判断文件信息或文件片段信息所对应的转储拷贝单元中需要拷贝的文件数量，然后据此执行步骤3)；如果标志位为未注册成功状态，则转步骤6)；

3)将转储拷贝单元中的文件拷贝到目标存储器中；

4)判断文件拷贝是否成功；如该文件拷贝成功，则继续判断是否还有其它文件需要拷贝，如果还有其它文件需要拷贝，则重复步骤3)，直到转储拷贝单元中的所有文件全部成功拷贝，转储拷贝单元中的文件全部成功拷贝后，则删除本地存储器中的文件并转步骤6)；如果转储拷贝单元中的任何一个文件未拷贝成功，则转步骤5)；

5)检测连接网络是否恢复；如果连接网络恢复，则删除目标存储器中未拷贝成功的垃圾文件后重复步骤3)；如果网络没有恢复，则此时会删除垃圾文件失败，此时需要将待拷贝的文件重新命名后再次拷贝，如果在用户指定的重试次数内文件拷贝仍然失败，则转储拷贝单元中的还未拷贝的文件不需要继续拷贝，此时认为整个转储拷贝单位没有拷贝成功，将此文件片段的信息放回循环队列中，标志位改为未拷贝成功状态，转入步骤1)；

6)注册文件，即生成mta文件，该文件记录了文件或文件片段的所有文件信息；

7)判断注册文件是否成功；如注册文件成功即生成mta文件，则处理结束；如注册文件失败即生成mta文件失败，则将该文件或文件片段的文件信息放回物质循环队列中，并将标志位修改为未注册成功状态，这样在下次重新从循环队列取出时，只注册文件而不需要再重新拷贝；

再进一步，步骤3)中，将转储拷贝单元中的文件拷贝到目标存储器中时，其拷贝速度包括两种控制方式，一种为手动控制，一种为自动控制；

所述的手动控制是指用户能够在数据拷贝前或者数据拷贝过程中手动更改拷贝速度；

所述的自动控制是指计算机在数据拷贝过程中能够根据当前CPU、内部视音频缓冲区的使用情况以及本地存储器当前的读写性能自动调节拷贝速度；

一种实时数据采集过程中的文件转储系统，该系统包括收录模块、代理模块、本地存储器、转储模块和目标存储器；

所述的收录模块，用于将从数据源采集的数据存储到用户指定的本地存储器中，并在收录模块完成本地文件的收录时，将该信息通知代理模块；

所述的代理模块，用于将接受到的收录模块传送来的的文件信息发送给转储模块；

所述的转储模块，用于接受代理模块传送的文件信息，并将本地存储器中的文件转储到目标存储器中；

所述的本地存储器，用于存储来自收录模块的数据；

所述的目标存储器，用于存储用户所需要的数据；

进一步，所述的目标存储器是磁盘阵列。

本发明的效果在于，采用本发明所述的方法及系统具有如下优点：

(1)提高了系统的稳定性：从数据源到本地存储器，再从本地存储器到目标存储器的收录过程，有效地解决了从数据源到目标存储器收录过程中由于网络因素产生的素材报废的问题，提高了海量数据实时收录过程中的稳定性和容错能力；

(2)提高了系统的容错能力：在网络异常的情况下重新检测网络链接，待网络正常后，自动删除网络出错时产生的垃圾文件并进行文件的重新拷贝，使系统在不需要人工干预的情况下进行错误的自我修正。

附图说明

图1是现有的收录系统结构示意图；

图2是本发明所述的系统结构示意图

图3是本发明所述的方法流程示意图；

图4是本发明所述方法中转储文件的流程示意图。

具体实施方式

如图2所示，一种实时数据采集过程中的文件转储系统，该系统包括收录模块11、代理模块14、本地存储器13、转储模块15和目标存储器16；

所述的收录模块11，用于将从数据源12采集的数据存储到用户指定的本地存储器13中，并在收录模块11完成本地文件的收录时，将该信息通知代理模块14；

所述的代理模块14，用于将接受到的收录模块11传送来的的文件信息发送给转储模块15；

所述的转储模块15，用于接受代理模块14传送的文件信息，并将本地存储器13中的文件转储到目标存储器16中；

所述的本地存储器13，用于存储来自收录模块11的数据；

所述的目标存储器16，用于存储用户所需要的数据，目标存储器可以为磁盘阵列。

如图3所示，一种卫星收录系统中的文件转储方法，本实施例以收录来自卫生电视信号数据源的SDI视音频文件为例，具体描述本发明所述的方法，包括以下步骤：

(1)收录模块根据用户设置的收录任务将从数据源采集的数据存储到用户指定的本地存储器，成为本地文件；

本实施例中，用户的收录任务设置为：双码收录即高、低码同时收录，采集格式设置为Mpeg2i和Mpeg4，音频设置为单声道，任务采集长度为2分钟，切片长度为一分钟，即本收录任务中有两个文件切片，这就意味着每一分钟就会同时有6个文件生成到本地存储器，其中包括高码的1个avi格式的文件，2个wav格式的文件，低码的1个avi格式的文件和2个wav格式的文件，每次切片完成或无切片设置的任务完成时生成的所有数据文件作为一个转储拷贝单元，本实施例中的本地文件包括有两个文件片段即文件片段1和文件片段2，因此，本实施例中的收录任务对应了2个转储拷贝单元；收录模块根据用户设置的收录任务将从数据源采集的数据存储到用户指定的本地存储器，成为本地文件；

(2)收录模块完成本地文件的收录时，收录模块将该信息通知代理模块，然后代理模块将本地文件信息发送给转储模块；

本实施例中，当收录模块完成文件片段1的收录时，收录模块将该信息通知代理模块，然后代理模块将本地文件片段信息发送给转储模块；

(3)转储模块将本地文件转储到目标存储器中；

本实施例中，转储模块将本地文件转储到目标存储器时，以转储拷贝单元为单位进行转储，如图4所示，具体方法为：

1)将文件信息或文件片段信息与其相应的被设置为未拷贝成功的标志位作为一个整体放在循环队列中等待转储；

2)转储模块中的线程检测循环队列，如果发现循环队列中有数据时，则读取文件信息或文件片段信息，判断标志位，如果标志位为未拷贝成功状态，则继续判断文件信息或文件片段信息所对应的转储拷贝单元中需要拷贝的文件数量，如本实施例中文件片段1所对应的转储拷贝单元共有6个文件需要拷贝，然后据此执行步骤3)；如果标志位为未注册成功状态，则转步骤6)；

3)将转储拷贝单元中的文件拷贝到目标存储器中；其拷贝速度包括两种控制方式：手动控制和自动控制；用户根据需要可以自由选择；通过这两种速度控制手段就可以实现在给定的拷贝时间内按照磁盘读写性能的最佳状态拷贝文件；

所述的手动控制是指用户能够在数据拷贝前或者数据拷贝过程中手动更改拷贝速度；

所述的自动控制是指计算机在数据拷贝过程中能够根据当前CPU、内部视音频缓冲区的使用情况以及本地存储器当前的读写性能自动调节拷贝速度；

4)判断文件拷贝是否成功；如该文件拷贝成功，则继续判断是否还有其它文件需要拷贝，如果还有其它文件需要拷贝，则重复步骤3)，直到转储拷贝单元中的所有文件全部成功拷贝，转储拷贝单元中的文件全部成功拷贝后，则删除本地存储器中的文件并转步骤6)；如果转储拷贝单元中的任何一个文件未拷贝成功，则转步骤5)；

5)检测连接网络是否恢复；如果连接网络恢复，则删除目标存储器中未拷贝成功的垃圾文件后重复步骤3)；如果网络没有恢复，则此时会删除垃圾文件失败，此时需要将待拷贝的文件重新命名后再次拷贝，如果在用户指定的重试次数内文件拷贝仍然失败，则转储拷贝单元中的还未拷贝的文件不需要继续拷贝，此时认为整个转储拷贝单位没有拷贝成功，将此文件片段的信息放回循环队列中，标志位改为未拷贝成功状态，转入步骤1)；

6)注册文件，即生成mta文件，该文件记录了文件或文件片段的所有文件信息；

7)判断注册文件是否成功；如注册文件成功即生成mta文件，则处理结束；如注册文件失败即生成mta文件失败，则将该文件或文件片段的文件信息放回循环队列中，并将标志位修改为未注册成功状态，这样在下次重新从循环队列取出时，只注册文件而不需要再重新拷贝；

文件片段2的生成与拷贝以及注册与文件片段1的方法相同，即重复上述过程即可。

本发明所述的方法及系统并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (9)

1.一种实时数据采集过程中的文件转储方法，包括以下步骤：

(1)收录模块根据用户设置的收录任务将从数据源采集的数据存储到用户指定的本地存储器，成为本地文件；

(2)收录模块完成本地文件的收录时，收录模块将该信息通知代理模块，然后代理模块将本地文件信息发送给转储模块；

(3)转储模块将本地文件转储到目标存储器中。

2.如权利要求1所述的一种实时数据采集过程中的文件转储方法，其特征在于：所述的本地文件为一个文件或一个以上的文件切片。

3.如权利要求2所述的一种实时数据采集过程中的文件转储方法，其特征在于：步骤(3)中，转储模块将本地文件转储到目标存储器时，以转储拷贝单元为单位进行转储，所述的转储拷贝单元是指每次切片完成时或者无切片设置的收录任务完成时生成的所有数据文件。

4.如权利要求3所述的一种实时数据采集过程中的文件转储方法，其特征在于：步骤(3)中，转储模块以转储拷贝单元为单位进行转储时，具体方法以下：

1)将文件信息或文件片段信息与其相应的被设置为未拷贝成功的标志位作为一个整体放在循环队列中等待转储；

2)转储模块中的线程检测循环队列，如果发现循环队列中有数据时，则读取文件信息或文件片段信息，判断标志位，如果标志位为未拷贝成功状态，则继续判断文件信息或文件片段信息所对应的转储拷贝单元中需要拷贝的文件数量，然后据此执行步骤3)；如果标志位为未注册成功状态，则转步骤6)；

3)将转储拷贝单元中的文件拷贝到目标存储器中；

4)判断文件拷贝是否成功；如该文件拷贝成功，则继续判断是否还有其它文件需要拷贝，如果还有其它文件需要拷贝，则重复步骤3)，直到转储拷贝单元中的所有文件全部成功拷贝，转储拷贝单元中的文件全部成功拷贝后，则删除本地存储器中的文件并转步骤6)；如果转储拷贝单元中的任何一个文件未拷贝成功，则转步骤5)；

5)检测连接网络是否恢复；如果连接网络恢复，则删除目标存储器中未拷贝成功的垃圾文件后重复步骤3)；如果网络没有恢复，则此时会删除垃圾文件失败，此时需要将待拷贝的文件重新命名后再次拷贝，如果在用户指定的重试次数内文件拷贝仍然失败，则转储拷贝单元中的还未拷贝的文件不需要继续拷贝，此时认为整个转储拷贝单位没有拷贝成功，将此文件片段的信息放回循环队列中，标志位改为未拷贝成功状态，转入步骤1)；

6)注册文件，即生成mta文件，该文件记录了文件或文件片段的所有文件信息；

7)判断注册文件是否成功；如注册文件成功即生成mta文件，则处理结束；如注册文件失败即生成mta文件失败，则将该文件或文件片段的文件信息放回物质循环队列中，并将标志位修改为未注册成功状态，这样在下次重新从循环队列取出时，只注册文件而不需要再重新拷贝。

5.如权利要求4所述的一种实时数据采集过程中的文件转储方法，其特征在于：步骤3)中，将转储拷贝单元中的文件拷贝到目标存储器中时，其拷贝速度包括两种控制方式，一种为手动控制，一种为自动控制。

6.如权利要求5所述的一种实时数据采集过程中的文件转储方法，其特征在于：所述的手动控制是指用户能够在数据拷贝前或者数据拷贝过程中手动更改拷贝速度。

7.如权利要求5所述的一种实时数据采集过程中的文件转储方法，其特征在于：所述的自动控制是指计算机在数据拷贝过程中能够根据当前CPU、内部视音频缓冲区的使用情况以及本地存储器当前的读写性能自动调节拷贝速度。

8.一种实时数据采集过程中的文件转储系统，该系统包括收录模块、代理模块、本地存储器、转储模块和目标存储器；

所述的收录模块，用于将从数据源采集的数据存储到用户指定的本地存储器中，并在收录模块完成本地文件的收录时，将该信息通知代理模块；

所述的代理模块，用于将接受到的收录模块传送来的的文件信息发送给转储模块；

所述的转储模块，用于接受代理模块传送的文件信息，并将本地存储器中的文件转储到目标存储器中；

所述的本地存储器，用于存储来自收录模块的数据；

所述的目标存储器，用于存储用户所需要的数据。

9.如权利要求8所述的一种实时数据采集系统中的文件转储系统，其特征在于：所述的目标存储器是磁盘阵列。

Images