CN101547216A - 一种实时数据采集过程中的安全存储方法及系统 - Google Patents

Abstract

本发明公开了一种实时数据采集过程中的安全存储方法及系统，属于数据存储技术领域。现有的广播电视收录系统在收录多媒体数据时，是将数据直接存储到网络中的目标存储器中，应用方便，但对网络环境及磁盘系统有极高的要求，然而由于计算机网络系统软、硬件的复杂性，安全可靠的网络环境不仅投资巨大，而且无法完全杜绝事故发生。本发明所述的方法及系统，当目标存储器工作异常时，数据调度模块会将对目标存储器的操作及数据记录到过程记录模块，同时启动过程恢复模块，当目标存储器恢复正常时，过程恢复模块将数据恢复到目标存储器中。采用该方法及系统，对网络环境和存储设备的安全性要求降低，在环境出现短暂故障时能够保证数据完整性。

Description

一种实时数据采集过程中的安全存储方法及系统

技术领域

本发明属于数据存储技术领域，具体涉及一种实时数据采集过程中的安全存储方法及系统。

背景技术

在网络化、数字化技术高速发展的今天，卫星技术在广播、通信领域得到了广泛的应用。大量的电视节目播出和交换都通过卫星传送来完成，与地面电视网共同形成了覆盖全球的广播电视网。数字化、智能化的实时数据采集系统(以下简称收录系统)以其可以接收多颗卫星的多套节目，并且能够同时下载，自动采集各卫星上的电视节目等强大功能成为了各电视台和媒体单位获取节目素材、进行节目交流的重要手段。

收录系统能够实现自动多频道收录，批处理采集的功能，用户只需按照工作需要制定节目采集任务表单，系统每天按表单指定时间和内容自动采集。收录系统的前端输入支持各种模拟视音频接口(模拟复合、分量、Y/C)、SDI信号以及ASI接口(符合DVB标准的TS流信号)等，后端输出则囊括了包括MPEG2I、MPEG2IBP、DV、DV50、M-JPEG、WMV、MPEG4等各种视频格式的多媒体文件。收录系统可以实现与网络的无缝连接，实现边收录边编辑的功能，大多数情况下，收录系统都是在全天候不间断信号无人值守的情况下运行，所以可靠性和冗余容错能力对于整个系统来至关重要。现有的收录系统在采集来自卫星等数据源的数据时，常用的方法如图1所示，通过数据调度模块将来自数据源的数据直接存储到目标存储器中。

由于多媒体文件的数据量巨大，对其存储要求比较高，目前对这些海量数据的文件存储都是采用的集中存储方法，即收录系统中数据调度模块将从卫星等数据源采集的素材等海量数据直接写入到网络中的目标存储器上，目标存储器目前常用的为磁盘阵列，因为磁盘阵列存储空间非常大，可以为海量数据的存储提供一个海量的存储空间，能够满足用户的存储需求。这种方法用户操作简单，应用起来非常方便，但是不足也随着应用的广泛而显得日益明显，其不足之处表现为：(1)由于收录系统的实时性及不可重复性，该方案对系统所处的网络环境及磁盘系统有极高的要求，一方面网络与磁盘系统必须提供足够的带宽，另一方面必须能够提供绝对可靠的连接，在长时间运行期间不能出现哪怕一瞬间的中断；(1)控制磁盘陈列的设备如交换机也必须保证实时正常运行，一旦出现故障，将会影响数据的存储；(3)磁盘阵列本身也有可能出现故障，导致数据无法存储。

正是基于上述原因，收录系统在实时采集并存储来自数据源的数据时，如何保证数据存储的稳定性和安全性显得尤为重要。

发明内容

针对现有技术中存在的问题，本发明的目的是提供一种实时数据采集过程中的安全存储方法及系统，通过本方法及系统，在海量数据实时采集和存储过程中，通过指定本地存储器，在目标存储器出现故障时，自动将对目标存储器的操作及数据记录的本地存储器，当故障消除时，自动将记录恢复到目标存储器中，减少实时数据采集过程中对网络及目标存储器稳定性的依赖，有效地提高收录系统在收录数据时的安全性和容错能力。

为了实现上述目的，本发明采用的技术方案是，一种实时数据采集过程中的安全存储方法，包括以下步骤：

(1)数据调度模块接收来自数据源的数据；

(2)当数据调度模块有数据要写入目标存储器中时，通知状态检测模块检测目标存储器的工作状态，若目标存储器工作状态良好，状态检测模块将该检测结果返回给数据调度模块，数据调度模块则将接收的数据直接存储到目标存储器中；若目标存储器工作异常，则状态检测模块将该检测结果同时返回给数据调度模块和过程恢复模块，然后进入步骤(3)；

(3)数据调度模块将对目标存储器的所有操作及需要写入目标存储器的数据均送入过程记录模块，过程记录模块将其存储到用户指定的本地存储器中；同时过程恢复模块启动，通过状态检测模块实时检测目标存储器的工作状态，一旦目标存储器恢复正常工作，则过程恢复模块将本地存储器中的数据恢复到目标存储器中，数据恢复完成后通过状态检测模块通知数据调度模块，此时，数据调度模块会将接收到数据直接写入目标存储器中，过程恢复模块的工作结束；

(4)过程恢复模块启动后，状态检测模块实时检测其工作状态，如果过程恢复模块处于工作状态，则数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据仍然通过过程记录模块记录到本地存储器中，直到状态检测模块检测到过程恢复模块将数据恢复完成并将该信息发送给数据调度模块；

(5)重复步骤(1)至步骤(4)，直到数据接收完毕；

进一步，所述的目标存储器的工作状态包括目标存储器工作正常、对目标存储器的操作失败、目标存储器工作异常，其中，目标存储器工作正常、对目标存储器的操作失败均可称为工作状态良好；

进一步，步骤(3)中所述的数据调度模块对目标存储器的操作包括打开、关闭、写、Seek、获取数据的长度和当前位置；

更进一步，记录数据调度模块对目标存储器的操作采用KLV编码方式，并在本地存储器上写为本地文件；所述的KLV编码是将每个操作分为三个字段编码，K表示当前操作类型，L表示该操作对应数据的长度，V表示该操作的数据，若L值为零则无V项；

进一步，步骤(3)中所述的将本地存储器中的数据恢复到目标存储器的具体过程是：首先将存储在本地存储器的记录转为对目标存储器的操作，然后将数据恢复到目标存储器；恢复完毕后，删除本地存储器中记录的文件；

进一步，步骤(5)中所述的数据收录完成后，关闭目标存储器中用于存储采集数据的文件支持两种模式，一种为立即模式，一种为等待模式；

更进一步，所述的立即模式是指关闭文件操作后立即返回；所述的等待模式是指关闭文件操作后等待用户设定的时间后返回；

再进一步，当关闭文件采用立即模式时，若关闭文件时过程恢复模块处于工作状态，则返回错误；当关闭文件采用等待模式时，若在等待时间结束时，过程恢复模块仍处于工作状态，则收录系统强制停止过程恢复模块，并返回错误。

一种实时数据采集过程中的安全存储系统，该系统包括：数据调度模块、状态检测模块、过程记录模块、过程恢复模块、本地存储器和目标存储器；

所述的数据调度模块：用于接收来自数据源的数据，并对数据进行调度，即根据状态检测模块返回的结果，确定是将数据直接存储到目标存储器中，还是将对目标存储器的操作及需要写入目标存储器的数据记录到过程记录模块；

所述的状态检测模块：用于检测目标存储器的工作状态，以及过程恢复模块的工作状态，并将工作状态通知数据调度模块和/或过程恢复模块；

所述的过程记录模块：用于将数据调度模块对目标存储器的操作及数据记录到本地存储器中；

所述的过程恢复模块：通过状态检测模块实时地检测目标存储器的工作状态，如果目标存储器恢复正常工作后，则将保存在本地存储器中的过程记录恢复为数据，并将数据写入到目标存储器中；过程恢复模块启动后，状态检测模块实时检测其工作状态，如果过程恢复模块处于工作状态，则数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据仍然通过过程记录模块记录到本地存储器中，直到状态检测模块检测到数据恢复完成并将该信息发送给数据调度模块；

所述的本地存储器：用于暂存数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据；

所述的目标存储器：用于存储用户所需的数据；

进一步，所述的目标存储器为磁盘阵列。

本发明的效果在于，采用本发明所述的方法及系统具有以下优点：

(1)在海量数据实时采集和存储的过程中对网络环境、存储设备的安全性要求降低，在环境出现短暂故障时能够保证数据的完整性；

(2)对系统开销小，在正常情况下无额外开销。

附图说明

图1是现有的收录系统采集和存储海量数据的方法；

图2是本发明所述系统的结构图；

图3是本发明所述方法的流程示意图；

图4是本发明所述的过程恢复模块的工作流程示意图。

具体实施方式

如图2所示，一种实时数据采集过程中的安全存储系统，该系统包括：数据调度模块、状态检测模块、过程记录模块、过程恢复模块、本地存储器和目标存储器；

所述的数据调度模块11：用于接收来自数据源的数据，并对数据进行调度；该模块对外提供数据输入、输出接口，该接口与普通的硬盘读写接口保持一致，用户通过该接口对磁盘文件进行访问；对内它是其它模块的数据源，它根据状态检测模块返回的结果，确定将数据存储到目标存储器16中或者将对目标存储器的操作及需要写入目标存储器的数据记录到过程记录模块13中；

所述的状态检测模块12：；用于检测目标存储器16的工作状态，以及过程恢复模块14的工作状态，并将工作状态通知数据调度模块11和/或过程恢复模块14；

过程记录模块13：用于将数据调度模块11对目标存储器16的所有操作及需要写入目标存储器的数据记录到本地存储器15中；

过程恢复模块14：通过状态检测模块12实时地检测目标存储器16的工作状态，如果目标存储器16恢复正常工作后，则将保存在本地存储器15中的过程记录恢复为数据，并将数据写入到目标存储器16中；过程恢复模块14启动后，状态检测模块12实时检测其工作状态，如果过程恢复模块14处于工作状态，则数据调度模块11对目标存储器16的所有操作及需要写入目标存储器16的数据仍然通过过程记录模块13记录到本地存储器15中，直到状态检测模块12检测到数据恢复完成并将该信息发送给数据调度模块11；

所述的本地存储器15：用于暂存数据调度模块11对目标存储器16的所有操作及需要写入目标存储器16的数据；

所述的目标存储器16：用于存储用户所需的数据，常用的目标存储器为磁盘阵列。

如图3所示，一种实时数据采集过程中的安全存储方法，包括以下步骤：

(1)数据调度模块接收来自数据源的数据；

(2)当数据调度模块有数据要写入目标存储器中时，通知状态检测模块检测目标存储器的工作状态，若目标存储器工作状态良好，状态检测模块将该检测结果返回给数据调度模块，数据调度模块则将接收的数据直接存储到目标存储器中；若目标存储器工作异常，则状态检测模块将该检测结果同时返回给数据调度模块和过程恢复模块，然后进入步骤(3)；

由于造成目标存储器异常的原因复杂多样，本实施例将目标存储器的工作状态分为三类：1)目标存储器工作正常；2)对目标存储器的操作失败；3)目标存储器工作异常。当状态检测模块检测到目标存储器处于第1)或者第2)类工作状态时，说明目标存储器的工作状态良好，此时数据调度模块将数据直接送往目标存储器中；其中，对目标存储器的操作失败意味着并不是因为目标存储器本身的故障，而是由于系统其它原因引起的，因此当原因消除后，数据调度模块直接对目标存储器进行操作，此种状态并不需要将对目标存储器的操作送往过程记录模块。当状态检测模块检测到目标存储器处于第3)类工作状态时，数据调度模块将对目标存储器的操作及数据送往过程记录模块，状态检测模块对目标存储器工作状态的检测方法是根据对目标存储器的读、写、Seek等操作的返回值确定；

(3)数据调度模块将对目标存储器的所有操作及需要写入目标存储器的数据均送入过程记录模块，过程记录模块将其存储到用户指定的本地存储器中；同时过程恢复模块启动，通过状态检测模块实时检测目标存储器的工作状态，一旦目标存储器恢复正常，则过程恢复模块将本地存储器中的数据恢复到目标存储器中，数据恢复完成后通过状态检测模块通知数据调度模块，此时，数据调度模块会将接收到数据直接写入目标存储器中，过程恢复模块的工作结束；

数据调度模块对目标存储器的操作分为：打开、关闭、写、Seek、获取长度、获取当前位置等，本实施例将采用KLV的编码方式将上述各种操作步骤编码并写为本地文件，KLV编码将每个操作分为三个字段编码，K(key)用于标识当前操作类型，L(length)表示该操作对应数据的长度，若该值为零则无Value项，V(value)表示该操作的数据。上述各操作KLV取值及意义如下表所示：

上表所述的代理操作是指当目标存储器工作异常时，由数据调度模块送往过程记录模块的操作，在进入代理操作状态时，过程恢复模块同时启动。在代理操作期间，数据调度模块检查操作参数的有效性，并将操作过程及数据发送到过程记录模块完成。对前01、02、03、04四种操作，将检查输入参数的有效性，如写入字节数量、Seek位置是否有效等；对05、06两种操作，数据调度模块获取自己保存的长度和位置信息，送给过程记录模块保存；

此外，为了保持目标文件的状态与用户所做操作一致，即在代理操作期间，用户能够获知目标存储器上文件操作的进度情况，用户可通过数据调度模块查询是系统已经写入目标存储器的数据量；

(4)过程恢复模块启动后，状态检测模块实时检测其工作状态，如果过程恢复模块处于工作状态，则数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据仍然通过过程记录模块记录到本地存储器中，直到状态检测模块检测到数据恢复完成并将该信息发送给数据调度模块；

过程恢复模块的工作流程如图4所示；

(5)重复步骤(1)至步骤(4)，直到数据接收完毕；

当数据收录完成后，关闭目标存储器中用于存储采集数据的文件支持两种模式，一种为立即模式，一种为等待模式在关闭文件时，支持立即模式与等待模式。立即模式是指关闭文件操作后立即返回，收录系统通过查询目标存储器上文件是否已经关闭来获取状态信息；等待模式是指关闭文件操作后等待一段时间后返回。当关闭文件采用立即模式时，若关闭文件时过程恢复模块处于工作状态，则返回错误；当关闭文件采用等待模式时，若在等待时间结束时，过程恢复模块仍处于工作状态，则收录系统强制停止过程恢复模块，并返回错误，此时目标存储器上的数据不完整。

下面具体以收录一个来自数据源的午间新闻的视频avi文件为例，具体说明本发明所述的方法。假设该收录任务的目标存储器路径为“Z：\每日新闻\”，对应的收录文件为Z：\每日新闻\午间新闻.avi，用户指定的本地存储器路径为“d：\Temp\”。根据本发明所述的方法的描述，对该视频avi文件采集并存储时，需要对该文件进行9次操作，如下表所示：

 

步骤	操作	操作前文件位置	操作数	操作数长度	操作后文件位置
						1	01(打开)	-	-	-	0
2	03(写)	0	Binary	50	50
						3	03(写)	50	Binary	100	150
4	03(写)	150	Binary	100	250
						5	03(写)	250	Binary	100	350

 

6	03(写)	350	Binary	100	450
						7	04(Seek)	450	50	8	50
8	03(写)	50	Binary	50	100
						9	02(关闭)	100	-	-	-

假设前5步操作均正常，第5步操作后目标存储器发生异常，直到第9步时目标存储器恢复正常，则该文件的具体存储过程如下：

(1)前1-5步中，数据调度模块将对目标存储器的所有操作及需要存入目标存储器的数据直接反映到Z：\每日新闻\午间新闻.avi；

(2)第6步中，状态检测模块发现目标存储器工作异常，则进行如下操作：

(a)启动过程恢复模块；

(b)启动过程记录模块；

(c)过程记录模块创建临时文件D：\Temp\午间新闻.rcv，若本地存储器已经存在该文件，则在文件名后加索引号，如D：\Temp\午间新闻-1.rcv；

(d)过程记录模块初始化临时文件，在D：\Temp\午间新闻.rcv中记录目标文件名：Z：\每日新闻\午间新闻.avi，以及起始位置：350；

(3)第6-9步中，数据调度模块将对目标存储器的操作及数据发送到过程记录模块，由过程记录模块将对目标存储器的操作及数据保存到D：\Temp\午间新闻.rcv。第6-9步中所产生的操作记录如下表所示：

 

序号	K	L	V
				1	03	100	Binary(100字节)
2	04	8	50
				3	03	50	Binary(50字节)
4	02	0	-

(4)状态检测模块发现目标存储器工作正常，通知过程恢复模块，过程恢复模块进行如下操作：

(a)打开“D：\Temp\午间新闻.rcv”，读取初始化信息，目标文件名“Z：\每日新闻\午间新闻.avi”及起始位置350；

(b)打开目标文件“Z：\每日新闻\午间新闻.avi”，并Seek到350；

(c)将上表所记录的操作及数据还原到“Z：\每日新闻\午间新闻.avi”。

本发明所述的方法及系统并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (10)

1.一种实时数据采集过程中的安全存储方法，包括以下步骤：

(1)数据调度模块接收来自数据源的数据；

(2)当数据调度模块有数据要写入目标存储器中时，通知状态检测模块检测目标存储器的工作状态，若目标存储器工作状态良好，状态检测模块将该检测结果返回给数据调度模块，数据调度模块则将接收的数据直接存储到目标存储器中；若目标存储器工作异常，则状态检测模块将该检测结果同时返回给数据调度模块和过程恢复模块，然后进入步骤(3)；

(3)数据调度模块将对目标存储器的所有操作及需要写入目标存储器的数据均送入过程记录模块，过程记录模块将其存储到用户指定的本地存储器中；同时过程恢复模块启动，通过状态检测模块实时检测目标存储器的工作状态，一旦目标存储器恢复正常工作，则过程恢复模块将本地存储器中的数据恢复到目标存储器中，数据恢复完成后通过状态检测模块通知数据调度模块，此时，数据调度模块会将接收到数据直接写入目标存储器中，过程恢复模块的工作结束；

(4)过程恢复模块启动后，状态检测模块实时检测其工作状态，如果过程恢复模块处于工作状态，则数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据仍然通过过程记录模块记录到本地存储器中，直到状态检测模块检测到过程恢复模块将数据恢复完成并将该信息发送给数据调度模块；

(5)重复步骤(1)至步骤(4)，直到数据接收完毕。

2.如权利要求1所述的一种实时数据采集过程中的安全存储方法，其特征在于：所述的目标存储器的工作状态包括目标存储器工作正常、对目标存储器的操作失败、目标存储器工作异常，其中，目标存储器工作正常、对目标存储器的操作失败均可称为工作状态良好。

3.如权利要求1所述的一种实时数据采集过程中的安全存储方法，其特征在于：步骤(3)中所述的数据调度模块对目标存储器的操作包括打开、关闭、写、Seek、获取数据的长度和当前位置。

4.如权利要求3所述的一种实时数据采集过程中的安全存储方法，其特征在于：记录数据调度模块对目标存储器的操作采用KLV编码方式，并在本地存储器上写为本地文件；所述的KLV编码是将每个操作分为三个字段编码，K表示当前操作类型，L表示该操作对应数据的长度，V表示该操作的数据，若L值为零则无V项。

5.如权利要求1所述的一种实时数据采集过程中的安全存储方法，其特征在于，步骤(3)中所述的将本地存储器中的数据恢复到目标存储器的具体过程是：首先将存储在本地存储器的记录转为对目标存储器的操作，然后将数据恢复到目标存储器；恢复完毕后，删除本地存储器记录的文件。

6.如权利要求1所述的一种实时数据采集过程中的安全存储方法，其特征在于：步骤(5)中所述的数据收录完成后，关闭目标存储器中用于存储采集数据的文件支持两种模式，一种为立即模式，一种为等待模式。

7.如权利要求6所述的一种实时数据采集过程中的安全存储方法，其特征在于：所述的立即模式是指关闭文件操作后立即返回；所述的等待模式是指关闭文件操作后等待用户设定的时间后返回。

8.如权利要求6或7所述的一种实时数据采集过程中的安全存储方法，其特征在于：当关闭文件采用立即模式时，若关闭文件时过程恢复模块处于工作状态，则返回错误；当关闭文件采用等待模式时，若在等待时间结束时，过程恢复模块仍处于工作状态，则收录系统强制停止过程恢复模块，并返回错误。

9.一种实时数据采集过程中的安全存储系统，该系统包括：数据调度模块、状态检测模块、过程记录模块、过程恢复模块、本地存储器和目标存储器；

所述的数据调度模块：用于接收来自数据源的数据，并对数据进行调度，即根据状态检测模块返回的结果，确定是将数据直接存储到目标存储器中，还是将对目标存储器的操作及需要写入目标存储器的数据记录到过程记录模块；

所述的状态检测模块：用于检测目标存储器的工作状态，以及过程恢复模块的工作状态，并将工作状态通知数据调度模块和/或过程恢复模块；

所述的过程记录模块：用于将数据调度模块对目标存储器的操作及数据记录到本地存储器中；

所述的过程恢复模块：通过状态检测模块实时地检测目标存储器的工作状态，如果目标存储器恢复正常工作后，则将保存在本地存储器中的过程记录恢复为数据，并将数据写入到目标存储器中；过程恢复模块启动后，状态检测模块实时检测其工作状态，如果过程恢复模块处于工作状态，则数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据仍然通过过程记录模块记录到本地存储器中，直到状态检测模块检测到数据恢复完成并将该信息发送给数据调度模块；

所述的本地存储器：用于暂存数据调度模块对目标存储器的所有操作及需要写入目标存储器的数据；

所述的目标存储器：用于存储用户所需的数据。

10.如权利要求9所述的一种实时数据采集过程中的安全存储系统，其特征在于：所述的目标存储器为磁盘阵列。

Images