CN105025308B - 一种基于碎片文件的ip流收录方法 - Google Patents

Abstract

本发明涉及一种基于碎片文件的IP流收录方法，包括：信号接收；流检测；流分析；流切片；流采集；目标文件检测；文件修复；文件服务。本发明通过PCR、PTS/DTS连续性判断，以及采用分段文件的IP碎片化采集方式，来减小IP网络数据异常造成整体文件不可用的风险。IP碎片化采集不仅可以实现对信号的24小时采集，还可以将出现信号问题时的影响降到最低。利用碎片化采集，最大程度的实现问题信号时间段内视音频数据形成单独分割，不会因为收录了带有错误时间戳等问题的视音频数据而导致整个文件的不可用。

Description

一种基于碎片文件的IP流收录方法

技术领域

本发明涉及一种基于碎片文件的IP流收录方法，是一种网络中文件传输的方法，是一种用于电视台数字化系统对外来数字化信号收录的方法。

背景技术

随着数字广播和高清技术的日益普及、新媒体业务的快速发展，作为数字媒体编辑、存储、管理、发布整个流程的开始点，信号采集和数据收录设备的发展，经历了从单一的少量模拟AV信号，向数字化转变的阶段，现在正面临着IP化、海量化以及标清向高清的快速发展。

传统的信号收录系统，射频信号经过解码设备将信号解码为SDI信号、ASI信号、AV模拟信号，经过相应的调度矩阵之后，将信号传给收录服务器进行采集，每一个采集通道只能同时采集一个收录信号，采集效率低，而且只有待采集完成之后才能对素材进行播放浏览，实时性不强，同时不能满足多屏播出的需求，同时一台采集服务器最大支持4～8路的信号采集，且设备成本高，另外，信号传输设备需要专用的信号传输线，信号传输成本较高。同时传统的SDI收录，无论是卫星信号，还是新闻外场传输过来的节目信号，由于信号传输的高成本，都无法实现对每个信号的24小时收录。因此，传统的信号收录系统已经不能满足日益发展的业务需求。

IP收录可以将目前的被动收录化为主动收录，可以有效的实现对每个信号的24小时收录，为节目制作提供最全面的视音频数据，即使没有事先预约收录任务，节目制作人员也可以找到需要的节目素材。但是IP收录也存在着一些问题。IP收录由于网络的干扰和抖动，会产生视音频数据的不连续或者误码等错误，在对信号进行24小时不间断收录的过程中，会导致最终收录文件的不可用，且即使可用，最终文件也会很大，不利于后期的使用。如何提高IP收录的稳定性，从根本上改变的网络干扰对IP收录的影响，是发展IP收录必须解决的问题。

发明内容

为解决现有技术的问题，本发明提出一种基于碎片文件的IP流收录方法。所述的方法对IP信号进行24小时碎片化采集，同时实现对信号的检测，将出现信号问题时段的视音频最小化成独立的小片段，不影响整个采集的可用性。最后对碎片文件进行发布，制作人员可以根据信号、内容或者时间，自行挑选需要的视音频文件，且所有文件可以做到全台网共享，提高了资源利用率。

本发明的目的是这样实现的：一种基于碎片文件的IP流收录方法，所述的方法使用的系统包括：多个客户端、多个所述的客户端通过网络与服务器集群组成的流媒体服务端连接，所述的流媒体服务端与视频信息源连接，所述方法的步骤如下：

信号接收的步骤：用于接收IP流信号、SDI信号、ASI信号，并将SDI信号、ASI信号转化为IP流信号；

流检测的步骤：用于通过过滤器对IP流的网络数据包进行检测，并记录异常信息特征，对记录到的异常数据包进行重组还原；

流分析的步骤：用于对流信号进行特征分析，按照数据包的完整性、连续性进行数据分段，并记录分段信息；

流切片的步骤：用于根据分段信息以及切片规则完成对数据包的切片；

流采集的步骤：用于根据切片信息进行采集，将IP流信号重封装为目标文件；

目标文件检测的步骤：用于对目标文件的视频信息进行检测，检测项目包括：黑场检测、彩帧检测、彩条检测、静帧检测、Y/U/V超标检测、复合信号检测、R/G/B超标检测，音频检测包括：无声检测、静音检测、电平检测、峰值超标检测、VU超标检测、立体声相位检测，如果目标文件检测有问题则进入下一步骤，如果无问题则进入服务的步骤；

文件修复的步骤：用于对出现问题的文件包进行修复；

文件服务的步骤：用于将目标文件放入碎片池，创建多个文件容器，完成收录采集，并对目标文件提供管理、发布、合并的服务。

进一步的，所述的“信号接收的步骤”包括如下子步骤：

信号类型判断的子步骤：用于对接收信号判断是否为IP流信号，如果是则进入“流分析的步骤”，如果不是则进入下一子步骤；

解码的子步骤：用于根据信号数据类型进行解码，形成原始视音频信号；

编码的子步骤：用于将原始视音频信号编码为IP流信号，之后进入“流分析的步骤”。

进一步的，所述的“流分析的步骤”中包括如下子步骤：

一致性检测的子步骤：用于检测TS流里面PSI信息是否前后一致，如果PSI信息发生变化，此时说明TS流的信号发生变化，需要将视音频数据在此处分段，保证前后TS流数据相互独立，文件可用；

连续性检测的子步骤：用于检测当前TS流数据PCR和DTS/PTS的连续性。

进一步的，所述的“连续性检测的子步骤”中PCR连续性的检测包括如下分步骤：

根据TS流中的标志位识别TS包头信息，根据包头信息找到PCR码所在位置及其大小，算出当前PCR值并记录；

继续接收数据，发现有新的带有PCR信息的数据报过来，按如上方式解析，与前一次获得的值比较，如果在绝对差在120秒之外，则认为PCR值出现跳变或者重置，记录跳变和重置；如果绝对差在120秒之内，则忽略。

进一步的，所述的“流切片步骤”中的切片规则为：在切片时间点内无异常，按时间点切片，出现异常，按照异常点切片。

进一步的，所述“文件修复的步骤”包括如下子步骤：

比较的子步骤：用于将当前数据包的PCR值或者DTS/PTS与上一个数据包的对应值相比较，两者的绝对差值是否在判定阈值之外，如果“是”为异常，进入下一子步骤，如果“否”则忽略；

计算当前合理范围内的理论值的子步骤：用于根据上一个数据包记录的PCR或者DTS/PTS值，计算当前合理范围内的理论值；

数据重置的子步骤：用于将计算所得的理论值写回到当前数据包中。

进一步的，所述的“文件服务的步骤”中发布的服务包括如下子步骤：

发起流媒体请求的子步骤：用于客户端发起流媒体请求，构建请求的参数信息，包括文件的基本信息；

请求分析的子步骤：用于流媒体服务端对请求进行行为分析，判断容器类型，根据类型访问相应的碎片池中的文件；

生成格式文件的子步骤：用于根据请求的要求，形成相应的格式文件；

推送的子步骤：用于流媒体服务端将形成的格式文件推送至客户端。

本发明产生的有益效果是：本发明通过PCR、PTS/DTS连续性判断，以及采用分段文件的IP碎片化采集方式，来减小IP网络数据异常造成整体文件不可用的风险。IP碎片化采集不仅可以实现对信号的24小时采集，还可以将出现信号问题时的影响降到最低。利用碎片化采集，最大程度的实现问题信号时间段内视音频数据形成单独分割，不会因为收录了带有错误时间戳等问题的视音频数据而导致整个文件的不可用。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述方法所使用的系统示意图；

图2是发明实施例一所述方法的流程图。

具体实施方式

实施例一：

一种基于碎片文件的IP流收录方法，所述的方法使用的系统包括：多个客户端、多个所述的客户端通过网络与服务器集群组成的流媒体服务端连接，所述的流媒体服务端与视频信息源连接，如图1所示。

视频信息源是各种视频信息输出源的总称，包括：卫星或电缆传输的其他电视台视频信号、接收地面其他电视台的视频信号、已有磁带、光盘上的视频信号、网络上的视频信号等。这些视频信号的类型各不相同，可以是IP流信号，或者是SDI、ASI等视频信号。

流媒体服务端中设置接收层、流处理层和服务层。

接收层：

接收层接收和处理收录的信号。由于收录的信号来自于多方面，其类型也不尽相同，所以需要进行处理：如果是IP流信号，则可以直接使用，如果是SDI、ASI之类的视频，就需要处理，处理的主要工作是转码。

流处理层：

流处理层主要完成对流信号的检测、分析、碎片化、采集以及文件检测修复的工作。流检测首先对经信号接收器的信号进行检测，以排除信号的异常。流检测通过的信号，经过流分析记录流信号关键信息，对于相近的特征进行标记，如果PCR信息或者DTS/PTS不连续，则重新封装当前碎片文件修正。流碎片，根据流分析结果，结合碎片原则，实现对流信号碎片化处理。流采集，根据碎片化结果对流信号进行采集。文件检测修复，对采集后的素材，进行检测与二次修复。其中十分关键的是碎片化。在碎片化的状态下可以实现对网络不稳定所造成的文件损伤进行修复和稳定的传输。由于网络传输的不稳定性，造成IP收录相比于传统的SDI和ASI收录在采集文件的可用性上有一定的欠缺，这直接可能导致最后收录文件的不可用。本实施例所述的IP碎片化采集不仅可以实现对信号的24小时采集，还可以将出现信号问题时的影响降到最低，利用碎片化采集，最大程度的实现问题信号时间段内视音频数据形成单独分割，不会因为收录了带有错误时间戳等问题的视音频数据而导致整个文件的不可用。IP碎片化收录可以实现在保证文件整体可用的情况下实现对信号的24小时收录。

服务层：

服务层具备对采集文件的生命周期管理、文件流发布以及文件合并功能，从而实现对系统存储的管理以及外系统进行资源调用的工作。

文件碎片化后，放在碎片池中待使用，服务层根据用户的需求，可以利用碎片池中的文件编制成各种类型的文件供使用。

收录的目的是为了使用，服务层提供了下载使用这些收录文件的服务。在碎片化的传输中，用户首先需要预约收录任务，在收录时采用分段文件的方法，在进入制作网前，检查采集的分段文件的可用性，修复网络异常造成的不可用文件，如果最后文件无法修复，则只会造成当前分段不可用，减少损失。

本实施例所述方法的具体步骤如下，流程图见图2所示：

信号接收的步骤：用于接收IP流信号、SDI信号、ASI信号，并将SDI信号、ASI信号转化为IP流信号。首先是判断，是否为IP流信号，再对不是IP流的信号进行转码，形成原始视频信号，再对原始视频信号进行IP流编码，形成IP流网络数据包。

流检测的步骤：用于通过过滤器对IP流的网络数据包进行检测，并记录异常信息特征，对记录到的异常数据包进行重组还原。

流分析的步骤：用于对流信号进行特征分析，按照数据包的完整性、连续性进行数据分段，并记录分段信息。结合流检测和流分析的结果，如果PCR信息或者DTS/PTS不连续，则重新封装当前碎片文件修正。由于MP信息丢失，而造成的马赛克、花屏等只会影响当前碎片文件，将信号损失降低到最小值。

流切片的步骤：用于根据分段信息以及切片规则完成对数据包的切片。

流采集的步骤：用于根据切片信息进行采集，将IP流信号重封装为目标文件。

目标文件检测的步骤：用于对目标文件的视频信息进行检测，检测项目包括：黑场检测、彩帧检测、彩条检测、静帧检测、Y/U/V超标检测、复合信号检测、R/G/B超标检测，音频检测包括：无声检测、静音检测、电平检测、峰值超标检测、VU超标检测、立体声相位检测，如果目标文件检测有问题则进入下一步骤，如果无问题则进入服务的步骤。

文件修复的步骤：用于对出现问题的文件包进行修复。

文件服务的步骤：用于将目标文件放入碎片池，创建多个文件容器，完成收录采集，并对目标文件提供管理、发布、合并的服务。

需要对上述步骤说明的是，在信号接收的步骤，我们将后续需要收录的信号统一转化为IP流网络数据包，这样后续的工作流程就可以更加简单方便，不论接收信号源是SDI信号还是ASI信号，再转化为IP流数据包后，后续的处理流程都可以使用一种方法规范处理。

实施例二：

本实施例是实施例一的改进，是实施例一关于“信号接收的步骤”的细化。本实施例所述的“信号接收的步骤”包括如下子步骤：

信号类型判断的子步骤：用于对接收信号判断是否为IP流信号，如果是则进入“流分析的步骤”，如果不是则进入下一子步骤。

解码的子步骤：用于根据信号数据类型进行解码，形成原始视音频信号。

编码的子步骤：用于将原始视音频信号编码为IP流信号，之后进入“流分析的步骤”。

实施例三：

本实施例是实施例一的改进，是实施例一关于“流分析的步骤”的细化。本实施例所述的“流分析的步骤”中包括如下子步骤：

一致性检测的子步骤：用于检测TS流里面PSI信息是否前后一致，如果PSI信息发生变化，此时说明TS流的信号发生变化，需要将视音频数据在此处分段，保证前后TS流数据相互独立，文件可用。

连续性检测的子步骤：用于检测当前TS流数据PCR和DTS/PTS的连续性。本实施例一的流检测以TS流为例，首先检测TS流里面PSI信息是否前后一致，如果PSI信息发生变化，此时说明TS流的信号发生变化，需要将视音频数据在此处分段，保证前后TS流数据相互独立，文件可用。其次检测当前TS流数据PCR和DTS/PTS的连续性。

实施例四：

本实施例是实施例三的改进，是实施例三关于“连续性检测的子步骤”的细化。本实施例所述的“连续性检测的子步骤”中PCR连续性的检测包括如下分步骤：

根据TS流中的标志位识别TS包头信息，根据包头信息找到PCR码所在位置及其大小，算出当前PCR值并记录。

继续接收数据，发现有新的带有PCR信息的数据报过来，按如上方式解析，与前一次获得的值比较，如果在绝对差在120秒之外，则认为PCR值出现跳变或者重置，记录跳变和重置，如果绝对差在120秒之内，则忽略。

本实施例以单流为例，按如下算法判断连续性：

PCR连续性检测：首先根据TS流中的标志位识别TS包头信息，根据包头信息找到PCR码所在位置及其大小，算出当前PCR值，记录，继续接收数据，发现有新的带有PCR信息的数据报过来，按如上方式解析，与前一次获得的值比较，如果在判断标准之外（绝对差在120秒之外），认为PCR值出现跳变或者重置。

如果当前数据包的PCR比上次记录的要小，且绝对差值在判断基准之外，且此时DTS也出现不连续，则认为PCR跳变，否则只是认为被重置。无论何种情况，此时应该将文件在此处分段，控制风险。

实施例五：

本实施例是实施例一的改进，是实施例一关于“流切片的步骤”的细化。本实施例所述的“流切片的步骤”中的切片规则为：在切片时间点内无异常，按时间点切片，出现异常，按照异常点切片。

为保证每个文件完整独立可用，必须保证每个文件的起始与结尾都是完整的gop组，必须分析流数据的gop组，查看每帧数据的类型，按如下原则检测：依次检测每帧画面的类型，当检测到帧类型满足nal_unit_type值为1、5时表示新的gop组起始，否则认为是同一gop组内的数据，不做切分。

实施例六：

本实施例是实施例一的改进，是实施例一关于“文件修复的步骤”的细化。本实施例所述“文件修复的步骤”包括如下子步骤：

比较的子步骤：用于将当前数据包的PCR值或者DTS/PTS与上一个数据包的对应值相比较，两者的绝对差值是否在判定阈值之外，如果“是”为异常，进入下一子步骤，如果“否”则忽略。如果发现当前数据包的PCR值或者DTS/PTS值出现异常，异常指的是与上一个数据包的对应值相比较，发现两者的绝对差值在判定阈值之外。

计算当前合理范围内的理论值的子步骤：用于根据上一个数据包记录的PCR或者DTS/PTS值，计算当前合理范围内的理论值。基于上一个数据包记录的PCR或者DTS/PTS值，计算当前合理范围内的理论值，如下：

当前数据包值减第一次记录值得到绝对差值，加上先前PCR的基准值，得到理论PCR值的中间变量。

然后根据此中间变量以此与标准相互计算获得PCR值每一部分的数据。

数据重置的子步骤：用于将计算所得的理论值写回到当前数据包中。将当前数据包内的对应PCR或者DTS/PTS数据重置，即将上一步骤中获得的相关数据的每一部分写回当前数据包的相应位置。

实施例七：

本实施例是实施例一的改进，是实施例一关于“文件服务的步骤”的细化。本实施例所述的“文件服务的步骤”中发布的服务包括如下子步骤：

发起流媒体请求的子步骤：用于客户端发起流媒体请求，构建请求的参数信息，包括文件的基本信息。采集后文件进入碎片池，通过流媒体容器封装服务创建多个文件容器，用户通过BS访问，并发起流媒体请求，通过流媒体服务集群，构建请求的参数信息，包括文件的基本信息，同时访问流媒体缓存服务，对请求进行行为分析，判断容器类型，根据类型访问相应的碎片池中的文件。

请求分析的子步骤：用于流媒体服务端对请求进行行为分析，判断容器类型，根据类型访问相应的碎片池中的文件。

生成格式文件的子步骤：用于根据请求的要求，形成相应的格式文件。

推送的子步骤：用于流媒体服务端将形成的格式文件推送至客户端。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如生成碎片文件的方式、步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。

Claims (7)

1.一种基于碎片文件的IP流收录方法，所述的方法使用的系统包括：多个客户端、多个所述的客户端通过网络与服务器集群组成的流媒体服务端连接，所述的流媒体服务端与视频信息源连接，其特征在于，所述方法的步骤如下：

信号接收的步骤：用于接收IP流信号、SDI信号、ASI信号，并将SDI信号、ASI信号转化为IP流信号；

流检测的步骤：用于通过过滤器对IP流的网络数据包进行检测，并记录异常信息特征，对记录到的异常数据包进行重组还原；

流分析的步骤：用于对重组还原的TS流信号进行特征分析，根据重组还原的TS流信号的PSI、PCR、DTS、PTS信息，来检测数据包的完整性、连续性，从而进行数据分段，并记录分段信息；

流切片的步骤：用于根据分段信息以及切片规则完成对数据包的切片；

流采集的步骤：用于根据切片信息进行采集，将IP流信号重封装为目标文件；

目标文件检测的步骤：用于对目标文件的视频信息进行检测，检测项目包括：黑场检测、彩帧检测、彩条检测、静帧检测、Y/U/V超标检测、复合信号检测、R/G/B超标检测，音频检测包括：无声检测、静音检测、电平检测、峰值超标检测、VU超标检测、立体声相位检测，如果目标文件检测有问题则进入下一步骤，如果无问题则进入文件服务的步骤；

文件修复的步骤：用于对出现问题的目标文件进行修复；

文件服务的步骤：用于将目标文件放入碎片池，创建多个文件容器，完成收录采集，并对目标文件提供管理、发布、合并的服务。

2.根据权利要求1所述的方法，其特征在于，所述的“信号接收的步骤”包括如下子步骤：

信号类型判断的子步骤：用于对接收信号判断是否为IP流信号，如果是则进入“流检测的步骤”，如果不是则进入下一子步骤；

解码的子步骤：用于根据信号数据类型进行解码，形成原始视音频信号；

编码的子步骤：用于将原始视音频信号编码为IP流信号，之后进入“流检测的步骤”。

3.根据权利要求1所述的方法，其特征在于，所述的“流分析的步骤”中包括如下子步骤：

一致性检测的子步骤：用于检测TS流里面PSI信息是否前后一致，如果PSI信息发生变化，此时说明TS流的信号发生变化，需要将视音频数据在此处分段，保证前后TS流数据相互独立，文件可用；

连续性检测的子步骤：用于检测当前TS流数据PCR和DTS/PTS的连续性，如果PCR信息或者DTS/PTS不连续，则重新封装当前碎片文件修正。

4.根据权利要求3所述的方法，其特征在于，所述的“连续性检测的子步骤”中PCR连续性的检测包括如下分步骤：

根据TS流中的标志位识别TS包头信息，根据包头信息找到PCR码所在位置及其大小，算出当前PCR值并记录；

继续接收数据，发现有新的带有PCR信息的数据报过来，按如上方式解析，与前一次获得的值比较，如果绝对差在120秒之外，则认为PCR值出现跳变或者重置，记录跳变和重置；如果绝对差在120秒之内，则忽略。

5.根据权利要求1所述的方法，其特征在于，所述的“流切片的步骤”中的切片规则为：在切片时间点内无异常，按时间点切片，出现异常，按照异常点切片。

6.根据权利要求1所述的方法，其特征在于所述“文件修复的步骤”包括如下子步骤：

比较的子步骤：用于将当前数据包的PCR值或者DTS/PTS与上一个数据包的对应值相比较，两者的绝对差值是否在判定阈值之外，如果“是”为异常，进入下一子步骤，如果“否”则忽略；

计算当前合理范围内的理论值的子步骤：用于根据上一个数据包记录的PCR或者DTS/PTS值，计算当前合理范围内的理论值；

数据重置的子步骤：用于将计算所得的理论值写回到当前数据包中。

7.根据权利要求1所述的方法，其特征在于，所述的“文件服务的步骤”中发布的服务包括如下子步骤：

发起流媒体请求的子步骤：用于客户端发起流媒体请求，构建请求的参数信息，包括文件的基本信息；

请求分析的子步骤：用于流媒体服务端对请求进行行为分析，判断容器类型，根据类型访问相应的碎片池中的文件；

生成格式文件的子步骤：用于根据请求的要求，形成相应的格式文件；

推送的子步骤：用于流媒体服务端将形成的格式文件推送至客户端。