CN112350986B - 一种音视频网络传输碎片化的整形方法及系统 - Google Patents

Abstract

本发明涉及一种音视频网络传输碎片化的整形方法及系统。该方法的步骤包括：在实时网络流量中，识别音视频碎片化传输的数据流和信息流；将识别的音视频碎片传输的信息流存储在高性能消息队列中；在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理；利用识别的音视频碎片传输的数据流与分析处理后的信息流，进行音视频碎片数据的关联，实现碎片化传输的音视频的整形。本发明高度概括了音视频碎片化传输的描述模型，能够涵盖目前已知的音视频碎片化传输的所有表现形式，音视频网络传输碎片化的整形具有通用性、灵活性，能够应对不同音视频服务提供商碎片化传输方式的差异性和动态变化。

Description

一种音视频网络传输碎片化的整形方法及系统

技术领域

本发明属于信息安全内容监管技术领域，具体涉及一种音视频网络传输碎片化的整形方法及系统。

背景技术

随着互联网高带宽、多媒体技术的发展，网络人均带宽增加迅猛、互联网资源单个体积越来越大。为了充分利用带宽资源、提高用户体验，互联网内容提供商使用了非常多的传输优化技术，加速网络内容的传输，提升终端用户的体验。碎片化传输应运而生，其本质是将体积较大的数据在应用层上化整为零，分片传输。音视频节目作为大众获取资讯与娱乐内容最为快捷的方式之一，其数据业务流量大，更加广泛地采用了碎片化传输优化技术来加速网络传输。

苹果公司提出的一套基于HTTP的流媒体传输协议HLS(HTTP Live Streaming)，可以实现动态码率自适应技术，主要用于PC和Apple终端的音视频服务。世界领先数字媒体供应商Adobe公司设计OSMF(Open Source Media Framework)开源媒体框架，实现基于HTTP的流媒体播放协议HDS(HTTP Dynamic Streaming)。MPEG-DASH(Dynamic AdaptiveStreaming over HTTP)是由MPEG-LAISO标准组织创立的媒体传输标准，目的是标准化HTTPStreaming技术以取代目前存在的不同厂商技术方案。基于HTTP传输的音视频流媒体协议已逐渐取代传统流媒体播放协议(MMS/RTMP/RTSP/TRCP/RTP)成为最主流的音视频传输手段。上述HTTP音视频流媒体协议在网络中呈现碎片化传输的形态，表现为一个音视频节目分为多个数据碎片承载在多个网络传输会话上进行传输。这一现状，对从实时网络流量中进行音视频节目的完整还原、内容检测与监管提出了挑战。

发明内容

为了解决音视频碎片化传输的情况下，节目重建还原的问题，本发明提供了一种高速实时网络流量旁路监听模式下音视频传输碎片化的整形方法及系统，主要适用于部署在高速网络流量中的音视频内容监管平台中。

本发明提供的音视频网络传输碎片化整形方法及系统可用于音视频内容安全检查、音视频盗版取证等相关的领域。

本发明采用的技术方案如下：

一种音视频网络传输碎片化的整形方法，包括以下步骤：

在实时网络流量中，识别音视频碎片化传输的数据流和信息流；

将识别的音视频碎片传输的信息流存储在高性能消息队列中；

在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理；

利用识别的音视频碎片传输的数据流与分析处理后的信息流，进行音视频碎片数据的关联，实现传输碎片化的音视频的整形。

进一步地，所述识别音视频碎片化传输的数据流和信息流，包括：通过音视频碎片化传输的协议特征、音视频碎片化传输的内容特征域、音视频碎片化传输预告三种方式识别音视频碎片化传输的数据流和信息流；所述音视频碎片化传输的协议特征，包括URL、Host、Referer、Cookie、Content-type、Server；所述音视频碎片化传输的内容特征域，表现在碎片化传输的音视频码流在二进制码流上存在的特征；所述音视频碎片传输预告，是以无监督形式，通过C2S请求侧的碎片化传输特征学习到S2C应答侧的碎片预告，以保证单向流情况下无特征的音视频碎片化传输行为能够根据碎片预告进行有效识别。

进一步地，所述高性能消息队列为kafka。

进一步地，所述在高性能消息队列中获取音视频碎片传输的信息流，获取的信息流包括：音视频碎片化传输的描述信息，单向流场景下音视频碎片化传输的非数据侧的信息，音视频碎片化传输的索引文件。

进一步地，所述对信息流进行分析处理，包括：解析音视频碎片化传输的索引文件，生成音视频节目标识，并提取音视频数据碎片的碎片关联标识和碎片偏移；所述音视频节目标识具备唯一性、稳定性和可重入性。

进一步地，所述碎片关联标识采用以下步骤获得：

基于音视频碎片化传输的协议，构建碎片关联标识抽取特征库，特征库描述语言为：碎片关联标识＝信息流内容$开始位置表达式$二次定位表达式$结束位置表达式$；

在原始音视频信息流中匹配开始位置表达式的字符串，然后继续匹配二次定位表达式，跳过二次定位表达式字符串即为关联标识的开始；继续匹配结束位置表达式，即为关联标识的结束；开始位置和结束位置中间的字符串即为音视频数据碎片的初始关联标识；

将初始关联标识与客户端IP地址信息进行组合，成为最终的碎片关联标识。

进一步地，所述利用识别的音视频碎片传输的数据流与分析处理后的信息流，进行音视频碎片数据的关联，实现传输碎片化的音视频的整形，包括：利用识别的音视频碎片传输的数据流，通过查询分析处理后的信息流获取单向流信息，进行单向流情况下的数据对准；然后根据碎片关联标识获取音视频节目标识、碎片偏移，进而明确音视频数据碎片的节目归属以及在节目中的偏移信息；然后完成音视频碎片关联，即按照碎片偏移对音视频媒体数据进行重排，并对节目内的冗余数据进行去重，从而还原音视频节目。

一种采用上述方法的一种音视频网络传输碎片化的整形系统，其包括：

音视频碎片识别装置，用于在实时网络流量中，识别音视频碎片化传输的数据流和信息流。

高性能消息队列装置，用于将音视频碎片识别装置识别的音视频碎片传输的信息流存储在高性能的消息队列中；

音视频碎片索引装置，用于在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理；

内存数据库装置，用于存储音视频碎片索引装置分析处理的结果数据；

音视频碎片关联装置，用于接收音视频碎片识别装置回传的音视频碎片化传输的数据流，通过查询内存数据库装置的数据，完成音视频碎片数据的关联，实现传输碎片化的音视频的整形。

本发明的关键点是：1)高速实时网络流量旁路监听模式下音视频传输碎片化的描述模型。2)在该描述模型下，音视频网络传输碎片化的整形方法和系统。

本发明主要具有以下优点：

1)本发明高度概括了音视频碎片化传输的描述模型，能够涵盖目前已知的音视频碎片化传输的所有表现形式。

2)本发明的音视频网络传输碎片化的整形方法具有通用性、灵活性，能够应对不同音视频服务提供商碎片化传输方式的差异性和动态变化。

附图说明

图1是音视频碎片化传输的描述模型示意图。

图2是音视频网络传输碎片化的整形方法涉及的装置及工作流程图。

图3是索引文件的实例图。

图4是音视频碎片关联示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

不同的音视频服务提供商，其碎片化传输协议在网络传输过程中表现出不同的传输特征，不具备统一的协议格式。本发明从工程实践的角度，提出了碎片化传输的统一描述模型。该模型对HLS协议，HDS协议，MPEG-DASH，云存储上传，网页邮件文件传输等多个碎片化协议进行了统一抽象。音视频碎片化传输的描述模型如图1所示。

音视频网络传输碎片化传输表现为一个音视频节目分为多个音视频碎片承载在多个网络传输单元上在网络中进行传输。在节目传输之初，会进行音视频节目的主动分片，首先传输索引文件，然后传输音视频数据碎片。在不同的音视频碎片化传输协议中，索引文件可能不存在，可能一个音视频节目对应一个索引文件，也可能一个音视频节目对应多个索引文件。索引文件和音视频数据碎片承载在网络传输单元中，在网络中进行传输。

为更加清楚的对本发明进行阐述，在上述音视频碎片化传输描述模型的基础之上，定义如表1所示的术语。

表1.术语列表

本发明的音视频网络传输碎片化的整形方法的流程及组成系统的各个装置如图2所示，具体包括以下步骤：

1)音视频碎片识别装置：在实时网络流量中，识别音视频碎片化传输的数据流和信息流。

2)高性能消息队列装置：将步骤1)识别的音视频碎片传输的信息流存储在高性能的消息队列装置中。

3)音视频碎片索引装置：在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理。

4)内存数据库装置：存储步骤3)分析处理的结果数据。

5)音视频碎片关联装置：接收步骤1)中回传的音视频碎片化传输的数据流，通过查询内存数据库装置的数据，完成音视频碎片数据的关联，最终实现碎片化传输的音视频的整形。

下面将对每个步骤的处理过程进行详细说明。

1)音视频碎片识别步骤：在实时网络流量中，通过音视频碎片化传输的协议特征、音视频碎片化传输的内容特征域、音视频碎片化传输预告三种方式识别音视频碎片化传输的数据流和信息流。

音视频碎片化传输的协议特征包括URL、Host、Referer、Cookie、Content-type、Server等。

音视频碎片化传输的内容特征域表现在HLS，OSMF等碎片化传输的音视频码流在二进制码流上存在的特征。

音视频碎片传输预告主要应对非对称路由情况下出现单向流，进而导致碎片化传输的音视频的识别特征不明显，造成无法识别音视频碎片的困境。单向流的情况下，音视频碎片化传输的S2C应答侧无明显的识别特征，但是基于流量的完整性，存在C2S请求侧的碎片化传输的识别特征，可以据此识别音视频碎片化传输的行为，形成服务器碎片化传输的标记，称为碎片预告。以无监督形式，通过C2S请求侧的碎片化传输特征学习到S2C应答侧的碎片预告，以保证单向流情况下无特征的音视频碎片化传输行为能够根据碎片预告进行有效识别。

通过音视频碎片识别，获得音视频的数据流和信息流两类数据。数据流指承载音视频二进制码流的数据；信息流指音视频碎片化传输的URL、Referer、Content-type等描述信息，单向流场景下音视频碎片化传输的非数据侧的信息，音视频碎片传输的索引文件。

2)高性能消息队列存储步骤：存储步骤1)的信息流。

“高性能消息队列”的具体形式为kafka，kafka主要是用来解决百万级别的数据中生产者和消费者之间数据传输的问题。考虑到面向实时网络流量的音视频碎片数据整形需求，在本系统选用kafka作为音视频碎片识别装置与音视频碎片索引装置之间的数据传输通道。

3)音视频碎片索引步骤:在步骤2)高性能消息队列中获取音视频碎片化传输的信息流，包括：音视频碎片化传输的URL、Referer、Content-type等描述信息，单向流场景下音视频碎片化传输的非数据侧的信息，音视频碎片化传输的索引文件。一方面，该装置提供了单向流条件下的音视频碎片化传输的非数据侧的信息的处理，将其存储在内存数据库装置中，以提供单向流对准查询功能。另一方面，在一个音视频碎片化传输的索引文件中，包括了多个音视频数据碎片的标识信息。音视频碎片索引装置负责解析音视频碎片化传输的索引文件，生成音视频节目标识，并提取音视频数据碎片的关联标识和碎片偏移。

其中，音视频节目标识具备唯一性、稳定性和可重入性。唯一性定义为在一定时间范围内，不同音视频节目的节目标识不会重复。稳定性表示一定时间范围内，生成节目标识的信息不会频繁发生改变。可重入性意味着该音视频节目可通过URL重复访问。结合音视频节目标识的要求，“音视频节目标识”的生成方法如表2所示。

表2.音视频节目标识生成方法

音视频数据碎片的关联标识是在网络传输单元中提取、加工处理的虚拟标识。图3为索引文件的一个实例。其中，要抽取的三个音视频碎片的关联标识为：

0000000000000000000000001526a0a8/718.ts？&token＝98765

0000000000000000000000001526a0a8/719.ts？&token＝98765

0000000000000000000000001526a0a8/720.ts？&token＝98765

具体过程为，基于音视频碎片化传输的协议，构建碎片关联标识抽取特征库，特征库描述了碎片关联标识的抽取方法。特征库描述语言如下：

碎片关联标识＝信息流内容$开始位置表达式$二次定位表达式$结束位置表达式$，其中$表示分隔符。那么上述实例的特征库为：碎片关联标识＝S2C_Content$#EXTINF:$,\x0a$\x0a$

以上述实例为准，具体过程为，在原始音视频信息流(S2C_Content：表示索引文件内容)中匹配开始位置表达式的字符串(#EXTINF：)，然后继续匹配二次定位表达式(换行符：\n)，跳过二次定位表达式即为关联标识的开始。继续匹配结束位置表达式(换行符：\n)，即为关联标识的结束。最终，开始和结束位置中间的字符串即为音视频数据碎片的初始关联标识。然而，在网络传输单元中直接抽取的该初始关联标识，因为其重复性，并不能够直接作为碎片关联标识使用，我们将其与客户端IP地址信息进行组合，成为最终的碎片关联标识。

对于碎片偏移，由于不同厂商的技术细节的差异，碎片偏移可以出现在HTTP网络传输单元中URL，头部字段Content-Range，头部字段Content-Disposition，头部字段Upload-offset，HTTP消息体等任意位置，呈现形式也各式各样。本实例中，提取碎片偏移的方法与提取碎片关联标识的方法一致，通过构建特征库的方法实现灵活抽取。

音视频碎片索引装置分析处理的结果最终存储在内存数据库装置中。

4)内存数据库存储步骤：将步骤3)产生的结果存储在内存数据库装置中。内存数据库装置可以采用现有的数据库技术进行数据存储。

5)音视频碎片关联步骤：接收步骤1)回传的音视频碎片数据流。通过查询内存数据库装置，获取单向流信息，进行单向流情况下的数据对准；之后根据碎片关联标识查询步骤4)中的内存数据库结果，获取音视频节目标识、碎片偏移，进而明确音视频数据碎片的节目归属以及在节目中的偏移信息。然后完成音视频碎片关联，即按照碎片的偏移信息(即碎片偏移)对音视频媒体数据进行重排，并对于节目内的冗余数据进行去重，最终在网络中间节点完成还原音视频节目。图3为音视频碎片关联示意图。

基于同一发明构思，本发明的另一个实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (7)

1.一种音视频网络传输碎片化的整形方法，其特征在于，包括以下步骤：

在实时网络流量中，识别音视频碎片化传输的数据流和信息流；

将识别的音视频碎片传输的信息流存储在高性能消息队列中；

在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理；

利用识别的音视频碎片传输的数据流与分析处理后的信息流，进行音视频碎片数据的关联，实现碎片化传输的音视频的整形；

所述对信息流进行分析处理，包括：解析音视频碎片化传输的索引文件，生成音视频节目标识，并提取音视频数据碎片的碎片关联标识和碎片偏移；所述音视频节目标识具备唯一性、稳定性和可重入性；

所述碎片关联标识采用以下步骤获得：

基于音视频碎片化传输的协议，构建碎片关联标识抽取特征库，特征库描述语言为：碎片关联标识＝信息流内容$开始位置表达式$二次定位表达式$结束位置表达式$；

在原始音视频信息流中匹配开始位置表达式的字符串，然后继续匹配二次定位表达式，跳过二次定位表达式即为关联标识的开始；继续匹配结束位置表达式，即为关联标识的结束；开始位置和结束位置中间的字符串即为音视频数据碎片的初始关联标识；

将初始关联标识与客户端IP地址信息进行组合，成为最终的碎片关联标识；

所述利用识别的音视频碎片传输的数据流与分析处理后的信息流，进行音视频碎片数据的关联，实现传输碎片化的音视频的整形，包括：利用识别的音视频碎片传输的数据流，通过查询分析处理后的信息流获取单向流信息，进行单向流情况下的数据对准；然后根据碎片关联标识获取音视频节目标识、碎片偏移，进而明确音视频数据碎片的节目归属以及在节目中的偏移信息；然后完成音视频碎片关联，即按照碎片偏移对音视频媒体数据进行重排，并对节目内的冗余数据进行去重，从而还原音视频节目。

2.根据权利要求1所述的方法，其特征在于，所述识别音视频碎片化传输的数据流和信息流，包括：通过音视频碎片化传输的协议特征、音视频碎片化传输的内容特征域、音视频碎片化传输预告三种方式识别音视频碎片化传输的数据流和信息流；所述音视频碎片化传输的协议特征，包括URL、Host、Referer、Cookie、Content-type、Server；所述音视频碎片化传输的内容特征域，表现在碎片化传输的音视频码流在二进制码流上存在的特征；所述音视频碎片传输预告，是以无监督形式，通过C2S请求侧的碎片化传输特征学习到S2C应答侧的碎片预告，以保证单向流情况下无特征的音视频碎片化传输行为能够根据碎片预告进行有效识别。

3.根据权利要求1所述的方法，其特征在于，所述高性能消息队列为kafka。

4.根据权利要求1所述的方法，其特征在于，所述在高性能消息队列中获取音视频碎片传输的信息流，获取的信息流包括：音视频碎片化传输的描述信息，单向流场景下音视频碎片化传输的非数据侧的信息，音视频碎片化传输的索引文件。

5.一种采用权利要求1～4中任一权利要求所述方法的一种音视频网络传输碎片化的整形系统，其特征在于，包括：

音视频碎片识别装置，用于在实时网络流量中，识别音视频碎片化传输的数据流和信息流；

高性能消息队列装置，用于将音视频碎片识别装置识别的音视频碎片传输的信息流存储在高性能的消息队列中；

音视频碎片索引装置，用于在高性能消息队列中获取音视频碎片传输的信息流，对信息流进行分析处理；

内存数据库装置，用于存储音视频碎片索引装置分析处理的结果数据；

音视频碎片关联装置，用于接收音视频碎片识别装置回传的音视频碎片化传输的数据流，通过查询内存数据库装置的数据，完成音视频碎片数据的关联，实现传输碎片化的音视频的整形。

6.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～4中任一权利要求所述方法的指令。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～4中任一权利要求所述的方法。

Images