CN111416990A - 一种基于流式数据处理平台的ts流的存储、访问方法及应用 - Google Patents

Abstract

本发明涉及视频流在流式数据处理平台的存储、查询、下载以及点播，尤其是涉及一种基于流式数据平台的TS流的存储、访问方法及应用，可与人工智能算法平台较好融合。流式数据平台具有较快的存储以及访问速度，可以满足对实时性要求较高的应用场景的需求，同时也避免了对传统视频存储访问的复杂性。存储在流式数据平台的结构采用了TS流及其相应的索引的数据，降低了第三方访问此数据的适配成本，并且可以根据索引数据进行丢包、抽帧等策略的定制，同时还可以通过索引数据特殊的视频标签的快速的索引到访问的数据。

Description

一种基于流式数据处理平台的TS流的存储、访问方法及应用

技术领域

本发明涉及视频流在流式数据处理平台的存储、查询、下载以及点播，尤其是涉及一种基于流式数据平台的TS流的存储、访问方法及应用，可与人工智能算法平台较好融合。

背景技术

目前视频分析平台对算法的实时性有较高的需求，这也就变向的对视频数据的存储、查询等功能要求越来越高。在大型的项目中，往往会有多家算法公司涉及不同层次或者业务的视频算法处理，友好的视频存储格式将会降低视频分析算法的接入成本以及访问成本。

目前常见的视频存储及访问方式主要有两种：（1）磁盘阵列；（2）云存储。

（1）磁盘阵列

传统安防行业的视频存储大都基于各自厂家的存储设备，而存储设备主要以存储阵列为主，并且存储阵列中主要使用的是各自厂家设计的文件系统以及视频封装格式。如果将这些存储数据直接应用于视频算法分析，主要存在以下缺点：

（1.1）视频数据接入成本高

视频数据的接入主要包括两个方面：视频数据的读取以及视频数据的播放。

（a）厂家的视频存储设备往往只能被自己公司的应用进行访问。一方面，为了保护自身的利益，大多数公司不愿公开私有格式，就算是可以访问这些视频数据也基本上都是通过厂家的SDK进行访问，SDK相关的开发、SDK的稳定性、不同视频数据格式的转换以及对私有视频数据的清洗都增加了第三方算法平台的接入成本；另一方面，视频行业中的视频存储方式千差万别，要做到兼容各个厂家的视频存储方式以及视频封装格式的成本很高。

（b）视频分析算法大多只做视频的分析，并不会做视频播放相关的业务。当算法平台有对存储的视频数据有播放需求时，比如当视频分析算法告警时直接联动对应时间存储视频的播放，由于不同厂家存储的视频格式不同，此时就需要进行专门的开发进行不同厂家视频的适配；再者，大多安防公司提供的主要是rtsp协议获取码流的方式，针对需要嵌入web的应用场景并不太友好。

（1.2）视频数据访问效率不高

同样视频数据的访问效率也主要包括两个方面：视频数据的读取以及视频数据的播放。

（a）通过厂家SDK访问存储视频数据效率受限于其SDK本身的性能，但就算是性能很高但终究是多了一层的交互，这同样会造成访问效率的降低；其次，对存储视频视频格式的转换以及对私有视频数据的清洗也会造成效率的进一步下降。

（b）由于视频数据的私有性，在视频播放前大多需要转封装的操作，有些甚至需要进行转码操作等操作，这势必也会造成播放的延迟。

视频数据较低访问效率最终会降低视频分析算法的实时性，这很难满足对实时性较高的业务场景。

（2）云存储

云存储在云计算基础上的延伸，是指通过集群应用、网络技术或者分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，即云存储是一个以数据存储和管理为核心的云计算系统。

云存储优势主要包括：自动化和智能化的管理、较高的存储效率以及较强的弹性扩展能力等。但这些优势并不太适合视频存储以及算法的分析，具体原因如下：

（a）视频数据具有一定的隐私以及敏感性，视频数据上云给云存储的数据安全性提出了更高的要求；

（b）高清设备越来越普及，在一定程度上会带来视频数据的增加，这对网络传输线路的质量的要求较高，同时对传输策略的要求也相应的增加，比如断线重连、数据校验等等；

（c）视频数据上云会带来额外的带宽压力，同时也会增加较大的成本；

（d）针对基于视频数据的实时算法分析来说，视频数据首先要上传到云上，然后算法再从云上拉取视频进行分析，这不太符合对实时性要求较高的场景需求；

（e）视频数据上云同样存在不同厂家具有不同存储格式的情况，这也会增加第三方的访问成本；

（f）云存储的设计具有一定的普适性，并不太适合诸如视频等流式数据，并且也不太方便使用云存储来构建基于流式数据的分析和应用。

发明内容

本发明的第一个目的在于，针对现有技术中存在的不足，提供一种针对流式数据平台的TS流存储方法。

为此，本发明的上述目的通过以下技术方案来实现：

一种基于流式数据处理平台的TS流的储存方法，所述基于流式数据处理平台的TS流的储存方法包括如下步骤：

（1）封装TS流；

（2）针对封装的TS流创建对应的索引数据；

（3）将TS流以及相应的索引数据写入到流式数据平台；

其中：TS流中的数据包为固定长度，针对每一个TS包都创建一个索引数据与之相对应。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：所述索引数据以及TS流中的数据包均采用标准的JSON格式进行描述，方便任何算法公司的解析。

作为本发明的优选技术方案：所述索引数据中包含索引序号、时间戳、完整帧标志、关键帧标志、视频流ID以及流式数据服务相关的数据节点信息。

本发明的第二个目的在于，针对现有技术中存在的不足，提供一种基于流式数据处理平台的TS流的访问方法，

为此，本发明的上述目的通过以下技术方案来实现：

一种基于流式数据处理平台的TS流的访问方法，所述基于流式数据处理平台的TS流的访问方法基于前文所述的基于流式数据处理平台的TS流的储存方法，并包括如下步骤：

（4）访问流式数据服务中的视频数据时传入视频流ID、起止时间可获取相应的视频数据。

本发明的第三个目的在于，针对现有技术中存在的不足，提供一种基于流式数据平台的TS流的存储方法的应用。

为此，本发明的上述目的通过以下技术方案来实现：

一种基于流式数据平台的TS流的存储方法的应用，所述流式数据平台的TS流的存储方法的应用包括如下步骤：

（1）接收PS流；

（2）从PS流的数据包中获取NAL；

（3）判断是否已经收到全部NAL；若否，则继续接收PS流；若是，则进行步骤（4）的操作；

（4）将多个NAL组合成一个完整的视频帧；

（5）将视频帧的数据包切分成TS流的数据包，并创建对应的索引数据；

（6）将TS流的数据包以及相应的索引数据写入到datahub流式数据服务。

本发明还有一个目的在于，针对现有技术中存在的不足，提供一种基于流式数据平台的TS流的访问方法的应用。

为此，本发明的上述目的通过以下技术方案来实现：

一种基于流式数据平台的TS流的访问方法的应用，所述流式数据平台的TS流的访问方法的应用包括如下步骤：

（1）收到数据访问请求；

（2）从datahub流式数据服务中查询指定的视频流数据；

（3）判断datahub流式数据服务中是否存在此视频流的信息；若否，直接返回失败；若是，则进行步骤（4）的操作；

（4）将多个TS流的数据包组成一个完整的视频帧数据包；

（5）根据请求参数等信息将完整的视频包重新封装为TS，并返回HLS的URL供第三方访问。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：所述数据访问请求包括视频流ID、起止时间、取流方式、会话ID、倍速请求参数，且采用JSON格式进行封装。

作为本发明的优选技术方案：所述流式数据平台的TS流的访问方法的应用还包括丢包策略，当从从datahub读取流式数据后，会获得TS流中的数据包及其相应的索引信息，根据索引数据判断是否是完整帧数据、是否是关键帧数据以及是否存在视频数据的丢失；如果数据发生了丢失，如果丢失的是关键帧数据包，那么丢弃本GOP中的所有剩余包；如果丢失的是非关键帧的数据包，那么将隶属于此帧的包以及本GOP的剩余包全部丢弃。

作为本发明的优选技术方案：数据访问请求中的取流方式选择HLS访问方式。

本发明提供一种基于流式数据平台的TS流的存储、访问方法及应用，流式数据平台具有较快的存储以及访问速度，可以满足对实时性要求较高的应用场景的需求，同时也避免了对传统视频存储访问的复杂性。存储在流式数据平台的结构采用了TS流及其相应的索引的数据，降低了第三方访问此数据的适配成本，并且可以根据索引数据进行丢包、抽帧等策略的定制，同时还可以通过索引数据特殊的视频标签的快速的索引到访问的数据。

附图说明

图1为写入到流式数据服务的TS流格式；

图2为索引数据结构；

图3为PS流写入流式数据服务datahub的处理过程示意图；

图4为流式数据服务datahub的数据访问流程图示；

图5为数据访问请求结构图；

图6为流式数据服务datahub中保存的索引数据结构。

具体实施方式

参照附图和具体实施例对本发明作进一步详细地描述。

流式数据平台可以以较高的速度存储以及检索数据，不涉及各个厂家的自研存储方式；并且TS（MPEG Transport Stream）是一种标准的音视频封装格式，技术标准成熟稳定，广泛应用于数字电视和网络流媒体，可以作为视频分析算法的统一封装格式，不涉及各个厂家的私有码流格式。除此之外HLS（HTTP Live Streaming）也采用TS作为传输流格式，互联网上大多数点播和直播应用都支持TS流，这可以方便web应用嵌入TS流的播放功能。

为此，本发明的上述目的通过以下技术方案来实现：

对流式数据平台的TS流存储以及访问方法，所述方法包括：

（1）封装TS流；

（2）针对封装的TS流创建对应的索引数据；

（3）将TS流以及相应的索引数据写入到流式数据平台；

（4）访问流式数据服务中的视频数据时传入视频流ID、起止时间可获取相应的视频数据；

写入到流式数据服务的格式具体如图1所示：

TS流中的数据包为固定长度，针对每一个TS流的数据包都创建一个索引数据与之相对应。

索引数据以及TS流中的数据包均采用标准的JSON格式进行描述，方便任何算法公司的解析。索引数据中包含索引序号、时间戳、完整帧标志、关键帧标志、视频流ID以及流式数据服务相关的数据节点信息。当视频分析算法从流式数据服务中读取指定码流数据后就可以获得每一个TS流的数据包及其对应的索引信息。索引数据结构如图2所示：

通过索引数据，视频分析算法可以达到以下效果：

（a）可以通过索引序号判断TS流的数据包是否出现丢包，并且根据关键帧标志以及完整帧标志可以协助视频分析算法快速检索到一个完整帧相关联的TS包；并且当出现索引序号不连续时也可根据关键帧以及完整帧标志丢弃无法解析的TS包，避免额外的解封装操作；除此之外基于关键帧以及完整帧标志视频分析算法也可以进行抽帧操作，节省算力资源。

（b）当视频分析算法通过TS流的数据包解析出对应的视频帧数据后，如果触发某一个事件，则可以将此事件与TS流的数据包的索引信息相关联，通过此索引信息就可以作为一个视频标签快速索引到指定的存储视频。

对流式数据平台的TS流存储及访问方法的应用采用datahub流式数据服务用于进一步的存储技术方案，包括：

（1）接收PS流；

（2）从PS流的数据包中获取NAL；

（3）判断是否已经收到全部NAL；若否，则继续接收PS流；若是，则进行步骤（4）的操作；

（4）将多个NAL组合成一个完整的视频帧；

（5）将视频帧的数据包切分成TS流的数据包，并创建对应的索引数据；

（6）将TS流数据包以及相应的索引数据写入到datahub。

PS流写入流式数据服务datahub的处理过程如图3所示：

对流式数据平台的TS流存储及访问方法的应用采用datahub流式数据服务用于进一步的访问技术方案，包括：

（1）收到数据访问请求；

（2）从datahub中查询指定的视频流数据；

（3）判断datahub中是否存在此视频流的信息；若否，直接返回失败；若是，则进行步骤（4）的操作；

（4）将多个TS包组成一个完整的视频帧数据包；

（5）根据请求参数等信息将完整的视频包重新封装为TS，并返回HLS的URL供第三方访问。

datahub数据访问流程如图4所示：

数据访问请求包括视频流ID、起止时间、取流方式、会话ID、倍速请求参数，且采用JSON格式进行封装，示意图如图5所示：

数据访问应用还包括丢包策略，当从从datahub读取流式数据后，会获得TS包及其相应的索引信息，根据索引数据判断是否是完整帧数据、是否是关键帧数据以及是否存在视频数据的丢失等。如果数据发生了丢失，如果丢失的是关键帧数据包，那么丢弃本GOP（GroupOf Pictures）中的所有剩余包；如果丢失的是非关键帧的数据包，那么将隶属于此帧的包以及本GOP的剩余包全部丢弃。datahub流式存储服务中具体的索引数据设计如图6所示：

数据访问请求中的取流方式选择hls访问方式，因为HLS（HTTP Live Streaming）也采用TS作为传输流格式，互联网上大多数点播和直播应用都支持TS流。根据倍速参数可以重新计算时间戳，达到倍速播放的效果。

基于目前视频直播的现状，上述的数据访问应用还支持rtmp以及http-flv的取流方式。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (9)

1.一种基于流式数据处理平台的TS流的储存方法，其特征在于：所述基于流式数据处理平台的TS流的储存方法包括如下步骤：

（1）封装TS流；

（2）针对封装的TS流创建对应的索引数据；

（3）将TS流以及相应的索引数据写入到流式数据平台；

其中：TS流中的数据包为固定长度，针对每一个TS包都创建一个索引数据与之相对应。

2.根据权利要求1所述的基于流式数据处理平台的TS流的储存方法，其特征在于：所述索引数据以及TS流中的数据包均采用标准的JSON格式进行描述，方便任何算法公司的解析。

3.根据权利要求1或2所述的基于流式数据处理平台的TS流的储存方法，其特征在于：所述索引数据中包含索引序号、时间戳、完整帧标志、关键帧标志、视频流ID以及流式数据服务相关的数据节点信息。

4.一种基于流式数据处理平台的TS流的访问方法，其特征在于：所述基于流式数据处理平台的TS流的访问方法基于权利要求1-3中任意一项所述的基于流式数据处理平台的TS流的储存方法，并包括如下步骤：

（4）访问流式数据服务中的视频数据时传入视频流ID、起止时间可获取相应的视频数据。

5.一种基于权利要求1所述的流式数据平台的TS流的存储方法的应用，其特征在于：所述流式数据平台的TS流的存储方法的应用包括如下步骤：

（1）接收PS流；

（2）从PS流的数据包中获取NAL；

（3）判断是否已经收到全部NAL；若否，则继续接收PS流；若是，则进行步骤（4）的操作；

（4）将多个NAL组合成一个完整的视频帧；

（5）将视频帧的数据包切分成TS流的数据包，并创建对应的索引数据；

（6）将TS流的数据包以及相应的索引数据写入到datahub流式数据服务。

6.一种基于权利要求4所述的流式数据平台的TS流的访问方法的应用，其特征在于：所述流式数据平台的TS流的访问方法的应用包括如下步骤：

（1）收到数据访问请求；

（2）从datahub流式数据服务中查询指定的视频流数据；

（3）判断datahub流式数据服务中是否存在此视频流的信息；若否，直接返回失败；若是，则进行步骤（4）的操作；

（4）将多个TS流的数据包组成一个完整的视频帧数据包；

（5）根据请求参数等信息将完整的视频包重新封装为TS，并返回HLS的URL供第三方访问。

7.根据权利要求6所述的流式数据平台的TS流的访问方法的应用，其特征在于：所述数据访问请求包括视频流ID、起止时间、取流方式、会话ID、倍速请求参数，且采用JSON格式进行封装。

8.根据权利要求6所述的流式数据平台的TS流的访问方法的应用，其特征在于：所述流式数据平台的TS流的访问方法的应用还包括丢包策略，当从从datahub读取流式数据后，会获得TS流中的数据包及其相应的索引信息，根据索引数据判断是否是完整帧数据、是否是关键帧数据以及是否存在视频数据的丢失；如果数据发生了丢失，如果丢失的是关键帧数据包，那么丢弃本GOP中的所有剩余包；如果丢失的是非关键帧的数据包，那么将隶属于此帧的包以及本GOP的剩余包全部丢弃。

9.根据权利要求6所述的流式数据平台的TS流的访问方法的应用，其特征在于：数据访问请求中的取流方式选择HLS访问方式。

Images