CN101325701A

CN101325701A - 用于硬盘录像机和视频服务器的avs编码网络传输方法

Info

Publication number: CN101325701A
Application number: CNA2008101171971A
Authority: CN
Inventors: 谭政; 聂蓉; 余和初; 楚林
Original assignee: SHENGXUN ELECTRONIC CO Ltd BEIJING
Current assignee: SHENGXUN ELECTRONIC CO Ltd BEIJING
Priority date: 2008-07-25
Filing date: 2008-07-25
Publication date: 2008-12-17
Anticipated expiration: 2028-07-25
Also published as: CN101325701B

Abstract

本发明公开了一种用于录像机和视频服务器的AVS编码网络传输方法，包括：确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，RTP数据包发送网络抽象层单元数据头结构的三种发送方式为：一个RTP中只负载一帧的ONP格式发送；一个RTP包里含多个帧的MNP格式发送；一帧被分为多个片段分别打入RTP包的ONFP格式发送以及封装及解析的格式。本发明实现了AVS在RTP传输上的打包格式，利用RTP协议实现了AVS的流媒体网络传输，使ASV编码在监控领域特别是网络化监控中得到高效应用，在安全防范监控技术领域可实现快捷安全的网络化监控。

Description

用于硬盘录像机和视频服务器的AVS编码网络传输方法

所属技术领域

本发明涉及网络化安全防范监控技术领域，具体说是涉及到一种用于硬盘录像机和视频服务器的AVS编码网络传输方法。

背景技术

视频监控经过第一代模拟监控、第二代半数字监控发展到现在的第三代全数字网络监控，网络化监控已经成为安全防范监控领域的主流技术。数字化网络化监控与视频图像数字化编码密切相关，国际上音视频编解码标准主要两大系列：ISO/IEC JTC1制定的MPEG系列标准；ITU针对多媒体通信制定的H.26x系列视频编码标准和G.7系列音频编码标准。目前音视频产业可以选择的信源编码标准有四个：MPEG-2、MPEG-4、MPEG-4AVC(简称AVC，也称JVT、H.264)、AVS。其中MPEG-2是第一代信源标准，其余三个为第二代标准。图像编码技术经过MPEG1、MPEG2、MPEG4发展到现在主流的H.264，这些优秀的技术使数据量巨大的数字图像压缩成相对较小的数据量，便于存储和网络传输。为了应对网络存储和网络传输的需要，我国也制订了AVS国家标准，AVS(Audio Video codingStandard)是中国具备自主知识产权的第二代信源编码标准，顾名思义，“信源”是信息的“源头”，信源编码技术解决的重点问题是数字音视频海量数据(即初始数据、信源)的编码压缩问题，它解决的重点问题是数字音视频海量数据的编码压缩问题，也称为数字音视频编解码标准技术。显而易见，它是其后数字信息传输、存储、播放等环节的前提。而流媒体网络传输需要协议，RTP(real-time transportprotocol)实时传送协议是一套流媒体网络传输协议，也是目前世界范围内流媒体网络传输广泛采用的协议，它详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协议，但后来被用在很多单播应用中。RTP定义了网络传输规则，但并未严格规定各种图像编码格式在其上传输时的打包和拆包规则。RTP本身并没有提供按时发送机制或其它服务质量(QoS)保证，它依赖于低层服务去实现这一过程。RTP并不保证传送或防止无序传送，也不确定底层网络的可靠性。RTP实行有序传送，RTP中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置。AVS在RTP的打包格式并没有定义，意味着AVS标准在使用RTP这一世界范围内广泛采用的网络流媒体传输协议将不能很好地传输AVS编码音视频数据，也将会影响安防行业网络传输的互联互通。由于AVS网络传输刚刚兴起，而AVS在RTP上的传输打包方法目前没有确定，也就没有实际应用。但随着我国监控行业的快速发展，对适用于监控行业的AVS网络传输也有了迫切的需求，如何解决AVS编码在RTP上的传输打包问题，提供一种适用于AVS编码网络传输的方法，从而更快捷安全的应用于网络化安全防范监控系统，是本领域当前需要解决的重要课题。

发明内容

本发明的目的是基于AVS信源编码标准，实现AVS在RTP传输上的打包格式，利用RTP协议实现AVS的流媒体网络传输，使ASV编码在监控领域特别是网络化监控中得到高效应用，在安全防范监控技术领域实现更快捷安全的网络化监控，提供一种用于录像机和视频服务器的AVS编码网络传输方法。

为了达到上述目的，本发明采用以下技术方案：一种用于录像机和视频服务器的AVS编码网络传输方法，包括：确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，封装及解析的格式，其特点是，RTP数据包发送网络抽象层单元(Network Abstract Layer Unit，简称NALU)的发送方式有三种：一个RTP中只负载一帧(ONP)、一个RTP包里含多个帧(MNP)、一帧被分为多个片段分别打入RTP包(ONFP)；三种发送方式，它们有共同的单元头网络抽象层单元数据头结构(NALU Head，NH)，共2Bytes，三种发送方式定义的值如下：

一个RTP中只负载一帧(ONP)的值为： 0x01；

一个RTP包里含多个帧(MNP)的值为； 0x10；

一帧分为多个片段分别打入RTP包(ONFP)的值为： 0x11；

1.一个RTP中只负载一帧(ONP)格式发送定义如下：单元头(NH)，2Bytes、网络抽象层单元数据(NALU DATA)，4字节对齐、网络抽象层单元数据(NALUDATA)，n字节，4字节对齐，在NH的后面，跟要发送的数据；

2.一个RTP包里含多个帧(MNP)格式发送定义如下：采用交错格式和是否对每个NALU使用独立时戳，可分为如下四种子类型：

共用时间戳顺序排列的一包多单元(MNP-NIT)时，交错格式(NH标志为I)为0、独立时间戳(NH标志T)为0；

交错排序的一包多单元(MNP-I)时，交错格式(NH标志为I)为1、独立时间戳(NH标志T)为0；

顺序排列的独立时间戳单元(MNP-T)时，交错格式(NH标志为I)为0、独立时间戳(NH标志T)为1；

交错排序的独立时间戳单元(MNP-IT)时，交错格式(NH标志为I)为1、独立时间戳(NH标志T)为1；

共用时间戳顺序排列的一包多单元(MNP-NIT)格式发送时，RTP包中NALU按其解码顺序依次排列，共用RTP包头中的时戳，共用时间戳顺序排列的一包多单元格式定义如下，依次为：

单元头(2字节)-单元大小-单元数据-单元大小-单元数据…；

交错排序的一包多单元(MNP)格式发送时，数个RTP数据包构成一组，将按其解码顺序连续排列的多个NALU交错封装，交错排序的一包多单元(MNP)格式定义如下，依次为：

单元头(2字节)-组号(2字节)-单元大小(2字节)-当前单元在包内的解码顺序(1字节)-单元数据-单元大小(2字节)-当前单元在包内的解码顺序(1字节)-单元数据…；

顺序排列的独立时间戳单元(MNP-T)格式发送时，其格式定义如下，依次为：

单元头(2字节)-单元大小(2字节)-相对时间戳(2字节)-单元数据-单元大小(2字节)-相对时间戳(2字节)-单元数据…；

交错排序的独立时间戳单元(MNP-IT)格式发送时，其格式定义如下，依次为：

单元头(2字节)-组号(2字节)-单元大小(2字节)-当前单元在包内的解码顺序(1字节)-相对时间戳(4字节)-单元数据-单元大小(2字节)-当前单元在包内的解码顺序(1字节)-相对时间戳(4字节)-单元数据-单元大小-当前单元在包内的解码顺序(1字节)-相对时间戳(4字节)-单元数据…；

3.一个单元拆成多个分包)格式发送(ONFP)发送格式定义如下：

单元头-单元数据；

上述所述网络抽象层单元数据头结构(NH结构)为：

SM、D、S、E、I、T、R、MT、SMT；

SM-Send Method，发送格式，包括每包包含的NALU个数，每包1个NALU包为ONP，每包多个NALU包为MNP，一个NALU包被拆成多个部分为ONFP。

D-(Discard)：1bit，为1时表示被丢弃的标识；

S-(Start)：1bit，为1时表示此包为分片的开始；

E-(End)：1bit，为1时表示此包为分片的结束，S标识和E标识不同时为1；

I-(Interleaved)：1bit，为1时表示采用交互格式；

T-(Time)：1bit，为1表示此包中每个NALU都有独立的时戳；

R-(Reserved)：1bit，保留位。

MT-(Media Type)：3bits，媒体类型，定义如下：

视频(Video) 0x001

音频(Audio) 0x010

报警类数据(Alarm) 0x100

SMT-(Sub-Media Type)：5bits，媒体子类型，其定义如下：

I帧(I-Frame) 0x00001

P帧(P-Frame) 0x00010

AVS在RTP传输上的打包格式，可以采用ONP、MNP方式或ONFP格式方式，使用ONFP的规则是，分片时使得每个RTP的有效载荷达到最大；当选择MNP时，应采用与使用ONFP的同样规则，即使得RTP的有效载荷达到最大，一个RTP包的最大载荷应满足使整个包的大小不超过MTU。

在打包规则中，本方案定义了多种RTP打包格式，当选择ONP格式方式时，首先判断要打包的NALU是否能被一个RTP包所包含，如果能包含，则将其按ONF格式进行封装。如果不行能包含，则采用ONFP。使用ONFP的规则是，分片时使得每个RTP的有效载荷达到最大；当选择MNP时，应采用与使用ONFP的同样规则，即使得RTP的有效载荷达到最大。

在解包规则中，解包的方法是统一的，接收端应该有两个队列，一个是RTP数据包的队列，另一个是NALU的队列；RTP队列中的数据包应该按其序列号依次排列，即每收到一个RTP数据包，接收端必须根据其序列号将其插入RTP队列中的对应位置；NALU队列中的每一项则应按其解码顺序排列，NALU队列的来源是解析RTP队列中的数据包，首先，从RTP队列的队首取一个RTP数据包，检查其Marker bit(是否可重构解码的标志位)，如果Market bit位为1，则说明该RTP包可以解析；而该RTP数据包必定是ONP、MNP-NIT、MNP-T中的一种，对于ONP，直接取出其NALU DATA加入NALU队尾即可，对于MNP-NIT和MNP-T，依次取出其中的每一个NALU，依次加入NALU队尾即可。

由于采用了上述用于录像机和视频服务器的AVS编码网络传输方法，实现了AVS在RTP传输上的打包格式，利用RTP协议实现了AVS的流媒体网络传输，使ASV编码在监控领域特别是网络化监控中得到高效应用，在安全防范监控技术领域实现快捷安全的网络化监控。

具体实施方式

下面结合实施例详述本发明，下面结合实施例详述本发明，一种用于硬盘录像机和视频服务器的AVS编码网络传输方法，包括：确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，封装及解析的格式；RTP数据包发送网络抽象层单元(Network Abstract Layer Unit，简称NALU)的发送方式有三种：一个RTP中只负载一帧(ONP)、一个RTP包里含多个帧(MNP)、一帧被分为多个片段分别打入RTP包(ONFP)；三种发送方式，它们有共同的单元头网络抽象层单元数据头结构(NALU Head，NH)，共2Bytes，三种发送方式定义的值如下：

一个RTP中只负载一帧(ONP)的值为： 0x01；

一个RTP包里含多个帧(MNP)的值为； 0x10；

一帧分为多个片段分别打入RTP包(ONFP)的值为： 0x11；

而网络抽象层单元数据头结构(NH结构)为：

SM、D、S、E、I、T、R、MT、SMT；

1.一个RTP中只负载一帧(ONP)格式发送定义如下：

单元头(NH)为2Bytes、网络抽象层单元数据(NALU DATA)，4字节对齐、网络抽象层单元数据(NALU DATA)，n字节，4字节对齐，在NH的后面，跟要发送的数据；

2.一个RTP包里含多个帧(MNP)格式发送定义如下：

采用交错格式和是否对每个NALU使用独立时戳，可分为如下四种子类型：

其中；

单元头(2字节)-单元大小-单元数据-单元大小-单元数据…；

3.一个单元拆成多个分包)格式发送(ONFP)发送格式定义如下：

单元头-单元数据；

下面的实施例采用ONP和ONFP两种方式具体说明，当一个NALU大小可以在一个RTP包中发送时，采用ONP，否则，采用ONFP；约定最大RTP包大小为1440字节，RTP报头为12字节，本文规定的NH大小为2字节，用1440字节减去12+2字节等于1426字节，经计算可知，无论采用ONP还是ONFP，可以发送的最大有效载荷为1426字节。

采用ONP格式方式发送大小为678字节大小的网络抽象层单元(NALU)：

80 E0 09 2B 00 01 E1 B8 00 00 00 00 40 01……；

其中，前面12个字节是RTP报头，后面紧跟的两个字节是NH，后面的载荷省略未标出。根据数据可知，本实施例使用的RTP版本号为2，Marker bit被置为1，表示此包可以解码；Payload type为96，表示为AVS编码，序列号为2347；时戳为123320表示从开始播放至今经过了123.320秒；此RTP会话源的SSRC为00 00 00 00；在NH中，发送方法(SM)为01，表示为ONP；媒体类型为0，表示为视频；媒体子类型为1，表示为I帧。

采用ONFP格式方式发送大小为1758字节的网络抽象层单元(NALU)；

第一个包为：

80 60 07 43 00 0B FD B0 00 00 00 00 D0 02……；

可看出使用的RTP版本号为2，Marker bit为0，表示收到此包尚不可以解码；Payload type为96，表示为AVS编码，序列号为1859；时戳为785840，表示从开始播放至今经过了785.840秒；此RTP会话源的SSRC为00 00 00 00；在NH中，发送方法(SM)为11，表示为ONFP；起始标识位(S)为1，表示分片的开始；媒体类型为0，表示为视频；媒体子类型为2，表示为P帧；其后紧跟1426字节的网络抽象层单元(NALU)数据。

第二个包为：

80 E0 07 44 00 0B FD B0 00 00 00 00 C8 02……；

可看出使用的RTP版本号为2，Marker bit为1，表示收到此包可以解码；Payload type为96，表示为AVS编码，序列号为1860；时戳为785840，表示从开始播放至今经过了785.840秒；因为它与上一个包属于同一个网络抽象层单元(NALU)，所以时戳相同；此RTP会话源的SSRC为00 00 00 00；在NH中，发送方法(SM)为11，表示为ONFP；结束标识位(E)为1，表示分片的结束；媒体类型为0，表示为视频；媒体子类型为2，表示为P帧；其后紧跟剩下的332字节的网络抽象层单元(NALU)数据。

Claims

1.一种用于录像机和视频服务器的AVS编码网络传输方法，包括：确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，封装及解析的格式，其特征在于，RTP数据包发送网络抽象层单元的发送方式有三种：一个RTP中只负载一帧-ONP或一个RTP包里含多个帧-MNP及一帧被分为多个片段分别打入RTP包-ONFP，三种发送方式有共同的单元头网络抽象层单元数据头结构-NH，共2Bytes，三种格式发送方式定义的值如下：

一个RTP中只负载一帧-ONP的值为： 0x01；

一个RTP包里含多个帧-MNP的值为； 0x10；

一帧分为多个片段分别打入RTP包-ONFP的值为：0x11。

2.根据权利要求1所述的AVS编码网络传输方法，其特征在于：上述所述网络抽象层单元数据头结构-NH结构为：

SM、D、S、E、I、T、R、MT、SMT。

3.根据权利要求1所述的AVS编码网络传输方法，其特征在于：上述所述一个RTP中只负载一帧-ONP格式发送定义为：单元头为2Bytes、网络抽象层单元数据，4字节对齐、网络抽象层单元数据n字节，4字节对齐，在单元头的后面，跟要发送的数据。

4.根据权利要求1所述的AVS编码网络传输方法，其特征在于：上述所述一个RTP包里含多个帧-MNP格式发送定义为如下四种子类型：

a.共用时间戳顺序排列的一包多单元时，交错格式为0、独立时间戳为0；RTP包中NALU按其解码顺序依次排列，共用RTP包头中的时戳，共用时间戳顺序排列的一包多单元格式定义如下，依次为：

单元头-单元大小-单元数据-单元大小-单元数据…；

b.交错排序的一包多单元时，交错格式1、独立时间戳0；多个RTP数据包构成一组，将按其解码顺序连续排列的多个NALU交错封装，交错排序的一包多单元格式定义如下，依次为：

单元头-组号-单元大小-当前单元在包内的解码顺序-单元数据-单元大小-当前单元在包内的解码顺序-单元数据…；

c.顺序排列的独立时间戳单元时，交错格式为0、独立时间戳为1；顺序排列的独立时间戳单元格式发送时，其格式定义如下，依次为：

单元头-单元大小-相对时间戳-单元数据-单元大小-相对时间戳-单元数据…；

d.交错排序的独立时间戳单元时，交错格式为1、独立时间戳为1；交错排序的独立时间戳单元格式发送时，其格式定义如下，依次为：

单元头-组号-单元大小-当前单元在包内的解码顺序-相对时间戳-单元数据-单元大小-当前单元在包内的解码顺序-相对时间戳-单元数据-单元大小-当前单元在包内的解码顺序-相对时间戳-单元数据…。

5.根据权利要求1或4所述的AVS编码网络传输方法，其特征在于：上述所述一个RTP包里含多个帧-MNP格式发送定义的四种子类型中，交错格式的NH标志为I，独立时间戳的NH标志为T。

6.根据权利要求1所述的AVS编码网络传输方法，其特征在于：上述所述一个单元拆成多个分包-ONFP发送格式定义为：单元头-单元数据。