CN105307050A - 一种基于hevc的网络流媒体应用系统及方法 - Google Patents

一种基于hevc的网络流媒体应用系统及方法 Download PDF

Info

Publication number
CN105307050A
CN105307050A CN201510701060.0A CN201510701060A CN105307050A CN 105307050 A CN105307050 A CN 105307050A CN 201510701060 A CN201510701060 A CN 201510701060A CN 105307050 A CN105307050 A CN 105307050A
Authority
CN
China
Prior art keywords
nal unit
hevc
module
byte stream
journal file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510701060.0A
Other languages
English (en)
Other versions
CN105307050B (zh
Inventor
何震宇
刘伟
梁应毅
李鑫
张高伟
李义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510701060.0A priority Critical patent/CN105307050B/zh
Publication of CN105307050A publication Critical patent/CN105307050A/zh
Application granted granted Critical
Publication of CN105307050B publication Critical patent/CN105307050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出了一种基于HEVC的网络流媒体应用系统及方法，修改HEVC编码器，对NAL进行权重计算，并且根据NAL权重对GOP内的帧排序，通过自定义的HEVC字节流提取工具，帮助后续对HEVC流分包进行自定义处理，提供支持充分考虑大背景下的网络不稳定状态对HEVC流媒体的视觉观看效果的影响，从而对网络不稳定有充分的鲁棒性和良好的适用性，实现了HEVC的编码、传输和测试的功能，使得该系统的适用性和研究性都提到提升。

Description

一种基于HEVC的网络流媒体应用系统及方法
技术领域
本发明涉及流媒体播放技术领域，尤其涉及一种基于HEVC的网络流媒体应用系统及方法。
背景技术
HEVC(HighEfficiencyVideoCoding)是一种新的视频压缩标准，可以替代H.264/AVC编码标准。HEVC的规范化对许多未来的发展将做出巨大贡献，比如消费类设备领域(如广播电视、多媒体流媒体)，移动通信和多媒体/视频内容的存储都将通过影响实施新兴HEVC标准。直至现在HEVC的研究重点一直放在改进的视频压缩效率上，许多改进都已经应用到HEVC的标准中。
但是，现有的工作并没有考虑到HEVC现实的流媒体的实际障碍环境，因此，现有的HEVC流媒体播放时网络波动造成HEVC播放视觉效果下降，并且，现有的HEVC流媒体播放系统对于测试的实施并不容易实现。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于HEVC的网络流媒体应用系统及方法，弥补现有的HEVC流媒体播放时网络波动造成的HEVC播放视觉效果的下降，并尽可能的阻止信噪比的下降。
本发明通过以下技术方案实现：
一种基于HEVC的网络流媒体应用系统，其特征在于，所述系统包括：发送端和接收端，其中，所述发送端包括修改后的HEVC编码器模块、NAL单元加权重模块、自定义的HEVC字节流提取模块、字节流发送模块；所述修改后的HEVC编码器模块，用于对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符、PRIORITY字段以及标记原有顺序的字段；所述NAL单元加权重模块用于将所述修改后的HEVC编码器模块编码后的NAL单元根据RDO和PSNR综合计算得出NAL单元的权重，记录到NAL的PRIORITY字段，并将GOP中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序；所述自定义的HEVC字节流提取模块，用于分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元；所述字节流发送模块，用于发送所述NAL单元。
作为本发明的进一步改进，所述接收端包括接收处理模块，用于接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。通过对发送端的NAL单元跟踪文件与接收端的NAL单元跟踪文件比较来实现所述隐蔽性错误的解码。
作为本发明的进一步改进，所述发送端还包括测试模块，用于从字节流中提取任何一个的NAL单元进行测试。
另一方面，本发明还提供了一种基于HEVC的网络流媒体应用方法，所述方法基于修改后的HEVC编码器，所述方法包括以下步骤：
S101：对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符以及标记原有顺序的字段；
S102：对编码后的NAL单元根据RDO和PSNR综合计算得出NAL单元的权重，并将GOP中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序；
S103：分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元；
S104：发送所述NAL单元；
S105：接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。
本发明的有益效果是：本发明设计和实施了HEVC流媒体和评估框架，并实现了一个高效的实时基准系统HEVC视频流，并允许有效测试。通过对NAL单元和HEVC编解码器的自定义修改，并把HEVC流媒体播放划分为服务端和接收端，使得对于网络波荡对HEVC流媒体播放造成的视觉影响减少。
附图说明
图1是本发明的基于HEVC的网络流媒体应用系统架构图；
图2是本发明的HEVCNAL单元标记结构体示意图；
图3是本发明的HEVCVCLNAL单元示意图；
图4是本发明的应用场景示意图；
图5是本发明测试得出的NAL单元丢失率示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
附图1所示为本发明的基于HEVC的网络流媒体应用系统包括：发送端和接收端，其中，所述发送端包括修改后的HEVC编码器模块、NAL单元加权重模块、自定义的HEVC字节流提取模块、字节流发送模块。
所述修改后的HEVC编码器模块，用于对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL(NetworkAbstractLayer)单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符、PRIORITY字段以及标记原有顺序的字段。由于本发明的基于HEVC的网络流媒体应用方法需要对NAL单元添加字段以及需要产生日志文件，因此HEVC编码器需要做出相应的调整，所述HEVC编码器的修改基于JSVM12.0，在Windows平台下做出修改并编译通过。
附图2是本发明的HEVCNAL单元标记结构体示意图，其中，OFFSET字段记录偏移，TYPE表示类型，NUM_BYTES记录字节数，FRAME_NO表示帧编号，T_ID记录顺序，解码时使用；DECONDE_TIME解码参数，解码时使用；PRIORITY表示优先级，解码时候需要此字段完成排序。TIMESTAMP表示时间戳。
所述NAL单元加权重模块用于将所述修改后的HEVC编码器模块编码后的NAL单元根据RDO(ratedistortionoptimization)和PSNR(PeakSignaltoNoiseRatio)综合计算得出NAL单元的权重，记录到NAL的PRIORITY字段，并将GOP(GroupofPictures)中的连续画面中的NAL单元根据权重重新排序，由于重排序的NAL单元和原有顺序并不一致，因此需要添加字段T_ID来标记原有顺序，并把这些值记录在NAL单元的标记原有顺序的字段记录NAL单元排序前的顺序。
附图3是本发明的HEVCVCLNAL单元示意图，其中，F表示forbidden_zero_bit，占一位bit；N表示nal_ref_idc，占一位bit；TYPE表示nal_unit_type，占6位bit；以上这些和HEVC标准VCLNAL单元定义是一样的。只是T_ID是本发明的独特设计，加入了T_ID变量，占三个bit，记录了NAL单元和日志文件(扩展文件)的对应关系。RESERVED是保留区域，用来提高以后升级该系统的兼容性和可扩展性。
所述自定义的HEVC字节流提取模块，用于分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元。
所述字节流发送模块，用于使用RTP/TCP协议传输发送所述NAL单元。
所述发送端还包括测试模块，用于从字节流中提取任何一个的NAL单元进行测试。
所述接收端包括接收处理模块，用于接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。通过对发送端的NAL单元跟踪文件与接收端的NAL单元跟踪文件比较来实现所述隐蔽性错误的解码。NAL单元跟踪文件是NAL单元的一个字段描述，记录了HEVC视频流中得NAL单元和日志文件的对应关系。
附图1中，PPS(PictureParameterSet)NAL是NAL单元的一种。STAP(Single-timeaggregationpacket)是一种数据格式，用来合并多个NAL单元到一个RTP报文中。VCLNAL是一种NAL单元格式，表示该NAL单元是视频编码层，功能是装在HEVC视频流信息。目前所有的流媒体几乎都是先打包成NAL单元，经过网络链路发送到接收端，进行解码。NAL单元是流媒体传输的基本单位。在HEVC草案中已经明确，所有的NAL单元都需要打包成通用的RTP/TCP包才能发送。
附图4是本发明的应用场景示意图，附图5是本发明在网络不稳定时的丢失率示意图，其中，IDR(InstantaneousDecodingRefresh)是RAP(randomaccesspoint)的一种方式。RAP(随机读取点)可以是IDR、CRA、BLA帧。序列参数集SPS(SequenceParameterSet)是HEVC封装视频参数等的一种NAL单元。序列参数集SPS包含CVS中所有slice需要的信息。增强信息SEI(Supplementalenhancementinformation)用于存储视频元数据，比如说时间戳、使用的色彩空间、3D填充的方式等等。
本发明在网络不稳定或者带宽小幅降低情况下，提高HEVC流媒体应用的鲁棒性和适应性。本发明在网络不稳定时降低视频质量来降低网络带宽达到提高HEVC流媒体应用的鲁棒性和适应性
本发明使得在裸视频预处理阶段依赖于服务器的计算性能，接收端计算性能要求得到降低。自定义的HEVC编解码器使得软件编程方法用来提升网络波动下的HEVC流媒体视觉效果的灵活性更高，适应性更广。HEVC流媒体框架下的服务端和客户端经过验证和实现，并且达到10％的带宽降低仅造成3.61dB的下降。服务端和接收端都使用了软件模块，不依赖于具体的硬件设施，使得该框架的可以不经过修改或少量修改就可以移植。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于HEVC的网络流媒体应用系统，其特征在于，所述系统包括：发送端和接收端，其中，所述发送端包括修改后的HEVC编码器模块、NAL单元加权重模块、自定义的HEVC字节流提取模块、字节流发送模块；
所述修改后的HEVC编码器模块，用于对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符、PRIORITY字段以及标记原有顺序的字段；
所述NAL单元加权重模块用于将所述修改后的HEVC编码器模块编码后的NAL单元根据RDO和PSNR综合计算得出NAL单元的权重，记录到NAL的PRIORITY字段，并将GOP中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序；
所述自定义的HEVC字节流提取模块，用于分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元；所述字节流发送模块，用于发送所述NAL单元。
2.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于：所述接收端包括接收处理模块，用于接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。
3.根据权利要求2所述的基于HEVC的网络流媒体应用系统，其特征在于：通过对发送端的NAL单元跟踪文件与接收端的NAL单元跟踪文件比较来实现所述隐蔽性错误的解码。
4.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于：所述字节流发送模块利用PPSNAL单元缓冲，为RTP/TCP包的发送提供支持。
5.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于：所述发送端还包括测试模块，用于从字节流中提取任何一个的NAL单元进行测试。
6.一种基于HEVC的网络流媒体应用方法，其特征在于：所述方法基于修改后的HEVC编码器，所述方法包括以下步骤：
S101：对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符以及标记原有顺序的字段；
S102：对编码后的NAL单元根据RDO和PSNR综合计算得出NAL单元的权重，并将GOP中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序；
S103：分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元；
S104：发送所述NAL单元。
7.根据权利要求6所述的基于HEVC的网络流媒体应用方法，其特征在于：在所述步骤104之后还包括S105：接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。
CN201510701060.0A 2015-10-26 2015-10-26 一种基于hevc的网络流媒体应用系统及方法 Active CN105307050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510701060.0A CN105307050B (zh) 2015-10-26 2015-10-26 一种基于hevc的网络流媒体应用系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510701060.0A CN105307050B (zh) 2015-10-26 2015-10-26 一种基于hevc的网络流媒体应用系统及方法

Publications (2)

Publication Number Publication Date
CN105307050A true CN105307050A (zh) 2016-02-03
CN105307050B CN105307050B (zh) 2018-10-26

Family

ID=55203719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510701060.0A Active CN105307050B (zh) 2015-10-26 2015-10-26 一种基于hevc的网络流媒体应用系统及方法

Country Status (1)

Country Link
CN (1) CN105307050B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314156A (zh) * 2020-03-02 2020-06-19 四川大学 面向对等网络流媒体的覆盖网络快照获取方法及评价方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863302A (zh) * 2005-11-03 2006-11-15 华为技术有限公司 多媒体通信方法及其终端
US20090003429A1 (en) * 2007-06-27 2009-01-01 Mediatek Inc. Apparatus And Method For Processing A Bitstream
US20100150232A1 (en) * 2006-10-31 2010-06-17 Gottfried Wilhelm Leibniz Universitat Hannover Method for concealing a packet loss
CN103607667A (zh) * 2013-11-15 2014-02-26 南京云川信息技术有限公司 一种p2p流媒体系统中的svc视频文件的分片方法
WO2015053673A1 (en) * 2013-10-11 2015-04-16 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
CN104796765A (zh) * 2015-04-23 2015-07-22 天脉聚源（北京）教育科技有限公司 一种h264帧中提取sps和pps的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863302A (zh) * 2005-11-03 2006-11-15 华为技术有限公司 多媒体通信方法及其终端
US20100150232A1 (en) * 2006-10-31 2010-06-17 Gottfried Wilhelm Leibniz Universitat Hannover Method for concealing a packet loss
US20090003429A1 (en) * 2007-06-27 2009-01-01 Mediatek Inc. Apparatus And Method For Processing A Bitstream
WO2015053673A1 (en) * 2013-10-11 2015-04-16 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
CN103607667A (zh) * 2013-11-15 2014-02-26 南京云川信息技术有限公司 一种p2p流媒体系统中的svc视频文件的分片方法
CN104796765A (zh) * 2015-04-23 2015-07-22 天脉聚源（北京）教育科技有限公司 一种h264帧中提取sps和pps的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314156A (zh) * 2020-03-02 2020-06-19 四川大学 面向对等网络流媒体的覆盖网络快照获取方法及评价方法
CN111314156B (zh) * 2020-03-02 2020-12-01 四川大学 面向对等网络流媒体的覆盖网络快照获取方法及评价方法

Also Published As

Publication number Publication date
CN105307050B (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
CN110447234A (zh) 作为分隔符及可寻址资源标识符的区段类型
EP2987330B1 (en) Method and apparatus for transmitting media data in multimedia transport system
CN105900445B (zh) 用于动态自适应流式传输的稳健实况操作的方法和装置
EP3167621B1 (en) Error handling for files exchanged over a network
CN101867796B (zh) 一种视频监控的方法和设备
CN102291580B (zh) 基于Android系统的视频传输方法
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
CN105744295A (zh) 提供用于串流传输视频数据的序列数据集
CN105681827B (zh) 直播频道的海报生成方法、系统及相关装置
CN104081785A (zh) 来自多个源的多媒体数据的流式传输
EP3843385A1 (en) Method and apparatus for generating media file comprising 3-dimensional video content, and method and apparatus for replaying 3-dimensional video content
CN106878804A (zh) 经译码视频数据的网络流式传输
CN102811373A (zh) 移动终端向互联网以及移动互联网进行视频直播的方法
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
CN105610824A (zh) 一种基于屏幕镜像及rtsp流媒体框架的屏幕共享方法
CN102917276B (zh) 一种应用于流媒体服务的音视频交错封装方法
JP2024504421A (ja) ボリュメトリックメディア処理方法及び装置、記憶媒体、並びに電子装置
US9936266B2 (en) Video encoding method and apparatus
CN103916714A (zh) 一种无线网络视频流抗丢包预处理及恢复方法
CN105307050A (zh) 一种基于hevc的网络流媒体应用系统及方法
CN113207040A (zh) 一种视频远程快速回放的数据处理方法、装置及系统
CN101296166B (zh) 基于索引的多媒体数据的测量方法
CN102724553A (zh) 图像编码方法、图像解码方法及图像编码器和图像解码器
CN105657448B (zh) 一种编码视频流的转发方法、装置及系统
KR101702802B1 (ko) 깊이 정보 인코딩 및 디코딩 방법, 시스템, 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant