CN105791841B - 用于网络上视频数据的自适应流处理的方法、装置和系统 - Google Patents

用于网络上视频数据的自适应流处理的方法、装置和系统 Download PDF

Info

Publication number
CN105791841B
CN105791841B CN201610240003.1A CN201610240003A CN105791841B CN 105791841 B CN105791841 B CN 105791841B CN 201610240003 A CN201610240003 A CN 201610240003A CN 105791841 B CN105791841 B CN 105791841B
Authority
CN
China
Prior art keywords
video
information
flow processing
client
complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610240003.1A
Other languages
English (en)
Other versions
CN105791841A (zh
Inventor
贺玉文
亚历山德罗斯·图拉皮斯
佩沙拉·V·帕哈拉瓦达
阿萨纳西奥斯·莱昂塔里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105791841A publication Critical patent/CN105791841A/zh
Application granted granted Critical
Publication of CN105791841B publication Critical patent/CN105791841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于网络上视频数据的自适应流处理的方法、装置和系统。该方法包括：由视频流处理客户端的解码器通过第一复杂度的操作接收视频数据流的第一视频信息；至少部分基于视频流处理客户端的与解码器对第一视频信息的解码有关的解码能力获得与客户端有关的信息；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定不应继续以解码后续视频信息，由解码器通过第二复杂度的操作接收视频数据流的在第一视频信息之后被接收的第二视频信息。

Description

用于网络上视频数据的自适应流处理的方法、装置和系统
本申请是申请日为2011年1月3日、申请号为“201180005589.9”、发明名称为“用于多层视频系统的复杂度自适应可伸缩解码及流处理”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2010年1月6日提交的美国专利临时申请No.61/292,741的优先权，其全部内容通过引用合并到本申请中。
技术领域
本公开内容涉及多层视频系统。更具体地，本公开内容涉及用于多层视频系统的复杂度自适应可伸缩解码及流处理。
背景技术
近年来，出现了考虑用于视频媒介的传输的多层方法的若干应用及系统。这些应用及系统可以包括SNR或分辨率、或时间可伸缩系统，并且还可以包括多视点或3D/立体视频、位深与高动态范围(HDR)应用等。这些应用或系统可能需要大量的计算资源来解码，或可能在传输期间受到网络中的带宽变化的影响。
立体视频的传输是内容提供商的一贯目标。显示技术的最新创新如具有3D功能的DLP(见参考文献1，其全部内容通过引用合并到本申请中)，和诸如三菱及三星的等离子显示器的等离子显示器，增加了开发用于传输立体视频的有效技术的紧迫性。
发明内容
根据一个实施例，一种用于网络上的视频数据的自适应流处理的方法包括：由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中第一视频信息是由视频流处理服务器使用视频流处理发送至视频流处理客户端的；至少部分基于视频流处理客户端的解码能力来获得与客户端有关的信息，其中解码能力与一个或更多个解码器通过第一复杂度的一个或更多个操作对第一视频信息的解码有关；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定第一复杂度的一个或更多个操作不应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息，由视频流处理客户端的一个或更多个解码器通过不同于第一复杂度的第二复杂度的一个或更多个操作来接收视频数据流的第二视频信息，其中第二视频信息在第一视频信息之后被接收。
根据另一个实施例，提供一种装置，其包括一个或更多个处理器。该装置被配置为执行上述方法。
根据有一个实施例，提供一种用于网络上的自适应流处理视频数据的系统，其包括：视频流处理服务器，其被配置为在一个或更多个视频数据流中向一个或更多个视频流处理客户端发送第一视频信息和第二视频信息；视频流处理客户端，其被配置为执行以下操作：由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中第一视频信息是由视频流处理服务器使用视频流处理发送至视频流处理客户端的；至少部分基于视频流处理客户端的解码能力来获得与客户端有关的信息，其中解码能力与一个或更多个解码器通过第一复杂度的一个或更多个操作对第一视频信息的解码有关；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定第一复杂度的一个或更多个操作不应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息，由视频流处理客户端的一个或更多个解码器通过不同于第一复杂度的第二复杂度的一个或更多个操作来接收视频数据流的第二视频信息，其中第二视频信息在第一视频信息之后被接收。
有关第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息的确定至少部分基于影响视频数据流的网络特性。
附图说明
图1A和图1B示出了3D视频解码框架的系统概况。
图2A和图2B示出了根据本公开内容的示教的可伸缩解码架构的框图。
图3示出了根据本公开内容的实施方式的完全解码模式(FDM-0)。
图4示出了图片的解码依赖性。
图5示出了根据本公开内容的另外的解码模式(FDM-1)。
图6示出了根据本公开内容的另一解码模式(FDM-2)。
图7示出了根据本公开内容的再一解码模式(FDM-3)。
图8示出了图7的解码模式的省略简化。
图9示出了根据本公开内容的又一解码模式4(FDM-4)。
图10示出了图9的解码模式的省略简化。
图11示出了根据本公开内容的示教的可伸缩解码算法。
图12示出了用于说明本公开内容的示教的操作模式的高级语言程序。
图13示出了根据本公开内容的另外的实施方式的可伸缩的打包架构的框图。
具体实施方式
根据第一实施方式，提供了一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及与所述基本层解码器和所述一个或更多个增强层解码器连接的解码适配器，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。
根据第二实施方式，提供了一种用于多层视频系统的自适应解码的方法，包括：读取视频信息；基于先前解码的视频信息的解码时间来针对所述视频信息从多个解码模式中选择解码模式；根据所选择的解码模式对所述多层系统的一个或更多个层的视频信息进行解码；在每次解码后，更新所述先前解码的视频信息的解码时间；以及如果可获得更多的视频信息，则重复上述读取、选择和解码步骤。
根据第三实施方式，提供了一种适于通过网络将视频打包发送到客户端的自适应多层视频服务器，包括：基本层视频打包器；一个或更多个增强层视频打包器；以及与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接的打包适配器，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。
在本申请的说明书、附图和权利要求中提供了本公开内容的其它实施方式。
图1A和图1B示出了解码系统的概况，其示出了基本层解码器和增强层解码器。采用图1A的解码系统的示例性架构是MPEG-4AVC/H.264标准的SHP规范(Stereo HighProfile)。该规范是在标准规格中添加了立体视频支持的、MPEG-4AVC的多视点视频编码(MVC)扩展的特殊情况。参见，例如参考文献2，其全部内容通过引用合并到本申请中。采用图1B的解码系统的示例性架构是杜比的帧兼容全分辨率(FCFR)系统。参见，例如，于2009年4月20日提交的题为“Directed Interpolation and Data Postprocessing”的美国临时专利申请No.61/170,995，以及于2009年7月4日提交的题为“Encoding and DecodingArchitectures for Format Compatible 3D Video Delivery”的美国临时专利申请No.61/223,027，两者的全部内容通过引用合并到本申请中。在MPEG-4AVC SHP中，每个视点被存储在单独的层中。杜比FCFR的基本层存储来自每个视点的一半数量的样本，并且可以通过不同的交叉存取方法来构造，如棋盘和并排交叉存储等。增强层提供两个视点的残余信息(针对每个视点的另一半样本)。该解码系统将组合来自两个层的图片输出以生成全分辨率的两个视点。
在图1B的系统中，示出了参考处理单元(RPU)。RPU处理来自基本层的输出图片以生成高质量的参考，该参考随后可以用于增强层的运动补偿预测。还可以包括也在图1B中示出的后处理单元。在3D应用示例中，后处理单元可以通过组合两个解码器的输出来产生每个视点的全分辨率图片。
本公开内容的实施方式涉及随后参考图13讨论的复杂度自适应解码与流处理技术。如上面已经提到的，这些技术可以用于，例如，从高端到低端的处理系统范围内的各种平台上的3D视频流编码系统的实时回放和流处理。本公开内容的示教可以应用到其它类似的可伸缩方案(诸如由如Sensio和Real-D等公司提出的3D方案)或使用类似的可伸缩概念的其它方案。本领域的普通技术人员还应当理解，本公开内容的示教不限于3D应用，而且可以包括质量可伸缩系统、位深可伸缩性，除此之外还包括高动态范围的可伸缩方案等。
本公开内容的另外的应用涉及穿过异质和变化的网络的无缝视频流，如在参考文献3到参考文献5中所描述的那些，其全部内容通过引用合并到本申请中。
根据本公开内容的若干实施方式，提供了复杂度度量与自适应机制。图2A和图2B示出了控制基本层解码器、RPU和增强层解码器的操作的解码自适应模块。在图2A的实施方式中，示出了基本层解码器和一个或更多个增强层解码器。在图2B的实施方式中，还考虑了RPU的存在。
具体地，针对每个基本层解码器和增强层解码器，解码自适应模块能够使能完全解码模式、简化的解码模式，或甚至使能跳过所有模式。类似地，对于RPU，解码自适应模块能够使能完全滤波、部分滤波或完全跳过RPU步骤。
图2A和图2B的解码自适应模块适于从所有其它块(如基本解码器、增强解码器和RPU)接收反馈。传递到解码自适应模块的信息可以包括关于解码复杂度、块或编码单元之间的依赖性(通过比特流分析或甚至可能存在于比特流中的元数据)的信息，以及关于电源使用和视频质量的信息。质量因素可以包括目前为止引入的失真以及如果稍后做出某些决定可能引起的失真。所有这些信息都在模块中进行处理以进行解码自适应，从而决定哪个模块应该受到了影响以及受到多大的影响。参考流处理实施方式可以做出类似的考虑(包括网络特性)，如稍后参考图13所讨论的。
在以下段落所示的示例中，考虑了具有不同复杂度的六种不同解码模式。但是，本领域普通技术人员应当理解，可以考虑任何数量的不同解码模式。尽管以下附图的示例示出了一个增强层和一个RPU，但是本领域普通技术人员应当理解，RPU是可选的，并且如果期望，可以设置有不止一个增强层。
图3示出了解码模式的第一示例，其中，将计算最复杂的模式(也称为完全解码模式)应用于基本层和增强层两者。在本公开内容全文中，这种模式将被称为FDM-0。当使用快速解码模式时，图片质量会降低，但是在这种情况下，质量的损失是受控的。
图4示出了解码过程中的图片依赖性。作为示例，可自由使用的双向预测图片(B)依赖于预测图片(P)，但是不用作参考，因此，在对这些图片进行解码时所发生的错误不会影响其它图片的解码过程。P图片可以用作参考图片以接替P图片和B图片。P图片中的错误将传播到依赖于其的后面的P图片和B图片，甚至更糟，这种错误将在整个图片组(GOP)内传播。此处注意，B编码图片可以是可自由使用的但也可以用作针对运动补偿预测的参考(在本示意图中标记为RB图片)。这对于帧内编码图片(I)或单向预测编码图片(P)也是正确的。尽管在过去的编码标准中，I与P总是用作参考并且B图片被视为可自由使用的，但是在MPEG-4AVC/H.264中，不再是这种情况。任何类型的图片均可以被标识为可自由使用的。
通常可以独立地解码的两个帧内(I)编码的图片之间的图像一般被认为属于单个GOP。在MPEG-4AVC中，帧内编码的图片可能必须是即时解码器刷新(IDR)图片，或被标识为随机存取单元。结果，对于所示的示例编码结构，P图片比B编码的图片更重要。如果使用具有固定或自适应GOP的层级编码结构，则可以存在类似的依赖性。
因此，根据本公开内容的一些实施方式，将初始尝试减小可自由使用的图片的解码复杂度。如果解码速度依然比目标解码速度慢并且当前参考图片的解码复杂度大于给定的阈值，则还依据参考图片对GOP中的将来图片的影响减小参考图片的解码复杂度。代替仅基于图片等级，还可以基于较高的等级(如GOP等级)确定解码模式。换言之，代替每次针对一张图片做出决定，系统可以每次在GOP等级或针对每N张图片做出决定。即，解码器(或稍后在图13中说明的流处理情况中的服务器)可以对复杂度性能(或流处理实施方式中的网络带宽)进行评估并且立即做出影响当前GOP中的所有这些图片的决定。即，可以这么说：可以针对所有的增强层图片跳过解块，或将不对GOP中的所有图片进行增强层的解码(或针对图13的流处理情况不传输任何增强层信息)，或甚至分析GOP中的依赖性并且基于该依赖性来确定哪些图片应当完全解码、哪些图片地部分解码(以及在何等级)或哪些图片完全不解码。在这些情况下，在全局等级做出决定。但是，这不能排除也可以在局部等级(图片或切片)处做出的额外的改良。因此，该过程可以是局部的、全局的或局部与全局的组合。
图5示出了比FDM-0模式简单的第二解码模式，该模式在本文中被称为FDM-1模式。根据这种模式，简化了增强层处的解码。通过该示例，可以简化或甚至消除非参考图片(通常是B图片)的解块过程。例如，可以通过使用比由系统指定的解块滤波机制更简单的解块滤波机制仅简化或禁用某些颜色组分的解块过程或甚至简化或禁用仅针对某些切片的解块过程，来简化该解块过程。
关于何时与如何修改解块过程的决定可以不仅取决于复杂度而且还取决于针对图片如何影响质量。该决定可基于在解码期间收集的关于图片和图片组的信息。通过示例，该决定可基于图片或切片的运动或基于标志信息(诸如向比特流中的该过程提供线索的元数据)。
通过使用图5所示的FDM-1模式，以通常很小的图片质量损失为代价，解码过程相较于FDM-0而加速。由于该模式仅影响可自由使用的非参考图片，由该简化的解码过程导致的错误不会传播给后续解码的图片。
图6示出了与FDM-1相比更简单的解码模式，该模式被称为FDM-2。根据这种模式，简化了基本层和增强层两者处的解码。通过示例的方式，简化或甚至跳过了基本层和增强层两者处的非参考图片的解块过程。尽管由于RPU提供的参考的变更可能导致增强层中的一些其它失真以及基本层中的一些失真，然而，由于这些帧没有用作任何其它图片的参考，因此在解码期间不会产生漂移。应当理解，基础层和增强层的简化方法可以不同，并且可以是上面参考FDM-1所讨论的简化方法中的任何一种。
如果解码速度略微低于目标速度，则可以使用图5和图6中示出的解码方法FDM-1和FDM-2。
图7到图10示出了两种另外的快速解码模式(称为FDM-3和FDM-4)，其可以导致解码过程的进一步简化。
图7示出了解码模式FDM-3，其中，通过在对非参考图片或可自由使用的图片解码时另外简化其残余解码过程来简化增强层。该残余解码过程包括如熵解码、逆变换和逆量化等的子过程。因此，通过简化上述一种或更多种子过程，存在可以简化该过程的不同方式。另外，可以针对不同的切片简化残余解码，其中，每个切片可以使用基于元数据或分析的不同简化方法。
在具体的实施方式中，可以跳过整个残余解码过程，如图8所示。在这种情况下，RPU过程的输出被视为增强层的输出。在3D视频编码的情况下，通过在后处理步骤中将基本层的输出与RPU单元的输出多路复用在一起，解码器将生成全分辨率的图片。
由于存储在压缩的比特流的残余部分中的一些高频信号不会与编码器侧的高频信号匹配，因此解码模式FDM-3将引入一些另外的失真。然而，将发生无错传播。此外，在使用元数据来促进简化方法或如果该简化方法是内容自适应的实施方式中可以很好地控制该错误。例如，可以基于切片等级在编码器侧测量残余解码过程简化的质量失真，并且可以将该信息嵌入到比特流中作为元数据。在解码器处，解码器可以做出使能某些简化或不根据失真信息的决定。代替失真信息，还可以设置不同切片或图片之间的依赖性，而如果考虑简化的解码方法，失真信息可以是可引入到比特流中的潜在失真的估计。在图13中稍后讨论的流处理实施方式中，可以通过不标志某些信息进行错误控制。
在不同的实施方式中，可以仅选择图片中的某些切片进行解码，或者可以在经过一定时间之后或在已对这些切片中的一定数量的宏块进行解码之后开始及停止所有切片的并行解码。针对还没有解码的残余区域，如图8所示，相反可以使用来自RPU的信号。
图9示出了另一解码模式，其在本文中被称为FDM-4模式。根据该实施方式，可以简化RPU过程、增强层解码(如残余解码和解块)和增强层处的非参考图片的后处理。具体地，该简化过程可涉及：使用与指定的插值滤波器不同的插值滤波器，不对使用昂贵的亚像素定位的一些宏块解码并恢复到RTU处理的信号，以及不对使用双向预测或加权预测等的宏块解码。可以对每个子过程或每个切片进行该简化。还可以通过使用与指定的滤波器不同的滤波器简化RPU过程。例如，可以使用较短的滤波器来代替较长的滤波器，可以使用一维滤波器替代二维滤波器，可以使用固定滤波器代替显式滤波器等。可以针对整个图片、区域(针对不同的区域可以在RPU中标志不同的滤波器)或甚至在颜色分量等级处选择这些滤波器。
图10示出图9的实施方式的特殊情况，其中，跳过了RPU过程、残余解码过程和解块过程。假设已完全跳过了增强层并且基本层属于非参考图片，则FDM-4处理还可以扩展到基本层。
在使用上面的一种或更多种实施方式依然不会产生充分的解码器复杂度或期望的流处理处理功能的情况下，上面的图和实施方式中所示的简化过程还可以扩展到参考图片。将上述实施方式扩展到参考图片的解码模式在本文中将被称为FDM-5。这是最快的解码模式并且可以用在基本层、增强层或两者上。在这种情况下，如果简化不是以受控的方式来完成，则可能发生差的伪像。例如，考虑图片处于GOP中何处、因任何解码简化将导致质量受到多远和多大的影响以及复杂度和流处理中的含义可以显著地帮助选择应该应用于该图片的过程，如果任何。一张图片(例如靠近GOP的末端)即使是参考图片，由于其质量不会传播到更多的图片，因而其相较于GOP中早先的其它图片可能更容易被舍弃。此外，期望在影响基本层中的参考图片之前作用于增强层中的参考图片(通过简化或跳过)。
具体地，当当前图片是参考图片时，将估计该图片的解码复杂度(如稍后在后续段落中所说明的)，以尽可能多地减小质量损失同时将解码速度的增加最大化。
一旦已知或估计了该图片的解码复杂度，如果没有指示图片的失真的边信息(通过例如元数据来提供)，可以如下来处理解码过程。如果该图片的解码过程的估计复杂度小于第一阈值(表示复杂度对于系统的解码能力而言是足够低的)，则在解码过程中不发生变化。否则，如果估计的复杂度高于第一阈值而低于第二阈值(表示复杂度既不是太低也不是太高)，则进行解码过程的初始简化，如解块过程的简化。另一方面，如果复杂度高于第二阈值则进行进一步的简化，如残余解码过程和解块过程的简化。
在图片等级处描述了上述实施方式。但是，可以提供不同的实施方式，其中，可以在例如为子图片等级/区域等级的切片等级处应用所有提出的解码模式。切片等级的应用可以针对参考图片和非参考图片两者进行。可以基于比特流的解码期间的先前观察、针对解码一张图片预算的平均时间以及为确保将进行解码而不超出该预算当前图片需要多少时间等，来计算用于参考图片的上述阈值。
另外，代替每次考虑单张图片或切片，如果需要，系统可以决定将多个图片分在一组并且针对这些图片联合地作出这种决定。通过跳过或减少针对多个图片的解码器复杂度的复杂度节省可以导致用于其它图片的节省，该可能对于主观质量具有比当前的节省更重要的影响。关于是否跳过多个图片的决定可以基于图片相似度，图片相似度可设置于比特流元数据中或甚至可以根据诸如比特流中可获得的运动矢量的给定比特流信息推论出来。例如，如果两个顺序的图片的运动矢量类似，则知道这些图片也会是相似的并且可以使用类似的方法一起简化(如，跳过)。
图11示出了可控地应用上述简化的可伸缩解码过程的实施方式。在读取图片后，初始地设置解码模式。将参考稍后描述的图12示出如何设置解码模式的示例。如果所选择的解码模式是最快解码模式FDM-5(如上所述，其还提供参考图片的简化)，则还对解码复杂度进行估计。如上面参考解码模式FDM-5的描述已指出的，对解码复杂度的估计和随后与阈值参数的比较允许在这种解码模式内执行简化的受控选择。然后，根据所选择的解码模式对切片、图片或GOP进行解码。然后，根据稍后将要描述的公式来更新平均解码时间。然后，重复该过程直到解码终止。
现在转到图12，将描述根据本公开内容的待使用的解码模式设置算法的示例。如果平均解码时间(DecTimeAvg)大于第一阈值T0，则可以通过将解码模式改变成简化版本(DecMode＝DecMode+1)来减小解码复杂度。如果平均解码时间大于第二阈值T2(T2>T0)(这表示当前解码非常慢)，则将解码模式设置成最简单的模式，如上面讨论的FDM-5模式(DecMode＝FDM_5)。如果平均解码时间不大于阈值T0并且小于阈值T1(这表示解码足够快)，则将增加解码复杂度以确保更好的图片质量。另一方面，如果平均解码时间不大于阈值T0并且不小于阈值T1，则将保持先前使用的解码复杂度(保持DecMode)。
在以下段落中，将讨论四个公式以更好地理解图11和图12中包含的处理。公式(1)将描述在图11的流程图中如何更新平均解码时间。另一方面，公式(2)到公式(4)将描述如何估计解码复杂度。
具体地，公式(1)描述了如何更新平均解码时间DecTimeAvg的示例。α是控制更新速度的因子，其可以取决于图片组(GOP)的长度。通过示例，α可以随着GOP长度的增加而减小。
DecTimeAvg＝LastPicDec Time·α+DecTimeAvg·(1-α) (1)
现在回到图11的解码复杂度的估计步骤，该步骤可以包括两部分。
在第一部分中，对RPU处理的复杂度进行估计。该复杂度取决于滤波器的类型和分区面积，并且例如可以通过公式(2)来计算。整个图片的RPU过程的复杂度是所有分区的复杂度之和。
第二部分处理残余解码复杂度的估计。该估计取决于编码比特的数量和切片类型，并且例如可以通过经由查询表估计而由公式(3)计算。该表可以针对不同切片类型的解码时间构建，考虑到解码统计数据，上述解码时间具有相同尺寸。
可以在公式(4)中估计总体复杂度，其中，考虑了公式(2)和公式(3)的结果，并且其中，β是对应于RPU处理的复杂度与整个解码处理的复杂度的比率的加权因子。基于收集到的统计数据来测量。
Comlexitypicture＝ComlexityRPU·β+ComlexityRe sidue·(1-β) (4)
可以使用元数据信息(表示例如使用SEI(辅助增强信息)消息、MPEG-4或MPEG-2传输层或程序层的用户指定消息或通过用其它机制)来提供关于切片、图片或GOP的失真影响的边信息。这种附加的信息对确定如上所述的模式FDM-5的控制的可能简化是有用的。例如，解码器可以接收每个切片或图片的质量的测量、和/或图片依赖性以及任何解码器简化对质量或复杂度的影响作为元数据。给出这些信息，则解码器甚至可以针对参考图片来确定以下：如何通过仅会产生很小失真的第一影响切片来进行解码器简化的过程，同时对总体的解码器复杂度还具有明显的影响。决定可以是仅基于失真或复杂度的，但也可以基于联合决定，如，使用拉格朗日最优化方法。
应当注意，在图12的示例中，SetDecodingMode算法仅指定了基于定时的性能的而没有直接对质量进行解释。更直接地控制质量的其它实施方式也是可能的。例如，如果两种方法产生类似的解码时间节省，则可以选择产生较低失真的方法。可替代地，考虑所有将产生至少N％的复杂度减小的模式，可以联合地对它们进行评估，并且可以选择产生最佳性能J＝D+λC的模式，其中，D是引入的失真，C是复杂度以及λ是拉格朗日乘数。
可以提供附加信息，诸如哪里是安全的或不执行任何简化、GOP和预测关系等。还可以通过元数据来提供关于图片的复杂度的信息。但是，在某些情况下，必需通过分析比特流来计算或完善(在存在元数据时)复杂度。
尽管本公开内容的实施方式考虑了复杂度估计过程，但是在复杂度方面，该过程仍然可以低于执行完全解码操作的过程。
具体地，切片等级的复杂度的估计可以通过首先检查该切片占用的比特数来取得。如果复杂度不足，则仅可以进行部分或完全的熵解码。通过这样做，能够确定头信息比特对纹理比特。如果比特流包括大量的头比特(意味着存在大量的运动矢量)，则在比特流中使能的情况下表示必需对运动补偿做更多的处理以及甚至解块。另一方面，如果纹理信息很重要，则表示在解码期间针对变换与量化过程可能必需要花费大量的时间。
上述复杂度分析可以影响在本公开内容中讨论的任何层与任何模式。
为了获得图片的解码复杂度的更好估计，如果需要其它信息，则可以仅对视频的运动信息进行解码而不进行全运动补偿过程。如果对此满意，则继续进行图片的完全解码，否则可以如早前讨论的，跳过或简化所有剩余的解码步骤。
本公开内容的示教可以用于不同平台(如低端平台)上的实时解码与三维视频编码图像流。它们可以用在如视屏解码器、回放装置上以及能够显示高分辨率立体视图的一些显示装置内。
本公开内容的示教可以用在考虑网络传输带宽和客户端解码能力的视频流服务器中。图13示出了发生在视频流服务器中的过程的一般性描述。
在流处理应用中，类似于参考先前图所讨论的，服务器可以在尝试保持针对客户端的最好质量的同时采用根据反馈的打包过程，该反馈包括包丢失率和来自客户端的延迟。打包涉及以下过程：将待传递的数据分成小单元并且将每个单元封装成格式化的块(如IP包)，该格式化的块的格式对于网络传输是友好的。通信量信息由客户端返回给服务器侧的自适应模块。当包丢失率非常低时，服务器会发送所有层的所有包。另一方面，如果，包丢失率增加但是仍然很低，则服务器会首先丢弃可自由使用切片上的加强层包。如果包丢失率依然在增加，则服务器会丢弃可自由使用切片上的基本层包，并且进一步丢弃非可自由使用切片上的增强层包。因此，在图13的应用中，替代针对解码器复杂度调节比特流，在考虑比特流中的相同依赖性的同时将一些包发送给客户端(因此，减小了总体比特率和网络负载)。图13的流处理或打包适配器可以从服务器自身接收信息(独立于客户端或在对客户端信息进行处理后)和/或从客户端。
根据本公开内容的实施方式，服务器还可以选择丢弃可在解码期间产生一些小漂移或“错误”的信息。该信息可以发送给客户端作为元数据。此外，在给出该知识的情况下，在客户端侧客户端可以尝试(如果可能和/或期望)对这些错误进行纠正。该服务器可以知道客户端的能力(或甚至是处于组播环境中的客户端)并且使得这些情况可以基于对这些能力的了解来进行。通过示例的方式，可以提供拉格朗日成本，其众，参数可以包括网络带宽、每个客户端的质量、功率消耗(如果相关)等。
还提供了本公开内容的实施方式，其中，图2的解码侧的架构与图13的服务器侧的架构相组合。
本公开内容的一些实施方式集中于如下技术：采用比特流实现跨越不同平台的无缝视频交付和最好的用户体验，以及立体视屏方案的上下文中的系统。但是，本领域的普通技术人员应当理解，这里所提出的概念还可以应用于其它类似的系统，如类高动态范围(HDR)的可伸缩系统，或多视点编码。
本公开内容所描述的方法及系统可以以硬件、软件、固件或其组合来实施。描述为块、模块或部件的特征可以一起实施(例如，在诸如集成的逻辑器件的逻辑器件中)或单独地实施(例如，作为单独连接的逻辑装置)。本公开内容的方法的软件部分可以包括计算机可读介质，其包括当被执行时至少部分地执行所描述的方法的指令。该计算机可读介质可以包括，例如，随机存取存储器(RAM)和/或只读存储器(ROM)。该指令可以通过处理器(如，数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程门阵列(FPGA))来执行。
本说明书中所提到的所有专利与出版物可以指示与本公开内容相关的领域的普通技术人员的水平。本公开内容所引用的所有参考文献通过引用包含在本文中，如同每个文献的全部内容通过单独引用包含在本文中。
应当理解，本公开内容不限于特定的方法或系统，这些方法或系统当然可以变化。还应当理解，本文所使用的术语仅出于描述特定实施方式的目的，并且不应成为限制。如在本说明书和所附权利要求所使用的，除非内容另外单独指出，否则单数形式“一个”、“一种”和“该”包括多个对象。除非内容另外单独指出，否则术语“多个”包括两个或更多个对象。除非另外定义，否则本文所使用的所有技术和科学词语具有与本公开内容相关的领域的普通技术人员所通常理解的意思相同的意思。
已对本公开内容的大量实施方式进行了描述。然而，应当理解，在不偏离本公开内容的精神和范围的前提下，可以做出各种修改。因此，其它实施方式落入所附权利要求的范围内。
参考文献列表
D.C.Hutchison,“Introducing DLP 3-D TV”,
http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf
ISO/IEC JTC1/SC29/WG11,“Text of ISO/IEC 14496-10:200X/FD AM 1Multiview Video Coding”,Doc.N9978,Hannover,Germany,July 2008
M.Hemy,U.Hengartner,P.Steenkiste,T.Gross,“MPEG System Streams inBest-Effort Networks”,PacketVideo 1999.
T.Meier,K.N.Ngan,“Improved single VO rate control for constant bit-rate applications using MPEG-4”,Visual Communications and Image Processing2000,Proceedings of SPIE Vol.4067,2000.
Christian Timmerer,“Generic Adaptation of Scalable MultimediaResources”,VDM Verlag Saarbrucken,Germany,2008.

Claims (17)

1.一种用于网络上的视频数据的自适应流处理的方法，包括：
由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中所述第一视频信息是由视频流处理服务器使用视频流处理发送至所述视频流处理客户端的；
至少部分基于所述视频流处理客户端的解码能力来获得与客户端有关的信息，其中所述解码能力与所述一个或更多个解码器通过所述第一复杂度的所述一个或更多个操作对所述第一视频信息的解码有关；
由所述视频流处理客户端使用所述与客户端有关的信息使从所述视频流处理服务器到所述视频流处理客户端的所述视频流处理适应于不同的总体比特率；
至少部分基于所述与客户端有关的信息确定所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息；以及
响应于确定所述第一复杂度的所述一个或更多个操作不应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息，由所述视频流处理客户端的所述一个或更多个解码器通过不同于所述第一复杂度的第二复杂度的一个或更多个操作来接收所述视频数据流的第二视频信息，其中所述第二视频信息在所述第一视频信息之后被接收，
其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定至少部分基于影响所述视频数据流的网络特性。
2.根据权利要求1所述的方法，还包括：在图片等级、图片组(GOP)等级或视频切片等级之一方面从所述第一复杂度的所述一个或更多个操作转换至所述第二复杂度的所述一个或更多个操作。
3.根据权利要求1所述的方法，其中，所述第一复杂度的所述一个或更多个操作生成第一视频质量的第一视频切片，并且其中所述第二复杂度的所述一个或更多个操作生成不同于所述第一视频质量的第二视频质量的第二视频切片。
4.根据权利要求1所述的方法，还包括：由所述视频流处理客户端向所述视频流处理服务器发送客户端信息，以使所述视频流处理服务器只传输基本层视频信息。
5.根据权利要求1所述的方法，还包括：由所述视频流处理客户端向所述视频流处理服务器发送客户端信息，以使所述视频流处理服务器传输基本层视频信息和增强层视频信息两者。
6.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分被用第一视频质量的图片编码，并且其中所述基本层部分和所述一个或更多个增强层部分的组合共同被用高于所述第一视频质量的第二视频质量的图片编码。
7.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分用于产生第一视点的图片，并且其中所述一个或更多个增强层部分用于产生第二视点的图片。
8.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分用于产生第一视点的图片，并且其中所述一个或更多个增强层部分共同用于产生第二视点的图片。
9.根据权利要求1所述的方法，其中，所述一个或更多个解码器执行操作以支持MPEG-4AVC/H.264标准规范。
10.根据权利要求1所述的方法，其中，所述一个或更多个解码器执行与三维分辨率或高动态范围分辨率中的一个或更多个有关的操作。
11.根据权利要求1所述的方法，其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定还基于编码器生成的元数据。
12.根据权利要求11所述的方法，其中，由所述视频流处理客户端作为边信息接收所述编码器生成的元数据；并且其中所述编码器生成的元数据包括与所述边信息一起由所述视频流处理服务器传输的视频信息的质量测量。
13.根据权利要求11所述的方法，其中，由所述视频流处理客户端作为边信息接收所述编码器生成的元数据；并且其中所述编码器生成的元数据包括与所述边信息一起由所述视频流处理服务器传输的与解码视频信息相关联的质量失真测量。
14.根据权利要求1所述的方法，还包括：
在由所述一个或更多个解码器通过所述第二复杂度的所述一个或更多个操作解码所述第二视频信息时，继续至少部分基于由所述视频流处理客户端收集的一个或更多个第二与客户端有关的信息来收集所述与客户端有关的信息；
至少部分基于在解码所述第二视频信息时继续收集的所述与客户端有关的信息，确定所述第二复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息和所述第二视频信息两者更晚接收的后续视频信息。
15.一个或更多个非暂态计算机可读存储介质，其包括一系列指令，当所述指令被一个或更多个处理器执行时，导致执行如权利要求1所述的方法。
16.一种用于网络上的自适应流处理视频数据的装置，包括：
一个或更多个处理器，被配置为：
由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中所述第一视频信息是由视频流处理服务器使用视频流处理发送至所述视频流处理客户端的；
至少部分基于所述视频流处理客户端的解码能力来获得与客户端有关的信息，其中所述解码能力与所述一个或更多个解码器通过所述第一复杂度的所述一个或更多个操作对所述第一视频信息的解码有关；
由所述视频流处理客户端使用所述与客户端有关的信息使从所述视频流处理服务器到所述视频流处理客户端的所述视频流处理适应于不同的总体比特率；
至少部分基于所述与客户端有关的信息确定所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息；以及
响应于确定所述第一复杂度的所述一个或更多个操作不应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息，由所述视频流处理客户端的所述一个或更多个解码器通过不同于所述第一复杂度的第二复杂度的一个或更多个操作来接收所述视频数据流的第二视频信息，其中所述第二视频信息在所述第一视频信息之后被接收，
其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定至少部分基于影响所述视频数据流的网络特性。
17.一种用于网络上的自适应流处理视频数据的系统，包括：
视频流处理服务器，其被配置为在一个或更多个视频数据流中向一个或更多个视频流处理客户端发送第一视频信息和第二视频信息；
视频流处理客户端，其被配置为执行以下操作：
由所述视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中所述第一视频信息是由视频流处理服务器使用视频流处理发送至所述视频流处理客户端的；
至少部分基于所述视频流处理客户端的解码能力来获得与客户端有关的信息，其中所述解码能力与所述一个或更多个解码器通过所述第一复杂度的所述一个或更多个操作对所述第一视频信息的解码有关；
由所述视频流处理客户端使用所述与客户端有关的信息使从所述视频流处理服务器到所述视频流处理客户端的所述视频流处理适应于不同的总体比特率；
至少部分基于所述与客户端有关的信息确定所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息；以及
响应于确定所述第一复杂度的所述一个或更多个操作不应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息，由所述视频流处理客户端的所述一个或更多个解码器通过不同于所述第一复杂度的第二复杂度的一个或更多个操作来接收所述视频数据流的第二视频信息，其中所述第二视频信息在所述第一视频信息之后被接收，
其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定至少部分基于影响所述视频数据流的网络特性。
CN201610240003.1A 2010-01-06 2011-01-03 用于网络上视频数据的自适应流处理的方法、装置和系统 Active CN105791841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US29274110P 2010-01-06 2010-01-06
US61/292,741 2010-01-06
CN201180005589.9A CN102860008B (zh) 2010-01-06 2011-01-03 用于多层视频系统的复杂度自适应可伸缩解码及流处理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180005589.9A Division CN102860008B (zh) 2010-01-06 2011-01-03 用于多层视频系统的复杂度自适应可伸缩解码及流处理

Publications (2)

Publication Number Publication Date
CN105791841A CN105791841A (zh) 2016-07-20
CN105791841B true CN105791841B (zh) 2019-06-21

Family

ID=44306111

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610240003.1A Active CN105791841B (zh) 2010-01-06 2011-01-03 用于网络上视频数据的自适应流处理的方法、装置和系统
CN201180005589.9A Active CN102860008B (zh) 2010-01-06 2011-01-03 用于多层视频系统的复杂度自适应可伸缩解码及流处理

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180005589.9A Active CN102860008B (zh) 2010-01-06 2011-01-03 用于多层视频系统的复杂度自适应可伸缩解码及流处理

Country Status (6)

Country Link
US (2) US9467690B2 (zh)
EP (3) EP2522146B1 (zh)
JP (1) JP5916624B2 (zh)
CN (2) CN105791841B (zh)
HK (1) HK1179086A1 (zh)
WO (1) WO2011084913A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191933A (ja) * 2003-12-25 2005-07-14 Funai Electric Co Ltd 送信装置、送受信システム
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
US20130208786A1 (en) * 2012-02-15 2013-08-15 Wei Xiong Content Adaptive Video Processing
CN104160705B (zh) * 2012-03-12 2018-11-16 杜比实验室特许公司 三维视觉动态范围编码
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
US10154258B2 (en) 2012-07-09 2018-12-11 Vid Scale, Inc. Power aware video decoding and streaming
EP2909990B1 (en) * 2012-10-18 2019-01-16 VID SCALE, Inc. Decoding complexity for mobile multimedia streaming
WO2014109609A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US10063921B2 (en) 2013-03-06 2018-08-28 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
JP2016517197A (ja) 2013-03-06 2016-06-09 インターデイジタル パテント ホールディングス インコーポレイテッド ビデオストリーミングに対する電力認識適応
KR102002510B1 (ko) * 2013-04-16 2019-07-22 삼성전자 주식회사 디코딩 장치 및 디코딩 방법
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
US9818422B2 (en) * 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
WO2015111289A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法
US9571232B2 (en) * 2014-03-14 2017-02-14 Huawei Technologies Co., Ltd. System and method for faster than Nyquist transmission
US10390087B2 (en) 2014-05-01 2019-08-20 Qualcomm Incorporated Hypothetical reference decoder parameters for partitioning schemes in video coding
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
US11570454B2 (en) * 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
US10951874B2 (en) * 2016-09-02 2021-03-16 Mediatek Inc. Incremental quality delivery and compositing processing
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
CN114303190A (zh) * 2019-08-15 2022-04-08 杜比国际公司 用于生成和处理经修改的音频比特流的方法和设备
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
WO2023163635A1 (en) * 2022-02-25 2023-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Computational complexity indicator

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771734A (zh) * 2004-01-20 2006-05-10 学校法人大洋学园 用于视频的三维编码和/或解码的方法、介质及装置
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7016412B1 (en) 2000-08-29 2006-03-21 Koninklijke Philips Electronics N.V. System and method for dynamic adaptive decoding of scalable video to balance CPU load
US7136532B2 (en) * 2002-06-27 2006-11-14 Koninklijke Philips Electronics N.V. FGS decoder based on quality estimated at the decoder
US20060023748A1 (en) 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
US20060062311A1 (en) * 2004-09-20 2006-03-23 Sharp Laboratories Of America, Inc. Graceful degradation of loop filter for real-time video decoder
US7450994B1 (en) 2004-12-16 2008-11-11 Advanced Bionics, Llc Estimating flap thickness for cochlear implants
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
JP4882269B2 (ja) 2005-04-22 2012-02-22 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
EP1876830A4 (en) 2005-04-27 2011-03-16 Nec Corp IMAGE DECODING METHOD, DEVICE FOR IT AND PROGRAM
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
EP1781035A1 (en) 2005-10-27 2007-05-02 Thomson Licensing S.A. Real-time scalable streaming system and method
FR2894421B1 (fr) * 2005-12-07 2008-01-18 Canon Kk Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
US8897371B2 (en) 2006-04-04 2014-11-25 Qualcomm Incorporated Video decoding in a receiver
KR101353204B1 (ko) 2006-07-20 2014-01-21 톰슨 라이센싱 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
US9961372B2 (en) 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
WO2008071036A1 (en) 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
KR101345287B1 (ko) * 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
CN104954789A (zh) 2009-04-20 2015-09-30 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771734A (zh) * 2004-01-20 2006-05-10 学校法人大洋学园 用于视频的三维编码和/或解码的方法、介质及装置
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统

Also Published As

Publication number Publication date
US20130101015A1 (en) 2013-04-25
WO2011084913A2 (en) 2011-07-14
EP2522146B1 (en) 2016-08-31
EP3145189A2 (en) 2017-03-22
EP3145189B1 (en) 2019-06-19
EP2779655B1 (en) 2019-05-22
EP3145189A3 (en) 2017-03-29
US20160285940A1 (en) 2016-09-29
CN105791841A (zh) 2016-07-20
JP2013516906A (ja) 2013-05-13
EP2779655A1 (en) 2014-09-17
US10237549B2 (en) 2019-03-19
CN102860008A (zh) 2013-01-02
EP2522146A2 (en) 2012-11-14
HK1179086A1 (zh) 2013-09-19
CN102860008B (zh) 2016-05-11
WO2011084913A3 (en) 2012-09-20
JP5916624B2 (ja) 2016-05-11
US9467690B2 (en) 2016-10-11

Similar Documents

Publication Publication Date Title
CN105791841B (zh) 用于网络上视频数据的自适应流处理的方法、装置和系统
CN106416251B (zh) 基于感知质量的可缩放视频编码速率适配
KR101944565B1 (ko) 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법
KR101248371B1 (ko) 비디오 프로세싱에서의 전력 및 연산 부하 관리 기술
Su et al. QoE in video streaming over wireless networks: perspectives and research challenges
Psannis HEVC in wireless environments
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
JP2023126347A (ja) ビデオストリームにおけるサブ領域パーティションでパディング処理する方法
JP2022526005A (ja) コード化ピクチャにおける混合ｎａｌユニット・タイプをサポートする方法、システム及びコンピュータ・プログラム
JP2022510325A (ja) 符号化ビデオストリームを復号するための方法、システム、及びコンピュータプログラム
Dong et al. Ultra-low latency, stable, and scalable video transmission for free-viewpoint video services
JP2022518894A (ja) 点群符号化のためのパラメータセット設計の方法並びにその装置及びプログラム
KR20210126751A (ko) 인-매니페스트 업데이트 이벤트
US20140289369A1 (en) Cloud-based system for flash content streaming
CN114514745B (zh) 视频信号发送方法、装置、计算机设备及存储介质
CN113542209B (zh) 用于视频信令的方法、装置和可读存储介质
CN113542209A (zh) 用于视频信令的方法、装置和可读存储介质
Rezaei Advances on video coding algorithms for streaming applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant