CN1436423A - 细粒可分级性的最佳传输/流式顺序 - Google Patents

细粒可分级性的最佳传输/流式顺序 Download PDF

Info

Publication number
CN1436423A
CN1436423A CN01803790A CN01803790A CN1436423A CN 1436423 A CN1436423 A CN 1436423A CN 01803790 A CN01803790 A CN 01803790A CN 01803790 A CN01803790 A CN 01803790A CN 1436423 A CN1436423 A CN 1436423A
Authority
CN
China
Prior art keywords
frame data
bit rate
bandwidth
snr
remaining time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01803790A
Other languages
English (en)
Other versions
CN1258922C (zh
Inventor
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1436423A publication Critical patent/CN1436423A/zh
Application granted granted Critical
Publication of CN1258922C publication Critical patent/CN1258922C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Peptides Or Proteins (AREA)

Abstract

一种用于可变带宽网络中流式增强层视频帧数据的方法，所述方法包括以下步骤：用非可分级编解码器对原始未编码视频数据进行编码，以生成I和P基本层帧；从原始未编码视频数据和基本层帧生成剩余时间B帧和SNRI和P帧；用可分级编解码器对时间和SNR帧进行编码；确定可变带宽网络的可用带宽；在可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时，发送至少部分可分级编码剩余时间帧；并且在可用带宽是延伸在所述预定比特率和网络的最大比特率之间的第二带宽时，还发送可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据。

Description

细粒可分级性的最佳传输/流式顺序
本申请要求2000年9月22日提交的美国临时申请No.60/234606的利益。
相关申请：
2000年6月9日提交的题为“混合时间-SNR细粒可分级性视频编码(Hybrid Temporal-SNR Fine Granular Scalabilitv Video Coding)”的普通转让的同时待审的美国专利申请No.09/590825。
发明领域：
本发明涉及视频编码，更具体地说，涉及诸如因特网的可变带宽计算机网络中用于流式增强层剩余时间和质量信噪比(SNR)视频帧数据(streaming enhancement layer residual temporal and qualitysignal-to-noise-ratio)的方法。
发明背景：
可分级视频编码已经用于对通过诸如因特网的可变带宽的计算机网络发送的视频数据进行压缩。这样的一种视频编码方案是细粒可分级(嵌入式)视频编码。细粒可分级(FGS：fine granular scalable)视频编码已被ISO MPEG-4标准采纳为MPEG-4流式视频档次(profile)的核心视频编码方法。
如图1所示，FGS视频编码方案包括：运动补偿基本层10，由非可分级编解码器来编码，包括RBL比特率的I、P和B帧；以及增强层11，由诸如FGS的可分级编解码器编码，包括最大比特率为Rmax的质量信噪比(SNR)I、P、和B剩余帧。传输时，对应于比特率REL的增强层11的一部分从FGS编码比特流被“切”，使得可用带宽为R＝RBL+REL。
例如，如果需要向客户提供100kbps至1Mbps范围比特率的增强层比特流，则将RBL设置为100kbps，而将Rmax设置为1Mbps。因此，始终发送以100kbps编码的基本层I、P和B帧。但是，如果更多的带宽可用，则也将发送至少一部分增强层剩余I、P和B帧。
图2A和2B示出上面提到的普通转让的同时待审的美国专利申请No.09/590825中描述的示例性FGS混合时间-SNR视频编码方案。在图2A的视频编码方案中，用非可分级编解码器对基本层12编码，包括I、P和B帧，而用诸如FGS的可分级编解码器对增强层13编码，包括也就是时间帧(当用FGS编码时的FGST帧)的剩余B帧和也就是质量信噪比(SNR)帧(当用FGS编码时的FGS帧)的质量信噪比剩余I和P帧。在图2B的视频编码方案中，用非可分级编解码器对基本层14进行编码，只包括I和P帧，也就是，基本层14中不对B帧进行编码。增强层15的编码方式类似于图2A中诸如FGS的可分级编解码器的编码方案，包括也就是FGST帧的剩余B帧和也就是FGS帧的SNR剩余I和P帧。
在服务器进行传输期间，基本层I、P和B帧(图2A的编码方案)或基本层I和P帧(图2B的编码方案)被编码至RBL，因此始终被发送。如果更多的带宽可用，当前用于传输图2A和2B的编码方案中的增强层13或15的方法是利用一种速率控制策略在FGS和FGST帧之间同样地分配增强层比特(REL)。
与非可分级编解码器相比，与FGS编解码器有关的缺点是它降低的编码效率。这是由于FGS得到不足的时间去相关(只在基本层利用时间相关)，而不是由于增强层的嵌入编码所引起的。
通过改进基本层中的时间去相关，可减少增强层的时间相关。这可通过为基本层分配更大量的比特加以实现。但这是不可能的，因为RBL对应于保证多个客户始终可用的最小带宽。如果增加RBL，则有些客户在某些时间将不能对基本层解码，这就有违于MPEG-4标准。
发明内容：
本发明针对可变带宽网络中流式(streaming)增强层视频帧数据，增强层视频帧数据具有可分级编码剩余时间(residual temporal)视频帧数据和可分级编码剩余质量信噪比(SNR)视频帧数据。本发明的一个方面包括一种方法，该方法包括以下步骤：用非可分级编解码器对原始未编码视频数据进行编码，以生成基本层帧数据；从原始未编码视频数据和基本层帧数据生成剩余时间和SNR视频帧数据；用可分级编解码器对剩余时间和SNR视频帧数据进行编码，以生成具有可分级编码的剩余时间和SNR视频帧数据的增强层视频帧数据；确定可变带宽网络的可用带宽；当可用带宽是范围在被分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时，至少发送部分可分级编码剩余时间帧数据；当可用带宽是延伸在所述预定比特率和网络最大比特率之间的第二带宽时，还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据。
本发明的另一个方面包括一种系统，所述系统包括：用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的装置；用于从原始未编码视频数据和基本层帧数据生成剩余时间和SNR视频帧数据的的装置；用于用可分级编解码器对剩余时间和SNR视频帧数据进行编码以生成具有可分级编码的剩余时间和SNR视频帧数据的增强层视频帧数据的装置；用于确定可变带宽网络的可用比特率的装置；用于当可用带宽是范围在被分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时至少发送部分可分级编码剩余时间帧数据的装置；用于当可用带宽是延伸在所述预定比特率和网络最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据的装置。
本发明的另一个方面包括一种视频速率控制器，所述控制器包括：用于确定可变带宽网络的可用带宽的装置；用于当可用带宽是范围在被分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时至少发送部分可分级编码剩余时间帧数据的装置；用于当可用带宽是延伸在所述预定比特率和网络最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据的装置。
本发明的另一个方面包括一种存储介质，所述存储介质包括：用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的代码；用于从原始未编码视频数据和基本层帧数据生成剩余时间和SNR视频帧数据的的代码；用于用可分级编解码器对剩余时间和SNR视频帧数据进行编码以生成具有可分级编码的剩余时间和SNR视频帧数据的增强层视频帧数据的代码；用于确定可变带宽网络的可用带宽的代码；用于当可用带宽是范围在被分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时至少发送部分可分级编码剩余时间帧数据的代码；用于当可用带宽是延伸在所述预定比特率和网络最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据的代码。
附图说明：
现将结合附图来讨论本发明的说明性实施例，使得本发明的优点、性质和其它特征将更加明显，附图中，同一标号表示同一单元，其中：
图1表示当前增强层视频编码方案；
图2A和2B示出用于本发明的示例性FGS混合时间-SNR视频编码方案；
图3是描述按照本发明原理的方法之步骤的流程图；
图4用图解的方式说明在图2B的结构中使用的方法；
图5示出利用本发明的混合可分级编码方案的系统的示例性实施例；以及
图6示出可用于本发明的另一个示例性FGS混合时间-SNR视频编码方案。
具体实施方式：
现将说明根据本发明的原理的一种方法，所述方法用于诸如因特网的可变带宽计算机网络上的流式增强层剩余时间和质量信噪比(SNR)视频帧数据(FGS编码情况下的FGST和FGS帧数据)。该方法采用图2B中的混合时间-SNR可分级视频编码方案，使增强层中的时间相关得到显著改善。因此，通过引用将普通转让的同时待审的美国专利申请No.09/000000的整个公开结合在此。虽然图2B的视频编码方案只示出SNR之间的一个时间帧，但在本方法中也可以使用SNR帧之间具有两个或两个以上的时间帧的时间-SNR可分级视频编码方案。
图3是描述按照本发明原则的方法的步骤的流程图。步骤AA-DD是在美国专利申请No.09/000000中所描述的系统的编码器端执行，步骤EE-HH是在美国专利申请No.09/000000中所描述的系统的服务器端执行。
在步骤AA中，用非可分级编解码器对原始未编码视频数据编码，以生成只含有I和P帧的基本层14，如图2B所示。在基本层中不对B帧编码。使用图2B的视频编码方案利用了这样一个事实：只有I和P帧显著地对时间去相关起作用。因此，在更多的RBL比特可用于I和P帧编码时，在基本层中不对B帧编码可提供较高质量的基本层I和P帧。较高质量的基本层I和P帧相应地改进了基本层中的时间去相关。
在步骤BB中，通过计算原始视频数据和参考I、P基本层帧之间的差来预测运动补偿或时间剩余B帧。两个时间相邻的基本层参考帧被用来预测每个时间剩余B帧。B帧受益于这种编码方案，因为可更精确地从改进质量的参考基本层I和P帧来对B帧进行预测。
在步骤CC中，通过计算原始视频数据和基本层帧参考帧之间的差来生成改进质量或信噪比(SNR)的剩余I和P帧。SNR剩余I和P帧受益于这种编码方案，因为以减少的时间相关对它们编码。当用可分级编解码器进一步编码时，这还将导致改善的性能。
在步骤DD中，用诸如FGS的适当编解码器对时间剩余帧和SNR剩余帧进行编码，以生成具有可分级编码的时间B帧和可分级编码的SNRI和P帧的增强层。在图2B所示的实施例中，剩余时间和SNR帧用FGS编码，因此生成由FGST帧表示的时间增强层B帧和由FGS帧表示的SNR增强层I和P帧。
在步骤EE中，对较高质量I和P基本层帧分配高达RBL的比特率，对增强层时间帧分配RBL和RBL+k之间的比特率，其中k小于等于RBL，在时间帧和SNR帧之间均匀分配RBL+k和Rmax之间的比特率。
在步骤FF中，始终以带宽RBL发送I和P基本层帧。
在步骤GG中，当可用带宽被确定为在RBL和RBL+k之间时，其中k小于等于RBL，发送至少部分增强层时间帧。这可以通过一次一个地逐步发送所述至少部分时间帧来完成。确定首先发送哪些时间帧部分的策略可以基于运动活动性(motion activity)，由于该信息已在编码期间由编码器确定，其中首先发送具有最大运动活动性的时间帧部分。确定首先发送哪些时间帧部分的策略也可基于峰值信噪比或其它参数。
在步骤HH中，当可用带宽被确定在RBL+k和Rmax之间时，还发送增强层时间帧的其余部分以及至少部分增强层SNR帧。
图4用图解的方式说明了图2B的结构中所应用的方法。
如上所述，可利用前面提到的美国专利申请No.99/000000中描述的系统来执行所述方法，如图5所示。在编码器中，来自视频源20的未编码视频数据被输入到基本层编码器21和混合时间-SNR可分级视频编码器22中。基本层编码器21利用标准帧预测编码技术对一部分原始视频数据进行编码。基本层编码器21以预定比特率RBL对视频数据进行压缩。最好由计算单元23根据有关可变带宽网络24的当前带宽来确定RBL。计算单元23测定网络24的当前可用带宽(R)、最小比特率(Rmin)及最大比特率(Rmax)。然后计算单元23最好将RBL设置到Rmin，以保证即使在其最低带宽，网络24也能适应编码的视频数据。
来自视频源20的原始视频数据和由基本层编码器21提供的编码视频数据(即基本层)都被路由选择到混合编码器22中的剩余图像(RI)计算单元25和运动补偿剩余图像(MCRI)计算单元26中。RI计算单元25和MCRI计算单元26用原始视频数据和编码视频数据来生成剩余图像27和运动补偿(MC)剩余图像28。更具体地说，RI计算单元25接收来自基本层编码器21的编码视频数据，然后对该编码视频数据进行解码。此后，根据所述解码的视频数据中的像素和原始视频数据中的像素之间的差来生成剩余图像27。MCRI计算单元26接收来自基本层编码器21的编码视频数据，然后对所述编码视频数据进行解码。此后，根据运动补偿处理方法从解码视频数据中生成MC剩余图像28。再从对应的原始图中减去所述运动补偿图。
混合编码器22也包括MCRI增强层编码器28和剩余图像增强层编码器30，这两个编码器都使用诸如FGS的可分级编解码器。工作期间，MCRI增强层编码器29和剩余图像增强层编码器30分别利用可分级编解码器对MC剩余图像22和剩余图像12进行编码。
MCRI增强层编码器29生成压缩时间帧31的数据流，RI增强层编码器30生成SNR帧32的数据流。数据流31和32可被组合以生成单个增强层数据流或者可被保持为两个分开的数据流。无论哪种情况，结果流都可被实时存储或发送。
在服务器端，实时可分级视频速率控制器34接收时间和SNR帧数据流31、32(与由基本层编码器21生成的基本层帧数据流33一起)并实时执行前面所述的方法步骤EE-HH。速率控制器34通常包括与存储器(未示出)通信的处理器。处理器可以是执行方法步骤EE-HH的任何能专用或通用处理器。处理器中可以包含当被执行时完成方法步骤EE-HH的编码。所述编码可存于存储器中。
速率控制器34根据从计算单元23、FGS速率控制器35及任选用户输入36接收的输入R、RBL和Rmax来执行所述方法步骤EE-HH。由于对基本层I和P帧分配达RBL之多的比特率，并且始终发送基本层帧，根据这些输入，速率控制器34确定其余用于发送时间和SNR帧的可用带宽(R-RBL)。根据这个信息，速率控制器34按照所述方法的步骤EE在增强层数据流31和32之间分配比特率。
在帧数据流中分配比特率之后，速率控制器34就按照所述方法的步骤FF-HH在可变带宽网络24上发送作为基本层流和增强层流的数据流。
除较好的时间去相关之外，本发明附带的好处是总是用FGST对B帧编码并因此只有1个剩余(MC剩余)需要计算，由此导致复杂性降低并且效率更好，因为符号只需一次编码。而且，因为基本层只含有I和P帧，因此其复杂性仅为中等。只在增强层才引入有更多计算和存储通信量复杂的B帧。
本发明的方法也采用图6所示的混合时间-SNR可分级视频编码方案，其中包括用I和P帧编码的基本层40和两个增强层，也就是用时间B帧编码的时间层41和用SNR I和P帧编码的SNR层42。这种编码方案的细节也在上面提到的美国专利申请No.09/000000中深入讨论过。
尽管参考上述实施例描述了前述发明，然而在不脱离本发明精神的情况下可以进行各种修改和变化。因此，所有这样的修改和变化都被认为是在后附权利要求书的范围内。

Claims (15)

1.一种用于可变带宽网络中流式增强层视频帧数据的方法，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比(SNR)视频帧数据，所述方法包括以下步骤：
用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据；
从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和SNR视频帧数据；
用可分级编解码器对所述剩余时间和SNR视频帧数据进行编码，以生成具有所述可分级编码剩余时间和SNR视频帧数据的所述增强层视频帧数据；
确定所述可变带宽网络的可用带宽；
在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时，发送至少部分所述可分级编码剩余时间帧数据。
2.如权利要求1所述的方法，其特征在于还包括以下步骤：当所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时，还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码SNR帧数据。
3.如权利要求2所述的方法，其特征在于：所述第二比特率延伸到所述可变带宽网络的最大可用带宽。
4.如权利要求1所述的方法，其特征在于：所述基本层帧数据包含只用于I和P帧的数据。
5.如权利要求4所述的方法，其特征在于：所述可分级编码剩余时间帧数据包含只用于B帧的数据。
6.如权利要求5所述的方法，其特征在于：所述可分级编码SNR视频帧数据只包含用于I和P帧的数据。
7.如权利要求1所述的方法，其特征在于：所述可分级编码的剩余时间帧数据包含只用于B帧的数据。
8.如权利要求1所述的方法，其特征在于：所述可分级编码SNR视频帧数据只包含用于I和P帧的数据。
9.一种用于可变带宽网络中流式增强层视频帧数据的系统，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比(SNR)视频帧数据，所述系统包括：
用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的装置；
用于从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和SNR视频帧数据的装置；
用于用可分级编解码器对所述剩余时间和SNR视频帧数据进行编码以生成具有所述可分级编码剩余时间和SNR视频帧数据的所述增强层视频帧数据的装置；
用于确定所述可变带宽网络的可用比特率的装置；
用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据的装置。
10.如权利要求9所述的系统，其特征在于还包括：用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码SNR帧数据的装置。
11.如权利要求10所述的系统，其特征在于：所述第二比特率延伸到所述可变带宽网络的最大可用带宽。
12.一种视频速率控制器，包括：
用于确定所述可变带宽网络的可用带宽的装置；
用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据的装置。
13.如权利要求12所述的控制器，其特征在于还包括：用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码SNR帧数据的装置。
14.一种用于可变带宽网络中流式增强层视频帧数据的存储介质，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比(SNR)视频帧数据，所述存储介质包括：
用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的代码；
用于从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和SNR视频帧数据的代码；
用于用可分级编解码器对所述剩余时间和SNR视频帧数据进行编码以生成具有所述可分级编码剩余时间和SNR视频帧数据的所述增强层视频帧数据的代码；
用于确定所述可变带宽网络的可用带宽的代码；
用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据的代码。
15.如权利要求14所述的存储介质，其特征在于还包括：用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码SNR帧数据的代码。
CNB018037909A 2000-09-22 2001-09-24 细粒可分级性的最佳传输/流式顺序 Expired - Fee Related CN1258922C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US23460600P 2000-09-22 2000-09-22
US60/234,606 2000-09-22

Publications (2)

Publication Number Publication Date
CN1436423A true CN1436423A (zh) 2003-08-13
CN1258922C CN1258922C (zh) 2006-06-07

Family

ID=22882053

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018037909A Expired - Fee Related CN1258922C (zh) 2000-09-22 2001-09-24 细粒可分级性的最佳传输/流式顺序

Country Status (8)

Country Link
US (1) US7020193B2 (zh)
EP (1) EP1319309B1 (zh)
JP (1) JP2004509574A (zh)
KR (1) KR20020064904A (zh)
CN (1) CN1258922C (zh)
AT (1) ATE346461T1 (zh)
DE (1) DE60124746T2 (zh)
WO (1) WO2002025925A2 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100417226C (zh) * 2004-10-06 2008-09-03 日本电信电话株式会社 可扩缩编码方法和装置
CN101120591B (zh) * 2005-01-12 2011-01-19 法国电信公司 对图像数据流执行可扩展编码和解码的设备和方法
CN101297555B (zh) * 2005-09-29 2011-07-27 汤姆森研究基金有限公司 用于受限可变比特率视频编码的方法和装置
CN101931812B (zh) * 2004-10-15 2011-12-21 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法
CN102763408A (zh) * 2010-02-11 2012-10-31 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
CN101208925B (zh) * 2005-03-31 2012-11-28 高通股份有限公司 控制解码器的方法以及对分级编码信号进行解码的装置
CN101682759B (zh) * 2007-06-27 2013-01-09 汤姆森许可贸易公司 增强数字图像的图像质量的方法和设备
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
CN106713924A (zh) * 2017-01-24 2017-05-24 钟炎培 用于文字分层压缩方法和装置
CN109876431A (zh) * 2013-05-24 2019-06-14 意美森公司 用于触觉数据编码和流传输的方法和系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
MXPA04012517A (es) * 2002-06-11 2005-02-17 Thomson Licensing Sa Servidor multimedia con adaptacion simple con condiciones dinamicas de perdida de red.
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
US20070223564A1 (en) * 2004-05-12 2007-09-27 Koninklijke Philips Electronics, N.V. Csalable Video Coding Broadcasting
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
BRPI0616407B1 (pt) 2005-10-12 2020-08-11 Interdigital Vc Holdings, Inc Codificação/decodificação de vídeo escalonável h.264 com região de interesse
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
WO2010076494A1 (fr) * 2008-12-16 2010-07-08 France Telecom Procede de transmission et procede de reception d'un contenu audiovisuel
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10491649B2 (en) * 2016-04-12 2019-11-26 Harmonic, Inc. Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1998053613A1 (en) * 1997-05-20 1998-11-26 Motorola Inc. Apparatus, method and computer readable medium for scalable coding of video information
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
AU4338800A (en) * 1999-12-22 2001-07-03 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100417226C (zh) * 2004-10-06 2008-09-03 日本电信电话株式会社 可扩缩编码方法和装置
CN101931812B (zh) * 2004-10-15 2011-12-21 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法
CN101959066B (zh) * 2004-10-15 2012-10-10 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法
CN101120591B (zh) * 2005-01-12 2011-01-19 法国电信公司 对图像数据流执行可扩展编码和解码的设备和方法
CN102065295B (zh) * 2005-01-12 2012-09-26 法国电信公司 对表示图像或图像序列的数据流进行解码的方法和设备
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
CN101208925B (zh) * 2005-03-31 2012-11-28 高通股份有限公司 控制解码器的方法以及对分级编码信号进行解码的装置
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US9071822B2 (en) 2005-09-27 2015-06-30 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US9088776B2 (en) 2005-09-27 2015-07-21 Qualcomm Incorporated Scalability techniques based on content information
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
CN101297555B (zh) * 2005-09-29 2011-07-27 汤姆森研究基金有限公司 用于受限可变比特率视频编码的方法和装置
US8477840B2 (en) 2005-09-29 2013-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (VBR) video encoding
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
CN101682759B (zh) * 2007-06-27 2013-01-09 汤姆森许可贸易公司 增强数字图像的图像质量的方法和设备
CN102763408A (zh) * 2010-02-11 2012-10-31 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
CN109876431A (zh) * 2013-05-24 2019-06-14 意美森公司 用于触觉数据编码和流传输的方法和系统
CN106713924A (zh) * 2017-01-24 2017-05-24 钟炎培 用于文字分层压缩方法和装置
CN106713924B (zh) * 2017-01-24 2019-06-07 西安万像电子科技有限公司 用于文字分层压缩方法和装置

Also Published As

Publication number Publication date
EP1319309A2 (en) 2003-06-18
ATE346461T1 (de) 2006-12-15
US7020193B2 (en) 2006-03-28
JP2004509574A (ja) 2004-03-25
WO2002025925A3 (en) 2002-09-06
US20020037037A1 (en) 2002-03-28
DE60124746T2 (de) 2007-09-13
CN1258922C (zh) 2006-06-07
WO2002025925A2 (en) 2002-03-28
DE60124746D1 (de) 2007-01-04
EP1319309B1 (en) 2006-11-22
KR20020064904A (ko) 2002-08-10

Similar Documents

Publication Publication Date Title
CN1258922C (zh) 细粒可分级性的最佳传输/流式顺序
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1166200C (zh) 混合式时间-信杂比精细颗粒可分级视频编码
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
US6792044B2 (en) Method of and system for activity-based frequency weighting for FGS enhancement layers
US7227894B2 (en) Method and apparatus for MPEG-4 FGS performance enhancement
KR100727793B1 (ko) 비디오 데이터 코딩 장치와 방법, 비디오 데이터 디코딩 장치와 방법, 비디오 데이터를 코딩하고 코딩된 비디오 데이터를 복수의 수신기들로 출력하는 장치 및 방법, 네트워크 시스템, 그리고 컴퓨터로 판독가능한 매체
CN1910932A (zh) 空间和snr细粒度可缩放视频编码和传输方法
CN1756359A (zh) 速率自适应视频编码
US20050198346A1 (en) Media coding for loss recovery with remotely predicted data units
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
US20060008002A1 (en) Scalable video encoding
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
CN1254115C (zh) 双回路移动补偿精细颗粒的可标度性
US11212531B2 (en) Methods, systems, and computer readable media for decoding video using rate sorted entropy coding
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
Mahmood et al. A content-aware quantisation mechanism for transform domain distributed video coding
CN1656815A (zh) 用于增强来自无漂移的可缩放比特流的视频的系统和方法
Liu et al. Distributed Video Coding with Novel Coding Mode Decision and Side Information Creation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20090828

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090828

Address after: British Channel Islands

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: FUNAI ELECTRIC CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LIMITED

Effective date: 20120523

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120523

Address after: Osaka Japan

Patentee after: Funai Electric Co., Ltd.

Address before: British Channel Islands

Patentee before: Koninkl Philips Electronics NV

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060607

Termination date: 20190924

CF01 Termination of patent right due to non-payment of annual fee