CN1258922C - 细粒可分级性的最佳传输/流式顺序 - Google Patents

细粒可分级性的最佳传输/流式顺序 Download PDF

Info

Publication number
CN1258922C
CN1258922C CNB018037909A CN01803790A CN1258922C CN 1258922 C CN1258922 C CN 1258922C CN B018037909 A CNB018037909 A CN B018037909A CN 01803790 A CN01803790 A CN 01803790A CN 1258922 C CN1258922 C CN 1258922C
Authority
CN
China
Prior art keywords
frame data
bandwidth
bit rate
noise ratio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018037909A
Other languages
English (en)
Other versions
CN1436423A (zh
Inventor
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1436423A publication Critical patent/CN1436423A/zh
Application granted granted Critical
Publication of CN1258922C publication Critical patent/CN1258922C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Peptides Or Proteins (AREA)

Abstract

一种用于可变带宽网络中流式增强层视频帧数据的方法，所述方法包括以下步骤：用非可分级编解码器对原始未编码视频数据进行编码，以生成I和P基本层帧；从原始未编码视频数据和基本层帧生成剩余时间B帧和SNR I和P帧；用可分级编解码器对时间和SNR帧进行编码；确定可变带宽网络的可用带宽；在可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于网络最大比特率的预定比特率之间的第一带宽时，发送至少部分可分级编码剩余时间帧；并且在可用带宽是延伸在所述预定比特率和网络的最大比特率之间的第二带宽时，还发送可分级编码剩余时间帧数据的其余部分以及至少部分可分级编码SNR帧数据。

Description

细粒可分级性的最佳传输/流式顺序
技术领域：
本发明涉及视频编码，更具体地说，涉及诸如因特网的可变带宽计算机网络中用于流式增强层剩余时间和质量信噪比(SNR)视频帧数据(streaming enhancement layer residual temporal and quality signal-to-noise-ratio)的方法。
背景技术
可分级视频编码已经用于对通过诸如因特网的可变带宽的计算机网络发送的视频数据进行压缩。这样的一种视频编码方案是细粒可分级(嵌入式)视频编码。细粒可分级(FGS：fine granular scalable)视频编码已被ISOMPEG-4标准采纳为MPEG-4流式视频档次(profile)的核心视频编码方法。
如图1所示，FGS视频编码方案包括：运动补偿基本层10，由非可分级编解码器来编码，包括RBL比特率的I、P和B帧；以及增强层11，由诸如FGS的可分级编解码器编码，包括最大比特率为Rmax的质量信噪比(SNR)I、P、和B剩余帧。传输时，对应于比特率REL的增强层11的一部分从FGS编码比特流被“切”，使得可用带宽为R＝RBL+REL。
例如，如果需要向客户提供100kbps至1Mbps范围比特率的增强层比特流，则将RBL设置为100kbps，而将Rmax设置为1Mbps。因此，始终发送以100kbps编码的基本层I、P和B帧。但是，如果更多的带宽可用，则也将发送至少一部分增强层剩余I、P和B帧。
图2A和2B示出上面提到的普通转让的同时待审的美国专利申请No.09/590825中描述的示例性FGS混合时间-SNR视频编码方案。在图2A的视频编码方案中，用非可分级编解码器对基本层12编码，包括I、P和B帧，而用诸如FGS的可分级编解码器对增强层13编码，包括也就是时间帧(当用FGS编码时的FGST帧)的剩余B帧和也就是质量信噪比(SNR)帧(当用FGS编码时的FGS帧)的质量信噪比剩余I和P帧。在图2B的视频编码方案中，用非可分级编解码器对基本层14进行编码，只包括I和P帧，也就是，基本层14中不对B帧进行编码。增强层15的编码方式类似于图2A中诸如FGS的可分级编解码器的编码方案，包括也就是FGST帧的剩余B帧和也就是FGS帧的SNR剩余I和P帧。
在服务器进行传输期间，基本层I、P和B帧(图2A的编码方案)或基本层I和P帧(图2B的编码方案)被编码至RBL，因此始终被发送。如果更多的带宽可用，当前用于传输图2A和2B的编码方案中的增强层13或15的方法是利用一种速率控制策略在FGS和FGST帧之间同样地分配增强层比特(REL)。
与非可分级编解码器相比，与FGS编解码器有关的缺点是它降低的编码效率。这是由于FGS得到不足的时间去相关(只在基本层利用时间相关)，而不是由于增强层的嵌入编码所引起的。
通过改进基本层中的时间去相关，可减少增强层的时间相关。这可通过为基本层分配更大量的比特加以实现。但这是不可能的，因为RBL对应于保证多个客户始终可用的最小带宽。如果增加RBL，则有些客户在某些时间将不能对基本层解码，这就有违于MPEG-4标准。
发明内容：
本发明针对可变带宽网络中流式(streaming)增强层视频帧数据，增强层视频帧数据具有可分级编码剩余时间(residual temporal)视频帧数据和可分级编码剩余质量信噪比(SNR)视频帧数据。
本发明的一个方面包括一种用于在可变带宽网络中流式增强层视频帧数据的方法，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比视频帧数据，所述方法包括以下步骤：用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据；从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和信噪比视频帧数据；用可分级编解码器对所述剩余时间和信噪比视频帧数据进行编码，以生成具有所述可分级编码剩余时间和信噪比视频帧数据的所述增强层视频帧数据；确定所述可变带宽网络的可用带宽；在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时，发送至少部分所述可分级编码剩余时间帧数据，但不发送所述可分级编码信噪比帧数据；当所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时，还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据。
本发明的另一个方面包括一种用于可变带宽网络中流式增强层视频帧数据的系统，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比视频帧数据，所述系统包括：用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的装置；用于从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和信噪比视频帧数据的装置；用于用可分级编解码器对所述剩余时间和信噪比视频帧数据进行编码以生成具有所述可分级编码剩余时间和信噪比视频帧数据的所述增强层视频帧数据的装置；用于确定所述可变带宽网络的可用比特率的装置；用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据但不发送所述可分级编码信噪比帧数据的装置；用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据的装置。
本发明的另一个方面包括一种视频速率控制器，包括：用于确定所述可变带宽网络的可用带宽的装置；用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据但不发送所述可分级编码信噪比帧数据的装置；用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据的装置。
附图说明
现将结合附图来讨论本发明的说明性实施例，使得本发明的优点、性质和其它特征将更加明显，附图中，同一标号表示同一单元，其中：
图1表示当前增强层视频编码方案；
图2A和2B示出用于本发明的示例性FGS混合时间-SNR视频编码方案；
图3是描述按照本发明原理的方法之步骤的流程图；
图4用图解的方式说明在图2B的结构中使用的方法；
图5示出利用本发明的混合可分级编码方案的系统的示例性实施例；以及
图6示出可用于本发明的另一个示例性FGS混合时间-SNR视频编码方案。
具体实施方式：
现将说明根据本发明的原理的一种方法，所述方法用于诸如因特网的可变带宽计算机网络上的流式增强层剩余时间和质量信噪比(SNR)视频帧数据(FGS编码情况下的FGST和FGS帧数据)。该方法采用图2B中的混合时间-SNR可分级视频编码方案，使增强层中的时间相关得到显著改善。因此，通过引用将普通转让的同时待审的美国专利申请No.09/000000的整个公开结合在此。虽然图2B的视频编码方案只示出SNR之间的一个时间帧，但在本方法中也可以使用SNR帧之间具有两个或两个以上的时间帧的时间-SNR可分级视频编码方案。
图3是描述按照本发明原则的方法的步骤的流程图。步骤AA-DD是在美国专利申请No.09/000000中所描述的系统的编码器端执行，步骤EE-HH是在美国专利申请No.09/000000中所描述的系统的服务器端执行。
在步骤AA中，用非可分级编解码器对原始未编码视频数据编码，以生成只含有I和P帧的基本层14，如图2B所示。在基本层中不对B帧编码。使用图2B的视频编码方案利用了这样一个事实：只有I和P帧显著地对时间去相关起作用。因此，在更多的RBL比特可用于I和P帧编码时，在基本层中不对B帧编码可提供较高质量的基本层I和P帧。较高质量的基本层I和P帧相应地改进了基本层中的时间去相关。
在步骤BB中，通过计算原始视频数据和参考I、P基本层帧之间的差来预测运动补偿或时间剩余B帧。两个时间相邻的基本层参考帧被用来预测每个时间剩余B帧。B帧受益于这种编码方案，因为可更精确地从改进质量的参考基本层I和P帧来对B帧进行预测。
在步骤CC中，通过计算原始视频数据和基本层帧参考帧之间的差来生成改进质量或信噪比(SNR)的剩余I和P帧。SNR剩余I和P帧受益于这种编码方案，因为以减少的时间相关对它们编码。当用可分级编解码器进一步编码时，这还将导致改善的性能。
在步骤DD中，用诸如FGS的适当编解码器对时间剩余帧和SNR剩余帧进行编码，以生成具有可分级编码的时间B帧和可分级编码的SNR I和P帧的增强层。在图2B所示的实施例中，剩余时间和SNR帧用FGS编码，因此生成由FGST帧表示的时间增强层B帧和由FGS帧表示的SNR增强层I和P帧。
在步骤EE中，对较高质量I和P基本层帧分配高达RBL的比特率，对增强层时间帧分配RBL和RBL+k之间的比特率，其中k小于等于RBL，在时间帧和SNR帧之间均匀分配RBL+k和Rmax之间的比特率。
在步骤FF中，始终以带宽RBL发送I和P基本层帧。
在步骤GG中，当可用带宽被确定为在RBL和RBL+k之间时，其中k小于等于RBL，发送至少部分增强层时间帧。这可以通过一次一个地逐步发送所述至少部分时间帧来完成。确定首先发送哪些时间帧部分的策略可以基于运动活动性(motion activity)，由于该信息已在编码期间由编码器确定，其中首先发送具有最大运动活动性的时间帧部分。确定首先发送哪些时间帧部分的策略也可基于峰值信噪比或其它参数。
在步骤HH中，当可用带宽被确定在RBL+k和Rmax之间时，还发送增强层时间帧的其余部分以及至少部分增强层SNR帧。
图4用图解的方式说明了图2B的结构中所应用的方法。
如上所述，可利用前面提到的美国专利申请No.99/000000中描述的系统来执行所述方法，如图5所示。在编码器中，来自视频源20的未编码视频数据被输入到基本层编码器21和混合时间-SNR可分级视频编码器22中。基本层编码器21利用标准帧预测编码技术对一部分原始视频数据进行编码。基本层编码器21以预定比特率RBL对视频数据进行压缩。最好由计算单元23根据有关可变带宽网络24的当前带宽来确定RBL。计算单元23测定网络24的当前可用带宽(R)、最小比特率(Rmin)及最大比特率(Rmax)。然后计算单元23最好将RBL设置到Rmin，以保证即使在其最低带宽，网络24也能适应编码的视频数据。
来自视频源20的原始视频数据和由基本层编码器21提供的编码视频数据(即基本层)都被路由选择到混合编码器22中的剩余图像(RI)计算单元25和运动补偿剩余图像(MCRI)计算单元26中。RI计算单元25和MCRI计算单元26用原始视频数据和编码视频数据来生成剩余图像27和运动补偿(MC)剩余图像28。更具体地说，RI计算单元25接收来自基本层编码器21的编码视频数据，然后对该编码视频数据进行解码。此后，根据所述解码的视频数据中的像素和原始视频数据中的像素之间的差来生成剩余图像27。MCRI计算单元26接收来自基本层编码器21的编码视频数据，然后对所述编码视频数据进行解码。此后，根据运动补偿处理方法从解码视频数据中生成MC剩余图像28。再从对应的原始图中减去所述运动补偿图。
混合编码器22也包括MCRI增强层编码器28和剩余图像增强层编码器30，这两个编码器都使用诸如FGS的可分级编解码器。工作期间，MCRI增强层编码器29和剩余图像增强层编码器30分别利用可分级编解码器对MC剩余图像22和剩余图像12进行编码。
MCRI增强层编码器29生成压缩时间帧31的数据流，RI增强层编码器30生成SNR帧32的数据流。数据流31和32可被组合以生成单个增强层数据流或者可被保持为两个分开的数据流。无论哪种情况，结果流都可被实时存储或发送。
在服务器端，实时可分级视频速率控制器34接收时间和SNR帧数据流31、32(与由基本层编码器21生成的基本层帧数据流33一起)并实时执行前面所述的方法步骤EE-HH。速率控制器34通常包括与存储器(未示出)通信的处理器。处理器可以是执行方法步骤EE-HH的任何能专用或通用处理器。处理器中可以包含当被执行时完成方法步骤EE-HH的编码。所述编码可存于存储器中。
速率控制器34根据从计算单元23、FGS速率控制器35及任选用户输入36接收的输入R、RBL和Rmax来执行所述方法步骤EE-HH。由于对基本层I和P帧分配达RBL之多的比特率，并且始终发送基本层帧，根据这些输入，速率控制器34确定其余用于发送时间和SNR帧的可用带宽(R-RBL)。根据这个信息，速率控制器34按照所述方法的步骤EE在增强层数据流31和32之间分配比特率。
在帧数据流中分配比特率之后，速率控制器34就按照所述方法的步骤FF-HH在可变带宽网络24上发送作为基本层流和增强层流的数据流。
除较好的时间去相关之外，本发明附带的好处是总是用FGST对B帧编码并因此只有1个剩余(MC剩余)需要计算，由此导致复杂性降低并且效率更好，因为符号只需一次编码。而且，因为基本层只含有I和P帧，因此其复杂性仅为中等。只在增强层才引入有更多计算和存储通信量复杂的B帧。
本发明的方法也采用图6所示的混合时间-SNR可分级视频编码方案，其中包括用I和P帧编码的基本层40和两个增强层，也就是用时间B帧编码的时间层41和用SNR I和P帧编码的SNR层42。这种编码方案的细节也在上面提到的美国专利申请No.09/000000中深入讨论过。
尽管参考上述实施例描述了前述发明，然而在不脱离本发明精神的情况下可以进行各种修改和变化。因此，所有这样的修改和变化都被认为是在后附权利要求书的范围内。

Claims (10)

1.一种用于在可变带宽网络中流式增强层视频帧数据的方法，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比视频帧数据，所述方法包括以下步骤：
用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据；
从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和信噪比视频帧数据；
用可分级编解码器对所述剩余时间和信噪比视频帧数据进行编码，以生成具有所述可分级编码剩余时间和信噪比视频帧数据的所述增强层视频帧数据；
确定所述可变带宽网络的可用带宽；
在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时，发送至少部分所述可分级编码剩余时间帧数据，但不发送所述可分级编码信噪比帧数据；
当所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时，还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据。
2.如权利要求1所述的方法，其特征在于：所述第二比特率延伸到所述可变带宽网络的最大可用带宽。
3.如权利要求1所述的方法，其特征在于：所述基本层帧数据包含只用于I和P帧的数据。
4.如权利要求3所述的方法，其特征在于：所述可分级编码剩余时间帧数据包含只用于B帧的数据。
5.如权利要求4所述的方法，其特征在于：所述可分级编码信噪比视频帧数据只包含用于I和P帧的数据。
6.如权利要求1所述的方法，其特征在于：所述可分级编码的剩余时间帧数据包含只用于B帧的数据。
7.如权利要求1所述的方法，其特征在于：所述可分级编码信噪比视频帧数据只包含用于I和P帧的数据。
8.一种用于可变带宽网络中流式增强层视频帧数据的系统，所述增强层视频帧数据具有可分级编码剩余时间视频帧数据和可分级编码剩余质量信噪比视频帧数据，所述系统包括：
用于用非可分级编解码器对原始未编码视频数据进行编码以生成基本层帧数据的装置；
用于从所述原始未编码视频数据和所述基本层帧数据生成剩余时间和信噪比视频帧数据的装置；
用于用可分级编解码器对所述剩余时间和信噪比视频帧数据进行编码以生成具有所述可分级编码剩余时间和信噪比视频帧数据的所述增强层视频帧数据的装置；
用于确定所述可变带宽网络的可用比特率的装置；
用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据但不发送所述可分级编码信噪比帧数据的装置；
用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据的装置。
9.如权利要求8所述的系统，其特征在于：所述第二比特率延伸到所述可变带宽网络的最大可用带宽。
10.一种视频速率控制器，包括：
用于确定所述可变带宽网络的可用带宽的装置；
用于在所述可用带宽是范围在分配用于只发送基本层帧数据的最小比特率和低于所述网络最大比特率的预定比特率之间的第一带宽时发送至少部分所述可分级编码剩余时间帧数据但不发送所述可分级编码信噪比帧数据的装置；
用于在所述可用带宽是延伸在所述预定比特率和所述网络的最大比特率之间的第二带宽时还发送所述可分级编码剩余时间帧数据的其余部分以及至少部分所述可分级编码信噪比帧数据的装置。
CNB018037909A 2000-09-22 2001-09-24 细粒可分级性的最佳传输/流式顺序 Expired - Fee Related CN1258922C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US23460600P 2000-09-22 2000-09-22
US60/234,606 2000-09-22

Publications (2)

Publication Number Publication Date
CN1436423A CN1436423A (zh) 2003-08-13
CN1258922C true CN1258922C (zh) 2006-06-07

Family

ID=22882053

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018037909A Expired - Fee Related CN1258922C (zh) 2000-09-22 2001-09-24 细粒可分级性的最佳传输/流式顺序

Country Status (8)

Country Link
US (1) US7020193B2 (zh)
EP (1) EP1319309B1 (zh)
JP (1) JP2004509574A (zh)
KR (1) KR20020064904A (zh)
CN (1) CN1258922C (zh)
AT (1) ATE346461T1 (zh)
DE (1) DE60124746T2 (zh)
WO (1) WO2002025925A2 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
JP4980567B2 (ja) * 2002-06-11 2012-07-18 トムソン ライセンシング 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
WO2005109895A1 (en) * 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Scalable video coding for broadcasting
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법
JP4624347B2 (ja) * 2004-10-06 2011-02-02 日本電信電話株式会社 スケーラブル符号化方法および装置，スケーラブル復号方法および装置，それらのプログラムおよびそれらプログラムを記録した記録媒体
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
CL2006000541A1 (es) 2005-03-10 2008-01-04 Qualcomm Inc Metodo para el procesamiento de datos multimedia que comprende: a) determinar la complejidad de datos multimedia; b) clasificar los datos multimedia en base a la complejidad determinada; y aparato asociado.
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8477840B2 (en) 2005-09-29 2013-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (VBR) video encoding
KR101329167B1 (ko) 2005-10-12 2013-11-14 톰슨 라이센싱 관심 구역의 ｈ.264 스케일러블 비디오 코딩
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
KR101376666B1 (ko) * 2007-06-27 2014-03-21 톰슨 라이센싱 이미지 품질 강화
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
WO2010076494A1 (fr) * 2008-12-16 2010-07-08 France Telecom Procede de transmission et procede de reception d'un contenu audiovisuel
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
CN102763408B (zh) * 2010-02-11 2020-01-17 上海诺基亚贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10491649B2 (en) * 2016-04-12 2019-11-26 Harmonic, Inc. Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content
CN106713924B (zh) * 2017-01-24 2019-06-07 西安万像电子科技有限公司 用于文字分层压缩方法和装置
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1998053613A1 (en) * 1997-05-20 1998-11-26 Motorola Inc. Apparatus, method and computer readable medium for scalable coding of video information
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6580754B1 (en) * 1999-12-22 2003-06-17 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding

Also Published As

Publication number Publication date
US20020037037A1 (en) 2002-03-28
US7020193B2 (en) 2006-03-28
EP1319309A2 (en) 2003-06-18
DE60124746D1 (de) 2007-01-04
ATE346461T1 (de) 2006-12-15
EP1319309B1 (en) 2006-11-22
CN1436423A (zh) 2003-08-13
DE60124746T2 (de) 2007-09-13
KR20020064904A (ko) 2002-08-10
WO2002025925A2 (en) 2002-03-28
JP2004509574A (ja) 2004-03-25
WO2002025925A3 (en) 2002-09-06

Similar Documents

Publication Publication Date Title
CN1258922C (zh) 细粒可分级性的最佳传输/流式顺序
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1166200C (zh) 混合式时间-信杂比精细颗粒可分级视频编码
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
KR100727793B1 (ko) 비디오 데이터 코딩 장치와 방법, 비디오 데이터 디코딩 장치와 방법, 비디오 데이터를 코딩하고 코딩된 비디오 데이터를 복수의 수신기들로 출력하는 장치 및 방법, 네트워크 시스템, 그리고 컴퓨터로 판독가능한 매체
CN1232123C (zh) 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
CN1910932A (zh) 空间和snr细粒度可缩放视频编码和传输方法
CN1756359A (zh) 速率自适应视频编码
US20060114990A1 (en) Method and apparatus for efficiently transmitting scalable bitstream
EP1756950B1 (en) Systems and methods for scalably encoding and decoding data
CN100352283C (zh) 用于对细粒度可扩缩编码的视频进行代码转换的方法
KR20010080644A (ko) 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
CN1678073A (zh) 用于可伸缩视频编码的方向自适应可伸缩运动参数编码
US20060008002A1 (en) Scalable video encoding
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
CN1254115C (zh) 双回路移动补偿精细颗粒的可标度性
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
CN1656815A (zh) 用于增强来自无漂移的可缩放比特流的视频的系统和方法
Pearlman Embedded Set Partition Coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20090828

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090828

Address after: British Channel Islands

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: FUNAI ELECTRIC CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LIMITED

Effective date: 20120523

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120523

Address after: Osaka Japan

Patentee after: Funai Electric Co., Ltd.

Address before: British Channel Islands

Patentee before: Koninkl Philips Electronics NV

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060607

Termination date: 20190924

CF01 Termination of patent right due to non-payment of annual fee