CN101411198A - 接收器中的视频解码 - Google Patents

接收器中的视频解码 Download PDF

Info

Publication number
CN101411198A
CN101411198A CNA2007800108527A CN200780010852A CN101411198A CN 101411198 A CN101411198 A CN 101411198A CN A2007800108527 A CNA2007800108527 A CN A2007800108527A CN 200780010852 A CN200780010852 A CN 200780010852A CN 101411198 A CN101411198 A CN 101411198A
Authority
CN
China
Prior art keywords
frame
video
receiver
video sequence
flow controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800108527A
Other languages
English (en)
Other versions
CN101411198B (zh
Inventor
布赖恩·威廉·奥尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101411198A publication Critical patent/CN101411198A/zh
Application granted granted Critical
Publication of CN101411198B publication Critical patent/CN101411198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

本发明涉及一种接收器。所述接收器包括视频解码器及帧节流器，所述帧节流器经配置以接收包含多个视频帧的视频序列。所述帧节流器进一步经配置以在将所述视频序列提供给所述视频解码器之前从所述视频序列中丢弃一个或一个以上所述视频帧。

Description

接收器中的视频解码
主张35U.S.C.§119下的优先权
本专利申请案主张2006年4月4日申请的名称为“用于经CPU优化的选择性解码的方法及设备(A Method and Apparatus For CPU Optimized Selective Decoding)”的第60/789,456号临时申请案的优先权，且所述专利申请案受让与本专利申请案的受让人并以引用的方式明确地并入本文中。
技术领域
本发明通常涉及电信系统，且更明确地说涉及用于在接收器中进行视频解码的概念及技术。
背景技术
在带宽很受重视的电信领域中，视频编码扮演重要角色。视频编码可显著地减少必须跨越传输媒体发送以在接收器处重现视频图像的信息的量。此是通过利用如下事实实现的：视频序列中的两个邻近帧之间存在甚少差异。经常地，唯一的差异在于所述图像的一些部分在帧之间具有轻微的移位。视频编码是产生表示此差异的信息并接着压缩所述信息的过程。
在接收器处，将经压缩的信息解码以恢复图像。解码每一帧所需的时间量取决于所述帧中的信息量。当进行实时操作时，视频解码器应维持小于1/(帧速率)“TAVG”的平均解码时间。然而，尽管具有尖端视频编码技术，但如果既定数量的帧具有高级信息内容，那么仍有可能使得系统的实时限制仍将得不到满足。如果通过与其它接收器功能共享的中央处理单元(CPU)执行视频解码，那么情况尤其是如此。如果未能满足实时限制，那么视频图像可显现延迟或失去与音频的同步。另外，将会丢失视频帧，因为没有足够的时间将其全部解码。
因此，当视频帧含有高级信息内容时，此项技术中需要选择性地丢弃视频序列中的帧的技术以优化接收器的计算资源的使用，且同时将图片质量的任何降低减到最小。
发明内容
揭示一种接收器的一个方面。所述接收器包括视频解码器及帧节流器，所述帧节流器经配置以接收包含多个视频帧的视频序列，所述帧节流器进一步经配置以在将所述视频序列提供给所述视频解码器之前从所述视频序列中丢弃一个或一个以上所述视频帧。
揭示一种解码视频帧的方法的一个方面所述方法包括接收包含多个视频帧的视频序列、解码所述视频序列、且在解码所述视频序列之前从所述视频序列中丢弃一个或一个以上所述视频帧。
揭示一种接收器的另一方面。所述接收器包括用于接收包含多个视频帧的视频序列的装置、用于解码所述视频序列的装置、及用于在向所述解码装置提供所述视频序列之前从所述视频序列中丢弃一个或一个以上所述视频帧的装置。
附图说明
在附图中，以举例方式而非限定方式图解说明无线通信系统的各种方面，其中：
图1是图解说明多媒体广播系统的实例的概念性框图；
图2是图解说明多媒体广播系统中传输器及接收器的实例的概念性框图；
图3A是图解说明视频解码器的实例的概念性框图；
图3B是图解说明具有帧节流器的视频解码器的实例的概念性框图；
图4是图解说明接收器的硬件实施方案的实例的框图；
图5是图解说明通过视频解码器中的帧节流器实施的帧丢弃政策的实例的流程图；及
图6是图解说明接收器的实例的功能性框图。
具体实施方式
下文结合附图所述的详细说明打算作为本发明各种配置的说明且并不打算表示可实践本发明的唯一配置。出于提供对本发明的透彻理解的目的，所述详细说明包括特定细节。然而，所属领域的技术人员将了解在没有这些特定细节的情况下也可实践本发明。于一些实例中，为避免模糊本发明的概念，以框图形式显示众所周知的结构及组件。
本文所述的概念及技术可用于各种有线及无线通讯系统中。有线系统的实例包括乙太网络系统、数字订户线路(DSL)、线缆调制解调器、光纤、标准电话线路及其它系统。无线系统的实例包括蜂窝式系统、广播系统、无线局域网络(WLAN)系统及其它系统。蜂窝式系统可以是码分多址(CDMA)系统、时分多址(TDMA)系统、频分多址(FDMA)系统、正交频分多址(OFDMA)系统、单载波FDMA(SC-FDMA)系统及其它多址系统。所述广播系统可以是MediaFL0系统、手持式数字视频广播(DVB-H)系统、陆地电视广播综合服务数字广播(ISDB-T)系统及其它广播系统。WLAN系统可以是IEEE802.11系统、Wi-Fi系统及其它系统。这些系统已在此项技术中众所周知。
本文所述的概念及技术良好地适合于具有单个副载波的系统以及具有多个副载波的系统。可使用OFDM、SC-FDMA或某一其它调制技术获得多个副载波。OFDM及SC-FDMA将频带(例如，系统带宽)分割为多个正交副载波(其也被称为音调、频段等)。可使用数据来调制每一副载波。一般来说，使用OFDM在频域中及使用SC-FDMA在时域中来在副载波上发送调制符号。OFDM用于各种系统中，例如MediaFLO、DVB-H及ISDB-T广播系统、IEEE 802.11a/g WLAN系统及一些蜂窝式系统。下文描述用于使用OFDM的广播系统(例如，MediaFLO系统)的接收器的若干方面及配置。
图1是图解说明多媒体广播系统的实例的概念性框图。图中显示广播系统100具有分配中心102，其用作供国家及地区内容提供者将广域及局域内容分配到大量无线订户单元106的接入点。在一些地理区域中，广域及/或局域内容通过传输器单元网络108直接分配到无线订户单元106。广域及/或局域内容还可通过蜂窝式网络110分配到无线订户单元106。
无线订户单元106可以是固定的或移动的且还可称为接入终端、手机、无线订户、无线单元、无线装置、无线通信装置、无线电信装置、无线电话、蜂窝式电话、用户终端、用户设备、移动台、移动单元、订户台、无线台、移动无线电、无线电电话或某一其它术语。无线订户单元106可以是移动电话、个人数字助理(PDA)、个人或膝上型计算机、游戏控制台、或能够接收广域及/或局域内容的其它装置。
图2是多媒体广播系统200中传输器202及接收器204的概念性框图。在此配置中，传输器202可以是传输器单元或基站的一部分，且接受器204可以是无线订户单元的一部分。另一选择是，传输器202可以是无线订户单元的一部分且接受器204可以是基站的一部分。一般来说，传输器202及接受器204可以是经由传输媒体通信的任何适合装置的一部分。
在传输器202处，视频编码器206编码视频序列的帧。在视频编码器206的一个配置中，将每一帧编码为I-帧、P-帧或B-帧。I-帧或“帧内帧”是独立于视频序列中的其它帧由视频编码器206处理的数据帧。P-帧或“预测帧”跟随I-帧且仅含有表示与视频序列中前面I-帧的改变的数据。B-帧或“双向帧”仅含有表示与前面帧的改变或与视频序列中下一个帧的内容差异的数据。
所述编码过程包括将每一帧中的数据转换为离散空间频率系数并量化所述转换系数。在一个配置中，视频编码器206将视频序列分为两个信道：基本信道及经增强信道。所述基本信道具有比所述经增强信道高的量化。
使用适合的算法来压缩经量化的转换系数。常用压缩算法是H.264，其利用熵编码。熵是借以将短代码用于代替频繁出现的系数且将较长代码用于代替不频繁出现的系数的技术。结果是一可变长度的二进位代码序列，当与同步及控制信息结合时，其产生经压缩的视频位流。
传输(TX)数据处理器208处理(例如，涡轮编码、交错及符号映射)经压缩的视频位流以产生数据符号。调制器210对数据符号执行OFDM调制以产生OFDM符号。模拟前端(AFE)212处理(例如，转换以模拟、放大、过滤及上变频)OFDM符号并产生经调制的信号，所述经调制的符号经由天线214传输。
在接收器204处，天线216接收来自传输器202的经调制的信号并将其提供给AFE 218。AFE 218处理(例如，过滤、放大及下变频)经调制的信号以恢复OFDM符号。解调器220对OFDM符号执行OFDM解调以产生数据符号估计，所述数据符号估计是通过传输器202发送的数据符号的估计。解调器220将数据符号估计提供给接收(RX)数据处理器222。RX数据处理器222处理(例如，符号解映射、去交错及涡轮解码)数据符号估计以恢复经压缩的视频位流。视频解码器224解码经压缩的视频位流以产生一系列视频帧以用于呈现给显示器226。
图3A是视频解码器的概念性框图。视频解码器224包括帧缓冲器302，其缓冲从RX数据处理器222输出的经压缩的视频位流(参见图2)。帧缓冲器302还可执行运送层功能，例如流动控制、信号交换及错误检测/恢复。第一解码器304执行熵解码以恢复用于基本及经增强信道中的每一视频帧的经量化的转换系数。将经量化的转换系数提供给第二解码器306以用于进行信道组合、逆量化及逆转换以创建经完全重建的视频帧。在P-帧及B-帧的情况下，参照一个或一个以上邻近视频帧执行第二解码器306的操作。视频渲染器308使视频帧与音频同步并在适当的帧速率下以正确的序列将视频帧呈现给显示器226(参见图2)。
如早期的论述，系统的实时限制需要用于解码视频帧的平均时间不超过TAVG。此意味着某一数量的P-帧及/或B-帧可能需要在少于TAVG的时间内解码，以补偿需要在长于TAVG的时间内解码的任何I-帧。当然，当视频序列中包括更多I-帧时视频质量将改进，然而，如果I-帧的数量过高，那么视频解码器226可能无法满足系统的实时限制。
除任何既定视频序列中的I-帧的数量外，接收器解码器的硬件实施方案还可影响其满足系统的实时限制的能力。图4中显示接收器的硬件配置的实例。参照图2-4，接收器204包括数字信号处理器(DSP)402。DSP 402是经设计以高速执行信号处理功能的专用处理器。在此实例中，DSP 402实施接收器204中的解调器220及RX数据处理器208的功能。微处理器404处理到显示器(未显示)的接口，处理与传输器202的命令及控制信令，以及协调接收器204中的所有其它功能。在接收器204的一个配置中，微处理器404还执行第一解码器304的功能(即，熵解码)。视频核心406用于提供第二解码器306的功能(即，依据经量化的转换系数创建经完全重建的视频帧)。在一个配置中，可使用专用集成电路(ASIC)实施视频核心406。音频电路408用于为视频序列中的帧提供音频。最后，AFE 410处理通过天线412所接收的经调制信号。
使用微处理器404来执行熵解码可导致关于视频解码器满足系统实时限制的能力的某一不定性。在此配置中，熵解码功能必须针对有限量的处理资源与其它接收器功能竞争。因此，视频解码器226不可能维持TAVG的平均解码时间。
视频解码器226不能满足系统的实时限制可导致帧延迟到达视频渲染器308处。必须丢弃在其呈现时间之后到达视频渲染器308处的帧，以维持视频与音频之间的同步。因此，视频解码器226可因解码将永远不会被使用的帧而浪费宝贵的处理资源。因此，如果当解码帧的平均时间增加而超过系统的实时限制时可在解码之前丢弃视频帧，那么可实现性能的显著改进。
转向图3B，帧节流器301用于在视频帧通过帧缓冲器302之前将其抛弃。在视频解码器226的一个配置中，向帧节流器301提供来自第一解码器304的反馈。此反馈提供解码每一视频帧所花费的时间的测量值。帧节流器301将这些测量值提供给预测模块(未显示)以计算出计算即将到来的视频帧将花费的时间的估计。帧节流器301可在所预测的估计增加时增加帧丢弃速率并在所预测的估计降低时降低帧丢弃速率。
帧节流器301还接收来自视频渲染器308的反馈。此反馈在每当视频渲染器308在视频帧队列的开头(未显示)分析视频帧时向帧节流器301提供测量值。如果视频帧是准时的，那么测量值为零。如果帧是迟到的，那么测量值指示帧的迟到时间。帧节流器301可在平均测量值增加时增加帧丢弃速率并在平均测量值降低时降低帧丢弃速率。
所属领域的技术人员将容易地了解各种帧节流器算法可用于基于来自第一解码器304及视频渲染器308的反馈调整帧丢弃速率。所采用的特定算法可取决于各种因素，包括特定应用、服务质量要求及施加到系统上的整体设计限制。在其中使用微处理器或某一其它共享处理资源实施第一解码器304的一个配置中，帧节流器301可在微处理器负载过重时实施一侵略性帧丢弃政策且在减小微处理器上的负载时放松帧丢弃政策。
将参照图5描述帧节流器算法的实例。在步骤502中，帧节流器确定所预测的估计是否已超过针对x1个连续帧的实时解码限制。如果所预测的估计已超过针对x1个连续帧的实时解码限制，那么帧节流器在步骤504中增加帧丢弃速率。否则，帧节流器算法继续进行到步骤506。
在步骤506中，帧节流器确定视频渲染器是否已丢弃x2个连续帧。如果视频渲染器已丢弃x2个连续帧，那么帧节流器在步骤504中增加帧丢弃速率。否则，帧节流器算法继续进行到步骤508。
在步骤508中，帧节流器确定所预测德尔估计是否已小于针对x3个连续帧的实时解码限制。如果所预测的估计尚未小于针对x3个连续帧的实时解码限制，那么帧节流器算法返回到步骤502。否则，帧节流器算法继续进行到步骤510。
在步骤510中，帧节流器确定视频渲染器是否已显示最近的x4个连续帧。如果视频渲染器已显示最近的x4个连续帧，那么帧节流器在步骤512中降低帧丢弃速率。否则，帧节流器算法返回到步骤502。
当丢弃视频帧时，帧节流器应谨慎地选择要丢弃的帧。随机地抛弃视频帧可导致低劣的图片质量。返回到图3B，帧节流器301可通过丢弃具有最少量信息内容的视频帧来尝试从平均解码时间的增加中恢复。举例来说，在包括经增强及基本IPB帧两者的多媒体广播系统中，帧节流器301可首先丢弃增强信道中的B-帧。如果在丢弃增强信道中的B-帧之后平均解码时间未能减小到TAVG，那么帧节流器301可开始丢弃基本信道中的B-帧。如果在丢弃B-帧之后平均解码时间仍未能恢复，那么帧节流器301可通过首先丢弃增强信道中的P-帧随后丢弃基本信道中的P-帧而变得更具侵略性。在此帧丢弃政策下，帧节流器将最后丢弃I-帧，并在丢弃基本信道中的I-帧之前丢弃增强信道中的I-帧。此政策将趋向于提升最高图片质量。
另一选择是，帧节流器301可实施更迅速地对平均解码时间的增加作出响应的帧丢弃政策。.举例来说，帧节流器301可首先丢弃具有高信息内容的帧，例如基本或经增强信道中的P-帧。更具侵略性的帧丢弃政策可要求丢弃一些I-帧以从平均解码时间的增加中更快地恢复。在一些配置中，帧节流器301可实施平衡高图片质量与快速恢复时间之间的折衷的政策。所属领域的技术人员将能容易地基于性能要求及施加于接收器上的整体设计限制来确定针对特定应用的最合适帧丢弃政策。
图6是图解说明接收器的功能框图。接收器602包括：用于接收包含多个视频帧的视频序列的模块604、用于解码视频序列的模块608，及用于在将视频序列提供给解码装置之前从视频序列中丢弃一个或一个以上视频帧的模块606。
结合本文所揭示实施例描述的各种说明性逻辑块、模块、电路、元件及/或组件可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件、或其设计用于执行本文所述功能的任一组合来实施或执行。通用处理器可以是微处理器，或者，处理器可以是任一常规处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器结合DSP核芯、或任何其它此类配置。
结合本文所揭示实施例描述的方法或算法可直接体现在硬件中、可由处理器执行的软件模块中，或两者的组合中。软件模块可驻存于：RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可拆卸磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，以使得处理器可从存储媒体读取信息且可将信息写入到存储媒体。另一选择是，存储媒体可与处理器成一体。
提供上述说明旨在使所属领域的技术人员能够实践本文所述的各种实施例。所属领域的技术人员将易知对这些实施例的各种修改，且本文所界定的一般原理可应用于其它实施例。因此，权利要求书并非打算局限于本文所示的实施例，而是赋予其与权利要求书语言相一致的全部范围，其中除非明确指明，否则以单数形式提及元件并非打算表示“一个及仅一个”，而是“一个或一个以上”的意思。为所属领域的技术人员已知或此后将知道的本揭示内容通篇中所描述的各种实施例的元件的所有结构及功能等效物均明确地以引用方式并入本文中并打算由权利要求书内所涵盖。此外，无论权利要求书中是否明确地引用此揭示内容，本文所揭示的内容均不打算奉献给公众。所主张的要素均不依据35U.S.C.§112第六段的规定加以解释，除非使用短语“用于...的装置”明确描述所述要素，或在方法项中使用短语“用于...的步骤”描述所述要素。

Claims (36)

1、一种接收器，其包含：
视频解码器；及
帧节流器，其经配置以接收包含多个视频帧的视频序列，所述帧节流器进一步经配置以在将所述视频序列提供给所述视频解码器之前从所述视频序列中丢弃一个或一个以上所述视频帧。
2、如权利要求1所述的接收器，其中所述帧节流器进一步经配置以调整从所述视频序列中丢弃的所述视频帧的速率来满足显示器的目标帧速率。
3、如权利要求2所述的接收器，其中所述视频帧包含I-帧、P-帧及B-帧，所述帧节流器进一步经配置以在丢弃所述I-帧之前丢弃所述P-帧及B-帧来满足所述目标帧速率。
4、如权利要求1所述的接收器，其中被所述帧节流器丢弃的视频帧的数量依据所述视频解码器的解码时间而变。
5、如权利要求1所述的接收器，其中被所述帧节流器丢弃的视频帧的数量依据来自所述视频解码器的反馈而变。
6、如权利要求5所述的接收器，其中所述反馈指示用以解码提供给所述视频解码器的所述视频序列中的所述视频帧的每一者的时间。
7、如权利要求6所述的接收器，其中所述帧节流器进一步经配置以使用所述反馈来预测解码所述帧节流器所接收的所述视频序列中的一个或一个以上所述视频帧所需的时间，所述帧节流器进一步经配置以使用所述时间预测来确定丢弃所述视频序列中的哪些帧。
8、如权利要求1所述的接收器，其中所述视频解码器的至少一部分实施在经配置以支持其它接收器功能的处理器上。
9、如权利要求1所述的接收器，其进一步包含视频渲染器，所述视频解码器进一步经配置以向所述视频渲染器提供具有多个经解码视频帧的所述视频序列，且其中所述视频渲染器经配置以在将所述视频序列呈现给显示器之前丢弃一个或一个以上所述经解码视频帧。
10、如权利要求9所述的接收器，其中被所述帧节流器丢弃的视频帧的数量依据被所述视频渲染器丢弃的经解码视频帧的数量而变。
11、如权利要求10所述的接收器，其中被所述帧节流器丢弃的视频帧的数量还依据所述视频解码器的解码时间而变。
12、如权利要求9所述的接收器，其中被所述帧节流器丢弃的视频帧的数量依据来自所述视频渲染器的反馈而变。
13、如权利要求12所述的接收器，其中被所述帧节流器丢弃的视频帧的数量还依据来自所述视频解码器的反馈而变。
14、如权利要求1所述的接收器，其中由所述帧节流器接收的所述视频序列中的所述视频帧具有不同的信息内容量，所述帧节流器进一步经配置以依据所述视频帧中所述信息内容量来确定要丢弃所述一个或一个以上视频帧中的哪些视频帧。
15、一种解码视频帧的方法，其包括：
接收包含多个视频帧的视频序列；
解码所述视频序列；及
在解码所述视频序列之前从所述视频序列中丢弃一个或一个以上所述视频帧。
16、如权利要求15所述的方法，其进一步包含调整所述视频序列中丢弃的所述视频帧的速率以满足显示器的目标帧速率。
17、如权利要求16所述的方法，其中所述视频帧包含I-帧、P-帧及B-帧，且其中在丢弃所述I-帧之前丢弃所述P-帧及B-帧以满足所述目标帧速率。
18、如权利要求15所述的方法，其中从所述视频序列中丢弃的视频帧的数量依据解码时间而变。
19、如权利要求18所述的方法，其进一步包含使用所述解码时间来预测解码所述视频序列中一个或一个以上所述视频帧所需的时间，且使用所述时间预测来确定丢弃所述视频序列中的哪些帧。
20、如权利要求15所述的方法，其中所述解码所述视频序列包含产生多个经解码视频帧，所述方法进一步包含在将所述视频序列呈现给显示器之前丢弃一个或一个以上所述经解码视频帧，且其中在解码所述视频序列之前从所述视频序列中丢弃的视频帧的数量依据所丢弃的经解码视频帧的数量而变。
21、如权利要求20所述的方法，其中在解码所述视频序列之前从所述视频序列中丢弃的视频帧的数量还依据所述解码时间而变。
22、如权利要求15所述的方法，其中所述视频序列中的所述视频帧具有不同的信息内容量，所述方法进一步包含依据所述视频帧中的所述信息内容量来确定从所述视频序列中丢弃所述一个或一个以上视频帧中的哪些视频帧。
23、一种接收器，其包含：
接收装置，其用于接收包含多个视频帧的视频序列；
解码装置，其用于解码所述视频序列；及
丢弃装置，其用于在将所述视频序列提供给所述解码装置之前从所述视频序列中丢弃一个或一个以上所述视频帧。
24、如权利要求23所述的接收器，其进一步包含用于调整从所述视频序列中丢弃所述视频帧的速率的装置以满足显示器的目标帧速率。
25、如权利要求24所述的接收器，其中所述视频帧包含I-帧、P-帧及B-帧，且其中所述用于丢弃一个或一个以上所述视频帧的丢弃装置包含用于在丢弃所述I-帧之前丢弃所述P-帧及B-帧以满足所述目标帧速率的装置。
26、如权利要求23所述的接收器，其中所丢弃的视频帧的数量依据所述解码装置的解码时间而变。
27、如权利要求23所述的接收器，其中所丢弃的视频帧的数量依据来自所述解码的反馈而变。
28、如权利要求27所述的接收器，其中所述反馈指示用以解码提供给所述解码装置的所述视频序列中的所述视频帧的每一者的时间。
29、如权利要求28所述的接收器，其中所述用于丢弃所述一个或一个以上视频帧的丢弃装置使用所述反馈来预测解码所述视频序列中的一个或一个以上所述视频帧所需的时间，且使用所述时间预测来确定丢弃所述视频序列中的哪些帧。
30、如权利要求23所述的接收器，其中所述解码装置的至少一部分实施在经配置以支持其它接收器功能的处理器上。
31、如权利要求23所述的接收器，其进一步包括用于向显示器呈现具有多个经解码视频帧的所述视频序列的装置，及用于在向所述显示器呈现所述视频序列之前丢弃一个或一个以上所述经解码视频帧的装置。
32、如权利要求31所述的接收器，其中所丢弃的视频帧的数量随所丢弃的经解码的视频帧数量而变。
33、如权利要求32所述的接收器，其中所丢弃的视频帧的数量还依据所述解码装置的解码时间而变。
34、如权利要求31所述的接收器，其中所丢弃的视频帧的数量依据来自所述用于丢弃一个或一个以上所述经解码视频帧的装置的反馈而变。
35、如权利要求34所述的接收器，其中被所述帧节流器丢弃的视频帧的数量还依据来自所述解码装置的反馈而变。
36、如权利要求23所述的接收器，其中所述视频序列中的所述视频帧具有不同的信息内容量，所述接收器进一步包含用于依据所述视频帧中的所述信息内容量来确定丢弃所述一个或一个以上视频帧中的哪些视频帧的装置。
CN200780010852.7A 2006-04-04 2007-04-04 接收器及解码视频帧的方法 Active CN101411198B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US78945606P 2006-04-04 2006-04-04
US60/789,456 2006-04-04
US11/556,907 US8897371B2 (en) 2006-04-04 2006-11-06 Video decoding in a receiver
US11/556,907 2006-11-06
PCT/US2007/065993 WO2007115320A1 (en) 2006-04-04 2007-04-04 Video decoding in a receiver

Publications (2)

Publication Number Publication Date
CN101411198A true CN101411198A (zh) 2009-04-15
CN101411198B CN101411198B (zh) 2015-07-01

Family

ID=38335612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780010852.7A Active CN101411198B (zh) 2006-04-04 2007-04-04 接收器及解码视频帧的方法

Country Status (8)

Country Link
US (1) US8897371B2 (zh)
EP (1) EP2002660B1 (zh)
JP (2) JP2009533000A (zh)
KR (1) KR101201275B1 (zh)
CN (1) CN101411198B (zh)
CL (1) CL2007000938A1 (zh)
TW (1) TW200810564A (zh)
WO (1) WO2007115320A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256138A (zh) * 2010-05-18 2011-11-23 安凯(广州)微电子技术有限公司 一种改善视频播放效果的方法
CN102368823A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种基于分级机制的视频丢帧策略
CN103310820A (zh) * 2012-03-14 2013-09-18 三星电子（中国）研发中心 一种对多媒体播放器进行优化的方法
CN105051747A (zh) * 2013-03-15 2015-11-11 索尼电脑娱乐公司 硬件解码器加速器的增强安全性
CN112368766A (zh) * 2018-05-30 2021-02-12 Ati科技无限责任公司 带有编码器反馈的图形渲染
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN112368766B (zh) * 2018-05-30 2024-05-10 Ati科技无限责任公司 带有编码器反馈的图形渲染

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853839B2 (en) 2006-04-04 2010-12-14 Qualcomm Incorporated Method and apparatus for verifying the correctness of FTAP data packets received on the FLO waveform
US8421842B2 (en) * 2007-06-25 2013-04-16 Microsoft Corporation Hard/soft frame latency reduction
US8665281B2 (en) * 2008-02-07 2014-03-04 Microsoft Corporation Buffer management for real-time streaming
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
JP5916624B2 (ja) 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
US20180115795A1 (en) * 2016-10-22 2018-04-26 Gopro, Inc. Adaptive bit rate algorithm for point-to-point wifi devices
US11438545B2 (en) * 2019-12-23 2022-09-06 Carrier Corporation Video image-based media stream bandwidth reduction
US11463651B2 (en) * 2019-12-23 2022-10-04 Carrier Corporation Video frame-based media stream bandwidth reduction
US11658671B2 (en) * 2021-09-22 2023-05-23 Apple Inc. Latency reduction in analog-to-digital converter-based receiver circuits

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1263421A (zh) * 1999-02-11 2000-08-16 分组视频股份有限公司 控制和传递异类通信网中数字压缩可视数据的方法和设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6631163B1 (en) * 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
JP3825276B2 (ja) * 2001-04-26 2006-09-27 日本電信電話株式会社 番組紹介・情報提供システム，番組紹介・情報提供処理方法および番組紹介・情報提供システム用プログラム
KR100522938B1 (ko) * 2001-08-13 2005-10-24 삼성전자주식회사 블록화현상 제거장치 및 제거방법, 블록화현상 제거장치가 구비된 디스플레이장치
WO2003103288A1 (en) 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
AU2003283723A1 (en) 2002-12-10 2004-06-30 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
KR100619007B1 (ko) * 2003-06-24 2006-08-31 삼성전자주식회사 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR100710290B1 (ko) * 2003-11-29 2007-04-23 엘지전자 주식회사 비디오 디코딩 장치 및 방법
EP1766987A1 (en) * 2004-05-27 2007-03-28 Vividas Technologies Pty Ltd Adaptive decoding of video data
US8355452B2 (en) * 2006-02-27 2013-01-15 Sharp Laboratories Of America, Inc. Selective frame dropping for initial buffer delay reduction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1263421A (zh) * 1999-02-11 2000-08-16 分组视频股份有限公司 控制和传递异类通信网中数字压缩可视数据的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAAMI M ET AL.: "Client based synchronization control of coded data streams", 《MULTIMEDIA COMPUTING AND SYSTEMS "97. PROCEEDINGS., IEEE INTERNATIONAL CONFERENCE ON OTTAWA, ONT., CANADA》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256138A (zh) * 2010-05-18 2011-11-23 安凯(广州)微电子技术有限公司 一种改善视频播放效果的方法
CN102368823A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种基于分级机制的视频丢帧策略
CN103310820A (zh) * 2012-03-14 2013-09-18 三星电子（中国）研发中心 一种对多媒体播放器进行优化的方法
CN103310820B (zh) * 2012-03-14 2016-03-09 三星电子（中国）研发中心 一种对多媒体播放器进行优化的方法
CN105051747A (zh) * 2013-03-15 2015-11-11 索尼电脑娱乐公司 硬件解码器加速器的增强安全性
US9740886B2 (en) 2013-03-15 2017-08-22 Sony Interactive Entertainment Inc. Enhanced security for hardware decoder accelerator
CN105051747B (zh) * 2013-03-15 2017-12-12 索尼电脑娱乐公司 解码方法、解码系统及非暂时性计算机可读介质
CN112368766A (zh) * 2018-05-30 2021-02-12 Ati科技无限责任公司 带有编码器反馈的图形渲染
US11830225B2 (en) 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN112368766B (zh) * 2018-05-30 2024-05-10 Ati科技无限责任公司 带有编码器反馈的图形渲染
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP2012231472A (ja) 2012-11-22
JP2009533000A (ja) 2009-09-10
CL2007000938A1 (es) 2008-04-18
CN101411198B (zh) 2015-07-01
JP5296245B2 (ja) 2013-09-25
KR20090006170A (ko) 2009-01-14
US20070230581A1 (en) 2007-10-04
KR101201275B1 (ko) 2012-11-14
EP2002660B1 (en) 2018-10-24
EP2002660A1 (en) 2008-12-17
WO2007115320A1 (en) 2007-10-11
TW200810564A (en) 2008-02-16
US8897371B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
CN101411198B (zh) 接收器及解码视频帧的方法
CN101322415B (zh) 用于可变数据速率编码的时间分片方法、系统
CN101390385B (zh) 多媒体应用中的快速调谐
JP4028356B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
CN101919191B (zh) 在接收器中优化解码
JP2014180010A (ja) エラーを起こしやすいシステムにおいて帯域幅とＱｏＳを管理するための移動局−中心方法
EP2139238A1 (en) Multiple description coding based method, system, and receiver for wireless video broadcasting
RU2378761C2 (ru) Устройство и способ передачи/приема широковещательных данных в системе мобильной связи
JP5265496B2 (ja) スケーラブルビデオ伝送処理方法及び装置
US7724819B2 (en) Wireless image transmission device and image transmission method
JP2005524356A (ja) データ分割及び不等のエラープロテクトを利用した無線ｌａｎ用の誤り回復力のある映像伝送システム
CN101820327B (zh) 一种结合信源多描述特征的中继传输方法、系统和设备
US6271772B1 (en) Method and apparatus for iterative decoding from a central pool
Yoon et al. An image sequence transmission method in wireless video surveillance systems
WO2006112133A1 (ja) 無線送信機および無線通信システム
CN111314705B (zh) 一种基于多描述编码的非正交多址图像传输系统及其应用
Moriyama et al. Digital outside-broadcasting-link using OFDM modulation scheme
Matsuura et al. Realtime transmission of full high-definition 30 frames/s videos over 8× 8 MIMO-OFDM channels using HACP-based lossless coding
Fitzek et al. Cross-Layer Optimization of OFDM Systems for 4G Wireless Communications
Seferoglu et al. Video streaming to multiple clients overwireless local area networks
JP2003134077A (ja) 通信方法および無線送信装置
Hosany et al. A novel Trellis Coded Modulation scheme for robust transmission of Prioritized H. 264/AVC Video employing Alamouti’s code for wireless MIMO systems
CN101444051A (zh) 用于未压缩视频的无线通信的具有前同步码设计的系统和方法
Shin et al. An Adaptive Modulation Technique for Wireless Image Sequence Transmission
Kim An efficient Channel Estimation Technique of OFDM-Base Space-Time Coded Wireless LAN Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant