CN101010964A - 在可分级视频编码中的使用帧速率上变换技术的方法与设备 - Google Patents

在可分级视频编码中的使用帧速率上变换技术的方法与设备 Download PDF

Info

Publication number
CN101010964A
CN101010964A CNA200580029061XA CN200580029061A CN101010964A CN 101010964 A CN101010964 A CN 101010964A CN A200580029061X A CNA200580029061X A CN A200580029061XA CN 200580029061 A CN200580029061 A CN 200580029061A CN 101010964 A CN101010964 A CN 101010964A
Authority
CN
China
Prior art keywords
frame
fruc
macro block
frames
main stor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200580029061XA
Other languages
English (en)
Other versions
CN101010964B (zh
Inventor
维贾瓦拉克希米·R.·拉韦恩德朗
戈登·肯特·瓦尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101010964A publication Critical patent/CN101010964A/zh
Application granted granted Critical
Publication of CN101010964B publication Critical patent/CN101010964B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

对视频流进行编码的一种方法包括，将所述视频流划分为具有多个主层帧的主层，和具有多个插值层帧的插值层；对帧速率上变换(FRUC)帧进行插值；以及，在插值后的FRUC帧的辅助下，对在所述主层中的多个主层帧进行编码。还描述了实现该方法的视频编码器。

Description

在可分级视频编码中的使用帧速率上变换技术的方法与设备
在35 U.S.C§119下的优先权要求
本专利申请要求于2004年7月1日提交的题目为“Method andApparatus for Using Frame Rate up Conversion(FRUC)Technique inScalable Video Coding”的临时专利申请No.60/585,154，和分配给同一代理人的于2005年3月22日提交的题目为“Method and Apparatusfor Using Frame Rate up Conversion Techniques in Scalable VideoCoding”的临时专利申请No.60/665,816的优先权，因此在此将其引入作为参考。
技术领域
本发明通常涉及视频压缩，更具体而言，涉及在可分级视频编码中使用帧速率上变换(frame rate up conversion)(FRUC)技术的方法与设备。
背景技术
视频与音频压缩中的速率自适应，典型地已经通过可分级(SNR、空间上、时间上)技术，在使用各种比特率和多种比特率模式所编码的比特流之间进行切换而实现了，其中，编码器将内容作为采用各种带宽的各种媒体流而传送到服务器。然后，服务器根据网络情况和/或者目标观众来传送合适的流。
由于在低比特率视频应用中有限的有效带宽，一些编码器采用时间采样技术(也称为跳帧)来满足所需要的压缩率。在该方案下，输入序列中的帧被周期性地从编码过程中丢弃，因而不被传输。由此，解码器仅仅接收在时间方向上的部分信息，而不是整个输入序列。从而，时间伪像(例如运动抖动)被引入到接收端。在解码器上使用帧速率上变换(FRUC)来重新生成所跳过的帧，以便减少时间伪像。已经针对FRUC提出了各种技术。通常，运动补偿插值(MCI)技术提供了时间FRUC应用中的最佳解决方案。然而，希望在最小化视频流的比特率的同时，对在解码器上的FRUC技术的实现进行优化。
发明内容
在此描述了用于在可分级视频编码中使用FRUC技术，尤其是用于实现在编码器端的FRUC压缩技术的集成，也称为FRUC辅助编码器(EA-FRUC)的各种方法。
在一个实施例中，用于对视频流进行编码的方法包括步骤：将所述视频流划分为具有多个主层帧的主层，和具有多个插值层帧的插值层；对FRUC帧进行插值；以及，在插值后的FRUC帧的辅助下，对在所述主层中的所述多个主层帧进行编码。
在另一实施例中，将EA-FRUC实现为其上存储有指令的计算机可读介质，所存储的指令在由处理器所执行时，使得所述处理器执行用于对视频流进行编码的方法。所述方法包括以下步骤：将所述视频流划分为具有多个主层帧的主层，和具有多个插值层帧的插值层；对帧速率上变换(FRUC)帧进行插值；以及，在插值后的FRUC帧的辅助下，对在所述主层中的所述多个主层帧进行编码。
在又一实施例中，将所述系统实现为接收视频流的视频编码器处理器。所述视频编码器处理器包括帧速率上变换(FRUC)模块，所述FRUC模块从所接收的视频流中生成多个FRUC帧；速率失真代价(RD_cost)计算模块，其耦合到所述FRUC模块，所述RD_cost计算模块接收所述多个FRUC帧，并基于所述多个FRUC帧中的一个中的宏块来计算F帧宏块RD_cost；以及，模式决定模块，其耦合到所述RD_cost计算模块，所述模式决定模块用于将基于所述多个FRUC帧中的一个中的宏块的FRUC帧宏块RD_cost，与在相应B帧中的相应宏块的B帧宏块RD_cost进行比较。
从以下详细描述中，其他目的、特征和优点对于本领域技术人员将变得清晰。然而，要理解的是，详细描述和特定示例虽然指示了本发明的实施例，但是是以说明的方式给出的而不具有局限性。在不脱离本发明的精神的情况下，可以在本描述的范围内进行各种改变和修改，并且本发明包括所有的这些修改。
附图说明
通过参考附图，本发明将更加容易理解，其中：
图1是示出具有基本层和增强层的传统的两层编码的图；
图2是示出根据一个实施例配置的编码方案的图，其中已经在FRUC帧的辅助下对主层进行了编码；
图3是根据一个实施例，在FRUC帧的辅助下对基本层进行编码的方法的流程图；
图4是根据一个实施例配置的编码系统的方框图；
图5是根据一个实施例，编码的模式选择的方法的流程图；
图6是根据一个实施例配置的两层编码方案的图，其中已经在FRUC帧的辅助下对增强层进行了编码；
图7是根据一个实施例，用于将媒体数据划分为两个层并在FRUC帧的辅助下对增强层进行编码的方法的流程图；以及
图8是无线系统的接入终端和接入点的方框图。
在附图中类似的数字表示类似的元件。
具体实施方式
尽管FRUC技术通常用在解码器端，其也能够扩展到编码器端。尤其是，使用FRUC帧作为运动补偿帧的附加预测模式是特别有用的。通过为帧间预测帧添加额外的预测模式，能够实现比特率的节省。换而言之，能够提高相同被重建视觉质量的压缩率。
对于基于标准的视频编码而言，由于额外FRUC模式的引入，不得不增加比特流的语法。然而，通过对在用户数据字段或者补充增强信息(SEI)字段中对预测帧中FRUC的使用进行标记，能够保持符合标准语法，如同在由国际电信联盟的电信标准化部门(ITU-T)发布的H.264视频编码标准中那样。在由解码器执行FRUC功能的视频传输系统中，该特征特别具有优势。此外，可以对视频解码器进行修改的封闭系统，在传输带宽和压缩效率方面保持明显地受益。
在解码器端，在接收到所传输的比特流和所重建的帧内图像(I)/预测图像(P)(I/P)帧时，使用与编码器端相同的技术对FRUC帧进行插值。然后基于所重建的I/P帧和同一时刻的FRUC帧，来重建帧间帧。只要将相同的技术用在解码器端和编码器端两者上，就不会存在错误或者漂移问题。
该系统的替换应用将是在可分级视频编码中。当采用时间分级时，在增强层中传输一些预测帧，特别是双向预测/插值图像帧；并在基本层中传输I和P帧。在这种方案中，如果没有接收到或者没有请求增强层，则在解码器上的被重建视频的帧速率就低于源的帧速率。在基本层中发送FRUC帧与B帧的差异能够在解码器上通过FRUC实现B帧的紧密逼近的重建。结果示出了该差异的代价(按比特计)明显较小，因此不会对基本层视频的比特率造成影响。该差异能够作为FRUC帧与真实B帧的纯残差来计算，通过阈值化(或量化)来将信息限制到主要区域(例如，不能由FRUC所重建的孔洞)，或者能够作为对已知FRUC方法的细化(refinement)来进行计算(例如，真实的运动矢量数据或者经过量化的真实的运动矢量数据)。此外，这种差异信息能够被携带在标准语法的“用户数据”字段中或者SEI字段中，如同H.264标准一样。
根据解码器资源的有效性，能够根据FRUC技术的计算复杂度级别来对其进行选择。要注意的一点是，与对于B帧的所有宏块(有时是一个以上的运动补偿(MC)/宏块(MB))的双向运动补偿(MC)相比，FRUC通常比对B帧进行解码花费较少的计算周期，因为FRUC包括在相对小的搜索空间上，对帧的一小部分进行简单的3抽头(tap)或者5抽头的滤波和运动估计(ME)。FRUC根据用于以很小的视觉质量代价重建中间帧的细化等级，提供了在复杂等级中的粒度。
通常，B帧在计算上比P帧花费更大，I帧是这三种类型的帧中花费最小的。在该点上，该系统和其对可分级视频编码的扩展的附加优势在于节省计算周期，从而节省在手持设备中宝贵的功率(这转换为这种设备的更长的待机和通话时间)。不管是否接收到B帧都能实现节能，这是因为根据有效周期，解码器能够选择是对B帧进行解码还是通过FRUC来重建插值帧并应用来自差异数据的细化。
根据不断增加的计算复杂度，能够对基于块的FRUC算法进行分类：
1.非运动补偿算法，例如帧重复和帧平均；
2.没有MV处理的双线性运动补偿插值(MCI)；
3.具有MV处理的MCI；以及
4.具有MV处理的种子ME辅助MCI。
任何的以上FRUC辅助编码技术都能够与分层编码技术结合在一起。通过分层编码能够实现传输信道的速率自适应。压缩比特流的基本层通常包含更为重要的数据，增强层包含容易受到较大传输误差率的较为次要的数据。
在一个实施例中，优选的是，基本层比特流符合标准，当传输带宽下降到低于特定阈值时，允许丢弃增强层比特流。在该方案下，希望：
1.采用以下方式将输入的帧序列划分为基本层帧和增强层帧：即，在每个增强帧与每个潜在FRUC帧之间存在一一对应关系，
2.按照标准对基本层帧进行编码，
3.对与要进行编码的增强帧同一时刻的FRUC帧进行插值，以及
4.基于插值后的FRUC帧对增强帧进行编码。
该方法的益处有两层。第一，通过为增强层帧引入一种额外预测模式，会提高增强层的压缩率。因此，对于固定传输带宽而言，降低了丢弃增强层比特流的可能性，这是因为增强层比特流将更加不可能超过要丢弃增强层的传输速率阈值。第二，然而，即使是在恶化的传输条件下必须要丢弃增强层比特流，由于在此所述的划分基本层帧和增强层帧的方式，解码器仍然能够通过用插值后的FRUC帧替换丢失的增强层帧，来重新生成丢失的增强层帧。
图1示出了视频序列106的传统的两层编码方案，其包括基本层104和增强层102。I和P帧(例如P帧112和114)由于其对于视频序列106的正确重建的重要性而被划分到基本层104，而较为次要的B帧(例如B帧110)留在增强层102。在该现有技术方法中，在增强层102中的增强帧的重建仅仅取决于在基本层104中的被重建的基本层帧，而不取决于在增强层102中的被重建帧。特别是，在增强层102中的B帧不用作在基本层104中的帧的时间预测的参考，尽管B帧能够用于预测未来的B帧。
图2示出了根据一个编码方案的实施例所编码的视频序列206，其中，I帧212是标准的帧内帧(不进行时间预测的帧)，P帧220是标准的预测帧。如图所示，通过使用插值层204，来对在主层202中的帧进行编码。
PF帧216是将FRUCP插值帧用作多个参考图像之一的P帧。例如，FRUC FRM 224是PF FRM 216的参考图像。相反地，标准方法将I FRM 212用作P帧的唯一参考图像。因此，在一个实施例中，将FRUC FRM用作用于插值帧的主层编码的参考图像。
BF帧是将FRUC插值帧作为多个参考图像之一的B帧。因此，在一个实施例中，BF帧的参考图像可以包括I、B、P、PF和BF帧中的一个或多个。例如，BF帧214是将FRUC插值帧222作为多个参考图像之一的B帧；BF 218是将FRUC插值帧226作为多个参考图像之一的B帧。相反地，即使标准的B(双向)预测帧可以具有多个参考图像，这些参考图像也仅仅包括I、B或者P帧。
如在此所述，术语“F帧”指的是将FRUC插值帧用作参考图像的预测帧。因此，PF帧和BF帧两者都是F帧。在一个实施例中，多个参考图像被用于F帧的预测。另外，FRUC插值帧可以是用于F帧的预测的唯一参考图像。此外，在此所述的体系结构包含将FRUC插值帧的一部分用作参考的方法，例如仅仅使用来自FRUC插值帧的特定宏块(其可以是任意大小或形状的块)。
图3示出了在图2中的以上所述的比特流的示例性FRUC编码过程的流程图。在步骤302，将输入媒体(视频)序列划分为F帧和非F帧，其中，F帧是如上所述的PF和BF帧，非F帧是I、B和P帧。在一个实施例中，在每个F帧与每个潜在FRUC帧之间存在一一对应关系。在其他实施例中，增强帧与潜在FRUC帧的比率不是必须要具有一一对应的。一旦视频序列已经被划分，操作就继续步骤304，在此，根据所使用的标准编码方案对非F帧进行编码。例如，可以将在H.264标准中提出的编码标准用于这些非F帧。然后，在步骤306，对与要进行编码的增强帧同一时刻的FRUC帧进行插值。在一个实施例中，FRUC帧可以取决于所重建的当前帧和所存储的先前帧两者。其他实施例可以使用上述的其他FRUC算法。在步骤308，在插值后的FRUC帧的辅助下对增强层中的帧进行编码，如图4的描述中的细节。因此，由于FRUC帧的有效性，能够为主层中的预测帧选择额外的预测模式(FRUC模式)。
图4示出了根据一个实施例配置的编码器方框图。最初，P帧检测器402确定新的帧是否是F帧。如果不是，则P或B帧编码器404对该帧进行编码，可变长度编码(VLC)编码器406生成所编码P帧或B帧的最终比特流，以在输出比特流404中输出。P或B帧的运动矢量存储在运动矢量(MV)缓冲器408中，而被重建帧缓冲器410存储被重建的P或B帧。FRUC单元412耦合到MV缓冲器408和被重建帧缓冲器410，以执行FRUC算法并生成FRUC帧，所述FRUC帧存储在FRUC帧缓冲器414中。如上所述，FRUC帧用于生成各种F(例如BF或PF)帧。
如果F帧检测器402确定新的帧是F帧，则F帧编码单元428对该新F帧执行逐个宏块的编码。所编码的F帧宏块被发送到块434，块434确定对于B帧所需要传输的比特数量，其包括传输运动矢量所必需的比特。然后在B块RD_cost计算器436中计算B帧宏块的RD_cost。此外，根据所述B帧的编码，比较器430将(1)基于从FRUC帧缓冲器414获得的FRUC帧的F帧宏块(SAD_f)与相应的B帧宏块(SAD_b)相减的差值绝对值之和(SAD)的值，与(2)预定阈值(TH)进行比较。如果相减的结果大于或者等于所述阈值，则质量下降过大，因此编码器需要发送编码器辅助FRUC帧信息。在一个实施例中，所述阈值是具有正在使用的大小的块(例如16×16块大小)的6倍。应该注意的是，尽管在此使用了术语“宏块”，并且其通常指的是16×16个像素元素的标准块大小，但是可以使用任意的块大小。另外，块可以是任意形状的。
如果B帧宏块的SAD与F帧宏块的SAD之间的差异小于阈值，则编码器将指示F帧宏块应该用在模块432中，并且将指示F模式的比特放置在输出比特流440中。如果不小于，则在模块416中计算源(原始的)宏块与所配置的FRUC帧的块的残差，将其结果在离散余弦变换(DCT)/量化/VLC模块418中进行量化。传输FRUC帧信息所必需的FRUC帧的块的比特数量是在F块比特模块420中确定的，并且根据该计算，在F块RD_cost模块422中确定FRUC帧宏块的RD_cost。在此参考图5描述RD_cost的计算。
根据所计算的B帧宏块的RD_cost和F帧宏块的RD_cost，比较器模块424确定要将哪些比特放置在输出比特流440中。在一个实施例中，如果B帧宏块的RD_cost比F帧宏块的RD_cost小，则将包含所生成的运动矢量的用于B帧宏块的比特放置在输出比特流440中。否则，将用于F帧宏块的比特放置在输出比特流440中。
图5是示出根据一个实施例实现的，用于在对增强层中的帧进行编码过程中，增强层B帧宏块的模式选择过程的算法。在步骤502，获得B帧宏块的前向和后向运动矢量。在一个实施例中，通过执行传统的双向运动估计来获得所述矢量。因此，没有使用来自FRUC帧的信息。然后，在步骤504，确定B帧宏块的最佳模式。在一个实施例中，从以下三种模式中选出一种最佳模式：前向预测模式、后向预测模式和双线性预测模式。此外，最佳模式的选择的执行不涉及FRUC帧。
在步骤506，获得在基于所选择的最佳模式的B帧宏块与来自源帧的原始宏块(即，要进行编码的源帧)之间的误差残余。然后，在步骤508中，获得在原始宏块与FRUC帧宏块之间的误差残余信息。在一个实施例中，B帧宏块与FRUC帧宏块的误差残余是通过分别用B帧宏块或者FRUC帧宏块减去原始宏块来计算的。另外，为B帧宏块和FRUC帧宏块计算称为速率失真代价(RD_cost)的变量(即，B帧的B_RD_cost和FRUC帧的FRUC_RD_cost)，其由以下公式给出：
RD_cost＝Distortion+Lambda*Rate
在一个实施例中，Rate是用于对特定块进行编码的全部比特(其使用各个宏块的误差残余)，Distortion是失真度量，以及Lambda是预先定义的权重系数，其取决于宏块的量化。在一个实施例中，Distortion由差值绝对值之和(SAD)的计算来确定。在其他实施例中，可以使用不同的失真度量。此外，在一个实施例中，Lambda是根据量化参数而通过经验获得的公式。
如上所述，选择编码的FRUC帧模式还是B帧模式，取决于差值绝对值之和(SAD)的值和对残差进行编码所需要的比特数量，其中，SAD值是对于失真的有效测量。将这两个值求和，其中一个采用Lambda进行加权，并根据使该计算结果最小的那一个来确定“最佳”模式。使用失真和比特率之和的原因在于，使得编码器能够在图像质量与比特率之间进行折衷。因此，例如，如果编码器遇到极其复杂的宏块，并且该宏块如果使用与先前相同的量化参数就会变得严重失真，则能够降低量化值，以允许对于失真的折衷，即使是将需要更多的比特进行编码。
一旦确定了误差残余，并且由此确定了B_RD_cost(B帧宏块的RD_cost)和误差残余，并且由此确定了FRUC_RD_cost(FRUC帧宏块的RD_cost)，则步骤510将所述代价进行比较，并确定FRUC_RD_cost是否小于B_RD_cost。如果是，则在步骤512中选择FRUC模式。否则，在步骤514中选择在步骤504中所确定的最佳模式。
图6示出了根据一个实施例的编码方案所编码的视频序列606，层判定块608将媒体数据划分为两个层，包括基本层604和增强层602。I和P帧(例如P帧612和614)由于其对于视频序列606的正确重建的重要性而被划分到基本层604，而较为次要的B帧(例如B帧610)留在增强层602。如图所示，FRUC帧616也可以存在于基本层604中。
图7示出了根据如上所述的一个实施例的FRUC编码过程的流程图。在步骤702，将输入媒体(视频)序列划分为基本层帧和增强层帧。在一个实施例中，在每个增强帧和每个潜在FRUC帧之间存在一一对应关系。在其他实施例中，增强帧与潜在FRUC帧的比率不必一定是一一对应的。一旦视频序列已经被划分，操作就继续到步骤704，在此，根据所使用的标准编码方案对基本层中的帧进行编码。例如，可以使用H.264标准中提出的编码标准。然后，在步骤706，对与要进行编码的增强帧同一时刻的FRUC帧进行插值。在一个实施例中，FRUC帧可以取决于所重建的当前帧和所存储的先前帧两者。其他实施例可以使用上述的其他FRUC算法。在步骤708，在插值后的FRUC帧的辅助下对增强层中的帧进行编码。
应该注意的是，在此所述的模块和处理块可以使用各种硬件/软件实施来实现。因此，本领域技术人员应该理解的是，例如，同一处理器可以执行FRUC操作以及SAD计算。此外，数字信号处理器(DSP)或者其他专用处理器可以与通用处理器结合使用，来实现在此所述的功能。执行一种(或多种)特定功能的模块或单元的范围不应局限于执行上述一种(或多种)功能的特定电路，而是还可以包括用于执行上述一种(或多种)功能的处理器。
本发明基于上述模式选择方法，实现了对所传输比特流的节省，而对于视觉质量只有很少甚至没有损害。例如，存在由于同一质量级别上的标准(H.26X/MPEG-X)比特流语法的增加而造成的比特率/带宽的降低。这将降低丢弃增强比特流的可能性，并且由此提高所重建视频的质量。在一个实施例中，在对增强层进行编码时，不需要传输运动矢量信息，因为在解码器端通过简单的插值功能就能够恢复/计算出该信息。因此，能够实现所有的比特率节省。
另外，通过根据接收器的硬件资源的最佳使用而对适当FRUC算法进行的自适应选择，可以实现计算上的分级性。例如，如果解码器具有内建的运动估计加速器，则可以选择具有MV处理的种子ME辅助MCI的FRUC算法。可以实现更好的时间分级，因为通过使用FRUC特征，视频将重放全帧速率，在此，仅仅当接收到基本层比特流时才插入FRUC帧。还能够实现在解码器上的节能，特别是在手持设备上，在此，视频流的FRUC辅助重建与完整的B帧重建相比需要较少的周期。
可以预见的是，当使用图像的IBP组(GOP)结构时，B帧达到占用全部帧速率的30％。因此，本发明通过降低为传输B帧所分配的数据，可以降低整体比特率。例如，对于IBP GOP结构而言，当将基本层和增强层放在一起时，比特率最大可以降低15％。当使用IBBP GOP或者IBBBP GOP结构时该百分比上升，这是因为这些结构使用了更多的B帧。对于在I和P之间具有更多数量的B帧的结构而言，该百分比更大。
图8示出了在无线系统中接入终端802x和接入点804x的方框图。在此所述的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算设备，或者其可以是独立设备，例如个人数字助理。接入终端还可以指用户单元、移动站点、移动设备(mobile)、远程站点、远程终端、用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线连接功能的手持设备、或者连接到无线调制解调器上的其他处理设备。在此所述的“接入点”指的是在空中接口上通过一个或多个扇区与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空中接口帧转换为IP分组，来充当在接入终端与包括IP网络在内的接入网络的其他部分之间的路由器。接入点还协调空中接口的属性管理。
对于反向链路而言，在接入终端802x，发射(TX)数据处理器814接收来自数据缓冲器812的通信量数据，根据所选择的编码和调制方案来处理(例如，编码、交错、以及符号映射)每个数据分组，并提供数据符号。数据符号是数据的调制符号，导频符号(pilotsymbol)是导频(其已知为先验的)的调制符号。调制器816接收数据符号、导频符号，并且可能还有反向链路的信令，执行系统所指定的(例如OFDM)调制和/或者其他处理，并提供输出芯片的流。发射器单元(TMTR)818处理(例如转换为模拟、滤波、放大、和频率上转换)输出芯片流并生成经过调制的信号，该信号是从天线820发射的。
在接入点804x，由与接入点804x通信的接入终端802x和其他终端所发射的经过调制的信号被天线852接收。接收器单元(RCVR)854处理(例如，调节和数字化)来自天线852的所接收信号，并提供所接收采样。解调器(Demod)856处理(例如，解调和检测)所接收采样，并提供所检测的数据符号，其是由终端发射到接入点804x的数据符号的噪声估计。接收(RX)数据处理器858处理(例如，符号解映射、解交错和解码)每个终端的所检测的数据符号，并提供该终端的被解码数据。
对于前向链路，在接入点804x，由TX数据处理器860处理通信量数据以生成数据符号。调制器862接收数据符号、导频符号、和前向链路的信令，执行(例如OFDM)调制和/或者其他相关处理，并提供输出芯片流，所述芯片流由发射器单元864进行进一步调节，并从天线852发射。前向链路信令可以包括由控制器870对所有终端所产生的功率控制命令，其在反向链路上发射到接入点804x。在接入终端802x，由接入点804x所发射的被调制信号由天线820所接收，由接收器单元822进行调节和数字化，并由解调器824进行处理，以获得所检测的数据符号。RX数据处理器826处理所检测的数据信号，并为终端提供被解码数据并提供前向链路信令。控制器830接收功率控制命令，并控制在反向链路上到接入点804x的数据传输和发射功率。控制器830和870分别控制接入终端802x和接入点804x的操作。存储器单元832和872分别存储控制器830和870所使用的程序代码和数据。
所公开的实施例可以应用到以下技术中的任意一种或者其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
应该注意的是，在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施例中，客户机是具有通信能力的手持计算机。在再一实施例中，客户机是具有通信能力的个人计算机。另外，诸如GPS接收器之类的硬件可以按照需要结合到客户机中，来实现各种实施例。与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，该处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
所公开的实施例可以应用到以下技术中的任意一种或者其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
应该注意的是，在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施例中，客户机是具有通信能力的手持计算机。在再一实施例中，客户机是具有通信能力的个人计算机。
与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
与在此所公开的实施例有关的所述方法和算法的步骤可以直接用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储介质耦合到处理器，从而使得存储器能够从存储介质中读出信息，并将信息写入存储介质中。可替换的，存储介质可以集成到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。可替换的，处理器和存储介质可以作为分立部件而位于用户终端中。
提供了对所公开的实施例的描述，以使得本领域技术人员来实现和完成本发明。对于这些实施例的各种修改对于本领域技术人员是显而易见的，并且在此所定义的一般原理可以应用到其他实施例而不会脱离所述实施例的精神和范围，例如，应用在即时消息服务中或者任何普通无线数据通信应用中。因此，本描述的范围不是要局限于在此所示的实施例，而是要对其给予与在此所公开的原理和新颖特征相一致的最大范围。单词“示例性”在此专用于“用作示例、实例或者举例说明”的意思。在此作为“示例性”所述的任何实施例不是必须要构建为优于其他实施例的。

Claims (23)

1、用于对视频流进行解码的一种方法，所述方法包括：
将所述视频流划分为具有多个主层帧的主层，和具有多个插值层帧的插值层；
对帧速率上变换(FRUC)帧进行插值；以及
在插值后的FRUC帧的辅助下，对在所述主层中的多个主层帧进行编码。
2、如权利要求1所述的方法，其中，每个主层帧与每个潜在FRUC帧之间存在一一对应关系。
3、如权利要求1所述的方法，其中，所述FRUC帧取决于所重建的当前帧和所存储的先前帧。
4、如权利要求1所述的方法，其中，所述的对所述FRUC帧进行插值包括，对与要进行编码的主层帧同一时刻的FRUC帧进行插值。
5、如权利要求1所述的方法，其中，所述的在插值后的FRUC帧的辅助下对在所述主层中的多个主层帧进行编码包括，执行在所述多个插值层帧中的一个插值层帧的宏块的模式选择过程。
6、其上存储有指令的一种计算机可读介质，所存储的指令当被处理器执行时，使得所述处理器执行用于对视频流进行编码的一种方法，所述方法包括：
将所述视频流划分为具有多个主层帧的主层，和具有多个插值层帧的插值层；
对帧速率上变换(FRUC)帧进行插值；以及
在插值后的FRUC帧的辅助下，对在所述主层中的多个主层帧进行编码。
7、如权利要求6所述的计算机可读介质，其中，每个主层帧与每个潜在FRUC帧之间存在一一对应关系。
8、如权利要求6所述的计算机可读介质，其中，所述FRUC帧取决于所重建的当前帧和所存储的先前帧。
9、如权利要求6所述的计算机可读介质，其中，所述的对所述FRUC帧进行插值包括，对与要进行编码的主层帧同一时刻的FRUC帧进行插值。
10、如权利要求6所述的计算机可读介质，其中，所述的在插值后的FRUC帧的辅助下对在所述主层中的多个主层帧进行编码包括，执行在所述多个插值层帧中的一个插值层帧的宏块的模式选择过程。
11、一种用于对视频流进行编码的设备，包括：
用于将所述视频流划分为具有多个主层帧的主层和具有多个插值层帧的插值层的装置；
用于对帧速率上变换(FRUC)帧进行插值的装置；以及
用于在插值后的FRUC帧的辅助下，对在所述主层中的多个主层帧进行编码的装置。
12、如权利要求11所述的设备，其中，每个主层帧与每个潜在FRUC帧之间存在一一对应关系。
13、如权利要求11所述的设备，其中，所述FRUC帧取决于所重建的当前帧和所存储的先前帧。
14、如权利要求11所述的设备，其中，用于对所述FRUC帧进行插值的装置，用于对与要进行编码的主层帧同一时刻的FRUC帧进行插值。
15、如权利要求11所述的设备，其中，所述用于在插值后的FRUC帧的辅助下对在所述主层中的多个主层帧进行编码的装置，包括用于执行在所述多个插值层帧中的一个插值层帧的宏块的模式选择过程的装置。
16、一种接收视频流的视频编码器处理器，所述视频编码器处理器包括：
帧速率上变换(FRUC)模块，所述FRUC模块从所接收的视频流中生成多个FRUC帧；
速率失真代价(RD_cost)计算模块，其耦合到所述FRUC模块，所述RD_cost计算模块接收所述多个FRUC帧，并基于所述多个FRUC帧中的一个中的宏块，来计算F帧宏块RD_cost；以及
模式决定模块，其耦合到所述RD_cost计算模块，所述模式决定模块用于将基于所述多个FRUC帧中的一个中的宏块的F帧宏块RD_cost，与在相应B帧中的相应宏块的B帧宏块RD_cost进行比较。
17、如权利要求16所述的视频编码器处理器，其中，所述模式决定模块还用于，当基于所述多个FRUC帧中的一个中的宏块的F帧宏块RD_cost比在相应B帧中的相应宏块的B帧宏块RD_cost低时，为输出视频流选择F帧编码模式。
18、如权利要求16所述的视频编码器处理器，还包括B帧编码器，所述B帧编码器生成相应的B帧。
19、如权利要求16所述的视频编码器处理器，还包括，差值绝对值之和(SAD)计算模块，其耦合到所述FRUC模块，所述SAD计算模块用于计算基于所述多个FRUC帧中的一个中的宏块的SAD值，和在相应B帧中的相应宏块的SAD值。
20、如权利要求19所述的视频编码器处理器，其中，所述SAD计算模块用于计算基于所述多个FRUC帧中的一个中的宏块的SAD值，与在相应B帧中的相应宏块的SAD值之间的差值，并将所述差值与预定阈值进行比较，如果所述差值小于所述预定阈值，则所述SAD计算模块生成指示F帧模式的单个比特。
21、对视频流进行编码的一种方法，所述方法包括：
从所接收的视频流中生成多个帧速率上变换(FRUC)帧；
基于所述多个FRUC帧中的一个中的宏块，来计算F帧宏块RD_cost；
将所计算的F帧宏块RD_cost与在相应B帧中的相应宏块的B帧宏块RD_cost进行比较；以及
根据所述比较的结果，选择编码方案。
22、对视频流进行编码的一种设备，所述设备包括：
用于从所接收的视频流中生成多个帧速率上变换(FRUC)帧的装置；
用于基于所述多个FRUC帧中的一个中的宏块，来计算F帧宏块RD_cost的装置；
用于将所计算的F帧宏块RD_cost与在相应B帧中的相应宏块的B帧宏块RD_cost进行比较的装置；以及
用于根据所述比较的结果，选择编码方案的装置。
23、其上存储有指令的一种计算机可读介质，所存储的指令当被处理器执行时，使得所述处理器执行对视频流进行编码的一种方法，所述方法包括：
从所接收的视频流中生成多个帧速率上变换(FRUC)帧；
基于所述多个FRUC帧中的一个中的宏块，来计算F帧宏块RD_cost；
将所计算的F帧宏块RD_cost，与在相应B帧中的相应宏块的B帧宏块RD_cost进行比较；以及
根据所述比较的结果，选择编码方案。
CN200580029061XA 2004-07-01 2005-07-01 在可分级视频编码中的使用帧速率上变换技术的方法与设备 Expired - Fee Related CN101010964B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US58515404P 2004-07-01 2004-07-01
US60/585,154 2004-07-01
US66581605P 2005-03-22 2005-03-22
US60/665,816 2005-03-22
PCT/US2005/023333 WO2006007527A2 (en) 2004-07-01 2005-07-01 Method and apparatus for using frame rate up conversion techniques in scalable video coding

Publications (2)

Publication Number Publication Date
CN101010964A true CN101010964A (zh) 2007-08-01
CN101010964B CN101010964B (zh) 2012-01-04

Family

ID=35116155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580029061XA Expired - Fee Related CN101010964B (zh) 2004-07-01 2005-07-01 在可分级视频编码中的使用帧速率上变换技术的方法与设备

Country Status (15)

Country Link
US (1) US8948262B2 (zh)
EP (1) EP1774779A2 (zh)
JP (2) JP5038134B2 (zh)
KR (2) KR100913260B1 (zh)
CN (1) CN101010964B (zh)
AR (1) AR049454A1 (zh)
AU (1) AU2005262409A1 (zh)
BR (1) BRPI0512816A (zh)
CA (1) CA2572605C (zh)
IL (1) IL180444A0 (zh)
MX (1) MX2007000254A (zh)
PE (1) PE20060536A1 (zh)
RU (1) RU2370909C2 (zh)
TW (1) TWI392374B (zh)
WO (1) WO2006007527A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907092A (zh) * 2010-05-26 2013-01-30 高通股份有限公司 相机参数辅助式视频帧速率上转换
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
CN103929648A (zh) * 2014-03-27 2014-07-16 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
CN108347617A (zh) * 2011-11-07 2018-07-31 佳能株式会社 编码设备
CN112534827A (zh) * 2018-08-10 2021-03-19 索尼公司 接收装置、接收方法、发送装置和发送方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007536817A (ja) 2004-05-04 2007-12-13 クゥアルコム・インコーポレイテッド 動作補償されたフレームレートアップコンバージョンのための方法および装置
WO2006007527A2 (en) 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
AU2005267171A1 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8582660B2 (en) 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
TW200814641A (en) * 2006-06-07 2008-03-16 Qualcomm Inc Methods and apparatus for using control values to control communications processing
US8565217B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless downlink signaling flows
US8565216B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless uplink signaling flows
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US10084627B2 (en) 2006-07-10 2018-09-25 Qualcomm Incorporated Frequency hopping in an SC-FDMA environment
US8457221B2 (en) 2006-09-08 2013-06-04 Qualcomm Incorporated Signaling transmission with localized spreading for wireless communication
BRPI0717951B1 (pt) 2006-11-06 2019-11-12 Qualcomm Inc método, memória legível por computador e sistema para controle de potência de transmissão dependente de carga de sub-banda
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
WO2008084980A1 (en) 2007-01-09 2008-07-17 Samsung Electronics Co., Ltd. Apparatus and method for allocating resources in a single carrier-frequency division multiple access system
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8009567B2 (en) * 2009-02-05 2011-08-30 Cisco Technology, Inc. System and method for improved data transmission reliability over a network
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
JP2022008719A (ja) * 2016-11-23 2022-01-14 セルヴァス エーアイ インコーポレイテッド 疾患発症予測方法及び装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
GB2050109B (en) 1979-05-08 1984-01-25 British Broadcasting Corp Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) * 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH08510880A (ja) * 1993-06-01 1996-11-12 トムソン マルチメディア ソシエテ アノニム 動き補償された補間の方法及び装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1997046020A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion vector processing
DE69710413T2 (de) 1996-05-24 2002-10-02 Koninkl Philips Electronics Nv Bewegungsschätzung
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
DE69721595T2 (de) * 1996-11-07 2003-11-27 Matsushita Electric Ind Co Ltd Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) * 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
US6493385B1 (en) 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
WO2001033864A1 (en) * 1999-10-29 2001-05-10 Koninklijke Philips Electronics N.V. Video encoding-method
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP2003533800A (ja) 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
KR100504641B1 (ko) 2000-06-28 2005-08-01 미쓰비시덴키 가부시키가이샤 화상 부호화 장치 및 화상 부호화 방법
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
EP1830577A1 (en) * 2002-01-18 2007-09-05 Kabushiki Kaisha Toshiba Video decoding method and apparatus
KR100976718B1 (ko) 2002-02-28 2010-08-18 엔엑스피 비 브이 필드 레이트 업변환을 위한 방법 및 장치
KR100850705B1 (ko) 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) * 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
AU2003240828A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Video interpolation coding
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
AU2003256009A1 (en) 2002-09-11 2004-04-30 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
JP2007536817A (ja) * 2004-05-04 2007-12-13 クゥアルコム・インコーポレイテッド 動作補償されたフレームレートアップコンバージョンのための方法および装置
WO2006007527A2 (en) 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
AU2005267171A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907092A (zh) * 2010-05-26 2013-01-30 高通股份有限公司 相机参数辅助式视频帧速率上转换
CN102907092B (zh) * 2010-05-26 2017-02-15 高通股份有限公司 相机参数辅助式视频帧速率上转换
CN108347617A (zh) * 2011-11-07 2018-07-31 佳能株式会社 编码设备
CN108347617B (zh) * 2011-11-07 2022-05-03 佳能株式会社 编码设备
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
CN103929648A (zh) * 2014-03-27 2014-07-16 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
CN112534827A (zh) * 2018-08-10 2021-03-19 索尼公司 接收装置、接收方法、发送装置和发送方法

Also Published As

Publication number Publication date
BRPI0512816A (pt) 2008-04-08
KR20070053212A (ko) 2007-05-23
TW200625963A (en) 2006-07-16
US8948262B2 (en) 2015-02-03
US20060002465A1 (en) 2006-01-05
WO2006007527A2 (en) 2006-01-19
MX2007000254A (es) 2007-04-09
TWI392374B (zh) 2013-04-01
JP2011182408A (ja) 2011-09-15
IL180444A0 (en) 2007-06-03
CN101010964B (zh) 2012-01-04
EP1774779A2 (en) 2007-04-18
WO2006007527A3 (en) 2006-08-17
CA2572605A1 (en) 2006-01-19
KR100913260B1 (ko) 2009-08-21
RU2007103812A (ru) 2008-08-10
AU2005262409A1 (en) 2006-01-19
AR049454A1 (es) 2006-08-02
JP5038134B2 (ja) 2012-10-03
JP2008505555A (ja) 2008-02-21
CA2572605C (en) 2013-04-02
PE20060536A1 (es) 2006-06-28
KR20080112369A (ko) 2008-12-24
RU2370909C2 (ru) 2009-10-20
JP5175370B2 (ja) 2013-04-03

Similar Documents

Publication Publication Date Title
CN101010964B (zh) 在可分级视频编码中的使用帧速率上变换技术的方法与设备
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
CN102065302B (zh) 一种基于h.264的可伸缩视频编码方法
CN101189882B (zh) 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
CN101601296B (zh) 使用套叠式模式标记的用于可分级视频编码的系统和方法
US20090041130A1 (en) Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal
CN102036062B (zh) 视频编码方法、装置及电子设备
US8942292B2 (en) Efficient significant coefficients coding in scalable video codecs
CN106961603B (zh) 帧内编码帧码率分配方法和装置
JP2011512047A (ja) メタデータを使用してより低い複雑さの複数ビットレートビデオ符号化を実行する方法及び装置
CN101548549A (zh) 精细粒度可伸缩图像编码和解码
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
CN101909211B (zh) 基于快速模式判决的h.264/avc高效转码器
WO2007109993A1 (en) Error control system, method, encoder and decoder for video coding
US20130251031A1 (en) Method for bit rate control within a scalable video coding system and system therefor
US20110211637A1 (en) Method and system for compressing digital video streams
CN104539948A (zh) 视频处理系统和视频处理方法
CN102572428B (zh) 面向多媒体传感网分布式编解码的边信息估计方法
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法
CN102420987A (zh) 基于分层b帧结构的码率控制的自适应比特分配方法
KR20060070400A (ko) 영상 신호의 인코딩 및 디코딩 방법
CN101998117B (zh) 视频转码方法和装置
CN100448295C (zh) 一种低复杂度的积分码率控制方法
CN115701709A (zh) 视频编码方法、装置、计算机可读介质及电子设备
KR100713400B1 (ko) 평균 히스토그램 오차 방식을 이용한 ｈ．263/ｍｐｅｇ비디오 인코더 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1122930

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120104

Termination date: 20150701

EXPY Termination of patent right or utility model