CN102150429A - 用于使用构建的参考帧进行视频编码的系统及方法 - Google Patents

用于使用构建的参考帧进行视频编码的系统及方法 Download PDF

Info

Publication number
CN102150429A
CN102150429A CN2009801357282A CN200980135728A CN102150429A CN 102150429 A CN102150429 A CN 102150429A CN 2009801357282 A CN2009801357282 A CN 2009801357282A CN 200980135728 A CN200980135728 A CN 200980135728A CN 102150429 A CN102150429 A CN 102150429A
Authority
CN
China
Prior art keywords
frame
reference frame
video
series
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801357282A
Other languages
English (en)
Other versions
CN102150429B (zh
Inventor
J·班科斯基
许耀武
P·威尔金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN102150429A publication Critical patent/CN102150429A/zh
Application granted granted Critical
Publication of CN102150429B publication Critical patent/CN102150429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本文公开了一种用于数字视频编码预测的方法，其包括使用编码器创建构建的参考帧，以及使用该构建的参考帧压缩一系列源视频帧，以获得包括用于随后解码过程的压缩数字视频信号的比特流。该构建的参考帧在随后查看过程期间从一系列数字视频帧中忽略。

Description

用于使用构建的参考帧进行视频编码的系统及方法
相关申请的交叉引用
本申请要求对2008年12月5日提交的第12/329,041号美国专利申请的优先权，其要求对2008年9月11日提交的第61/096,189号美国临时专利申请的优先权，在此通过参考并入二者的全部内容。
技术领域
本发明总体上涉及视频编码及解码。
背景技术
现今，越来越多的应用将数字视频用于各种目的，包括例如经由视频会议进行的远程商务会谈、高清晰度视频娱乐、视频广告以及对用户生成的视频的分享。随着技术的演进，人们对视频质量有了更高的期望，并且期望视频即便在具有有限带宽的通信信道上传输时也具有高分辨率。
为了在限制带宽消耗的同时允许较高质量的视频传输，便注意到了大量视频压缩机制，包括专用格式，诸如VPx(由位于New York的Clifton Park的On2 Technologies，Inc.所发布)，以及H.264标准(由ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)发布)，包括其目前的版本和将来的版本。H.264也称为MPEG-4第10部分或MPEG-4 AVC(正式称为ISO/IEC 14496-10)。
这些压缩机制可以使用预测技术，用于最小化传输视频信息所需的数据量。预测技术可以允许多个过去传输的帧与将来的帧不按顺序传输，并且用作针对帧中宏块的潜在参考帧预测符。例如，视频压缩机制(诸如MPEG或H.264标准)允许帧不按顺序传输，并且通过使用前向预测或双向预测来使用这些帧以产生更好的预测符。此外，举例而言，H.264视频压缩标准允许将多个过去参考帧用作预测符。
发明内容
本发明的实施方式具有在比特流中传输信息的能力，该信息将用于填充在随后帧的预测中使用的参考缓存。此信息对应于不是随后显示的构建的参考帧。
本发明的一个实施方式是查看从一系列源视频帧获得的一系列数字视频帧的方法。根据此实施方式，该方法包括使用编码器来创建构建的参考帧，以及使用该构建的参考帧来压缩所述一系列源视频帧，以获得包括用于随后解码过程的已压缩数字视频信号的比特流。构建的参考帧被解码，但继而在随后的查看过程期间被从所述一系列数字视频帧中忽略。
本发明的这些实施方式和其他实施方式，包括从一系列数字视频帧中提取构建的参考帧的方法，另外在下文详细描述。
附图说明
此处的描述参考附图，其中相似的附图标记贯穿若干视图指代相似部分，并且其中：
图1是视频压缩比特流中各层的层次结构的示图；
图2是根据本发明实施方式进行的编码和重建视频数据的框图；
图3是根据本发明实施方式的视频解压缩系统的框图；
图4是根据本发明实施方式的构建的参考帧的图片表示；
图5是示出了根据本发明实施方式的用于组装构建的参考帧的示例性方法的流程图；
图6是示出了根据本发明实施方式的用于组装构建的参考帧的示例性方法的流程图；
图7是示出了用于计算针对构建的参考帧的提升得分的示例性方法的流程图；以及
图8是示出了根据图7中所示示例性方法来处理跳出条件的示例的流程图循环。
具体实施方式
参考图1，视频编码格式(诸如VP8或H.264)提供了针对视频流11的确定的分层层次结构。该分层中的最高级是视频序列13。在下一级，视频序列13包括若干相邻帧15，该帧15可以进一步细分成单个帧17。在下一级，帧17包括一系列固定大小的宏块20，该宏块20包含与例如帧17中所显示的大小为16×16的像素块相对应的压缩数据。每个宏块包含对应像素的亮度和色度数据。宏块20还可以为任意其他适当的大小，诸如16×8像素群或8×16像素群。宏块20进一步细分为块。一个块例如是可以进一步描述对应像素亮度和色度数据的4×4像素群。块还可以是任意其他适当的大小，诸如8×8像素、8×4像素和4×8像素。
参考图2，根据一个实施方式，为了对输入视频流16进行编码，编码器14在前向路径(由实线连接线示出)中执行以下功能以便产生经编码的比特流26：帧间/帧内预测18、变换19、量化22和熵编码24。编码器14还包括用于重建帧以对其他宏块进行编码的重建路径(由虚线连接线示出)。编码器14在重建路径中执行以下功能：去量化28、逆变换30、重建32和循环滤波34。编码器14的其他结构变体也可以用于比特流26的编码。
当出现输入视频流16用于编码时，以宏块为单位对输入视频流16内的每个帧17进行处理。在帧内/帧间预测阶段18，使用帧内预测模式或帧间预测模式对每个宏块进行编码。在任一情况下，可以基于重建的帧来形成预测宏块。在帧内预测的情况下，根据当前帧中之前已编码且重建的采样形成预测宏块。在帧间预测的情况下，根据如此处另外详细描述的一个或多个构建的参考帧形成预测宏块。
接下来，仍然参考图2，从当前宏块中减去预测宏块，以产生残差宏块(残差)。变换阶段19对残差进行变换编码，以及量化阶段22将残差量化以提供一组量化的变换系数。该量化的变换系数继而通过熵编码阶段24进行熵编码。经熵编码的系数与对宏块进行解码所需的信息(诸如，所使用的预测模型类型、运动向量和量化值)一起被输出到经压缩的比特流26。
图2中呈现的重建路径用于保证编码器和解码器两者都使用解码宏块所需的相同参考帧。类似于在下文更加详细描述的解码过程期间进行的功能，重建路径包括通过去量化阶段28将变换系数去量化，以及通过逆变换阶段30对该系数进行逆变换，以产生导出的残差宏块(导出残差)。在重建阶段32，将预测宏块添加到导出的残差以创建重建的宏块。环路滤波器34应用于重建的宏块以减少成块失真。
参考图3，根据一个实施方式，为了解码压缩的比特流26，类似于先前讨论的编码器14的重建路径，解码器21执行以下功能以产生输出视频流35：熵解码25、去量化27、逆变换29、帧内/帧间预测23、重建31、环路滤波器34和去块滤波33。解码器21的其他结构变体也可以用于解码压缩的比特流26。
当压缩的比特流26出现用于解码时，数据元素可以由熵解码阶段25(使用例如上下文自适应二进制算术编码)来熵解码，以产生一组量化的系数。去量化阶段27去量化所述系数，以及逆变换阶段29逆变换所述系数，以产生与编码器14中重建阶段所创建的导出残差相同的导出残差。在帧内/帧间预测阶段23，使用解码自压缩的比特流26的报头信息，解码器21创建与编码器14中所创建的预测宏块相同的预测宏块。在重建阶段31，将预测模块添加到导出残差，以创建重建的模块。环路滤波器34可以应用于重建宏块以进一步减少成块效应。去块滤波器33应用于重建的宏块以减少成块失真，并且结果作为输出视频流35被输出。
再次参考编码器14，视频编码方法通过使用无损或有损压缩算法来压缩视频信号，以压缩每个帧或一系列帧的每个帧的多个块。如从上文描述可以获知，帧内编码指代使用来自帧的数据对该帧进行编码，而帧间编码指代预测编码机制，诸如包括基于其他所谓的“参考”帧对帧进行编码的机制。例如，视频信号经常展现时间冗余，其中帧的时间序列中彼此靠近的帧具有至少一些部分彼此匹配或至少部分彼此匹配。编码器可以利用此时间冗余，通过根据当前帧与一个或多个参考帧之间的差异对帧进行编码来缩减经编码数据的大小。
视频编码器可以使用基于运动补偿的算法，该算法将待编码的帧的多个块与一个或多个其他帧的多个部分匹配。已编码帧的块可以在该帧中相对于参考帧的匹配部分进行转移。此转移以运动向量为特性。块与参考帧的部分匹配部分之间的任何差异可以根据残差进行特性化。编码器14因此可以将帧编码为包括针对该帧的特定划分的一个或多个运动向量和残差的数据。用于编码帧的多个块的特定划分可以通过近似地最小化代价函数来选择，该代价函数例如平衡编码大小与由于编码导致的帧内容的失真。
如上文简要所述，许多视频编码算法首先将每个图片划分成宏块。然后，使用某种形式的预测编码方法(诸如运动补偿)对每个宏块进行编码。某些视频编码标准在其编码中使用不同类型的预测宏块。在一个情形中，宏块可以是以下三种类型中的一种：1)帧内(I)宏块，在其编码中不使用来自其他图片的信息；2)单向预测(P)宏块，使用来自一个在先图片的信息；以及3)双向预测(B)宏块，使用来自一个在先图片和一个将来图片的信息。
为了促进更高质量的压缩视频，具有最佳匹配参考帧以便用最小的差异来进行编码是有益的，这通常会产生更紧凑的编码。目前，如例如公开号为2005/0286629的美国申请中所示，参考帧基于过去帧、将来帧或内部帧，使得编码器可以找到最佳的匹配块以在预测过程中使用。然而，目前使用的参考帧基于向最终用户显示的真实帧。
这会产生若干问题，主要一个问题是：这种参考帧不提供最高质量的参考数据，并且可能导致较低质量的视频压缩。
相反，此处描述的由编码器14创建并使用的参考帧是构建的参考帧，其是编码至比特流中的图像数据的帧并且用于改进随后传输帧的编码。与常规参考帧不同，构建的参考帧不向用户显示。由于此处描述的技术的灵活性，构建的参考帧甚至可以不与视频流的原始图像帧或向用户显示的帧具有相同的尺寸。相反，构建的参考帧充当预测符，向随后的帧给出比先前传输的帧可能提供的更好的预测选择。构建的参考帧的创建不是由比特流定义的。相反，创建最佳可能的构建的参考帧是留给编码器的任务。通过这种方法，构建参考帧的计算开销由编码器而不是解码器承担。
本发明的实施方式使用一个或多个构建的参考帧缓存作为针对当前帧数据片段的预测符。这包括使用这些帧缓存进行运动补偿预测和非运动补偿预测。如在典型的双向预测模式下那样，这还包括使用构建的参考帧与真实参考帧的组合进行预测。
通常，构建的参考帧可以通过许多方法建立并且以各种方式用于编码。在描述特定示例之前，首先下文中总体上描述了用于建立构建的参考帧的方法。
根据创建构建的参考帧的第一方法，将现有帧的副本在该帧正常在图像帧序列中出现之前的某个时间编码至比特流。此处编码的相关参数是参考帧的编码质量或“提升”。构建的参考帧越可靠，该帧的精确编码可能越有价值。相反地，有限预测值的参考帧不需要进行非常高水平精确度的编码。在此第一方法中，该帧的副本通常但并非一定以略高于平均质量的质量进行编码。
根据常规技术使用此构建的参考帧对其他帧进行编码。当在比特流中遇到用于对构建的参考帧进行编码的目标帧时，应当参考现有帧的副本(即，构建的参考帧)对其进行编码。例如，这种编码会随比对构建的参考帧进行编码所用的更低的质量水平或更低的提升而发生。
创建构建的参考帧的另一方法通常包括选择上述目标帧，以及使用时间滤波从以该目标帧为中心的若干源帧中消除视频噪声。图4中示出了这种构建的参考帧。时间滤波可以由编码器应用，例如通过使用诸如专利号为6,178,205的美国专利中描述的运动补偿阈值模糊滤波器，该专利在此通过参考引入其全文。消除帧与帧之间不同的视频噪声使得构建的参考帧成为针对多个帧的更好的预测符，从而提高视频流的数据压缩。
参考图5示出了其他可能的实施方式。首先，在步骤36中选取某帧作为目标参考。然后，针对该帧中的每个宏块执行以下步骤。在步骤38中，选择针对该帧的宏块，继而从若干候选帧中找到针对该帧的最佳匹配宏块。即，在步骤40中，通过在所有其他帧之中对选定宏块进行运动搜索而测试来自若干候选帧的每个候选宏块。即，从若干候选帧的每个帧中标识出与目标参考帧中选定的宏块最为相似的候选宏块。例如，如果在目标参考帧中选定的宏块中存在鼻子，则将从候选帧中选择包含相似图像特性的宏块。在步骤42中，针对每个候选宏块计算误差得分。该误差得分测量该候选宏块与所有其他候选宏块之间差异的总和。在步骤44中，将具有最低总误差得分的候选宏块选作主宏块。在步骤46中，将主宏块拷贝至构建的参考帧中。由于针对目标参考帧的每个宏块执行了步骤38至步骤48，因此在步骤48之后，步骤50询问是否存在任何剩余宏块。如果没有，则过程结束。否则，过程返回步骤38以针对目标参考帧的下一宏块重复步骤38至步骤48。虽然此方法是通过参考宏块进行描述的，但是可以使用任意大小的像素块。
创建构建的参考帧的第三方法是使用背景提取和/或运动分割来只创建用于编码的高质量背景帧。针对背景提取和运动分割的各种技术在本领域中是已知的。通常，具有高运动向量(即，快速运动)的任何块被认为是前景，并且不被拷贝至构建的参考帧中。具有(0，0)运动向量或其他低运动向量(即，缓慢运动)的任何块被认为是背景，并且被拷贝至构建的参考帧中。
当然，虽然此方法描述了只创建高质量的背景帧，但在理论上上对经编码的构建的帧的数量并无限制。因此，还有可能将前景和背景分割成单独构建的参考帧。
虽然先前没有提到，但是为了促进以所描述的方式来使用参考帧，可能期望对用于构建的参考帧的阿尔法信道进行编码。
创建构建的参考帧的另一方法是使用图像超分辨率来构建大小与目标帧不同的帧。没有要求参考帧完全匹配正在编码的实际视频的大小和尺寸。例如，在缩小、平移或旋转中，更大的区域慢慢地在若干帧上展露。大于原始帧的构建的参考帧提供了对于更宽区域的更高质量的预测。
在图6中通过示例的方式示出了创建这种构建的参考帧的一个方法。在第一步骤52中，选定了开始帧N。在步骤54中，针对从开始帧N到帧N+X的每个帧A开始若干步骤，其中X是整数。具体地，在步骤54中，将帧A设置为开始帧N，以及在步骤56中，编码器14检查帧A的数量是否大于帧的N+X数量。如果不大于，则编码器14在步骤58中找到将当前帧A与开始帧N相匹配的最佳全局运动向量。该最佳全局运动向量可以通过任意全局运动向量搜索方法(诸如全面搜索或菱形搜索)找到。在例如由Dane等人所著的文献“Efficient Motion Accuracy Search for Global Motion Vector Coding”(发表于Fortieth Asilomar Conference on Signals，Systems and Computers，ACSSC ’06，Oct.-Nov.2006，pp.1072-1075)中对这种方法进行了描述。
在步骤58之后，帧在步骤60递增，并且新帧在步骤54中变成当前帧A。重复步骤56、步骤58和步骤60，直到当前帧A的数量如步骤56所示大于帧的N+X数量。然后，过程进入步骤62，在其中创建边界区域，用于当使用全局运动向量在多个帧的彼此之上对齐时覆盖整个帧集。在下一步骤64，创建在尺寸上比源帧更大的新图像。优选地，该新图像大至足以在其四处移动时覆盖整个区域。
在找到全局运动向量并在步骤64中创建完全限定视频帧集的新图像之后，针对新图像中的每个像素执行剩余步骤。即，在步骤66中选择新图像中的某像素。在步骤68中，将帧A再次设置为开始帧N，使得针对从开始帧N到帧N+X的每个帧A执行以下步骤。首先，在步骤70中，编码器14检查帧A的数量是否大于帧的N+X数量。如果不大于，则编码器14在步骤71中查询选定的像素是否在当前帧A中。如果在步骤71中选定的像素在当前帧A中，则处理进入步骤72，其中编码器14向候选集添加该像素。处理继而进入步骤73，其中将帧递增。如果在步骤71中选定的像素不在当前帧A中，则处理直接进入步骤73来递增帧。然后，在步骤68中将递增的帧设置为当前帧A，并且在步骤71中在新帧中搜索选定的像素。针对该帧集的每个帧进行此过程，以形成候选集。一旦已针对选定的像素对所有帧进行了检查(由响应于步骤70中的查询的“是”指示)，处理进入步骤74，其中针对候选集执行若干步骤。
即，在步骤74中，从候选集选择最新的像素，并且将候选集中每个剩余的像素与该最新像素进行比较。具体地，在步骤75中，选择候选集中的某像素。在步骤76中，编码器14确定该像素的强度与最新像素的强度之间的差别是否大于预定阈值。该预定阈值由实验确定，并且部分取决于帧中像素的强度范围。如果选定像素的强度与最新像素的强度之间的差别大于预定阈值，则在步骤77中将该像素从候选集中移除。如果候选集中的所有像素在步骤78中均已被检查(并且通过对在步骤76中查询的“否”响应而留在候选集中，或者由于对在步骤76中查询的“是”响应而在步骤77中被从候选集中移除)，则处理进入步骤79。否则，将在步骤75中从候选集中选择新的像素用于在步骤76中与所述最新像素进行比较。
在步骤79中，计算留在候选集中的像素的平均强度。作为一个例子，该平均强度可以是基于帧中像素位置的加权平均。然后，在步骤80中，将该平均强度作为当前像素强度值存储在从新图像创建的构建的参考帧中。即，将该平均强度值与从曾用于开发候选集的新图像中选择的像素的像素位置相关联进行存储。在步骤82中，编码器14查询是否已经检查了新图像中的所有像素。如果已经检查了所有像素，则处理结束。如果没有，则在步骤66中选择新图像中的下一像素。然后针对该下一像素重复步骤70至80中的处理，使得针对该像素的候选集被选定并且平均强度值被指定。
创建构建的参考帧的第五方法包括使用评分方法来对帧内的每个块或宏块进行评分，继而计算针对整个帧的总体得分。该得分可以用于选择哪个现有帧是用来构建参考帧的(即，在当前帧与用于建立构建的参考帧的帧之间提供了什么样的以时间计量的偏移值)。可以使用若干评分标准。例如，评分标准可以包括帧内预测对帧间预测中误差的比例。在这种情况下，该比例越高，可以使用的时间偏移就越大并且可以应用的提升越高。另一标准是运动向量。运动越少，时间偏移和提升就可以越大。另一标准是放大对缩小，以及又一标准是预测质量中衰减的速率。
接下来关于构建的参考帧的选择以及应当应用的更新间隔和比特率提升进行更详细地讨论。
在本发明的一个特定优选实施方式中，构建的参考帧的使用、频率和质量通过使用双路编码机制确定。某些其他实施方式可以通过单路编码器实现并且可以使用不同的度量。
在第一路中，收集关于视频剪辑(即，一系列源帧或图像)特性的信息。每个宏块以两种方式中的一种进行编码，即：简单DC预测帧内模式，或者使用运动向量并且参考先前帧重建缓存的帧间模式。
标记两种编码方式的重建误差得分，并且保留针对帧内模式以及针对帧内或运动补偿帧间模式的最佳模式的帧的累积得分的记录。通常最佳模式是帧间编码模式。因此，在以下描述中，累积最佳得分将被称为帧的帧间误差得分，尽管帧间编码模式并不一定对于每个帧而言都是最佳模式。
还保留了如下记录，在其中最佳编码模式是帧间而不是帧内的宏块的百分比；在其中选择零(空)运动向量的帧间编码宏块的百分比；以及关于所使用的运动向量的摘要信息。
在其中选择零(空)运动向量的帧间编码宏块的百分比指示图像在多大部分上是静态的。
关于所使用的运动向量的摘要信息包括使用非零向量的宏块的数量；以及每个运动向量分量(x，y)的总和值以及绝对值总和。根据这些值，可以计算该帧的平均运动向量(如果存在某些正值和某些负值，则这些值可以抵消)以及该帧的平均运动向量量值。
在第一路中收集的信息的一个用途是确定是否或多么频繁地对构建的参考帧进行编码，以及在它们上面花费多少比特，其包括编码机制的第二路。在某些实施方式中，以略微高于平均质量(即，更高程度的提升)对构建的帧进行编码。
通过对“经提升的”构建的参考帧进行编码而获得的益处大部分取决于从较短的帧序列中的一个帧到另一个帧的预测的质量。如上文简略参考构建这种参考帧的一个实施方式而进行的描述，用于对此进行建立的测量可以是帧内/帧间比。该帧内/帧间比是帧的总帧内误差得分(如在第一路中所测量)除以该帧的累积帧间(或最佳)误差得分的比率。大的帧内/帧间比(IIRatio)指示出使用帧间编码给出了非常大的益处，其反过来意味着该帧很好地被之前的帧所预测。
对于构建的参考帧可能与其相关的一连串帧，上至定义的最大间隔(Max_interval)，如下文所述并且参考图7所示计算提升得分。最初，在步骤84中选择开始帧N。然后，针对从N到N+Max_interval的每个帧A，执行若干步骤。即，在步骤86中，当前帧A首先被设为开始帧N，并且如之后所讨论的那样递增当前帧A。如步骤88中所示，一旦当前帧A的数量大于帧的N+Max_interval数量，则过程结束。只要当前帧A的数量不超过帧的N+Max_interval数量，过程继续到步骤90。
在步骤90中，将变量ThisFrameDecayRate设置为等于变量Nextframe％InterCoded。变量ThisFrameDecayRate表示帧A的衰减率。变量Nextframe％InterCoded是上述针对下一帧保留的在其中最佳编码模式为帧间编码而不是帧内编码的宏块的百分比的记录。在Nextframe％InterCoded数量低的情况下，这指示出下一帧中许多块未能被当前帧很好地预测(因此最终被帧内编码)。
在步骤90之后，编码器14的处理进入步骤92，其中设置了变量DistanceFactor。步骤92中计算的DistanceFactor通常指示针对帧的提升期望，以及应当执行的相对提升量。基本上，使用乘法器来实现下文另外详细描述的提升得分。运动量越大，DistanceFactor的值越小，因为高量运动使得期望最小化或消除提升。类似地，如果帧中指示低量运动，则其由DistanceFactor的较高值所反映，因为期望较高的提升水平。在步骤92中，将DistanceFactor设置为等于变量ThisFrameAverageMotionVetcorLength除以300.0(在此情况下)。该除数部分地基于在其中指定了变量ThisFrameAverageMotionVetcorLength的像素单元的数量。在此情况下，变量被指定在1/8的像素单元中。变量ThisFrameAverageMotionVetcorLength是针对当前帧的平均运动向量，该变量是从关于上文所述运动向量的摘要信息中计算的。除数300在此表示大约300/8个像素的平均运动向量，并且由实验确定。这是程度很高的运动，其指示不期望向该帧应用提升。如前所述，除数部分地基于在其中指定了变量ThisFrameAverageMotionVectorLength的像素单元的数量。该除数还可以基于帧的大小。例如，HD很可能要求更高的除数以便应用正确的提升。
在下一步骤94中，将变量DistanceFactor与数量1.0进行比较。如果DistanceFactor小于或等于1.0，则在步骤96中将DistanceFactor设置为1.0-DistanceFactor。否则，在步骤98中将DistanceFactor设置为0。无论DistanceFactor如何设置，处理都进入步骤100，其中编码器14将DistanceFactor与变量ThisFrameDecayRate进行比较。如果在步骤100中DistanceFactor小于ThisFrameDecayRate，则处理进入步骤102，其中变量ThisFrameDecayRate取DistanceFactor的值。然后，处理进入步骤104。如果在步骤100中DistanceFactor不小于ThisFrameDecayRate，则过程直接进入步骤104。
在步骤104中，将变量DecayFactor设置为等于DecayFactor的先前值乘以变量ThisFrameDecayRate。DecayFactor是从1.0开始的值，并且根据在第一路中帧间编码的下一帧中块的％随每个帧减小(由变量ThisFrameDecayRate指示)。如先前所提到的，当Nextframe％InterCoded数量低时，这指示出在下一帧中有许多块未能被当前帧良好地预测(因此最终被帧内编码)。因此，一旦宏块已经在序列中进行了一次帧内编码，便假设针对该宏块，位于该序列的相对两端的帧之间的预测链接已经断开。DecayFactor提供了关于该预测链接的保持的良好程度的相对粗略的度量。
在一个实施方式中，如果当前帧中的运动程度(第一路中所测量)较高，则还可以减小DecayFactor。如上文所提到的，ThisFrameAverageMotionVectorLength在此示例中以1/8像素单元来指定。至于帧中较高程度的帧内编码，假设非常快速的运动(大运动向量)会降低序列两端之间预测链路的质量。
在步骤104之后，处理进入步骤106。在步骤106中，将变量BoostScore更新为先前BoostScore与IIRatio、MultiplierValue、DecayFactor和ZoomFactor的乘积结果的和。IIRatio和DecayFactor先前已经进行了讨论。MultiplierValue提供了可由编码器14用来对特定视频剪辑或应用类型的提升程度进行调整的粗略机制。ZoomFactor是基于当前帧中指向外的运动向量的数量对指向内的运动向量的数量的值。在缩小时，期望更多的提升。当放大时，期望更少的提升。确定ZoomFactor值的一种方法是设置计数器，该计数器针对每个指向外的向量递增并且针对每个指向内的向量递减。当除以向量的数量时，会产生在-1与+1之间的值。缩放比例继而移动到0至+2之间，使得ZoomFactor的值在0与+2之间。在缩小时，ZoomFactor的值更大(即，在此示例中大于1.0)，而在放大时，ZoomFactor的值更小。BoostScore表示针对用于对从N到N+Max_interval的帧进行编码的构建的参考帧的期望的提升。
在步骤108中编码器14推进至下一帧，并且处理循环将会继续，直到达到最大间隔，或者根据一个实施方式直到满足一组跳出条件。跳出条件的使用允许了编码器14在适当情况下选择构建的参考帧更新之间更短的间隔。
参考图8描述了使用跳出条件的一个实施方式。图8的检查是否存在任何跳出条件的步骤在图7所示方法中按预定间隔周期性地执行。步骤可以在预定时间间隔执行，或者可以在图7的处理中的特定预定时间执行，诸如在步骤108中帧被递增时。
在图8中，首先在步骤110中将帧的数量与变量Min_interval进行比较。帧的数量是参考图7描述的当前帧值A。变量Min_interval是在连续构建的参考帧之间的帧的预定最小数量。如果帧的数量不高于该最小值，则编码器14不能跳出，即，编码器14不能选择针对下一构建的参考帧的更短间隔。
如果帧的数量大于Min_interval的值，则检查其余的跳出条件。只需要满足条件中的一个便可以指示满足了跳出条件并且应当发生跳出，即，图7中的处理应当结束在当前帧A，从而缩短在帧的Max_interval数量上使用构建的参考帧的间隔。举例而言，Max_interval为30帧，而Min_interval为4帧。帧速率越低，Max_interval的值应当越低。虽然这些步骤以特定顺序显示，但分析的实际顺序是无关的。
首先，在步骤112中，检查变量MyRatioAccumulator的值。MyRatioAccumulator是使用在第一路中收集的关于运动特性的信息确定的值。MyRatioAccumulator对平均绝对运动向量除以针对每个帧的平均运动向量的结果进行累加，并且基本上是对帧中运动的随机性的测量。较大的值指示出帧中正向量与负向量已经彼此抵消，如在缩放中可能出现的情况那样，例如，在图像两端的向量可以指向相反方向。接近1.0的值指示出所有向量总体上指向相同方向(例如，如在平移中所发生的那样)。在这种情况下，不需要新的构建的参考帧。
如果在步骤112中变量MyRatioAccumulator大于60，则在步骤114中满足跳出条件。在此情况下，值60指示出期望具有更经常产生的构建的参考帧。值60仅是示例，基于源帧的特性(诸如，先前讨论的例如帧的大小以及运动向量长度)可以使用其他值。
如果在步骤112中MyRatioAccumulator不大于60，则对其余跳出条件的分析进入步骤116，其中检查变量AbsMyInOutAccumulator的值。AbsMyInOutAccumulator同样是使用在第一路中收集的关于运动特性的信息确定的值。更具体地，AbsMyInOutAccumulator指示出指向远离图像中心的向量相比于那些指向图像中心的向量的平衡，并且可以通过类似于参考ZoomFactor描述的方式来计算。这有助于区分放大条件与缩小条件。在步骤116中，如果变量AbsMyInOutAccumulator的值大于2，则在步骤114中满足跳出条件，使得新的构建的参考帧变得可取。否则，过程进入步骤118中以检查最终跳出条件。值2是由实验确定的阈值，并且可以基于诸如帧大小或运动向量长度之类的特性而变化。
在步骤118中，将BoostScore与先前BoostScore(PreviousBoostScore)进行比较。如果BoostScore小于PreviousBoostScore+2.0，则发生了提升得分从一个帧到下一帧的增加速率已经减少到阈值量以下的情况。因此，当在步骤118中BoostScore小于PreviousBoostScore+2.0时，在步骤114中满足跳出条件，使得新的构建的参考帧变得可取。否则，所有的跳出条件都已经被检查，并且针对跳出条件的处理结束。重新开始图7中的处理。
步骤118中的值2.0是用作如下指示符的阈值，该指示符指示出序列两端之间预测的质量降至最小可接受水平以下，使得先前构建的参考帧与图7中确定的随后构建的参考帧之间的空间过大(即，有过多的帧使用先前构建的参考帧进行编码)。值2.0对应于图7的步骤106中针对当前帧描述的计算IIRatio*MultiplierValue*DecayFactor*ZoomFactor，并且是在给定用于该计算的变量的范围的情况下基于实验确定的。
参考图7和图8描述的算法将给出Min_interval到Max_interval帧之间建议的更新间隔。其还提供了针对当前更新的建议比特分配(或比特提升)。在此处讨论的示例中，建议的比特分配是100*BoostScore/16，其归一化为百分比比特分配。换句话说，BoostScore是针对每个用于分配可用比特的构建的参考帧的相对值，其取决于存储器、构建的参考帧的数量等。
然而，无论图7和图8中确定的结果如何，仍然存在可能不适于更新所指示的构建的参考帧的情况。
在一个实施方式中，以下标准用于确定经更新的构建的参考帧是否是期望的。如果序列的BoostScore在阈值量之上(指示构建的参考帧与该序列的帧的良好关联)；针对该序列中帧的DecayFactor的平均值在阈值之上(指示序列上的良好预测)；以及没有检测到快速缩放(特别是在其中图像数据离开该图像的放大条件)，则更新是期望的。这些标准优选地在每次循环之后检查，其中当执行时响应于图8中的分析而指示新构建的参考值。如果这些条件中的任意一个没有满足，则继续针对下一构建的参考帧的处理。更具体地，使用先前构建的参考帧对当前帧进行编码，并且图7的计算在下一帧重新开始并继续直到Max_interval，除非再次满足图8的条件以指示期望在更早间隔出现新构建的参考帧。
注意，在支持双向预测的编码器/解码器中，上文定义的用于确定针对构建的参考帧或类似帧的适当性、间隔和提升的算法还可以用于定义连续P帧之间B帧的最佳数量，以及P帧与B帧之间比特的分布。
构建的参考帧不需要向最终用户显示(即，不需要包括在最终解码的视频输出中)，并且不需要对应于真实图像。因此，构建的参考帧的大小和配置是任意的并且可以由编码器14编程地确定，以优化编码的质量。
一个益处在于解码不需要重新执行用于创建构建的参考帧的计算。因此，大量计算过程可以由编码器14承担以导出构建的参考帧，但此过程不需要由解码器21执行，因此允许更快、更简易以及更有效的解码。
已经对上述实施方式进行了描述，以便使得本发明容易理解而不是限制本发明。相反，本发明旨在覆盖包括在所附权利要求书的范围中的各种修改和等价安排，其范围应当被给予最广的理解，以便包括根据法律所允许的所有这种修改和等价结构。

Claims (15)

1.一种用于查看从一系列源视频帧获得的一系列数字视频帧的方法，所述方法包括：
使用解码器创建构建的参考帧；以及
使用所述构建的参考帧压缩所述一系列源视频帧，以获得包括针对随后解码过程的经压缩数字视频信号的比特流，其中所述构建的参考帧在随后查看过程期间从所述一系列数字视频帧中忽略。
2.根据权利要求1所述的方法，其中
使用所述编码器创建构建的参考帧包括在现有源帧以其在所述系列中的顺序出现之前，将所述现有源帧的副本编码到所述比特流中；以及其中
压缩所述一系列源视频帧包括使用所述现有源帧的副本以其在所述系列中的顺序编码所述现有源帧。
3.根据权利要求1或2所述的方法，其中
编码所述现有源帧的副本包括以第一质量级编码所述副本；以及其中
以所述现有源帧在所述系列中的顺序编码所述现有源帧包括以与所述第一质量级不同的第二质量级编码所述现有帧。
4.根据权利要求1所述的方法，其中使用所述编码器创建构建的参考帧包括：
使用时间滤波来从若干源帧中消除视频噪声；
计算针对所述若干源帧的每个宏块的误差得分；以及
将每个源帧的具有最低误差得分的宏块拷贝至所述构建的参考帧中。
5.根据权利要求1或者2所述的方法，其中使用所述解码器创建构建的参考帧包括：
将背景编码为所述构建的参考帧。
6.根据权利要求5所述的方法，其中编码所述背景包括：
计算若干源帧上多个宏块的每个宏块的运动向量，其中所述多个宏块的每个宏块包括多个像素；
将具有在预定限制以下的运动向量的宏块拷贝至所述构建的参考帧中。
7.根据权利要求1或者2所述的方法，其中所述一系列数字视频帧具有预定大小；以及其中所述构建的参考帧具有比使用图像超分辨率开发的预定大小更大的大小。
8.根据权利要求7所述的方法，其中使用所述构建的参考帧压缩所述一系列源视频帧进一步包括使用所述构建的参考帧提供高质量边界区域。
9.根据权利要求7所述的方法，其中使用所述编码器创建所述构建的参考帧包括：
获得开始帧N；
找到全局运动向量，其匹配从所述开始帧N到帧N+X的每个帧A，其中X是正整数；
创建边界区域，其在通过使用所述全局运动向量将所述一系列源视频帧对齐于彼此之上时覆盖所述一系列源视频帧；
创建新图像，其大至足以在其四处运动时覆盖所述整个边界区域；
针对所述新图像中多个像素中的每个像素，从帧序列中选择多个候选像素，所述多个候选像素中的每个像素与相应候选集相关联；
计算每个相应候选集的平均强度值；以及
将所述平均强度值与所述新图像中所述多个像素的相关联像素一起存储为所述构建的参考帧中的像素。
10.根据权利要求9所述的方法，其中找到所述全局运动向量包括使用全面搜索全局运动向量搜索方法与菱形全局运动向量搜索方法中的至少一种。
11.根据权利要求1或者2所述的方法，进一步包括：
基于评分标准对若干源帧中的每个宏块进行评分，其中每个宏块包括多个像素；
计算每个所述源帧的整体得分；以及
基于所述整体得分选择所述源帧中的一个用于创建所述构建的参考帧。
12.根据权利要求11所述的方法，其中所述评分标准包括将帧内预测与帧间预测相比较的比例。
13.根据权利要求11所述的方法，其中所述评分标准包括运动向量。
14.根据权利要求11所述的方法，其中所述评分标准包括预测质量的衰退。
15.根据权利要求11所述的方法，其中所述评分标准包括放大或缩小的结论。
CN2009801357282A 2008-09-11 2009-09-10 用于使用构建的参考帧进行视频编码的系统及方法 Active CN102150429B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9618908P 2008-09-11 2008-09-11
US61/096,189 2008-09-11
US12/329,041 2008-12-05
US12/329,041 US8385404B2 (en) 2008-09-11 2008-12-05 System and method for video encoding using constructed reference frame
PCT/US2009/056448 WO2010030732A2 (en) 2008-09-11 2009-09-10 System and method for video encoding using constructed reference frame

Publications (2)

Publication Number Publication Date
CN102150429A true CN102150429A (zh) 2011-08-10
CN102150429B CN102150429B (zh) 2013-11-20

Family

ID=41799270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801357282A Active CN102150429B (zh) 2008-09-11 2009-09-10 用于使用构建的参考帧进行视频编码的系统及方法

Country Status (7)

Country Link
US (5) US8385404B2 (zh)
EP (1) EP2327212A4 (zh)
JP (1) JP5362831B2 (zh)
KR (1) KR20110059853A (zh)
CN (1) CN102150429B (zh)
CA (1) CA2736886A1 (zh)
WO (1) WO2010030732A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833535A (zh) * 2012-07-03 2012-12-19 深圳市融创天下科技股份有限公司 一种基于宏块统计信息的参考帧筛选方法、装置
WO2014139394A1 (en) * 2013-03-11 2014-09-18 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN106954082A (zh) * 2016-01-07 2017-07-14 中兴通讯股份有限公司 视频编解码方法、编解码装置及系统
CN107005692A (zh) * 2014-11-27 2017-08-01 株式会社Kt 视频信号处理方法和设备
CN108363387A (zh) * 2018-01-11 2018-08-03 驭势科技（北京）有限公司 传感器控制方法及装置
CN108737837A (zh) * 2017-04-25 2018-11-02 安讯士有限公司 形成视频流的方法及图像处理单元
CN109698850A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 处理方法和系统
CN110225349A (zh) * 2013-10-14 2019-09-10 韩国电子通信研究院 用于支持多层的视频编码/解码方法和计算机可读记录介质
US10469864B2 (en) 2014-11-27 2019-11-05 Kt Corporation Method and apparatus for video signal coding using current picture reference flag

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101060495B1 (ko) * 2009-03-19 2011-08-30 주식회사 코아로직 인코딩 장치와 방법 및 그 인코딩 장치를 포함한 멀티미디어 장치
US7917618B1 (en) * 2009-03-24 2011-03-29 Amazon Technologies, Inc. Monitoring web site content
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
JP2011223293A (ja) * 2010-04-09 2011-11-04 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
US9020043B2 (en) 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8611415B1 (en) 2010-11-15 2013-12-17 Google Inc. System and method for coding using improved motion estimation
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
EP4120686B1 (en) * 2011-01-07 2023-08-23 Ntt Docomo, Inc. Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector
US8990435B2 (en) 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9497466B2 (en) * 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8638854B1 (en) * 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
EP2751990A4 (en) 2011-08-29 2015-04-22 Icvt Ltd CONTROL OF A VIDEO CONTENT SYSTEM
FR2980068A1 (fr) * 2011-09-13 2013-03-15 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
CN103828370B (zh) 2011-10-31 2017-11-03 联发科技股份有限公司 缓冲装置、缓冲方法以及熵解码器
EP2777276B1 (en) * 2011-11-08 2019-05-01 Nokia Technologies Oy Reference picture handling
US20130201328A1 (en) * 2012-02-08 2013-08-08 Hing Ping Michael CHUNG Multimedia processing as a service
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
EP2670151A1 (en) * 2012-05-28 2013-12-04 Tektronix Inc. Heuristic method for drop frame detection in digital baseband video
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US10003793B2 (en) 2012-10-01 2018-06-19 Google Technology Holdings LLC Processing of pulse code modulation (PCM) parameters
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9883198B2 (en) * 2012-11-13 2018-01-30 Intel Corporation Video codec architecture for next generation video
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US9756331B1 (en) * 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
RU2666635C2 (ru) 2013-10-14 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Характеристики режима индексной карты основных цветов для кодирования и декодирования видео и изображения
MX2016004705A (es) 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015085575A1 (en) * 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP2017512026A (ja) * 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
EP2980793A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, system and methods for encoding and decoding
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP6558071B2 (ja) * 2015-05-20 2019-08-14 富士通コネクテッドテクノロジーズ株式会社 無線通信装置、無線通信プログラム、及び無線通信方法
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN106331700B (zh) 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
CN106534871B (zh) * 2016-12-06 2019-06-07 北京大学 视频编解码器的编码方法和解码方法
US10448013B2 (en) 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US20180302455A1 (en) * 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates
NL2018969B1 (en) 2017-05-23 2018-12-04 Boskalis Bv Baggermaatschappij Method and system for forming structures in fluid, especially under water
CN109151469B (zh) * 2017-06-15 2020-06-30 腾讯科技（深圳）有限公司 视频编码方法、装置及设备
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
WO2020006690A1 (zh) * 2018-07-03 2020-01-09 深圳市大疆创新科技有限公司 视频处理方法和设备
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10951885B2 (en) 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise
GB2610397A (en) * 2021-09-02 2023-03-08 Samsung Electronics Co Ltd Encoding and decoding video data
CN114466199A (zh) * 2022-04-12 2022-05-10 宁波康达凯能医疗科技有限公司 一种可适用于vvc编码标准的参考帧生成方法与系统

Family Cites Families (218)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629472A1 (de) 1986-08-29 1988-03-03 Licentia Gmbh Verfahren zur bewegungskompensierten bild-zu-bild-praediktionscodierung
ATE74219T1 (de) 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
EP0466981B1 (en) 1990-07-20 1997-02-26 Koninklijke Philips Electronics N.V. Motion vector processing device
EP0533195A2 (en) 1991-09-20 1993-03-24 Sony Corporation Picture signal encoding and/or decoding apparatus
JP3263960B2 (ja) 1991-10-22 2002-03-11 ソニー株式会社 動きベクトル符号器および復号器
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5442458A (en) 1991-12-18 1995-08-15 Eastman Kodak Company Method and associated apparatus for encoding bitplanes for improved coding efficiency
US5461423A (en) 1992-05-29 1995-10-24 Sony Corporation Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal
US5289276A (en) 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
US5371841A (en) 1992-07-31 1994-12-06 Eastman Kodak Company Progressive bit plane reconstruction method
US5389068A (en) 1992-09-01 1995-02-14 Kimberly-Clark Corporation Tampon applicator
WO1994018799A1 (en) 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5717394A (en) 1993-02-10 1998-02-10 Ricoh Company Ltd. Method and apparatus for encoding and decoding data
US5586285A (en) 1993-02-19 1996-12-17 Intel Corporation Method and circuitry for increasing reserve memory in a solid state memory disk
US6236682B1 (en) 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
US6327304B1 (en) 1993-05-12 2001-12-04 The Duck Corporation Apparatus and method to digitally compress video signals
US6181822B1 (en) 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
FI94306C (fi) 1993-07-15 1995-08-10 Nokia Technology Gmbh Menetelmä televisiokuvan pienten kuvasegmenttien liikevektoreiden määrittämiseksi
US5398068A (en) 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
US5999641A (en) 1993-11-18 1999-12-07 The Duck Corporation System for manipulating digitized image objects in three dimensions
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
KR100213018B1 (ko) 1994-07-30 1999-08-02 윤종용 동화상 부호화장치
DE69619002T2 (de) 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
KR0178198B1 (ko) 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US5936673A (en) 1995-05-26 1999-08-10 Intel Corporation Temporal tile staggering for block based video compression
US5568200A (en) 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
AU6376296A (en) 1995-07-11 1997-02-10 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
EP1274253A3 (en) 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
GB9519923D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
GB2308262B (en) 1995-12-16 1999-08-04 Paul Gordon Wilkins Method for analysing the content of a video signal
US5912676A (en) 1996-06-14 1999-06-15 Lsi Logic Corporation MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
US6084912A (en) 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US5926226A (en) 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
US6075875A (en) 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6072537A (en) * 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6359929B1 (en) 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6108383A (en) 1997-07-15 2000-08-22 On2.Com, Inc. Method and apparatus for compression and decompression of video images
KR100244291B1 (ko) 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
US6292837B1 (en) 1997-10-30 2001-09-18 Daniel Miller Apparatus and method for non-sequential image data transmission and display
DE69834902T2 (de) 1997-11-17 2007-02-01 Koninklijke Philips Electronics N.V. Bewegungskompensierte prädiktive bildkodierung und -dekodierung
KR100523908B1 (ko) 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
EP0940774A3 (en) 1998-03-05 2000-07-05 Matsushita Electric Industrial Co., Ltd. Motion vector coding and decoding apparatus and method
JP3856262B2 (ja) 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
JPH11289544A (ja) 1998-04-02 1999-10-19 Sony Corp 動き検出装置およびその方法
US6895051B2 (en) * 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6222174B1 (en) 1999-03-05 2001-04-24 Hewlett-Packard Company Method of correlating immediately acquired and previously stored feature information for motion sensing
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3302939B2 (ja) 1999-03-12 2002-07-15 アールシーエー トムソン ライセンシング コーポレイシヨン 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US6115076A (en) * 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
US6330281B1 (en) * 1999-08-06 2001-12-11 Richfx Ltd. Model-based view extrapolation for interactive virtual reality systems
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6658618B1 (en) 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
CN1366778A (zh) * 2000-04-27 2002-08-28 皇家菲利浦电子有限公司 视频压缩
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
GB2403618A (en) 2000-05-10 2005-01-05 Picturetel Corp Video coding using multiple buffers
GB2381403B (en) 2000-05-10 2004-12-01 Picturetel Corp Video coding using multiple buffers
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US6661842B1 (en) 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
US6763067B2 (en) * 2000-10-10 2004-07-13 Sarnoff Corporation Rate control for bitstream re-encoding
US6774929B1 (en) * 2000-11-03 2004-08-10 Avotec Inc. Shielded video projection system for MRI
US6765963B2 (en) 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
AU2002250278A1 (en) 2001-03-07 2002-09-19 Pts Corporation Local constraints for motion estimation
JP2002271788A (ja) 2001-03-08 2002-09-20 Monolith Co Ltd 画像符号化方法と装置および画像復号方法および装置
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
JP2002330440A (ja) 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP2007325304A (ja) * 2001-05-30 2007-12-13 Victor Co Of Japan Ltd Ｍｐｅｇデータ記録再生方法
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
US7027654B1 (en) 2001-08-16 2006-04-11 On2 Technologies Video compression system
JP4717285B2 (ja) 2001-08-24 2011-07-06 キヤノン株式会社 走査光学装置及びそれを用いた画像形成装置
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US6856701B2 (en) 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
US6847467B2 (en) * 2001-11-01 2005-01-25 Hewlett-Packard Development Company, L.P. Method and apparatus for low memory rendering
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
US6944222B2 (en) 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
KR101108661B1 (ko) * 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
WO2003084235A1 (en) 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Video pre-processing
JP4355156B2 (ja) 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
DE60314935T2 (de) 2002-04-16 2007-12-20 Robert Bosch Gmbh Verfahren und Einheit zur Bitstromdekodierung
US20030206193A1 (en) * 2002-04-17 2003-11-06 Keizo Sato Communication control system and storage medium for storing image transfer program
TW577227B (en) * 2002-04-23 2004-02-21 Ind Tech Res Inst Method and apparatus for removing background of visual content
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
EP1372113B1 (en) 2002-06-11 2005-10-19 STMicroelectronics S.r.l. Variable bit rate video encoding method and device
AU2003236900A1 (en) * 2002-06-12 2003-12-31 British Telecommunications Public Limited Company Video pre-processing
US6909749B2 (en) 2002-07-15 2005-06-21 Pts Corporation Hierarchical segment-based motion vector encoding and decoding
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US8384790B2 (en) * 2002-08-20 2013-02-26 Hewlett-Packard Development Company, L.P. Video image enhancement method and apparatus using reference and auxiliary frames
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
TWI224928B (en) * 2002-12-27 2004-12-01 Newsoft Technology Corp Real-time MPEG video encoding method to keep output synchronization of video and audio
US8040949B2 (en) 2003-01-09 2011-10-18 The Regents Of The University Of California Video encoding methods and devices
KR100504824B1 (ko) * 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법
FR2854019B1 (fr) * 2003-04-16 2005-09-16 Medialive Embrouillage, desembrouillage et distribution securisee de sequences audiovisuelles issues de codeurs videos bases sur un traitement par ondelettes
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US7728840B2 (en) 2003-09-04 2010-06-01 Texas Instruments Incorporated Sliding data buffering for image processing
FI115589B (fi) 2003-10-14 2005-05-31 Nokia Corp Redundanttien kuvien koodaaminen ja dekoodaaminen
JP4702059B2 (ja) 2003-12-22 2011-06-15 日本電気株式会社 動画像を符号化する方法及び装置
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7346106B1 (en) * 2003-12-30 2008-03-18 Apple Inc. Robust multi-pass variable bit rate encoding
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
KR100531895B1 (ko) * 2004-02-26 2005-11-29 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
JP2005294977A (ja) 2004-03-31 2005-10-20 Ulead Systems Inc スライドウィンドウ（ｓｌｉｄｉｎｇｗｉｎｄｏｗ）を用いた２パスビデオエンコーディング方法とシステム
CN1939066B (zh) * 2004-04-02 2012-05-23 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
KR101099884B1 (ko) * 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
US7515637B2 (en) 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
WO2005125198A2 (en) * 2004-06-09 2005-12-29 Nielsen Media Research, Inc. Methods and apparatus to identify viewing information
US20050286629A1 (en) 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
US7681104B1 (en) * 2004-08-09 2010-03-16 Bakbone Software, Inc. Method for erasure coding data across a plurality of data stores in a network
FR2874292B1 (fr) 2004-08-10 2007-01-26 Thales Sa Procede de mise en forme de trames d'une sequence video
US20060050695A1 (en) 2004-09-07 2006-03-09 Nokia Corporation System and method for using redundant representations in streaming applications
DE202004013984U1 (de) 2004-09-08 2006-01-19 Mekra Lang Gmbh & Co. Kg Kamerasystem
US20060062481A1 (en) 2004-09-21 2006-03-23 Markus Suvanto Apparatuses, computer program product and method for bit rate control of digital image encoder
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7792192B2 (en) * 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
US7466867B2 (en) * 2004-11-26 2008-12-16 Taiwan Imagingtek Corporation Method and apparatus for image compression and decompression
US7406053B2 (en) 2004-12-13 2008-07-29 Hewlett-Packard Development Company, L.P. Methods and systems for controlling the number of computations involved in computing the allocation of resources given resource constraints
US7817723B2 (en) 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
WO2006078115A1 (en) 2005-01-21 2006-07-27 Samsung Electronics Co., Ltd. Video coding method and apparatus for efficiently predicting unsynchronized frame
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US8718140B1 (en) * 2005-05-12 2014-05-06 Visualon, Inc. Encoding video data
US7529199B1 (en) 2005-05-31 2009-05-05 Cisco Technology, Inc. System and method for resolving conflicts in proxy routing information associated with multicast distribution trees
US20060285598A1 (en) 2005-06-17 2006-12-21 Jarno Tulkki Apparatuses, computer program product and method for digital image quality improvement
US20070009034A1 (en) 2005-07-05 2007-01-11 Jarno Tulkki Apparatuses, computer program product, and method for digital image processing
JP5020953B2 (ja) 2005-07-18 2012-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
KR100746006B1 (ko) 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US20070076982A1 (en) * 2005-09-30 2007-04-05 Petrescu Doina I System and method for video stabilization
TWI271106B (en) 2005-10-25 2007-01-11 Novatek Microelectronics Corp Apparatus and method for motion estimation supporting multiple video compression standards
WO2007053557A1 (en) 2005-10-31 2007-05-10 Cyberoptics Corporation Electronics assembly machine with embedded solder paste inspection
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
CN1980334A (zh) * 2005-12-09 2007-06-13 英业达股份有限公司 视频画面叠加编码传输的方法
US8107537B2 (en) 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US20070199011A1 (en) 2006-02-17 2007-08-23 Sony Corporation System and method for high quality AVC encoding
US7924925B2 (en) 2006-02-24 2011-04-12 Freescale Semiconductor, Inc. Flexible macroblock ordering with reduced data traffic and power consumption
JP4466589B2 (ja) * 2006-03-06 2010-05-26 住友電気工業株式会社 Ｐｏｎシステム及び端末装置の登録方法
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
BRPI0714022A2 (pt) 2006-07-06 2012-12-04 Thomson Licensing método e aparelho para separar o número do quadro e /ou a contagem de ordem de imagem (poc) para codificação e decodificação de vìdeo multi-visão
CN101491099B (zh) 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
EP2041984A4 (en) 2006-07-17 2009-08-05 Thomson Licensing METHOD AND DEVICE FOR ADAPTING A DEFAULT CODING OF A DIGITAL VIDEO SIGNAL DURING A SCENE CHANGE PERIOD
EP2084669A4 (en) * 2006-08-08 2009-11-11 Digital Media Cartridge Ltd SYSTEM AND METHOD FOR COMPRESSING ANIMATED DRAWINGS
CN102752597A (zh) * 2006-08-28 2012-10-24 汤姆森许可贸易公司 用于确定解码视频块中的期望失真的方法及设备
KR101356207B1 (ko) * 2006-10-13 2014-02-03 삼성전자주식회사 데이터 인코딩/디코딩 방법 및 장치
US20080115185A1 (en) 2006-10-31 2008-05-15 Microsoft Corporation Dynamic modification of video properties
US8923393B2 (en) 2006-11-02 2014-12-30 Qualcomm Incorporated Apparatus and method of reduced reference frame search in video encoding
KR101365567B1 (ko) 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2008124772A (ja) 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CA2676219C (en) * 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US8837591B2 (en) * 2007-01-26 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Image block classification
JP2008187694A (ja) * 2007-01-31 2008-08-14 Matsushita Electric Ind Co Ltd 画像符号化装置およびその方法
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
JPWO2008108372A1 (ja) 2007-03-05 2010-06-17 日本電気株式会社 重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラム
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US8310521B2 (en) * 2007-04-30 2012-11-13 Microsoft Corp. Insertion of virtual video into live video
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US8477852B2 (en) 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
KR20090004658A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5098081B2 (ja) * 2007-07-19 2012-12-12 オリンパス株式会社 画像処理方法および画像処理装置
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
KR101213704B1 (ko) 2007-12-05 2012-12-18 삼성전자주식회사 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8189668B2 (en) 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
US8179976B2 (en) * 2008-01-11 2012-05-15 Apple Inc. Control of video decoder for reverse playback operation
US8275033B2 (en) * 2008-01-15 2012-09-25 Sony Corporation Picture mode selection for video transcoding
US9055301B2 (en) 2008-03-18 2015-06-09 Texas Instruments Incorporated Changing motion estimation precision to maintain encoding within desired time
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
WO2010005691A1 (en) 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
JP4978575B2 (ja) * 2008-06-25 2012-07-18 富士通株式会社 シンクライアントシステムにおける画像符号化方法及び画像符号化プログラム
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
JPWO2010035733A1 (ja) 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US7974233B2 (en) 2009-07-29 2011-07-05 Wiviu Technology Inc. Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
US8976860B2 (en) 2009-09-23 2015-03-10 Texas Instruments Incorporated Method and apparatus for determination of motion estimation search window area utilizing adaptive sliding window algorithm
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US8965140B1 (en) * 2011-01-31 2015-02-24 Teradici Corporation Method and apparatus for encoding mixed content image sequences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
WO2012178008A1 (en) 2011-06-22 2012-12-27 General Instrument Corporation Construction of combined list using temporal distance
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
US10277915B2 (en) 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833535A (zh) * 2012-07-03 2012-12-19 深圳市融创天下科技股份有限公司 一种基于宏块统计信息的参考帧筛选方法、装置
CN102833535B (zh) * 2012-07-03 2017-08-25 深圳市云宙多媒体技术有限公司 一种基于宏块统计信息的参考帧筛选方法、装置
US9967556B2 (en) 2013-03-11 2018-05-08 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
WO2014139394A1 (en) * 2013-03-11 2014-09-18 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US10091500B2 (en) 2013-03-11 2018-10-02 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US9756326B2 (en) 2013-03-11 2017-09-05 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US9762901B2 (en) 2013-03-11 2017-09-12 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN110225349A (zh) * 2013-10-14 2019-09-10 韩国电子通信研究院 用于支持多层的视频编码/解码方法和计算机可读记录介质
CN110225349B (zh) * 2013-10-14 2023-06-02 韩国电子通信研究院 用于支持多层的视频编码/解码方法和计算机可读记录介质
CN107005692A (zh) * 2014-11-27 2017-08-01 株式会社Kt 视频信号处理方法和设备
US10469864B2 (en) 2014-11-27 2019-11-05 Kt Corporation Method and apparatus for video signal coding using current picture reference flag
US10880569B2 (en) 2014-11-27 2020-12-29 Kt Corporation Video signal processing method and device
US11563971B2 (en) 2014-11-27 2023-01-24 Kt Corporation Video signal processing method and device
CN106954082A (zh) * 2016-01-07 2017-07-14 中兴通讯股份有限公司 视频编解码方法、编解码装置及系统
CN108737837A (zh) * 2017-04-25 2018-11-02 安讯士有限公司 形成视频流的方法及图像处理单元
CN109698850A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 处理方法和系统
CN109698850B (zh) * 2017-10-23 2022-06-07 北京京东尚科信息技术有限公司 处理方法和系统
CN108363387A (zh) * 2018-01-11 2018-08-03 驭势科技（北京）有限公司 传感器控制方法及装置

Also Published As

Publication number Publication date
US10165306B2 (en) 2018-12-25
US20100061461A1 (en) 2010-03-11
US9374596B2 (en) 2016-06-21
WO2010030732A3 (en) 2010-06-10
JP5362831B2 (ja) 2013-12-11
US20160309192A1 (en) 2016-10-20
CN102150429B (zh) 2013-11-20
WO2010030732A2 (en) 2010-03-18
KR20110059853A (ko) 2011-06-07
US11375240B2 (en) 2022-06-28
JP2012502590A (ja) 2012-01-26
WO2010030732A9 (en) 2010-11-04
US20220303583A1 (en) 2022-09-22
EP2327212A2 (en) 2011-06-01
CA2736886A1 (en) 2010-03-18
US20130044817A1 (en) 2013-02-21
US20190124363A1 (en) 2019-04-25
US8385404B2 (en) 2013-02-26
EP2327212A4 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
CN102150429B (zh) 用于使用构建的参考帧进行视频编码的系统及方法
US11240498B2 (en) Independently coding frame areas
RU2673107C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
CN102845060B (zh) 用于视频的数据压缩
CN102835106B (zh) 用于视频的数据压缩
US6438168B2 (en) Bandwidth scaling of a compressed video stream
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN105191309A (zh) 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统
JPH10164596A (ja) 動き検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.