CN107493477B - 对帧进行编码和解码的方法、系统和计算机可读存储介质 - Google Patents

对帧进行编码和解码的方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN107493477B
CN107493477B CN201710426208.3A CN201710426208A CN107493477B CN 107493477 B CN107493477 B CN 107493477B CN 201710426208 A CN201710426208 A CN 201710426208A CN 107493477 B CN107493477 B CN 107493477B
Authority
CN
China
Prior art keywords
frame
source
frames
encoded
source frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710426208.3A
Other languages
English (en)
Other versions
CN107493477A (zh
Inventor
F·P·斯托尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
ARM Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Ltd filed Critical ARM Ltd
Publication of CN107493477A publication Critical patent/CN107493477A/zh
Application granted granted Critical
Publication of CN107493477B publication Critical patent/CN107493477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及对帧进行编码和解码的方法、系统和计算机可读存储介质。对视频数据帧序列中的帧编码和解码的系统(1)包括编码处理电路(23)，其使用一个或更多个源帧作为参考帧对源视频帧序列中的至少一些帧编码。当期望对具有与用作参考帧的另一帧的分辨率不同的分辨率的新源帧编码时，编码处理电路(23)生成另一帧的缩放副本以用作新源帧的参考帧。编码处理电路(23)使用另一帧的缩放副本作为参考帧对缩放副本和新源帧编码，以提供编码视频图像数据。该系统还包括处理电路，其将编码视频图像数据发送给视频解码器。系统(21)还包括视频解码器，当接收到编码视频图像数据时，其对编码视频图像数据解码，并使用另一帧的解码缩放副本作为参考帧对编码的源帧解码，以提供源帧的视频图像数据。

Description

对帧进行编码和解码的方法、系统和计算机可读存储介质
技术领域
本发明涉及视频数据的处理，并且更具体地，涉及用于对视频图像数据进行编码和解码的方法和系统。
背景技术
为了可以由一个设备(例如，摄像机)生成视频图像，然后通过链路(例如，经由互联网)发送(流传输)视频图像以在另一个设备(例如，计算机)上观看视频图像，通常根据预定的视频编码格式(例如，VP9)将视频图像数据(例如，RGB或YUV值)编码以按照编码的比特流的格式传输。诸如VP9的视频编码格式可以在观看视频图像时没有明显的图像质量损失的情况下，显著地减小视频图像数据的文件大小(从而有助于视频图像数据的高效流传输)。
视频图像数据通常被生成为帧序列。在诸如VP9的“差分”视频编码标准中，通常参照帧序列中的要被编码的另一(例如，先前)帧或多个帧(其它单个帧或多个帧可以因此被认为是被编码的(源)帧的“参考”帧)对帧序列中的要被编码的帧(可被认为是要被编码的“源”帧)进行编码。(在VP9中，这通常通过将每个源帧划分成多个像素块并且相对于其它编码数据(例如，参考帧的参考块)对每个块进行编码(并且随后解码)来完成。)
因此，已经编码的源帧的每个编码的数据块通常将由指向相应参考帧中的相应数据块的矢量值(所谓的“运动矢量”)和用于描述源(即，当前)帧数据块中的数据与参考帧数据块中的数据之间的差异的数据(“残差”)来定义。(这由此允许源(当前)帧的块的视频数据由运动矢量指向的视频数据、以及描述参考帧的块和源帧的块之间的差的差数据来构成。)
为了将编码的视频图像数据的数据流传输速率与可用于传输编码的视频图像数据的带宽最佳地匹配以例如尝试使被发送的视频帧的分辨率(以及因此的观看质量)最大化，同时也使连续帧之间的任何中断(例如，时间延迟)最小化(从而维持被流传输的帧的连续显示，并且例如随后观看)，可能希望在可用带宽改变时改变正被编码和传输的视频帧的分辨率。由于视频帧的分辨率是确定要流传输的数据量的重要因素，因此周期性地改变分辨率有助于将视频图像数据的数据流传输速率与可用于其传输的带宽相匹配。
发明内容
本发明寻求提供用于对视频图像数据进行编码和解码的改进的方法和系统。
当从第一方面观察时，本发明提供了一种在使用视频编码处理时对帧序列中的帧进行编码和解码的方法，所述视频编码处理使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧来对源视频帧序列中的要被编码的至少一些帧进行编码；
该方法包括以下步骤：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的将用作针对所述新源帧的参考帧的另一帧的分辨率不同：
生成被编码的所述源帧序列中的所述另一帧的缩放副本，所述另一帧将用作针对所述新源帧的参考帧，所述另一帧被缩放为所述新源帧的分辨率以用作针对所述新源帧的参考帧；
对所述另一帧的所生成的缩放副本进行编码，以提供输出的表示所述另一帧的所生成的缩放副本的编码视频图像数据；
使用所述另一帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出的表示所述新源帧的编码视频图像数据；
将表示所述另一帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据发送给视频解码器；
在所述视频解码器处：
对所述另一帧的所述缩放副本的编码视频图像数据进行解码；以及
使用所述另一帧的经解码的缩放副本作为参考帧对所述新源帧的编码视频图像数据进行解码，以提供输出的该新源帧的视频图像数据。
当从第二方面观察时，本发明提供了一种用于对视频数据的帧序列进行编码和解码的系统，该系统包括：
编码处理电路，所述编码处理电路能够：
使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧对所述源视频帧序列中的要被编码的至少一些帧进行编码；
所述编码处理电路还能够：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的将用作针对所述新源帧的参考帧的另一帧的分辨率不同：
生成被编码的所述源帧序列中的所述另一帧的缩放副本，所述另一帧将用作针对所述新源帧的参考帧，所述另一帧被缩放为所述新源帧的分辨率以用作针对所述新源帧的参考帧；
对所述另一帧的所生成的缩放副本进行编码，以提供输出的表示所述另一帧的所生成的缩放副本的编码视频图像数据；以及
使用所述另一帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出的表示所述新源帧的编码视频图像数据；
所述系统还包括：
处理电路，所述处理电路能够将表示所述另一帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据发送给视频解码器；以及
视频解码器，所述视频解码器包括解码处理电路，所述解码处理电路能够：
当所述解码处理电路接收源帧的编码视频图像数据时，其中，所述源帧通过使用另一源帧的缩放副本作为参考帧被编码：
对所述另一源帧的所述缩放副本的所接收的编码视频图像数据进行解码；以及
使用所述另一帧的所解码的缩放副本作为参考帧来对通过使用另一源帧的缩放副本作为参考帧而被编码的所述源帧的编码视频图像数据进行解码，以提供输出的通过使用另一源帧的缩放副本作为参考帧而被编码的所述源帧的视频图像数据。
在本发明中，通过使用序列中的帧作为参考帧对序列中的源帧进行编码来(例如，使用编码处理电路)对帧序列进行编码以传输(流传输)至(例如，包括解码处理电路的)视频解码器。参考帧从源帧序列中的一个或更多个其它源帧(即，序列中的不是被编码的源帧的源帧)获得。然后，(例如使用解码处理电路)将传输的编码帧序列解码，以提供输出的帧序列的视频图像数据以例如用于显示。
例如，由于可用于传输编码的视频图像数据的(比特流)的带宽改变，因此由编码器接收的用于编码的帧的分辨率可以改变。为了以与要被编码的另一(例如，先前)帧的分辨率不同的“新”分辨率对源帧进行编码，形成将用作参考帧的另一帧的缩放副本，该缩放副本具有等于(新)源帧的分辨率的分辨率。然后，(例如，以常规方式)使用缩放副本作为参考帧来对新的不同分辨率的源帧进行编码，而不是相对于原始的另一帧以不同分辨率对源帧进行编码。
编码的源帧和编码的缩放副本参考帧被传输(例如，流传输)到(包括解码处理电路的)视频解码器用于后续解码，即，缩放副本参考帧作为发送给视频解码器的编码比特流中的帧被提供。解码处理电路例如在接收到发送的(包括编码的源帧和缩放副本参考帧的)编码视频数据时，使用缩放副本参考帧作为用于解码处理的参考帧来(以新分辨率)对编码的源帧进行解码。
如下面将进一步讨论的那样，优选地不显示缩放副本参考帧(先前帧的缩放副本)，而是将缩放副本参考帧设置为仅用于以新分辨率对源帧进行编码和解码的目的的“隐藏”帧。
以与新源帧相同分辨率创建缩放副本参考帧(相对于该缩放副本参考帧以新分辨率对源帧进行编码)允许将用作参考帧的另一帧(的副本)在被提供之前被缩放(至新源帧的分辨率)，用于对新源帧进行编码。这意味着然后可以相对于具有相同分辨率的帧(即，缩放副本参考帧)以新分辨率对源帧进行编码，而不必使用为不同分辨率的原始的另一帧进行编码。
因此，这样例如将(例如在当前一起执行缩放和运动补偿两者的VP9中的)滤波操作分离成生成用作参考帧的缩放副本的初始缩放操作和在使用缩放的副本参考帧对源帧进行编码时的后续运动补偿操作。这意味着可以缩放将被缩放的另一帧，而不必先计算任何运动矢量(当在单个滤波操作中一起执行缩放和运动补偿时，这是必需的)。
由于编码处理电路可能已经被配置为执行缩放和差分编码，所以可能不需要提供任何额外的(例如，专用的)硬件以便(例如，在编码管线中已经存在的任何组合的缩放和运动补偿硬件之前)生成用作参考帧的缩放副本。
相对于缩放的副本参考帧对源帧进行编码也需要对解码器很少(如果有的话)的改变。这是因为解码处理电路可以使用缩放的副本参考帧而不是原始的另一帧简单地对编码的源帧进行解码。
在本发明中被编码和解码的视频数据的源帧序列可以是任何合适和期望的视频帧序列。在视频帧序列中将存在至少两个帧，但是优选地，在视频帧序列中存在多于两个帧。
要被编码的帧序列优选地以表示视频数据的帧序列的视频图像数据的比特流的形式被提供，然后以本发明的方式被编码、发送和解码，以例如并且优选地出于显示的目的提供输出的视频帧序列。
因此，优选地，所述方法包括(并且编码处理电路被配置为)接收要被编码的视频数据的源帧序列，并且响应于源帧序列中的帧的分辨率的变化，以本发明的方式对源帧或帧进行编码。
可以以任何合适和期望的方式确定(例如，检测)源帧序列中的要被编码的源帧的分辨率的改变。例如，编码处理电路可以被配置为检测(例如，编码处理电路接收以用于编码的)新源帧的分辨率不同于先前源帧的分辨率(例如，以检测要被编码的源帧的分辨率已从被编码的先前源帧改变)。
然而，在优选实施方式中，该系统包括主机处理器(诸如，例如向例如编码处理电路生成和/或提供要被编码的源帧序列的CPU或GPU)，以指示源帧序列中的源帧的分辨率(并且因此编码处理电路将需要对视频图像数据的帧进行编码的分辨率)例如由于可用于流传输编码的视频数据的带宽的变化而与另一个源帧的分辨率不同。
因此，优选地，该系统包括主机处理电路，该主机处理电路被配置为在的帧序列中的要被编码的源帧的分辨率与源帧序列中的要被编码的(或所述)另一帧的分辨率不同时指示编码处理电路。
相应地，优选地，该方法包括以下步骤：当要被编码的帧序列中的(下一个)源帧的分辨率与另一源帧的分辨率不同时，指示要被编码的源帧具有与另一个源帧或所述另一个源帧的分辨率不同的分辨率。
可以以任何合适和期望的方式提供例如对来自主机处理电路的编码处理电路的指示。例如，(当源帧的分辨率与另一个源帧不同时)指示可以例如以标记的形式伴随要被编码的源帧。另选地或另外地，指示可以包括与源帧分开的信号，例如，从主机直接到编码处理电路用信号通知。
主机可以以任何合适和期望的方式确定要被编码的源帧的分辨率与另一源帧的分辨率不同或需要与另一源帧的分辨率不同。优选地，主机检测可用于(传输)流传输编码的视频图像数据的带宽，以检测可用带宽中的变化(增大或减小)，例如使得主机然后改变生成或提供源帧序列中的源帧的分辨率，然后向编码处理电路指示要被编码的(下一个)源帧的分辨率与另一个源帧不同。
将理解，源帧的分辨率的改变(例如，由于可用带宽的减小)可以是减少，或者(例如，由于可用带宽的(后续)改进)可以是增大。
可以以任何合适和期望的方式从源视频帧序列(即，除了被编码的源帧以外的源帧)中的另一帧生成(例如，获得)参考帧。优选地，从先前被编码的(以及例如解码的)源帧获得参考帧。因此，优选地，参考帧包括重构的源帧的例如已被编码和解码的缩放副本(使得虽然从另一源帧获得参考帧，但参考帧可能不是原始的源帧的缩放副本)。
视频数据的被缩放以提供用于对新“改变了分辨率的”源帧进行编码和解码的另一帧(即，从其获得参考帧的另一帧)可以是帧源序列中的任何其它帧。它应该，并且优选地是，先前已经被编码的源帧序列中的帧(先前被编码的帧)，但是它不必是源帧序列中的先前帧(因为必要时，编码器可能乱序地对帧进行编码以便在被编码的源帧序列中从后续帧和/或先前帧和后续帧两者等获得参考)。
因此，视频数据的被缩放以提供缩放的参考帧的另一帧(即，从其获得参考帧的另一帧)可以是源帧序列中的后续帧(即，在源帧序列中在改变分辨率的源帧之后的帧)以及源帧序列中的先前帧。
在优选实施方式中，视频数据的被缩放以提供用于对新“改变分辨率的”源帧进行编码和解码的缩放参考帧的另一帧是源帧序列中的先前帧(尽管如上描述，但不是必需的)。
在这种情况下，视频数据的被缩放以提供用于对新“改变的分辨率的”源帧进行编码和解码的缩放参考帧的先前帧可以是源帧序列中的任何先前帧。
在一个优选实施方式中，用于缩放参考帧的帧是源帧序列中的对于要被编码的新的改变的分辨率的源帧而言紧之前的源帧。
然而，这不是必需的，并且被缩放以提供缩放的参考帧的先前帧可以是要被编码的源帧序列中的较早帧(即，与要被编码的新的改变的分辨率的源帧通过其它源帧被间隔开的帧)。
如果期望，参照源帧序列中的多个其它帧(例如，源帧序列中的先前帧和后续帧)，还可对新“改变的分辨率”源帧进行编码(并相应地解码)。例如，在VP9视频编码中，最多可以使用三个参考帧来对帧进行编码。其它视频编码标准最多可以使用16个参考帧。
因此，在优选实施方式中，参照源帧序列中的多个其它帧(例如，参照源帧序列中的先前帧和后续帧)对新“改变分辨率的”源帧进行编码。
在要参照源帧序列中的多个其它帧对被编码的改变分辨率的源帧进行编码的情况下，源帧序列中的每个这样的参考帧应该并且优选地是相应地首先被缩放为与新改变分辨率的源帧的分辨率匹配，然后相对于其它参考帧中的每一个的缩放副本对新改变分辨率的源帧进行编码。
被缩放以提供用于对新改变分辨率的源帧进行编码的缩放参考帧的另一帧(或多个帧)应当被适当地存储(例如，缓冲)以被缩放从而提供缩放副本参考帧。这可以以任何合适和期望的方式实现。
在编码处理(编码处理电路)被配置为(自动地)存储将用作针对源帧序列中的要被编码的源帧的参考帧的源帧的情况下，如果分辨率还没有改变，则已经存储的将被用作被编码的源帧的参考帧的另一帧的副本(以其原始分辨率)可以并且优选地从其存储位置被获取以对其进行缩放。
因此，在优选实施方式中，编码处理和编码处理电路操作为将源帧序列中的被编码的源帧存储以用作针对后续要被编码的源帧的参考帧，并且存储的另一帧(或多个帧)的副本然后被缩放以提供缩放副本参考帧(或多个缩放副本参考帧)，然后将缩放副本参考帧(或多个缩放副本参考帧)存储为参考帧(或多个参考帧)以当存在源帧分辨率改变时，用于随后对源帧或多个源帧进行编码。
可以以任何合适和期望的方式(通过编码处理电路)生成另一帧的缩放副本，该副本被缩放为将以新分辨率被编码的源帧的分辨率。缩放功能可能已经在正在使用的编码格式(例如，VP9)内提供，使得(例如被配置为根据视频编码格式(例如，VP9)对视频图像数据进行编码的)编码处理电路可以已经(并且，优选地)被配置为执行缩放。优选地，这种(已经针对其它缩放操作提供的)缩放功能用于生成另一帧的缩放副本，使得可能不必为该缩放提供(专用)附加的硬件。
在优选实施方式中，编码处理电路包括缩放处理电路(例如，缩放级)，该缩放处理电路(例如，使用视频编码格式的现有缩放功能)被配置为生成被缩放为要被编码的新源帧的分辨率的另一帧(多个帧)的副本。优选地，编码处理电路还包括编码级，其被配置为(相对)使用缩放副本参考帧以新分辨率对新源帧进行编码，以提供输出的新的不同分辨率的源帧的编码视频图像数据。
因此，优选地，编码处理电路包括缩放级和编码级(其可以是组合的缩放和编码级)。优选地，缩放级的结果(即，另一帧的缩放副本)被传送到编码级以相对于先前帧的缩放副本(例如，使用运动补偿)对源帧进行编码。
可以使用(相对)缩放副本参考帧以任何合适和期望的方式对不同分辨率的源帧进行编码。优选地，以针对帧视频编码格式的正常方式(例如，使用的VP9)，使用缩放副本参考帧对源帧进行编码。
因此，优选地，源帧内的每个像素块相对于缩放副本参考帧中的对应的像素块被编码。优选地，(针对源帧的)编码数据块包括指向缩放副本参考帧的数据的运动矢量和描述在(源帧的)当前数据块中被编码的数据和(缩放副本参考帧的)参考编码数据之间的差的残差。
将理解，由于源帧和缩放副本参考帧具有相同的分辨率，所以缩放的参考帧的像素与源帧的像素的匹配是相对简单的。
可以对缩放副本参考帧进行编码以按任何合适和期望的方式和比特流中的新源帧的编码视频图像数据一起发送给解码器。
优选地，使用(相对)所基于的另一帧(的原始版本)对所述(或每个)缩放副本参考帧进行编码。因此优选地，按照与相对于参考帧对源帧序列中的任何其它源帧进行编码相同的方式，优选地相对于作为缩放副本的另一个帧对缩放副本参考帧进行编码。
由于所述(和每个)缩放副本参考帧仅是所讨论的另一帧的缩放副本(例如，除了分辨率之外与原始参考帧没有差异)，因此申请人已经意识到可以假设缩放副本参考帧将使用且可以使用(0,0)运动矢量进行编码。以这种方式(例如，使用(0,0)运动矢量)对缩放副本参考帧进行编码对于编码来说(就所使用的比特而言)是非常便宜的，因为针对缩放副本参考帧的编码的视频数据可以仅包括帧中的块表示和(0，0)运动矢量。因此，优选地，缩放副本参考帧的编码不需要任何残差。
此外，例如，编码处理电路的运动补偿滤波针对另一帧的缩放副本的编码可能不需要是有效的，这是由于缩放副本与原始另一帧之间的差异仅涉及缩放而与相对运动无关。因此，当对缩放副本参考帧进行编码时，优选地禁用运动补偿确定(操作)(只要可能就这样做)。
然后，这全部意味着在编码视频帧序列中附加地生成和包含缩放副本参考帧可以实际上对针对源帧序列被发送的编码视频数据添加很少的额外负担，因此，例如使其不太可能影响处理的延迟。
在使用(相对)原始(未缩放)的另一帧来对缩放副本参考帧进行编码的情况下，缩放副本参考帧是缩放副本，解码器将需要未缩放的另一帧以能够对缩放副本参考帧进行解码并且再生成缩放副本参考帧。
相应地，在从将(以其原始分辨率)被显示的另一源帧生成缩放副本参考帧的情况下，解码器则将需要未缩放的另一源帧以便能够将其显示。
因此，在特别优选的实施方式中，缩放副本参考帧是其缩放副本的另一个帧(例如，另一源帧)(按其原始分辨率)被编码，以(按其原始分辨率)提供输出的表示另一帧的编码视频图像数据，并且该另一帧(按其原始分辨率)的编码视频图像数据也被发送给视频解码器。
因此，在特别优选的实施方式中，缩放副本参考帧是其原始分辨率的缩放副本的另一帧和该帧的缩放副本两者都被包括在被发送给解码器的编码视频帧序列中。换句话说，包括缩放副本参考帧(在对改变分辨率的源帧进行解码时被用作参考帧的另一帧的缩放副本)作为在编码视频帧序列中的发送给解码器的额外(附加)帧(作为除了发送给解码器的编码的源帧序列之外的帧)。
因此，在优选实施方式中，当被编码的源帧的分辨率有变化时，发送给解码器的编码视频帧序列将包含第一分辨率的编码的源帧，随后(优选地是立即)是以不同的第二分辨率编码的帧(即，第一分辨率的源帧的缩放副本)，随后(优选地是立即)是以不同的第二分辨率编码的源帧。
可以以任何合适和期望的方式(例如并且优选地以针对使用的视频编码格式正常的方式)以其原始分辨率对另一帧进行编码。
视频解码器相应地优选地以其原始分辨率对另一帧的编码视频图像数据进行解码，并且优选地，然后在对缩放参考帧的编码视频图像数据进行解码时以其原始分辨率使用解码的另一帧以提供输出的缩放参考帧的视频图像数据。
最优选地，还输出例如并且优选用于显示的另一帧的原始分辨率版本(并且优选地，在显示的帧序列中后面是新的不同分辨率的源帧)。
缩放副本参考帧优选地被识别为在被发送(到视频解码器)的编码视频数据的帧序列中。优选地，所发送的编码视频数据包括与缩放副本参考帧相关的指示符，例如在例如报头数据中的标记。这可以以任何合适和期望的方式完成。这允许(例如，通过解码处理电路)识别缩放副本参考帧。
发送给解码器的编码视频帧序列优选地还包括当对源帧序列中的“改变分辨率的”编码的源帧进行解码时缩放副本参考帧应被用作参考帧的适当指示。
这可以以任何合适和期望的方式(例如并且优选地根据所使用的视频编码格式)来指示。这优选以正常方式完成以指示哪个参考帧将用于对视频帧序列中的编码帧进行解码以针对使用的视频编码格式进行解码。
例如，(例如，向解码处理电路)指示缩放副本参考帧将被用于对编码的新分辨率的源帧进行解码的指示符(例如，标记)可以被(相关联地)提供由(例如，与报头数据相关联地)编码的缩放副本参考帧。
另外地或另选地，编码的新分辨率源帧本身可以(在与该编码的帧相关联的元数据或其它数据中)包括或者具有与其相关联的使用包括在编码的帧序列中的缩放副本参考帧对参考帧进行解码的指示。这在视频编码系统中会是适当的，在视频编码系统中每个编码的帧具有与其相关联的参考帧的身份的指示或参考帧被编码所相对的帧的指示。
另外地或另选地，解码器可以被配置为实际上在对新分辨率的源帧进行解码和编码时自动使用缩放副本参考帧作为参考帧。这可以在(针对整个源帧序列)开始对源帧序列进行编码和解码时例如并且优选地由主机处理器设置例如特定的(优选，预定的)要用于决定针对参考帧将使用什么模式来完成。
因此，在优选实施方式中，存在固定模式，在对由系统的主机处理器设置的源帧进行编码(并且由此解码)以对源帧序列进行编码时，该固定模式被用于确定针对参考帧将使用什么。这样的一个示例是，例如，解码器仅被配置为使用序列中的先前的编码帧作为用于对序列中的下一编码帧进行解码的参考帧。在这种情况下，然后将使用缩放副本参考帧对编码缩放副本参考帧之后的编码的帧自动解码。
在特别优选的实施方式中，不显示(不由视频解码器输出来显示)缩放副本参考帧，而是仅用作用于对编码的改变分辨率的源帧或帧进行解码的参考帧。因此，在这种情况下，缩放副本参考帧是其缩放副本的另一帧例如并且优选地以其原始分辨率被显示，并且新改变分辨率的源帧以其分辨率被显示，但是不显示缩放副本参考帧。
可以以任何合适和期望的方式不显示或输出缩放副本参考帧。优选地，这通过在发送给解码器的编码视频数据中包括某种形式的指示解码器不显示缩放副本参考帧(这导致解码器不输出缩放副本参考帧以进行显示)的指示来完成。
因此，优选地，该方法包括(并且编码处理电路被配置为)将(例如，并且优选地，在被发送给视频解码器的表示缩放副本参考帧的编码的视频图像数据中的)缩放副本参考帧设置(表示)为不被显示的帧(“隐藏”帧)。
缩放副本参考帧可以被识别为以任何合适和期望的方式被发送(到视频解码器)的编码视频数据帧序列中的(如已被设置为)“隐藏”帧。优选地，发送的编码视频数据包括(例如，在与缩放副本参考帧相关联的报头数据中的)指示符(例如，标记)，以指示不应显示的参考帧的缩放副本(是隐藏帧)。
申请人在这方面已经认识到在正使用的视频编码格式中可能已经提供对比特流中的额外(例如，“隐藏”)的帧进行编码(例如，在VP9视频编码格式中，提供了“隐藏”帧，尽管用于不同的目的，例如当不按顺序对帧进行编码并用于从后续帧进行预测时)。这可能意味着不需要改变视频编码格式，以便适应编码的比特流中的缩放副本参考帧，此外，可以不需要额外(用于编码和/或解码的)硬件。
因此，申请人已经认识到(例如，在VP9中)提供这种“隐藏”帧可以用于不同的用途，即允许更高效地(例如，例如减少的处理和功率)改变要被编码的帧之间的分辨率。
将理解，要被编码的源帧是源帧序列的一部分。因此，例如，一旦已经以与序列中的先前帧不同的分辨率对源帧进行编码(并且例如，随后被发送和解码)，则然后，源帧序列中的后续源帧可以继续以通常由视频编码格式指定的方式被编码(假设帧序列中的后续帧以相同的新分辨率被提供)，例如直到提供用于编码的不同分辨率的帧(根据本发明，此时新分辨率的帧例如被编码(并且例如被发送和解码)为止。
因此，优选地，编码处理电路被配置为相对于参考(例如，先前源)帧序列(例如，根据正使用的视频编码格式)对源帧序列进行编码，并且当接收到源帧序列中的具有与期望对源帧进行编码的参考的先前帧的分辨率不同分辨率的源帧时，执行本发明的方法，即生成缩放副本参考帧并使用该缩放副本参考帧对源帧进行编码。
以上主要讨论编码处理。
解码处理(和解码处理电路)可以以任何合适和期望的方式例如并且优选地根据正使用的视频编码(和解码)格式对编码源帧序列进行解码。因此，优选地，该方法包括(并且解码处理电路被配置为)接收(表示)编码的视频数据帧序列(的比特流)，以及对编码的视频数据帧进行解码，以提供输出的视频图像帧序列用于显示。
(例如，当源帧已经与“关键”帧相反地被差分地编码时，)解码处理(解码处理电路)优选适当地对每个编码的源帧相对于参考帧进行解码。
在已经使用缩放副本参考帧对源帧进行编码的情况下，解码处理电路将使用缩放副本参考帧(即，不是原始“大小”的先前帧)来对编码的源帧进行解码(但是将优选地，否则使用缩放副本参考帧作为参考帧以与编码的源帧序列中的任何其它(差分)编码的源帧将使用视频编码格式(例如，正使用的VP9)中它们各自的参考(例如，先前的源)帧被解码相同的方式对源帧进行解码。
相应地，在缩放副本参考帧相对于作为其缩放副本的(原始)帧被编码的情况下，优选地，该方法包括(并且解码处理电路被配置为)例如并且优选地使用作为缩放副本的(原始)帧对编码的缩放副本参考帧进行解码。
在实施方式中，解码处理和解码处理电路被配置为使用编码帧序列中的先前编码帧作为参考帧来对编码源帧序列中的每个编码源帧进行解码。因此，解码处理电路可以按照其在编码比特流中接收编码源帧的顺序来对编码源帧进行解码，使用比特流中的紧之前的编码帧(作为参考帧)对它们中的每一个进行解码。
为了对已经使用缩放副本参考帧被编码的源帧进行解码(并且因此缩放副本参考帧作为编码的比特流中的额外帧来提供)，优选地，解码处理被配置为确定这样的编码帧将通过使用缩放副本参考帧(而不是已经从缩放副本生成的原始分辨率的源帧)被解码。这可以以任何合适和期望的方式来确定，例如，使用与标识将被使用的参考帧以对其进行解码的编码源帧相关联的指示、和/或与编码缩放副本参考帧(该编码的缩放副本参考帧将其标识为这样和/或该编码的缩放副本参考帧应当被用作用于对编码的帧序列中的下一个编码的帧进行解码的参考帧)相关联的指示、和/或通过遵循指定和/或预定模式来决定哪个帧在对给定帧进行解码时用作参考帧。
在一个实施方式中，该方法包括(并且解码处理电路被配置为)例如使用与缩放副本参考帧相关联的指示来确定(由解码处理电路接收的)编码帧序列何时包括缩放副本参考帧的表示(例如，除了包括针对其原始分辨率的帧的编码视频图像的比特流以外)。优选地，缩放副本参考帧包括指示符(例如，标识)，其向解码器指示其将来将被用作参考帧，使得解码器知道应该将其存储以供将来使用。
一旦解码处理电路已将编码帧识别为缩放副本参考帧，则优选地使用缩放副本参考帧来对帧序列中的适当的(例如，下一个)编码源帧进行解码。因此，优选地，该方法包括(并且解码处理电路被配置为)将缩放副本参考帧设置为用于对在要被解码的帧序列中的下一个编码源帧进行解码的参考帧。
一旦缩放副本参考帧已经被这样识别，并且例如被设置为要使用的参考帧，然后可以由解码处理电路使用(例如，针对视频编码格式合适的)缩放副本参考帧对要被解码的编码源帧序列中的(例如，下一个)编码源帧进行解码以提供输出的帧的视频图像数据。
优选地，一旦缩放副本参考帧已被解码处理电路识别，则将缩放副本参考帧存储(例如，在缓冲器中)以在对(新分辨率的)编码源帧进行解码时使用。
将理解，要被解码的帧将是编码帧序列(的部分)。因此，例如，一旦对新分辨率的源帧进行解码，则编码源帧序列中的后续编码源帧可以以通常由视频编码格式指定的方式被继续解码(假设编码源帧序列中的后续帧以相同的新分辨率被提供)例如直到提供不同分辨率的编码源帧用于解码为止(此时根据本发明对新分辨率的帧进行解码)。
因此，优选地，解码处理电路被配置为使用编码参考(例如，先前编码源)帧(例如，根据所讨论的视频编码格式)序列来对编码源帧序列进行解码，并且(例如由被接收的缩放副本参考帧指示)当编码源帧序列中的具有与编码帧序列中的先前编码源帧的分辨率不同的分辨率的编码源帧被接收时，执行本发明的方法，即使用缩放副本参考帧对编码源帧进行解码。
经解码的编码源帧(优选地，针对解码缩放副本参考帧保存)优选地由视频解码器输出，例如并且优选地用于显示。因此，在优选实施方式中，显示经解码的编码源帧序列(优选地，针对经解码的缩放副本参考帧保存)。
可以提供经解码的编码源帧从而以任何合适和期望的方式(例如通过将它们直接流传输到显示设备和/或通过将它们存储在可以读取它们的存储器(例如，存储器中的帧缓冲器)中，例如并且优选地由显示控制器来显示)进行显示。
如上所述，在特别优选的实施方式中，包括在发送给解码器的编码参考帧序列中的缩放副本参考帧本身不被显示。也就是说，如上所述，优选地通过包括具有该缩放副本参考帧的编码版本的适当指示来实现，使得解码器不将其输出用于显示。
因此，在特别优选的实施方式中，解码处理(解码处理电路)可操作为识别将不被显示的编码缩放副本参考帧，并且响应于这种识别不显示缩放副本参考帧。
因此，在特别优选的实施方式中，视频解码器将接收编码视频帧序列，其特别包括第一分辨率的编码源帧，(优选地，紧)在后面的是与第一分辨率的源帧的缩放副本的分辨率不同的第二分辨率的编码源帧，(优选地，紧)在后面的是与第二分辨率不同的编码源帧，并且将对第一分辨率的编码源帧、不同的第二分辨率的编码源帧、与第二分辨率不同分辨率的编码源帧进行解码，并且输出例如并且优选地经解码的第一分辨率的编码源帧和经解码的与第二分辨率不同分辨率的编码源帧用于显示，但是将不输出经解码的(作为第一分辨率的源帧的缩放副本的)不同的第二分辨率的编码帧用于显示。
将理解，可以(并且优选地)在单独的装置(例如，设备)上例如在单独的时间例如在单独的地方执行对帧序列的编码和解码。因此，尽管上文已经参照视频数据的编码和解码描述了本发明，但是本发明也仅扩展到视频图像数据的编码。
当从第三方面观察时，本发明提供了一种在使用视频编码处理时对视频数据帧序列中的帧进行编码的方法，所述视频编码处理使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧对所述源视频帧序列中的要被编码的至少一些帧进行编码，该方法包括以下步骤：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的将用作针对所述新源帧的参考帧的先前帧的分辨率不同：
生成被编码的所述源帧序列中的另一帧的缩放副本，所述另一帧将用作所述新源帧的参考帧，所述另一帧被缩放为所述新源帧的分辨率以用作所述新源帧的参考帧；
对所述另一帧的所生成的缩放副本进行编码，以提供输出的表示所述另一帧的所生成的缩放副本的编码视频图像数据；
使用所述另一帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出的表示所述新源帧的编码视频图像数据；以及
输出表示所述另一帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据。
当从第四方面观察时，本发明提供了一种用于对视频数据的帧序列的帧进行编码的装置，所述装置包括：
编码处理电路，所述编码处理电路能够：
使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧对所述源视频帧序列中的要被编码的至少一些帧进行编码；
所述编码处理电路还能够：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的用作所述新源帧的参考帧的另一帧的分辨率不同：
生成被编码的所述源帧序列中的所述另一帧的缩放副本，所述另一帧用作所述新源帧的参考帧，所述另一帧被缩放为所述新源帧的分辨率以用作所述新源帧的参考帧；
对所述另一帧的所生成的缩放副本进行编码以提供输出的表示所述另一帧的所生成的缩放副本的编码视频图像数据；
使用所述另一帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出的表示所述新源帧的编码视频图像数据；以及
输出表示所述另一帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据。
相应地，本发明仅扩展到视频图像数据的解码。
因此，当从第五方面观察时，本发明提供了一种在使用视频解码处理时对编码视频数据帧序列中的帧进行解码的方法，所述视频解码处理使用编码视频帧序列中的一个或更多个帧作为参考帧对所述编码视频帧序列中的至少一些帧进行解码，该方法包括以下步骤：
接收表示视频帧序列的编码视频图像数据用于解码，所述编码视频图像数据表示至少包括以下项的视频帧序列：表示编码帧序列中的另一帧的缩放副本的编码视频图像数据；和表示通过使用所述另一帧的所述缩放副本作为参考帧已经被编码的视频帧的编码视频图像数据；
对所述另一帧的所述缩放副本的编码视频图像数据进行解码；以及
通过使用所述另一帧的经解码的缩放副本作为参考帧对通过使用所述另一帧的所述缩放副本作为参考帧已经被编码的所述视频帧的编码视频图像数据进行解码，以提供输出的该视频帧的视频图像数据。
当从第六方面观察时，本发明提供了一种在使用视频解码处理时对编码视频数据帧序列中的帧进行解码的装置，所述视频解码处理使用编码视频帧序列中的一个或更多个帧作为参考帧对所述编码视频帧序列中的至少一些帧进行解码，所述装置包括：
解码处理电路，所述解码处理电路能够：
接收表示视频帧序列的编码视频图像数据用于解码，所述编码视频图像数据表示至少包括以下项的视频帧序列：表示编码帧序列中的另一帧的缩放副本的编码视频图像数据；和表示通过使用所述另一帧的所述缩放副本作为参考帧已经被编码的视频帧的编码视频图像数据；
对所述另一帧的所述缩放副本的编码视频图像数据进行解码；以及
使用所述另一帧的经解码的缩放副本作为参考帧对通过使用所述另一帧的所述缩放副本作为参考帧已经被编码的所述视频帧的编码视频图像数据进行解码，以提供输出的所述视频帧的视频图像数据。
如本领域技术人员将理解，本发明的这些方面可以并且优选地适当地包括本文所讨论的本发明的优选和可选特征中的任何一个或更多个或全部。特别地，编码处理优选地相应包括上面关于编码处理所讨论的优选和可选特征，并且解码处理优选地相应包括上面关于解码处理所讨论的优选和可选特征。
因此，例如，编码处理优选地将缩放副本参考帧指定为不应显示的帧。
相应地，解码处理优选地包括确定编码视频数据的帧序列中的帧将何时使用另一帧的缩放副本作为参考帧进行解码，和/或确定编码视频数据帧序列中的帧何时包括另一帧的缩放副本。类似地，解码操作优选地还包括输出经解码的帧(其是通过使用另一帧的缩放副本作为参考帧而被编码的)用于显示，但不输出另一帧的解码缩放副本用于显示(并且相应地，优选包括识别不应该输出另一帧的编码缩放副本用于显示)。
本发明可以在任何合适的视频处理系统(例如适当配置的基于微处理器的系统)中实现。在实施方式中，本发明在基于计算机和/或微处理器的系统中实现。优选地，本发明在视频解码器、编码器和/或处理器中(或作为视频解码器、编码器和/或处理器)实现。
该系统可以包括允许以本发明的方式进行操作的任何合适和期望的组件或元件，例如(例如从解码处理电路提供的视频图像数据被输出(解码)到的)用于渲染的渲染单元、来自渲染单元的视频的经渲染的帧被提供到的输出装置(例如，显示器)和用于存储所需数据(诸如未编码的视频数据、后续的编码的数据块和后续的输出(解码)的视频数据)的存储器。
当已经产生了编码视频图像数据(例如，作为编码数据的比特流)时，可以根据需要对其进行处理以供将来使用，例如，通过适当地存储和/或通过被发送给解码器用于解码(该解码器优选地是用于对本发明的编码视频图像数据进行解码的装置)。然后，解码器可以随后例如根据本发明的解码方法对编码视频数据进行解码。优选地，解码视频数据(帧)例如并且优选地被存储和/或显示。
本发明的各种功能可以以任何期望和合适的方式进行。例如，本发明的功能可以根据需要在硬件或软件中实现。因此，例如，除非另有说明，否则本发明的各种功能元件、级和“装置”可以包括可操作以执行各种功能等的合适的处理器或多个处理器、控制器或多个控制器、功能单元、电路、处理逻辑、微处理器布置等，例如适当的专用硬件元件(处理电路)和/或可被编程为以期望的方式工作的可编程硬件元件(处理电路)。
这里还应注意的是，如本领域技术人员将理解的，本发明的各种功能等可以在给定的处理器上并行复制和/或并行执行。同样地，如果需要，各处理级可以共享处理电路等。
经受执行上述特定功能所需的任何硬件，视频处理器可以另外包括视频编码器、解码器和处理器所包括的任何一个或更多个或所有常规的功能单元等。
本领域技术人员还将理解，本发明的所有描述的实施方式可以(并且在一个实施方式中)适当地包括本文所描述的任何一个或更多个或全部特征。
根据本发明的方法可以至少部分地使用软件(例如，计算机程序)来实现。因此将会看到，当从其它实施方式看时，本发明提供了特别适于在安装在数据处理器上时执行本文描述的方法的计算机软件，当在数据处理器上运行程序元件时，计算机程序元件包括用于执行本文描述的方法的计算机软件代码部分，并且包括适于执行本文描述的方法或多个方法的所有步骤的代码的计算机程序在数据处理系统上运行。数据处理器可以是微处理器系统、可编程FPGA(现场可编程门阵列)等。
本发明还扩展到包括这样的软件的计算机软件载体，当用于操作图形处理器时，包括数据处理器的渲染器或微处理器系统与所述数据处理器结合，所述处理器、渲染器或系统执行本发明的方法的步骤。这样的计算机软件载体可以是诸如ROM芯片、CD ROM、RAM、闪存或磁盘的物理存储介质，或者可以是诸如电线上的电子信号、光信号或诸如卫星等的无线电信号。
还应当理解，并不是本发明方法的所有步骤都需要由计算机软件来执行，因此从另一个广义的实施方式中，本发明提供了计算机软件和安装在计算机软件载体上的这种计算机软件以执行本文所提出的方法的步骤中的至少一个步骤。
因此，本发明可以适当地被实现为与计算机系统一起使用的计算机程序产品。这样的实施方式可以包括固定在诸如计算机可读介质(例如软盘、CD ROM、ROM、RAM、闪存或硬盘)的有形非易失介质上的一系列计算机可读指令。它还可以包括经由调制解调器或其它接口设备在有形介质(包括但不限于光学线路或模拟通信线路的)上或无形地使用无线技术(包括但不限于微波技术、红外技术或其它传输技术)可传输到计算机系统的一系列计算机可读指令。该系列计算机可读指令实现了本文之前描述的全部或部分功能。
本领域技术人员将理解，这样的计算机可读指令可以用许多编程语言来编写，以用于许多计算机体系结构或操作系统。此外，这些指令可以使用任何现有或未来的存储技术(包括但不限于半导体存储技术、磁存储技术或光学存储技术)存储，或者使用任何现有或未来的通信技术(包括但不限于光学通信技术传输、红外通信技术传输或微波通信技术传输)传输。可以设想，这样的计算机程序产品可以作为具有附带的打印或电子文档的可移动介质(例如，在系统ROM或固定盘上预加载有计算机系统的压缩套装软件)来分配或在网(例如因特网或万维网)上从服务器或电子公告板分配。
附图说明
现在将仅通过示例并参照附图来描述本发明的多个优选实施方式，在附图中：
图1和图2示意性地示出了根据本发明的实施方式的用于对视频图像数据进行编码和解码的系统；
图3和图4示意性地示出了根据本发明实施方式的用于对视频图像数据进行编码的编码器；
图5示出了根据本发明的实施方式的用于对视频图像数据进行编码的操作的流程图；
图6示意性地示出了根据本发明的实施方式如何使用参考帧的缩放副本；以及
图7示出了根据本发明的实施方式的用于对视频图像数据进行解码的操作的流程图。
具体实施方式
现在将在根据VP9编码格式对视频图像数据进行编码和解码的背景下描述本发明的优选实施方式。
图1示出了根据本发明的实施方式的用于对视频图像数据进行编码和解码的系统21，即，通常用来使用例如VP9编码格式对视频图像数据进行编码和解码的系统21。
图1所示的视频编码和解码系统21包括生成视频图像数据且随后对视频图像数据进行编码的设备1(例如摄像机)。然后，编码的视频图像数据通过链路3(例如，互联网)(例如，无线地)被(流)传输至远程设备2(例如移动电话)，该远程设备2对编码的视频图像数据进行解码并显示解码的视频图像数据。
诸如VP9的视频编码格式可以在观看视频图像时图像质量没有显著可见损失的情况下，显著减小用于传输的视频图像数据的文件大小(从而有助于视频图像数据的有效流传输)。
视频图像数据通常由视频生成设备1生成为帧序列。在诸如VP9的“差分”视频编码标准中，帧序列中的要被编码的大多数“源”帧关于“参考”帧(或多个帧)(通常是帧序列中的先前的源帧)被编码。
在VP9编码方案中，通过将视频图像数据的每个帧划分成帧的多个矩形像素块来完成差分编码，其中对每个块单独地编码和解码。给定的数据块可以具有指向参考帧中的相应数据块的相关联的运动矢量，以及描述当前数据块中的数据与参考帧中的数据之间的差异的残差。(这由此允许从由运动矢量指向的编码的视频数据、以及描述该块与当前视频帧的块之间的差异的差数据来构成(当前)帧的块的视频数据。)
图2更详细地示出了根据本发明实施方式的用于对视频图像数据进行编码和解码的系统21。这示出了图1所示的视频生成和编码设备1以及解码和显示装置2的更详细的图。
视频生成和编码设备1包括生成和/或提供用于编码的视频图像数据的帧序列的视频帧生成器29(例如，摄像机、图像信号处理器或GPU)和主机CPU 22。视频生成和编码设备1还包括用于对视频图像数据的帧序列进行编码的编码器23。(将参照图3和图4更详细地描述的)编码器23包括缩放级24以及随后的运动补偿级26。
在传输链路3的另一侧上，解码和显示设备2包括解码器28和显示器10，该解码器28用于对从视频生成和编码设备1通过链路3发送的编码的视频图像数据进行解码，该显示器10(例如，移动电话上的显示屏)用于显示解码的视频图像数据。
如本领域技术人员将理解的，视频生成编码设备1以及解码和显示设备2可以包括图2中未示出的其它元件和组件。图2以本发明的方式简要地示出了视频生成和编码设备1以及解码和显示设备2的与本实施方式的操作相关的这些元件和组件。
图3和图4更详细地示出了图2所示的编码器23，图3和图4中的每一个示出了编码器23的不同级别的细节。
图3示出了编码器23包括将相对于彼此编码的帧序列提供给编码处理级16的“源”帧加载器12和“参考”帧加载器14。源帧加载器12被配置为从图2所示的视频生成器29接收针对“源”帧(帧序列中的要被编码的新帧)的输入视频图像数据。参考帧加载器14被配置为从编码处理级16接收针对已经被编码且现在被用作“参考”帧的源帧的视频图像数据(像素数据)，使得这些帧可以被提供给编码处理级16并由编码处理级16使用，以用作对后面的新“源”帧进行编码的参考帧。
编码器23还包括编码决定级18，该编码决定级18被配置为分别从源帧加载器12和参考帧加载器14接收源帧和参考帧的视频图像数据(或与该数据相关的信息)中的至少一些。编码决定级18也与编码处理级16通信，使得编码决定级18可以指示编码处理级16如何对源帧序列进行编码。
从编码处理级16输出的编码的(源)帧通过链路3作为编码的视频图像数据的比特流被传输。编码处理级16还将其正在编码的源帧的(全)像素数据发送给参考帧缓冲器20，该参考帧缓冲器20可以被参考帧加载器14访问。
除了编码决定级18之外，图4还示出了参考帧加载器14和参考帧缓冲器20、编码处理级16的更多细节。相对于各自的参考帧对源帧序列进行编码的编码处理级16包括缩放级24和运动补偿级26(如也在图2中示出)。缩放级24接收来自参考帧加载器14和编码决定级18的输入(编码决定级18本身接收来自参考帧加载器14和源帧加载器的输入，如图3所示)。运动补偿级26接收来自缩放级24或参考帧加载器14的输入。
虽然缩放级24和运动补偿级26已经在附图中被示为“单独的”级，但是如果需要，同样也可以将这些操作组合成一个操作(组合成组合的缩放和运动补偿级)。
现在将参照图5中示出的流程图、图6中的如何使用“隐藏”帧的示意图以及图1至图4中示出的系统来描述根据本发明实施方式的用于对视频图像数据进行编码的视频生成和编码设备1的操作。
图5示出了根据本发明的实施方式的用于对视频图像数据进行编码的操作的流程图。图6示出了根据本发明的实施方式如何使用缩放副本参考帧(其被标记为“隐藏”帧)。
在操作中，视频生成器29生成表示帧序列的视频图像数据或提供给编码器23(例如，如图6所示)(步骤101，图5)，其中该视频图像数据由源帧加载器12接收。与帧序列中的每个帧相关联的信息(例如，包括报头数据)被传递到编码决定级18，以确定应如何对每个帧进行编码。
对于帧序列中的第一(“关键”)帧(例如，图6所示的第一源帧5)，不存在用于对源帧5进行编码的相对的先前(参考)帧。编码决定级18确定该第一源帧5将被编码为关键帧(即，不参照任何其它帧)，并且该决定被发送给编码处理级16。编码处理级16还从源帧加载器12接收表示第一源帧5的视频图像数据(图5的步骤103)，并将该帧编码为关键帧(图5的步骤106)。
然后，通过链路3将第一源帧5的编码的视频图像数据发送给解码器28(图5的步骤107)。第一源帧5的像素数据也被写入到参考帧缓冲器20中，使得该像素数据可以用于帧序列中的后续帧的差分编码，即如图6所示，第一源帧5现在是第二源帧6的第一参考帧5。
对于帧序列中的第二源帧6，源帧加载器12接收该帧6(图5的步骤101)(并且参考帧加载器14从参考帧缓冲器20读取先前参考帧5)，并且编码决定级18从这些帧5、6确定新源帧6将被编码为“中间”帧(“inter”frame)(即，相对于先前参考帧5)。然后，编码决定级18在没有从主机CPU 22接收到指示新源帧6的分辨率与参考先前帧5的分辨率不同的信号的情况下，在相对于先前参考帧5对新源帧6进行编码中简单地正常(即，按照VP9视频编码格式)进行(即，由于新源帧6具有与参考先前帧5相同的分辨率(图5的步骤102))。
编码决定级18将这些决定发送给编码处理级16，并且编码处理级16从源帧加载器12加载表示第二源帧6的视频图像数据(图5的步骤103)。然后，编码处理级16将表示第二源帧6的视频图像数据以及来自参考帧缓冲器20的(由参考帧加载器14加载的)表示参考先前帧5的编码的视频图像数据一起使用，以例如使用运动补偿级26相对于参考先前帧5对第二源帧6进行编码(图5的步骤106)。
然后，通过链路3将第二源帧6的编码的视频图像数据发送给解码器28(图5的步骤107)。第二源帧6的像素数据也被写入到参考帧缓冲器20中，使得该像素数据可以用于帧序列中后续帧的差分编码，即如图6所示，第二源帧6现在被存储为用于下一个源帧的参考帧。
假设此时可用于发送编码的视频图像数据的带宽减小。向主机CPU 22用信号通知这种情况和/或由主机CPU 22检测到这种情况，主机CPU 22因此控制视频生成器29以比先前的源帧6更低的分辨率来生成和/或提供第三源帧7，使得与更好地匹配减少的带宽相比，针对第三源帧7生成的编码的视频图像数据将减少。主机CPU 22还向编码器23指示新源帧7具有不同的(在这种情况下更低的)分辨率。
针对帧序列中的第三源帧7，源帧加载器12接收该帧7(图5的步骤101)(并且参考帧加载器14从参考帧缓冲器20读取所存储的参考先前帧6)并且编码决定级18从这些帧6、7确定新源帧7将被编码为“中间”帧(即，相对于先前帧6)。
由于第三源帧7具有与第二源帧6不同的(即，较低的)分辨率，因此编码决定级18接收并记录来自主机CPU 22的分辨率已经改变的指示(图5的步骤102)。
从图4可以看出，在这种情况下，编码决定级18向编码处理级16的缩放级4指示新源帧7具有与存储的参考先前帧6不同的分辨率。这使得参考帧加载器14将参考先前帧6加载到缩放级24中，并且缩放级24以与新源帧7相同的分辨率生成参考先前帧6的缩放复本6'(图5的步骤104)。
由缩放级24生成的缩放副本6'相对于参考先前帧6(以先前的分辨率)被编码(图5的步骤104)。将理解，该过程不需要运动补偿，因此运动补偿级26在缩放副本参考帧6'(仅使用(0,0)运动矢量对该帧进行编码)的编码期间不起作用。
缩放副本参考帧6'也被设置为通过(例如，在与帧相关联的报头数据中)用标记对缩放副本参考帧6'进行标记来发送编码的视频图像数据中的“隐藏”帧(图5的步骤105)，以便向解码器指示该帧不用于显示(并且因此仅用于对新源帧7解码)。
用于缩放副本参考帧6'的像素数据也被写入到参考帧缓冲器20中，使得其可以用于帧序列中的后续帧的差分编码，即如图6所示，缩放副本参考帧6'现在被存储为用于下一个源帧的参考帧。
然后如前所述进行新源帧7的编码，除了(以新分辨率)使用缩放副本参考帧6'而不是(以先前的分辨率)使用先前帧6来对新源帧7进行编码。
因此，编码处理级16将表示第三源帧7的视频图像数据和缩放副本参考帧6'一起使用从而以新分辨率相对于缩放副本参考帧6'对第三源帧7进行编码(图5的步骤106)。
然后，第三源帧7的编码的视频图像数据与编码的缩放副本参考帧6'一起通过链路3被发送给解码器28(图5的步骤107)。如前所述，第三源帧7的像素数据也被写入到参考的帧缓冲器20中，使得其可以用于帧序列中的后续帧的差分编码，即如图6所示，第三源帧图7现在是第四源帧8的参考帧。
(第四源帧8前面的)后续帧的编码如上所述地继续进行，且针对这些帧的编码的视频图像数据通过链路3编码器23被发送给解码器28以进行解码。从图6可以看出，第四源帧8具有与第三帧7相同的分辨率，因此以与上述针对第二源帧6相对于第一帧5相同的方式，第四源帧8相对于第三帧7被编码。
然而，当接收到具有与先前帧不同分辨率的后续源帧时，以上文针对第三源帧7描述的相同方式以新分辨率对新源帧进行编码，即通过首先生成先前帧的缩放副本，然后以新分辨率相对于先前帧的缩放副本对新源帧进行编码。
现在将参照图7所示的流程图、图6中如何使用“隐藏”帧的示意图以及图1至图4中所示的系统来描述根据本发明的实施方式的用于对视频图像数据进行解码的解码和显示设备2的操作。
图7示出了根据本发明的实施方式的用于对视频图像数据进行解码的操作的流程图。
在对表示帧序列的视频图像数据进行编码之后，编码的视频图像数据通过链路3从编码器23被发送给解码器28(图5的步骤107)，如上所述。
解码器28接收表示帧序列的编码的视频图像数据(例如，如图6所示)。然后，解码器28通过相对于先前帧对一个帧进行解码来将差分编码的视频图像数据(如果这是帧如何被编码的话)进行解码。
针对帧序列中的第一(“关键”)帧(例如，图6所示的第一帧5)，没有用于对帧5进行解码的先前(参考)帧。因此，解码器28将该要被解码的第一源帧5确定为关键帧(即，不参照任何其它帧)并且这样对第一帧5进行解码。然后将针对该帧的解码的视频图像数据输出到显示器10并在显示器10上显示。
针对帧序列中的第二(源)帧6，解码器28确定该帧已经相对于第一(参考)帧5被编码(并且因此应该这样被解码)。此外，在没有将先前参考帧5标记为“隐藏”帧(图7的步骤108)的情况下，解码器28在使用参考先前帧5对新源帧6进行解码中简单地正常进行(即，由于新源帧6具有与参考先前帧5相同的分辨率)。然后，解码器能够使用第一参考帧5对第二源帧6进行解码(图7的步骤109)，并输出解码的视频图像数据以用显示器10进行显示(图7的步骤112)。
接下来，解码器28在编码的视频图像数据的比特流中接收缩放副本参考帧6'。缩放副本参考帧6'已经用标志进行编码，以指示它是由解码器28识别的“隐藏”帧(即，指示不显示缩放的参考帧6')。因此，解码器28知道缩放的参考帧6'被“隐藏”(图7的步骤108，)，并且不应该显示它(图7的步骤110)。
然后，解码器28(使用先前帧6作为参考帧(因为该帧是对缩放副本参考帧6'进行编码所相对的帧))对编码的缩放副本参考帧6'进行解码，并将解码的缩放副本参考帧6'(的像素数据)存储为用于对下一个编码的源帧进行解码的参考帧(图7的步骤111)。
接下来，解码器28在编码的视频图像数据的比特流中接收第三源帧7。该编码的第三源帧7已与其关联一个指示(例如，标志)，以告知解码器使用缩放副本参考帧6'作为用于对第三源帧进行解码的参考帧。因此，解码器28知道其应该(以与第三源帧7相同的分辨率)使用缩放副本参考帧6'而不是(以与第三源帧7不同的分辨率)使用第二帧6作为用于对第三源帧7进行解码的参考帧。
然后，解码器28使用缩放副本参考帧6'对第三源帧7的编码的视频图像数据进行解码(图7的步骤109)，并将针对第三源帧7的解码的视频图像数据输出到显示器10以进行显示(图7的步骤112)。
(第四帧8前面的)后续帧的解码如上所述地继续进行，且这些帧的编码的视频图像数据由解码器28解码，以由显示器10显示。从图6可以看出，第四帧8具有与第三参考帧7相同的分辨率，因此使用第三帧7以与上述针对第二帧6相对于第一帧5相同的方式对第四帧8进行解码。
然而，当接收到后续的隐藏帧(指示该帧不被显示而是替换先前参考帧并在对下一帧进行解码时被使用)时，以与上述针对第三帧7相同的方式(即，使用先前帧的缩放副本)以新分辨率对下个帧进行解码。
从上文可以理解，在本发明的实施方式的操作中，解码器将接收与图6所示的“参考”帧序列相对应的编码的视频帧序列，但将输出以显示与图6中标记为“源”帧的帧相对应的帧序列。因此，缩放副本参考帧6'将被包括在发送给解码器并且解码器对其进行解码的帧序列中，但缩放副本参考帧6'实际上将不被显示。
在上述实施方式中，参照源帧序列中的要被编码的紧之前的源帧对将参照另一源帧被编码的源帧进行编码。然而，如果需要并且根据需要，其它布置也是可能的，并且通常可以参照源帧序列中的任何其它源帧(即，源帧序列中的先前源帧或之后源帧)对给定源帧进行编码。如果需要，也可以参考源帧序列中的多个其它源帧(例如，源帧序列中的先前源帧和之后源帧)对源帧进行编码。本实施方式扩展成这种布置。
从上文可以看出，本发明在其优选实施方式中至少提供了一种在诸如VP9的视频编码系统中对视频数据进行编码时处理分辨率变化的有效和高效机制。
这在本发明的优选实施方式中至少通过生成另一帧的缩放副本来用作在以新(改变的)分辨率对源帧进行编码时要使用的参考帧来实现。这意味着具有新分辨率的源帧然后可以相对于具有相同分辨率的帧(即，另一帧的缩放副本)而被编码，而不是必须使用不同分辨率的另一帧。由于编码处理电路可能已经被配置为执行缩放，所以可能不必提供任何附加的(例如，专用的)用于生成缩放的参考帧的硬件。
在特别的优选实施方式中，当存在分辨率改变时要用作参考帧的另一帧的缩放副本被表示为“隐藏”帧，使得它本身不会被显示。

Claims (13)

1.一种在使用视频编码处理时对视频数据帧序列中的帧进行编码和解码的方法，所述视频编码处理使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧来对所述源视频帧序列中的要被编码的至少一些帧进行编码；
该方法包括以下步骤：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的将用作针对所述新源帧的参考帧的另一源帧的分辨率不同：
生成被编码的所述源帧序列中的所述另一源帧的缩放副本，所述另一源帧将用作针对所述新源帧的参考帧，所述另一源帧被缩放为所述新源帧的分辨率以用作针对所述新源帧的参考帧；
对所述另一源帧的所生成的缩放副本进行编码，以提供输出的表示所述另一源帧的所生成的缩放副本的编码视频图像数据；
使用所述另一源帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出的表示所述新源帧的编码视频图像数据；
将表示所述另一源帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据发送给视频解码器；
在所述视频解码器处：
对所述另一源帧的所述缩放副本的编码视频图像数据进行解码；以及
使用所述另一源帧的经解码的缩放副本作为参考帧对所述新源帧的编码视频图像数据进行解码，以提供输出的所述新源帧的视频图像数据。
2.根据权利要求1所述的方法，该方法包括以下步骤：指示要被编码的源帧的分辨率与一源帧或另一源帧的分辨率不同。
3.根据权利要求1或2所述的方法，该方法包括以下步骤：使用所述另一源帧对所述另一源帧的生成的缩放副本进行编码。
4.根据权利要求1或2所述的方法，该方法包括以下步骤：在被发送的表示所述另一源帧的所述缩放副本的所述编码视频图像数据中包括所述另一源帧的所述缩放副本是将不被显示的帧的指示。
5.根据权利要求1或2所述的方法，该方法包括以下步骤：对所述另一源帧进行编码以提供输出的表示所述另一源帧的编码视频图像数据，并将表示所述另一源帧的编码视频图像数据发送给所述视频解码器。
6.根据权利要求1或2所述的方法，该方法包括以下步骤：在所述视频解码器处：不显示所述另一源帧的解码的缩放副本。
7.一种用于对视频数据帧序列中的帧进行编码和解码的系统，该系统包括：
编码处理电路，所述编码处理电路能够：
使用源视频帧序列中的要被编码的一个或更多个源帧作为参考帧对所述源视频帧序列中的要被编码的至少一些帧进行编码；
所述编码处理电路还能够：
当期望对被编码的源帧序列中的新源帧进行编码时，其中，所述新源帧的分辨率与被编码的所述源帧序列中的将用作针对所述新源帧的参考帧的另一源帧的分辨率不同：
生成被编码的所述源帧序列中的所述另一源帧的缩放副本，所述另一源帧将用作所述新源帧的参考帧，所述另一源帧被缩放为所述新源帧的分辨率以用作针对所述新源帧的参考帧；
对所述另一源帧的所生成的缩放副本进行编码，以提供输出的表示所述另一源帧的所生成的缩放副本的编码视频图像数据；以及
使用所述另一源帧的所述缩放副本作为参考帧对所述新源帧进行编码，以提供输出表示所述新源帧的编码视频图像数据；
所述系统还包括：
处理电路，所述处理电路能够将表示所述另一源帧的所述缩放副本的编码视频图像数据和表示所述新源帧的编码视频图像数据发送给视频解码器；以及
视频解码器，所述视频解码器包括解码处理电路，所述解码处理电路能够：
当所述解码处理电路接收源帧的编码视频图像数据时，其中，所述源帧通过使用另一源帧的缩放副本作为参考帧被编码：
对所述另一源帧的所述缩放副本的所接收的编码视频图像数据进行解码；以及
使用所述另一源帧的所解码的缩放副本作为参考帧来对通过使用另一源帧的缩放副本作为参考帧而被编码的所述源帧的编码视频图像数据进行解码，以提供输出的通过使用另一源帧的缩放副本作为参考帧而被编码的所述源帧的视频图像数据。
8.根据权利要求7所述的系统，该系统包括主机处理电路，所述主机处理电路能够在帧序列中的要被编码的源帧的分辨率不同于所述源帧序列中的要被编码的一帧或所述另一源帧的分辨率时指示所述编码处理电路。
9.根据权利要求7或8所述的系统，其中，所述编码处理电路能够使用所述另一源帧对所述另一源帧的所生成的缩放副本进行编码。
10.根据权利要求7或8所述的系统，其中，所述编码处理电路能够在被发送的表示所述另一源帧的所述缩放副本的编码视频图像数据中包括所述另一源帧的所述缩放副本是将不被显示的帧的指示。
11.根据权利要求7或8所述的系统，其中，所述编码处理电路能够对所述另一源帧进行编码以提供输出的表示所述另一源帧的编码视频图像数据，并且所述处理电路能够将表示所述另一源帧的编码视频图像数据发送给所述视频解码器。
12.根据权利要求11所述的系统，其中，所述解码处理电路能够不显示所述另一源帧的经解码的缩放副本。
13.一种存储有计算机软件代码的计算机可读存储介质，所述计算机软件代码在数据处理器上运行时执行如权利要求1至6中的任一项所述的方法。
CN201710426208.3A 2016-06-10 2017-06-08 对帧进行编码和解码的方法、系统和计算机可读存储介质 Active CN107493477B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1610170.1A GB2551199B (en) 2016-06-10 2016-06-10 Video data processing system
GB1610170.1 2016-06-10

Publications (2)

Publication Number Publication Date
CN107493477A CN107493477A (zh) 2017-12-19
CN107493477B true CN107493477B (zh) 2023-05-09

Family

ID=56894758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710426208.3A Active CN107493477B (zh) 2016-06-10 2017-06-08 对帧进行编码和解码的方法、系统和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11212540B2 (zh)
JP (1) JP6989299B2 (zh)
KR (1) KR102336179B1 (zh)
CN (1) CN107493477B (zh)
GB (1) GB2551199B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
JP7374137B2 (ja) * 2019-03-01 2023-11-06 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオコーディング
CN110599421B (zh) * 2019-09-12 2023-06-09 腾讯科技（深圳）有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
US11463240B2 (en) * 2020-05-21 2022-10-04 Novatek Microelectronics Corp. Methods and image processing devices for encoding and decoding private data
US11503322B2 (en) 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels
US11509897B2 (en) 2020-08-07 2022-11-22 Samsung Display Co., Ltd. Compression with positive reconstruction error
CN111741298B (zh) * 2020-08-26 2020-12-01 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备及可读存储介质
WO2024025280A1 (en) * 2022-07-27 2024-02-01 Samsung Electronics Co., Ltd. Method and system for content-based scaling for artificial intelligence based in-loop filters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232360A (ja) * 2008-03-25 2009-10-08 Toshiba Corp 情報処理装置
WO2015098559A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10117354A (ja) 1996-10-11 1998-05-06 Matsushita Electric Ind Co Ltd 動画伝送システム
US6317164B1 (en) * 1999-01-28 2001-11-13 International Business Machines Corporation System for creating multiple scaled videos from encoded video sources
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
JP4641995B2 (ja) 2006-09-22 2011-03-02 パナソニック株式会社 画像符号化方法および画像符号化装置
US8675738B2 (en) * 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
US8782165B2 (en) * 2011-01-26 2014-07-15 Openwave Mobility, Inc. Method and transcoding proxy for transcoding a media stream that is delivered to an end-user device over a communications network
JP2012169765A (ja) 2011-02-10 2012-09-06 Canon Inc 符号化装置
KR101812615B1 (ko) 2012-09-28 2017-12-27 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9736477B2 (en) * 2013-09-09 2017-08-15 Ati Technologies Ulc Performing video encoding mode decision based on motion activity
JP6293464B2 (ja) 2013-11-27 2018-03-14 株式会社貝印刃物開発センター 剃刀
US10051281B2 (en) * 2014-05-22 2018-08-14 Apple Inc. Video coding system with efficient processing of zooming transitions in video
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232360A (ja) * 2008-03-25 2009-10-08 Toshiba Corp 情報処理装置
WO2015098559A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法

Also Published As

Publication number Publication date
GB201610170D0 (en) 2016-07-27
GB2551199B (en) 2019-12-18
CN107493477A (zh) 2017-12-19
KR102336179B1 (ko) 2021-12-07
JP6989299B2 (ja) 2022-01-05
US20170359589A1 (en) 2017-12-14
KR20170140084A (ko) 2017-12-20
GB2551199A (en) 2017-12-13
JP2017220934A (ja) 2017-12-14
US11212540B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN107493477B (zh) 对帧进行编码和解码的方法、系统和计算机可读存储介质
CN109922344B (zh) 用于对高动态范围图像进行编码、解码和表示的技术
EP3583777A1 (en) A method and technical equipment for video processing
CN106254877B (zh) 视频处理系统、处理视频数据帧的方法、装置与存储介质
KR101781776B1 (ko) 인코더 및 디코더
US8908982B2 (en) Image encoding device and image encoding method
US8311107B2 (en) Image data compression device, compressing method, image data decompression device, decompressing method, and recording medium
US20180276873A1 (en) Providing output surface data to a display in data processing systems
CN106233730B (zh) 生成经编码输出视频帧及数据阵列的方法和系统
CN113068040A (zh) 一种图像压缩方法、装置、电子设备及可读存储介质
US11102493B2 (en) Method and apparatus for image compression that employs multiple indexed color history buffers
CN112422868A (zh) 数据处理方法及终端设备、服务器
CN106031168A (zh) 具有减少色彩分辨率的视频流的自适应处理
CN115358911A (zh) 屏幕水印的生成方法、装置、设备和计算机可读存储介质
CN107222747B (zh) 对帧进行解码的方法及装置、对帧进行编码的方法及装置
CN111131654A (zh) 一种水印嵌入方法、装置及编解码器
TWI552573B (zh) 具有初始化片段之視訊及音訊之寫碼
CN112040148A (zh) 视频增值服务方法、装置和存储介质
US10218978B2 (en) Data processing systems
US20040032969A1 (en) Data embedding device and data extraction device
CN116708800A (zh) 图像编码与解码方法、装置及系统
CN117355864A (zh) 基于ai的图像提供装置及其方法、以及基于ai的显示装置及其方法
CN115412727A (zh) 编码方法、解码方法及其装置
CN117744096A (zh) 一种图像处理方法、装置、设备及可读存储介质
KR20230025279A (ko) Ai 기반의 영상 제공 장치 및 이에 의한 방법, 및 ai 기반의 디스플레이 장치 및 이에 의한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant