CN107205156A - 通过缩放的运动矢量预测 - Google Patents

通过缩放的运动矢量预测 Download PDF

Info

Publication number
CN107205156A
CN107205156A CN201611235272.5A CN201611235272A CN107205156A CN 107205156 A CN107205156 A CN 107205156A CN 201611235272 A CN201611235272 A CN 201611235272A CN 107205156 A CN107205156 A CN 107205156A
Authority
CN
China
Prior art keywords
frame
motion vector
reference frame
block
time gap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611235272.5A
Other languages
English (en)
Other versions
CN107205156B (zh
Inventor
德巴尔加·慕克吉
许耀武
刘宇新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107205156A publication Critical patent/CN107205156A/zh
Application granted granted Critical
Publication of CN107205156B publication Critical patent/CN107205156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种通过缩放的运动矢量预测。使用来自视频流中的先前帧的运动矢量针对当前帧的当前块预测运动矢量。确定用来预测当前块的一个或多个参考帧与当前帧之间的时间距离以及先前帧与其参考帧之间的时间距离。可以将用于当前帧和先前帧的时间距离组合以加权运动矢量并改善运动矢量预测。

Description

通过缩放的运动矢量预测
背景技术
数字视频流通常使用帧或静止图像序列来表示视频。每个帧可以包括许多块，该块进而可以包含描述像素的色彩、亮度或其它属性的值的信息。典型视频流中的数据量很大，并且视频的传输和存储可以使用相当多的计算或通信资源。由于视频数据中涉及大量数据，因此需要高性能压缩以用于传输和存储。这常常涉及到使用运动矢量的中间预测。
发明内容
本公开总体上涉及通过使用针对先前帧计算的运动矢量来预测用于当前帧的运动矢量来编码和解码视觉数据，诸如视频流数据。
本文中所述的公开实施方式的各方面包括一种用于编码或解码包括定义视频序列的帧的视频信号的方法，每个帧具有块，并且每个块具有像素，该方法包括：基于在视频序列的先前帧中的共位块以及视频序列的第一和第二先前参考帧来确定用于视频序列的当前帧的块的预测运动矢量；通过基于先前帧与第一和第二先前参考帧以及当前帧与第一和第二当前参考帧之间的时间距离对预测运动矢量加权，并与包括在视频信号中的比特组合，基于第一和第二当前参考帧来确定当前运动矢量；以及使用当前运动矢量将块解码。
本文中所述的装置的一个方面是一种用于编码或解码包括定义视频序列的帧的视频信号的装置，每个帧具有块，并且每个块具有像素，该装置包括：基于在视频序列的先前帧中的共位块以及视频序列的第一和第二先前参考帧来确定用于视频序列的当前帧的块的预测运动矢量；通过基于先前帧与第一和第二先前参考帧以及当前帧与第一和第二当前参考帧之间的时间距离对预测运动矢量加权，并与包括在视频信号中的位组合，基于第一和第二当前参考帧来确定当前运动矢量；以及使用当前运动矢量将块解码。
在以下详细描述、所附权利要求和附图中另外详细地描述了本公开的这些及其它方面。
附图说明
这里的描述对下面所述附图进行参考，在多个附图中相同的参考标号指代相同部分，除非另外说明。
图1是视频编码和解码系统的示意图。
图2是能够实现发送站和接收站的计算设备的示例的框图。
图3是要编码并随后解码的视频流的图。
图4是根据本文教导的一个方面的编码器的框图。
图5是根据本文教导的一个方面的解码器的框图。
图6是根据本公开的一个实施方式的用于通过预测运动矢量来将块编码或解码的过程的流程图。
图7是用于解释图6的过程的图。
具体实施方式
可以用多种技术来压缩视频流以减少发送或存储视频流所需的带宽。视频流可以通过编解码器编码成比特流，这可以涉及到压缩，然后被发送到可以对比特流进行解码或解压缩以使其准备好用于观看或进一步处理的编解码器。将视频流编码可以涉及到进行视频质量与比特流大小之间的权衡的参数，其中，增加已解码视频流的感知质量可以增加发送或存储比特流所需的比特数。
一种实现优良压缩性能的技术通过空间和/或运动补偿预测利用视频信号的空间和时间相关性。中间预测例如使用运动矢量来识别类似于要被编码的当前块的先前编码和解码块。通过将运动矢量以及两个块之间的差编码，解码器可以重新创建当前块。另一方面，内部预测可以使用来自同一帧的信息预测当前块，并对将要解码的两个块之间的差编码以重新创建当前块。编码器可以使用多个中间和内部模式中的两个或更多个来将帧的块编码，并且测量每个块的每个模式的速率/失真以选择具有最小失真的预测模式，失真例如是针对如通过编码的比特流中的比特数测量的结果速率如通过计算绝对差的和(SAD)测量的。
某些编解码器可以通过预测与当前帧的当前块相关联的当前运动矢量来减少要在视频流中发送的比特数。可以使用基于当前帧中的先前编码块的预测运动矢量来预测当前运动矢量。可以用不同的方式对预测运动矢量加权以补偿当前运动矢量与预测运动矢量之间的参考数据的差。
本文中的教导描述了使用来自共位块的参考运动矢量来形成当前运动矢量，该共位块来自先前帧，该先前帧来自视频流。可以通过确定可以是当前参考帧的先前帧与先前参考帧以及当前帧与当前参考帧之间的时间距离的差来对参考运动矢量加权。在平滑变化的视频中，来自先前帧的在时间上接近于包括当前参考帧中的一个或多个的当前帧的共位块最有可能具有类似于当前块的运动矢量。这意味着可以预见传送预测运动矢量与当前运动矢量之间的差所需的比特数可以是小的，并且因此能够以小的固定数目的比特来发送。
使用来自先前帧的加权的预测运动矢量来预测当前运动矢量可以通过设定视频流中的比特以指示当前块使用加权的预测运动矢量被编码而向解码器指示。解码器可以通过每当由解码器接收到新的I帧或黄金帧时重置时间距离来跟踪与参考图像相关联的时间距离。然后，每当由解码器处理帧时，更新该时间距离。如果该时间距离与被用于向前预测的帧相关联，则更新可以包括增加参考帧与当前帧相比的时间偏移。如果时间距离与被用于向后预测的帧相关联，则更新可以包括减小参考帧与当前帧相比的时间偏移。使用如本文中所述的预测运动矢量编码视频数据相比于在没有这种技术的情况下编码的块而言可以具有改善的速率/失真度量。
图1是视频编码和解码系统100的示意图。发送站102可以是例如具有诸如图2中描述的硬件的内部配置的计算机。然而，发送站102的其它适当实施方式是可能的。例如，发送站102的处理可以分布在多个设备之间。
网络104可以连接发送站102和接收站106以实现视频流的编码和解码。具体地，可以在发送站102中编码视频流，并且编码的视频流可以在接收站106中被解码。网络104可以是例如因特网。网络104还可以是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、移动、蜂窝式电话网或将视频流从发送站102传输到在本示例中的接收站106的任何其它手段。
在一个示例中，接收站106可以是例如具有诸如图2中描述的硬件的内部配置的计算机。然而，接收站106的其它适当实施方式是可能的。例如，接收站106的处理可以分布在多个设备之间。
视频编码和解码系统100的其它实施方式是可能的。例如，实施方式可以省略网络104。在另一实施方式中，可以将视频流编码然后存储以用于在以后传输到接收站106或具有非临时存储器的任何其它设备。在一个实施方式中，接收站106接收(例如，经由网络104、计算机总线和/或某些通信路径)编码的视频流，并存储该视频流以用于以后的解码。在示例性实施方式中，实时传输协议(RTP)被用于通过网络104进行的编码的视频的传输。在另一实施方式中，可以使用除RTP之外的传输协议，例如基于超文本传输协议(HTTP)的视频流式传输协议。
例如，当在视频会议系统中使用时，发送站102和/或接收站106可以包括如下所述的编码和解码视频流的能力。例如，接收站106可以是视频会议参与者，其从视频会议服务器(例如，发送站102)接收编码的视频比特流以解码并观看，并进一步将其自身的视频比特流编码并发送到视频会议服务器以便被其它参与者解码和观看。
图2是可以实现发送站和接收站的计算设备200的示例的框图。例如，计算设备200可以实现图1的发送站102和接收站106中的一者或两者。计算设备200可以采取包括多个计算设备的计算系统的形式，或采取单个计算设备的形式，例如移动电话、平板计算机、膝上型计算机、笔记本计算机、台式计算机等。
计算设备200中的CPU 202可以是中央处理单元。替换地，CPU202可以是现在存在或以后开发的能够操纵或处理信息的任何其它类型的设备或多个设备。虽然可以如所示的那样用单个处理器，例如CPU202，来实施公开实施方式，但可以使用超过一个处理器来实现速度和效率方面的优点。
在实施方式中，计算设备200中的存储器204可以是非临时存储器且可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。可以使用任何其它适当类型的存储设备作为存储器204。存储器204可以包括被CPU 202使用总线212访问的代码和数据206。存储器204还可以包括操作系统208和应用程序210，该应用程序210包括允许CPU 202执行这里所述的方法的至少一个程序。例如，应用程序210可以包括应用1至N，其还包括执行这里所述的方法的视频编码应用。计算设备200还可以包括辅助储存器214，其可以是例如与移动计算设备一起使用的存储卡。由于视频通信会话可包含大量的信息，所以可以将其全部或部分地存储在辅助储存器214中并根据处理的需要加载到存储器204中。
计算设备200还可以包括一个或多个输出设备，诸如显示器218。在一个示例中，显示器218可以是触敏显示器，其将显示器与可操作以感测触摸输入的触敏元件组合。可以经由总线212将显示器218耦合到CPU 202。除显示器218之外或者作为其替换，可以提供允许用户编程或者以其他方式使用计算设备200的其它输出设备。当输出设备是或者包括显示器时，可以用各种方式来实现显示器，包括用液晶显示器(LCD)、阴极射线管(CRT)显示器或发光二极管(LED)显示器，诸如有机LED(OLED)显示器。
计算设备200还可以包括图像传感设备220，或与之通信，图像传感设备220例如是相机或者现在存在或以后开发的可以感测图像——诸如操作计算设备200的用户的图像——的任何其它图像传感设备220。图像传感设备220可以定位成使得其指向操作计算设备200的用户。在示例中，图像传感设备220的位置和光轴可以被配置成使得视场包括直接邻近于显示器218且从其可见到显示器218的区域。
计算设备200还可以包括声音传感设备222，或与之通信，声音传感设备222例如是扩音器或者现在存在或以后开发的可以感测计算设备200附近的声音的任何其它声音传感设备。声音传感设备222可以定位成使得其指向操作计算设备200的用户，并且可以被配置成接收在用户操作计算设备200的同时由用户产生的声音，例如话音或其它发声。
虽然图2将计算设备200的CPU 202和存储器204描绘为被集成为单个单元，但可以利用其它配置。CPU 202的操作可以分布在可以被直接地或者跨局域网或其它网络耦合的多个机器(每个机器具有一个或多个处理器)上。存储器204可以分布在多个机器上，诸如基于网络的存储器或者执行计算设备200的操作的多个机器中的存储器。虽然在这里被描述为单个总线，但计算设备200的总线212可以由多个总线构成。此外，可以将辅助储存器214直接耦合到计算设备200的其它组件或者可以经由网络来访问，并且可以包括诸如存储卡的单个集成单元或诸如多个存储卡的多个单元。因此可以用多种配置来实现计算设备200。
图3是要编码并随后解码的视频流300的示例的图。视频流300包括视频序列302。在下一层级，视频序列302包括许多邻近帧304。虽然将三个帧描绘为邻近帧304，但视频序列302可以包括任何数目的邻近帧304。然后可以将邻近帧304细分成单独帧，例如帧306。在下一层级，可以将帧306划分成一系列平面或片段308。片段(或平面)308可以是例如允许并行处理的帧的子集。片段308还可以是可以将视频数据分离成单独色彩的帧的子集。例如，彩色视频数据的帧306可以包括辉度平面和两个色度平面。可以以不同的分辨率对片段308进行采样。
无论帧306是否被划分成片段308，都可以将帧306进一步细分成块310，块310可以包含对应于例如帧306中的16×16像素的数据。还可以将块310布置成包括来自像素数据的一个或多个平面的数据。块310还可以是任何其它适当大小，诸如4×4像素、8×8像素、16×8像素、8×16像素、16×16像素或更大。除非另外说明，否则术语块包括宏块。可以如下面更详细地讨论的那样根据本文中的教导将帧306分区。
图4是根据本公开的实施方式的编码器400的框图。如上所述，可以诸如通过提供存储在例如存储器204的存储器中的计算机软件程序来在发送站102中实现编码器400。计算机软件程序可以包括机器指令，该机器指令在被诸如CPU 202的处理器执行时使发送站102以图4中所述的方式编码视频数据。还可以将编码器400实现为包括在例如发送站102中的专用硬件。编码器400具有以下各级以在前向路径(用连接实线示出)中执行各种功能以使用视频流300作为输入而产生编码的或压缩的比特流420：内部/中间预测级402、变换级404、量化级406以及熵编码级408。编码器400还可以包括重构路径(用虚线连接线示出)以重构帧用于编码未来的块。在图4中，编码器400具有以下各级以执行重构路径中的各种功能：去量化级410、逆变换级412、重构级414以及环路滤波级416。可以使用编码器400的其它结构变体来编码视频流300。
当呈现视频流300以用于编码时，可以以块为单位来处理每个帧306。在内部/中间预测级402，可以使用帧内预测(也称为内部预测)或帧间预测(在本文中也称为中间预测或中间-预测)编码每个块。在任何情况下，可以形成预测块。在内部预测的情况下，预测块可以由先前已被编码并重构的当前帧中的样本形成。在中间预测的情况下，预测块可以由一个或多个先前构造的参考帧中的样本形成，如下面更详细地讨论的。
接下来，仍参考图4，可以在内部/中间预测级402从当前块减去预测块以产生残余块(也称为残余)。变换级404使用基于块的变换将残余变换成例如频域中的系数。这种基于块的变换包括例如离散余弦变换(DCT)和不对称离散正弦变换(ADST)。其它基于块的变换是可能的。此外，可以对单个残余应用不同变换的组合。在变换的应用的一个示例中，DCT将残余块变换到频域中，其中变换系数值基于空间频率。最低频率(DC)系数在矩阵的左上方且最高频率系数在矩阵的右下方。值得注意的是，预测块的大小和因此结果产生的残余块可以不同于变换块的大小。例如，可以将预测块划分成对其应用单独变换的更小的块。
量化级406使用量化器值或量化水平将变换系数转换成离散量化值，其被称为量化的变换系数。例如，变换系数可以除以量化器值并被截断。量化的变换系数然后由熵编码级408熵编码。可以使用任何数目的技术，包括令牌和二叉树，来执行熵编码。然后将熵编码系数连同用来解码块的其它信息，可以包括例如所使用的预测的类型、变换类型、运动矢量和量化器值，一起输出到压缩比特流420。还可以将压缩的比特流420称为编码的视频流或编码的视频比特流，并且该术语将在本文中可互换地使用。
图4中的重构路径(用虚线连接线示出)可以用来确保编码器400和解码器500(下面描述)使用相同的参考帧来解码压缩的比特流420。重构路径执行与在下面更详细描述的解码过程期间发生的功能类似的功能，包括在去量化级410对量化的变换系数去量化，并在逆变换级412对去量化的变换系数进行逆变换以产生导数残余块(也称为导数残余)。在重构级414，可以将在内部/中间预测级402预测的预测块与导数残余相加以创建重构块。可以将环路滤波级416应用于重构块以减少诸如块伪影的失真。
可以使用编码器400的其它变体来编码压缩的比特流420。例如，基于非变换的编码器400可以针对某些块或帧在没有变换级404的情况下直接地将残余信号量化。在另一实施方式中，编码器400可以使量化级406和去量化级410组合成单个级。
图5是根据本公开的另一实施方式的解码器500的框图。可以例如通过提供存储在存储器204中的计算机软件程序来在接收站106中实现解码器500。计算机软件程序可以包括机器指令，该机器指令在被诸如CPU 202之类的处理器执行时使接收站106以图5中所述的方式解码视频数据。还可以将解码器500实现为包括在例如发送站102或接收站106中的硬件。
类似于上文所讨论的编码器400的重构路径，解码器500在一个示例中包括以下各级以执行各种功能以从压缩的比特流420产生输出视频流516：熵解码级502、去量化级504、逆变换级506、内部/中间预测级508、重构级510、环路滤波级512和去块滤波级514.。可以使用解码器500的其它结构变体来解码压缩的比特流420。
当压缩的比特流420被呈现用于解码时，压缩的比特流420内的数据元素可以被熵解码级502解码以产生一组量化的变换系数。去量化级504将量化的变换系数去量化(例如，通过将量化的变换系数乘以量化器值)，并且逆变换级506使用所选的变换类型对去量化的变换系数进行逆变换，以产生可以与由编码器400中的逆变换级412创建的导数残余相同的导数残余。使用从压缩的比特流420解码的报头信息，解码器500可使用内部/中间预测级508来创建与在编码器400，例如，在内部/中间预测级402，创建的预测块相同的预测块。在重构级510，可以将预测块与导数残余相加以创建重构块。可以将环路滤波级512应用于重构块以减少块伪影。可以对重构块应用其它滤波。在本示例中，对重构块应用去块滤波级514以减少块状失真，并且结果被作为输出视频流516而输出。也可以将输出视频流516称为解码的视频流，并且该术语将在本文中可互换地使用。
可以使用解码器500的其它结构变体来解码压缩的比特流420。例如，解码器500可以在没有去块滤波级514的情况下输出视频流516。
图6是根据本公开的一个实施方式的用于通过使用先前帧的运动矢量预测来编码或解码块的过程600的流程图。可以在诸如计算设备200之类的系统中实现方法或过程600以帮助视频流的编码或解码。可以例如将过程600实现为由计算设备，诸如及发送站102或接收站106，执行的软件程序。软件程序可以包括存储在诸如存储器204的存储器中的机器可读指令，其在被诸如CPU 202的处理器执行时使计算设备执行过程600。还可以整体地或部分地使用硬件来实现过程600。如上所述，某些计算设备可以具有多个存储器和多个处理器，在这种情况下可以使用不同的处理器和存储器来分配过程600的步骤或操作。术语“处理器”和“存储器”在本文中以单数形式的使用包含具有仅一个处理器或一个存储器的计算设备以及具有每个可以在某些但不一定是所有叙述步骤的执行中使用的多个处理器或存储器的计算机设备。
为了简化说明，将过程600描绘并描述为一系列步骤或操作。然而，根据本公开的步骤和操作可以按照各种顺序和/或同时地发生。另外，根据本公开的步骤或操作可以与在本文中未提出和描述的其它步骤或操作一起发生。此外，并非所有步骤或操作都是实现根据本公开主题的方法所要求的。可以对输入信号的每个帧重复过程600。
当过程600是编码过程时，输入信号可以是例如视频流300。输入信号可以以任意数目的方式被执行过程600的计算设备200接收。例如，输入信号可以被图像传感设备220捕捉，或通过连接到总线212的输入从另一设备接收。在另一实施方式中可以从辅助储存器214检索输入信号。输入信号的其它接收方式及其它来源是可能的。例如，当过程600是解码过程时，输入信号可以是诸如压缩的比特流420的编码的比特流。
视频压缩方案可以首先将图像帧划分成大的块。编码器可以将大的块递归地分解成更小的块。可以用一个或多个树形结构来表示块之间的这些递归关系。对于表示树形结构上的叶节点的每个块，编码器可以选择内部或中间预测来产生预测块。编码器然后可以使用无损代数编码来编码使用预测块形成的残余块。公开的实施方式的各方面包括用于针对难以预测的块产生更好的预测块，以便改善预测的质量并因此改善总体编码效率的新的预测模式。
在视频压缩方案中，单独块的编码可以基于内部预测或中间预测。在中间预测的情况下，预测模式可以包括使用针对在与当前块相同的帧中的块生成的运动矢量来指示运动矢量预测的模式。在本文中公开的各方面包括使用与当前帧的块共位的先前帧的块相关联的加权运动矢量来指示运动矢量预测的新预测模式。
图7是示出沿着时间标度T的视频流700的帧702、704、706、708、710、712的图。视频流700包括当前帧710和当前块716。视频流还包括先前帧704的共位块714。共位块714与当前块716共位。在平滑变化的视频中，共位块可以具有与当前块的运动矢量非常类似的运动矢量。共位块714包括由标记为MV1_PREV 7和MV2_PREV的矢量指示的运动矢量。共位块还包括时间距离T1_PREV和T2_PREV。图7还示出了具有由标记为MV1_CURR和MV2_CURR的矢量指示的运动矢量的当前帧710的当前块716。当前块还包括时间距离T1_CURR和T2_CURR。
运动矢量表示不同视频帧之间的时间相关性，并且此类相关性与在当前帧与其参考帧之间经历的时间间隔紧密相关。如图7所示，针对先前编码帧中的共位块，其可以具有多达2个运动矢量，一个前向(MV1_PREV)参考过去的参考帧，一个后向(MV2_PREV)参考未来的参考帧。T1_PREV指示先前帧与其前向参考帧之间的时间间隔，而T2_PREV指示先前帧与其后向参考帧之间的时间间隔。同样地，当前帧还可以具有多达2个运动矢量MV1_CURR和MV2_CURR，并且两个时间间隔T1_CURR和T2_CURR指示当前帧与其自身的前向参考帧和后向参考帧之间的时间。
假设帧之间的平移运动大部分是平滑的，可以检查先前帧与其参考之间的时间间隔，并且将其与在当前帧与其自身的参考之间的时间间隔进行比较。可以对共位块的先前运动矢量进行相应地缩放以匹配两个时间间隔之间的比率，然后用作运动矢量参考候选，以用于当前运动矢量的编码。
例如，为了编码用于当前块的前向运动矢量MV1_CURR，如果MV1_PREV或MV2_PREV可用，则可以使用MV1_PREV或MV2_PREV作为用于MV1_CURR的编码的运动矢量参考候选：
运动矢量参考候选1：MV1_PREV/T1_PREV*T1_CURR
运动矢量参考候选2：MV2_PREV/T2_PREV*T1_CURR
同样地，我们可以获得用于MV2_CURR的编码的两个运动矢量参考候选：
运动矢量参考候选1：MV1_PREV/T1_PREV*T2_CURR
运动矢量参考候选2：MV2_PREV/T2_PREV*T2_CURR
返回图6，在步骤602，过程600可以确定用于共位块714的先前帧时间距离，例如T1_PREV和T2_PREV。公开的实施方式的各方面可以例如通过检查与共位块714相关联的比特来确定T1_PREV和T2_PREV。这些比特在接收到I帧时被重置，并且可以通过将其编码为与当前帧相比的帧中的偏移来指示时间距离。当解码器处理帧时，如果帧被用于向前预测就增加偏移，且如果帧被用于向后预测就减小偏移，从而更新偏移以表示正确的时间距离。
在步骤604，过程600可以确定用于当前块716的当前帧时间距离，例如T1_CURR和T2_CURR。公开的实施方式的各方面可以从包括在视频流700中的信息确定T1_CURR和T2_CURR以执行运动预测。在步骤606，过程600可以例如从包括在视频流中并存储在共位块714处的比特确定先前运动矢量MV1_PREV和MV2_PREV。在步骤608，过程600可以基于当前时间距离与先前时间距离的组合来对先前运动矢量加权。如在图7能够看出，由于时间距离T1_PREV和T2_PREV可以不同于时间距离T1_CURR和T2_CURR，所以矢量MV1_PREV和MV2_PREV可以不同于矢量MV1_CURR和MV2_CURR。可以相应地对共位块的先前运动矢量MV1_PREV和MV2_PREV进行加权或缩放以匹配两个时间间隔之间的比率。此类加权或缩放运动可以提供对当前运动矢量的编码的有效预测。
返回图6，在步骤610，过程600解码当前块716。可以使用当前运动矢量来解码当前块714，当前运动矢量是通过将在用于当前块716的视频流中发送的运动矢量与来自步骤608的加权的预测运动矢量MV1_PREV和MV1_PREV相加以生成当前运动矢量MV1_CURR和MV2_CURR而形成的。当前运动矢量MV1_CURR和MV2_CURR与当前参考帧708一起被使用以预测当前块716。
根据公开的实施方式的方面将块编码包括确定加权的预测运动矢量MV1_PREV和MV2_PREV并从当前运动矢量MV1_CURR和MV2_CURR中减去，并将该差作为小的固定数目的比特编码到视频流中，连同指示此中间预测模式使用先前帧中的共位块的比特一起作为运动矢量。因此，公开的方面向每个参考帧的帧报头添加表示时间信息的比特。当前，在某些编解码器中，单个符号比特与每个参考帧相关联，指示该参考帧是在时间上位于当前帧之前还是之后。可以向每个参考帧添加其它时间信息，例如可以使用固定数目的比特来编码当前编码帧与参考帧之间的时间距离(间隔)。使用此类时间距离信息，可以获得更多时间运动矢量参考候选以更有效地编码当前运动矢量。此类缩放的运动矢量处理可以在编解码器中提供新的中间预测编码模式以用于更高效的编码。
向用于每个参考帧的帧报头添加时间信息可能招致比特速率成本损失。为了有效地将此类时间信息编码，公开实施方式的信息方面跟踪参考帧缓冲器上的更新。例如，当参考帧缓冲器被更新时，如果I帧或关键帧正在被编码并置于参考帧缓冲器中，则可以将用于每个参考帧的时间间隔的绝对值编码并写入视频流中。否则，如果I帧正在被编码并写入视频流，则针对未被刷新且保留在参考缓冲器中以用于下一帧的编码的那些参考帧而言，它们相应的时间间隔可以因此被重新计算，而不需要比特流中的任何附加信息，如下：如果参考帧被用于前向预测，则其时间间隔增加一个帧间隔；否则，如果其被用于后向预测，则其时间间隔减小一个帧间隔。如果参考帧被刷新，则其时间间隔然后将被重置，并且相应的绝对值被编码并写入到比特流。以这种方式，可以在保持相同的解码视频质量的同时使描述运动矢量的比特数最小化。
上文所述的编码和解码的方面示出了编码和解码技术的某些示例。然而，应理解的是编码和解码(如在权利要求中使用的那些术语)可以意指数据的压缩、解压缩、变换或任何其它处理或改变。
单词“示例”和“方面”在本文中被用来意指充当示例、实例或说明。在本文中描述为“示例”或“方面”的任何方面或设计不一定要理解为相对于其它方面或设计而言是优选或有利的。相反地，单词“示例”或“方面”的使用旨在以具体的方式呈现概念。如在本申请中使用的术语“或”旨在表示包括性的“或”而不是排他性的“或”。也就是说，除非另外指定，或者从上下文显而易见，“X包括A或B”意图意指任何的自然包括性替换。也就是说，如果X包括A；X包括B；或者X包括A和B两者，则根据任何前述实例，满足“X包括A或B”。另外，除非另外指明或者从上下文显而易见的是针对单数形式，否则在本申请和所附权利要求中使用的冠词“一”和“一个”一般地应被理解成意指“一个或多个”。此外，除非这样描述，否则贯穿全文使用的术语“实施方式”或“一个实施方式”并不旨在表示相同的实施例或实施方式。
可以用硬件、软件或其任何组合来实现发送站102和/或接收站106(以及存储在其上和/或从而被执行，包括通过编码器400和解码器500的算法、方法、指令等)的实施方式。硬件可以包括例如计算机、知识产权(IP)核心、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或任何其它适当电路。在权利要求中，应将术语“处理器”应当被理解为单独地或以组合方式地包含任何前述硬件。术语“信号”和“数据”被可互换地使用。此外，发送站102和接收站106的各部分不一定必须用相同的方式实现。
此外，在一个方面，例如，可以使用具有计算机程序的通用计算机或通用处理器实现发送站102或接收站106，计算机程序在被执行时执行本文所述的任何相应的方法、算法和/或指令。另外或替换地，例如，可以利用专用计算机/处理器，其可以包含用于执行本文中所述的任何方法、算法或指令的其它硬件。
例如可以在视频会议系统中的计算机上实现发送站102和接收站106。替换地，可以在服务器上实现发送站102，并且可以在诸如手持式通信设备的与服务器分开的设备上实现接收站106。在这种情况下，发送站102可以使用编码器400将内容编码成编码的视频信号并将编码的视频信号发送到通信设备。进而，通信设备然后可以使用解码器500将编码的视频信号解码。替换地，通信设备可以将在通信设备上本地存储的内容，例如并非由发送站102发送的内容，解码。其它适当的发送和接收实现方案是可用的。例如，接收站106可以是通常固定的个人计算机而不是便携式通信设备，和/或包括编码器400的设备还可以包括解码器500。
此外，本教导的所有实施方式或其一部分可以采取从例如有形计算机可用或计算机可读介质可访问的计算机程序产品的形式。计算机可用或计算机可读介质可以是能够例如有形地包含、存储、传送或传输程序以供任何处理器使用或与之相结合地使用的任何设备。该介质可以是例如电子、磁性、光学、电磁或半导体设备。其它适当介质也是可用的。
描述上述实施例、实施方式和方面是为了允许容易地理解本发明而不限制本发明。相反地，本发明旨在涵盖包括在所附权利要求范围内的各种修改和等价布置，该范围符合最宽泛的解释从而涵盖根据法律许可的所有此类修改和等价结构。

Claims (20)

1.一种用于使用计算设备解码视频信号的方法，所述视频信号包括定义视频序列的帧，所述帧具有块，并且所述块具有像素，所述方法包括：
基于a)在所述视频序列的先前帧中的共位块，以及b)所述视频序列中的所述先前帧的第一参考帧和第二参考帧，来确定用于所述视频序列的当前帧的块的预测运动矢量；
通过以下操作来基于所述当前帧的第一参考帧和第二参考帧确定用于所述当前帧的所述块的当前运动向量：基于所述先前帧与所述先前帧的所述第一参考帧和所述第二参考帧之间的以及所述当前帧与所述当前帧的所述第一参考帧和所述第二参考帧之间的多个时间距离，对所述预测运动矢量加权，并与包括在所述视频信号中的比特组合；以及
使用所述当前运动矢量解码所述块。
2.根据权利要求1所述的方法，
其中，解码所述块是基于包括在所述视频信号中的指示编码模式的比特，并且
其中，基于加权所述预测运动矢量加上包括在所述视频信号中的比特，确定所述当前运动矢量。
3.根据权利要求1所述的方法，
其中，通过包括在所述视频信号中的指示所述当前帧与所述当前帧的所述第一参考帧和所述第二参考帧之间的所述多个时间距离的固定数目的比特来指示所述多个时间距离。
4.根据权利要求3所述的方法，
其中，所述多个时间距离被编码为相对于所述当前帧的偏移。
5.根据权利要求4所述的方法，
其中，所述多个时间距离中的一个时间距离被初始编码为相对于I帧的偏移，并且每当帧被处理时和当新的I帧被发送时被更新。
6.根据权利要求5所述的方法
其中，如果所述帧被用于前向预测，则更新偏移包括将所述偏移增加一个帧间隔。
7.根据权利要求5所述的方法
其中，如果所述帧被用于后向预测，则更新偏移包括将所述偏移减少一个帧间隔。
8.一种用于使用计算设备编码视频信号的方法，所述视频信号包括定义视频序列的帧，所述帧具有块，并且所述块具有像素，所述方法包括：
基于a)在所述视频序列的先前帧中的共位块，以及b)所述视频序列中的所述先前帧的第一参考帧和第二参考帧，来确定用于所述视频序列的当前帧的块的预测运动矢量；
通过以下操作确定用于包括在所述编码的视频信号中的比特：在基于所述先前帧与所述先前帧的所述第一参考帧和所述第二参考帧之间的以及所述当前帧与所述当前帧的第一参考帧和第二参考帧之间的多个时间距离对所述预测运动矢量加权之后，从基于所述当前帧的所述第一参考帧和所述第二参考帧的用于所述当前帧的所述块的当前运动矢量中减去所述预测运动矢量；以及
使用所述当前运动矢量编码所述块。
9.根据权利要求8所述的方法，
其中，编码所述块包括在所述编码的视频信号中包括指示编码模式的比特，并且
其中，基于加权所述预测运动矢量加上包括在所述视频信号中的比特，确定所述当前运动矢量。
10.根据权利要求8所述的方法，
其中，通过包括在所述编码的视频信号中的指示所述当前帧与所述当前帧的所述第一参考帧和所述第二参考帧之间的以及所述当前帧与所述先前帧的所述第一参考帧和第二所述参考帧之间的所述多个时间距离的固定数目的比特来指示所述多个时间距离。
11.根据权利要求10所述的方法，
其中，所述多个时间距离被编码为相对于所述当前帧的偏移。
12.根据权利要求11所述的方法，
其中，所述多个时间距离中的一个时间距离被初始编码为相对于I帧的偏移，并且每当帧被处理时和当新的I帧被发送时被更新。
13.根据权利要求12所述的方法，
其中，如果所述帧被用于前向预测，则更新偏移包括将所述偏移增加一个帧间隔。
14.权利要求12的方法，
其中，如果所述帧被用于后向预测，则更新偏移包括将所述偏移减小一个帧间隔。
15.一种用于解码视频信号的装置，所述视频信号包括定义视频序列的帧，所述帧具有块，并且所述块具有像素，所述装置包括：
处理器；以及
非临时存储器，所述非临时存储器存储指令，所述指令在被执行时使得所述处理器执行操作，所述操作包括：
基于a)在所述视频序列的先前帧中的共位块，以及b)所述视频序列中的所述先前帧的第一参考帧和第二参考帧，来确定用于所述视频序列的当前帧的块的预测运动矢量；
通过基于所述先前帧与所述先前帧的所述第一参考帧和所述第二参考帧之间的以及所述当前帧与所述当前帧的第一参考帧和第二参考帧之间的多个时间距离对所述预测运动矢量加权，并添加包括在所述视频信号中的比特，来基于第一当前参考帧和第二当前参考帧确定当前运动矢量；以及
使用所述当前运动矢量解码所述块。
16.根据权利要求15所述的装置，
其中，解码所述块是基于包括在所述视频信号中的指示编码模式的比特，以及
其中，基于加权所述预测运动矢量加上包括在所述视频信号中的比特，来确定所述当前运动矢量。
17.根据权利要求15所述的装置，
其中，通过包括在所述视频信号中的指示所述当前帧与所述当前帧的所述第一参考帧和所述第二参考帧以及所述先前帧的所述第一参考帧和所述第二参考帧中的每一个之间的所述多个时间距离的固定数目的比特来指示所述多个时间距离。
18.根据权利要求17所述的装置，
其中，所述多个时间距离被编码为相对于所述当前帧的偏移。
19.根据权利要求17所述的装置，
其中，所述多个时间距离中的一个时间距离被初始编码为相对于I帧的偏移，并且每当帧被处理时和当新的I帧被发送时被更新。
20.根据权利要求19所述的装置，
其中，如果所述帧被用于前向预测，则更新偏移包括将所述偏移增加一个帧间隔。
CN201611235272.5A 2016-03-18 2016-12-28 通过缩放的运动矢量预测 Active CN107205156B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/074,442 US10271062B2 (en) 2016-03-18 2016-03-18 Motion vector prediction through scaling
US15/074,442 2016-03-18

Publications (2)

Publication Number Publication Date
CN107205156A true CN107205156A (zh) 2017-09-26
CN107205156B CN107205156B (zh) 2020-03-03

Family

ID=57799818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611235272.5A Active CN107205156B (zh) 2016-03-18 2016-12-28 通过缩放的运动矢量预测

Country Status (5)

Country Link
US (1) US10271062B2 (zh)
CN (1) CN107205156B (zh)
DE (2) DE102016124909A1 (zh)
GB (1) GB2548450B (zh)
WO (1) WO2017160363A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183906A1 (zh) * 2018-03-29 2019-10-03 华为技术有限公司 帧间预测的方法和装置
CN110800297A (zh) * 2018-07-27 2020-02-14 深圳市大疆创新科技有限公司 视频编码方法及装置、计算机可读存储介质
CN111263166A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 一种视频图像预测方法及装置
CN111819850A (zh) * 2018-09-14 2020-10-23 谷歌有限责任公司 通过共帧运动矢量的运动预测代码化
CN112203091A (zh) * 2020-12-04 2021-01-08 浙江智慧视频安防创新中心有限公司 基于二次多项式的运动矢量预测方法、系统及计算机介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873775B2 (en) 2017-06-12 2020-12-22 Netflix, Inc. Staggered key frame video encoding
CN112770113A (zh) * 2019-11-05 2021-05-07 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225125C (zh) * 2001-01-03 2005-10-26 诺基亚有限公司 视频传输时在比特流之间的切换
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
CN102835111A (zh) * 2010-01-19 2012-12-19 三星电子株式会社 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
KR101505195B1 (ko) 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN107948656B (zh) 2011-10-28 2021-06-01 太阳专利托管公司 图像解码方法及图像解码装置
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225125C (zh) * 2001-01-03 2005-10-26 诺基亚有限公司 视频传输时在比特流之间的切换
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
CN102835111A (zh) * 2010-01-19 2012-12-19 三星电子株式会社 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183906A1 (zh) * 2018-03-29 2019-10-03 华为技术有限公司 帧间预测的方法和装置
US11412210B2 (en) 2018-03-29 2022-08-09 Huawei Technologies Co., Ltd. Inter prediction method and apparatus for video coding
CN110800297A (zh) * 2018-07-27 2020-02-14 深圳市大疆创新科技有限公司 视频编码方法及装置、计算机可读存储介质
CN110800297B (zh) * 2018-07-27 2022-10-04 深圳市大疆创新科技有限公司 视频编码方法及装置、计算机可读存储介质
CN111819850A (zh) * 2018-09-14 2020-10-23 谷歌有限责任公司 通过共帧运动矢量的运动预测代码化
CN111819850B (zh) * 2018-09-14 2024-03-29 谷歌有限责任公司 通过共帧运动矢量的运动预测代码化的方法和装置
CN111263166A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 一种视频图像预测方法及装置
CN111263166B (zh) * 2018-11-30 2022-10-11 华为技术有限公司 一种视频图像预测方法及装置
CN112203091A (zh) * 2020-12-04 2021-01-08 浙江智慧视频安防创新中心有限公司 基于二次多项式的运动矢量预测方法、系统及计算机介质

Also Published As

Publication number Publication date
DE202016008194U1 (de) 2017-04-25
CN107205156B (zh) 2020-03-03
GB2548450A (en) 2017-09-20
GB201621551D0 (en) 2017-02-01
US20170272770A1 (en) 2017-09-21
US10271062B2 (en) 2019-04-23
DE102016124909A1 (de) 2017-09-21
GB2548450B (en) 2020-09-16
WO2017160363A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN107205156A (zh) 通过缩放的运动矢量预测
US20220353534A1 (en) Transform Kernel Selection and Entropy Coding
US10555000B2 (en) Multi-level compound prediction
JP6767488B2 (ja) 参照フレームのバッファ追跡を通じた動きベクトル参照の選択
US11647223B2 (en) Dynamic motion vector referencing for video coding
CN107027032A (zh) 最后帧运动向量分区
CN107071440A (zh) 使用先前帧残差的运动矢量预测
US10798402B2 (en) Same frame motion estimation and compensation
CN110169068B (zh) Dc系数符号代码化方案
US10681374B2 (en) Diversified motion using multiple global motion models
WO2018169571A1 (en) Segmentation-based parameterized motion models
CN107318015A (zh) 用于视频编码的混合预测模式
CN107231557A (zh) 用于在视频编码中的高级帧内预测的递归块分区中的智能重排
CN107018416A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
US10645417B2 (en) Video coding using parameterized motion model
US10225573B1 (en) Video coding using parameterized motion models
CN110692247B (zh) 复合运动补偿的预测
US10110914B1 (en) Locally adaptive warped motion compensation in video coding
CN107396127A (zh) 用于视频编码的超宽区域运动估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant