CN117294837A - 用于图像处理的方法和图像处理装置 - Google Patents

用于图像处理的方法和图像处理装置 Download PDF

Info

Publication number
CN117294837A
CN117294837A CN202311156567.3A CN202311156567A CN117294837A CN 117294837 A CN117294837 A CN 117294837A CN 202311156567 A CN202311156567 A CN 202311156567A CN 117294837 A CN117294837 A CN 117294837A
Authority
CN
China
Prior art keywords
initial
motion vector
image block
image
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311156567.3A
Other languages
English (en)
Inventor
李蔚然
郑萧桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202311156567.3A priority Critical patent/CN117294837A/zh
Publication of CN117294837A publication Critical patent/CN117294837A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种用于图像处理的方法和图像处理装置，该方法包括：获取当前图像块的初始运动矢量；当该初始运动矢量指向的参考图像为长期参考图像时，基于该初始运动矢量对该当前图像块进行运动补偿；当该初始运动矢量指向的参考图像为短期参考图像时，对该初始运动矢量进行修正，获得修正后的运动矢量，基于该修正后的运动矢量对该当前图像块进行运动补偿。该方法能够避免由于长期参考图像的图像块边沿的明显跳变，进行无意义的搜索，可以提高编解码效率。

Description

用于图像处理的方法和图像处理装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域，尤其涉及一种用于图像处理的方法和图像处理装置。
背景技术
近年来，由于便携式设备、手持式设备以及可穿戴设备的盛行，视频的内容量不断增长。随着视频形式变得越来越复杂，视频的存储和传输变得越来越具有挑战性。为了减少视频存储和传输所占用的带宽，通常在编码端对视频数据进行编码压缩，在解码端进行解码。
编码压缩过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与预测图像块的相应像素值相减得到残差。将得到的各子图像块对应的残差组合在一起，得到待编码图像块的残差。残差经过变换、量化和熵编码等处理后得到熵编码比特流，将熵编码比特流及进行编码后的编码模式信息，例如帧内预测模式、运动矢量(或运动矢量残差)等信息，进行存储或发送到解码端。
在图像的解码端，获得熵编码比特流后进行熵解码，得到相应的残差；根据解码得到的运动矢量、帧内预测等信息找到待解码图像块对应的预测图像块；根据预测图像块与残差得到待解码图像块中各像素点的值。
通过以上说明可知，在进行帧间预测时，选取的参考图像与当前待编码图像越相似则帧间预测产生的残差越小，从而可以提升帧间预测的编码效率。具体地，现有的一些技术可以利用视频中的各图像构建一个包含场景的背景内容的高质量的特定参考图像。在进行帧间预测时当前待编码图像或当前待解码图像的背景部分可通过参考所述的高质量的特定参考图像用于减少帧间预测的残差信息，从而提高编码效率。也即，该特定参考图像是作为帧间预测的参考图像。长期参考图像不是一个已解码图像，而是一个人为构造的图像。长期参考图像中包括多个图像块，任意一个图像块均是从某个已解码图像中取出的，长期参考图像中的不同图像块可能取自于不同的已解码图像。
本文中，长期参考图像以外的参考图像和非长期参考图像，均称为短期参考图像。
为了提高编码效率，减少编码端发送的信息量，现有的一些技术可以在解码端直接推导出运动矢量。编码端无需发送运动矢量信息或运动矢量残差信息，解码端也无需通过解码运动矢量信息或运动矢量残差信息便可以获得真实的运动矢量。
现有的一些使用运动矢量推导的技术和一些使用双向运动预测的技术中，不考虑长期参考图像的特殊性。一些使用运动矢量推导的技术不考虑运动矢量所指向的参考图像是否为长期参考图像，在进行运动矢量修正时可能会在长期参考图像中进行运动搜索，这反而降低了搜索效率和编码效率。使用双向运动预测的技术根据图像的时间相关性对运动矢量进行操作，当涉及到的运动矢量所指向的参考图像为长期参考图像时，由于当前待编码图像或当前待解码图像与长期参考图像的时间距离定义不明确，这些操作可能会失效。
发明内容
本申请提供了一种用于图像处理的方法和图像处理装置，可以提高编/解码效率。
第一方面，提供一种用于图像处理的方法，包括：
获取当前图像块的初始运动矢量MV；
当所述初始MV指向的参考图像为长期参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；
当所述初始MV指向的参考图像为短期参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。
第二方面，提供一种图像处理装置，包括：
至少一个存储器，用于存储计算机可执行指令；
至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取当前图像块的初始运动矢量MV；
当所述初始MV指向的参考图像为长期参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；
当所述初始MV指向的参考图像为短期参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。
第三方面，提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行第一方面的用于图像处理的方法。
第四方面，提供一种编码设备，包括第二方面的图像处理装置。
第五方面，提供一种解码设备，包括第二方面的图像处理装置。
第六方面，提供一种用于图像处理的方法，包括：
获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；
当所述第一参考图像和所述第二参考图像中至少一个为长期参考图像时，基于所述第一初始MV和所述第二初始MV计算得到当前图像块的预测图像块；
当所述第一参考图像和所述第二参考图像均为短期参考图像时，根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，根据所述当前图像块的MV，计算得到当前图像块的预测图像块。
第七方面，提供一种图像处理装置，包括：
至少一个存储器，用于存储计算机可执行指令；
至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；
当所述第一参考图像和所述第二参考图像中至少一个为长期参考图像时，基于所述第一初始MV和所述第二初始MV计算得到当前图像块的预测图像块；
当所述第一参考图像和所述第二参考图像均为短期参考图像时，根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，根据所述当前图像块的MV，计算得到当前图像块的预测图像块。
第八方面，提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行第六方面的用于图像处理的方法。
第九方面，提供一种编码设备，包括第七方面的图像处理装置。
第十方面，提供一种解码设备，包括第七方面的图像处理装置。
附图说明
图1是本申请一个实施例的用于图像处理的方法的示意性流程图。
图2是本申请一个实施例的双向匹配法的原理示意图。
图3是本申请一个实施例的模板匹配法的原理示意图。
图4是本申请一个实施例的DMVR技术的原理示意图。
图5是本申请另一个实施例的用于图像处理的方法的示意性流程图。
图6是本申请一个实施例的BIO技术的原理示意图。
图7是本申请一个实施例的图像处理装置的示意性框图。
图8是本申请另一个实施例的图像处理装置的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
首先介绍本申请实施例涉及的相关技术及概念。
视频是由多个图像构成的。对视频进行编/解码时，视频中不同的图像可采用不同的预测方式。根据图像所采用的预测方式，可以将图像区分为帧内预测图像和帧间预测图像，其中帧间预测图像包括前向预测图像和双向预测图像。I图像是帧内预测图像，也称为关键帧；P图像是前向预测图像，也即采用之前已编/解码的一个P图像或者I图像作为参考图像；B图像是双向预测图像，也即采用前后的图像作为参考图像。一种实现方式是编/解码端将多张图像进行编/解码后产生一段一段的图像组(Group Of Picture，GOP)，该GOP是由一张I图像，以及多张B图像(或双向预测图像)和/或P图像(或前向预测图像)构成的图像组。解码端在播放时则是读取一段一段的GOP进行解码后读取画面再渲染显示。
在现代视频编/解码标准中，可以通过将图像分成多个小块来对不同分辨率的图像进行编/解码，即图像可以被分成多个图像块。图像可以被分成任何数量的图像块。例如，该图像可以被分成一个m×n图像块阵列。图像块可以具有矩形形状、正方形形状、圆形形状或任何其他形状。图像块可以具有任何尺寸，例如p×q像素。每个图像块都可以具有相同尺寸和/或形状。可替代地，两个或更多图像块可以具有不同的尺寸和/或形状。图像块可以具有或者可以不具有任何重叠部分。在一些实施例中，该图像块在一些编/解码标准中被称为宏块或最大编码单元(Largest Coding Unit，LCU)。对于H.264标准，图像块被称为宏块，其大小可以是16×16像素。对于高效率视频编码(High Efficiency Video Coding，HEVC)标准，图像块被称为最大编码单元，其大小可以是64×64像素。
在另一些实施例中，一个图像块也可以不是一个宏块或最大编码单元，而是包含一个宏块或最大编码单元的部分，或者包含至少两个完整的宏块(或最大编码单元)，或者包含至少一个完整的宏块(或最大编码单元)和一个宏块(或最大编码单元)的部分，或者包含至少两个完整的宏块(或最大编码单元)和一些宏块(或最大编码单元)的部分。如此，在图像被分成多个图像块之后，可以分别对图像数据中的这些图像块进行编/解码。
编码过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与预测图像块的相应像素值相减得到残差。将得到的各子图像块对应的残差组合在一起，得到待编码图像块的残差。
在本申请的各实施例，可以使用变换矩阵去除图像块的残差的相关性，即去除图像块的冗余信息，以便提高编码效率。图像块中的数据块的变换通常采用二维变换，即在编码端将数据块的残差信息分别与一个N×M的变换矩阵及其转置矩阵相乘，相乘之后得到的是变换系数。变换系数经量化可得到量化后的系数，最后将量化后的系数进行熵编码，得到熵编码比特流。将熵编码比特流及进行编码后的编码模式信息，例如帧内预测模式、运动矢量(或运动矢量残差)等信息，进行存储或发送到解码端。在图像的解码端，获得熵编码比特流后进行熵解码，得到相应的残差；根据解码得到的运动矢量、帧内预测等信息找到图像块对应的预测图像块；根据预测图像块与残差得到当前子图像块中各像素点的值。
前文中提到采用已编/解码的图像来作为当前待编/解码的参考图像。在一些实施例中还可以构造一个参考图像，来提高参考图像与当前待编/解码图像的相似度。举例而言，视频内容中存在一类特定的编/解码场景，在该场景中背景基本不发生改变，只有视频中的前景发生改变或者运动。例如，视频监控就属于该类场景。在视频监控场景中通常监控摄像头固定不动或者只发生缓慢的移动，可以认为背景基本不发生变化。与此相对，在视频监控镜头中所拍摄到的人或车等物体则经常发生移动或改变，可以认为前景是经常变化的。在这类场景中，可以构造一个特定的参考图像，该特定的参考图像中只包含高质量的背景信息。例如，该特定的参考图像可以为长期参考图像。该长期参考图像中包括多个图像块，任意一个图像块均是从某个已解码图像中取出的，该长期参考图像中的不同图像块可能取自于不同的已解码图像。在进行帧间预测时，当前待编/解码图像的背景部分可通过参考该长期参考图像，由此能够减少帧间预测的残差信息，从而提高编/解码效率。
本申请各实施例中，长期参考图像可以是H.264/高级视频编码(Advanced VideoCoding，AVC)或者H.265/HEVC等标准中的长期参考(long term reference)帧，也可以是信源编码标准(Audio Video coding Standard，AVS)1-P2、AVS2-P2、电气和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)1857.9-P4等标准中的背景帧(background picture)，还可以是VP8、VP9等标准中的黄金帧(golden frame)、也可以是前述从多个已解码图像中取出的图像块构造得到的长期参考图像等，本申请实施例对此不作限定。
应理解，本申请各实施例的长期参考图像可以为不输出的图像。
前文中提到一些使用运动矢量推导的技术，在进行运动矢量修正时如果在长期参考图像中进行运动搜索，反而会降低搜索效率和编/解码效率。这是由于长期参考图像是人为构造的或者是来自于在时间顺序上很早之前的某一特定参考图像，长期参考图像中的图像块之间不一定有空间上的联系，图像块边沿有很明显的跳变，基于这样的长期参考图像对运动矢量进行搜索意义不大。模式匹配的运动矢量导出(Pattern Matching MotionVector Derivation，PMMVD)技术和解码端运动矢量求精(Decode Motion VectorRefinement，DMVR)技术均是使用运动矢量推导的技术。
前文中还提到一些使用双向运动预测的技术，根据图像的时间相关性对运动矢量进行操作，当涉及到的运动矢量所指向的参考图像为长期参考图像时，由于当前待编码图像或当前待解码图像与长期参考图像的时间距离定义不明确，这些操作可能会失效。双向光流(Bi-directional Optical flow，BIO)预测技术便是使用双向运动预测的技术。
在对本申请实施例的用于图像处理的方法进行说明之前，先对HEVC标准下视频编解码过程进行一个简单的说明。
HEVC标准定义了三种帧间预测的模式：Inter模式、Merge模式和Skip模式。帧间预测的目的是要得到一个运动矢量(Motion Vector，MV)，然后根据该运动矢量确定预测图像块在参考图像中的位置。由于邻近的图像块在运动方式上具有相似性，例如，当前图像块(例如待编码图像块和/或待解码图像块)和邻近的图像块都属于同一个物体，在镜头移动的时候，它们移动的距离和方向自然是相似的或相同，因此很多时候并不需要计算运动矢量，直接把邻近的图像块的运动矢量当作当前图像块的运动矢量。其中，Merge模式和Skip模式中，运动矢量残差(Motion Vector Difference，MVD)为0，即根据邻近的已编码图像块或已解码图像块直接得到运动矢量。
当待编码图像块和/或待解码图像块的模式为Merge模式时，工作原理如下。通过邻近的图像块构造一个运动矢量预测(Motion Vector Prediction，MVP)候选列表，从MVP候选列表中选出最优的一个MVP作为当前图像块的运动矢量，然后根据该运动矢量确定预测图像块的位置，确定预测图像块之后便能计算得到残差。在Merge模式下，运动矢量是从MVP候选列表中选出的，因此不存在MVD。编码端只需要对残差和选定的运动矢量在MVP候选列表中的索引进行编码即可，不再需要编码MVD。解码端可以按照类似的方法构造MVP候选列表，然后根据编码端传送过来的索引得到运动矢量。解码端根据运动矢量确定预测图像块，再结合残差解码得到当前图像块。
Merge模式下编码端具体的工作流程是：
1.获取MVP候选列表。
2.从MVP候选列表中选出最优的一个MVP，同时得到该MVP在MVP候选列表中的索引。
3.将选出的MVP作为当前图像块的运动矢量。
4.根据运动矢量从参考图像中确定出预测图像块。
5.当前图像块减去预测图像块得到残差。
6.运动矢量是从MVP候选列表中选出的，因此不存在MVD，只需把残差和选出的MVP在MVP候选列表中的索引发送给解码端。
Merge模式下解码端具体的工作流程是：
1.接收残差和运动矢量在MVP候选列表中的索引。
2.获取MVP候选列表。
3.根据索引，在MVP候选列表找到运动矢量作为当前图像块的运动矢量。
4.根据运动矢量确定预测图像块，再结合残差解码得到当前图像块。
以上为普通的Merge模式的处理过程。
Skip模式是Merge模式的一种特例。按照Merge模式得到运动矢量之后，如果编码器根据某种方法判断当前图像块和预测图像块基本相同，不需要传输残差的数据，只需要传送运动矢量在MVP候选列表中的索引，以及一个表明当前图像块可以直接从预测图像块得到标识。
Inter模式下，首先确定MVP，然后对MVP进行修正，得到MVD。编码端不仅需要向解码端传输索引和残差，还需要向解码端传输MVD。高级运动矢量预测(Advanced MotionVector Prediction，AMVP)是一种通过竞争机制实现运动矢量预测的工具。
AMVP模式下也有一个MVP候选列表，该MVP候选列表中的运动矢量是从当前图像块的空域或者时域上的邻近的块得到的。AMVP模式下的MVP候选列表与Merge模式下的MVP候选列表可能是不同的。编码端或解码端从MVP候选列表中选出最优的一个MVP。将该MVP作为搜索起始点，在其附近进行搜索，得到一个最优的运动矢量，该运动矢量就是当前图像块的运动矢量。根据该运动矢量确定预测图像块的位置，确定预测图像块之后便能计算得到残差。同时将该MV与MVP相减，得到MVD。编码端对残差、MVP在MVP候选列表中的索引以及MVD进行编码发送给解码端。解码端可以按照类似的方法构造MVP候选列表，然后根据编码端传送过来的索引得到MVP。解码端根据MVP和MVD确定MV，再根据MV确定预测图像块，结合残差解码得到当前图像块。
AMVP模式下编码端具体的工作流程是：
1.获取MVP候选列表。
2.从MVP候选列表中选出最优的一个MVP，同时得到该MVP在MVP候选列表中的索引。
3.根据MVP确定搜索起始点。
4.在起始点附近进行搜索，得到最优的运动矢量。
5.根据运动矢量从参考图像中确定出预测图像块。
6.当前图像块减去预测图像块得到残差。
7.由运动矢量减去MVP得到MVD。
8.把残差、选出的MVP在MVP候选列表中的索引和MVD发送给解码端。
AMVP模式下解码端具体的工作流程不再赘述。
本申请实施例提供了一种用于图像处理的方法100。图1是本申请一个实施例的用于图像处理的方法100的示意性流程图。如图1所示，该方法100包括：
S110，获取当前图像块的初始运动矢量；
S120，当该初始运动矢量指向的参考图像为长期参考图像时，基于该初始运动矢量对该当前图像块进行运动补偿；
S130，当该初始运动矢量指向的参考图像为短期参考图像时，对该初始运动矢量进行修正，获得修正后的运动矢量，基于该修正后的运动矢量对该当前图像块进行运动补偿。
本申请实施例的用于图像处理的方法，如果初始运动矢量指向长期参考图像，则直接进行运动补偿，如果初始运动矢量指向短期参考图像，则对初始运动矢量进行修正，基于所述修正后的运动矢量进行运动补偿，能够避免由于长期参考图像的图像块边沿的明显跳变，进行无意义的搜索，可以提高编解码效率。
在一个可能的实现方式中，本申请实施例的用于图像处理的方法100可以应用于PMMVD技术。
PMMVD技术是基于帧率上转换(Frame Rate Up Conversion，FRUC)技术的一种特殊的Merge模式。这种特殊的Merge模式下，当前图像块的运动信息(例如MV和MVD)不会在码流中进行编码，而是直接在解码端生成。
可选地，在该可能的实现方式中，S130当所述初始运动矢量指向的参考图像为短期参考图像时，对所述初始运动矢量进行修正，获得修正后的运动矢量，基于所述修正后的运动矢量对所述当前图像块进行运动补偿，可以包括：获取所述当前图像块的运动矢量候选列表，所述运动矢量候选列表中的任一候选运动矢量指向的参考图像为短期参考图像；基于所述运动矢量候选列表确定所述初始运动矢量；对所述初始运动矢量进行修正，获得修正后的运动矢量；基于所述修正后的运动矢量对所述当前图像块进行运动补偿。
本实现方式中，从运动矢量候选列表中确定出初始运动矢量，该运动矢量候选列表中的候选运动矢量指向的参考图像为短期参考图像，对初始运动矢量进行修正，获得修正后的运动矢量，基于修正后的运动矢量对当前图像块进行运动补偿，能够避免由于长期参考图像的图像块边沿的明显跳变，进行无意义的搜索，可以提高编解码效率。
可选地，在一个可能的实现方式中，获取当前图像块的运动矢量候选列表，可以包括：确定用于加入所述运动矢量候选列表的候选运动矢量，当所述候选运动矢量指向的参考图像为短期参考图像时，将所述候选运动矢量加入所述运动矢量候选列表。
具体地，在一个实施例中，所述方法100还可以包括：基于所述候选运动矢量指向的参考图像的帧标记确定所述候选运动矢量指向的参考图像为短期参考图像。具体地，可以基于所述候选运动矢量指向的参考图像的帧标记确定所述候选运动矢量指向的参考图像是否长期参考图像。如果候选运动矢量指向的参考图像是长期参考图像，则可以不将长期参考图像对应的候选运动矢量加入运动矢量候选列表。这样，从运动矢量候选列表选择出初始运动矢量时便不会选取出长期参考图像对应的运动矢量。
应理解，本申请各实施例的运动矢量包括三个参数，水平分量vx、垂直分量vy和所指向的参考图像的帧标记。例如，该帧标记可以为图像序列号(Picture Order Count，POC)，也可以为其他形式的标记。编码端和解码端通过该帧标记，可以确定参考图像的属性，判断该参考图像是长期参考图像还是短期参考图像。
可选地，在一个实施例中，基于所述运动矢量候选列表确定初始运动矢量，可以包括：判断选取的初始运动矢量是否为指向长期参考图像的运动矢量，如果选取的初始运动矢量中至少一个指向长期参考图像，则重新选取初始运动矢量，直至选取出指向的参考图像为长期参考图像以外的参考图像的初始运动矢量。
具体地，如果基于运动矢量候选列表确定出的初始运动矢量指向的是长期参考图像，则可以根据预设的规则，重新从运动矢量候选列表中选择一个候选运动矢量，作为初始运动矢量。该预设的规则例如可以为，选择匹配代价次小的候选运动矢量，如果该候选运动矢量指向的不是长期参考图像，则将该候选运动矢量作为初始运动矢量。该实施例仅为示例，而非对本申请的限定。
以编码端为例，FRUC merge模式下运动矢量导出过程分为两步。第一步是编码单元(Coding Unit，CU)级运动搜索，第二步是子CU(Sub-CU)级运动求精过程。类似地，解码端也能够实现编码端类似的功能。
在CU级运动搜索中，生成一个CU级运动矢量候选列表。基于双向匹配法从CU级运动矢量候选列表中找到匹配代价(cost)最小的一个运动矢量，例如MV-A；基于模板匹配法也从CU级运动矢量候选列表中找到匹配代价最小的一个运动矢量，例如MV-B。然后，基于Merge模式决策中使用的率失真代价(Rate Distortion Cost，RD-Cost)决策，对当前CU是否使用FRUC merge模式进行决策。即：使用RD-Cost决策对两种匹配法(双向匹配法和模板匹配法)的结果进行检查。将匹配代价小的匹配方式得到的结果进一步与其他CU模式的结果再次进行比较。如果两种匹配法中匹配代价小的匹配方式是最终匹配代价最小的，则将当前CU的FRUC的标识位设为真，且指示解码端使用对应的匹配方式。
在该具体的实现方式中，CU级运动矢量候选列表可以对应于本申请实施例的方法100中的运动矢量候选列表。生成运动矢量候选列表时可以对待加入列表的运动矢量进行遍历，当运动矢量指向短期参考图像时，将该运动矢量加入运动矢量候选列表；当指向长期参考图像时，将该运动矢量舍弃，不加入运动矢量候选列表。本实现方式中运动矢量候选列表可以包括以下中的至少一种候选运动矢量：如果所述当前图像块在高级运动矢量预测AMVP模式下，相对短期参考帧得到的原始AMVP候选运动矢量；相对短期参考帧得到的合并候选运动矢量；从短期参考帧通过插值得到的运动矢量；和所述当前块相对短期参考帧的上方相邻运动矢量和左方相邻运动矢量。该运动矢量候选列表可以作为CU级运动矢量候选列表。
基于所述运动矢量候选列表确定所述初始运动矢量，可以包括：基于双向匹配法和/或模板匹配法，确定所述运动矢量候选列表中的候选运动矢量对应的失真代价；将所述运动矢量候选列表中失真代价最小的运动矢量，作为所述初始运动矢量。
具体地，以编码端为例，基于所述运动矢量候选列表确定初始运动矢量可以对应于CU级运动搜索。在CU级运动搜索中，基于双向匹配法从CU级运动矢量候选列表中找到匹配代价最小的一个运动矢量，例如MV-A；基于模板匹配法也从CU级运动矢量候选列表中找到匹配代价最小的一个运动矢量，例如MV-B。然后，基于Merge模式决策中使用的RD-Cost决策，对当前CU是否使用FRUC merge模式进行决策。即：使用RD-Cost决策对两种匹配法(双向匹配法和模板匹配法)的结果进行检查。将匹配代价小的匹配方式得到的结果进一步与其他CU模式的结果再次进行比较。如果两种匹配法中匹配代价小的匹配方式是最终匹配代价最小的，则将当前CU的FRUC的标识位设为真，且指示解码端使用对应的匹配方式。类似地，解码端也能够实现类似编码端的功能，但是解码端没有编码端复杂，例如，解码端直接接收编码端的用于指示匹配方式的标识位，无需执行RD-Cost决策。
可选地，对初始运动矢量进行修正，获得修正后的运动矢量，可以包括：为所述当前图像块生成子运动矢量候选列表，所述子运动矢量候选列表中包括所述初始运动矢量；从所述子运动矢量候选列表中确定出失真代价最小的运动矢量，作为所述修正后的运动矢量。
具体地，对初始运动矢量进行修正，获得修正后的运动矢量可以对应于子CU级运动求精。
CU级运动搜索中匹配代价最小的运动矢量，即为初始运动矢量，其被用来作为子CU级运动求精的起始点。在起始点周围基于CU级确定的匹配法(双向匹配法或模板匹配法)进行局部搜索。具体地，在子CU级运动求精中，可以生成一个子CU级运动矢量候选列表。在子CU级运动矢量候选列表中找到匹配代价小的运动矢量，作为当前CU的运动矢量。
子CU级运动矢量候选列表中包括以下运动矢量：CU级运动搜索确定的运动矢量(an MV determined from a CU-level search)；当前图像块的上方相邻运动矢量、左方相邻运动矢量、左上方相邻运动矢量和右上方相邻运动矢量(top，left，top-left and top-right neighbouring MVs)；参考图像中当前图像块对应位置的经过伸缩后的运动矢量(scaled versions of collocated MVs from reference pictures)；其他由时域导出的候选运动矢量(up to 4ATMVP candidates和up to 4STMVP candidates)。
在上述具体的实现方式中，如果候选运动矢量指向的参考图像是长期参考图像，则不将长期参考图像对应的候选运动矢量加入CU级运动矢量候选列表，使得长期参考图像对应的候选运动矢量没有机会成为初始运动矢量。
在另外一种具体的实现方式中，如果基于CU级运动矢量候选列表确定出的初始运动矢量指向的是长期参考图像，则可以根据预设的规则，重新从CU级运动矢量候选列表中选择一个候选运动矢量，作为初始运动矢量。该预设的规则例如可以为，选择匹配代价次小的候选运动矢量，如果该候选运动矢量指向的不是长期参考图像，则将该候选运动矢量作为初始运动矢量。
图2是本申请一个实施例的双向匹配法的原理示意图。如图2所示，双向匹配法通过在当前CU的运动轨线上找到不同参考图像中的两个预测图像块之间最接近的匹配，导出当前CU的运动矢量。双向匹配法基于当前图像块的运动轨迹是连续的这一假设。两个预测图像块的运动矢量MV0和MV1，应该和当前图像与两个参考图像(参考图像0和参考图像1)之间的时域距离(TD0和TD1)成比例。遍历运动矢量候选列表，例如针对MV0，可以生成运动矢量对MV0和MV1。其中，根据MV0、TD0、TD1，可以生成的MV1。如果MV0对应的运动矢量对指向的两个预测图像块之间的失真最小，该运动矢量(即MV0)即为当前CU的运动矢量。当TD0＝TD1时，双向匹配就变为了基于镜像的双向匹配。
能够理解，当两个参考图像中的任一个为长期参考图像时，由于当前图像(当前待编码图像或当前待解码图像)与长期参考图像的时间距离定义不明确，双向匹配法是无法执行的。并且由于长期参考图像是人为构造的或者是来自于在时间顺序上很早之前的某一特定参考图像，长期参考图像中的图像块之间不一定有空间上的联系，图像块边沿有很明显的跳变，双向匹配法基于这样的长期参考图像对运动矢量进行搜索意义不大。本申请一种可能的实现方式中，不将长期参考图像对应的候选运动矢量加入CU级运动矢量候选列表，从而避免了出现上述问题。
图3是本申请一个实施例的模板匹配法的原理示意图。如图3所示，模板匹配法通过在当前图像的模板(当前CU的上方图像块和/或左方图像块)和参考图像中的块(和模板大小相同)之间找到最接近的匹配，导出当前CU的运动矢量。在得到模板之后，模板和候选的运动矢量指向的预测图像块之间的失真最小时，该候选的运动矢量即为当前CU的运动矢量。
能够理解，当参考图像为长期参考图像时，由于长期参考图像是人为构造的或者是来自于在时间顺序上很早之前的某一特定参考图像，长期参考图像中的图像块之间不一定有空间上的联系，图像块边沿有很明显的跳变，基于这样的长期参考图像对运动矢量进行搜索意义不大，即模板匹配法的结果是不准确甚至无意义的。本申请一种可能的实现方式中，不将长期参考图像对应的候选运动矢量加入CU级运动矢量候选列表，从而避免了出现上述问题。
在一个具体的实现方式中，本申请实施例的用于图像处理的方法100可以应用于DMVR技术。
DMVR技术是在进行双向预测时，为了对一个当前图像块进行更精确的预测所使用的求精技术。下面以解码端为例，对DMVR技术进行详细说明。DMVR技术主要包括两大步骤，第一步，基于多个初始运动矢量对应的已解码图像块构造一个模板。第二步：基于模板对该多个初始运动矢量进行修正。
具体地，解码端可以生成运动矢量候选列表。例如，该运动矢量候选列表可以为前文描述的AMVP模式的运动矢量候选列表或者Merge模板的运动矢量候选列表。解码端可以接收编码端发送的用于指示初始运动矢量的多个索引。解码端根据索引从运动矢量候选列表中得到多个初始运动矢量。解码端可以基于该多个初始运动矢量对应的已解码图像块生成模板(例如，对像素进行加权求和的方式)，利用生成的模板，分别对该多个初始运动矢量进行修正。最后，基于修正后的运动矢量对该当前图像块进行运动补偿。
本具体的实现方式中，初始运动矢量可以包括第一初始运动矢量和第二初始运动矢量。当初始运动矢量中存在长期参考图像时，可以采用以下处理。S120当所述初始运动矢量指向的参考图像为长期参考图像时，基于所述初始运动矢量对所述当前图像块进行运动补偿，可以包括：当所述第一初始运动矢量和所述第二初始运动矢量中至少一个初始运动矢量指向的参考图像为长期参考图像时，基于所述第一初始运动矢量和所述第二初始运动矢量对所述当前图像块进行运动补偿；当所述第一初始运动矢量和所述第二初始运动矢量指向的参考图像均为短期参考图像时，对所述第一初始运动矢量和所述第二初始运动矢量进行修正，获得修正后的第一运动矢量和修正后的第二运动矢量，基于所述修正后的第一运动矢量和所述修正后的第二运动矢量对所述当前图像块进行运动补偿。当初始运动矢量中不存在长期参考图像，即初始运动矢量均为短期参考图像时，可以采用现有的DMVR处理方式。
图4是本申请一个实施例的DMVR技术的原理示意图。具体地，假设初始运动矢量包括第一初始运动矢量(例如可以是MV0)，和第二初始运动矢量(例如可以是MV1)，第一初始运动矢量对应的已解码图像块为属于第一帧的第一已解码图像块，该第一帧可以为第一参考图像，该第一已解码图像块可以为第一参考图像块。第二运动矢量对应的已解码图像块属于第二帧的第二已解码图像块，该第二帧可以为第二参考图像，该第二已解码图像块可以为第二参考图像块。对该第一参考图像块和该第二参考图像块进行加权求和，可以得到模板。其中，该模板可以称为双向模板。
可选地，在一个实施例中，所述初始运动矢量包括第一初始运动矢量和第二初始运动矢量。对所述第一初始运动矢量和所述第二初始运动矢量进行修正，获得修正后的第一运动矢量和修正后的第二运动矢量，可以包括：基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始运动矢量且属于第一参考图像，所述第二参考图像块对应于所述第二初始运动矢量且属于第二参考图像；基于所述模板对所述第一初始运动矢量和所述第二初始运动矢量进行修正，获得修正后的第一运动矢量和修正后的第二运动矢量。
具体地，所述基于所述模板对所述第一初始运动矢量和所述第二初始运动矢量进行修正，获得修正后的第一运动矢量和修正后的第二运动矢量，可以包括：利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始运动矢量且属于所述第一参考图像；利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始运动矢量且属于所述第二参考图像；基于所述匹配结果，从所述N个第三初始运动矢量中选择一个第三初始运动矢量，以及从所述M个第四初始运动矢量中选择一个第四初始运动矢量，所述一个第三初始运动矢量和所述一个第四初始运动矢量作为所述当前图像块的运动矢量(即修正后的第一运动矢量和修正后的第二运动矢量)，或者用于确定所述当前图像块的运动矢量。
可选地，该选择的第三初始运动矢量可以为最小的失真代价对应的运动矢量。或者，该选择的第三初始运动矢量可以为小于某一特定的值的失真代价对应的运动矢量。
可选地，该选择的第四初始运动矢量可以为最小的失真代价对应的运动矢量。或者，该选择的第四初始运动矢量可以为小于某一特定的值失真代价对应的运动矢量。
其中，所述一个第三初始运动矢量和所述一个第四初始运动矢量作为所述当前图像块的运动矢量，此时，可以将所述一个第三初始运动矢量和所述一个第四初始运动矢量对应的已知图像块(即初始预测图像块)可以进行加权求和得到预测图像块。
或者，所述一个第三初始运动矢量和所述一个第四初始运动矢量可以用于确定所述当前图像的运动矢量，也即所述一个第三初始运动矢量和所述一个第四初始运动矢量可以分别作为MVP。此时，可以将该第三MVP作为起始点进行搜索优化，得到一个优化的运动矢量，以及可以将该第四MVP作为起始点进行搜索优化，得到另一优化的运动矢量。将该两个优化后的运动矢量对应的已知图像块(即初始预测图像块)可以进行加权求和得到预测图像块。
可选地，该N和M可以相等。
可选地，该第三初始运动矢量包括该第一初始运动矢量，该第四初始运动矢量包括该第二初始运动矢量，也就是说，用于生成模板的第一初始运动矢量对应的参考图像块和第二运动矢量对应的参考图像块，也需要分别与模板进行匹配。
可选地，在本申请实施例中，该N个第三初始运动矢量中的至少部分初始运动矢量是基于该第一初始运动矢量进行偏移得到，该M个第四初始运动矢量中的至少部分初始运动矢量是基于该第二初始运动矢量进行偏移得到的。
例如，该N个第三初始运动矢量中除第一初始运动矢量之外的初始运动矢量可以是基于该第一初始运动矢量进行偏移得到，例如，N可以等于9，则其中的8个初始运动矢量可以是基于第一初始运动矢量进行偏移得到的，例如，可以在八个方向上进行偏移得到的，或者在垂直方向或水平方向上偏移不同的像素得到的。
再例如，该M个第四初始运动矢量中除第二初始运动矢量之外的初始运动矢量可以是基于该第二初始运动矢量进行偏移得到，例如，M可以等于9，则其中的8个初始运动矢量可以是基于第二初始运动矢量进行偏移得到的，例如，可以在八个方向上进行偏移得到的或者在垂直方向或水平方向上偏移不同的像素得到的。
可选地，在本申请实施例中，所述第一参考图像可以为所述当前图像块的前向帧，所述第二参考图像可以是所述当前图像块的后向帧；或，所述第一参考图像可以为所述当前图像块的前向帧，所述第二参考图像可以是所述当前图像块的前向帧。
在一个具体的实现方式中，解码端生成运动矢量候选列表，接收编码端发送的用于指示初始运动矢量的两个索引。解码端判断DMVR条件，该DMVR条件要求两个初始运动矢量(例如可以是MV0和MV1)均不指向长期参考图像，且两个初始运动矢量的预测方向是相反的，即一个应为前向，另一个为后向。在满足DMVR条件时，对MV0对应的图像块和MV1对应的图像块进行加权求和，生成双向模板。
本申请一种可能的实现方式中，不将长期参考图像对应的候选运动矢量加入运动矢量候选列表，从而避免了两个索引所指示的初始运动矢量指向的参考图像为长期参考图像。在另外一种可能的实现方式中，如果基两个索引所指示的初始运动矢量指向的参考图像为长期参考图像，则解码端可以要求编码端重新指示不指向长期参考图像的运动矢量作为初始运动矢量；或者解码端返回或标记DMVR算法失效。
可以在第一参考图像中，针对MV0对应的图像块，在水平方向和/或垂直方向上偏移一个亮度像素，找到的邻近的8个图像块的运动矢量，与MV0共9个运动矢量一起形成参考列表list0。可以在第二参考图像中，针对MV1对应的图像块，在水平方向和/或垂直方向上偏移一个亮度像素，找到的邻近的8个图像块的运动矢量，与MV1共9个运动矢量一起形成参考列表listl。
解码端使用的双向模板匹配是为了在双向模板和参考图像中的重构块之间进行基于失真的搜索，最终得到没有额外运动信息的求精后的运动矢量。对于两个参考图像中的运动矢量(1ist0中的运动矢量和list1中的运动矢量)，拥有最小匹配代价的运动矢量会被作为更新运动矢量来替代原有的运动矢量。最终，会用两个新的运动矢量(如图3中所示的MV0′和MV1′)替代原有的MV0和MV1。根据MV0′对应的预测图像块和MV1′对应的预测图像块，生成最终的双向预测结果。
能够理解，DMVR技术中当参考图像为长期参考图像时，由于长期参考图像是人为构造的或者是来自于在时间顺序上很早之前的某一特定参考图像，长期参考图像中的图像块之间不一定有空间上的联系，图像块边沿有很明显的跳变，基于这样的长期参考图像对运动矢量进行搜索意义不大，即DMVR技术是不准确甚至无意义的。本申请实施例中，对长期参考图像对应的运动矢量不再进行求精，直接用来做运动补偿，从而避免了出现上述问题。
本申请实施例提供了一种用于图像处理的方法200。图5是本申请另一个实施例的用于图像处理的方法200的示意性流程图。如图5所示，该方法200包括：
S210，获取第一初始运动矢量运动矢量和第二初始运动矢量，该第一初始运动矢量指向第一参考图像，该第二初始运动矢量指向第二参考图像；
S220，当该第一参考图像和该第二参考图像中至少一个为长期参考图像时，基于该第一初始运动矢量和该第二初始运动矢量计算得到当前图像块的预测图像块；
S230，当该第一参考图像和该第二参考图像均为短期参考图像时，根据该第一初始运动矢量和该第二初始运动矢量所指向的像素点的梯度值，计算得到当前图像块的运动矢量，根据该当前图像块的运动矢量，计算得到当前图像块的预测图像块。
本申请实施例的用于图像处理的方法，当两个初始运动矢量指向的参考图像均短期参考图像时，采用像素点的梯度值和最优化原理，计算得到当前图像块的运动矢量，再计算得到当前图像块的预测图像块，当两个初始运动矢量指向的参考图像存在长期参考图像时，直接基于两个初始运动矢量计算得到当前图像块的预测图像块，避免由于当前图像与长期参考图像的时间距离定义不明确导致的预测无法执行，可以提高编解码效率。
可选地，S230根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，可以包括：根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值和最优化原理，计算得到所述当前图像块的MV。和最优化原理
在一个具体的实现方式中，本申请实施例的用于图像处理的方法200可以应用于改进双向运动预测模式。双向运动预测模式是指编码某一个当前图像块时，同时使用来自于两个不同的参考图像中的两个初始预测图像块对当前图像块进行预测，并将两个初始预测图像块合并为一个图像块，作为当前图像块的预测图像块。BIO预测技术就是一种双向运动预测模式下的技术。在BIO预测技术下，运动矢量相比于普通的双向运动预测模式不会有更多的编码标识，但是预测图像块的导出过程有不同。BIO预测技术是基于块运动补偿的运动优化，通过光流模型计算运动矢量，是采样点级别的运动优化。
本申请实施例的BIO预测技术可以包括两个步骤。第一个步骤是根据两个初始MV(例如，第一初始MV和第二初始MV)，计算得到当前图像块的MV。具体而言，根据第一初始MV和第二初始MV所指向的像素点的梯度值和最优化原理，计算得到当前图像块的MV。第二个步骤是根据当前图像块的MV、第一初始MV指向的第一参考图像块和第二初始MV指向的第二参考图像块，计算得到当前图像块的预测图像块。具体地，BIO预测技术通过对两个初始MV指向的两个参考图像块进行插值，得到与当前图像块相同尺寸的两个初始预测图像块，然后将这两个初始预测图像块加权合并为当前图像块的预测图像块。
图6是本申请一个实施例的BIO技术的原理示意图。BIO技术假设在较短时间内，物体的运动在水平方向和垂直方向上都是匀速运动的，符合光流法分析条件。如图6所示，可以假设两个初始MV指向的参考点k(k＝0，1)的运动矢量(vx，vy)和亮度值I(k)符合如下光流公式：
其中，和/>表示的梯度水平分量和垂直分量。
将光流公式和Hermite插值联立得到如下多项式，在t＝0时即为BIO预测值。
其中，τ0和τ1分别表示当前图像到参考图像0和参考图像1的距离，两者可以通过当前图像和两个参考图像的POC计算得到：
τ0＝POC(current)-POC(Re f0) 公式3
τ1＝POC(Re f1)-POC(current) 公式4
其中，POC(current)为当前图像的图像序列号，POC(Re f0)为参考图像0的图像序列号，POC(Re f1)为参考图像1的图像序列号。
参考图像可以异向，即一个来自于过去一个来自于将来；两个参考图像也同向，即都来自于过去或都来自于将来。如果两个参考图像同向，则τ0和τ1异号。这种情况下，两个参考图像不能相同，即τ0≠-τ1，参考区域有非零运动(MVx0，MVy0，MVx1，MVy1≠0)，则运动矢量与时域距离成比例(MVx0/MVx1＝MVy0/MVy1＝-τ0/τ1)。
假设在很小一片区域内的运动是相同的，可以得到BIO的运动矢量满足如下一阶泰勒展开公式：
其中Δ为两个参考图像中对应的两个参考点(如图4中的A、B两点)的像素差的泰勒一阶展开。通过梯度值和最优化方法分析，当前图像块的最佳运动矢量满足整个区域内Δ的平方和最小，据此可以计算出最佳运动矢量(vx，vy)，考虑到算法的鲁棒性，vx和vy应处于某个阈值范围内。
根据上述公式，BIO预测技术的流程如下。对于一个当前图像块，其在两个参考图像对应位置的像素值都是已经得到了的。在公式中I(0)和I(1)分别表示两个参考图中的像素值，上述公式中已知的就是I(0)、I(1)以及τ0和τ1，梯度水平分量和垂直分量可以在参考图像中通过计算得到，未知的就是vx、vy和Δ。对一片区域内所有的像素点，都可以计算出一个Δ，使用最优化方法，让Δ取得最小值的vx和vy，就是需要的最优运动矢量。其中，计算vx和vy的时候，会分别给vx和vy一个区间，该区间的阈值是通过两个参考图像相对于当前图像的方向来确定的。得到最优运动矢量之后，并不是直接拿这个最优运动矢量指向的图像块+残差作为当前图像块，而是用公示2计算出来当前图像块的各个像素，也叫BIO预测值，各像素的预测值组合在一起，形成预测图像块。
可选地，在本申请实施例中，所述基于所述第一初始运动矢量和所述第二初始运动矢量计算得到当前图像块的预测图像块，包括：对所述第一初始运动矢量指向的第一参考图像块和所述第二初始运动矢量指向的第二参考图像块进行加权求和，得到所述当前图像块的预测图像块。
具体而言，在BIO预测开始执行前增加一个判断条件，或者说在BIO条件中增加一个必要条件。如果确定第一初始运动矢量指向的第一参考图像和第二初始运动矢量指向的第二参考图像均不是长期参考图像，并且通过原有的BIO条件，那么可以进行BIO预测。否则，直接基于两个初始运动矢量计算得到当前图像块的预测图像块，或者返回或标记BIO预测算法失效。
BIO条件还可以包括：所述第一初始运动矢量和所述第二初始运动矢量的预测方向不同。或者，可替代地，BIO条件还可以包括：所述第一初始运动矢量和所述第二初始运动矢量的预测方向相同，所述第一初始运动矢量和所述第二初始运动矢量均不为0，所述第一参考图像和所述第二参考图像不同。同时，第一初始运动矢量和第二初始运动矢量每个方向分量的比例相同，均等于运动矢量指向的第一参考图像与当前图像的距离以及第二参考图像与当前图像的距离的比。
应理解，本申请各实施例的运动矢量包括三个参数，水平分量vx、垂直分量vy和所指向的参考图像的帧标记。例如，该帧标记可以为POC，也可以为其他形式的标记。编码端和解码端通过该帧标记，可以确定参考图像的属性，判断该参考图像是否长期参考图像。
可选地，在本申请实施例中，判断初始运动矢量指向的参考图像是否长期参考图像，可以包括：根据初始运动矢量指向的参考图像的帧标记，确定初始运动矢量指向的参考图像是否长期参考图像。
可选地，在本申请实施例中，S230根据所述当前图像块的运动矢量，计算得到当前图像块的预测图像块，可以包括：根据所述当前图像块的运动矢量、所述第一初始运动矢量指向的第一参考图像块和所述第二初始运动矢量指向的第二参考图像块，计算得到所述当前图像块的预测图像块。具体的计算公式已在前文中详细说明，此处不再赘述。
方法200的一个具体的实现方式可以包括以下步骤。
1.判断当前两个初始运动矢量是否符合BIO条件，判断条件如下：
a)两个初始运动矢量指向的参考图像均为短期参考图像，即第一初始运动矢量指向的第一参考图像和第二初始运动矢量指向的第二参考图像均为短期参考图像。
b)满足下面两项之一
i)两个初始运动矢量来自于不同的预测方向(分别为前向和后向)。
ii)两个初始运动矢量来自于同一预测方向的不同参考图像，且两个初始运动矢量均不为0，并且两个初始运动矢量每个方向分量的比例相同，均等于运动矢量指向的参考图像与当前图像的距离的比。
同时满足a)和b)的初始运动矢量符合BIO条件，则可以进行BIO预测。
2.根据两个初始运动矢量的预测方向，确定运算阈值，即vx和vy的区间的阈值。
3.计算两个初始运动矢量指向的像素点的梯度值。
4.根据梯度值和最优化原理，计算出最佳运动矢量，作为当前图像块的运动矢量。
5.通过当前图像块的运动矢量、两个初始运动矢量指向的参考图像块，得到BIO预测值。
如果仅满足b)i)，则对所述第一初始运动矢量指向的第一参考图像块和所述第二初始运动矢量指向的第二参考图像块进行加权求和，得到所述当前图像块的预测图像块。
本申请实施例的BIO预测参照的原理、公式及步骤可以参见上文的描述，此处不再赘述。
能够理解，BIO预测技术中当参考图像为长期参考图像时，由于当前图像(当前待编码图像或当前待解码图像)与长期参考图像的时间距离定义不明确，BIO预测技术是无法执行的。本申请实施例中，当两个初始运动矢量指向的参考图像存在长期参考图像时，直接基于两个初始运动矢量计算得到当前图像块的预测图像块，从而避免了出现上述问题。
应理解，本申请各实施例的方法均可以应用于编码端和解码端。本申请各实施例的当前图像块可以为待编码图像块，也可以为待解码图像块。
应理解，本申请实施例仅是示例性的给出了将用于图像处理的方法应用于PMMVD技术、DMVR技术和BIO预测技术，本申请实施例的方法还可以应用于已有的或未来的其他视频编/解码技术，本申请实施例对此不作限定。
图7是本申请一个实施例的图像处理装置70的示意性框图。如图7所示，图像处理装置70包括：
至少一个存储器701，用于存储计算机可执行指令；
至少一个处理器702，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取当前图像块的初始运动矢量MV；
当所述初始MV指向的参考图像为长期参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；
当所述初始MV指向的参考图像为短期参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。
在一些实施例中，所述处理器702具体用于：
获取所述当前图像块的MV候选列表，所述MV候选列表中的任一候选MV指向的参考图像为短期参考图像；
基于所述MV候选列表确定所述初始MV；
对所述初始MV进行修正，获得修正后的MV；
基于所述修正后的MV对所述当前图像块进行运动补偿。
在一些实施例中，所述处理器702还用于：
确定用于加入所述MV候选列表的候选MV，当所述候选MV指向的参考图像为短期参考图像时，将所述候选MV加入所述MV候选列表。
在一些实施例中，所述处理器702还用于：
基于所述候选MV指向的参考图像的帧标记确定所述候选MV指向的参考图像为短期参考图像。
在一些实施例中，所述MV候选列表包括以下中的至少一种候选MV：
如果所述当前图像块在高级运动矢量预测AMVP模式下，相对短期参考帧得到的原始AMVP候选MV；
相对短期参考帧得到的合并候选MV；
从短期参考帧通过插值得到的MV；和
所述当前块相对短期参考帧的上方相邻MV和左方相邻MV。
在一些实施例中，所述处理器702具体用于：
基于双向匹配法和/或模板匹配法，确定所述MV候选列表中的候选MV对应的失真代价；
将所述MV候选列表中失真代价最小的MV，作为所述初始MV。
在一些实施例中，所述处理器702具体用于：
为所述当前图像块生成子MV候选列表，所述子MV候选列表中包括所述初始MV；
从所述子MV候选列表中确定出失真代价最小的MV，作为所述修正后的MV。
在一些实施例中，所述初始MV包括第一初始MV和第二初始MV，
所述处理器702具体用于：
当所述第一初始MV和所述第二初始MV中至少一个初始MV指向的参考图像为长期参考图像时，基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动补偿；
当所述第一初始MV和所述第二初始MV指向的参考图像均为短期参考图像时，对所述第一初始MV和所述第二初始MV进行修正，获得修正后的第一MV和修正后的第二MV，基于所述修正后的第一MV和所述修正后的第二MV对所述当前图像块进行运动补偿。
在一些实施例中，所述处理器702具体用于：
基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始MV且属于第一参考图像，所述第二参考图像块对应于所述第二初始MV且属于第二参考图像；
基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV。
在一些实施例中，所述处理器702具体用于：
利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始MV且属于所述第一参考图像；
利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始MV且属于所述第二参考图像；
基于所述匹配结果，从所述N个第三初始MV中选择一个第三初始MV，以及从所述M个第四初始MV中选择一个第四初始MV，所述一个第三初始MV和所述一个第四初始MV作为所述当前图像块的MV，或者用于确定所述当前图像块的MV。
在一些实施例中，所述第三初始MV包括所述第一初始MV，所述第四初始MV包括所述第二初始MV。
在一些实施例中，所述N个第三初始MV中的至少部分初始MV是基于所述第一初始MV进行偏移得到，所述M个第四初始MV中的至少部分初始MV是基于所述第二初始MV进行偏移得到的。
在一些实施例中，所述N等于所述M。
在一些实施例中，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的后向帧；或，
所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的前向帧。
应理解，图像处理装置70还可以由对应的软件模块来实现，此处不再赘述。
图8是根据本申请另一个实施例的图像处理装置80的示意性框图。如图8所示，图像处理装置80包括：
至少一个存储器801，用于存储计算机可执行指令；
至少一个处理器802，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；
当所述第一参考图像和所述第二参考图像中至少一个为长期参考图像时，基于所述第一初始MV和所述第二初始MV计算得到当前图像块的预测图像块；
当所述第一参考图像和所述第二参考图像均为短期参考图像时，根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，根据所述当前图像块的MV，计算得到当前图像块的预测图像块。
在一些实施例中，所述处理器802具体用于：
根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值和最优化原理，计算得到所述当前图像块的MV。
在一些实施例中，所述处理器802具体用于：
对所述第一初始MV指向的第一参考图像块和所述第二初始MV指向的第二参考图像块进行加权求和，得到所述当前图像块的预测图像块。
在一些实施例中，所述第一初始MV和所述第二初始MV的预测方向不同。
在一些实施例中，所述第一初始MV和所述第二初始MV的预测方向相同，所述第一初始MV和所述第二初始MV均不为0，所述第一参考图像和所述第二参考图像不同。
在一些实施例中，所述处理器802具体用于：
根据所述当前图像块的MV、所述第一初始MV指向的第一参考图像块和所述第二初始MV指向的第二参考图像块，计算得到所述当前图像块的预测图像块。
应理解，图像处理装置80还可以由对应的软件模块来实现，此处不再赘述。
应理解，本申请各实施例的装置可以基于存储器和处理器实现，各存储器用于存储用于执行本申请个实施例的方法的指令，处理器执行上述指令，使得装置执行本申请各实施例的方法。
应理解，本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行上述各方法实施例的方法。
本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。
本申请实施例还提供一种编码设备，该编码设备包括图像处理装置70和/或图像处理装置80。
本申请实施例还提供一种解码设备，该解码设备包括图像处理装置70和/或图像处理装置80。
本申请实施例可以应用在飞行器，尤其是无人机领域。
应理解，本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到，本文中所公开的实施例描述的各示例的电路、子电路和子单元，能够再行拆分或组合。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种用于视频处理的方法，其特征在于，包括：
获取当前图像块的初始MV，所述初始MV包括指向第一参考图像的第一初始MV和指向第二参考图像的第二初始MV，所述第一参考图像和所述第二参考图像是当前图像的不同方向的参考帧；
响应于所述第一参考图像和所述第二参考图像中的至少一个为长期参考图像，直接基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动预测，而无需对所述第一初始MV和所述第二初始MV进行修正。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一初始MV和所述第二初始MV进行修正，包括：
基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始MV且属于第一参考图像，所述第二参考图像块对应于所述第二初始MV且属于第二参考图像；
基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV。
3.根据权利要求2所述的方法，其特征在于，所述基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV，包括：
利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始MV且属于所述第一参考图像；
利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始MV且属于所述第二参考图像；
基于所述匹配结果，从所述N个第三初始MV中选择一个第三初始MV，以及从所述M个第四初始MV中选择一个第四初始MV，所述一个第三初始MV和所述一个第四初始MV作为所述当前图像块的MV，或者用于确定所述当前图像块的MV。
4.根据权利要求3所述的方法，其特征在于，所述第三初始MV包括所述第一初始MV，所述第四初始MV包括所述第二初始MV。
5.根据权利要求3或4所述的方法，其特征在于，所述N个第三初始MV中的至少部分初始MV是基于所述第一初始MV进行偏移得到，所述M个第四初始MV中的至少部分初始MV是基于所述第二初始MV进行偏移得到的。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的后向帧；或，
所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的前向帧。
7.一种图像处理装置，其特征在于，包括：
至少一个存储器，用于存储计算机可执行指令；
至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取当前图像块的初始MV，所述初始MV包括指向第一参考图像的第一初始MV和指向第二参考图像的第二初始MV，所述第一参考图像和所述第二参考图像是当前图像的不同方向的参考帧；
响应于所述第一参考图像和所述第二参考图像中的至少一个为长期参考图像，直接基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动预测，而无需对所述第一初始MV和所述第二初始MV进行修正。
8.根据权利要求7所述的装置，其特征在于，所述对所述第一初始MV和所述第二初始MV进行修正，包括：
基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始MV且属于第一参考图像，所述第二参考图像块对应于所述第二初始MV且属于第二参考图像；
基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV。
9.根据权利要求8所述的装置，其特征在于，所述基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV，包括：
利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始MV且属于所述第一参考图像；
利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始MV且属于所述第二参考图像；
基于所述匹配结果，从所述N个第三初始MV中选择一个第三初始MV，以及从所述M个第四初始MV中选择一个第四初始MV，所述一个第三初始MV和所述一个第四初始MV作为所述当前图像块的MV，或者用于确定所述当前图像块的MV。
10.根据权利要求9所述的装置，其特征在于，所述第三初始MV包括所述第一初始MV，所述第四初始MV包括所述第二初始MV。
11.根据权利要求9或10所述的装置，其特征在于，所述N个第三初始MV中的至少部分初始MV是基于所述第一初始MV进行偏移得到，所述M个第四初始MV中的至少部分初始MV是基于所述第二初始MV进行偏移得到的。
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的后向帧；或，
所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的前向帧。
13.一种生成码流的方法，其特征在于，包括：
获取当前图像块的初始MV，所述初始MV包括指向第一参考图像的第一初始MV和指向第二参考图像的第二初始MV，所述第一参考图像和所述第二参考图像是当前图像的不同方向的参考帧；
响应于所述第一参考图像和所述第二参考图像中的至少一个为长期参考图像，直接基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动预测，而无需对所述第一初始MV和所述第二初始MV进行修正；
基于所述运动预测对所述当前图像块进行编码，以生成码流，所述码流包括当前图像块的运动信息。
14.一种用于视频处理的方法，其特征在于，包括：
获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；
当所述第一参考图像和所述第二参考图像中至少一个为长期参考图像时，基于所述第一初始MV和所述第二初始MV计算得到当前图像块的预测图像块；
当所述第一参考图像和所述第二参考图像均为短期参考图像时，根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，根据所述当前图像块的MV，计算得到当前图像块的预测图像块。
CN202311156567.3A 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置 Pending CN117294837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311156567.3A CN117294837A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2018/081652 WO2019191890A1 (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311156567.3A CN117294837A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN201880012597.8A CN110419217B (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880012597.8A Division CN110419217B (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置

Publications (1)

Publication Number Publication Date
CN117294837A true CN117294837A (zh) 2023-12-26

Family

ID=68099733

Family Applications (16)

Application Number Title Priority Date Filing Date
CN201880012597.8A Active CN110419217B (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311161948.0A Pending CN117135346A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311161992.1A Pending CN117061738A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311156567.3A Pending CN117294837A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311004591.5A Pending CN116760999A (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN202311002352.6A Pending CN116781928A (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN201880012589.3A Active CN110419220B (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN201880042138.4A Active CN110786012B (zh) 2018-04-02 2018-08-31 用于图像运动补偿的方法和装置
CN201880011514.3A Active CN110326295B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置、存储介质
CN202111284624.7A Active CN113824966B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
CN202111283215.5A Active CN113852828B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
CN202111455033.1A Pending CN114125440A (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置
CN201880016545.8A Active CN110495169B (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置
CN202210376345.1A Pending CN115037942A (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置
CN201980002813.5A Active CN110720219B (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置
CN202210376602.1A Pending CN114938452A (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201880012597.8A Active CN110419217B (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311161948.0A Pending CN117135346A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CN202311161992.1A Pending CN117061738A (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置

Family Applications After (12)

Application Number Title Priority Date Filing Date
CN202311004591.5A Pending CN116760999A (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN202311002352.6A Pending CN116781928A (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN201880012589.3A Active CN110419220B (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CN201880042138.4A Active CN110786012B (zh) 2018-04-02 2018-08-31 用于图像运动补偿的方法和装置
CN201880011514.3A Active CN110326295B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置、存储介质
CN202111284624.7A Active CN113824966B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
CN202111283215.5A Active CN113852828B (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
CN202111455033.1A Pending CN114125440A (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置
CN201880016545.8A Active CN110495169B (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置
CN202210376345.1A Pending CN115037942A (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置
CN201980002813.5A Active CN110720219B (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置
CN202210376602.1A Pending CN114938452A (zh) 2018-04-02 2019-03-13 视频图像处理方法与装置

Country Status (6)

Country Link
US (15) US11190798B2 (zh)
EP (6) EP3780608A4 (zh)
JP (11) JP7088606B2 (zh)
KR (1) KR20200134319A (zh)
CN (16) CN110419217B (zh)
WO (4) WO2019191890A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111919447A (zh) * 2018-03-14 2020-11-10 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
WO2020084554A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Searching based motion candidate derivation for sub-block motion vector prediction
CN113228681A (zh) * 2018-12-21 2021-08-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2020139184A1 (en) * 2018-12-28 2020-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Generating a motion vector predictor list
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
CN114175655B (zh) * 2019-07-27 2024-01-02 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
CN114270838B (zh) 2019-08-20 2024-04-12 北京字节跳动网络技术有限公司 变换跳过模式的信令通知
WO2021047631A1 (en) 2019-09-13 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Derivation of collocated motion vectors
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
WO2021052490A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
JP7391203B2 (ja) 2019-10-12 2023-12-04 北京字節跳動網絡技術有限公司 ビデオコーディングツールを洗練する使用およびシグナリング
MX2022004200A (es) 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
CN113727119B (zh) * 2020-05-20 2023-03-17 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN111724422B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112132732B (zh) * 2020-09-10 2023-06-02 宁波大学科学技术学院 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质
WO2022141278A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置
WO2023192335A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024005456A1 (ko) * 2022-06-27 2024-01-04 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024005616A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA03006715A (es) * 2001-11-29 2003-10-24 Matsushita Electric Ind Co Ltd Metodo para la remocion de la distorsion de la codificacion, metodo codificador de video, metodo descodificador de video y aparato y programa para los mismos.
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
CN101496407B (zh) * 2006-07-06 2013-02-06 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
JP2009118221A (ja) * 2007-11-07 2009-05-28 Toshiba Corp ディジタル画像復号装置及びディジタル画像復号方法
CN101873500B (zh) * 2009-04-24 2012-05-23 华为技术有限公司 帧间预测编码方法、帧间预测解码方法及设备
TWI450592B (zh) * 2010-02-09 2014-08-21 Nippon Telegraph & Telephone 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
EP2625855B8 (en) * 2010-10-08 2021-03-10 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
US8824558B2 (en) 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN107071461B (zh) 2010-12-14 2019-11-12 M&K控股株式会社 用于解码运动画面的设备
US9635382B2 (en) 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
CN102611881B (zh) * 2011-01-19 2014-06-25 华为技术有限公司 参考运动矢量获取方法、模块及编、解码装置
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2012128540A2 (ko) * 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUE056547T2 (hu) * 2011-06-28 2022-02-28 Lg Electronics Inc Eljárás mozgásvektor-prediktor levezetésére
CN105430390B (zh) * 2011-06-30 2017-04-12 Jvc建伍株式会社 图像解码装置、图像解码方法、接收装置及接收方法
MX341889B (es) * 2011-06-30 2016-09-07 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
CN107222745A (zh) 2011-08-29 2017-09-29 苗太平洋控股有限公司 用于解码合并模式下的运动信息的装置
CN102447904A (zh) * 2011-10-24 2012-05-09 成都虢电智能电力科技有限公司 一种快速对视频序列进行运动估计的方法
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
PL2773111T3 (pl) 2011-10-28 2020-06-29 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów i urządzenie do dekodowania obrazów
WO2013061549A1 (ja) * 2011-10-28 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
TWI597973B (zh) 2011-10-31 2017-09-01 Jvc Kenwood Corp Video encoding device, video encoding method and recording medium
TWI505696B (zh) * 2011-11-08 2015-10-21 Samsung Electronics Co Ltd 解碼影像的方法
EP2777276B1 (en) 2011-11-08 2019-05-01 Nokia Technologies Oy Reference picture handling
CA2855777C (en) 2011-12-23 2017-10-24 Electronics And Telecommunications Research Institute Method and apparatus for setting reference picture index of temporal merging candidate
SI2838261T1 (sl) 2012-04-12 2020-08-31 JVC Kenwood Corporation Naprava za dekodiranje videa, postopek za dekodiranje videa, program za dekodiranje videa
JP2013223049A (ja) * 2012-04-13 2013-10-28 Sharp Corp 画像復号装置、および画像符号化装置
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
AU2013285749B2 (en) * 2012-07-02 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for predicting motion vector for coding video or decoding video
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
CN102883161B (zh) * 2012-09-19 2015-09-30 华为技术有限公司 视频编码和解码的处理方法和装置
US20150350684A1 (en) * 2012-09-20 2015-12-03 Sony Corporation Image processing apparatus and method
US9538180B2 (en) * 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
WO2014162954A1 (ja) * 2013-04-04 2014-10-09 シャープ株式会社 画像復号装置、および画像符号化装置
SG10201913551WA (en) * 2013-04-07 2020-03-30 Dolby Int Ab Signaling change in output layer sets
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9930363B2 (en) 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
JPWO2015005331A1 (ja) * 2013-07-10 2017-03-02 シャープ株式会社 画像復号装置および画像符号化装置
CN105453562B (zh) * 2013-07-30 2018-12-25 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
JP6397421B2 (ja) * 2013-10-08 2018-09-26 シャープ株式会社 画像復号装置及び画像符号化装置
US20170026655A1 (en) * 2014-01-02 2017-01-26 Sharp Kabushiki Kaisha Parameter set signaling
DK3091741T3 (da) 2014-01-02 2022-01-31 Intellectual Discovery Co Ltd Fremgangsmåde til afkodning af multi-visnings-video
WO2015136941A1 (en) * 2014-03-13 2015-09-17 Sharp Kabushiki Kaisha Constrained reference picture parameters
US9788007B2 (en) * 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding
WO2016048834A1 (en) 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
KR20170078672A (ko) * 2014-10-31 2017-07-07 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US9872296B2 (en) 2015-01-06 2018-01-16 Qualcomm Incorporated Techniques for beam shaping at a millimeter wave base station and a wireless device and fast antenna subarray selection at a wireless device
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
KR102164062B1 (ko) * 2015-09-08 2020-10-13 미디어텍 인크. 인트라 블록 복사 모드를 위한 디코딩된 픽처 버퍼의 방법 및 시스템
CN106534858B (zh) 2015-09-10 2019-09-06 展讯通信（上海）有限公司 真实运动估计方法及装置
CN107046645B9 (zh) 2016-02-06 2020-08-14 华为技术有限公司 图像编解码方法及装置
CN108781295B (zh) * 2016-03-16 2022-02-18 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
EP3432578A4 (en) 2016-03-24 2019-11-20 LG Electronics Inc. METHOD AND APPARATUS FOR INTER-PREDICTION IN A VIDEO CODING SYSTEM
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
JP6768145B2 (ja) 2016-08-15 2020-10-14 ノキア テクノロジーズ オーユー ビデオの符号化および復号
US11409855B2 (en) * 2016-08-22 2022-08-09 Lenovo (Singapore) Pte. Ltd. Gesture based CAPTCHA test
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
EP3343924A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
JP2020145486A (ja) 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN111095926A (zh) * 2017-09-12 2020-05-01 三星电子株式会社 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
US20190141320A1 (en) * 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
US11057640B2 (en) 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
WO2019172705A1 (ko) 2018-03-09 2019-09-12 한국전자통신연구원 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR102455561B1 (ko) 2018-04-01 2022-10-17 엘지전자 주식회사 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치
KR20230028586A (ko) 2018-04-01 2023-02-28 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
KR102609949B1 (ko) * 2018-08-17 2023-12-04 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 영상 관리

Also Published As

Publication number Publication date
US20210227251A1 (en) 2021-07-22
US11363294B2 (en) 2022-06-14
US11490120B2 (en) 2022-11-01
JP2021520120A (ja) 2021-08-12
US20210021855A1 (en) 2021-01-21
WO2019191890A1 (zh) 2019-10-10
JP2021520121A (ja) 2021-08-12
EP3783897A4 (en) 2022-02-23
CN110326295A (zh) 2019-10-11
JP2023052491A (ja) 2023-04-11
CN117061738A (zh) 2023-11-14
WO2019192102A1 (zh) 2019-10-10
JP2021520119A (ja) 2021-08-12
JP2021520124A (ja) 2021-08-12
US20210021865A1 (en) 2021-01-21
US11949911B2 (en) 2024-04-02
CN110419217B (zh) 2023-09-26
US11190798B2 (en) 2021-11-30
CN113824966B (zh) 2023-09-12
US20210021824A1 (en) 2021-01-21
EP3780614A1 (en) 2021-02-17
CN115037942A (zh) 2022-09-09
WO2019192141A1 (zh) 2019-10-10
EP3780615A1 (en) 2021-02-17
JP2023017981A (ja) 2023-02-07
US20220321907A1 (en) 2022-10-06
US11871032B2 (en) 2024-01-09
US20210218989A1 (en) 2021-07-15
CN110495169A (zh) 2019-11-22
CN113852828B (zh) 2023-09-12
JP7294753B2 (ja) 2023-06-20
EP3780608A4 (en) 2021-12-01
CN116760999A (zh) 2023-09-15
EP3780608A1 (en) 2021-02-17
US20210021812A1 (en) 2021-01-21
WO2019192152A1 (zh) 2019-10-10
CN110419220B (zh) 2023-08-29
JP2021526322A (ja) 2021-09-30
JP2023110048A (ja) 2023-08-08
US20220286706A1 (en) 2022-09-08
EP3780618A4 (en) 2022-03-02
EP3780618A1 (en) 2021-02-17
JP2024057014A (ja) 2024-04-23
CN114938452A (zh) 2022-08-23
JP2024010198A (ja) 2024-01-23
US20210227252A1 (en) 2021-07-22
EP3780614A4 (en) 2022-02-23
US11350124B2 (en) 2022-05-31
US20210227253A1 (en) 2021-07-22
CN110720219B (zh) 2022-04-26
KR20200134319A (ko) 2020-12-01
CN113824966A (zh) 2021-12-21
CN110786012A (zh) 2020-02-11
US20210227254A1 (en) 2021-07-22
US11323742B2 (en) 2022-05-03
EP3780615A4 (en) 2022-03-02
CN113852828A (zh) 2021-12-28
CN110786012B (zh) 2024-01-30
US11330294B2 (en) 2022-05-10
US11381839B2 (en) 2022-07-05
CN114125440A (zh) 2022-03-01
CN110326295B (zh) 2021-11-16
CN117135346A (zh) 2023-11-28
US20220353527A1 (en) 2022-11-03
US20220086483A1 (en) 2022-03-17
EP3780619A1 (en) 2021-02-17
CN110495169B (zh) 2021-12-17
US11949912B2 (en) 2024-04-02
US20210021856A1 (en) 2021-01-21
US20210021825A1 (en) 2021-01-21
EP3783897A1 (en) 2021-02-24
US11343534B2 (en) 2022-05-24
US11368714B2 (en) 2022-06-21
CN110419217A (zh) 2019-11-05
CN110419220A (zh) 2019-11-05
US11490118B2 (en) 2022-11-01
CN116781928A (zh) 2023-09-19
CN110720219A (zh) 2020-01-21
JP7388659B2 (ja) 2023-11-29
JP2021520126A (ja) 2021-08-12
US11159821B2 (en) 2021-10-26
JP7088606B2 (ja) 2022-06-21
EP3780619A4 (en) 2022-02-23
JP7216109B2 (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
CN110419217B (zh) 用于图像处理的方法和图像处理装置
TW201904284A (zh) 用於視訊編解碼的子預測單元時間運動向量預測
TW202002652A (zh) 用信號通知的運動向量精度
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
US10893289B2 (en) Affine motion prediction-based image decoding method and device using affine merge candidate list in image coding system
KR20210114060A (ko) Dmvr 기반의 인터 예측 방법 및 장치
TW202017375A (zh) 用於視頻編碼的對稱性雙向預測模式
KR20210114061A (ko) Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
CN111818342A (zh) 帧间预测方法及预测装置
US20240137559A1 (en) Method and device for image motion compensation
JP2020102669A (ja) 符号化装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination