CN107534770A - 图像预测方法和相关设备 - Google Patents

图像预测方法和相关设备 Download PDF

Info

Publication number
CN107534770A
CN107534770A CN201580077673.XA CN201580077673A CN107534770A CN 107534770 A CN107534770 A CN 107534770A CN 201580077673 A CN201580077673 A CN 201580077673A CN 107534770 A CN107534770 A CN 107534770A
Authority
CN
China
Prior art keywords
image block
pixel
current image
motion information
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077673.XA
Other languages
English (en)
Other versions
CN107534770B (zh
Inventor
陈焕浜
林四新
梁凡
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910900293.1A priority Critical patent/CN110557631B/zh
Publication of CN107534770A publication Critical patent/CN107534770A/zh
Application granted granted Critical
Publication of CN107534770B publication Critical patent/CN107534770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

一种图像预测方法和相关设备。一种图像预测方法包括：确定当前图像块中的2个像素样本，确定2个像素样本之中的每个像素样本所对应的候选运动信息单元集；确定包括2个运动信息单元的合并运动信息单元集i；利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。本发明实施例的提供技术方案有利于降低基于仿射运动模型进行图像预测的计算复杂度。

Description

图像预测方法和相关设备 技术领域
本发明涉及视频编解码领域，具体涉及图像预测方法和相关设备。
背景技术
随着光电采集技术的发展及不断增长的高清数字视频需求，视频数据量越来越大，有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求，高性能视频编码(英文：high efficient video coding，缩写：HEVC)标准的制定工作因需启动。
视频编码压缩的基本原理是利用空域、时域和码字之间的相关性，尽可能去除冗余。目前流行做法是采用基于块的混合视频编码框架，通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等步骤实现视频编码压缩。这种编码框架，显示了很强的生命力，HEVC也仍沿用这种基于块的混合视频编码框架。
在各种视频编/解码方案中，运动估计/运动补偿是一种影响编/解码性能的关键技术。其中，在现有的各种视频编/解码方案中，假设物体的运动总是满足平动运动，整个物体的各个部分有相同的运动。现有的运动估计/运动补偿算法基本都是建立在平动模型(英文：translational motion model)的基础上的块运动补偿算法。然而，现实世界中运动有多样性，缩放、旋转和抛物线运动等非规则运动普遍存在。上世纪90年代开始，视频编码专家就意识到了非规则运动的普遍性，希望通过引进非规则运动模型(如仿射运动模型等)来提高视频编码效率，但是现有的基于仿射运动模型进行图像预测的计算复杂度通常非常的高。
发明内容
本发明实施例提供图像预测方法和相关设备，以期降低基于仿射运动模型进行图像预测的计算复杂度。
本发明第一方面提供一种图像预测方法，可包括：
确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素 样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；
确定包括2个运动信息单元的合并运动信息单元集i；
其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；
利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第一方面，在第一方面的第一种可能的实施方式中，所述确定包括2个运动信息单元的合并运动信息单元集i，包括：
从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量之间的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的其中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
结合第一方面或第一方面的第一种至第二种可能的实施方式中的任意一种可能的实施方式，在第一方面的第三种可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实施方式中，
所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块 的左上像素样本时域相邻的像素样本，所述x1为正整数；
其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第一方面的第三种至第四种可能的实施方式中的任意一种可能的实施方式，在第一方面的第五种可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第一方面的第三种至第五种可能的实施方式中的任意一种可能的实施方式，在第一方面的第六种可能的实施方式中，
所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
结合第一方面的第三种至第六种可能的实施方式中的任意一种可能的实施方式，在第一方面的第七种可能的实施方式中，
所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5 个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
结合第一方面或第一方面的第一种至第七种可能的实施方式中的任意一种可能的实施方式，在第一方面的第八种可能的实施方式中，
所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测包括：当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
或者，
所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测包括：当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第一方面或第一方面的第一种至第八种可能的实施方式中的任意一种可能的实施方式，在第一方面的第九种可能的实施方式中，
所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进 行像素值预测，包括：
利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
或者，
利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
结合第一方面或第一方面的第一种至第九种可能的实施方式中的任意一种可能的实施方式，在第一方面的第十种可能的实施方式中，
所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，包括：利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
结合第一方面的第十种可能的实施方式，在第一方面的第十一种可能的实施方式中，
所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
结合第一方面或第一方面的第一种至第十一种可能的实施方式中的任意一种可能的实施方式，在第一方面的第十二种可能的实施方式中，
所述仿射运动模型为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所 述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
结合第一方面或第一方面的第一种至第十二种可能的实施方式中的任意一种可能的实施方式，在第一方面的第十三种可能的实施方式中，
所述图像预测方法应用于视频编码过程中或所述图像预测方法应用于视频解码过程中。
结合第一方面的第十三种可能的实施方式，在第一方面的第十四种可能的实施方式中，在所述图像预测方法应用于视频解码过程中的情况下，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i，包括：基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
结合第一方面的第十三种可能的实施方式或第一方面的第十四种可能的实施方式，在第一方面的第十五种可能的实施方式中，在所述图像预测方法应用于视频解码过程中的情况下，所述方法还包括：从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
结合第一方面的第十三种可能的实施方式，在第一方面的第十六种可能的实施方式中，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还包括：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
结合第一方面的第十三种可能的实施方式或第一方面的第十六种可能的实施方式，在第一方面的第十七种可能的实施方式中，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还包括：将所述合并运动信息单元集 i的标识写入视频码流。
本发明实施例第二方面提供一种图像预测装置，包括：
第一确定单元，用于确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；
第二确定单元，用于确定包括2个运动信息单元的合并运动信息单元集i；
其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；
预测单元，用于利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第二方面，在第二方面的第一种可能的实施方式中，所述第二确定单元具体用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量之间的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
结合第二方面或第二方面的第一种至第二种可能的实施方式中的任意一种可能的实施方式，在第二方面的第三种可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
结合第二方面的第三种可能的实施方式，在第二方面的第四种可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当 前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第二方面的第三种至第四种可能的实施方式中的任意一种可能的实施方式，在第二方面的第五种可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第二方面的第三种至第五种可能的实施方式中的任意一种可能的实施方式，在第二方面的第六种可能的实施方式中，
所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
结合第二方面的第三种至第六种可能的实施方式中的任意一种可能的实施方式，在第二方面的第七种可能的实施方式中，
所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
结合第二方面或第二方面的第一种至第七种可能的实施方式中的任意一种可能的实施方式，在第二方面的第八种可能的实施方式中，
所述预测单元具体用于，当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
或者，所述预测单元具体用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第二方面或第二方面的第一种至第八种可能的实施方式中的任意一种可能的实施方式，在第二方面的第九种可能的实施方式中，
所述预测单元具体用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像 素值；
或者，
所述预测单元具体用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
结合第二方面或第二方面的第一种至第九种可能的实施方式中的任意一种可能的实施方式，在第二方面的第十种可能的实施方式中，
所述预测单元具体用于，利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
结合第二方面的第十种可能的实施方式，在第二方面的第十一种可能的实施方式中，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
结合第二方面或第二方面的第一种至第十一种可能的实施方式中的任意一种可能的实施方式，在第二方面的第十二种可能的实施方式中，
所述仿射运动模型为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
结合第二方面或第二方面的第一种至第十二种可能的实施方式中的任意 一种可能的实施方式，在第二方面的第十三种可能的实施方式中，
所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
结合第二方面的第十三种可能的实施方式，在第二方面的第十四种可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，所述第二确定单元具体用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
结合第二方面的第十三种可能的实施方式或第二方面的第十四种可能的实施方式，在第二方面的第十五种可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，
所述装置还包括解码单元，用于从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
结合第二方面的第十三种可能的实施方式，在第二方面的第十六种可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述预测单元还用于：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
结合第二方面的第十三种可能的实施方式或第二方面的第十六种可能的实施方式，在第二方面的第十七种可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述装置还包括编码单元，用于将所述合并运动信息单元集i的标识写入视频码流。
本发明实施例第三方面提供一种图像预测装置，包括：
处理器和存储器；
其中，所述处理器通过调用所述存储器中存储的代码或指令以用于，确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；确定包括2个运动信息单元的合并运动信息单元集i；其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第三方面，在第三方面的第一种可能的实施方式中，在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
结合第三方面的第一种可能的实施方式，在第三方面的第二种可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选 合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的其中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
结合第三方面或第三方面的第一种至第二种可能的实施方式中的任意一种可能的实施方式，在第三方面的第三种可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
结合第三方面的第三种可能的实施方式，在第三方面的第四种可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的 视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第三方面的第三种至第四种可能的实施方式中的任意一种可能的实施方式，在第三方面的第五种可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
结合第三方面的第三种至第五种可能的实施方式中的任意一种可能的实施方式，在第三方面的第六种可能的实施方式中，
所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
结合第三方面的第三种至第六种可能的实施方式中的任意一种可能的实施方式，在第三方面的第七种可能的实施方式中，
所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
结合第三方面或第三方面的第一种至第七种可能的实施方式中的任意一种可能的实施方式，在第三方面的第八种可能的实施方式中，
在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
或者，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
结合第三方面或第三方面的第一种至第八种可能的实施方式中的任意一种可能的实施方式，在第三方面的第九种可能的实施方式中，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的 各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
或者，
在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
结合第三方面或第三方面的第一种至第九种可能的实施方式中的任意一种可能的实施方式，在第三方面的第十种可能的实施方式中，
在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
结合第三方面的第十种可能的实施方式，在第三方面的第十一种可能的实施方式中，
所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
结合第三方面或第三方面的第一种至第十一种可能的实施方式中的任意一种可能的实施方式，在第三方面的第十二种可能的实施方式中，
所述仿射运动模型为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy 为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
结合第三方面或第三方面的第一种至第十二种可能的实施方式中的任意一种可能的实施方式，在第三方面的第十三种可能的实施方式中，
所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
结合第三方面的第十三种可能的实施方式，在第三方面的第十四种可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
结合第三方面的第十三种可能的实施方式或第三方面的第十四种可能的实施方式，在第三方面的第十五种可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，所述处理器还用于，从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
结合第三方面的第十三种可能的实施方式，在第三方面的第十六种可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器还用于，利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
结合第三方面的第十三种可能的实施方式或第三方面的第十六种可能的实施方式，在第三方面的第十七种可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器还用于，将所述合并运动信息单元集i的标识写入视频码流。
本发明实施例第四方面提供一种图像处理方法，包括：
获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量；
其中，所述仿射运动模型为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
结合第四方面，在第四方面第一种可能的实现方式中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
结合第四方面或第四方面第一种可能的实现方式，在第四方面第二种可能的实现方式中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量包括：
利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第四方面或第四方面第一种或第二种可能的实现方式，在第四方面第三可能的实现方式中，利用所述2个像素样本各自的运动矢量的水平分量之间 的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第四方面或第四方面第一种或第二种可能的实现方式，在第四方面第四可能的实现方式中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量包括：
利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第四方面或第四方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第四方面第五可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
结合第四方面或第四方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第四方面第六可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
结合第四方面或第四方面第一种、第二种和第四种可能的实现方式中任意一种可能的实现方式，在第四方面第七可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
结合第四方面或第四方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第四方面第八可能的实现方式中，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量之后，还包括：
利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
结合第四方面或第四方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第四方面第九可能的实现方式中，在所述确定所述当前图像块中的所述任意像素样本的像素点的预测像素值之后，还包括：
利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
本发明实施例第五方面提供一种图像处理装置，包括：
获得单元，用于获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
计算单元，用于利用仿射运动模型和所述获得单元获得的运动矢量2元组， 计算得到所述当前图像块中任意像素样本的运动矢量；
其中，所述仿射运动模型为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
结合第五方面，在第五方面第一种可能的实现方式中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
结合第五方面或第五方面第一种可能的实现方式，在第五方面第二种可能的实现方式中，所述计算单元具体用于：
利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第五方面或第五方面第一种或第二种可能的实现方式，在第五方面第三可能的实现方式中，所述计算单元具体用于：
利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前 图像块中的任意像素样本的运动矢量。
结合第五方面或第五方面第一种或第二种可能的实现方式，在第五方面第四可能的实现方式中，所述计算单元具体用于：
利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第五方面或第五方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第五方面第五可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
结合第五方面或第五方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第五方面第六可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
结合第五方面或第五方面第一种、第二种和第四种可能的实现方式中任意一种可能的实现方式，在第五方面第七可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下 区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
结合第五方面或第五方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第五方面第八可能的实现方式中，在当所述图像处理装置应用于视频编码装置中的情况下，所述装置还包括编码单元，用于利用所述计算单元计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
结合第五方面或第五方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第五方面第九可能的实现方式中，在当所述图像处理装置应用于视频编码装置中的情况下，所述装置还包括解码单元，用于利用所述计算单元计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
本发明实施例第六方面提供一种图像处理装置，包括：
处理器和存储器；
其中，所述处理器通过调用所述存储器中存储的代码或指令以用于，获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量；
其中，所述仿射运动模型为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
结合第六方面，在第六方面第一种可能的实现方式中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
结合第六方面或第六方面第一种可能的实现方式，在第六方面第二种可能的实现方式中，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第六方面或第六方面第一种或第二种可能的实现方式，在第六方面第三可能的实现方式中，在利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第六方面或第六方面第一种或第二种可能的实现方式，在第六方面第四可能的实现方式中，在利用仿射运动模型和所述运动矢量2元组，计算得到 所述当前图像块中任意像素样本的运动矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
结合第六方面或第六方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第六方面第五可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
结合第六方面或第六方面第一种至第三种可能的实现方式中任意一种可能的实现方式，在第六方面第六可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
结合第六方面或第六方面第一种、第二种和第四种可能的实现方式中任意一种可能的实现方式，在第六方面第七可能的实现方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
结合第六方面或第六方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第六方面第八可能的实现方式中，在当所述图像处理装置应用于视频编码装置中的情况下，所述处理器还用于，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
结合第六方面或第六方面第一种至第七种可能的实现方式中任意一种可能的实现方式，在第六方面第九可能的实现方式中，所述处理器还用于，在所述确定所述当前图像块中的所述任意像素样本的像素点的预测像素值之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
本发明实施例第七方面一种图像处理方法，包括：
获得仿射运动模型的系数，利用所述仿射运动模型的系数以及所述仿射模型，计算得到所述当前图像块中任意像素样本的运动矢量；
利用计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值；
其中，所述仿射运动模型为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数包括a和b；
所述仿射运动模型的系数还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
本发明实施例第八方面提供一种图像处理装置，包括：
获得单元，用于获得仿射运动模型的系数；
计算单元，用于利用所述获得单元获得的所述仿射运动模型的系数以及所述仿射模型，计算得到所述当前图像块中任意像素样本的运动矢量；
预测单元，用于所述计算单元计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值；
其中，所述仿射运动模型为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数包括a和b；
所述仿射运动模型的系数还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射 运动模型为如下形式：
可以看出，本发明的一些实施例提供的技术方案中，利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，其中，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。并且，由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且，也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1-a～图1-b为本发明实施例提供的几种图像块的划分示意图；
图1-c为本发明实施例提供的一种图像预测方法的流程示意图；
图1-d为本发明实施例提供的一种图像块的示意图；
图2-a为本发明实施例提供的另一种图像预测方法的流程示意图；
图2-b～图2-d是本发明实施例提供的几种确定像素样本的候选运动信息单元集的示意图；
图2-e是本发明实施例提供的图像块x的顶点坐标的示意图；
图2-f～图2-g是本发明实施例提供的像素点仿射运动的示意图；
图2-h～图2-i是本发明实施例提供的像素点旋转运动的示意图；
图3为本发明实施例提供的另一种图像预测方法的流程示意图；
图4是本发明实施例提供的一种图像预测装置的示意图；
图5是本发明实施例提供的另一种图像预测装置的示意图。
图6为本发明实施例提供的一种图像处理方法的流程示意图；
图7为本发明实施例提供的另一种图像处理方法的流程示意图；
图8为本发明实施例提供的另一种图像处理方法的流程示意图；
图9是本发明实施例提供的一种图像处理装置的示意图；
图10是本发明实施例提供的另一种图像处理装置的示意图；
图11为本发明实施例提供的另一种图像处理方法的流程示意图；
图12是本发明实施例提供的一种图像处理装置的示意图；
图13是本发明实施例提供的另一种图像处理装置的示意图。
具体实施方式
本发明实施例提供图像预测方法和相关设备，以期降低基于仿射运动模型进行图像预测的计算复杂度。
为使得本发明的发明目的、特征、优点能够更加明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然下面所描述的实施例仅是本发明的一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包括。例如包括了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面先对本发明实施例可能涉及的一些概念进行介绍。
在多数的编码框架中，视频序列包括一系列图像(英文：picture)，图像被进一步划分为切片(英文：slice)，slice再被划分为块(英文：block)。视频编码以块为单位，可从picture的左上角位置开始从左到右从上到下一行一行进行编码处理。在一些新的视频编码标准中，block的概念被进一步扩展。在H.264标准中有宏块(英文：macroblock，缩写：MB)，MB可进一步划分成多个可用于预测编码的预测块(英文：partition)。其中，在HEVC标准中，采用编码单元(英文：coding unit，缩写：CU)，预测单元(英文：prediction unit，缩写：PU)和变换单元(英文：transform unit，缩写：TU)等基本概念，从功能上划分了多种Unit，并采用全新的基于树结构进行描述。比如CU可以按照四叉树进行划分为更小的CU，而更小的CU还可以继续划分，从而形成一种四叉树结构。对于PU和TU也有类似的树结构。无论CU，PU还是TU，本质上都属于块block的概念，CU类似于宏块MB或者编码块，是对编码图像进行划分和编码的基本单元。PU可以对应预测块，是预测编码的基本单元。对CU按照划分模式进一步划分成多个PU。TU可以对应变换块，是对预测残差进行变换的基本单元。高性能视频编码(英文：high efficiency video coding，缩写：HEVC)标准中则可以把它们统一称之为编码树块(英文：coding tree block，缩写：CTB)等等。
在HEVC标准中，编码单元的大小可包括64×64，32×32，16×16和8×8等四个级别，每个级别的编码单元按照帧内预测和帧间预测由可以划分为不同大小的预测单元。其中，例如图1-a和图1-b所示，图1-a举例示出了一种与帧内预测对应的预测单元划分方式，图1-b举例示出了几种与帧间预测对应的预测单元划分方式。
在视频编码技术发展演进过程中，视频编码专家们想了各种方法来利用相邻编解码块之间的时空相关性来努力提高编码效率。在H264/高级视频编码(英文：advanced video coding，缩写：AVC)标准中，跳过模式(skip mode)和直接模式(direct mode)成为提高编码效率的有效工具，在低码率时使用这两种编码模式的块能占到整个编码序列的一半以上。当使用跳过模式时，只需要在码流中传递一个跳过模式标记，就可以利用周边运动矢量推导得到当前图像 块的运动矢量，根据该运动矢量来直接拷贝参考块的值作为当前图像块的重建值。此外，当使用直接模式时，编码器可以利用周边运动矢量推导得到当前图像块的运动矢量，根据该运动矢量直接拷贝参考块的值作为当前图像块的预测值，在编码端利用该预测值对当前图像块进行编码预测。目前最新的高性能视频编码(英文：high efficiency video coding，缩写：HEVC)标准中，通过引进一些新编码工具，进一步提高视频编码性能。融合编码(merge)模式和自适应运动矢量预测(英文：advanced motion vector prediction，缩写：AMVP)模式是两个重要的帧间预测工具。融合编码(merge)利用当前编码块周边已编码块的运动信息(可包括运动矢量(英文：motion vector，缩写：MV)和预测方向和参考帧索引等)构造一个候选运动信息集合，通过比较，可选择出编码效率最高的候选运动信息作为当前编码块的运动信息，在参考帧中找到当前编码块的预测值，对当前编码块进行预测编码，同时，可把表示选择来自哪个周边已编码块的运动信息的索引值写入码流。当使用自适应运动矢量预测模式时，利用周边已编码块的运动矢量作为当前编码块运动矢量的预测值，可以选定一个编码效率最高的运动矢量来预测当前编码块的运动矢量，并可把表示选定哪个周边运动矢量的索引值写入视频码流。
下面继续探讨本发明实施例的技术方案。
下面先介绍本发明实施例提供的图像预测方法，本发明实施例提供的图像预测方法的执行主体是视频编码装置或视频解码装置，其中，该视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置，如笔记本电脑、平板电脑、个人电脑、手机或视频服务器等设备。
本发明图像预测方法的一个实施例，一种图像预测方法包括：确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；确定包括2个运动信息单元的合并运动信息单元集i；其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/ 或预测方向为后向的运动矢量；利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
请参见图1-c，图1-c为本发明的一个实施例提供的一种图像预测方法的流程示意图。其中，图1-c举例所示，本发明的一个实施例提供的一种图像预测方法可包括：
S101、确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集。
其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元。
其中，本发明各实施例中提及的像素样本可以是像素点或包括至少两个像素点的像素块。
其中，本发明各实施例中提及运动信息单元可包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量。也就是说，一个运动信息单元可能包括一个运动矢量或可能包括预测方向不同的两个运动矢量。
其中，若运动信息单元对应的预测方向为前向，表示该运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量。若运动信息单元对应的预测方向为后向，表示该运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量。若运动信息单元对应的预测方向为单向，表示该运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，或者表示该运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量。其中，若运动信息单元对应的预测方向为双向，表示运动信息单元包括预测方向为前向的运动矢量和预测方向为后向的运动矢量。
可选的，在本发明的一些可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的2个像素样本。其中，所述当前图像块的左上像素样本可为所述当前图像块的左上顶点或者所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当 前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
若像素样本为像素块，则该像素块的大小例如为2*2，1*2、4*2、4*4或其他大小。图像块可包括多个像素块。
需要说明的是，对于一个尺寸为w*w的图像块，当w为奇数时(例如w等于3、5、7或11等)，该图像块的中心像素点是唯一的，当w为偶数时(例如w等于4、6、8或16等)，该图像块的中心像素点可能有多个，图像块的中心素样本可为上述图像块的任意一个中心像素点或指定中心像素点，或者图像块的中心素样本可以为上述图像块中的包含任意一个中心像素点的的像素块，或者图像块的中心素样本可为所述图像块中的包含指定中心像素点的像素块。例如图1-d举例所示的尺寸为4*4的图像块，图像块的中心像素点有A1、A2、A3和A4这4个像素点，那么指定中心像素点可为像素点A1(左上中心像素点)，像素点A2(左下中心像素点)、像素点A3(右上中心像素点)或像素点A4(右下中心像素点)，其他情况以此类推。
S102、确定包括2个运动信息单元的合并运动信息单元集i。
其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元。其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量。
举例来说，假设2个像素样本包括像素样本001和像素样本002。像素样本001对应的候选运动信息单元集为候选运动信息单元集011。像素样本002对应的候选运动信息单元集为候选运动信息单元集022。其中，合并运动信息单元集i包括运动信息单元C01和运动信息单元C02，其中，运动信息单元C01可选自候选运动信息单元集011，其中，运动信息单元C02可选自候选运动信息单元集022，以此类推。
可以理解，假设合并运动信息单元集i包括运动信息单元C01和运动信息单元C02，其中，运动信息单元C01和运动信息单元C02中的任意一个运动信息单元可能包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量，因此，合并运动信息单元集i可能包括2个运动矢量(这2个运动矢量对应的预测方式可为前向或后向。或这2个运动矢量可包括预测方向为前向的1个运动矢量和预测方向为后向的1个运动矢量)，也可能包括4个运动矢量(其中，这4个运动矢量可能包括预测方向为前向的2个运动矢量和预测方向为后向的2个运动矢量)，也可能包括3个运动矢量(这3个运动矢量可能也可能包括预测方向为前向的1个运动矢量和预测方向为后向的2个运动矢量，或也可能包括预测方向为前向的2个运动矢量和预测方向为后向的1个运动矢量)。
S103、利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
其中，当前图像块可为当前编码块或当前解码块。
可以看出，本实施例的技术方案中，利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，其中，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。并且由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且，也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
其中，本实施例提供的所述图像预测方法可应用于视频编码过程中或可应用于视频解码过程中。
在实际应用中，确定包括2个运动信息单元的合并运动信息单元集i的方 式可能是多种多样的。
可选的，在本发明的一些可能的实施方式中，确定包括2个运动信息单元的合并运动信息单元集i，包括：从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
其中，两个候选合并运动信息单元集不相同，可指候选合并运动信息单元集包括的运动信息单元不完全相同。
其中，两个运动信息单元不相同，可指两个运动信息单元所包括的运动矢量不同，或两个运动信息单元所包括的运动矢量对应的预测方向不同，或者两个运动信息单元所包括的运动矢量对应的参考帧索引不同。其中，两个运动信息单元相同，可指两个运动信息单元所包括的运动矢量相同，且两个运动信息单元所包括的运动矢量对应的预测方向相同，且两个运动信息单元所包括的运动矢量对应的参考帧索引相同。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于视频解码过程中的情况下，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i，可以包括：基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还可包括：将所述合并运动信息单元集i的标识写入视频码流。所述合并运动信息单元集i的标识可以是任何能够标识出所述合并运动信息单元集i的信息，例如所述合并运动信息单元集i的标识可为合并运动信息单元集i在合并运动信息单元集列表中的索引号等。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于 视频编码过程中的情况下，所述方法还包括：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于视频解码过程中的情况下，所述方法还包括：从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式中，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i可包括：基于失真或率失真代价从N个候选合并运动信息单元集之中确定出包含2个运动矢量的合并运动信息单元集i。
可选的，合并运动信息单元集i对应的率失真代价，小于或等于上述N个候选合并运动信息单元集中除合并运动信息单元集i之外的任意一个合并运动信息单元集对应的率失真代价。
可选的，合并运动信息单元集i对应的失真，小于或者等于上述N个候选合并运动信息单元集中除合并运动信息单元集i之外的任意一个合并运动信息单元集对应的失真。
其中，上述N个候选合并运动信息单元集之中的某个候选合并运动信息单元集(例如上述N个候选合并运动信息单元集中的合并运动信息单元集i)对应的率失真代价例如可以为利用该某个候选合并运动信息单元集(例如合并运动信息单元集i)对图像块(例如当前图像块)进行像素值预测而得到的该图像块的预测像素值所对应的率失真代价。
其中，上述N个候选合并运动信息单元集之中的某个候选合并运动信息单元集(例如上述N个候选合并运动信息单元集中的合并运动信息单元集i)对应的失真，例如可为图像块(如当前图像块)的原始像素值与利用该某个候选合 并运动信息单元集(如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的失真(即，图像块的原始像素值与预测像素值之间的失真)。
在本发明一些可能的实施方式中，图像块(如当前图像块)的原始像素值与利用该某个候选合并运动信息单元集(如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的失真，具体例如可以为该图像块(如当前图像块)的原始像素值与利用该某个候选合并运动信息单元集(例如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的平方误差和(SSD，sum of square differences)或绝对误差和(SAD，sum of absolution differences)或误差和或能够衡量失真的其他失真参量。
其中，所述N为正整数。例如上述N例如可等于1、2、3、4、5、6、8或其他值。
可选的，在本发明的一些可能的实施方式中，上述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的各运动信息单元可以互不相同。
可选的，在本发明的一些可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件。
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动。例如，在候选合并运动信息单元集中的对应第一预测方向的所有运动矢量相等的情况下，可认为该候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为平动运动，反之，则可认为该候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动，其中，第一预测方向为前向或后向。又例如在候选合并运动信息单元集中的对应预测方向为前向的所有运动矢量相等，且候选合并运动信息单元集中的对应预测方向为后向的所有运动矢量相等的情况下，可认 为该候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为平动运动，反之，则可认为该候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动。
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同。
举例来说，当两个运动信息单元均包括预测方向为前向的运动矢量和预测方向为后向的运动矢量，表示这两个运动信息单元对应的预测方向相同。又例如，当两个运动信息单元中的其中一个运动信息单元包括预测方向为前向的运动矢量和预测方向为后向的运动矢量，另一个运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，或者该另一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，可表示这两个运动信息单元对应的预测方向不相同。又例如，当两个运动信息单元中的其中一个运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，而另一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，可表示这两个运动信息单元对应的预测方向不相同。又例如，当两个运动信息单元均包括预测方向为前向的运动矢量但这两个运动信息单元均不包括预测方向为后向的运动矢量，表示这两个运动信息单元对应的预测方向相同。又例如，当两个运动信息单元均包括预测方向为后向的运动矢量但是这两个运动信息单元均不包括预测方向为前向的运动矢量，表示这两个运动信息单元对应的预测方向相同。
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同。
举例来说，当两个运动信息单元均包括预测方向为前向的运动矢量和预测方向为后向的运动矢量，且该两个运动信息单元中的预测方向为前向的运动矢量对应的参考帧索引相同，且该两个运动信息单元中的预测方向为后向的运动矢量对应的参考帧索引相同，可表示这两个运动信息单元对应的参考帧索引相同。又举例来说，当两个运动信息单元中的其中一个运动信息单元包括预测方向为前向的运动矢量和预测方向为后向的运动矢量，另一个运动信息单元包括 预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，或该另一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，表示这两个运动信息单元对应的预测方向不相同，可表示这两个运动信息单元对应的参考帧索引不同。又例如，当两个运动信息单元中的其中一个运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，另一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，可表示这两个运动信息单元对应的参考帧索引不同。又例如，当两个运动信息单元中的其中一个运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，另一个运动信息单元包括预测方向为前向的运动矢量但不包括预测方向为后向的运动矢量，并且该两个运动信息单元中的预测方向为前向的运动矢量对应的参考帧索引相同，则可表示这两个运动信息单元对应的参考帧索引不同。又例如，当两个运动信息单元中的其中一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，另一个运动信息单元包括预测方向为后向的运动矢量但不包括预测方向为前向的运动矢量，并且该两个运动信息单元中的预测方向为后向的运动矢量对应的参考帧索引相同，则可以表示这两个运动信息单元对应的参考帧索引不同。
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。其中，上述水平分量阈值例如可以等于当前图像块的宽度的1/3、当前图像块的宽度的1/2、当前图像块的宽度的2/3或当前图像块的宽度的3/4或其他大小。
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的其 中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。其中，上述垂直分量阈值例如可以等于当前图像块的高度的1/3、当前图像块的高度的1/2、当前图像块的高度的2/3或当前图像块的高度的3/4或其他大小。
假设，上述两个像素样本为当前图像块的左上像素样本，那么像素样本Z可为当前图像块的左下像素样本或中心像素样本或其他像素样本。其他情况可以此类推。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数。例如，所述x1个像素样只包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本。
例如上述x1例如可等于1、2、3、4、5、6或其他值。
例如，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数。
例如上述x2例如可等于1、2、3、4、5、6或其他值。
例如，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当 前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数。例如所述x3个像素样本只包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本。
例如上述x3例如可等于1、2、3、4、5、6或其他值。
例如，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能实施方式中，所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2。例如所述x5个像素样本只包括像素样本a2。其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
可选的，在本发明一些可能实施方式之中，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可包括：当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，所述第一预测方向为前向或后向；
或者，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可以包括：当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明的一些可能的实施方式之中，利用非平动运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，例如可包括：对进行缩放处理后的合并运动信息单元集i中的运动矢量进行运动估计处理，以得到运动估计处理后的合并运动信息单元集i，利用非平动运动模型和运动估计处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，包括：利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；或利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
测试发现，若先利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，而后再利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值，由于计算运动矢量时以当前图像块中的像素块为粒度，这样有 利于较大的降低计算复杂度。
可选的，在本发明的一些可能的实施方式之中，利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测可包括：对所述合并运动信息单元集i中的运动矢量进行运动估计处理，以得到运动估计处理后的合并运动信息单元集i，利用仿射运动模型和运动估计处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，包括：利用所述合并运动信息单元集i中的两个运动信息单元的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述所述合并运动信息单元集i中的两个运动信息单元的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量。
或者，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可包括：利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到(例如，所述2个像素样本的运动矢量为所述合并运动信息单元集i中的两个运动信息单元的运动矢量，或者，基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量和预测残差得到所述2个像素样本的运动矢量)。
可选的，在本发明的一些可能的实施方式之中，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
可选的，在本发明的一些可能的实施方式之中，
所述仿射运动模型例如可为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
其中，
其中，(vx2,vy2)为当前图像块中的与上述2个像素样本不同的另一个像素样本的运动矢量。例如假设上述2个像素样本为当前图像块的左上像素样本和右上像素样本，那么(vx2,vy2)可为前图像块的左下像素样本或中心像素样本。又例如假设上述2个像素样本为当前图像块的左上像素样本和左下像素样本，那么(vx2,vy2)可为前图像块的右上像素样本或中心像素样本。
其中，当像素样本为为包括多个像素点的像素块时，像素样本的坐标可为像素样本中的任意一个像素点的作为，或者像素样本的坐标可为像素样本中的指定像素点的坐标(例如像素样本的坐标可为像素样本中的左上像素点或左下左上像素点或右上像素点或中心像素点的坐标等)。
可以理解的是，对于当前视频帧中的每个图像块，均可以按照与当前图像块对应的像素值预测方式相类似的方式进行像素值预测，当然，当前视频帧中的某些图像块也可能按照与当前图像块对应的像素值预测方式不同的方式进行像素值预测。
为便于更好的理解和实施本发明实施例的上述方案，下面结合更具体的应用场景进行进一步说明。
请参见图2-a，图2-a为本发明的另一个实施例提供的另一种图像预测方法的流程示意图。本实施例中主要以在视频编码装置中实施图像预测方法为例进行描述。其中，图2-a举例所示，本发明的另一个实施例提供的另一种图像预测方法可包括：
S201、视频编码装置确定当前图像块中的2个像素样本。
其中，本实施例中主要以所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本为例。例如，所述2个像素样本包括所述当前图像块的左上像素样本和右上像素样本。其中，所述2个像素样本为所述当前图像块的其他像素样本的场景可以此类推。
其中，所述当前图像块的左上像素样本可为所述当前图像块的左上顶点或者所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
若像素样本为像素块，则该像素块的大小例如为2*2，1*2、4*2、4*4或者其他大小。
S202、视频编码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集。
其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元。
其中，本发明各实施例中提及的像素样本可以是像素点或包括至少两个像素点的像素块。
其中，例如图2-b和图2-c所示，所述当前图像块的左上像素样本对应的候选运动信息单元集S1可包括x1个像素样本的运动信息单元。其中，所述x1个像素样本包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT、所述当前图像块的左边的空域相邻图像块C、所述当前图像块的左上的空域相邻图像块A、所述当前图像块的上边的空域相邻图像块B中的至少一个。例如可先获取所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的 空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元，将获取到的所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元添加到所述当前图像块的左上像素样本对应的候选运动信息单元集中，若所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元中的部分或全部运动信息单元相同，则进一步对所述候选运动信息单元集S1进行去重处理(此时去重处理后的所述候选运动信息单元集S1中的运动信息单元的数量可能是1或2)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元，与去重处理后的所述候选运动信息单元集S1中的其中一个运动信息单元相同，则可向所述候选运动信息单元集S1中加入零运动信息单元，直到候选运动信息单元集S1中的运动信息单元数量等于3。此外，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元，不同于去重处理后的所述候选运动信息单元集S1中的任意一个运动信息单元，则将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元添加到去重处理后的所述候选运动信息单元集S1中，若此时所述候选运动信息单元集S1中的运动信息单元数量仍然少于3个，则可以向所述候选运动信息单元集S1中加入零运动信息单元，直到所述候选运动信息单元集S1中的运动信息单元数量等于3。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预 测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S1中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
类似的，例如图2-b和图2-c所示，所述当前图像块的右上像素样本对应的候选运动信息单元集S2可以包括x2个图像块的运动信息单元。其中，所述x2个图像块可以包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT、所述当前图像块的右上的空域相邻图像块E、所述当前图像块的上边的空域相邻图像块D之中的至少一个。例如，可以先获取所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元，将获取的所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元添加到所述当前图像块的右上像素样本对应的候选运动信息单元集S2中，若所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元相同，则可对所述候选运动信息单元集S2进行去重处理(此时去重处理后的所述候选运动信息单元集S2中的运动信息单元的数量是1)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元，与去重处理后的所述候选运动信息单元集S2中的其中一个运动信息单元相同，可进一步向所述候选运动信息单元集S2中加入零运动信息单元，直到所述候选运动信息单元集S2中运动信息单元数量等于2。此外，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元，不同于去重处理之后的所述候选运动信息单元集S2中的任意一个运动信息单元，则可以将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元添加到去重处理后的所述候选运动信息单元集S2中，若此时所述候选运动信息单元集S2之中的运动信息单元数量仍然少于2个，则进一步向所述候选运动信息单元集S2中加入零运动信息单元，直到所 述候选运动信息单元集S2中运动信息单元的数量等于2。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S2中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
类似的，例如图2-b和图2-c所示，所述当前图像块的左下像素样本对应的候选运动信息单元集S3可以包括x3个图像块的运动信息单元。其中，所述x3个图像块可包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB、所述当前图像块的左下的空域相邻图像块G、所述当前图像块的左边的空域相邻图像块F中的至少一个。例如先获取所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元，可将获取的所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元添加到所述当前图像块的左下像素样本对应的候选运动信息单元集S3中，若所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元相同，则对所述候选运动信息单元集S3进行去重处理(此时去重处理后的所述候选运动信息单元集S3中的运动信息单元的数量是1)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元，与去重处理后的所述候选运动信息单元集S3中的其中一个运动信息单元相同，则可进一步向所述候选运动信息单元集S3中加入零运动信息单元，直到所述候选运动信息单元集S3中运动信息单元数量等于2。此外，若与所述当前图像块所属的视频帧时 域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元，不同于去重处理后的所述候选运动信息单元集S3中的任意一个运动信息单元，则可将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元添加到去重处理后的候选运动信息单元集S3中，若此时所述候选运动信息单元集S3之中的运动信息单元数量仍然少于2个，则进一步向所述候选运动信息单元集S3中加入零运动信息单元，直到所述候选运动信息单元集S3中运动信息单元数量等于2。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S3中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
其中，两个运动信息单元不相同，可指该两个运动信息单元包括的运动矢量不同，或该两个运动信息单元所包括的运动矢量对应的预测方向不同，或者该两个运动信息单元所包括的运动矢量对应的参考帧索引不同。其中，两个运动信息单元相同，可指该两个运动信息单元所包括的运动矢量相同，且该两个运动信息单元所包括的运动矢量对应的预测方向相同，且该两个运动信息单元所包括的运动矢量对应的参考帧索引相同。
可以理解，对于存在更多像素样本的场景，可以按照类似方式得到相应像素样本的候选运动信息单元集。
例如图2-d所示，其中，在图2-d所示举例中，所述2个像素样本可包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中两个像素样本。其中，所述当前图像块的左上像素样本为所述 当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
S203、视频编码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集。其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元。所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
可以理解的是，假设基于候选运动信息单元集S1(假设包括3个运动信息单元)和所述候选运动信息单元集S2(假设包括2个运动信息单元)来确定候选合并运动信息单元集，则理论上可确定出3*2＝6个初始的候选合并运动信息单元集，然而为了提高可用性，例如可以利用第一条件、第二条件、第三条件、第四条件和第五条件中的至少一个条件来从这6个初始的候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。其中，如果候选运动信息单元集S1和所述候选运动信息单元集S2所包括的运动信息单元的数量不限于上述举例，那么，初始的候选合并运动信息单元集的数量不一定是6。
其中，第一条件、第二条件、第三条件、第四条件和第五条件的具体限制性内容可参考上述实施例中的举例说明，此处不在赘述。当然，所述N个候选合并运动信息单元集例如还可满足其他未列出条件。
在具体实现过程中，例如可先利用第一条件、第二条件和第三条件中的至少一个条件对初始的候选合并运动信息单元集进行筛选，从初始的候选合并运动信息单元集中筛选出N01个候选合并运动信息单元集，而后对N01个候选合并运动信息单元集进行缩放处理，而后再利用第四条件和第五条件中的至少一 个条件从进行缩放处理的N01个候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。当然，第四条件和第五条件也可能不参考，而是直接利用第一条件、第二条件和第三条件中的至少一个条件对初始的候选合并运动信息单元集进行筛选，从初始的候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。
可以理解的是，视频编解码中运动矢量反映的是一个物体在一个方向(预测方向)上相对于同一时刻(同一时刻对应同一参考帧)偏移的距离。因此在不同像素样本的运动信息单元对应不同预测方向和/或对应不同参考帧索引的情况下，可能无法直接得到当前图像块的每个像素点/像素块相对于一参考帧的运动偏移。而当这些像素样本对应相同预测方向和对应相同参考帧索引的情况下，可利用这些合并运动矢量组合得到该图像块中每个像素点/像素块的运动矢量。
因此，在候选合并运动信息单元集中的不同像素样本的运动信息单元对应不同预测方向和/或对应不同参考帧索引的情况下，可以对候选合并运动信息单元集进行缩放处理。其中，对候选合并运动信息单元集进行缩放处理可能涉及到对该候选合并运动信息单元集中的一个或多个运动信息单元中的运动矢量进行修改、添加和/或删除等。
例如，在本发明一些可能实施方式之中，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可包括：当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，所述第一预测方向为前向或后向；
或者，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可以包括：当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参 考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
S204、视频编码装置从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i。
可选的，在本发明一些可能的实施方式中，视频编码装置还可将所述合并运动信息单元集i的标识写入视频码流。相应的，视频解码装置基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
可选的，在本发明一些可能的实施方式中，视频编码装置从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i可以包括：基于失真或者率失真代价从N个候选合并运动信息单元集之中确定出包含2个运动矢量的合并运动信息单元集i。
可选的，合并运动信息单元集i对应的率失真代价，小于或等于上述N个候选合并运动信息单元集中除合并运动信息单元集i之外的任意一个合并运动信息单元集对应的率失真代价。
可选的，合并运动信息单元集i对应的失真，小于或者等于上述N个候选合并运动信息单元集中除合并运动信息单元集i之外的任意一个合并运动信息单元集对应的失真。
其中，上述N个候选合并运动信息单元集之中的某个候选合并运动信息单元集(例如上述N个候选合并运动信息单元集中的合并运动信息单元集i)对应的率失真代价例如可以为利用该某个候选合并运动信息单元集(例如合并运动信息单元集i)对图像块(例如当前图像块)进行像素值预测而得到的该图像块的预测像素值所对应的率失真代价。
其中，上述N个候选合并运动信息单元集之中的某个候选合并运动信息单 元集(例如上述N个候选合并运动信息单元集中的合并运动信息单元集i)对应的失真，例如可为图像块(如当前图像块)的原始像素值与利用该某个候选合并运动信息单元集(如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的失真(即，图像块的原始像素值与预测像素值之间的失真)。
在本发明一些可能的实施方式中，图像块(如当前图像块)的原始像素值与利用该某个候选合并运动信息单元集(例如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的失真，具体例如可以为该图像块(例如当前图像块)的原始像素值与利用该某个候选合并运动信息单元集(例如合并运动信息单元集i)对该图像块进行像素值预测而得到的该图像块的预测像素值之间的平方误差和(SSD)或绝对误差和(SAD)或误差和或能够衡量失真的其他失真参量。
进一步的，为进一步降低运算复杂度，当上述N大于n1，可从N个候选合并运动信息单元集中筛选出n1个候选合并运动信息单元集，基于失真或率失真代价从n1个候选合并运动信息单元集中确定出包含2个运动信息单元的合并运动信息单元集i。上述n1个候选合并运动信息单元集中的任意一个候选合并运动信息单元集对应的D(V)小于或等于上述N个候选合并运动信息单元集中的除n1个候选合并运动信息单元集之外的任意一个候选合并运动信息单元集对应的D(V)，其中，n1例如等于3、4、5、6或其他值。
进一步的，可将上述n1个候选合并运动信息单元集或n1个候选合并运动信息单元集的标识加入候选合并运动信息单元集队列，其中，若上述N小于或者等于n1，则可将上述N个候选合并运动信息单元集或N个候选合并运动信息单元集的标识加入候选合并运动信息单元集队列。其中，候选合并运动信息单元集队列中的各候选合并运动信息单元集例如可按照D(V)大小进行升序或降序排列。
其中，上述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集(例如合并运动信息单元集i)的欧式距离参数D(V)例如可按照如下方式计算：
其中，vp，x表示运动矢量的水平分量，其中，vp,y表示运动矢量的竖直分量，和为N个候选合并运动信息单元集中的某个候选合并运动信息单元集包括的两个像素样本的2个运动矢量，运动矢量表示为当前图像块的另一个像素样本的运动矢量，该另一个像素样本不同于上述两个像素样本。例如图2-e所示，和表示当前图像块的左上像素样本和右上像素样本的运动矢量，运动矢量表示当前图像块的左下像素样本的运动矢量，当然，运动矢量也可表示当前图像块的中心像素样本或其他像素样本的运动矢量。
可选的，|v1,x-v0,x|≤w/2或者|v1,y-v0,y|≤h/2或者|v2,x-v0,x|≤w/2或者|v2,y-v0,y|≤h/2。
进一步的，根据上述N个候选合并运动信息单元集的D(V)值的大小按升序或降序排序，可以得到候选合并运动信息单元集队列。其中，候选合并运动信息单元集队列中的每个合并运动信息单元集互不相同，可用索引号指示候选合并运动信息单元集队列中的某个合并运动信息单元集。
S205、视频编码装置利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行运动矢量预测。
其中，假设当前图像块的大小为w×h，所述w等于或不等于h。
假设，上述两个像素样本的坐标为(0,0)和(w,0)和，此处以像素样本左上角像素的坐标参与计算为例。参见图2-e，图2-e示出了当前图像块的四个顶点的坐标。参见图2-f和图2-g示出了仿射运动的一种示意图。
所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，将2个像素样本的坐标及运动矢量代入如下举例的仿射运动模型，便可计算出当前图像块x内的任意像素点的运动矢量。
  (公式1)
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，其中，所述vx和vy分别是当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量(vx)和运动矢量竖直分量(vy)，所述w为所述当前图像块的长或宽。
进一步，视频编码装置可基于计算出的所述当前图像块的各像素点或各像素块的运动矢量对所述当前图像块进行像素值预测。视频编码装置可利用当前图像块的原始像素值和对当前图像块进行像素值预测而得到的当前图像块预测像素值得到当前图像块的预测残差。视频编码装置可将当前图像块的预测残差写入视频码流。
可以看出，本实施例的技术方案中，视频编码装置利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
下面举例公式1所示的仿射运动模型的一种推导过程。其中，例如可利用旋转运动模型来推导仿射运动模型。
其中，旋转运动例如图2-h或图2-i举例所示。
其中，旋转运动模型如公式(2)所示。其中(x′,y′)为坐标为(x,y)的像素点在参考帧中对应的坐标，其中，θ为旋转角度，(a0,a1)为平移分量。若已知变换系数，即可求得像素点(x,y)的运动矢量(vx,vy)。
  (公式2)
其中，采用的旋转矩阵为：
若在旋转的基础上再进行一次系数为ρ的缩放变换，同时，为了避免旋转运动中的三角运算，得到如下简化的仿射运动矩阵。
这样，有利于降低计算的复杂度，可以简化每个像素点的运动矢量的计算过程，而且该模型可以像一般的仿射运动模型一样应用于旋转和缩放等复杂运动场景。其中，简化的仿射运动模型描述可如公式3。其中，和一般仿射运动模型相比简化的仿射运动模型可只需要4个参数表示。
  (公式3)
对于尺寸为w×h的图像块(如CUR)，将其右边及下边界各扩展一行并求得坐标点(0,0)，(w,0)的顶点的运动矢量(vx0,vy0)，(vx1,vy1)。以这两个顶点为像素样本(当然，也可以以其它点作为参考的像素样本，如中心像素样本等等)，将它们的坐标及运动矢量代入公式(3)，可以推导出公式1，
  (公式1)
其中，
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述 w为所述当前图像块的长或宽。
可以理解，从上面的推导过程可以看出公式1具有较强的可用性，实践过程发现，由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度和减少编码传递仿射参数信息或运动矢量差值的个数。
请参见图3，图3为本发明的另一个实施例提供的另一种图像预测方法的流程示意图。本实施例中主要以在视频解码装置中实施图像预测方法为例进行描述。其中，图3举例所示，本发明的另一个实施例提供的另一种图像预测方法可包括：
S301、视频解码装置确定当前图像块中的2个像素样本。
其中，本实施例中主要以所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本为例。例如，所述2个像素样本包括所述当前图像块的左上像素样本和右上像素样本。其中，所述2个像素样本为所述当前图像块的其他像素样本的场景可以此类推。
其中，所述当前图像块的左上像素样本可为所述当前图像块的左上顶点或者所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
若像素样本为像素块，则该像素块的大小例如为2*2，1*2、4*2、4*4或者其他大小。
S302、视频解码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集。
其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元。
其中，本发明各实施例中提及的像素样本可以是像素点或包括至少两个像素点的像素块。
其中，例如图2-b和图2-c所示，所述当前图像块的左上像素样本对应的候选运动信息单元集S1可包括x1个像素样本的运动信息单元。其中，所述x1个像素样本包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT、所述当前图像块的左边的空域相邻图像块C、所述当前图像块的左上的空域相邻图像块A、所述当前图像块的上边的空域相邻图像块B中的至少一个。例如可先获取所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元，将获取到的所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元添加到所述当前图像块的左上像素样本对应的候选运动信息单元集中，若所述当前图像块的左边的空域相邻图像块C的运动信息单元、所述当前图像块的左上的空域相邻图像块A的运动信息单元和所述当前图像块的上边的空域相邻图像块B的运动信息单元中的部分或全部运动信息单元相同，则进一步对所述候选运动信息单元集S1进行去重处理(此时去重处理后的所述候选运动信息单元集S1中的运动信息单元的数量可能是1或2)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元，与去重处理后的所述候选运动信息单元集S1中的其中一个运动信息单元相同，则可向所述候选运动信息单元集S1中加入零运动信息单元，直到候选运动信息单元集S1中的运动信息单元数量等于3。此外，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元，不同于去重处理后的所述候选运动信息单元集S1中的任意一个运动信息单元，则将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本LT位置相同的像素样本Col-LT的运动信息单元添加到去重处理后的所述 候选运动信息单元集S1中，若此时所述候选运动信息单元集S1中的运动信息单元数量仍然少于3个，则可以向所述候选运动信息单元集S1中加入零运动信息单元，直到所述候选运动信息单元集S1中的运动信息单元数量等于3。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S1中的零运动信息单元包括预测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S1中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
类似的，例如图2-b和图2-c所示，所述当前图像块的右上像素样本对应的候选运动信息单元集S2可以包括x2个图像块的运动信息单元。其中，所述x2个图像块可以包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT、所述当前图像块的右上的空域相邻图像块E、所述当前图像块的上边的空域相邻图像块D之中的至少一个。例如，可以先获取所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元，将获取的所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元添加到所述当前图像块的右上像素样本对应的候选运动信息单元集S2中，若所述当前图像块的右上的空域相邻图像块E的运动信息单元和所述当前图像块的上边的空域相邻图像块D的运动信息单元相同，则可对所述候选运动信息单元集S2进行去重处理(此时去重处理后的所述候选运动信息单元集S2中的运动信息单元的数量是1)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元，与去重处理后的所述候选运动信息单元集S2中的其中一个运动信息单元相同，可进一 步向所述候选运动信息单元集S2中加入零运动信息单元，直到所述候选运动信息单元集S2中运动信息单元数量等于2。此外，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元，不同于去重处理之后的所述候选运动信息单元集S2中的任意一个运动信息单元，则可以将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本RT位置相同的像素样本Col-RT的运动信息单元添加到去重处理后的所述候选运动信息单元集S2中，若此时所述候选运动信息单元集S2之中的运动信息单元数量仍然少于2个，则进一步向所述候选运动信息单元集S2中加入零运动信息单元，直到所述候选运动信息单元集S2中运动信息单元的数量等于2。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S2中的零运动信息单元包括预测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S2中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
类似的，例如图2-b和图2-c所示，所述当前图像块的左下像素样本对应的候选运动信息单元集S3可以包括x3个图像块的运动信息单元。其中，所述x3个图像块可包括：与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB、所述当前图像块的左下的空域相邻图像块G、所述当前图像块的左边的空域相邻图像块F中的至少一个。例如先获取所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元，可将获取的所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元添加到所述当前图像块的 左下像素样本对应的候选运动信息单元集S3中，若所述当前图像块的左下的空域相邻图像块G的运动信息单元和所述当前图像块的左边的空域相邻图像块F的运动信息单元相同，则对所述候选运动信息单元集S3进行去重处理(此时去重处理后的所述候选运动信息单元集S3中的运动信息单元的数量是1)，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元，与去重处理后的所述候选运动信息单元集S3中的其中一个运动信息单元相同，则可进一步向所述候选运动信息单元集S3中加入零运动信息单元，直到所述候选运动信息单元集S3中运动信息单元数量等于2。此外，若与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元，不同于去重处理后的所述候选运动信息单元集S3中的任意一个运动信息单元，则可将与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本LB位置相同的像素样本Col-LB的运动信息单元添加到去重处理后的候选运动信息单元集S3中，若此时所述候选运动信息单元集S3之中的运动信息单元数量仍然少于2个，则进一步向所述候选运动信息单元集S3中加入零运动信息单元，直到所述候选运动信息单元集S3中运动信息单元数量等于2。
其中，若当前图像块所属视频帧是前向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为前向的零运动矢量但可不包括预测方向为后向的零运动矢量。若当前图像块所属视频帧是后向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为后向的零运动矢量但可不包括预测方向为前向的零运动矢量。此外，若当前图像块所属视频帧是双向预测帧，则添加到候选运动信息单元集S3中的零运动信息单元包括预测方向为前向的零运动矢量和预测方向为后向的零运动矢量，其中，添加到候选运动信息单元集S3中的不同零运动信息单元中的运动矢量所对应的参考帧索引可不相同，对应的参考帧索引例如可为0、1、2、3或其其他值。
其中，两个运动信息单元不相同，可指该两个运动信息单元包括的运动矢量不同，或该两个运动信息单元所包括的运动矢量对应的预测方向不同，或者 该两个运动信息单元所包括的运动矢量对应的参考帧索引不同。其中，两个运动信息单元相同，可指该两个运动信息单元所包括的运动矢量相同，且该两个运动信息单元所包括的运动矢量对应的预测方向相同，且该两个运动信息单元所包括的运动矢量对应的参考帧索引相同。
可以理解，对于存在更多像素样本的场景，可以按照类似方式得到相应像素样本的候选运动信息单元集。
例如图2-d所示，其中，在图2-d所示举例中，所述2个像素样本可包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中两个像素样本。其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
S303、视频解码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集。其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元。所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
可以理解的是，假设基于候选运动信息单元集S1(假设包括3个运动信息单元)和所述候选运动信息单元集S2(假设包括2个运动信息单元)来确定候选合并运动信息单元集，则理论上可确定出3*2＝6个初始的候选合并运动信息单元集，然而为了提高可用性，例如可以利用第一条件、第二条件、第三条件、第四条件和第五条件中的至少一个条件来从这6个初始的候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。其中，如果候选运动信 息单元集S1和所述候选运动信息单元集S2所包括的运动信息单元的数量不限于上述举例，那么，初始的候选合并运动信息单元集的数量不一定是6。
其中，第一条件、第二条件、第三条件、第四条件和第五条件的具体限制性内容可参考上述实施例中的举例说明，此处不在赘述。当然，所述N个候选合并运动信息单元集例如还可满足其他未列出条件。
在具体实现过程中，例如可先利用第一条件、第二条件和第三条件中的至少一个条件对初始的候选合并运动信息单元集进行筛选，从初始的候选合并运动信息单元集中筛选出N01个候选合并运动信息单元集，而后对N01个候选合并运动信息单元集进行缩放处理，而后再利用第四条件和第五条件中的至少一个条件从进行缩放处理的N01个候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。当然，第四条件和第五条件也可能不参考，而是直接利用第一条件、第二条件和第三条件中的至少一个条件对初始的候选合并运动信息单元集进行筛选，从初始的候选合并运动信息单元集中筛选出N个候选合并运动信息单元集。
可以理解的是，视频编解码中运动矢量反映的是一个物体在一个方向(预测方向)上相对于同一时刻(同一时刻对应同一参考帧)偏移的距离。因此在不同像素样本的运动信息单元对应不同预测方向和/或对应不同参考帧索引的情况下，可能无法直接得到当前图像块的每个像素点/像素块相对于一参考帧的运动偏移。而当这些像素样本对应相同预测方向和对应相同参考帧索引的情况下，可利用这些合并运动矢量组合得到该图像块中每个像素点/像素块的运动矢量。
因此，在候选合并运动信息单元集中的不同像素样本的运动信息单元对应不同预测方向和/或对应不同参考帧索引的情况下，可以对候选合并运动信息单元集进行缩放处理。其中，对候选合并运动信息单元集进行缩放处理可能涉及到对该候选合并运动信息单元集中的一个或多个运动信息单元中的运动矢量进行修改、添加和/或删除等。
例如，在本发明一些可能实施方式之中，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可包括：当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引 不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，所述第一预测方向为前向或后向；
或者，所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，可以包括：当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
S304、视频解码装置对视频码流进行解码处理以得到合并运动信息单元集i的标识和当前图像块的预测残差，基于合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i。
相应的，视频编码装置可将所述合并运动信息单元集i的标识写入到视频码流。
S305、视频解码装置利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行运动矢量预测。
例如视频解码装置可先对所述合并运动信息单元集i中的运动矢量进行运动估计处理，以得到运动估计处理后的合并运动信息单元集i，视频解码装置利用仿射运动模型和运动估计处理后的合并运动信息单元集i对所述当前图像块进行运动矢量预测。
其中，假设当前图像块的大小为w×h，所述w等于或不等于h。
假设，上述两个像素样本的坐标为(0,0)和(w,0)和，此处以像素样本左上角 像素的坐标参与计算为例。参见图2-e，图2-e示出了当前图像块的四个顶点的坐标。
所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，将2个像素样本的坐标及运动矢量代入如下举例的仿射运动模型，便可计算出当前图像块x内的任意像素点的运动矢量。
  (公式1)
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，其中，所述vx和vy分别是当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量(vx)和运动矢量竖直分量(vy)，其中，公式1中的所述w可为所述当前图像块的长或者宽。
S306、视频解码装置基于计算出的所述当前图像块的各像素点或各像素块的运动矢量对所述当前图像块进行像素值预测以得到的当前图像块的预测像素值。
S307、视频解码装置利用当前图像块的预测像素值和当前图像块的预测残差对当前图像块进行重建。
可以看出，本实施例的技术方案中，视频解码装置利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
下面还提供用于实施上述方案的相关装置。
参见图4，本发明实施例还提供一种图像预测装置400，可包括：
第一确定单元410，用于确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；
其中，第二确定单元420，用于确定包括2个运动信息单元的合并运动信息单元集i。
其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；
预测单元430，用于利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明一些可能的实施方式中，所述第二确定单元420可具体用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
可选的，在本发明一些可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选 合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量之间的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
可选的，在本发明一些可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的 像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所 述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
可选的，在本发明一些可能的实施方式中，预测单元430具体用于当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，所述第一预测方向为前向或后向；
或者，所述预测单元430具体用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明一些可能的实施方式中，所述预测单元430具体用于利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
或者，
所述预测单元430具体用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
可选的，在本发明的一些可能的实施方式中，所述预测单元430可以具体 用于利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
可选的，在本发明一些可能的实施方式中，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
可选的，在本发明一些可能的实施方式中，所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，所述第二确定单元420可具体用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，
所述装置还包括解码单元，用于从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的 运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述预测单元430还用于：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述装置还包括编码单元，用于将所述合并运动信息单元集i的标识写入视频码流。
可以理解的是，本实施例的图像预测装置400的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像预测装置400可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
可以看出，本实施例提供的技术方案中，图像预测装置500利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。并且，由于所参考的像素样本的数量可为2个，这样有利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且，也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
参见图5，图5为本发明实施例提供的图像预测装置500的示意图，图像预测装置500可包括至少一个总线501、与总线501相连的至少一个处理器502以及与总线501相连的至少一个存储器503。
其中，处理器502通过总线501调用存储器503中存储的代码或者指令以用于，确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；确定包括2个运动信息单元的合并运动信息单元集i；其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明一些可能的实施方式中，在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
可选的，在本发明一些可能的实施方式中，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量之间的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
可选的，在本发明一些可能的实施方式中，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样 本，所述x1为正整数；
其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数。
其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，所述x5个像素样本中的其中一个像素样本为像素样本a2，
其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述 x5为正整数。
可选的，在本发明一些可能的实施方式中，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器502用于，当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
或者，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器502用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
可选的，在本发明一些可能的实施方式中，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器502用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
或者，
在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器502用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得 到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
可选的，在本发明一些可能的实施方式中，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器502用于，利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
可选的，在本发明一些可能的实施方式中，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形式的仿射运动模型：
其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
可选的，在本发明一些可能的实施方式中，所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器502用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的 合并运动信息单元集i。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频解码装置中的情况下，所述处理器502还用于，从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器502还用于，利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
可选的，在本发明一些可能的实施方式中，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器502还用于，将所述合并运动信息单元集i的标识写入视频码流。
可以理解的是，本实施例的图像预测装置500的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像预测装置500可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
可以看出，本实施例提供的技术方案中，图像预测装置500利用仿射运动模型和合并运动信息单元集i对当前图像块进行像素值预测，合并运动信息单元集i中的每个运动信息单元分别选自2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，由于合并运动信息单元集i选择范围变得相对较小，摒弃了传统技术采用的在多个像素样本的全部可能候选运动信息单元集合中通过大量计算才筛选出多个像素样本的一种运动信息单元的机制，有利于提高编码效率，并且也有利于降低基于仿射运动模型进行图像预测的计算复杂度，进而使得仿射运动模型引入视频编码标准变得可能。并且由于引入了仿射运动模型，有利于更准确描述物体运动，故而有利于提高预测准确度。并且，由于所参考的像素样本的数量可为2个，这样有 利于进一步降低引入仿射运动模型之后，基于仿射运动模型进行图像预测的计算复杂度，并且，也有利于减少编码端传递仿射参数信息或者运动矢量残差的个数等。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任意一种图像预测方法的部分或全部步骤。
请参见图6，图6为本发明的一个实施例提供的一种图像处理方法的流程示意图。其中，图6举例所示，本发明的一个实施例提供的一种图像处理方法可包括：
S601、获得当前图像块的运动矢量2元组。
其中，所述运动矢量2元组可以包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量。其中，本发明各实施例中提及的像素样本可以是像素点或包括至少两个像素点的像素块。
其中，本发明各实施例中提及运动矢量可以是前向运动矢量也可以是后向运动矢量，其中所述运动矢量2元组的各自的运动矢量方向可以相同。
其中，当前图像块可为当前编码块或当前解码块。
其中，运动矢量2元组可以包括上述实施例中所述2个像素样本的运动矢量，也可以包括上述实施例中所述合并运动信息单元集i中每个运动信息单元的一个运动矢量，也可以包括上述实施例中所述进行缩放处理后的合并运动信息单元集i中每个运动信息单元的一个运动矢量，也可以包括上述实施例中所述运动估计处理后的合并运动信息单元集i中每个运动信息单元的一个运动矢量，也可以以上述实施例中所述合并运动信息单元集i中每个运动信息单元的运动矢量为预测值进行迭代更新得到的所述运动矢量2元组。有关2个像素样本的运动矢量、合并运动信息单元集i、进行缩放处理后的合并运动信息单元集i、运动估计处理后的合并运动信息单元集i的具体内容可参考上述实施例中具体说明，在此不再赘述。其中，由于上述实施例中的合并运动信息单元集i中可以包括运动矢量，也可以包括运动矢量的方向或运动矢量对应的参考帧索引，而本发明实施例中的运动矢量2元组仅包括运动矢量。
其中，所述2个像素样本可包括所述当前图像块的左上像素样本、右区域像素样本、下区域像素样本和右下区域像素样本中的2个像素样本。
其中，所述当前图像块的左上像素样本可为所述当前图像块的左上顶点或者所述当前图像块中的包含所述当前图像块的左上顶点的像素块。在视频编码以及解码中，左上像素样本的坐标值可以默认为(0,0)。
其中，所述当前图像块的下区域像素样本可为所述当前图像块的位于所述左上像素样本下方的像素点或像素块，其中，下区域像素样本的竖直坐标大于所述左上像素样本的竖直坐标。其中，所述下区域像素样本可包括上述实施例中的左下像素样本。其中，下区域像素样本的水平坐标可以和左上像素样本的水平坐标相同，下区域像素样本的水平坐标也可以和左上像素样本的水平坐标相差n个像素高度，其中n为小于3的正整数。其中，在所有本发明实施例中，竖直坐标可以称为纵坐标，水平坐标也可称为横坐标。
其中，所述当前图像块的右区域像素样本可为所述当前图像块的位于所述左上像素样本右侧的像素点或像素块，其中，右区域像素样本的水平坐标大于所述左上像素样本的水平坐标。其中，所述右区域像素样本可包括上述实施例中的右上像素样本。其中，右区域像素样本的竖直坐标可以和左上像素样本的竖直坐标相同，右区域像素样本的竖直坐标也可以和左上像素样本的竖直坐标相差n个像素宽度，其中n为小于3的正整数。
其中，所述当前图像块的右下区域像素样本可为所述当前图像块的位于所述左上像素样本右下方的像素点或像素块，其中，右下区域像素样本的竖直坐标大于所述左上像素样本的竖直坐标，右下区域像素样本的水平坐标大于所述左上像素样本的水平坐标。其中，所述右下区域像素样本可包括上述实施例中的中心像素样本a1，还可包括右下像素样本，所述当前图像块的右下像素样本可为所述当前图像块的右下顶点或者所述当前图像块中的包含所述当前图像块的右下顶点的像素块。
若像素样本为像素块，则该像素块的大小例如为2*2，1*2、4*2、4*4或其他大小。
有关所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中 心像素样本a1的具体内容可参考上述实施例中具体说明，在此不再赘述。
其中，2个像素样本也可以是上述实施例中的所述2个像素样本，有关2个像素样本的具体内容可参考上述实施例中具体说明，在此不再赘述。
S602、利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量。
其中，所述计算得到的当前图像块中任意像素样本的运动矢量可以是上述实施例中所述当前图像块中的各像素点的运动矢量，所述当前图像块中的各像素块的运动矢量，以及所述当前图像块中的任意像素样本的运动矢量任一项，上述实施例中与所述当前图像块中的各像素点的运动矢量，所述当前图像块中的各像素块的运动矢量，以及所述当前图像块中的任意像素样本的运动矢量有关的具体内容可参考上述实施例中的具体说明，在此不再赘述。
其中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx=ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
可选的，在本发明的一些可能的实施方式之中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
可选的，在本发明的一些可能的实施方式之中，所述仿射运动模型的水平分量的水平坐标系数和所述仿射运动模型的水平分量的竖直坐标系数的平方和不等于1。或者，在本发明的一些可能的实施方式之中，所述仿射运动模型 的竖直分量的竖直坐标系数和所述仿射运动模型的竖直分量的水平坐标系数的平方和不等于1。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量，可包括：利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量，可包括：利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
或者，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量，可包括：利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。w也可以为 所述右区域像素样本的水平坐标与所述左上像素样本的水平坐标之间的差值。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。h也可以为所述下区域像素样本的竖直坐标与所述左上像素样本的竖直坐标之间的差值。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本为所述当前图像块所属的视频帧中的任意的2个像素样本时，所述仿射运动模型具体为：
其中，(x4,y4)为所述2个像素样本中其中一个像素样本的坐标，(vx4,vy4)为坐标为(x4,y4)的所述其中一个像素样本的运动矢量，(x5,y5)为所述2个像素样本中另一个像素样本的坐标，(vx5,vy5)为坐标为(x5,y5)的所述另一个像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式之中，在所述图像处理方法应用于图像跟踪中的情况下，还可以在计算得到所述当前图像块中任意像素样本的运动矢量之后，利用该任意像素样本在当前图像块中位置和该任意像素样本的运动矢量，确定该任意像素样本对应在该任意像素样本的运动矢量对应的帧中的对应位置。
进一步地，根据上述对应位置获得当前图像块在对应的帧中的对应图像块，将该对应图像块与当前图像块进行比较，计算两者之间的平方差和或绝对误差和，衡量两者之间的匹配误差，用于评估当前图像块的图像跟踪的准确度。
可选的，在本发明的一些可能的实施方式之中，在所述图像处理方法应用于图像预测中的情况下，还可以在计算得到所述当前图像块中任意像素样本的运动矢量之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中任意像素样本的像素点的预测像素值。其中，所述当前图像块中任意像素样本的运动矢量可以是所述当前图像块中的任意像素点的运动矢量，该过程可以为：利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；所述当前图像块中任意像素样本的运动矢量也可以是所述当前图像块中的任意像素块的运动矢量，改过程可以为：利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
测试发现，若先利用仿射运动模型和所述合并运动信息单元集i计算得到 所述当前图像块中的各像素块的运动矢量，而后再利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值，由于计算运动矢量时以当前图像块中的像素块为粒度，这样有利于较大的降低计算复杂度。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还可包括：利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
其中，具体来说，该过程可以是：利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从而得到所述任意像素样本的像素点的重建值；
该过程也可以是：利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，利用经过运动补偿预测得到的所述任意像素样本的像素点的像素值和所述任意像素样本的像素点的实际像素值，获得所述任意像素样本的预测残差，把所述任意像素样本的预测残差编码进码流。
或者，在获得所述任意像素样本的预测残差后，采用类似的方法为获得当前图像块的预测残差所需要的其它像素样本的预测残差，从而获得当前图像块的预测残差，然后把当前图像块的预测残差编码进码流，实际像素值也可称为原始像素值。
可选的，在本发明的一些可能的实施方式中，在所述图像预测方法应用于视频解码过程中的情况下，所述方法还包括：利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
其中，具体来说，该过程可以是：利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的 预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从而得到所述任意像素样本的像素点的重建值。
该过程也可以是：利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从码流中解码得到所述任意像素样本的预测残差，或是从码流中解码得到所述当前图像块的预测残差，从而获得得到所述任意像素样本的预测残差，并结合经过运动补偿预测得到的所述任意像素样本的像素点的像素值，得到所述任意像素样本的像素点的重建值。
可以理解的是，对于当前视频帧中的每个图像块，均可以按照与当前图像块对应的图像处理方式相类似的方式进行图像处理，当然，当前视频帧中的某些图像块也可能按照与当前图像块对应的图像处理方式不同的方式进行图像处理。
本发明实施例提供的技术方案，仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在该技术方案引入了两个位移系数后，该技术方案可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
为便于更好的理解和实施本发明实施例的上述方案，下面结合更具体的应用场景进行进一步说明。
请参见图7，图7为本发明的另一个实施例提供的另一种图像处理方法的流程示意图。本实施例中主要以在视频编码装置中实施图像处理方法方法为例进行描述。其中，图7举例所示，本发明的另一个实施例提供的另一种图像处理方法可包括：
S701、视频编码装置确定当前图像块中的2个像素样本。
其中，所述2个像素样本可包括所述当前图像块的左上像素样本、右区域像素样本、下区域像素样本和右下区域像素样本中的2个像素样本。有关所述当前图像块的左上像素样本、右区域像素样本、下区域像素样本和右下区域像 素样本中的实质性内容可参考上述实施例中具体说明，在此不再赘述。
S702、视频编码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集。
其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元。
其中，本发明各实施例中提及的像素样本可以是像素点或包括至少两个像素点的像素块。
可选的，在本发明一些可能的实施方式中，所述当前图像块的左上像素样本所对应的候选运动信息单元集以及所对应的候选运动信息单元集生成方法的具体内容可参考上述实施例中具体说明，在此不再赘述。
可选的，在本发明一些可能的实施方式中，所述当前图像块的右区域像素样本所对应的候选运动信息单元集包括x6个像素样本的运动信息单元，其中，所述x6个像素样本包括至少一个与所述当前图像块的右区域像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右区域像素样本时域相邻的像素样本，所述x6为正整数。
例如上述x6例如可等于1、2、3、4、5、6或其他值。
例如，所述x6个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右区域像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的下区域像素样本所对应的候选运动信息单元集包括x7个像素样本的运动信息单元，其中，所述x7个像素样本包括至少一个与所述当前图像块的下区域像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的下区域像素样本时域相邻的像素样本，所述x7为正整数。
例如上述x7例如可等于1、2、3、4、5、6或其他值。
例如，所述x7个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的下区域像素样本位置相同的像素样本、所述 当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
可选的，在本发明一些可能的实施方式中，所述当前图像块的右下区域像素样本所对应的候选运动信息单元集包括x8个像素样本的运动信息单元，其中，所述x8个像素样本包括至少一个与所述当前图像块的右下区域像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右下区域像素样本时域相邻的像素样本，所述x8为正整数。
例如上述x8例如可等于1、2、3、4、5、6或其他值。
例如，所述x8个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右下区域像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
其中所述右下区域像素样本包括的右下像素样本对应的候选运动信息单元包括至少一个与所述当前图像块的右下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右下像素样本时域相邻的像素样本，例如可以包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右下像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
其中，上述像素样本所包括的左下像素样本、右上像素样本、中心像素样本a1的所对应的候选运动信息单元集以及所对应的候选运动信息单元集的生成方法可参考上述实施例中的具体说明，在此不再赘述。
类似的，上述右区域像素样本、下区域像素样本、右下区域像素样本、右下区域像素样本包括的右下像素样本所对应的候选运动信息单元集的生成方法可参考左下像素样本、右上像素样本或中心像素样本a1的所对应的候选运动信息单元集的生成方法，在此不再赘述。
S703、视频编码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集。
其中，S703的具体内容可参考上述实施例中S203中的具体说明，在此不再赘述。
S704、视频编码装置从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i。
可选的，在本发明一些可能的实施方式中，视频编码装置还可将所述合并运动信息单元集i的标识写入视频码流。相应的，视频解码装置基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。所述合并运动信息单元集i的标识可以是任何能够标识出所述合并运动信息单元集i的信息，例如所述合并运动信息单元集i的标识可为合并运动信息单元集i在合并运动信息单元集列表中的索引号等。
另外，S704的具体内容可参考上述实施例中S204中的具体说明，在此不再赘述。
S705、视频编码装置利用所述合并信息单元集i获得运动矢量2元组。
可选的，在本发明一些可能的实施方式中，视频编码装置可以以当前图像块的合并信息单元集i的2个运动矢量为运动矢量预测值，作为搜索运动矢量2元组中2个运动矢量的起始值，进行简化仿射运动搜索。该搜索过程简单描述如下：以运动矢量预测值为起始值，并进行迭代更新，当迭代更新次数达到一定规定的次数，或者根据迭代更新得到的2个运动矢量得到的当前图像块的预测值和当前块的原始值之间的匹配误差小于规定的阈值时，将包括所述迭代更新得到的2个运动矢量的运动矢量2元组。
可选的，在本发明一些可能的实施方式中，视频编码装置还可以利用当前图像块的合并信息单元集i的2个运动矢量以及运动矢量2元组中的2个运动矢量，得到2个像素样本各自运动矢量的预测差值，即当前图像块的合并信息单元集i的每个运动矢量对应在运动矢量2元组中的运动矢量与当前图像块的合并信息单元集i的每个运动矢量的差值，编码2个像素样本各自运动矢量的预测差值。
S706、视频编码装置利用仿射运动模型和所述运动矢量2元组，计算得到 所述当前图像块中任意像素样本的运动矢量。
其中，所述计算得到的当前图像块中任意像素样本的运动矢量可以是上述实施例中所述当前图像块中的各像素点的运动矢量，所述当前图像块中的各像素块的运动矢量，以及所述当前图像块中的任意像素样本的运动矢量任一项，上述实施例中与所述当前图像块中的各像素点的运动矢量，所述当前图像块中的各像素块的运动矢量，以及所述当前图像块中的任意像素样本的运动矢量有关的具体内容可参考上述实施例中的具体说明，在此不再赘述。
其中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
可选的，在本发明的一些可能的实施方式之中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
可选的，在本发明的一些可能的实施方式之中，所述仿射运动模型的水平分量的水平坐标系数和所述仿射运动模型的水平分量的竖直坐标系数的平方和不等于1。或者，在本发明的一些可能的实施方式之中，所述仿射运动模型的竖直分量的竖直坐标系数和所述仿射运动模型的竖直分量的水平坐标系数的平方和不等于1。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量， 可包括：利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式之中，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量，可包括：利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
或者，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量，可包括：利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。w也可以为所述右区域像素样本的水平坐标与所述左上像素样本的水平坐标之间的差值。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。h也可以为所述下区域像素样本的竖直坐标与所述左上像素样本的竖直坐标之间的差值。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
可选的，在本发明的一些可能的实施方式之中，在所述2个像素样本为所述当前图像块所属的视频帧中的任意的2个像素样本时，所述仿射运动模型具体为：
其中，(x4,y4)为所述2个像素样本中其中一个像素样本的坐标，(vx4,vy4)为坐标为(x4,y4)的所述其中一个像素样本的运动矢量，(x5,y5)为所述2个像素样本中另一个像素样本的坐标，(vx5,vy5)为坐标为(x5,y5)的所述另一个像素样本的运动矢量。
可以理解的是，对于当前视频帧中的每个图像块，均可以按照与当前图像块对应的图像处理方式相类似的方式进行图像处理，当然，当前视频帧中的某些图像块也可能按照与当前图像块对应的图像处理方式不同的方式进行图像处理。
S707、视频编码装置利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中任意像素样本的像素点的预测像素值。
其中，在预测过程中，所述当前图像块中不同的任意像素样本的运动矢量所对应的参考帧索引可以相同，且可以为合并信息单元集i的运动矢量所对应的参考帧索引。
可选的，在本发明的一些可能的实施方式之中，所述当前图像块中任意像素样本的运动矢量可以是所述当前图像块中的任意像素点的运动矢量，该过程可以为：利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值。
可选的，在本发明的一些可能的实施方式之中，所述当前图像块中任意像素样本的运动矢量也可以是所述当前图像块中的任意像素块的运动矢量，改过程可以为：利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
测试发现，若先利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，而后再利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值，由于计算运动矢量时以当前图像块中的像素块为粒度，这样有利于较大的降低计算复杂度。
可选的，在本发明的一些可能的实施方式中，在所述图像处理方法应用于视频编码过程中的情况下，所述方法还可包括：利用计算得到的所述当前图像 块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
其中，具体来说，该过程可以是：利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从而得到所述任意像素样本的像素点的重建值；或者，利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中的所述任意像素样本的像素点的预测像素值；利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，利用经过运动补偿预测得到的所述任意像素样本的像素点的像素值和所述任意像素样本的像素点的实际像素值，获得所述任意像素样本的预测残差，把所述预测残差编码进码流，其中，实际像素值也可称为原始像素值。
可以理解的是，对于当前视频帧中的每个图像块，均可以按照与当前图像块对应的图像处理方式相类似的方式进行图像处理，当然，当前视频帧中的某些图像块也可能按照与当前图像块对应的图像处理方式不同的方式进行图像处理。
本发明实施例提供的技术方案，仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在该技术方案引入了两个位移系数后，该技术方案可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
请参见图8，图8为本发明的另一个实施例提供的另一种图像处理方法的流程示意图。本实施例中主要以在视频解码装置中实施图像处理方法为例进行描述。其中，图8举例所示，本发明的另一个实施例提供的另一种图像处理方法可包括：
S801、视频解码装置确定当前图像块中的2个像素样本。
其中，所述2个像素样本包括所述当前图像块的左上像素样本、右区域像素样本、下区域像素样本和右下区域像素样本中的2个像素样本。有关所述当 前图像块的左上像素样本、右区域像素样本、下区域像素样本和右下区域像素样本中的实质性内容可参考上述实施例中具体说明，在此不再赘述。
S802、视频解码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集。
其中，在S802中，视频解码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集的具体过程可参见上述S702中视频编码装置确定出所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集的具体过程，在此不再赘述。
S803、视频解码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集。
其中，在S803中，视频解码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集的具体过程可参见上述S703中视频编码装置基于所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集确定N个候选合并运动信息单元集的具体过程，在此不再赘述。
S804、视频解码装置对视频码流进行解码处理以得到合并运动信息单元集i的标识和当前图像块的预测残差，基于合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i。
相应的，视频编码装置可将所述合并运动信息单元集i的标识写入到视频码流。
S805、视频解码装置利用所述合并运动信息单元集i获得运动矢量2元组。
可选的，在本发明一些可能的实施方式中，视频解码装置可以当前图像块的合并信息单元集i中的每个运动信息单元的运动矢量为运动矢量预测值，并从码流中解码得到当前图像块2个像素样本各自运动矢量的预测差值，把运动矢量预测值中每个运动矢量和运动矢量预测值中每个运动矢量对应的运动矢量的预测差值相加，从而获得包括当前图像块2个像素样本各自的运动矢量的运动矢量2元组。
S806、视频解码装置利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量。
其中，在S806中，视频解码装置利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量的具体过程可参见上述S706中视频编码装置利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量的具体过程，在此不再赘述。
S807、视频解码装置利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中任意像素样本的像素点的预测像素值。
其中，在预测过程中，所述当前图像块中不同的任意像素样本的运动矢量所对应的参考帧索引可以相同，且可以为合并信息单元集i的运动矢量所对应的参考帧索引。
其中，在S807中，视频解码装置利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中任意像素样本的像素点的预测像素值的具体过程可参见上述S707中视频编码装置利用计算得到的所述当前图像块中任意像素样本的运动矢量，确定所述当前图像块中任意像素样本的像素点的预测像素值的具体过程，在此不再赘述。
S808、视频解码装置利用当前图像块中任意像素样本的预测像素值和从码流中得到的当前图像块的中任意像素样本的预测残差对中任意像素样本的进行重建。
其中，具体来说，该过程可以是：利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从而得到所述任意像素样本的像素点的重建值；或者，利用所述任意像素样本的像素点的预测像素值，对所述任意像素样本进行运动补偿预测，从码流中解码得到所述任意像素样本的预测残差，并结合经过运动补偿预测得到的所述任意像素样本的像素点的像素值，得到所述任意像素样本的像素点的重建值。
可以理解的是，对于当前视频帧中的每个图像块，均可以按照与当前图像块对应的图像处理方式相类似的方式进行图像处理，当然，当前视频帧中的某些图像块也可能按照与当前图像块对应的图像处理方式不同的方式进行图像 处理。
本发明实施例提供的技术方案，仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在该技术方案引入了两个位移系数后，该技术方案可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
下面还提供用于实施上述方案的相关装置。
参见图9，本发明实施例还提供一种图像处理装置900，可包括：
获得单元910，用于获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量。
计算单元920，用于利用仿射运动模型和所述获得单元910获得的运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量。
其中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
可选的，在本发明一些可能的实施方式中，所述计算单元920可具体用于：利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿 射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，所述计算单元920可具体用于：利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，所述计算单元920可具体用于：利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
可选的，在本发明一些可能的实施方式中，所述图像处理装置900应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可选的，在本发明一些可能的实施方式中，在当所述图像处理装置900应用于视频编码装置中的情况下，所述装置还包括编码单元，用于利用所述计算单元920计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
可选的，在本发明一些可能的实施方式中，在当所述图像处理装置900应用于视频编码装置中的情况下，所述装置还包括解码单元，用于利用所述计算单元920计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
需要说明的是，本实施例的图像处理装置900还可包括图像预测装置400中的各功能单元，本实施例的图像处理装置900中的获得单元910以及计算单元920可应用于预测单元430，从而实现预测单元430所需要的功能，关于图像预测装置400中的各功能单元的具体说明可参考上述实施例中的具体说明，在此不再赘述。
可以理解的是，本实施例的图像处理装置900的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像处理装置900可为任何需要输出、播放视频 的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
本发明实施例提供的技术方案，图像处理装置900仅仅通过两个参数构建了基于旋转和缩放运动的仿射仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在图像处理装置900引入了两个位移系数后，图像处理装置900可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
参见图10，图10为本发明实施例提供的图像处理装置1000的示意图，图像处理装置1000可包括至少一个总线1001、与总线1001相连的至少一个处理器1002以及与总线1001相连的至少一个存储器1003。
其中，处理器1002通过总线1001调用存储器1003中存储的代码或者指令以用于，获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
可选的，在本发明一些可能的实施方式中，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器1002可用于，利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器1002可用于，利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器1002可用于，利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型可具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述 当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型可具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
可选的，在本发明一些可能的实施方式中，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型可具体为：
其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
可选的，在本发明一些可能的实施方式中，所述图像处理装置1000应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可选的，在本发明一些可能的实施方式中，在当所述图像处理装置应用于视频编码装置中的情况下，所述处理器1002还用于，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码
可选的，在本发明一些可能的实施方式中，在当所述图像处理装置应用于视频解码装置中的情况下，所述处理器1002还用于，在所述确定所述当前图像块中的所述任意像素样本的像素点的预测像素值之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
可以理解的是，本实施例的图像处理装置1000的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像处理装置1000可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
本发明实施例提供的技术方案，图像处理装置1000仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在图像处理装置1000引入了两个位移系数后，图像处理装置1000可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任意一种图像预测方法的部分或全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
请参见图11，图11为本发明的一个实施例提供的另一种图像处理方法的流程示意图。其中，图11举例所示，本发明的另一个实施例提供的另一种图像处理方法可包括：
S1101、获得仿射运动模型的系数，利用所述仿射运动模型的系数以及所述仿射运动模型，计算得到所述当前图像块中任意像素样本的运动矢量。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所 述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数可包括a和b；
可选的，在本发明一些可能的实施方式中，所述仿射运动模型的系数还可包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
S1102、利用计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值。
本实施例中的详细描述，可以参见上述实施例的相关描述。
本发明实施例提供的技术方案，仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在该技术方案引入了两个位移系数后，该技术方案可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
参见图12，本发明实施例还提供一种图像处理装置1200，可包括：
获得单元1210，用于获得仿射运动模型的系数。
计算单元1220，用于利用所述获得单元1210获得仿射运动模型的系数以及所述仿射运动模型，计算得到所述当前图像块中任意像素样本的运动矢量。
预测单元1230，用于利用所述计算单元1220计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平 坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数可包括a和b；
可选的，在本发明一些可能的实施方式中，所述仿射运动模型的系数还可包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
本实施例中的详细描述，可以参见上述实施例的相关描述。
可以理解的是，本实施例的图像处理装置1200的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像处理装置1200可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
本发明实施例提供的技术方案，图像处理装置1200仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在图像处理装置1200引入了两个位移系数后，图像处理装置1200可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
参见图13，图13为本发明实施例提供的图像处理装置1300的示意图，图像处理装置1300可包括至少一个总线1301、与总线1301相连的至少一个处理器1302以及与总线1301相连的至少一个存储器1303。
其中，处理器1302通过总线1301调用存储器1303中存储的代码或者指令以用于，获得仿射运动模型的系数，利用所述仿射运动模型的系数以及所述仿射运动模型，计算得到所述当前图像块中任意像素样本的运动矢量。利用计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值。
可选的，在本发明一些可能的实施方式中，所述仿射运动模型可为如下形 式：
其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数可包括a和b；
可选的，在本发明一些可能的实施方式中，所述仿射运动模型的系数还可包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
本实施例中的详细描述，可以参见上述实施例的相关描述。
可以理解的是，本实施例的图像处理装置1300的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像处理装置1300可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
本发明实施例提供的技术方案，图像处理装置1300仅仅通过两个参数构建了基于旋转和缩放运动的仿射运动模型，不仅降低了计算的复杂度，而且提高了对运动矢量进行估计的精确度。在图像处理装置1300引入了两个位移系数后，图像处理装置1300可以基于旋转、缩放以及平动的混合运动对运动矢量进行估计，使得对运动矢量的估计更加精确。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任意一种图像预测方法的部分或全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明各个实施例 上述方法的全部或部分步骤。其中，而前述的存储介质可包括：U盘、移动硬盘、磁碟、光盘、只读存储器(ROM，Read-Only Memory)或者随机存取存储器(RAM，Random Access Memory)等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (86)

  1. 一种图像预测方法，其特征在于，包括：
    确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；
    确定包括2个运动信息单元的合并运动信息单元集i；
    其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；
    利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
  2. 根据权利要求1所述的方法，其特征在于，所述确定包括2个运动信息单元的合并运动信息单元集i，包括：
    从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
  3. 根据权利要求2所述的方法，其特征在于，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
    其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
    所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选 合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
    所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
    所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
    所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的其中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
  4. 根据权利要求1至3任一项所述的方法，其特征在于，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
    其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
  5. 根据权利要求4所述的方法，其特征在于，
    所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前 图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
    其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  6. 根据权利要求4至5任一项所述的方法，其特征在于，
    所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
    其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  7. 根据权利要求4至6任一项所述的方法，其特征在于，
    所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
    其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
  8. 根据权利要求4至7任一项所述的方法，其特征在于，
    所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
    其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
  9. 根据权利要求1至8任一项所述的方法，其特征在于，
    所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测包括：当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
    或者，
    所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测包括：当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
  10. 根据权利要求1至9任一项所述的方法，其特征在于，
    所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，包括：
    利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
    或者，
    利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
  11. 根据权利要求1至10任一项所述的方法，其特征在于，
    所述利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测，包括：利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
  12. 根据权利要求11所述的方法，其特征在于，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
  13. 根据权利要求1至12任一项所述的方法，其特征在于，
    所述仿射运动模型为如下形式的仿射运动模型：
    其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
  14. 根据权利要求1至13任一项所述的方法，其特征在于，
    所述图像预测方法应用于视频编码过程中或所述图像预测方法应用于视频解码过程中。
  15. 根据权利要求14所述的方法，其特征在于，在所述图像预测方法应用 于视频解码过程中的情况下，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i，包括：基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
  16. 根据权利要求14或15所述的方法，其特征在于，在所述图像预测方法应用于视频解码过程中的情况下，所述方法还包括：从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
  17. 根据权利要求14所述的方法，其特征在于，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还包括：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
  18. 根据权利要求14或17所述的方法，其特征在于，在所述图像预测方法应用于视频编码过程中的情况下，所述方法还包括：将所述合并运动信息单元集i的标识写入视频码流。
  19. 一种图像预测装置，其特征在于，包括：
    第一确定单元，用于确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；
    第二确定单元，用于确定包括2个运动信息单元的合并运动信息单元集i；
    其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；
    预测单元，用于利用仿射运动模型和所述合并运动信息单元集i对所述当 前图像块进行像素值预测。
  20. 根据权利要求19所述的装置，其特征在于，
    所述第二确定单元具体用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
  21. 根据权利要求20所述的装置，其特征在于，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
    其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
    所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
    所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
    所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
    所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量之间的差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中 的其中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
  22. 根据权利要求19至21任一项所述的装置，其特征在于，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
    其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
  23. 根据权利要求22所述的装置，其特征在于，
    所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
    其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  24. 根据权利要求22至23任一项所述的装置，其特征在于，
    所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
    其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的 视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  25. 根据权利要求22至24任一项所述的装置，其特征在于，
    所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
    其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
  26. 根据权利要求22至25任一项所述的装置，其特征在于，
    所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
    其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
  27. 根据权利要求19至26任一项所述的装置，其特征在于，所述预测单元具体用于，当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
    或者，所述预测单元具体用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧 索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
  28. 根据权利要求19至27任一项所述的装置，其特征在于，
    所述预测单元具体用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
    或者，
    所述预测单元具体用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
  29. 根据权利要求19至28任一项所述的装置，其特征在于，
    所述预测单元具体用于，利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
  30. 根据权利要求29所述的装置，其特征在于，所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
  31. 根据权利要求19至30任一项所述的装置，其特征在于，
    所述仿射运动模型为如下形式的仿射运动模型：
    其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述w为所述当前图像块的长或宽。
  32. 根据权利要求19至31任一项所述的装置，其特征在于，
    所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
  33. 根据权利要求32所述的装置，其特征在于，在当所述图像预测装置应用于视频解码装置中的情况下，所述第二确定单元具体用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
  34. 根据权利要求32或33所述的装置，其特征在于，在当所述图像预测装置应用于视频解码装置中的情况下，
    所述装置还包括解码单元，用于从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
  35. 根据权利要求32所述的装置，其特征在于，在当所述图像预测装置应用于视频编码装置中的情况下，所述预测单元还用于：利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
  36. 根据权利要求32或35所述的装置，其特征在于，在当所述图像预测装置应用于视频编码装置中的情况下，所述装置还包括编码单元，用于将所述合并运动信息单元集i的标识写入视频码流。
  37. 一种图像预测装置，其特征在于，包括：
    处理器和存储器；
    其中，所述处理器通过调用所述存储器中存储的代码或指令以用于，确定当前图像块中的2个像素样本，确定所述2个像素样本之中的每个像素样本所对应的候选运动信息单元集；其中，所述每个像素样本所对应的候选运动信息单元集包括候选的至少一个运动信息单元；确定包括2个运动信息单元的合并运动信息单元集i；其中，所述合并运动信息单元集i中的每个运动信息单元分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的至少部分运动信息单元，其中，所述运动信息单元包括预测方向为前向的运动矢量和/或预测方向为后向的运动矢量；利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测。
  38. 根据权利要求37所述的装置，其特征在于，
    在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器用于，从N个候选合并运动信息单元集之中确定出包含2个运动信息单元的合并运动信息单元集i；其中，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集所包含的每个运动信息单元，分别选自所述2个像素样本中的每个像素样本所对应的候选运动信息单元集中的符合约束条件的至少部分运动信息单元，其中，所述N为正整数，所述N个候选合并运动信息单元集互不相同，所述N个候选合并运动信息单元集中的每个候选合并运动信息单元集包括2个运动信息单元。
  39. 根据权利要求38所述的装置，其特征在于，所述N个候选合并运动信息单元集满足第一条件、第二条件、第三条件、第四条件和第五条件之中的至少一个条件，
    其中，所述第一条件包括所述N个候选合并运动信息单元集中的任意一个 候选合并运动信息单元集中的运动信息单元所指示出的所述当前图像块的运动方式为非平动运动；
    所述第二条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的预测方向相同；
    所述第三条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元对应的参考帧索引相同；
    所述第四条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，或者，所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的其中1个运动信息单元和像素样本Z的运动矢量水平分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本；
    所述第五条件包括所述N个候选合并运动信息单元集中的任意一个候选合并运动信息单元集中的2个运动信息单元的运动矢量竖直分量的之间差值的绝对值小于或等于竖直分量阈值，或者，所述N个候选合并运动信息单元集中的其中一个候选合并运动信息单元集中的任意1个运动信息单元和像素样本Z的运动矢量竖直分量之间的差值的绝对值小于或等于水平分量阈值，所述当前图像块的所述像素样本Z不同于所述2个像素样本中的任意一个像素样本。
  40. 根据权利要求37至39任一项所述的装置，其特征在于，所述2个像素样本包括所述当前图像块的左上像素样本、右上像素样本、左下像素样本和中心像素样本a1中的其中2个像素样本；
    其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块；所述当前图像块的中心素样本a1为所述当前图像块的中心像素点或所述当前图像块中的包含所述当前图像块的中心像素点的像素块。
  41. 根据权利要求40所述的装置，其特征在于，
    所述当前图像块的左上像素样本所对应的候选运动信息单元集包括x1个像素样本的运动信息单元，其中，所述x1个像素样本包括至少一个与所述当前图像块的左上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左上像素样本时域相邻的像素样本，所述x1为正整数；
    其中，所述x1个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左上像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  42. 根据权利要求40至41任一项所述的装置，其特征在于，
    所述当前图像块的右上像素样本所对应的候选运动信息单元集包括x2个像素样本的运动信息单元，其中，所述x2个像素样本包括至少一个与所述当前图像块的右上像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的右上像素样本时域相邻的像素样本，所述x2为正整数；
    其中，所述x2个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的右上像素样本位置相同的像素样本、所述当前图像块的右边的空域相邻像素样本、所述当前图像块的右上的空域相邻像素样本和所述当前图像块的上边的空域相邻像素样本中的至少一个。
  43. 根据权利要求40至42任一项所述的装置，其特征在于，
    所述当前图像块的左下像素样本所对应的候选运动信息单元集包括x3个像素样本的运动信息单元，其中，所述x3个像素样本包括至少一个与所述当前图像块的左下像素样本空域相邻的像素样本和/或至少一个与所述当前图像块的左下像素样本时域相邻的像素样本，所述x3为正整数；
    其中，所述x3个像素样本包括与所述当前图像块所属的视频帧时域相邻的视频帧之中的与所述当前图像块的左下像素样本位置相同的像素样本、所述当前图像块的左边的空域相邻像素样本、所述当前图像块的左下的空域相邻像素样本和所述当前图像块的下边的空域相邻像素样本中的至少一个。
  44. 根据权利要求40至43任一项所述的装置，其特征在于，
    所述当前图像块的中心像素样本a1所对应的候选运动信息单元集包括x5个像素样本的运动信息单元，其中，所述x5个像素样本中的其中一个像素样本为像素样本a2，
    其中，所述中心像素样本a1在所述当前图像块所属视频帧中的位置，与所述像素样本a2在所述当前图像块所属视频帧的相邻视频帧中的位置相同，所述x5为正整数。
  45. 根据权利要求40至44任一项所述的装置，其特征在于，
    在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，当所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量对应的参考帧索引不同于所述当前图像块的参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为第一预测方向的运动矢量被缩放到所述当前图像块的参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测，其中，所述第一预测方向为前向或后向；
    或者，在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，当所述合并运动信息单元集i中的预测方向为前向的运动矢量对应的参考帧索引不同于所述当前图像块的前向参考帧索引，并且所述合并运动信息单元集i中的预测方向为后向的运动矢量对应的参考帧索引不同于所述当前图像块的后向参考帧索引的情况下，对所述合并运动信息单元集i进行缩放处理，以使得所述合并运动信息单元集i中的预测方向为前向的运动矢量被缩放到所述当前图像块的前向参考帧且使得所述合并运动信息单元集i中的预测方向为后向的运动矢量被缩放到所述当前图像块的后向参考帧，利用仿射运动模型和进行缩放处理后的合并运动信息单元集i对所述当前图像块进行像素值预测。
  46. 根据权利要求37至45任一项所述的装置，其特征在于，
    在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用仿射运动模型和所述合并运动信息 单元集i计算得到所述当前图像块中的各像素点的运动矢量，利用计算得到的所述当前图像块中的各像素点的运动矢量确定所述当前图像块中的各像素点的预测像素值；
    或者，
    在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用仿射运动模型和所述合并运动信息单元集i计算得到所述当前图像块中的各像素块的运动矢量，利用计算得到的所述当前图像块中的各像素块的运动矢量确定所述当前图像块中的各像素块的各像素点的预测像素值。
  47. 根据权利要求37至46任一项所述的装置，其特征在于，
    在利用仿射运动模型和所述合并运动信息单元集i对所述当前图像块进行像素值预测的方面，所述处理器用于，利用所述2个像素样本的运动矢量水平分量之间的差值与所述当前图像块的长或宽的比值，以及所述2个像素样本的运动矢量竖直分量之间的差值与所述当前图像块的长或宽的比值，得到所述当前图像块中的任意像素样本的运动矢量，其中，所述2个像素样本的运动矢量基于所述合并运动信息单元集i中的两个运动信息单元的运动矢量得到。
  48. 根据权利要求47所述的装置，其特征在于，
    所述2个像素样本的运动矢量水平分量的水平坐标系数和运动矢量竖直分量的竖直坐标系数相等，且所述2个像素样本的运动矢量水平分量的竖直坐标系数和运动矢量竖直分量的水平坐标系数相反。
  49. 根据权利要求37至48任一项所述的装置，其特征在于，
    所述仿射运动模型为如下形式的仿射运动模型：
    其中，所述2个像素样本的运动矢量分别为(vx0,vy0)和(vx1,vy1)，所述vx为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量水平分量，所述vy为所述当前图像块中的坐标为(x，y)的像素样本的运动矢量竖直分量，所述 w为所述当前图像块的长或宽。
  50. 根据权利要求37至49任一项所述的装置，其特征在于，
    所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
  51. 根据权利要求50所述的装置，其特征在于，在当所述图像预测装置应用于视频解码装置中的情况下，在确定包括2个运动信息单元的合并运动信息单元集i的方面，所述处理器用于，基于从视频码流中获得的合并运动信息单元集i的标识，从N个候选合并运动信息单元集之中确定包含2个运动信息单元的合并运动信息单元集i。
  52. 根据权利要求50或51所述的装置，其特征在于，在当所述图像预测装置应用于视频解码装置中的情况下，所述处理器还用于，从视频码流中解码得到所述2个像素样本的运动矢量残差，利用所述2个像素样本的空域相邻或时域相邻的像素样本的运动矢量得到所述2个像素样本的运动矢量预测值，基于所述2个像素样本的运动矢量预测值和所述2个像素样本的运动矢量残差分别得到所述2个像素样本的运动矢量。
  53. 根据权利要求50所述的装置，其特征在于，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器还用于，利用所述2个像素样本的空域相邻或者时域相邻的像素样本的运动矢量，得到所述2个像素样本的运动矢量预测值，根据所述2个像素样本的运动矢量预测值得到所述2个像素样本的运动矢量残差，将所述2个像素样本的运动矢量残差写入视频码流。
  54. 根据权利要求50或53所述的装置，其特征在于，在当所述图像预测装置应用于视频编码装置中的情况下，所述处理器还用于，将所述合并运动信息单元集i的标识写入视频码流。
  55. 一种图像处理方法，其特征在于，包括：
    获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
    利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量；
    其中，所述仿射运动模型为如下形式：
    其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
    其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
  56. 根据权利要求55所述的方法，其特征在于，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
  57. 根据权利要求55或56所述的方法，其特征在于，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量包括：
    利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  58. 根据权利要求55至57任一项所述的方法，其特征在于，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量包括：
    利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  59. 根据权利要求55至57任一项所述的方法，其特征在于，所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量包括：
    利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  60. 根据权利要求55至58任一项所述的方法，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
  61. 根据权利要求55至58任一项所述的方法，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
  62. 根据权利要求55,56,57和59任一项所述的方法，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
  63. 根据权利要求55至62任一项所述的方法，其特征在于，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量之后，还包括：
    利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
  64. 根据权利要求55至62任一项所述的方法，其特征在于，在所述确定所述当前图像块中的所述任意像素样本的像素点的预测像素值之后，还包括：
    利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
  65. 一种图像处理装置，其特征在于，所述装置包括：
    获得单元，用于获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
    计算单元，用于利用仿射运动模型和所述获得单元获得的运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量；
    其中，所述仿射运动模型为如下形式：
    其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
    其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式 vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
  66. 根据权利要求65所述的装置，其特征在于，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
  67. 根据权利要求65或66所述的装置，其特征在于，所述计算单元具体用于：
    利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  68. 根据权利要求65至67任一项所述的装置，其特征在于，所述计算单元具体用于：
    利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  69. 根据权利要求65至67任一项所述的装置，其特征在于，所述计算单元具体用于：
    利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  70. 根据权利要求65至68任一项所述的装置，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
  71. 根据权利要求65至68任一项所述的装置，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
  72. 根据权利要求65,66,67和69任一项所述的装置，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
  73. 根据权利要求65至72任一项所述的装置，其特征在于，在当所述图像处理装置应用于视频编码装置中的情况下，所述装置还包括编码单元，用于利用所述计算单元计算得到的所述当前图像块中任意像素样本的运动矢量，对所 述当前图像块中的所述任意像素样本进行运动补偿预测编码。
  74. 根据权利要求65至72任一项所述的装置，其特征在于，在当所述图像处理装置应用于视频编码装置中的情况下，所述装置还包括解码单元，用于利用所述计算单元计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
  75. 一种图像处理装置，其特征在于，所述装置包括：
    处理器和存储器；
    其中，所述处理器通过调用所述存储器中存储的代码或指令以用于，获得当前图像块的运动矢量2元组，所述运动矢量2元组包括所述当前图像块所属的视频帧中的2个像素样本各自的运动矢量；
    利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量；
    其中，所述仿射运动模型为如下形式：
    其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
    其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数。
  76. 根据权利要求75所述的装置，其特征在于，所述仿射运动模型还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
  77. 根据权利要求75或76所述的装置，其特征在于，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动 矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量与所述2个像素样本的位置，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  78. 根据权利要求75至77任一项所述的装置，其特征在于，在利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量的水平分量之间的差值与所述2个像素样本之间距离的比值，以及所述2个像素样本各自的运动矢量的竖直分量之间的差值与所述2个像素样本之间距离的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  79. 根据权利要求75至77任一项所述的装置，其特征在于，在利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量方面，所述处理器用于，利用所述2个像素样本各自的运动矢量的分量之间的加权和与所述2个像素样本之间距离或所述2个像素样本之间距离的平方的比值，获得所述仿射运动模型的系数的值；
    利用所述仿射运动模型以及所述仿射运动模型的系数的值，获得所述当前图像块中的任意像素样本的运动矢量。
  80. 根据权利要求75至78任一项所述的装置，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右侧的右区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx1，vy1)为所述右区域像素样本的运动矢量，w为所述所述2个像素样本之间的距离。
  81. 根据权利要求75至78任一项所述的装置，其特征在于，在所述2个像 素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本下方的下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx2，vy2)为所述下区域像素样本的运动矢量，h为所述所述2个像素样本之间的距离。
  82. 根据权利要求75,76,77和79任一项所述的装置，其特征在于，在所述2个像素样本包括所述当前图像块的左上像素样本、位于所述左上像素样本右下方的右下区域像素样本时，所述仿射运动模型具体为：
    其中，(vx0，vy0)为所述左上像素样本的运动矢量，(vx3，vy3)为所述右下区域像素样本的运动矢量，h1为所述所述2个像素样本之间的竖直方向距离，w1为所述2个像素样本之间的水平方向距离，w1 2+h1 2为所述所述2个像素样本之间的距离的平方。
  83. 根据权利要求75至82任一项所述的装置，其特征在于，在当所述图像处理装置应用于视频编码装置中的情况下，所述处理器还用于，在所述利用仿射运动模型和所述运动矢量2元组，计算得到所述当前图像块中任意像素样本的运动矢量之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述当前图像块中的所述任意像素样本进行运动补偿预测编码。
  84. 根据权利要求75至82任一项所述的装置，其特征在于，在当所述图像处理装置应用于视频解码装置中的情况下，所述处理器还用于，在所述确定所述当前图像块中的所述任意像素样本的像素点的预测像素值之后，利用计算得到的所述当前图像块中任意像素样本的运动矢量，对所述任意像素样本进行运动补偿解码，得到所述任意像素样本的像素重建值。
  85. 一种图像处理方法，其特征在于，包括：
    获得仿射运动模型的系数，利用所述仿射运动模型的系数以及所述仿射运 动模型，计算得到所述当前图像块中任意像素样本的运动矢量；
    利用计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值；
    其中，所述仿射运动模型为如下形式：
    其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
    其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数包括a和b；
    所述仿射运动模型的系数还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
  86. 一种图像处理装置，其特征在于，包括：
    获得单元，用于获得仿射运动模型的系数；
    计算单元，用于利用所述获得单元获得的仿射运动模型的系数以及所述仿射运动模型，计算得到所述当前图像块中任意像素样本的运动矢量；
    预测单元，用于所述计算单元计算得到的所述任意像素样本的运动矢量，确定所述任意像素样本的像素点的预测像素值；
    其中，所述仿射运动模型为如下形式：
    其中，(x，y)为所述任意像素样本的坐标，所述vx为所述任意像素样本 的运动矢量的水平分量，所述vy为所述任意像素样本的运动矢量的竖直分量；
    其中，在等式vx＝ax+by中，a为所述仿射运动模型的水平分量的水平坐标系数，b为所述仿射运动模型的水平分量的竖直坐标系数；在等式vy＝-bx+ay中，a为所述仿射运动模型的竖直分量的竖直坐标系数，-b为所述仿射运动模型的竖直分量的水平坐标系数，所述仿射运动模型的系数包括a和b；
    所述仿射运动模型的系数还包括所述仿射运动模型的水平分量的水平位移系数c，以及所述仿射运动模型的竖直分量的竖直位移系数d，从而所述仿射运动模型为如下形式：
CN201580077673.XA 2015-03-10 2015-03-26 图像预测方法和相关设备 Active CN107534770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910900293.1A CN110557631B (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2015073969 2015-03-10
CNPCT/CN2015/073969 2015-03-10
PCT/CN2015/075094 WO2016141609A1 (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910900293.1A Division CN110557631B (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备

Publications (2)

Publication Number Publication Date
CN107534770A true CN107534770A (zh) 2018-01-02
CN107534770B CN107534770B (zh) 2019-11-05

Family

ID=56878537

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580077673.XA Active CN107534770B (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备
CN201910900293.1A Active CN110557631B (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910900293.1A Active CN110557631B (zh) 2015-03-10 2015-03-26 图像预测方法和相关设备

Country Status (14)

Country Link
US (3) US10404993B2 (zh)
EP (1) EP3264762A4 (zh)
JP (2) JP6404487B2 (zh)
KR (1) KR102081213B1 (zh)
CN (2) CN107534770B (zh)
AU (1) AU2015385634B2 (zh)
BR (1) BR112017019264B1 (zh)
CA (2) CA3122322A1 (zh)
HK (1) HK1243852A1 (zh)
MX (2) MX2017011558A (zh)
MY (1) MY190198A (zh)
RU (1) RU2671307C1 (zh)
SG (3) SG10201900632SA (zh)
WO (1) WO2016141609A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536135A (zh) * 2018-05-25 2019-12-03 腾讯美国有限责任公司 用于视频编解码的方法和设备
WO2020155791A1 (zh) * 2019-02-01 2020-08-06 华为技术有限公司 帧间预测方法和装置
CN112601081A (zh) * 2020-12-04 2021-04-02 浙江大华技术股份有限公司 一种自适应分区多次预测方法及装置

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6404487B2 (ja) 2015-03-10 2018-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像予測方法および関連装置
ES2737841B1 (es) * 2016-02-25 2021-07-27 Kt Corp Método y aparato para procesar señales de vídeo
SG11201806865YA (en) * 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN108271023B (zh) 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
WO2019002215A1 (en) * 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
EP3468195A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
WO2019117659A1 (ko) * 2017-12-14 2019-06-20 엘지전자 주식회사 움직임 벡터 도출을 기반으로 하는 영상 코딩 방법 및 그 장치
US20190208211A1 (en) * 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
CN111602393B (zh) * 2018-01-15 2022-10-21 三星电子株式会社 编码方法及其设备以及解码方法及其设备
CN118042153A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN116684639A (zh) * 2018-04-01 2023-09-01 Lg电子株式会社 图像编码/解码设备和图像数据发送设备
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
WO2019199127A1 (ko) * 2018-04-12 2019-10-17 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US10893299B2 (en) * 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
KR102547353B1 (ko) 2018-08-06 2023-06-26 엘지전자 주식회사 영상 코딩 시스템에서 컨스트럭티드 어파인 mvp 후보를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US11039157B2 (en) * 2018-09-21 2021-06-15 Tencent America LLC Techniques for simplified affine motion model coding with prediction offsets
KR102354489B1 (ko) 2018-10-08 2022-01-21 엘지전자 주식회사 Atmvp 후보를 기반으로 영상 코딩을 수행하는 장치
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
GB2595054B (en) * 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
GB2595053B (en) * 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
KR20210129721A (ko) * 2019-03-11 2021-10-28 알리바바 그룹 홀딩 리미티드 병합 모드를 위한 예측 가중치를 결정하는 방법, 디바이스, 및 시스템
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
JP7275326B2 (ja) 2019-06-14 2023-05-17 ヒョンダイ モーター カンパニー インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置
WO2020262901A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2021006614A1 (ko) 2019-07-08 2021-01-14 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR20210006306A (ko) 2019-07-08 2021-01-18 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
CN111050168B (zh) * 2019-12-27 2021-07-13 浙江大华技术股份有限公司 仿射预测方法及其相关装置
US20210245047A1 (en) 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming
WO2024081734A1 (en) * 2022-10-13 2024-04-18 Bytedance Inc. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363451A (zh) * 2014-10-27 2015-02-18 华为技术有限公司 图像预测方法及相关装置
CN104935938A (zh) * 2015-07-15 2015-09-23 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2586686B2 (ja) * 1990-04-19 1997-03-05 日本電気株式会社 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
JPH1051766A (ja) 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
JP2000165648A (ja) 1998-11-27 2000-06-16 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
CN1193620C (zh) * 2000-01-21 2005-03-16 诺基亚有限公司 视频编码器的运动估计方法及系统
KR100359115B1 (ko) 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
US6537928B1 (en) * 2002-02-19 2003-03-25 Asm Japan K.K. Apparatus and method for forming low dielectric constant film
JP2003274410A (ja) 2002-03-13 2003-09-26 Hitachi Ltd 監視映像の符号化装置及び復号装置並びに符号化方法
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US8116576B2 (en) * 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2007312425A (ja) * 2007-07-30 2007-11-29 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体
JP4544334B2 (ja) * 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
FR2933565A1 (fr) * 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
CN101350928A (zh) * 2008-07-29 2009-01-21 北京中星微电子有限公司 一种运动估计方法及装置
CN101931803B (zh) * 2009-06-26 2013-01-09 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
EP2664070B1 (en) * 2011-01-14 2016-11-02 GE Video Compression, LLC Entropy encoding and decoding scheme
CN102158709B (zh) 2011-05-27 2012-07-11 山东大学 一种解码端可推导的运动补偿预测方法
US8964845B2 (en) * 2011-12-28 2015-02-24 Microsoft Corporation Merge mode for motion information prediction
US9438928B2 (en) * 2012-11-05 2016-09-06 Lifesize, Inc. Mechanism for video encoding based on estimates of statistically-popular motion vectors in frame
CN103024378B (zh) * 2012-12-06 2016-04-13 浙江大学 一种视频编解码中运动信息导出方法及装置
CN104113756A (zh) * 2013-04-22 2014-10-22 苏州派瑞雷尔智能科技有限公司 一种适用于h.264视频编解码的整像素运动估计方法
CN107734335B (zh) 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
JP6404487B2 (ja) 2015-03-10 2018-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像予測方法および関連装置
CN106254878B (zh) * 2015-06-14 2020-06-12 同济大学 一种图像编码及解码方法、图像处理设备
CN109076234A (zh) * 2016-05-24 2018-12-21 华为技术有限公司 图像预测方法和相关设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363451A (zh) * 2014-10-27 2015-02-18 华为技术有限公司 图像预测方法及相关装置
CN104935938A (zh) * 2015-07-15 2015-09-23 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536135A (zh) * 2018-05-25 2019-12-03 腾讯美国有限责任公司 用于视频编解码的方法和设备
CN110536135B (zh) * 2018-05-25 2021-11-05 腾讯美国有限责任公司 用于视频编解码的方法和设备
WO2020155791A1 (zh) * 2019-02-01 2020-08-06 华为技术有限公司 帧间预测方法和装置
CN112601081A (zh) * 2020-12-04 2021-04-02 浙江大华技术股份有限公司 一种自适应分区多次预测方法及装置
CN112601081B (zh) * 2020-12-04 2022-06-24 浙江大华技术股份有限公司 一种自适应分区多次预测方法及装置

Also Published As

Publication number Publication date
CA2979082C (en) 2021-07-27
SG10202111537RA (en) 2021-11-29
EP3264762A1 (en) 2018-01-03
JP6404487B2 (ja) 2018-10-10
JP2018511997A (ja) 2018-04-26
CN110557631A (zh) 2019-12-10
US10404993B2 (en) 2019-09-03
MX2020010515A (es) 2020-10-22
US11178419B2 (en) 2021-11-16
AU2015385634A1 (en) 2017-10-19
HK1243852A1 (zh) 2018-07-20
EP3264762A4 (en) 2018-05-02
BR112017019264B1 (pt) 2023-12-12
US20190268616A1 (en) 2019-08-29
JP2019013031A (ja) 2019-01-24
MY190198A (en) 2022-04-04
AU2015385634B2 (en) 2019-07-18
CA2979082A1 (en) 2016-09-15
CN107534770B (zh) 2019-11-05
WO2016141609A1 (zh) 2016-09-15
JP6689499B2 (ja) 2020-04-28
US20200244986A1 (en) 2020-07-30
US10659803B2 (en) 2020-05-19
SG11201707392RA (en) 2017-10-30
KR102081213B1 (ko) 2020-02-25
CA3122322A1 (en) 2016-09-15
CN110557631B (zh) 2023-10-20
MX2017011558A (es) 2018-03-21
SG10201900632SA (en) 2019-02-27
RU2671307C1 (ru) 2018-10-30
KR20170125086A (ko) 2017-11-13
US20170374379A1 (en) 2017-12-28
BR112017019264A2 (zh) 2018-05-02

Similar Documents

Publication Publication Date Title
CN110557631B (zh) 图像预测方法和相关设备
JP7313816B2 (ja) 画像予測方法および関連装置
JP7335314B2 (ja) 画像予測方法および関連装置
CN112087629B (zh) 图像预测方法、装置及计算机可读存储介质
CN109076234A (zh) 图像预测方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1243852

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant