CN116095322A - 图像处理方法、处理设备及存储介质 - Google Patents

Abstract

本申请提出了一种图像处理方法、处理设备及存储介质，图像处理方法可应用于处理设备，包括：根据待处理单元中子处理单元的运动信息，确定或得到所述待处理单元的预测结果。图像编解码过程中，本申请技术方案可以使得待处理单元确定的运动偏移参数所表征的轨迹，和该待处理单元实际的运动轨迹相似，从而能够提高视频编码的预测准确度和/或效率。

Description

图像处理方法、处理设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、处理设备及存储介质。

背景技术

在视频编码技术的发展过程中，各种视频编码标准所做出的改进都在致力于从不同方面提升视频的编码效果，其中，基于子块的运动偏移进行图像编解码中的预测处理，是当前研究的热点问题。

在构思及实现本申请过程中，发明人发现至少存在如下问题：相关技术中确定的运动偏移表征的轨迹和待处理单元实际的运动轨迹之间存在较大误差，这就导致了视频编码的预测准确度较低和/或效率较低。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种图像处理方法、处理设备及存储介质，使确定的运动偏移参数所表征的轨迹和待处理单元实际的运动轨迹保持一致或相似，从而有效地提高视频编码的预测准确度和/或效率。

为解决上述技术问题，本申请提供一种图像处理方法，可应用于处理设备，包括：

获取或确定待处理单元中子处理单元的运动信息；

根据所述运动信息对所述待处理单元进行亮度/色度预测，以确定或得到所述待处理单元的预测结果。

可选地，所述子处理单元的运动信息的获取或确定方式，包括以下至少一项：

第一方式：根据待处理单元的同位处理单元获取或确定所述运动信息；

第二方式：根据子处理单元的同位子处理单元获取或确定所述运动信息；

第三方式：根据预设的子块合并候选列表获取或确定所述运动信息；

第四方式：根据预设标志获取或确定所述运动信息；

第五方式：根据待处理单元的第一运动偏移信息获取或确定所述运动信息；

第六方式：根据待处理图像的已处理区域中的第一图像单元或第一子图像单元的第二运动偏移信息获取或确定所述运动信息；

第七方式：根据至少一个所述第二运动偏移信息的组合，获取或确定所述运动信息。

可选地，所述第二方式，包括：

根据第三运动偏移信息和所述子处理单元的位置信息和运动偏移信息确定同位子处理单元；

根据所述同位子处理单元的位置信息和/或者所述同位子处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

可选地，所述第四方式，包括：

若预设标志为第一值，则根据子处理单元的同位子处理单元的运动信息，获取或确定子处理单元的运动信息；和/或，

若预设标志为第二值，则根据待处理单元的同位处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

可选地，所述第五方式，包括：

根据至少一邻近区域、至少一相邻区域、至少一邻近采样、至少一相邻采样中的至少一个对应的第一运动信息，获取或确定第一运动偏移信息；

根据第一运动偏移信息获取或确定子处理单元的运动信息。

可选地，所述根据第一运动偏移信息获取或确定子处理单元的运动信息，包括：

根据子处理单元的位置信息和第一运动偏移信息确定同位子处理单元；

根据同位子处理单元的位置信息和/或者运动信息，获取或确定子处理单元的运动信息。

可选地，所述第六方式，包括：

根据第二偏移信息确定第一运动偏移信息，并根据第一运动偏移信息获取或确定子处理单元的运动信息。

可选地，还包括以下至少一项：

第一图像单元为与待处理单元大小相同的图像单元；

第一子图像单元为与子处理单元大小相同的子图像单元；

第二运动偏移信息包括：第一图像单元或第一子图像单元的至少一第一区域和/或至少一第一采样的运动信息；

预设标志包括第一值和/或第二值。

本申请还提供一种处理设备，包括：存储器、处理器，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。

本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。

如上所述，本申请的图像处理方法，可应用于处理设备，包括：根据待处理单元中子处理单元的运动信息，确定或得到所述待处理单元的预测结果。通过上述技术方案，可以使得图像编解码过程中为待处理单元确定的运动偏移参数所表征的轨迹，和该待处理单元实际的运动轨迹保持一致或相似，从而有效地提高视频编码的预测准确度和/或效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3a为ATMVP使用的空间相邻块的示意图；

图3b为通用视频编码VVC中基于子块的时间运动矢量预测SbTMVP的过程示意图；

图4A是本申请实施例提供的图像处理方法涉及的图像编码场景示意图；

图4B是本申请实施例提供的图像处理方法涉及的图像解码场景示意图；

图5为本申请第一实施例涉及的待处理单元和待处理单元中子处理单元的关系示意图；

图6为本申请第二实施例涉及的当前图像和同位图像之间的关系的示意图；

图7a为本申请第二实施例涉及的待处理单元和子处理单元的一相邻区域的示意图；

图7b为本申请第二实施例涉及的待处理单元和子处理单元的另一相邻区域的示意图；

图8为本申请第二实施例涉及的待处理单元和子处理单元的相邻采样的示意图；

图9为本申请第二实施例涉及的待处理单元和子处理单元的邻近区域的示意图；

图10为本申请第二实施例涉及的根据运动矢量确定同位子处理单元的示意图；

图11为本申请第四实施例涉及的针对多个候选偏移确定对应同位图像块的示意图；

图12a至图12d为本申请第四实施例涉及的利用同位图像块确定子图像块运动矢量的示意图；

图13为本申请第四实施例涉及的对多个候选偏移确定同位子图像块的示意图；

图14a至图14b为本申请第四实施例涉及的利用同位子图像块确定子图像块运动矢量的示意图；

图15为本申请第四实施例涉及的对多个候选偏移确定同位图像块的示意图；

图16a至图16d为本申请第四实施例涉及的利用同位图像块确定子图像块运动矢量的示意图；

图17为本申请第四实施例涉及的针对多个候选偏移直接确定同位子图像块的示意图；

图18a至图18b为本申请第四实施例涉及的利用同位子图像块确定子图像块运动矢量的示意图；

图19为本申请第四实施例涉及的选择一个子图像块的示意图；

图20为本申请第四实施例涉及的选择多个子图像块的示意图；

图21为本申请第四实施例涉及的对多个候选偏移确定同位子图像块的示意图；

图22a至图22b为本申请第四实施例涉及的利用同位子图像块确定子图像块的运动矢量的示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。和/或，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要说明的是，在本文中，采用了诸如首先、然后、再等连接词，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

处理设备可以以各种形式来实施。例如，本申请中描述的处理设备可以是服务器，也可以是包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（PersonalDigital Assistant，PDA）、便捷式媒体播放器（Portable Media Player，PMP）、导航装置、可穿戴设备、智能手环、计步器等智能终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括： RF（Radio Frequency，射频）单元101、WiFi模块102、音频输出单元103、A/V（音频/视频）输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM （Global System of Mobile communication，全球移动通讯系统）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（CodeDivision Multiple Access 2000，码分多址2000）、WCDMA（Wideband Code DivisionMultiple Access, 宽带码分多址）、TD-SCDMA（Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址）、FDD-LTE（Frequency DivisionDuplexing- Long Term Evolution，频分双工长期演进）、TDD-LTE (Time DivisionDuplexing- Long Term Evolution，分时双工长期演进)和5G等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。和/或，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器（Graphics Processing Unit，GPU）1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109（或其它存储介质）中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音（音频数据），和/或能够将这样的声音处理为音频数据。处理后的音频（语音）数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111（比如电池），优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE（User Equipment，用户设备）201， E-UTRAN（Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网）202，EPC（Evolved Packet Core，演进式分组核心网）203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程（backhaul）（例如X2接口）与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME（Mobility Management Entity，移动性管理实体）2031， HSS（Home Subscriber Server，归属用户服务器）2032，其它MME2033， SGW（Serving GateWay，服务网关）2034， PGW（PDN Gate Way，分组数据网络网关）2035和PCRF（Policy andCharging Rules Function，政策和资费功能实体）2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器（图中未示）之类的功能，和/或保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元（图中未示）选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS（IP Multimedia Subsystem，IP多媒体子系统）或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络系统（如6G）等，此处不做限定。

基于上述以移动终端为例的处理设备的硬件结构以及通信网络系统，提出本申请图像处理方法的整体构思。

在视频编码技术的发展过程中，各种视频编码标准所做出的改进都在致力于从不同方面提升视频的编码效果，其中，基于子块的运动偏移进行图像编解码中的预测处理，是当前研究的热点问题。

在构思及实现本申请过程中，发明人发现至少存在如下问题：相关技术中确定的运动偏移表征的轨迹和待处理单元实际的运动轨迹之间存在较大误差，这就导致了视频编码的效率较低。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

针对上述问题，本申请提出一种图像处理方法，根据待处理单元中子处理单元的运动信息，确定或得到所述待处理单元的预测结果。如此，通过本申请技术方案可以使得图像编解码过程中为待处理单元确定的运动偏移参数所表征的轨迹，和该待处理单元实际的运动轨迹保持一致或相似，从而有效地提高视频编码的预测准确度和/或效率。

基于上述本申请提供的图像处理方法的整体构思，进一步提出本申请图像处理方法的各个实施例。

为便于理解，下面先对本申请实施例可能涉及到的专业术语进行解释。

（一）、帧间预测

在对图像进行编码或者解码的过程中，对图像块进行预测都是一个必不可少的步骤。例如，编码器通过对图像块进行预测得到预测块，构造能量较小的残差块，减少传输比特，解码器通过熵解码出残差块，和/或将残差块和通过在解码器中预测得到的预测块来得到解码图像块来实现图像的解码。而编码器或者解码器对图像块的预测都可以通过一些预设的预测模式实现，该预测模式即包括帧间预测的模式和帧内预测的模式。可选地，编码器或者解码器通常可以采用的帧间预测包括基于子块的时间运动矢量预测（Subblock-basedtemporal motion vector prediction，以下简称为SbTMVP）。

（二）、基于子块的时间运动矢量预测

通用视频编码（Versatile Video Coding, VVC）支持基于子块的时间运动矢量预测。类似于高效视频编码(High Efficiency Video Coding, HEVC)中的时间运动矢量预测（temporal motion vector prediction,以下简称为TMVP），SbTMVP使用同位图像（collocated picture）中的运动场来改进当前图像中编码单元（coding unite，以下简称为CU）的运动矢量预测和合并模式。SbTVMP使用与TMVP中使用的同位图像。SbTMVP与TMVP的区别主要有以下两个方面：

–TMVP在CU级别进行预测运动，但SbTMVP在子CU级别进行预测运动；

–TMVP从同位图像中的同位块获取时间运动矢量（同位块是相对于当前CU的右下角块或中心块），SbTMVP则在从同位图像获取时间运动信息之前应用运动偏移（motionshift），其中运动偏移是从当前CU的空间相邻块A1的运动矢量获得的。

请参照图3a和图3b，SbTMVP分两步预测当前CU中的子CU的运动矢量。

在第一步中，检查图3a中所示的空间相邻块A1。如果A1具有使用同位图像作为其参考图像的运动矢量，则选择该运动矢量作为要应用的运动偏移，而如果未识别出此类运动，则将运动偏移设置为(0,0)。

在第二步中，如图3b所示，应用在第一步中识别的运动偏移（即与图像块的坐标相加）以从同位图像获得子CU级运动信息（运动矢量和参考索引）。图3b中的示例假设运动偏移设置为空间相邻块A1的运动矢量。然后，对于每个子CU，其在同位图像中的对应块（覆盖中心采样的最小运动网格/运动单元）的运动信息用于导出子CU的运动信息。在确定同位子CU的运动信息后，将其转换为当前子CU的运动矢量和参考索引，其方式与HEVC的TMVP过程类似，其中应用时间运动缩放将时间运动矢量的参考图片与当前CU的参考图像对齐。

在VVC中，包含SbTVMP候选和仿射合并候选的基于子块的合并列表，用于基于子块的合并模式的发信（signalling）。SbTVMP模式由序列参数集SPS标志启用/禁用。如果启用SbTMVP模式，则将SbTMVP预测器添加为基于子块的合并候选者列表的第一个条目，然后添加的是仿射合并候选。在序列参数集（Sequence Parameter Set, SPS）中，发送基于子块的合并列表大小的信息，和/或，基于子块的合并列表的最大允许尺寸在VVC中为5。

SbTMVP中使用的子CU尺寸固定为8x8。仿射合并模式一样，SbTMVP模式仅适用于宽度和高度都大于或等于8的CU。

附加的SbTMVP合并候选的编码逻辑与其他合并候选相同，即对P切片 (slice)或B切片中的每个CU，进行额外的率失真检测来决定是否使用SbTMVP合并候选。

可选地，请参见图4A和图4B，图4A是本申请提供的处理方法涉及的图像编码场景示意图，图4B则是图像解码流程示意图。在编码端，编码器通常将输入的视频图像分割为至少一个图像块进行处理，每个图像块可以与通过预测模式预测得到的预测块相减得到残差块，再对残差块和预测模式的相关参数进行一系列处理得到编码的比特流。之后，在解码端，解码器接收到比特流后即可通过解析该比特流得到预测模式参数。进而，解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理，得到残差块。可选地，解码器的解码单元会解析并解码已编码的比特流，得到预测参数以及相关辅助信息。接下来，解码器的预测处理单元利用预测参数进行预测处理，从而确定对应于残差块的预测块。如此，解码器即可通过将得到的残差块和对应的预测块相加得到重建块。可选地，解码器的环路滤波单元将重建块进行环路滤波处理以减少失真，改善视频质量。从而，经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。

可选地，本申请实施例提供的图像处理方法可以应用于上述视频图像编码过程中对图像块进行编码预测的场景。例如，视频图像编码过程中帧间预测的场景，以及视频图像解码过程中帧间预测的场景。

第一实施例

在本实施例中，本申请提供的图像处理方法的执行主体可以是上述的处理设备，或者是由上述多个处理设备构成的集群，该处理设备可以是智能终端（如前述的移动终端100）也可以是服务器。此处，以处理设备作为本申请提供的图像处理方法第一实施例中的执行主体，来对本申请提供的图像处理方法进行说明。

在本实施例中，本申请提供的图像处理方法包括：

获取或确定待处理单元中子处理单元的运动信息；

根据所述运动信息对所述待处理单元进行亮度/色度预测，以确定或得到所述待处理单元的预测结果。

可选地，在本实施例中，待处理单元可以是输入视频图像（即视频帧）中，正在进行编码或者解码从而需要进行预测处理的图像块。可选地，该图像块也可以称作为图像采样，可简称为当前块、当前采样或者待处理块。在H.265/高效率视频编码（HEVC）标准下，待处理单元可以是输入视频图像中的一个编码树单元（coding tree unit，CTU)，或者是编码单元CU，本申请实施例对该待处理单元的种类不做具体限制。

可选地，处理设备作为编码器在从视频源处接收到视频图像之后，即针对该视频图像进行分割得到至少一个图像块（图像块包括图像编码单元、子图像编码单元），之后，处理设备即利用视频图像之间的时间和/或空间相关性，对至少一个图像块中的每一个进行预测处理。在一实施例中，处理设备在采用帧间预测模式（尤其是基于子块的时间运动矢量预测）针对该当前的图像块进行预测处理时，即可确定该图像块为待处理单元。如此，处理设备在针对当前的待处理单元进行预测处理的过程中，即可根据该待处理单元中子处理单元的运动信息，确定或得到针对该待处理单元进行预测处理的预测结果。

可选地，处理设备作为编码器可以使用例如率失真优化来确定至少一个图像块中的每一个最终采用的预测模式。例如，计算每一种预测模式对应的率失真代价，以从多种预测模式对应的率失真代价中确定最小率失真代价。最小率失真代价对应的预测模式即为图像块最终采用的预测模式。

可选地，在本实施例中，处理设备可以基于待处理单元的同位处理单元、待处理单元中子处理单元的同位子处理单元、预设的子块合并候选列表、预设标志的取值、该待处理单元的第一运动偏移信息，和/或者，待处理单元所处待处理图像的已处理区域中，第一图像单元或第一子图像单元的第二运动偏移信息，来获取或确定出待处理单元中子处理单元的运动信息，进而基于该运动信息确定或得到针对该待处理单元进行预测处理的预测结果。

可选地，在一实施方式中，处理设备首先根据待处理单元中子处理单元的运动信息，确定或得到该子处理单元的预测结果，然后根据该子处理单元的预测结果获取或确定得到针对该待处理单元进行预测的预测结果。可选地，若待处理单元具有4个子处理单元，则处理设备依次根据该4个子处理单元各自的运动信息，先获取或者确定该4个子处理单元各自的预测结果，然后，处理设备再由该4个子处理单元各自的预测结果，获取或确定整个待处理单元的预测结果。

可选地，处理设备在依据上述过程，以逐采样方式确定或者得到待处理单元的预测处理结果之后，作为编码器的处理设备即可进一步将当前图像块中的像素的采样值，减去预测到的图像块中对应像素的预测值（待处理单元的色度预测结果或者亮度预测结果），以得到像素的残差值以及图像块对应的残差块。之后，残差块会经过变换和量化处理，再由熵编码器进行编码最后形成已编码的比特流。另外，已编码的比特流中还可以包括处理设备通过上述过程确定的预测模式对应的预测参数（经过熵编码后被打包至已编码的比特流中）以及相关辅助信息side information。若确定的预测模式为基于子块的时间运动矢量预测SbTMVP，则上述的预测参数包括基于子块的时间运动矢量预测SbTMVP的指示信息。

可选地，已变换已量化的残差块会和利用预测模式得到的对应的预测块进行相加得到重建块。得到重建块之后，处理设备还会对重建块进行环路滤波处理以减少失真。在进行环路滤波处理之后，处理设备还可以将得到的重建图像存储于编码图像缓冲器中，从而将该重建图像用于后续的帧间预测处理。

可选地，处理设备作为解码器时即可接收到上述作为编码器的处理设备传递的已编码的比特流，而处理设备在作为解码器接收到已经通过编码器编码的比特流之后，解码器的解码单元会解析并解码该比特流得到预测参数。可选地，解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理以得到残差块。接下来，解码器的预测处理单元即可将该残差块作为当前需要进行解码处理的待处理单元并利用预测参数进行预测处理，从而确定对应于该残差块的预测块。

可选地，解码器在采用与编码器所使用相同的帧间预测模式时，可利用解析比特流得到的预测参数进行预测处理，从而确定对应残差块的预测块。可选地，预测处理包括帧内预测处理和/或帧间预测处理，和/或帧内预测处理和/或帧间预测处理包括至少一个预测模式。例如，解码器基于解析得到的比特流中的指示信息，确定图像块采用的预测模式为基于子块的时间运动矢量预测，如此，解码器即可利用基于子块的时间运动矢量预测得到图像块对应的预测块。

可选地，作为解码器的处理设备在通过逐采样方式，确定或者得到待处理单元的预测结果之后，处理设备即可进一步将解析得到的残差块和预测到的图像块中对应像素的预测值（待处理单元的色度预测结果或者亮度预测结果）相加，以得到重建块。最后，处理设备还通过环路滤波单元将重建块进行环路滤波处理，以减少失真改善视频质量。而经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。

可选地，由于在基于子块的时间运动矢量预测中子CU的大小固定为8x8，且和仿射合并（affine merge）模式一样只有当CU宽高都大于等于8时才使用SbTMVP模式。因此，处理设备在基于子块的时间运动矢量预测过程中，会将待处理单元CU进一步划分为至少一个子处理单元，例如，将一个待处理的编码单元划分为8x8大小的子编码单元。或者，处理设备会将其他编码块进一步划分为至少一个其他子图像块。可选地，请参照图5，假定待处理单元为编码单元CU1，则图示子编码单元sbCU1即为编码单元CU1中的子处理单元。编码单元CU1包括16个大小相同的子编码单元sbCU1。

可选地，处理设备在将待处理单元（CU）进一步划分为至少一个子处理单元（sbCU）之后，即计算该子处理单元的运动信息（例如运动矢量）。在计算确定了该子处理单元的运动信息之后，处理设备即可开始对子处理单元进行帧间预测，以获得该子处理单元的子预测块。之后，处理设备即基于获得的所有子处理单元的子预测块，来确定或者得到整个待处理单元的预测单元（或预测块），进而进行后续的编码处理或者解码处理。

可选地，处理设备在基于子块的时间运动矢量预测的技术针对待处理单元进行预测处理的过程中，还可以结合其他的帧内和/或帧间预测技术来进行编解码处理。

在本实施例中，本申请提出的一种图像处理方法，通过处理设备基于帧间预测对待处理单元进行预测处理，并在此过程中，将该待处理单元划分为至少一个子处理单元，并计算确定该子处理单元的运动信息，从而根据该待处理单元中子处理单元的运动信息，确定或得到整个待处理单元的预测结果——该待处理单元的预测单元（或预测块），即，基于待处理单元中子处理单元各自的运动信息来获得所有子处理单元各自的子预测块，进而确定或者得到整个待处理单元的预测单元（或预测块）。如此，可以使得图像编解码过程中为待处理单元确定的运动偏移参数所表征的轨迹，和该待处理单元实际的运动轨迹保持一致或相似，从而有效地提高视频编码的预测准确度和/或效率。

第二实施例

在本实施例中，本申请提供的图像处理方法的执行主体仍可以是上述的处理设备。在本实施例中，处理设备在采用帧间预测对待处理单元进行预测的过程中，可选地，子处理单元位于当前图像中，当前图像为当前待编码/待解码的图像，而同位子处理单元则位于当前图像的同位图像中。子处理单元的运动信息可以为运动偏移信息，该运动偏移信息用于指示子处理单元与同位子处理单元之间的位置偏移。

可选地，若子处理单元在当前图像中的位置为（x，y），和/或该子处理单元与同位子处理单元之间的位置偏移为0，则同位子处理单元在当前图像的同位图像中的位置也为（x，y）。可选地，若子处理单元在当前图像中的位置为（x，y），和/或子处理单元与同位子处理单元之间的位置偏移为（-1，-1），则该同位子处理单元在当前图像的同位图像中的位置即为（x-1，y-1）。可选地，上述的位置偏移可以用运动矢量表示。

可选地，请参考图6，处理设备在进行编码或者解码处理的过程中，当前图像为当前进行编解码处理的图像，同位图像则是与当前图像在时间上相邻的已进行编码或者解码的图像。可选地，在构建基于子块的合并候选列表和先进运动矢量预测(Advanced MotionVector Prediction, AMVP)候选列表时，将与当前图像的图像顺序数POC距离最小的两个参考图像，指定为当前图像的同位图像。可选地，图像顺序数POC也称为图像顺序号，主要用于标识图象的播放顺序，同时还用于在对采用帧间预测的图像块进行解码时，标记参考图像的初始图像序号。

可选地，处理设备在编码端还可以依据预先定义好的规则来指定当前图像的同位图像。可选地，处理设备可依据的规则可基于实际应用的不同设计需要进行定义，本申请提供的图像处理方法并不针对该规则的具体内容进行限定。

可选地，上述的同位子处理单元为：同位图像中与子处理单元位置相同的子处理单元。可选地，若同位子处理单元为在同位图像中与子处理单元位置相同的子处理单元，则当子处理单元位置为（x0，y0）时，同位子处理单元位置也为（x0，y0）。

可选地，上述的同位子处理单元为：同位图像中与子处理单元位置对应的子处理单元。可选地，若同位图像中存在一子处理单元sbCU0'，其特征与当前图像中待处理单元的子处理单元sbCU0的特征相似，则处理设备可以指定该子处理单元sbCU0'为子处理单元sbCU0的同位子处理单元。

可选地，在本实施例中，上述子处理单元的运动信息的获取或确定方式，可以为以下方式中的至少一项：

第一方式：根据待处理单元的同位处理单元获取或确定所述运动信息。

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，若可以计算确定出整个待处理单元的同位处理单元的运动信息，则该处理设备即可将该待处理单元的运动信息直接作为该子处理单元的运动信息。

可选地，处理设备可以根据当前图像中待处理单元的邻近区域、相邻区域、邻近采样和/或相邻采样各自对应的运动矢量，来计算确定同位待处理单元的运动信息。

第二方式：根据子处理单元的同位子处理单元获取或确定所述运动信息。

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，若可以计算确定出该子处理单元的同位子处理单元的运动信息，则该处理设备即可将该子处理单元的运动信息直接作为该子处理单元的运动信息。

可选地，处理设备可以根据当前图像中待处理单元的邻近区域、相邻区域、邻近采样和/或相邻采样各自对应的运动矢量，来计算确定同位子处理单元的运动信息。

可选地，请参照图7a和图7b，在图7a中，R1~R8为待处理单元CU1的相邻区域。R1'和R2'为子处理单元sbCU1的相邻区域。可选地，相邻区域可由至少一行或者至少一列像素采样组成，本申请技术方案对相邻区域的形状进行具体限制。可选地，在图7a中待处理单元CU1的上方相邻区域包括4个大小和形状相同的区域，即R1~R4，而该待处理单元CU1的左相邻区域同样也包括4个大小和形状相同的区域，即R5~R8。可选地，待处理单元CU1的相邻区域还可以包括其他数目和其他形状的区域。而相邻区域也可以位于待处理单元的上方右侧和上方左侧（如图7b中的相邻区域ER1和相邻区域ER2）。

可选地，请参照图8，待处理单元和子处理单元的相邻采样为：与待处理单元和子处理单元相邻的像素采样。如图8所示，A0、A1、B0、B1和B2为待处理单元CU1的左下相邻采样、左相邻采样，右上相邻采样、上相邻采样、以及左上相邻采样，而A0'、A1'、B0'、B1'和B2'则为子处理单元sbCU1的左下相邻采样、左相邻采样，右上相邻采样、上相邻采样、以及左上相邻采样。

可选地，上述的邻近区域和相邻区域相似。

可选地，邻近区域为与处理单元位置靠近的区域并不与待处理单元相邻。

可选地，邻近区域与处理单元相距N个采样距离，N可以为1~4个采样。

如图9所示，待处理单元和邻近区域R10~R80、ER10~ER20并没有相邻而是存在一定距离。同样的，子处理单元和邻近区域R10'~R20'并没有相邻而是存在一定距离。可选地，待处理单元和邻近区域之间可能存在数行或数列像素采样；子处理单元和邻近区域之间可能存在数行或数列像素采样。可选地，待处理单元和邻近采样之间同样也存在一定距离。可选地，子处理单元和邻近采样之间同样也存在一定距离。可选地，待处理单元和邻近采样之间也可能存在一个或多个像素采样；子处理单元和邻近采样之间也可能存在一个或多个像素采样。

可选地，处理设备在获取或确定出如图7a、图7b、图8和/或图9所示的待处理单元或者子处理单元的邻近区域、相邻区域、邻近采样或者相邻采样之后，该处理设备即可以计算确定该邻近区域、相邻区域、邻近采样和/或相邻采样各自对应的运动矢量，然后根据这些运动矢量来确定出子待处理单元中子处理单元的运动信息，即，基于这些运动矢量计算确定该子处理单元的运动矢量。

可选地，处理设备在确定待处理单元或者子处理单元的邻近区域、相邻区域、邻近采样或者相邻采样时，由于当确定的相邻区域或相邻采样不可用时，处理设备还可以通过选取邻近区域或邻近采样，来获得较合适的运动矢量作为子处理单元的运动信息。因此，与确定该相邻区域或相邻采样相比，处理设备确定邻近区域、邻近采样的灵活度更大。

可选地，上述的采样是指当前图像中的像素采样。

第三方式：根据预设的子块合并候选列表获取或确定所述运动信息；

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，还可以将预设的子块合并候选列表对应的候选运动矢量，作为该子处理单元的运动信息。可选地，该运动信息与该子块合并候选列表的第一条目相对应。

可选地，处理设备可以利用一数组来构建子块合并候选列表。例如，处理设备设置子块合并候选列表subblockMergeCandList[ i]（i=0, 1, ..., n。n为列表中条目的数目）。子块合并候选列表subblockMergeCandList[ i]为一数组。然后，处理设备将子块合并候选列表subblockMergeCandList[ 0]与待处理单元的同位处理单元的运动矢量、或与子处理单元的同位子处理单元的运动矢量相关联，和/或，将subblockMergeCandList[1]~subblockMergeCandList[n]与其他候选的运动矢量相关联。如此，当上述关联的动作完成时，处理设备即构建得到子块合并候选列表。

可选地，子块合并候选列表subblockMergeCandList[ i]与待处理单元的同位处理单元的运动矢量、或与子处理单元的同位子处理单元的运动矢量相关联是指：当选择子块合并候选列表subblockMergeCandList[ 0]时，将待处理单元的同位处理单元的运动矢量、或子处理单元的同位子处理单元的运动矢量作为子处理单元的运动信息。

可选地，处理设备可以通过将子处理单元的运动信息与子块合并候选列表的第一条目相关联，从而能够使得本申请技术方案的优先级相较于其他方式得到的运动矢量的优先级高，从而提高本申请技术方案的利用效率，进而提高针对视频图像进行编解码的效率。

第四方式：根据预设标志获取或确定所述运动信息；

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，还可以利用一预设标志直接将该子处理单元的同位子处理单元的运动信息（mvL0SbCol[xSbIdx ][ ySbIdx ]），确定为该子处理单元的运动信息。可选地，处理设备还可以利用该预设标志直接将该待处理单元的同位处理单元的运动信息（ctrMvLX），确定为该子处理单元的运动信息。

可选地，上述的第四方式，可以包括：

若预设标志为第一值，则根据子处理单元的同位子处理单元的运动信息，获取或确定子处理单元的运动信息；和/或，

若预设标志为第二值，则根据待处理单元的同位处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

可选地，上述的预设标志包括第一值和/或第二值。基于此，处理设备可以在解析确定该预设标志为第一值时，直接将上述子处理单元的同位子处理单元的运动信息（mvL0SbCol[ xSbIdx ][ ySbIdx ]），确定为该子处理单元的运动信息。而处理设备在解析确定该预设标志为第二值时，即可以直接将上述待处理单元的同位处理单元的运动信息（ctrMvLX），确定为该子处理单元的运动信息。

可选地，上述待处理单元的同位处理单元的运动信息（ctrMvLX），可以是该同位处理单元的中心采样的运动信息。

可选地，处理设备在确定待处理单元中任一子处理单元的运动信息时，若处理设备确定该子处理单元的同位子处理单元采用的预测模式为帧内编码模式、调色板编码模式或者帧内块复制模式IBC，处理设备即确定当前同位子处理单元的运动信息不可直接作为子处理单元的运动信息，或者确定该同位子处理单元此时实际并不存在运动信息。在此情况下，处理设备即可以根据待处理单元的同位处理单元的运动信息（如该同位处理单元的中心采样的运动信息），来确定该子处理单元的运动信息。

可选地，在上述同位子处理单元的运动信息不可用或者不存在时，处理设备即将上述预设标志设置为第一值（例如“0”）。如此，处理设备在解析确定到的该预设的标志值为“0”时，即可直接将上述待处理单元的同位处理单元的运动信息（ctrMvLX），确定为该子处理单元的运动信息。

第五方式：根据待处理单元的第一运动偏移信息获取或确定所述运动信息；

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，若可以直接计算确定出待处理单元的第一运动偏移信息，则该处理设备即可根据该待处理单元的第一运动偏移信息确定出该子处理单元的同位子处理单元，从而基于该同位子处理单元来获取或者确定该子处理单元的运动信息。

可选地，待处理单元的第一运动偏移信息可以为运动矢量。

第六方式：根据待处理图像的已处理区域中的第一图像单元或第一子图像单元的第二运动偏移信息获取或确定所述运动信息。

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，还可以在上述待处理单元所处待处理图像的已处理区域中，确定至少一个第一图像单元或者至少一个第一子图像单元，然后，再根据该第一图像单元或第一子图像单元的第二运动偏移信息，来获取或者确定出该待处理单元中子处理单元的运动信息。

可选地，上述的第二运动偏移信息可以为运动矢量。该运动矢量可以由处理设备根据当前待处理图像的已处理区域中，第一图像单元或第一子图像单元推导的匹配代价来确定。根据一实施方式，在至少一个第一图像单元或第一子图像单元推导的匹配代价中，最小匹配代价对应的第一图像单元或第一子图像单元的运动矢量可以被确定为上述运动矢量。

可选地，上述的第二运动偏移信息可以根据当前图像已处理区域中，第一图像单元的至少一个第一区域或至少一个第一采样进行推导的匹配代价来确定；或者，该第二运动偏移信息也可以根据该第一子图像单元的至少一个第二区域或至少一个第二采样进行推导的匹配代价来确定。

可选地，上述的第二运动偏移信息包括：上述第一图像单元中至少一第三区域的运动信息或该第一图像单元中至少一第一采样的运动信息。可选地，该至少一第三区域的运动信息或该第一图像单元中至少一第一采样的运动信息，和该第一图像单元的最小匹配代价相对应。

可选地，上述的第二运动偏移信息包括：第一图像单元的第一子图像单元中至少一第四区域的运动信息，或该第一子图像的至少一第二邻近采样的运动信息。可选地，该至少一第四区域的运动信息或该至少一第二邻近采样的运动信息，和该第一子图像单元的最小匹配代价相对应。

可选地，若上述至少一个第一区域、至少一个第二区域、第三区域、第四区域、第一采样和/或第二采样对应的运动信息不可用，则处理设备可以直接确定上述的第二运动偏移信息为0矢量。

可选地，上述的至少一第一采样包括：上述第一图像单元的左下相邻采样和右上相邻采样中的至少一个。可选地，上述的至少一第二邻近采样包括：上述第一子图像单元的左下相邻采样和右上相邻采样中的至少一个。

可选地，处理设备在确定上述第一图像单元的中心子块和/或中心采样采用的是单向预测，则同样也将上述的第一运动偏移信息确定是用于单向预测的运动矢量。可选地，处理设备在确定上述第一图像单元的中心子块和/或中心采样采用的是双向预测，则同样也将上述的第一运动偏移信息确定是用于双向预测的运动信息。可选地，处理设备在确定上述第一图像单元中与第一邻近区域/邻近采样相邻的子图像单元是采用单向预测时，同样也将上述的第一运动偏移信息确定是用于单向预测的运动矢量。可选地，处理设备在确定上述第一图像单元中与第一邻近区域/邻近采样相邻的子图像块是采用双向预测时，则将上述的第一运动偏移信息确定是用于双向预测的运动信息。

第七方式：根据至少一个所述第二运动偏移信息的组合，获取或确定所述运动信息。

可选地，处理设备在计算确定待处理单元中任一子处理单元的运动信息时，还可以在获取或确定出上述的第二偏移信息之后，根据该至少一个第二偏移信息的组合，来获取或者确定出该待处理单元中子处理单元的运动信息。

可选地，处理设备可以根据至少一个第二偏移信息对应的已处理区域和同位子处理单元之间的位置关系，从至少一个第二偏移信息中选择至少一个第二偏移信息并将选择的第二偏移信息进行组合。

在本实施例中，处理设备利用最小匹配代价对应的运动偏移信息，来确定当前图像中待处理单元的运动偏移（或者运动候选偏移），从而，由此运动偏移得到该待处理单元的运动轨迹（由运动偏移得到的关于该待处理单元的时间运动矢量来表征），相较于该待处理单元实际的运动轨迹而言具有的误差较小。具体来说，从模板图像块的至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的相邻区域、相邻采样、邻近区域、邻近采样中选取一合适的区域/采样，使得该合适的区域/合适的采样对应的运动偏移信息作为待处理单元的运动偏移信息，并以该运动偏移信息来对该待处理单元中的子处理块进行预测处理，从而能够提高视频编码的预测准确度和/或效率。

第三实施例

在本实施例中，本申请提供的图像处理方法的执行主体仍可以是上述的处理设备。在本实施例中，上述根据子处理单元的同位子处理单元获取或确定运动信息的第二方式，可以包括：

根据子处理单元的位置信息和运动偏移信息确定同位子处理单元；

根据同位子处理单元的位置信息和/或者同位子处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

可选地，处理设备在基于上述同位子处理单元的运动信息确定子处理单元的运动信息时，可以先基于该子处理单元的位置信息和运动偏移信息确定该同位子处理单元；然后，确定该同位子处理单元的位置信息和/或者该同位子处理单元的中心采样的运动信息，从而基于该同位子处理单元的位置信息和/或者该同位子处理单元的中心采样的运动信息，来获取或确定该子处理单元的运动信息。

可选地，请参照图10，对于当前图像中子处理单元（图10所示的子CU）来说，若将上述邻近区域、相邻区域、邻近采样、相邻采样各自对应的运动矢量作为图10中的运动矢量MV1，则可以根据该运动矢量MV1和子CU的位置，在当前图像的同位图像中确定一同位子CU（同位子CU即为子处理单元的同位子处理单元）。

可选地，上述根据待处理单元的第一运动偏移信息获取或确定运动信息的第五方式，可以包括：

根据至少一邻近区域、至少一相邻区域、至少一邻近采样、至少一相邻采样中的至少一个对应的第一运动信息，获取或确定第一运动偏移信息；

根据第一运动偏移信息获取或确定子处理单元的运动信息。

可选地，处理设备在基于根据待处理单元的第一运动偏移信息确定子处理单元的运动信息时，可以先根据该待处理单元的至少一邻近区域、至少一相邻区域、至少一邻近采样、至少一相邻采样中的至少一个对应的第一运动信息，获取或确定出第一运动偏移信息；然后再根据该第一运动偏移信息确定同位子处理单元以获取或确定子处理单元的运动信息。

可选地，上述至少一邻近区域包括：待处理单元的左下邻近区域或者右上邻近区域中的至少一个。上述至少一邻近采样包括：待处理单元的左下邻近采样或者右上邻近采样中的至少一个。上述至少一相邻区域包括：待处理单元的左下相邻区域或者右上方相邻区域中的至少一个。上述至少一相邻采样包括：待处理单元的左下相邻采样或者右上相邻采样中的至少一个。

可选地，上述根据第一运动偏移信息获取或确定子处理单元的运动信息，可以包括：

根据子处理单元的位置信息和第一运动偏移信息确定同位子处理单元；

根据同位子处理单元的位置信息和/或者运动信息，获取或确定子处理单元的运动信息。

可选地，处理设备在根据第一运动偏移信息确定同位子处理单元以获取或确定子处理单元的运动信息时，首先根据该第一运动偏移信息和子处理单元的位置信息确定该子处理单元的同位子处理单元。然后，处理设备再根据该同位子处理单元的位置信息和/或运动信息，获取或确定出该子处理单元的运动信息。

可选地，上述的第一运动偏移信息可以是如图7a、图7b、图8和/或图9所示的邻近区域、相邻区域、邻近采样、相邻采样中的至少一个对应的运动矢量MVa，处理设备根据该运动矢量MVa和子处理单元的位置信息，即可确定出该子处理单元的同位子处理单元。

可选地，假定上述的运动矢量MVa为（xa，ya）并且当前图像中待处理单元的子处理单元的位置为（x0，y0），则处理设备即可基于该运动矢量MVa和该位置（x0，y0）确定出该子处理单元的同位子处理单元的位置为（x0+xa，y0+ya）。即，运动矢量MVa指示的是：在参考图像（当前图像的同位图像）中以位置（x0+xa，y0+ya）为基点，确定一区域作为同位子处理单元。可选地，同位子处理单元的尺寸以及长宽比和子处理单元的尺寸及长宽比相同。

可选地，子处理单元位置（x0，y0）为该子处理单元左上角的采样所在的位置。

可选地，处理设备在根据上述的第一运动偏移信息确定得到子处理单元的同位子处理单元之后，该处理设备即可再根据该同位子处理单元的位置信息和/或该同位子处理单元的运动矢量，来获取或确定出子处理单元的运动矢量。

可选地，处理设备在根据同位子处理单元的位置信息，确定当前图像中子处理单元的运动矢量时，处理设备首先在确定该同位子处理单元的中心采样。之后，若该中心采样采用的是帧间预测，则处理设备直接将该中心采样对应的运动矢量作为当前图像中待处理单元的子处理单元的运动矢量或运动矢量候选。

可选地，假定同位子处理单元的位置为（x0+xa，y0+ya）并且该同位子处理单元的尺寸为s1*s1，则处理设备即可确认该同位子处理单元的中心采样为（(x0+xa)+s1/2, (y0+ya)+s1/2）。

可选地，假定同位子处理单元的位置为（x0+xa，y0+ya）并且该同位子处理单元的尺寸为H1*W1，则处理设备即可确认该同位子处理单元的中心采样为（(x0+xa)+H1/2, (y0+ya)+W1/2）。

可选地，上述的第一运动偏移信息是如图7a、图7b、图8和/或图9所示的邻近区域、相邻区域、邻近采样、相邻采样中的至少一个对应的运动矢量MVa时，该运动矢量MVa具体可以为该邻近区域、相邻区域、邻近采样、相邻采样进行帧间预测时采用的运动矢量。

可选地，处理设备在基于上述的运动矢量MVa和子处理单元的位置，确定该子处理单元的同位子处理单元时，若当前图像中待处理单元的子处理单元的位置为（x'0，y'0）（该子处理单元的位置（x'0，y'0）为该子处理单元左上角的采样的位置），则处理设备可以根据该子处理单元的位置（x'0，y'0）确定该子处理单元的中心采样的位置。在此之后，处理设备即可根据该子处理单元的中心采样的位置和上述的运动矢量MVa，来确定得到该子处理单元的同位子单元的位置信息。

可选地，若该子处理单元的尺寸为s'1*s'1，则处理设备可确定该子处理单元的中心采样的位置为（x'0+s'1/2，y'0+s'1/2）。可选地，若该子处理单元的尺寸为H'1*W'1，则处理设备即可确定该子处理单元的中心采样的位置为（x'0+H'1/2，y'0+W'1/2）。可选地，H'1为子编码单元高度，W'1为子编码单元宽度。

可选地，若处理设备确定的子处理单元的中心采样位置为（x'0+s'1/2，y'0+s'1/2）并且运动矢量MVa为（x'a，y'a），则处理设备即可确定该子处理单元的同位子处理单元的中心采样的位置为（(x'0+x'a)+s'1/2, (y'0+y'a)+s'1/2）。

可选地，若处理设备确定的子处理单元的中心采样位置为（x'0+H'1/2，y'0+W'1/2）并且运动矢量MVa为（x'a，y'a），则处理设备即可确定该子处理单元的同位子处理单元的中心采样的位置为（(x'0+x'a)+H'1/2, (y'0+y'a)+W'1/2）。

可选地，处理设备在基于待处理单元的同位处理单元，获取或确定该待处理单元中子处理单元的运动信息时，首先根据该子处理单元的位置信息和如图7a、图7b、图8和/或者图9所示的邻近区域、相邻区域、邻近采样、相邻采样中的至少一个对应的运动矢量MVa，确定得到该待处理单元的同位处理单元。然后根据该同位处理单元的位置信息确定该同位处理单元的运动矢量，从而将该运动矢量直接作为当前图像中待处理单元的子处理单元的运动矢量或运动矢量候选。

可选地，处理设备在基于待处理单元中子处理单元的位置信息和运动矢量MVa（运动矢量MVa同样为上述邻近区域、相邻区域、邻近采样、相邻采样进行帧间预测时采用的运动矢量），确定该待处理单元的同位处理单元时，若该运动矢量MVa为（xa，ya）并且当前图像中待处理单元的子处理单元的位置为（x0，y0），则处理设备即可确定该子处理单元的同位子处理单元的位置为（x0+xa，y0+ya）。然后，处理设备即可根据待处理单元的同位处理单元的尺寸（与待处理单元的尺寸相同）和该同位子处理单元的位置，确定得到该同位处理单元的位置。

可选地，若当前图像中待处理单元的尺寸为16*16并且该待处理单元包括4个大小一致的子编码单元，则该每一个子编码单元的大小为8*8。如此，当处理设备在确定待处理单元中的子处理单元是位于第1行第2列的子编码单元时，则处理设备基于上述过程即可确定该待处理单元的同位处理单元的位置为（x0+xa-8，y0+ya）。

可选地，处理设备在确定待处理单元的同位处理单元的运动矢量时，同样的，可以将该同位处理单元的中心采样的运动矢量作为该同位处理单元的运动矢量。如此，处理设备在确定同位处理单元的中心采样时，若该同位处理单元的位置为（x0+xa-8，y0+ya）并且该同位处理单元的尺寸为s2*s2，则处理设备即可确定该同位处理单元的中心采样为（(x0+xa-8)+s2/2, (y0+ya)+s2/2）。之后，若该同位处理单元的中心采样采用的是帧间预测，则处理设备即可直接将该中心采样对应的运动矢量，作为同位处理单元的运动矢量，和/或同步将该中心采样对应的运动矢量，作为当前图像中待处理单元的子处理单元的运动矢量或运动矢量候选。

第四实施例

在本实施例中，本申请提供的图像处理方法的执行主体仍可以是上述的处理设备。在本实施例中，上述根据待处理图像的已处理区域中的第一图像单元或第一子图像单元的第二运动偏移信息获取或确定运动信息的第六方式，可以包括：

根据第二偏移信息确定第一运动偏移信息，并根据第一运动偏移信息获取或确定子处理单元的运动信息。

可选地，处理设备在基于上述第一图像单元或第一子图像单元的第二运动偏移信息，来获取或者确定出该待处理单元中子处理单元的运动信息时，处理设备可首先根据该第二偏移信息确定第一运动偏移信息，然后在根据该第一运动偏移信息，获取或确定出待处理单元中子处理单元的运动信息。

可选地，处理设备在确定上述第一图像单元的第二运动偏移信息时，可基于该第一图像单元中至少一个第一区域各自对应的匹配代价来确定该第二运动偏移信息，即，将至少一个第一区域各自对应的匹配代价中，最小匹配代价对应的第一区域的运动信息，确定作为该第一图像单元的第二运动偏移信息。

可选地，假定上述的第一图像单元为图像块A，该图像块A是当前图像中已经过编码或者解码处理之后的图像块，和/或该图像块A与当前需要进行编码或者解码的待处理单元的位置相邻或邻近。可选地，图像块A也称为模板图像块，

可选地，处理设备利用该图像块A来实验最合适的运动偏移信息（或者运行候选偏移），然后对待处理单元即采用该图像块A的候选偏移（即，第二运动偏移信息）相对应的候选偏移（即，第一运动偏移信息）。如此，处理设备通过从图像块A的至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的相邻区域、邻近区域中选取一合适的区域，使得该合适的区域对应的运动信息作为该待处理单元的运动偏移信息，来对该待处理单元块中的子处理单元进行预测处理，从而能够提高图像块预测准确度和/或提高视频编码的效率。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）是通过该图像块A的上方相邻区域r1的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与上方相邻区域r1位置对应的上方相邻区域r1’的运动矢量来确定。可选地，若上方相邻区域r1为图像块A的上方相邻且从左至右的第一个相邻区域，则与上方相邻区域r1位置对应的上方相邻区域r1’也为待处理单元的上方相邻的第一个相邻区域。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过该图像块A的左侧相邻区域r2的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过与左侧相邻区域r2位置对应的左侧相邻区域r2’的运动矢量确定得到。可选地，若左侧相邻区域r2为图像块A的左侧相邻且从上至下的第二个相邻区域，则与上方相邻区域r2位置对应的左侧相邻区域r2’为待处理单元的左侧相邻且从上至下的第二个相邻区域。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过该图像块A的上方邻近区域r3的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与上方邻近区域r1位置对应的上方邻近区域r3’的运动矢量确定。可选地，若上方邻近区域r3为图像块A的上方相邻且从左至右的第三个邻近区域，则与上方邻近区域r3位置对应的上方邻近区域r3’为待处理单元的上方相邻的第三个邻近区域。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过利用图像块A的左侧邻近区域r4的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与左侧邻近区域r4位置对应的左侧邻近区域r4’的运动矢量确定。可选地，若左侧邻近区域r4为图像块A的左侧相邻且从上至下的第四个邻近区域，则该上方邻近区域r4位置对应的左侧邻近区域r4’为待处理单元的左侧相邻且从上至下的第四个邻近区域。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过利用图像块A的上方相邻采样s1的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与上方相邻采样s1位置对应的上方相邻采样s1’的运动矢量确定。可选地，若图像块A的位置为（0,0）、上方相邻采样s1的位置为(x,-1)、待处理单元的位置为（a，b），则与上方相邻采样s1位置对应的上方相邻采样s1’的位置为(a+x,b-1)。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过利用图像块A的左侧相邻采样s2的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与左侧相邻采样s2位置对应的左侧相邻采样s2’的运动矢量确定。可选地，若图像块A的位置为（0,0）、上方相邻采样s2的位置为(-1,y)、待处理单元的位置为（a，b），则与上方相邻采样s2位置对应的上方相邻采样s2’的位置为(a-1,b+y)。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过利用图像块A的上方邻近采样s3的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与上方邻近采样s3位置对应的上方邻近采样s3’的运动矢量确定。可选地，若图像块A的位置为（0,0）、上方邻近采样s3的位置为(x,-2)、待处理单元的位置为（a，b），则与上方邻近采样s3位置对应的上方邻近采样s3’的位置为(a+x,b-2)。

可选地，若图像块A的候选偏移（即，第二运动偏移信息）通过利用图像块A的左侧邻近采样s4的运动矢量确定得到，则待处理单元的候选偏移（即，第一运动偏移信息）可通过利用与左侧邻近采样s4位置对应的左侧邻近采样s4’的运动矢量确定。可选地，若图像块A的位置为（0,0）、上方邻近采样s4的位置为(-2,y)、待处理单元的位置为（a，b），则与上方邻近采样s4位置对应的上方邻近采样s4’的位置为(a-2,b+y)。

可选地，处理设备还可以从至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的至少一个运动偏移信息中，选择和上述合适的运动偏移信息同类型的运动偏移信息。

可选地，假定图像块A包括运动偏移信息X、运动偏移信息Y和运动偏移信息Z，运动偏移信息X对应于第一区域X中心采样的运动矢量，运动偏移信息Y对应于第一区域Y中心采样的运动矢量，而运动偏移信息Z则对应于第一区域Z中心采样的运动矢量。如此，若从图像块A的这三个运动偏移信息中确定出运动偏移信息X为推导的匹配代价最小的运动偏移信息，则处理设备在对待处理单元进行预测处理时，即可将待处理单元的第一区域X对应的运动偏移信息X，作为选择的运动偏移信息。

可选地，处理设备在基于上述过程对待处理单元进行预测处理的过程中，首先，将与当前图像之间图像顺序距离最小的参考图像，设置为当前图像的同位图像。然后，处理设备在当前图像中确定用于推导运动偏移信息的图像块A。该图像块A位于当前图像的已编码区域中且非位于当前编码单元中，和/或该图像块A的大小和待处理单元的大小相同。再然后，处理设备在该图像块A的周围设置至少一个第一区域。可选地，至少一个第一区域为相邻区域或邻近区域。之后，处理设备即基于该至少一个第一区域确定至少一个运动候选偏移。可选地，处理设备通过确定至少一个第一区域的中心采样，并确定这些中心采样采用的运动矢量，从而在这些运动矢量指向同位图像的情况下，则将这些运动矢量均作为至少一个运动候选偏移。

处理设备在确定了至少一个运动候选偏移之后，即针对该至少一个运动候选偏移中的每一个，根据图像块A/子图像块a的位置，在同位图像中确定图像块A的至少一个同位图像块A'，或者确定该至少一个同位图像A'的同位子图像块a'。可选地，子图像块a为图像块A的子图像块，即，图像块A包含子图像块a。可选地，子图像块a为子CU，和/或，该子图像块a也位于当前图像的已编码区域中且非位于当前编码单元中。

处理设备在同位图像中确定图像块A的至少一个同位图像块A'，或者在确定该至少一个同位图像A'的同位子图像块a'之后，通过至少一个同位子图像块a'的至少一个运动矢量colsbmv中的每一个，确定图像块A中的至少一个子图像块a的至少一个运动矢量mva。和/或，还利用该至少一个运动矢量mva对图像块A中的至少一个子图像块a进行帧间预测，得到对应的预测结果。最后，处理设备通过比较至少一个运动候选偏移中的每一个各自对应的关于子图像块的预测结果的组合（子图像块a的预测结果的组合可以作为图像块A的预测结果）与图像块A之间的差异（如表示匹配代价的SAD，SATD值）和/或代价（如率失真代价）；或者，处理设备比较该至少一个运动候选偏移中的每一个各自对应的关于子图像块a的预测结果与子图像块a之间的差异和/或代价。可选地，处理设备即可根据差异和/或代价最小的运动矢量colsbmv对应的那一个运动候选偏移（即，第二运动偏移信息）选择用于对待处理单元进行预测处理的候选偏移（即，第一运动偏移信息）。例如，若第二运动偏移信息为图像块A的左侧相邻区域的运动矢量，则第一运动偏移信息为待处理单元的左侧相邻区域的运动矢量。若第二运动偏移信息为图像块A的上方相邻区域的运动矢量，则第一运动偏移信息为待处理单元的上方相邻区域的运动矢量。

可选地，处理设备在后续对待处理单元进行预测处理的过程中，在为了确定该待处理单元的第一运动偏移信息时，即可在该待处理单元的至少一个第一区域中，将与上述选择的候选偏移相对应的第一区域中心采样的运动矢量，直接作为该待处理单元的第一运动偏移信息。进而在确定该第一运动偏移信息之后再对该待处理单元进行预测处理。

可选地，请参照图11，假定图像块A包括4个子图像块，即，子图像块sbCU0、子图像块sbCU1、子图像块sbCU2和子图像块sbCU3。此时，处理设备在该图像块A的周围选取4个相邻区域（相邻区域R1、相邻区域R2、相邻区域R3、以及相邻区域R4）作为第一区域。可选地，图像块A的周围选取的4个相邻区域也可以视作子图像块a的邻近区域。可选地，处理设备也可以选取不相邻但邻近的区域作为第一区域。然后，若4个相邻区域的中心采样对应的运动矢量均存在且指向同位图像1或同位图像2而没有指向其他参考图像，则处理设备即可确认这4个相邻区域均可用。如此，处理设备即可将这4个相邻区域对应的4个运动矢量作为候选偏移1、候选偏移2、候选偏移3和候选偏移4。之后，处理设备针对这4个候选偏移，在同位图像1或同位图像2中确定关于图像块A的同位图像块A1'~A4'。

可选地，如图12a所示，处理设备在确定出关于图像块A的同位图像块A1'~A4'之后，若通过候选偏移1确定的图像块A1'中，子块对应的运动矢量均为单向预测，和/或每个运动矢量的预测方向均向左，则处理设备即可通过图像块A1'中的每个子块对应的运动矢量，确定图像块A中具有相同位置的子图像块的运动矢量。

可选地，如图12a所示，处理设备可以利于同位图像中的图像块A1左上角的子图像块a的运动矢量，来确定当前图像中的图像块A左上角的子图像块的运动矢量；而利于同位图像中的图像块A1右上角的子图像块a的运动矢量，来确定当前图像中的图像块A右上角的子图像块的运动矢量；利于同位图像中的图像块A1左下角的子图像块a的运动矢量，来确定当前图像中的图像块A左下角的子图像块的运动矢量；和/或，利于同位图像中的图像块A1右下角的子图像块a的运动矢量，来确定当前图像中的图像块A右下角的子图像块的运动矢量。

可选地，如图12b所示，若通过候选偏移2确定的图像块A2'中，子块对应的运动矢量存在3个单向预测的运动矢量和一个双向预测的运动矢量，则处理即可通过图像块A2'中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，如图12c所示，若通过候选偏移3确定的图像块A3'中，子块对应的运动矢量存在4个单向预测的运动矢量，且其中两个运动矢量的方向相同，则处理设备接口通过图像块A3'中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，如图12d所示，若通过候选偏移4确定的图像块A4'中，子块对应的运动矢量存在4个单向预测的运动矢量，和/或这4个运动矢量的方向相同，则处理设备即可通过图像块A4'中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，处理设备利用图12a~图12d所示的图像块A的每个子块运动矢量，对图像块A进行帧间预测以得到图像块A对应的预测结果，并根据该预测结果和图像块A进行比较的比较结果，来确定候选偏移1~候选偏移4中最优的候选偏移，从而将该最优的候选偏移作为选择用于对当前待处理单元进行预测处理的候选偏移。

可选地，处理设备针对上述至少一个候选偏移确定至少一个同位子图像块时，不需要确定同位图像块的位置。

可选地，请参照图13，一个候选偏移MV11为（xmv，ymv），和/或当前图像中的待处理单元的子处理单元的位置为（x0，y0），则处理设备可直接确定该子处理单元的同位子处理单元的位置为（x0+xmv，y0+ymv）。

在本实施例中，由于处理设备不需要确定同位图像块的位置即可直接确定待处理单元中同位子处理单元的位置，则处理设备可以有效地节约自身算力，进而在整个图像编解码过程中提高计算效率。

可选地，如图13所示，处理设备可以利用图像块A上方第一区域，确定位于该上方第一区域垂直方向上的子图像块的同位子图像块；或者，处理设备还可以利用该图像块A左侧第一区域，确定位于该左侧第一区域水平方向上的子图像块的同位子图像块。

在本实施例中，处理设备通过上述确定子图像块同位子图像块的方式，来确定待处理单元中子处理单元的同位子处理单元，可以有效地提高确定子处理单元的运动矢量或运动矢量候选的准确度。

可选地，如图13所示，由于图像块A的子图像块1和子图像块3位于第一区域R1的下方，因此，根据第一区域R1确定的候选偏移1来确定同位子图像块1'和同位子图像块3'。而由于图像块A的子图像块2和子图像块4位于第一区域R2的下方，因此，根据第一区域R2确定的候选偏移2来确定同位子图像块2'和同位子图像块4'。而由于图像块A的子图像块1和子图像块2位于第一区域R3的右侧，因此，根据第一区域R3确定的候选偏移3来确定同位子图像块1和同位子图像块2。可选地，由于图像块A的子图像块3和子图像块3位于第一区域R4的右侧，因此，根据第一区域R4确定的候选偏移4来确定同位子图像块3和同位子图像块4。

可选地，处理设备可以根据上述的至少一个候选偏移的组合，得到待处理单元中子处理单元的运动信息，并依据该运动信息确定该待处理单元的预测结果。

可选地，处理设备可以根据至少一个候选偏移对应的第一区域和各个子图像块之间的位置关系，从至少一个候选偏移中为各个子图像块选择对应的候选偏移，并将对应的候选偏移进行组合，得到至少一个候选偏移的组合。

可选地，如图14a所示，处理设备可以将候选偏移3和候选偏移4进行组合，并将候选偏移3和候选偏移4对应的同位子图像块1~4的运动矢量，作为图像块A中的子图像块1~4的运动矢量。

可选地，候选偏移3和候选偏移4均为图像块A左侧的第一区域得到的候选偏移。

可选地，如图14a所示，处理设备还可以将候选偏移1和候选偏移2进行组合，并将候选偏移1和候选偏移2对应的同位子图像块1'~4'的运动矢量，作为图像块A中的子图像块1~4的运动矢量。

可选地，候选偏移1和候选偏移2均为图像块上方的第一区域得到的候选偏移。

可选地，处理设备在确定图像块A中子图像块1~4的运动矢量之后，即可利用图14a所示的图像块A的每个子块运动矢量，对图像块A中的子图像块进行帧间预测，以得到子图像块1~4对应的预测结果1~4。和/或，通过将预测结果1~4进行组合和图像块A进行比较，以得到比较结果1。

可选地，处理设备也可以利用图14b所示的图像块A的每个子块运动矢量，对图像块A中的子图像块进行帧间预测以得到子图像块1~4对应的预测结果1'~4'，然后将预测结果1'~4'进行组合得到合成的预测结果，并将合成的预测结果和图像块A进行比较来得到比较结果2。

可选地，处理设备在得到上述的比较结果1和比较结果2之后，即可根据该比较结果1和比较结果2，来确定是选择候选偏移3和候选偏移4，还是选择候选偏移1和候选偏移2作为最优的候选偏移。

可选地，处理设备进行上述比较的过程可以为：计算合成的预测结果和图像块A之间的绝对误差和SAD或者SATD。

可选地，处理设备还可以通过从至少一个候选偏移中选择至少一个候选偏移，并根据选择的至少一个候选偏移的组合，共同确定一个图像块中的所有子图像块的候选偏移。

可选地，处理设备选择出的候选偏移用于确定图像块中的预设位置、预设方向（如水平方向或垂直方向），预设范围区域、预设数量的子图像块的候选偏移。

可选地，处理设备选择至少一个候选偏移的过程包括：

根据至少一个候选偏移对应的同位子图像块组成至少一个合成图像块（如图14a中的图像块A1'和图14b中的图像块A2'），并根据至少一个合成图像块各自对应的预测结果的比较结果，确定选择的至少一个候选偏移及其组合。

可选地，上述组合选择的至少一个候选偏移对应的图像块，是位于一预设范围的图像块。可选地，当图像块的尺寸大于一阈值时，利用上述组合选择的至少一个候选偏移，来确定待处理单元的子处理单元的运动矢量，而当图像块的尺寸小于一阈值时，仅利用从至少一个候选偏移中选择一个候选偏移，来确定该待处理单元的子处理单元的运动矢量。

可选地，当图像块的尺寸小于一阈值时，还可以仅利用采用预设候选偏移来确定待处理单元中子处理单元的运动矢量。

在本实施例中，通过根据图像块的尺寸的大小来确定选择候选偏移以确定子处理单元运动矢量的方式，能够做到算力和性能良好的平衡。

可选地，处理设备在确定上述第一图像单元的第二运动偏移信息时，可基于该第一图像单元中至少一个第一采样各自对应的匹配代价来确定该第二运动偏移信息，即，将至少一个第一采样各自对应的匹配代价中，最小匹配代价对应的第一采样的运动信息，确定作为该第一图像单元的第二运动偏移信息。

可选地，假定上述的第一图像单元为图像块A，同样的，该图像块A是当前图像中已经过编码或者解码处理之后的图像块，和/或该图像块A与当前需要进行编码或者解码的待处理单元的位置相邻或邻近。可选地，图像块A也称为模板图像块。

可选地，处理设备利用该图像块A来实验最合适的运动偏移信息（或者运动候选偏移），然后对待处理单元即采用该图像块A相对应的候选偏移。如此，处理设备通过从图像块A的至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的相邻采样、邻近采样中选取一合适的采样，使得该合适的采样对应的运动信息作为该待处理单元的运动偏移信息，来对该待处理单元块中的子处理单元进行预测处理，从而能够提高图像块预测准确度和/或提高视频编码的效率。

可选地，处理设备还可以从至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的至少一个运动偏移信息中，选择和上述合适的运动偏移信息同类型的运动偏移信息。

可选地，假定图像块A包括运动偏移信息X、运动偏移信息Y和运动偏移信息Z，运动偏移信息X对应于第一采样X中心采样的运动矢量，运动偏移信息Y对应于第一采样Y中心采样的运动矢量，而运动偏移信息Z则对应于第一采样Z中心采样的运动矢量。如此，若从图像块A的这三个运动偏移信息中确定出运动偏移信息X为推导的匹配代价最小的运动偏移信息，则处理设备在对待处理单元进行预测处理时，即可将待处理单元的第一采样X’对应的运动偏移信息X’，作为选择的运动偏移信息。可选地，第一采样X与图像块A的之间位置关系和第一采样X’与待处理单元的之间位置关系相同或相似。

可选地，若第一采样X位于图像块A的上方，则第一采样X’位于待处理单元的上方。

可选地，若第一采样X位于图像块A的左上方，则第一采样X’位于待处理单元的左上方。

可选地，若第一采样X位于图像块A的上方，则第一采样X’位于待处理单元的上方。

可选地，若第一采样X与图像块A不相邻，则第一采样X’与待处理单元的不相邻。

可选地，处理设备在基于上述过程对待处理单元进行预测处理的过程中，首先，将与当前图像之间图像顺序距离最小的参考图像，设置为当前图像的同位图像。然后，处理设备在当前图像中确定用于推导运动偏移信息的图像块A。该图像块A位于当前图像的已编码区域中且非位于当前编码单元中，和/或该图像块A的大小和待处理单元的大小相同。然后，处理设备在该图像块A的周围设置至少一个第一采样。可选地，至少一个第一采样为相邻采样或邻近采样。之后，处理设备即基于该至少一个第一采样确定至少一个运动候选偏移。可选地，处理设备通过确定至少一个第一采样，并确定至少一个第一采样采用的运动矢量，从而在这些运动矢量指向同位图像的情况下，则将这些运动矢量均作为至少一个运动候选偏移。

处理设备在确定了至少一个运动候选偏移之后，即针对该至少一个运动候选偏移中的每一个，根据图像块A/子图像块a的位置，在同位图像中确定图像块A的至少一个同位图像块A'，或者确定该至少一个同位图像A'的同位子图像块a'。可选地，子图像块a为图像块A的子图像块，即，图像块A包含子图像块a。可选地，子图像块a为子CU，和/或，该子图像块a也位于当前图像的已编码区域中且非位于当前编码单元中。

处理设备在同位图像中确定图像块A的至少一个同位图像块A'，或者在确定该至少一个同位图像A'的同位子图像块a'之后，通过至少一个同位子图像块a'的至少一个运动矢量colsbmv中的每一个，确定图像块A中的至少一个子图像块a的至少一个运动矢量mva。和/或，还利用该至少一个运动矢量mva对图像块A中的至少一个子图像块a进行帧间预测，得到对应的预测结果。最后，处理设备通过比较至少一个运动候选偏移中的每一个，各自对应的关于子图像块的预测结果的组合（子图像块a的预测结果的组合可以作为图像块A的预测结果）与图像块A之间的差异（如表示匹配代价的SAD，SATD值）和/或代价（如率失真代价），或者，比较该至少一个运动候选偏移中的每一个，各自对应的关于子图像块a的预测结果与子图像块a之间的差异和/或代价。可选地，处理设备即可将差异和/或代价最小的运动矢量colsbmv对应的那一个运动候选偏移作为选择用于对待处理单元进行预测处理的候选偏移。

可选地，处理设备在后续对待处理单元进行预测处理的过程中，为了确定该待处理单元的第一运动偏移信息，可在该待处理单元的至少一个第一区域中，将与上述选择的候选偏移相对应的第一采样的运动矢量，直接作为该待处理单元的第一运动偏移信息，在确定该第一运动偏移信息之后再对该待处理单元进行预测处理。

可选地，请参见图15，假定图像块A包括4个子图像块，即，子图像块sbCU0、子图像块sbCU1、子图像块sbCU2和子图像块sbCU3。此时，处理设备在图像块A的周围选取4个相邻采样（相邻采样B0、相邻采样B1、相邻采样A0、以及相邻采样A1）作为第一采样。可选地，图像块A的周围选取的4个相邻采样也可以视作子图像块a的邻近采样。可选地，处理设备也可以选取不相邻但邻近的采样作为第一采样。

可选地，若4个相邻采样对应的运动矢量均存在且指向同位图像1或同位图像2而没有指向其他参考图像，则这4个相邻采样均可用。若这4个相邻采样中的1个相邻采样或多个相邻采样对应的运动矢量不存在，或者这4个相邻采样中的1个相邻采样或多个相邻采样对应的运动矢量不指向同位图像1或同位图像2而指向其他参考图像，则这些相邻采样不可用。

可选地，处理设备在上述4个相邻采样均可用的情况下，将这4个相邻采样对应的4个运动矢量作为候选偏移1、候选偏移2、候选偏移3和候选偏移4。然后，处理设备即针对这4个候选偏移，在同位图像1或同位图像2中确定关于图像块A的同位图像块——图像块A0，图像块A1，图像块B0，图像块B1。

可选地，如图16a所示，若通过候选偏移A0确定的图像块A0中每个子块对应的运动矢量均为单向预测，则处理设备通过图像块A0中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，如图16b所示，若通过候选偏移A1确定的图像块A1中子块对应的运动矢量存在3个单向预测的运动矢量和一个双向预测的运动矢量，则处理设备通过图像块A1中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，如图16c所示，若通过候选偏移B0确定的图像块B0中子块对应的运动矢量存在4个单向预测的运动矢量，则处理设备通过图像块B0中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，如图16d所示，若通过候选偏移B1确定的图像块B1中子块对应的运动矢量存在4个单向预测的运动矢量，则处理设备通过图像块B1中的每个子块对应的运动矢量，确定图像块A中的位置相同的子图像块的运动矢量。

可选地，处理设备在确定处理子图像块的运动矢量之后，同样的利用图12a~图12d所示的图像块A的每个子块运动矢量，来对图像块A进行帧间预测得到图像块A对应的预测结果。然后，处理设备根据得到的预测结果和图像块A进行比较得到比较结果，从而基于该比较结果确定候选偏移A0~A1、候选偏移B0~B1中最优的候选偏移，将该最优的候选偏移作为选择的候选偏移。

可选地，如图17所示，处理设备可以利用图像块A上方第一采样，确定位于该上方第一采样垂直方向上的同位子图像块；也可以利用该图像块A左侧第一采样，确定位于该第一采样水平方向上的同位子图像块。

在本实施例中，处理设备通过上述确定子图像块同位子图像块的方式，来确定待处理单元中子处理单元的同位子处理单元，可以有效地提高确定子处理单元的运动矢量或运动矢量候选的准确度。

可选地，如图17所示，由于图像块A的子图像块1和子图像块3位于第一采样B1的下方，因此，处理设备可以根据第一采样B1确定的候选偏移B1，来确定同位子图像块1和同位子图像块3。而由于图像块A的子图像块2和子图像块4位于第一采样B2的下方，因此，处理设备则可以根据第一采样B2确定的候选偏移B2来确定同位子图像块2和同位子图像块4。而由于图像块A的子图像块1和子图像块2位于第一采样A1的右侧，因此，处理设备即可根据第一采样A1确定的候选偏移A1来确定同位子图像块1'和同位子图像块2'。可选地，由于图像块A的子图像块3和子图像块3位于第一采样A2的右侧，因此，处理设备可以根据第一采样A2确定的候选偏移A2来确定同位子图像块3'和同位子图像块4'。

可选地，处理设备还可以将上述的至少一个候选偏移各自对应的同位子处理单元的运动矢量，作为待处理单元中至少一个待处理单元的运动信息，并依据该运动信息确定该待处理单元的预测结果。

可选地，如图18a所示，处理设备可以将候选偏移A0和候选偏移A1对应的同位子图像块1'~4'的运动矢量，作为图像块A中的子图像块1~4的运动矢量。可选地，处理设备还可以将候选偏移B0和候选偏移B1对应的同位子图像块1~4的运动矢量，作为图像块A中的子图像块1~4的运动矢量。

可选地，处理设备在确定出图像块A中的子图像块1~4的运动矢量之后，即可利用图18a所示的图像块A每个子块运动矢量，对图像块A中的子图像块进行帧间预测，得到子图像块1~4对应的预测结果1'~4'。然后，处理设备将预测结果1'~4'进行组合和图像块A进行比较得到比较结果11。

可选地，处理设备利用图18b所示的图像块A的每个子块运动矢量，对图像块A中的子图像块进行帧间预测，得到子图像块1~4对应的预测结果1~4。和/或，将预测结果1~4进行组合得到合成的预测结果，将合成的预测结果和图像块A进行比较得到比较结果12。

可选地，处理设备在得到上述的比较结果11和比较结果12之后，即可根据该比较结果11和比较结果13，来确定是选择候选偏移A0和候选偏移A1，还是选择候选偏移B0和候选偏移B1作为最优的候选偏移。

可选地，处理设备进行上述比较的过程可以为：计算合成的预测结果和图像块A之间的绝对误差和SAD或者SATD。

可选地，处理设备在确定上述第一图像单元的第二运动偏移信息时，还可基于该第一图像单元中子图像单元的至少一个第二区域各自对应的匹配代价，来确定该第二运动偏移信息，即，将至少一个第二区域各自对应的匹配代价中，最小匹配代价对应的第二区域的运动信息，确定作为该第一图像单元的第二运动偏移信息。

可选地，假定上述的第一图像单元中的子图像单元为子图像块a，处理设备从子图像块a的至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元中的子处理单元对应的相邻区域、邻近区域中，选取一合适的区域使得该合适的区域的采样对应的运动信息，作为待处理单元的第二运动偏移信息来对待处理单元中的子处理单元进行预测处理，从而能够提高视频编码的预测准确度和/或效率。

可选地，处理设备从至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元的子处理单元对应的至少一个运动偏移信息中，选择和上述合适的运动偏移信息同类型的运动偏移信息，从而能够提高视频编码的预测准确度和/或效率。

可选地，假定子图像块a包括运动偏移信息X、运动偏移信息Y和运动偏移信息Z，运动偏移信息X对应于第二区域X中心采样的运动矢量，运动偏移信息Y对应于第二区域Y中心采样的运动矢量，运动偏移信息Z对应于第二区域Z中心采样的运动矢量。如此，若处理设备从子图像块a的这几个运动偏移信息中确定出运动偏移信息X为推导的匹配代价最小的运动偏移信息，则处理设备在对待处理单元进行预测处理时，即可将待处理单元的对应的第二区域X'中心采样对应的运动偏移信息X'，作为选择用于对该待处理单元进行预测处理的运动偏移信息。例如，若从子图像块a的至少一个运动偏移信息中确定出的运动偏移信息X为子图像块a的左侧相邻区域的运动矢量，则待处理单元的对应的第二区域X'中心采样对应的运动偏移信息X'为待处理单元的左侧相邻区域中心采样对应的运动矢量。若从子图像块a的至少一个运动偏移信息中确定出的运动偏移信息X为子图像块a的上方相邻区域的运动矢量，则待处理单元的对应的第二区域X'中心采样对应的运动偏移信息X'为待处理单元的上方相邻区域的运动矢量。

可选地，上述的子图像块a是当前图像中已处理的子图像块，和/或该子图像块与待处理单元的位置相邻或邻近。

可选地，处理设备在基于上述过程对待处理单元进行预测处理的过程中，首先，将与当前图像之间图像顺序距离最小的参考图像，设置为当前图像的同位图像。然后，处理设备在当前图像中确定用于推导运动偏移信息的子图像块a。

可选地，子图像块a位于当前图像的已处理区域中且非位于待处理单元中，和/或子图像块a的大小和待处理单元中子处理单元的大小相同。

可选地，处理设备可以在当前图像中确定用于推导运动偏移信息的一个子图像块a。可选地，处理设备还可以在当前图像中确定用于推导运动偏移信息的至少一个子图像块a。

可选地，处理设备作为编码端设备时，上述的已处理区域为已编码区域，而处理设备作为解码端时，上述的已处理区域则为已解码区域。

可选地，处理设备在当前图像中确定子图像块a之后，即可在该一个或多个子图像块a的周围设置至少一个第二区域。可选地，至少一个第二区域为子图像块a的相邻或邻近区域。然后，处理设备自至少一个第二区域确定至少一个第一候选偏移。

可选地，处理设备可通过确定至少一个第二区域的中心采样，并确定这些中心采样采用的运动矢量，并在这些运动矢量指向同位图像，则将这些运动矢量作为至少一个候选偏移。

可选地，处理设备在确定至少一个候选偏移之后，针对至少一个候选偏移中的每一个，根据子图像块a的位置，在同位图像中确定至少一个同位子图像块a'。然后通过至少一个同位子图像块a'的至少一个运动矢量colsbmv'中的每一个，确定子图像块a的至少一个运动矢量mva'。和/或，利用该至少一个运动矢量mva'对子图像块a进行帧间预测，得到预测结果。之后，处理设备再比较至少一个候选偏移中的每一个对应的关于子图像块a的预测结果与子图像块a之间的差异（如表示匹配代价的SAD或者SATD值）和/或代价（如率失真代价）。从而将差异和/或代价最小的运动矢量colsbmv'对应的候选偏移类型，作为选择的候选偏移类型。

可选地，处理设备在从至少一个候选偏移中选择出匹配代价最小的候选偏移类型之后，即可根据选择的候选偏移类型，确定后续待处理单元的候选偏移，以用于对该待处理单元的预测处理。

可选地，处理设备选择的候选偏移可以用于待处理单元中每个子处理单元的预测处理。

可选地，若处理设备选择的候选偏移为第二区域x对应的运动偏移信息x，则待处理单元的候选偏移，可以选为该待处理单元与该第二区域x对应的第二区域x'的运动信息。

可选地，若第二区域x为子图像块a的上方区域，则与第二区域x对应的第二区域x'为待处理单元的上方区域。

可选地，若第二区域x为子图像块a的左侧区域，则与第二区域x对应的第二区域x'为待处理单元的左侧区域。

可选地，第二区域x'与第二区域x的位置对应。

可选地，在上述过程得到的预测结果和其他预测方式得到的预测结果相比是最佳结果，作为编码端的处理设备则发送至少一标志于比特流中，以指示解码端的处理设备同样采用上述过程来做预测处理。

可选地，如图19所示，处理设备在当前图像的已处理区域中，选择一大小和待处理单元中子处理单元大小相同的一相邻/邻近区域作为子图像块a。

可选地，如图20所示，处理设备还可以在当前图像的已处理区域中，选择大小和待处理单元中的子处理单元大小相同的至少一个相邻/邻近区域，作为至少一个子图像块a。

可选地，至少一个子图像块a包括：与待处理单元相邻的子图像块以及不与该待处理单元相邻的子图像块。

可选地，与待处理单元不相邻的子图像块a为不与该待处理单元相邻但与其邻近的图像块。

在本实施例中，当与待处理单元相邻的子图像块不可用时，处理设备即可可以选择与该待处理单元邻近但不相邻的块。

可选地，子图像块a为：不与待处理单元相邻但图像内容与该待处理单元中子处理单元的图像内容相似的子图像块。

可选地，子图像块a为：对待处理单元利用帧内块复制得到的子图像块a。即，在本实施例中，处理设备可以根据帧内块复制得到的子图像块a来确定当前编码单元的候选偏移。

可选地，如图21所示，处理设备还可以在子图像块a的周围选取2个相邻区域（相邻区域R1'、相邻区域R2'）作为第二区域。若2个相邻区域的中心采样对应的运动矢量均存在，且指向同位图像1或同位图像2而没有指向其他参考图像，则处理设备即可确定这2个相邻区域均可用。如此，处理设备将这2个相邻区域对应的2个运动矢量作为候选偏移1和候选偏移2。然后，处理设备针对这2个候选偏移，在同位图像1或同位图像2中确定关于子图像块a的同位子图像块a1'~a2'。

可选地，处理设备也可以选取不相邻但邻近的区域作为第二区域。

可选地，如图22a所示，处理设备将候选偏移1对应的同位子图像块a1'的运动矢量，作为子图像块a的运动矢量。如图22b所示，处理设备将候选偏移2对应的同位子图像块a2'的运动矢量，作为子图像块a的运动矢量。之后，处理设备即利用图22a所示的子图像块a的子块运动矢量，对该子图像块a进行帧间预测得到子图像块a对应的预测结果a1，并将预测结果a1和子图像块a进行比较得到比较结果a1。同样地，利用图22b所示的子图像块a的子块运动矢量，对子图像块a进行帧间预测得到子图像块a对应的预测结果a2，并将预测结果a2和子图像块a进行比较得到比较结果a2。最后，处理设备根据比较结果a1和比较结果a2，来确定是选择候选偏移1还是选择候选偏移2作为最优的候选偏移。

可选地，处理设备进行上述比较的过程可以为计算合成的预测结果和图像块A之间的绝对误差和SAD或者SATD。

可选地，处理设备在确定上述第一图像单元的第二运动偏移信息时，还可以根据子图像块的至少一个第二采样推导的匹配代价来确定该第二运动偏移信息，即，将至少一个第一采样各自对应的匹配代价中，最小匹配代价对应的第一采样的运动信息，确定作为该第一图像单元的第二运动偏移信息。

可选地，处理设备从图像块A的至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元的子处理单元对应的相邻采样、邻近采样中选取一合适的采样，使得该合适的采样对应的运动偏移信息，作为该待处理单元的运动偏移信息来对该待处理单元中的子处理单元进行预测处理，从而能够提高视频编码的预测准确度和/或效率。

可选地，处理设备从至少一个运动偏移信息中确定出合适的运动偏移信息，然后在待处理单元对应的至少一个运动偏移信息中选择和上述合适的运动偏移信息同类型的运动偏移信息，从而能够提高视频编码的预测准确度和/或效率。

可选地，假定图像块A包括运动偏移信息X、运动偏移信息Y和运动偏移信息Z，运动偏移信息X对应于第二采样X的运动矢量，运动偏移信息Y对应于第二采样Y的运动矢量，运动偏移信息Z对应于第二采样Z的运动矢量。若处理设备从图像块A的这几个运动偏移信息中确定出运动偏移信息X为推导的匹配代价最小的运动偏移信息，则在对待处理单元进行预测处理时，处理设备即可将待处理单元的第二采样X对应的运动偏移信息X，作为选择的运动偏移信息。

可选地，上述图像块A是当前图像中已处理的图像块，和/或该图像块A与当前待处理单元的位置相邻或邻近。

可选地，处理设备在基于上述过程对待处理单元进行预测处理的过程中，首先，将与当前图像之间图像顺序距离最小的参考图像，设置为当前图像的同位图像。然后，处理设备在当前图像中确定用于推导运动偏移信息的子图像块a，并在一个或多个子图像块a的周围设置至少一个第二采样（至少一个第二采样为相邻或邻近采样），从而自至少一个第二采样确定至少一个第一候选偏移。

可选地，处理设备通过确定至少一个第二采样，并确定这些采样采用的运动矢量。从而在若这些运动矢量指向同位图像的情况下，将这些运动矢量作为至少一个第一候选偏移。

可选地，处理设备在确定至少一个候选偏移之后，针对至少一个候选偏移中的每一个，根据子图像块a的位置，在同位图像中确定至少一个同位子图像块a'。然后通过至少一个同位子图像块a'的至少一个运动矢量colsbmv'中的每一个，确定子图像块a的至少一个运动矢量mva'。和/或，利用该至少一个运动矢量mva'对子图像块a进行帧间预测，得到预测结果。之后，处理设备再比较至少一个候选偏移中的每一个对应的关于子图像块a的预测结果与子图像块a之间的差异（如表示匹配代价的SAD或者SATD值）和/或代价（如率失真代价）。从而将差异和/或代价最小的运动矢量colsbmv'对应的候选偏移类型，作为选择的候选偏移类型。

可选地，处理设备在从至少一个候选偏移中选择出匹配代价最小的候选偏移类型之后，即可根据选择的候选偏移类型，确定后续待处理单元的候选偏移，以用于对该待处理单元的预测处理。

可选地，处理设备选择的候选偏移可以用于待处理单元中每个子处理单元的预测处理。

可选地，若处理设备选择的候选偏移为第二区域x对应的运动偏移信息x，则待处理单元的偏移候，可以选为该待处理单元与该第二区域x对应的第二区域x'的运动信息。

可选地，若第二区域x为子图像块a的上方区域，则与第二区域x对应的第二区域x'为待处理单元的上方区域。

可选地，若第二区域x为子图像块a的左侧区域，则与第二区域x对应的第二区域x'为待处理单元的左侧区域。

可选地，第二区域x‘与第二区域x的位置对应。

第五实施例

在本实施例中，本申请提供的图像处理方法的执行主体仍可以是上述的处理设备。

在本实施例中，可选地，上述的第一图像单元为与待处理单元大小相同的图像单元；第一子图像单元为与子处理单元大小相同的子图像单元。可选地，第二运动偏移信息包括：第一图像单元或第一子图像单元的至少一第一区域和/或至少一第一采样的运动信息。可选地，预设标志包括第一值和/或第二值。

可选地，上述处理设备通过同位子处理单元的运动矢量，确定待处理单元中子处理单元的运动信息时，假设该同位子处理单元为子图像块a，该子图像块a对应的运动矢量为colsbmv1，则处理设备即可根据如下公式（1）来计算确定出当前图像中待处理单元的子处理单元的运动矢量mv2:

mv2=t2*colsbmv1/t1公式（1）

可选地，t1为同位图像与参考图像的POC的差，t2为当前图像与参考图像的POC的差，当前图像通过参考图像中的信息进行帧间预测。

可选地，上述处理设备可以不采用单向预测/双向预测的策略。

可选地，处理设备仅根据候选偏移确定待处理单元中子处理单元的同位子处理单元，再将该同位子处理单元的运动矢量作为该子处理单元的运动矢量。

可选地，若同位子处理单元块采用单向预测，则处理设备仅将一个运动矢量作为当前图像中的子处理单元的运动矢量；和/或，若是该同位子处理单元采用双向预测，则处理设备即将两个运动矢量均作为当前图像中子处理单元的运动矢量。

可选地，处理设备在采用单向预测/双向预测的选择策略的情况下，可以根据一策略信息确定采用单向预测还是采用双向预测。

可选地，若处理设备选择采用单向预测，则在对于每一个同位子处理单元来说，处理设备即选择该同位子处理单元的一个运动矢量，作为当前图像中子处理单元的运动矢量或者运动矢量候选。在此情况下，若此时一个同位处理单元采用的是双向预测，则处理设备即可以将同位图像1对应的运动矢量，作为当前图像的子处理单元的运动矢量/运动矢量候选。可选地，同位图像1位于参考图像列表0中。

可选地，若处理设备选择采用双向预测，则在对于每一个同位子处理单元来说，处理设备即选择该同位子处理单元的两个运动矢量，作为当前图像的子处理单元的运动矢量/运动矢量候选。在此情况下，若一个同位子处理单元采用单向预测，则处理设备即可将单向预测对应的运动矢量，作为当前图像的子处理单元的一个运动矢量/运动矢量候选，而将当前图像的子处理单元的另一个运动矢量/运动矢量候选设置为0矢量。

可选地，上述的策略信息可以用一标志来指示。

可选地，上述的策略信息还可以根据图像块A的中心子块采用的预测方式来确定。可选地，若图像块A的中心子块采用单向预测，则策略信息指示采用单向预测；若图像块A的中心子块采用双向预测，则策略信息指示采用双向预测。

可选地，上述的策略信息还可以根据图像块A的中心采样采用的预测方式来确定。可选地，若图像块A的中心采样采用单向预测，则策略信息指示采用单向预测；若图像块A的中心采样采用双向预测，则策略信息指示采用双向预测。

可选地，上述的策略信息还可以根据图像块A的边缘子图像块采用的预测方式来确定。可选地，若图像块A中与第一邻近区域/邻近采样相邻的子图像块采用单向预测，则策略信息指示采用单向预测；若图像块A中与第一邻近区域/邻近采样相邻的子图像块采用双向预测，则策略信息指示采用双向预测。

本申请实施例还提供一种处理设备，包括存储器、处理器，存储器上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

在本申请提供的处理设备和存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不再做赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的图像处理方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的图像处理方法。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台处理设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，（例如，软盘、存储盘、磁带）、光介质（例如，DVD），或者半导体介质（例如固态存储盘Solid State Disk (SSD)）等。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取或确定待处理单元中子处理单元的运动信息；

根据所述运动信息对所述待处理单元进行亮度/色度预测，以确定或得到所述待处理单元的预测结果。

2.如权利要求1所述的方法，其特征在于，所述子处理单元的运动信息的获取或确定方式，包括以下至少一项：

第一方式：根据待处理单元的同位处理单元获取或确定所述运动信息；

第二方式：根据子处理单元的同位子处理单元获取或确定所述运动信息;

第三方式：根据预设的子块合并候选列表获取或确定所述运动信息；

第四方式：根据预设标志获取或确定所述运动信息；

第五方式：根据待处理单元的第一运动偏移信息获取或确定所述运动信息；

第六方式：根据待处理图像的已处理区域中的第一图像单元或第一子图像单元的第二运动偏移信息获取或确定所述运动信息；

第七方式：根据至少一个所述第二运动偏移信息的组合，获取或确定所述运动信息。

3.如权利要求2所述的方法，其特征在于，所述第二方式，包括：

根据第三运动偏移信息和子处理单元的位置信息确定同位子处理单元；

根据所述同位子处理单元的位置信息和/或者所述同位子处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

4.如权利要求2所述的方法，其特征在于，所述第四方式，包括：

若预设标志为第一值，则根据子处理单元的同位子处理单元的运动信息，获取或确定子处理单元的运动信息；和/或，

若预设标志为第二值，则根据待处理单元的同位处理单元的中心采样的运动信息，获取或确定子处理单元的运动信息。

5.如权利要求2所述的方法，其特征在于，所述第五方式，包括：

根据至少一邻近区域、至少一相邻区域、至少一邻近采样、至少一相邻采样中的至少一个对应的第一运动信息，获取或确定第一运动偏移信息；

根据第一运动偏移信息获取或确定子处理单元的运动信息。

6.如权利要求5所述的方法，其特征在于，所述根据第一运动偏移信息获取或确定子处理单元的运动信息，包括：

根据子处理单元的位置信息和第一运动偏移信息确定同位子处理单元；

根据同位子处理单元的位置信息和/或者运动信息，获取或确定子处理单元的运动信息。

7.如权利要求2所述的方法，其特征在于，所述第六方式，包括：

根据第二偏移信息确定第一运动偏移信息，并根据第一运动偏移信息获取或确定子处理单元的运动信息。

8.如权利要求2至7中任一项所述的方法，其特征在于，还包括以下至少一项：

第一图像单元为与待处理单元大小相同的图像单元；

第一子图像单元为与子处理单元大小相同的子图像单元；

第二运动偏移信息包括：第一图像单元或第一子图像单元的至少一第一区域和/或至少一第一采样的运动信息；

预设标志包括第一值和/或第二值。

9.一种处理设备，其特征在于，包括：存储器、处理器，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

Images