CN116456102B - 图像处理方法、处理设备及存储介质 - Google Patents

Abstract

本申请提出了一种图像处理方法、处理设备及存储介质，图像处理方法包括：根据至少一非下采样亮度像素的第一亮度值确定或生成待预测像素的预测结果。本申请根据未经过下采样处理的非下采样亮度像素的亮度值来进行图像色度信息的预测，可降低预测得到的色度值的失真程度和/或可提高图像块色度像素的预测质量。

Description

图像处理方法、处理设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、处理设备及存储介质。

背景技术

当前一些实现中，在YUV（Y代表亮度/灰度值Luminance，U代表色度Chrominance，V代表浓度Chroma)色彩编码模式下，对图像格式为4：2：0或者4：2：2的视频图像进行帧内预测之前，通常需要针对图像块中的亮度像素进行下采样处理。

在构思及实现本申请过程中，发明人发现至少存在如下问题：对亮度像素进行下采样会丢失一部分亮度信息，导致预测出来的色度像素的色度值失真和/或图像块色度像素的预测质量不高。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种图像处理方法、处理设备及存储介质，可降低预测得到的预测结果的失真程度和/或可提高图像块像素的预测质量。

本申请提供一种图像处理方法，可应用于处理设备（如智能终端或者服务器等），包括：

S10：根据至少一亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。

可选地，S10为S100：根据至少一非下采样亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。或者，S10为S101：根据至少一下采样亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。

可选地，所述步骤S100包括以下至少一项：

第一方式：根据至少一第一亮度值、至少一亮度偏移和至少一色度偏移，确定或生成预测结果；

第二方式：根据至少一第一亮度值和至少一亮度像素的梯度值，确定或生成预测结果；

第三方式：根据至少一第一亮度值确定或生成待预测像素的中间预测结果，并根据中间预测结果确定或生成预测结果；

第四方式：根据至少一第一亮度值和至少一非下采样亮度像素的位置信息，确定或生成预测结果；

第五方式：根据至少一第一亮度值和至少一下采样亮度像素的第二亮度值，确定或生成预测结果。

可选地，所述步骤S101包括以下至少一项：

第一方式：根据至少一第一亮度值、至少一亮度偏移和至少一色度偏移，确定或生成预测结果；

第二方式：根据至少一第一亮度值和至少一下采样亮度像素的梯度值，确定或生成预测结果；

第三方式：根据至少一第一亮度值确定或生成待预测像素的中间预测结果，并根据中间预测结果确定或生成预测结果；

第四方式：根据至少一第一亮度值和至少一下采样亮度像素的位置信息，确定或生成预测结果；

第五方式：根据至少一第一亮度值和另一至少一下采样亮度像素的第二亮度值，确定或生成预测结果。

可选地，所述中间预测结果包括第一中间预测结果和/或第二中间预测结果；和/或，所述根据中间预测结果确定或生成预测结果，包括：

对第一中间预测结果和第二中间预测结果进行加权处理，以确定或生成预测结果。

可选地，还包括以下至少一项：

第一中间预测结果根据至少一第一亮度值确定或生成；

第二中间预测结果根据至少一亮度像素的梯度值确定或生成；

加权处理的权重根据第一中间预测结果和第二中间预测结果对应的失真程度确定或生成。

可选地，至少一亮度像素的梯度值为至少一非下采样亮度像素的梯度值，或者，至少一亮度像素的梯度值为至少一下采样亮度像素的梯度值。

可选地，还包括以下至少一项：

所述位置信息根据至少一位置缩放信息确定或生成；

所述下采样亮度像素通过对亮度像素进行下采样处理得到或生成。

可选地，所述下采样亮度像素通过对非下采样亮度像素进行下采样处理得到或生成，或者，所述下采样亮度像素为第二下采样亮度像素，第二下采样亮度像素通过对下采样亮度像素和/或另一下采样亮度像素进行下采样处理得到或生成。

可选地，所述步骤S10之前，还包括：根据亮度像素所处亮度块的尺寸，获取或确定第一像素标志；

若所述第一像素标志为第一值，则所述步骤S10包括：直接根据所述亮度像素确定或生成所述预测结果；

或者若所述第一像素标志为第二值，则所述步骤S10包括：针对所述亮度像素进行下采样处理得到下采样亮度像素，并根据所述下采样亮度像素的第二亮度值确定或生成预测结果。

可选地，根据第二像素标志和梯度标志的取值确定执行所述步骤S10时采用的预测模式。

可选地，还包括以下至少一项：

所述至少一非下采样亮度像素为在图像编解码过程中未经过下采样处理的亮度像素；

所述待预测像素为色度像素；

所述预测结果为色度预测结果。

可选地，所述亮度像素为非下采样亮度像素，或者所述亮度像素为第一下采样亮度像素。

本申请还提供一种处理设备，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。

本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。

如上所述，本申请的图像处理方法，可应用于处理设备，包括步骤S10：根据至少一非下采样亮度像素的第一亮度值确定或生成待预测像素的预测结果。本申请通过上述技术方案，可以降低预测得到的预测结果的失真程度和/或者提高针对图像块中待预测像素的预测质量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3是卷积交叉分量模型CCCM所涉及的一应用场景示意图；

图4是基于梯度和位置的卷积跨分量模型的帧内色度预测GL-CCCM所涉及的另一应用场景示意图；

图5A是本申请实施例提供的图像处理方法涉及的图像编码场景示意图；

图5B是本申请实施例提供的图像处理方法涉及的图像解码场景示意图；

图6是根据第一实施例示出的图像处理方法的流程示意图；

图7A是根据第二实施例示出的图像处理方法涉及的预测模型中经过下采样的输入亮度采样的示意图；

图7B是根据第二实施例示出的图像处理方法涉及的预测模型中未经过下采样的输入亮度采样的示意图；

图8是根据第二实施例示出的图像处理方法涉及的用于梯度计算的亮度采样的位置示意图；

图9A是根据第二实施例示出的图像处理方法涉及的4:2:0格式下亮度采样和色度采样的垂直和水平位置示意图；

图9B是根据第二实施例示出的图像处理方法涉及的4:2:2格式下亮度采样和色度采样的垂直和水平位置示意图；

图10是根据第二实施例示出的图像处理方法涉及的利用邻域内平均值进行下采样处理的示意图；

图11是根据第二实施例示出的图像处理方法涉及的利用邻域内最大值进行下采样处理的示意图；

图12是根据第二实施例示出的图像处理方法涉及的利用融合处理确定色度块色度采样的示意图；

图13是根据第三实施例示出的图像处理方法涉及的图像块中亮度块和色度块的尺寸示意图；

图14是根据第三实施例示出的图像处理方法涉及的利用下采样亮度块确定色度块色度采样的示意图；

图15是根据第三实施例示出的图像处理方法涉及的利用非下采样亮度块确定色度块色度采样的示意图；

图16是根据第二实施例示出的图像处理方法涉及的解码过程中确定跨分量帧内预测的组合模式的应用流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，可选地，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要说明的是，在本文中，采用了诸如S10等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行其它步骤后执行S10等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

处理设备可以以各种形式来实施，如可以为智能终端（如手机），也可以为服务器等。例如，本申请中描述的处理设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、便捷式媒体播放器（Portable MediaPlayer，PMP）、导航装置、可穿戴设备、智能手环、计步器等处理设备，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括： RF（Radio Frequency，射频）单元101、WiFi模块102、音频输出单元103、A/V（音频/视频）输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。可选地，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM （Global System of Mobile communication，全球移动通讯系统）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（CodeDivision Multiple Access 2000，码分多址2000）、WCDMA（Wideband Code DivisionMultiple Access, 宽带码分多址）、TD-SCDMA（Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址）、FDD-LTE（Frequency DivisionDuplexing- Long Term Evolution，频分双工长期演进）、TDD-LTE (Time DivisionDuplexing- Long Term Evolution，分时双工长期演进)、5G和6G等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器（Graphics Processing Unit，GPU）1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109（或其它存储介质）中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音（音频数据），并且能够将这样的声音处理为音频数据。处理后的音频（语音）数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。可选地，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。可选地，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111（比如电池），优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE（User Equipment，用户设备）201， E-UTRAN（Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网）202，EPC（Evolved Packet Core，演进式分组核心网）203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程（backhaul）（例如X2接口）与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME（Mobility Management Entity，移动性管理实体）2031， HSS（Home Subscriber Server，归属用户服务器）2032，其它MME2033， SGW（Serving GateWay，服务网关）2034， PGW（PDN Gate Way，分组数据网络网关）2035和PCRF（Policy andCharging Rules Function，政策和资费功能实体）2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器（图中未示）之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元（图中未示）选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS（IP Multimedia Subsystem，IP多媒体子系统）或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络系统（如6G）等，此处不做限定。

本申请提出了一种图像处理方法，可以根据至少一非下采样亮度像素的第一亮度值确定或生成待预测像素的预测结果。如此，根据未经过下采样处理的非下采样亮度像素的亮度值来进行图像色度信息的预测，可以降低预测得到的色度值的失真程度和/或可以提高图像块色度像素的预测质量。

为便于理解，下面先对本申请实施例可能涉及到的专业术语进行解释。

（一）帧间预测

在对图像进行编码或者解码的过程中，对图像块进行预测都是一个必不可少的步骤。例如，编码器通过对图像块进行预测得到预测块，构造能量较小的残差块，减少传输比特，解码器通过熵解码出残差块，和/或将残差块和通过在解码器中预测得到的预测块来得到解码图像块来实现图像的解码。而编码器或者解码器对图像块的预测都可以通过一些预设的预测模式实现，该预测模式即包括帧间预测的模式和帧内预测的模式。

（二）卷积交叉分量模型CCCM

卷积交叉分量模型CCCM使用滤波器从已经重建的亮度采样中预测当前图像块的色度。在一实施例中，CCCM使用的滤波器由5抽头加号形状空间分量、非线性项和偏置项组成。可选地，滤波器的5抽头加号形状空间分量的输入包括中心（C）亮度采样，以及中心（C）亮度采样的上方采样（也称为北方采样，N）、下方采样（也称为南方采样，S）、左侧采样（也称为西方采样，W）和右侧采样（也称为东方采样，E），具体如图3所示。

非线性项P表示为中心（C）亮度样本的二次方，并缩放到内容的样本值范围：P=（C*C+midVal）>>位深度，可选地，对于10位内容，P=（C*C+512）>>10。

偏置项B表示输入和输出之间的标量偏移，可选地，偏置项B被设置为中间色度值（对于10位内容为512）。

滤波器的输出被计算为滤波器系数ci和输入值之间的卷积，并且被剪裁到有效色度样本的范围：

predChromaVal = c0*C + c1*N + c2*S + c3*E + c4*W + c5*P + c6*B

（三）基于梯度和位置的卷积跨分量模型的帧内色度预测GL-CCCM

基于梯度和位置的卷积交叉分量模型GL-CCCM使用梯度和位置信息来代替CCCM滤波器中的4个空间相邻样本。可选地，用于预测的GL-CCCM滤波器为：

predChrmaVal = c0C + c1Gy + c2Gx + c3Y + c4X + c5P + c6B

其中，Gy和Gx分别为垂直梯度和水平梯度，结合图4所示用于GL-CCCM的空间样本，该Gy和Gx各自的计算公式如：

Gy=（2N+NW+NE）-（2S+SW+SE）；

Gx=（2W+NW+SW）-（2E+NE+SE）。

可选地，Y和X参数是中心（C）亮度样本的垂直和水平位置。

可选地，该Y和X参数可以是相对于图像块的左上角坐标进行计算得到。

可选地，请参见图5A和图5B，图5A是图像处理方法涉及的图像编码场景示意图，图5B则是图像处理方法涉及的图像解码流程示意图。如图5A所示，编码端的编码器通常将输入的视频图像按帧分割为至少一个图像块进行处理，每个图像块可以与通过预测模式预测得到的预测块相减得到残差块，再对残差块和预测模式的相关参数进行一系列处理得到编码的比特流。之后，在解码端，如图5B所示，解码器接收到比特流后即可通过解析该比特流得到预测模式参数。进而，解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理，得到残差块。可选地，解码器的解码单元会解析并解码已编码的比特流，得到预测参数以及相关辅助信息。接下来，解码器的预测处理单元利用预测参数进行预测处理，从而确定对应于残差块的预测块。如此，解码器即可通过将得到的残差块和对应的预测块相加得到重建块。可选地，解码器的环路滤波单元将重建块进行环路滤波处理以减少失真，改善视频质量。从而，经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。

可选地，本申请实施例提供的图像处理方法可以应用于上述视频图像编码过程中对图像块进行色度预测和/或亮度预测的场景(例如，视频图像编码过程中帧内预测的场景)，可选地，本申请实施例提供的图像处理方法也可用于视频解码过程中对待解码的图像块进行色度预测和/或亮度预测的场景。例如，视频图像解码过程中帧内预测的场景。

第一实施例

在本实施例中，图像处理方法的执行主体可以是上述的处理设备，或者是由上述多个处理设备构成的集群，该处理设备可以是智能终端（如前述的移动终端100）也可以是服务器。此处，以处理设备作为图像处理方法第一实施例中的执行主体，来对图像处理方法进行说明。

如图6所示，在本实施例中，图像处理方法包括步骤：

S10：根据至少一亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。

可选地，S10为S100：根据至少一非下采样亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。或者，S10为S101：根据至少一下采样亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果。

可选地，在本实施例中，处理设备在针对图像进行编码或者解码处理的过程中，采用帧内预测模式对图像中待处理的图像块进行色度预测，并在针对当前待处理的图像块使用该帧内预测模式进行色度预测时，以该图像块当中的至少一个未经过下采样处理的非下采样亮度像素的至少一个第一亮度值，来对该图像块中待预测像素的色度信息进行预测，从而确定或生成该待预测像素的预测结果。

可选地，在本实施例中，处理设备在针对当前待处理的图像块使用帧内预测模式进行色度预测时，还可以使用图像块当中的至少一个经过下采样处理的下采样亮度像素的至少一个第一亮度值，来对该图像块中待预测像素的色度信息进行预测，从而确定或生成待预测像素的预测结果。

可选地，在本实施例以及后文所阐述的其它各个实施例中，至少一非下采样亮度像素为在图像编解码过程中未经过下采样处理的亮度像素；待预测像素为图像块的色度像素，而预测结果则为该色度像素的色度预测结果。需要说明的是，至少一非下采样亮度像素可以在除图像编解码处理过程之外的其他图像处理中进行下采样处理。

可选地，在本实施例中，图像块可以是输入视频图像（即视频帧）中，正在进行编码或者解码从而需要进行色度预测的图像块。可选地，该图像块也可以简称为当前块、当前单元或者待处理块。待预测像素也可成为待预测采样。在H.265/高效率视频编码（HighEfficiency Video Coding，HEVC）标准下，待预测像素可以是输入视频图像中的一个编码树单元（Coding Tree Units，CTU）或者是编码单元（Code Unit，CU）中的一个像素或者采样，本申请实施例对称呼图像块的种类不做具体限制。

可选地，在本实施例中，处理设备作为编码器在从视频源处接收到视频图像之后，即针对该视频图像进行分割得到至少一个图像块。而处理设备在采用帧内预测模式（尤其是跨分量帧内预测模式）针对该当前的图像块进行色度预测时，即可确定该图像块为当前待处理的图像块，之后，处理设备将该图像块中需要预测色度信息的色度像素作为待预测像素，然后直接利用该图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一个第一亮度值，来对该待预测像素的色度信息进行预测，从而得到该待预测像素的色度预测结果。

可选地，处理设备作为编码器可以使用例如率失真优化的方式来确定当前图像块最终采用的帧内预测模式。可选地，处理设备可通过计算每一种预测模式对应的率失真代价，以从多种预测模式分别对应的率失真代价中确定最小率失真代价，最小率失真代价对应的预测模式即为当前的图像块最终采用的预测模式。即，假定关于当前要进行色度预测的图像块的预测处理，可以使用的预测模式为色度帧内预测模式0-N（其中包括跨分量帧内预测模式），而处理设备在计算到进行色度预测的最小率失真代价对应的预测模式为其中的模式i时，处理设备即将该模式i确定为最终用于对当前待处理的图像块进行色度预测的帧内预测模式。可选地，i=0，...，N。

可选地，处理设备在依据上述过程，以逐个像素方式确定或者得出图像块中待预测像素的色度信息之后，作为编码器的处理设备即可进一步将当前图像块中的像素的采样值，减去预测到的图像块中对应像素的预测值（即图像块的图像块色度信息），以得到像素的残差值以及图像块对应的残差块。之后，残差块会经过变换和量化处理，再由熵编码器进行编码最后形成已编码的比特流。可选地，已编码的比特流中还可以包括处理设备通过上述过程确定的帧内预测模式对应的预测参数（经过熵编码后被打包至已编码的比特流中）以及相关辅助信息（side information）。可选地，若处理设备采用的是跨分量帧内预测模式，则上述的预测参数即至少包括关于采用跨分量帧内预测模型进行预测操作的指示信息。

可选地，已变换已量化的残差块会和利用预测模式得到的对应的预测块进行相加得到重建块。而在得到重建块之后，处理设备还会对重建块进行环路滤波处理以减少失真。

可选地，处理设备作为解码器时即可接收到上述作为编码器的处理设备传递的已编码的比特流，而处理设备在作为解码器接收到已经通过编码器编码的比特流之后，解码器的解码单元会解析并解码该比特流得到预测参数。可选地，解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理以得到残差块。接下来，解码器的预测处理单元即可将该残差块作为当前需要进行解码处理的待处理块并利用预测参数进行预测处理，从而确定对应于该残差块的预测块。

可选地，解码器在采用与编码器所使用相同的帧内预测模式时，可利用解析比特流得到的预测参数来获取或者确定当前对待处理的图像块进行色度预测需要采用的预测模式（例如当预测参数指示对应的预测模式为跨分量帧内预测模式时，解码器即将跨分量帧内预测模式作为对解码得到的残差块进行色度预测的帧内预测模式）。从而，解码器即直接使用该帧内预测模式来利用该图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一个第一亮度值，来对该图像块中待预测像素的色度信息进行预测。

可选地，作为解码器的处理设备在通过逐采样方式，确定或者得出图像块中至少一个待预测像素的色度预测结果，从而确定或者得出该图像块的图像块色度信息之后，处理设备即可进一步将解析得到的残差块和预测到的图像块中对应像素的预测值（图像块的图像块色度信息）相加，以得到重建块。最后，处理设备还通过环路滤波单元将重建块进行环路滤波处理，以减少失真改善视频质量。而经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。

可选地，在本实施例中，处理设备作为编码器或者解码器对当前的图像块（例如，色度块）进行预测使用的预测模式可以为如下公式（1）所示的卷积跨分量帧内预测模型CCCM：

predChromaVal=c0*C + c1*N + c2*S + c3*E + c4*W + c5*P + c6*B公式（1）

可选地，以色度预测为例，predChromaVal为待处理的图像块中待预测像素（此时为待预测色度像素）的色度预测值，c0~c6为权重系数，C为待预测色度像素的同位亮度像素的亮度值，N为同位亮度像素上方/北方相邻的亮度像素的亮度值，S为同位亮度像素下方/南方相邻的亮度像素的亮度值，E为同位亮度像素右侧/东方相邻的亮度像素的亮度值，W为同位亮度像素左侧/西方相邻的亮度像素的亮度值，P为非线性项。B为偏置项，其代表输入和输出之间的标量偏移（对于10比特深度的视频，B设置为色度中值，即512），P = ( C*C +midVal )>>bitDepth（midVal 为色度像素的色度中值，bitDepth为视频内容的比特深度）。N，S，E，W与C的位置关系如图3所示。

可选地，处理设备为了利用上述公式（1）所示的CCCM模型进行色度帧内预测处理，就需要确定公式（1）中的权重系数c0~c6和C，N，S，E，W，P，B的亮度值，然后才能再基于公式（1）得到待预测色度采样predChromaVal的色度预测结果。可选地，处理设备确定公式（1）中权重系数的方式即可为：从当前需要进行色度预测的图像块所处图像帧内，获取或者确定至少一参考区域，并根据该至少一参考区域中的亮度/色度像素的采样值来确定权重系数。在一实施例中，进行色度预测时获取或者确定的是至少一亮度参考区域。在另一实施例中，进行色度预测时获取或者确定的是至少一色度参考区域。

在本实施例中，本申请技术方案通过处理设备在对图像块的色度信息进行跨分量帧内预测时，利用该图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一个第一亮度值，来对该图像块中待预测像素的色度信息进行预测。即，本申请技术方案不对亮度图像块进行下采样操作，而直接利用亮度图像块确定色度图像块的色度值，如此，保留了下采样过程中失去的亮度信息，从而可以降低预测得到的预测结果的失真程度以使色度预测的准确度得到提高，和/或者，可以提高针对图像块中待预测像素进行色度预测的质量。

可选地，本申请技术方案不对亮度图像块进行下采样操作以直接利用亮度图像块来确定色度图像块的色度值的方法，对具有清晰细节的图像或视频进行的编解码操作更加合适。

第二实施例

在上述任一实施例的基础上，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素，然后可以根据根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移、该图像块的至少一色度偏移、该至少一非下采样亮度像素的梯度值、该至少一个非下采样亮度像素的位置信息，和/或者，至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，步骤S100可以包括以下至少一项：

第一方式：根据至少一第一亮度值、至少一亮度偏移和至少一色度偏移，确定或生成预测结果；

可选地，在本实施例中，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素，然后根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移和该图像块的至少一色度偏移，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。例如，至少一亮度偏移和至少一色度偏移可以为下文中提到的预设的亮度偏移值Lumaoffset和预设的色度偏移值Chromaoffset。

可选地，处理设备在基于跨分量帧内预测对图像中待处理的图像块进行色度预测，可以采用预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)，来对该图像块中待预测色度信息的色度像素的色度值进行计算。其中，PreChorma为待预测的色度像素，Luma1~LumaN为输入亮度像素，且为未经过下采样处理的非下采样亮度像素。Luma1为待预测色度像素的同位亮度像素，Luma2, Luma3, ...,LumaN为该同位亮度像素周围的亮度像素。

可选地，如果处理设备采用经过下采样亮度像素，来对待预测色度像素的色度信息进行跨分量帧内预测，则Luma1为该待预测色度像素的经过下采样处理的同位亮度像素，而Luma2, Luma3, ...,LumaN为经过下采样处理的同位亮度像素周围的经过下采样处理的亮度像素。而如果处理设备是直接采用未经过下采样的非下采样亮度像素来对待预测色度像素的色度信息进行跨分量帧内预测，Luma1同样为待预测色度像素的未经过下采样处理的非下采样同位亮度像素，而Luma2, Luma3, ...,LumaN则为该未经过下采样处理的非下采样同位亮度像素周围的未经过下采样处理的非下采样亮度像素。

可选地，如图7A所示，处理设备在采用经过下采样的跨分量帧内预测过程中，即先对亮度块A进行下采样，得到亮度块A'，然后将该亮度块A'中的下采样亮度像素作为预测模型中的输入亮度像素。可选地，在采用经过下采样的跨分量帧内预测过程中，输入亮度像素包括Luma1, Luma2, Luma3, ...,Luma9，Chroma1为待预测色度像素。其中，Luma1为亮度块A'中的待预测色度像素的同位亮度像素（已经进行过下采样处理），Luma2, Luma3, ...,Luma9为亮度块A'中的同位亮度像素周围的亮度像素（同样也已经进行过下采样处理）。

可选地，如图7B所示，处理设备当前进行编解码处理的图像的图像格式为4：2：0，处理设备在采用未经过下采样的跨分量帧内预测过程中，没有对亮度块A进行下采样，而是直接将该亮度块A中的亮度像素作为预测模型中的输入亮度像素。可选地，处理设备在采用未经过下采样的跨分量帧内预测过程中，输入亮度像素包括L1, L2, L3, ...,L9，C1为待预测色度像素。其中，L1为待预测色度像素的同位亮度像素（未经过下采样处理），L2, L3,...,L9为同位亮度像素周围的亮度像素（未经过下采样处理）。

可选地，上述预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)中还可以包括非线性项P。可选地，该非线性项P可以表示为待预测色度像素对应的亮度像素C的平方并被缩放至位深度范围，即，P = ( Luma1*Luma1 + midVal )>>bitDepth。其中，bitDepth为采样对应的位深度，“>>”为右移位符号。可选地，对于10比特视频内容，P = (Luma1*Luma1 + 512 )>>10。

可选地，上述预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)中还可以包括偏置项B。可选地，该偏置项B可以表示在输入和输出之间的标量偏移。可选地，在视频编码标准中，对于10比特视频内容，该偏置项B被设置为色度值512。

可选地，上述预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)结合非线性项P和偏置项B即可变化为：predChromaVal = c0*Luma1 + c1*Luma2 + c2*Luma3 +c3*Luma4 + c4*Luma5 + c5*P + c6*B。其中，Luma2, Luma3, Luma4分别为同位亮度像素Luma1左侧，右侧，上方，下方的亮度像素，而c0~c6为权重。

可选地，如果处理设备在上述预测模型PreChorma=f(Luma1, Luma2, Luma3,...,LumaN)中设置一亮度偏移值和色度偏移值，则该预测模型可以变化为：PreChorma'=f(Luma1', Luma2', Luma3', ...,LumaN')。其中，Luma1'=Luma1-Lumaoffset；Luma2'=Luma2-Lumaoffset；LumaN'=LumaN-Lumaoffset。Lumaoffset为预设的亮度偏移值。PreChorma'需要加上预设的色度偏移值Chromaoffset来得到待预测色度像素PreChorma。

可选地，如果处理设备在上述预测模型PreChorma=f(Luma1, Luma2, Luma3,...,LumaN)中设置亮度偏移值和色度偏移值的基础上，还进一步设置非线性项P'，此时该非线性项P' = ( Luma1'*Luma1'+ midVal )>>bitDepth。

可选地，处理设备可以将位于当前待处理图像块（也成为编码单元）外的、与该待处理图像块相邻的一预定位置的亮度像素的采样值作为上述的亮度偏移值Lumaoffset，和/或者，可以将该预定位置的亮度采样的同位色度像素的采样值作为色度偏移值Chromaoffset。可选地，处理设备将位于当前待处理图像块外，并与当前待处理图像块相邻的上方参考采样行中的亮度像素的采样值，作为亮度偏移值Lumaoffset，或者将位于当前待处理图像块外，并与当前待处理图像块相邻的左侧参考采样行中的亮度像素的采样值，作为亮度偏移值Lumaoffset，还或者将位于当前待处理图像块外并与当前待处理图像块相邻的左上角的亮度像素的采样值作为亮度偏移值Lumaoffset。和/或者，处理设备将位于当前待处理图像块外并与当前待处理图像块相邻的上方参考采样行中的色度像素的采样值作为色度偏移值Chromaoffset，或者将位于当前待处理图像块外并与当前待处理图像块相邻的左侧参考采样行中的色度像素的采样值作为色度偏移值Chromaoffset，还或者将位于当前待处理图像块外并与当前待处理图像块相邻的左上角的色度像素的采样值作为色度偏移值Chromaoffset。

在本实施例中，通过处理设备在针对图像进行编码或者解码的过程中，根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移和该图像块的至少一色度偏移，来针对该待预测像素的色度信息进行预测，从而得到该待预测像素的色度预测结果。如此可以降低跨分量预测过程中用于确定权重系数的过程中使用的亮度值和色度值的大小（例如降低确定上述权重系数c0~c6过程中使用的亮度值和色度值的大小），从而降低计算量。即，处理设备在亮度值的基础上减去一亮度偏移值得到数值较小的亮度值，然后通过对数值较小的亮度值进行预测处理，得到数值较小的色度值，最后再通过将数值较小的色度值加上一色度偏移值，即可得到最终的色度预测值，从而有效地降低了计算过程中的计算量和/或者降低了存储计算过程产生的中间值的存储空间。

第二方式：根据至少一第一亮度值和至少一亮度像素的梯度值，确定或生成预测结果；

在本实施例中，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素，然后根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值和该至少一非下采样亮度像素的梯度值（在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值），来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

如此，与对亮度采样进行下采样处理后再求下采样亮度像素的梯度值相比，直接基于未进行下采样的非下采样亮度像素的亮度值来进行梯度计算，能够确保求取得到的梯度值的精度更高，进而可以降低预测得到的预测结果的失真程度和/或可提高图像块像素的预测质量。

可选地，处理设备在根据当前待处理图像块中未经过下采样处理的非下采样亮度像素的第一亮度值和该非下采样亮度像素的梯度值，来针对该待预测像素的色度信息进行预测的过程中，如果采用上述的预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)，来对该图像块中待预测色度信息的色度像素的色度值进行计算，则该预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)可以变化为：PreChorma=f(Luma1, Gx，Gy)，其中，Gx，Gy分别为以Luma1为中心应用梯度滤波器得到的水平梯度和垂直梯度。

可选地，处理设备在根据当前待处理图像块中未经过下采样处理的非下采样亮度像素的第一亮度值和该非下采样亮度像素的梯度值，来针对该待预测像素的色度信息进行预测的过程中，如果采用上述的预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)，来对该图像块中待预测色度信息的色度像素的色度值进行计算，则该预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)还可以变化为：predChroma = c0*Luma1+ c1*Gx + c2*Gy + c3*P + c4*B，其中，Luma1为待预测色度像素的同位亮度像素，c0~c4为权重，P为非线性项，B为偏置项，Gx、Gy为待预测色度像素的同位亮度像素的梯度。在该实施例中，Luma1, Luma2, Luma3, ...,LumaN均为在跨分量帧内预测过程中未经过下采样处理的亮度像素（或亮度采样）。

可选地，Gx = (2Luma5 + Luma2 + Luma7) – (2Luma6 + Luma4 + Luma9)，Gy =(2Luma3+ Luma2 + Luma4) – (2Luma8 + Luma7 + Luma9)。如图8所示，Luma2 为Luma1左上方的亮度像素，Luma3 为Luma1上方的亮度像素，Luma4 为Luma1右上方的亮度像素，Luma5 为Luma1左侧的亮度像素，Luma6 为Luma1右侧的亮度像素，Luma7 为Luma1左下方的亮度像素，Luma8 为Luma1下方的亮度像素，Luma9 为Luma1右下方的亮度像素。

可选地，处理设备可以利用一梯度标志来指示是否利用梯度来计算待预测像素的色度值。

可选地，若梯度标志具有第一值（1），则处理设备就利用梯度计算待预测像素的色度值；和/或若梯度标志具有第二值（0），则处理设备利用亮度像素的亮度值而不利用该亮度值的梯度来计算待预测像素的色度值。

在本实施例中，与未采用梯度值的方案相比，通过处理设备利用亮度像素的梯度值，以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值，和，该至少一非下采样亮度像素的梯度值，来针对该待预测像素的色度信息进行预测以得到色度预测结果，从而能够使得预测模型中包含像素的边缘变化的信息，进而在对于包含物体边缘的图像块的进行像素色度信息预测时，能够增强该图像块的预测质量。

可选地，处理设备在针对图像进行编码或者解码的过程中，在将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素之后，还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移、该图像块的至少一色度偏移，和该至少一非下采样亮度像素的梯度值（例如，在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值），来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

第三方式：根据至少一第一亮度值确定或生成待预测像素的中间预测结果，并根据中间预测结果确定或生成预测结果；

在本实施例中，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素。确定该待预测像素的过程包括：先根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值，来针对该待预测像素的色度信息进行预测，从而得到该待预测像素关于色度信息的中间预测结果，之后再根据该中间预测结果进行进一步计算处理来确定或者生成该待预测像素的色度预测结果。

可选地，上述待预测像素关于色度信息的中间预测结果包括：第一中间预测结果和/或第二中间预测结果。可选地，上述根据中间预测结果确定或生成预测结果，可以包括：

对第一中间预测结果和第二中间预测结果进行加权处理，以确定或生成预测结果。

可选地，处理设备在针对当前待处理图像块中的待预测像素的色度信息进行预测时，还可以利用不同的跨分量帧内预测公式（也称为跨分量帧内预测模型）确定该待预测像素的多个色度值，然后再将该多个色度值进行加权融合，从而得到该待预测像素最终的色度值。

可选地，上述的第一中间预测结果根据至少一第一亮度值确定或生成；而第二中间预测结果根据至少一亮度像素的梯度值确定或生成。

可选地，至少一亮度像素的梯度值为至少一非下采样亮度像素的梯度值。

可选地，处理设备可以采用上述的预测模型predChromaVal = c0*Luma1 + c1*Luma2 + c2*Luma3 + c3*Luma4 + c4*Luma5 + c5*P + c6*B，确定或生成待预测像素的第一中间预测结果：色度值ChromaA1，并采用上述的预测模型predChroma = c0Luma1 + c1Gx+ c2Gy + c3P + c4B，来确定或生成待预测像素的第二中间预测结果：色度值ChromaA2。最后，再对该色度值ChromaA1和该色度值ChromaA2进行加权处理，从而确定出待预测像素最终的色度值ChromaFinal。

可选地，加权处理的权重根据第一中间预测结果和第二中间预测结果对应的失真程度确定或生成。

可选地，处理设备可以根据公式：ChromaFinal=k1*ChromaA1+k2*ChromaA2，来对该待预测像素关于色度信息的中间预测结果进行加权处理。其中，k1和k2为权重。

可选地，在处理设备为编码器时，可以计算通过预测模型predChromaVal = c0*Luma1 + c1*Luma2 + c2*Luma3 + c3*Luma4 + c4*Luma5 + c5*P + c6*B得到的色度值ChromaA1，组合成的色度块的率失真代价J1和计算通过预测模型predChroma = c0*Luma1+ c1*Gx + c2*Gy + c3*P + c4*B得到的色度值ChromaA2，组合成的色度块的率失真代价J2。之后，根据该率失真代价J1和J2之间的比值确定K1和k2的值。可选地，若J1/J2=1:1，则K1/K2=1:1，或者，J1/J2=1:2，则K1/K2=2:1。

在本实施例中，通过处理设备在针对待预测像素的色度信息进行预测时，先预测得到该待预测像素关于色度信息的中间预测结果，之后再根据多个中间预测结果进行进一步的加权计算处理来确定或者生成该待预测像素最终的色度预测结果，从而能够得到该待预测像素更佳的色度预测结果。

第四方式：根据至少一第一亮度值和至少一非下采样亮度像素的位置信息，确定或生成预测结果；

在本实施例中，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素，然后根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值和至少一个非下采样亮度像素的位置信息，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

在本实施例中，如果当前待处理图像块的视频格式或图像格式为4:2:2或4:2:0，则处理设备在进行图像预测处理过程中，若亮度像素不经过下采样则会出现图像预测过程中亮度块和对应色度块的尺寸不一样的情况。为此，处理设备设置了一位置缩放信息，从而利用该位置缩放信息来确定当前待处理图像块中待预测色度像素的位置信息。如此，就可以在亮度块和对应色度块的尺寸不匹配情况下，准确的定位待预测色度像素所对应亮度像素的位置。

可选地，非下采样亮度像素的位置信息可根据至少一位置缩放信息确定或生成。可选地，如图9A和图9B（图中“X”表示图像中亮度像素/采样的位置，“O”表示图像中色度像素/采样的位置）所示，处理设备在利用位置缩放信息来确定当前待处理图像块中待预测色度像素的位置信息时，若x方向上位置缩放信息为stepX，y方向上位置缩放信息为stepY，待预测色度采样的位置在色度块中为第i行第j列，则待预测色度采样的同位亮度采样的位置在亮度块中为第i*stepY行第j*stepX列，例如，若stepX为2，stepY为1，待预测色度采样的位置在色度块中为第1行第2列，则待预测色度采样的同位亮度采样的位置在亮度块中为第1行第4列。步长信息stepX为2以及stepY为1对应于 4:2:2视频格式/图像格式。若stepX为2，stepY为2，待预测色度采样的位置在色度块中为第1行第2列，则待预测色度采样的同位亮度采样的位置在亮度块中为第2行第4列。步长信息stepX为2以及stepY为2对应于 4:2:0视频格式/图像格式。

可选地，处理设备通过对非下采样亮度像素进行下采样处理即可得到或生成下采样亮度像素。可选地，如图10所示，处理设备可以通过对邻域内采样求平均值来得到下采样后的亮度采样的采样值，处理设备通过对邻域内采样求平均值来进行下采样处理可以较多地包括图像块的背景信息。可选地，如图11所示，处理设备还可以将邻域内的采样的最大值作为下采样后的亮度采样的采样值，而处理设备通过将邻域内的采样的最大值作为下采样后的亮度采样的采样值，则可以较多地保留纹理信息。

在本实施例中，通过根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值，和，至少一个非下采样亮度像素的位置信息，来针对待预测像素的色度信息进行预测得到该待预测像素的色度预测结果。从而，由于在确定或生成预测色度结果的过程中利用了亮度像素的位置信息，从而在对于像素值与像素位置相关的图像块进行像素色度信息预测时，能够一步增强对于该图像块的预测质量。

可选地，处理设备在针对图像进行编码或者解码的过程中，在将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素之后，还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移、该图像块的至少一色度偏移、该至少一非下采样亮度像素的梯度值（例如，在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值），和该至少一个非下采样亮度像素的位置信息，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

第五方式：根据至少一第一亮度值和至少一下采样亮度像素的第二亮度值，确定或生成预测结果。

在本实施例中，处理设备在针对图像进行编码或者解码的过程中，将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素。确定该待预测像素的过程包括：根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值，针对该待预测像素的色度信息进行预测得到一个色度预测结果。可选地，根据对该非下采样亮度像素进行下采样处理得到下采样亮度像素之后，再根据该下采样亮度像素的至少一第二亮度值，针对该待预测像素的色度信息进行预测得到另一个色度预测结果。如此，处理设备即可将两次进行跨分量帧内预测得到的两个色度预测结果进行融合，从而得到针对待预测像素最终的色度预测结果。

可选地，处理设备当前待处理图像块是上述4:2:2或4:2:0视频格式或图像格式的情况下，可采用跨分量帧内预测方式对于当前待处理图像块采用两次跨分量帧内预测，并将两次跨分量帧内预测的结果进行融合，得到最终的预测结果。可选地，如图12所示，处理设备一方面采用跨分量帧内预测方式，对亮度块A进行下采样得到已下采样的亮度块A'，再根据已下采样的亮度块A'中的亮度像素来确定色度块a1中的色度像素的色度预测结果。另一方面，处理设备就直接根据亮度块A中的亮度像素来确定色度块a2中的色度像素的色度预测结果。之后，处理设备将色度块a1和色度块a2进行融合处理，从而得到色度块a的色度预测结果。

可选地，处理设备采用经过下采样的跨分量帧内预测的色度预测结果（色度值a1）和采用未经过下采样的跨分量帧内预测的色度预测结果（色度值a2）进行加权融合时，一方面通过采用经过下采样的跨分量帧内预测得到待预测色度采样的色度值a1，另一方面通过采用未经过下采样的跨分量帧内预测得到待预测色度采样的色度值a2，之后再对色度值a1和色度值a2进行加权融合，得到加权后的色度值a。可选地，a=w1*a1+w*a2，其中，w1和w2为权重。

可选地，在处理设备为编码器时，可以分别计算采用经过下采样的跨分量帧内预测的得到的多个色度值a1，组合成的色度块的率失真代价J1，和采用未经过下采样的跨分量帧内预测的得到的多个色度值a2，组合成的色度块的率失真代价J2，从而再根据率失真代价J1和J2之间的比值确定w1和w2的值。可选地，若J2/J1=1:1，则w1/w2=1:1，若J2/J1=1:2，则w1/w2=2:1。

在本实施中，处理设备在亮度图像块中利用不进行下采样的亮度值和进行下采样的亮度值来确定色度像素的色度值。从而，虽然下采样过程中会失去亮度信息，但是对应经过下采样得到的亮度值和对应非下采样过程的亮度值在4:2:2或4:2:0视频格式的图像中对应的坐标范围不同。因此，相对于非下采样过程的亮度值的坐标范围而言，对应下采样得到的亮度值对应的坐标范围会更广。因此，处理设备通过将下采样和非下采样过程中各亮度值对应的色度预测值进行融合，就可以得到更加精确的色度预测值。

可选地，处理设备在针对图像进行编码或者解码的过程中，在将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素之后，还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移、该图像块的至少一色度偏移、和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该至少一非下采样亮度像素的梯度值（例如，在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值），和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该至少一个非下采样亮度像素的位置信息，和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该至少一非下采样亮度像素的梯度值（例如，在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值）、该至少一个非下采样亮度像素的位置信息，和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备还可以根据当前待处理图像块中至少一个未经过下采样处理的非下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移、该图像块的至少一色度偏移、该至少一非下采样亮度像素的梯度值（例如，在第一亮度值为多个时，则使用多个第一亮度值各自的梯度值）、该至少一个非下采样亮度像素的位置信息，和至少一个经过下采样处理的下采样亮度像素的第二亮度值，来针对该待预测像素的色度信息进行预测，从而确定或者生成该待预测像素的色度预测结果。

可选地，处理设备在针对图像进行编码或者解码的过程中，在将当前待处理图像块中需要预测色度信息的色度像素作为待预测像素之后，还可以将使用上述第一方式、第二方式、第三方式、第四方式和/或者第五方式对该待预测像素的色度信息进行预测，从而得到该待预测像素关于色度信息的各个预测结果，均作为中间预测结果，然后在对该多个中间预测结果进行加权融合处理以得到针对待预测像素最终的色度预测结果。

可选地，假定处理设备采用上述第一方式、第二方式、第三方式、第四方式和或者第五方式分别对该待预测像素的色度信息进行预测，从而得到该待预测像素关于色度信息的各个预测结果分别为色度值ChromaA1、色度值ChromaA2、色度值ChromaA3、色度值ChromaA4和色度值ChromaA5。则处理设备可进一步将该五个色度值均作为中间预测结果，从而对该五个中间预测结果色度值ChromaA1~色度值ChromaA5进行加权处理，从而确定出待预测像素最终的色度值ChromaFinal。

可选地，处理设备可以根据公式：ChromaFinal=k1*ChromaA1+k2*ChromaA2+k3*ChromaA3+k4*ChromaA4+k5*ChromaA5，来对该待预测像素关于色度信息的中间预测结果进行加权处理。其中，k1~k5为权重。

可选地，在处理设备为编码器时，可以分别计算采用上述第一方式、第二方式、第三方式、第四方式和或者第五方式分别对该待预测像素的色度信息进行预测的率失真代价：J1、J2、J3、J4和J5。之后，处理设备即可根据该率失真代价J1~J5之间的比值确定上述K1~k5的值。可选地，若J1/J2/J3/J4/J5=1:1:1:1:1，则K1/K2/K3/K4/K5=1:1:1:1:1，或者，若J1/J2/J3/J4/J5=1:2:2:1:1，则K1/K2=2:1:1:2:2。

可选地，所述步骤S101包括以下至少一项：

第一方式：根据至少一第一亮度值、至少一亮度偏移和至少一色度偏移，确定或生成预测结果；

与上文中步骤S100的原理和精神相似，在本实施例中，通过处理设备在针对图像进行编码或者解码的过程中，根据当前待处理图像块中至少一个下采样亮度像素的至少一第一亮度值、该图像块的至少一亮度偏移和该图像块的至少一色度偏移，来针对该待预测像素的色度信息进行预测，从而得到该待预测像素的色度预测结果。如此可以降低跨分量预测过程中用于确定权重系数的过程中使用的亮度值和色度值的大小（例如降低确定上述权重系数c0~c6过程中使用的亮度值和色度值的大小），从而降低计算量。即，处理设备在亮度值的基础上减去一亮度偏移值得到数值较小的亮度值，然后通过对数值较小的亮度值进行预测处理，得到数值较小的色度值，最后再通过将数值较小的色度值加上一色度偏移值，即可得到最终的色度预测值，从而有效地降低了计算过程中的计算量和/或者降低了存储计算过程产生的中间值的存储空间。

第二方式：根据至少一第一亮度值和至少一下采样亮度像素的梯度值，确定或生成预测结果；

与上文中步骤S100的原理和精神相似，在本实施例中，与未采用梯度值的方案相比，通过处理设备利用亮度像素的梯度值，以根据当前待处理图像块中至少一个下采样亮度像素的至少一第一亮度值，和，该至少一下采样亮度像素的梯度值，来针对该待预测像素的色度信息进行预测以得到色度预测结果，从而能够使得预测模型中包含像素的边缘变化的信息，进而在对于包含物体边缘的图像块的进行像素色度信息预测时，能够增强该图像块的预测质量。

第三方式：根据至少一第一亮度值确定或生成待预测像素的中间预测结果，并根据中间预测结果确定或生成预测结果；

可选地，至少一亮度像素的梯度值为至少一下采样亮度像素的梯度值。

与上文中步骤S100的原理和精神相似，在本实施例中，通过处理设备在针对待预测像素的色度信息进行预测时，先预测得到该待预测像素关于色度信息的中间预测结果，之后再根据多个中间预测结果进行进一步的加权计算处理来确定或者生成该待预测像素最终的色度预测结果，从而能够得到该待预测像素更佳的色度预测结果。

第四方式：根据至少一第一亮度值和至少一下采样亮度像素的位置信息，确定或生成预测结果；

可选地，所述下采样亮度像素为第二下采样亮度像素，其通过对下采样亮度像素和/或另一下采样亮度像素进行下采样处理得到或生成。

与上文中步骤S100的原理和精神相似，在本实施例中，通过根据当前待处理图像块中至少一个下采样处理的下采样亮度像素的至少一第一亮度值，和，至少一个下采样亮度像素的位置信息，来针对待预测像素的色度信息进行预测得到该待预测像素的色度预测结果。从而，由于在确定或生成预测色度结果的过程中利用了亮度像素的位置信息，从而在对于像素值与像素位置相关的图像块进行像素色度信息预测时，能够一步增强对于该图像块的预测质量。

第五方式：根据至少一第一亮度值和另一至少一下采样亮度像素的第二亮度值，确定或生成预测结果。

与上文中步骤S100的原理和精神相似，在本实施例中，处理设备在亮度图像块中可以进行两次不同的下采样处理而得到第一下采样处理的第一下采样亮度像素的第一亮度值和第二下采样处理的第二下采样亮度像素的第二亮度值。因此，处理设备通过将第一亮度值和第二亮度值分别得到的第一色度预测值和第二色度预测值进行融合，就可以得到更加精确的色度预测值。

需要说明的是，本申请中提及的各种实施方式和实施例在不脱离本发明的基本原理和精神的情况下，可以相互组合。

第三实施例

在上述任一实施例的基础上，在步骤S10之前，本申请图像处理方法还包括：

根据亮度像素（非下采样亮度像素和/或下采样亮度像素）所处亮度块的尺寸，获取或确定第一像素标志；

若所述第一像素标志为第一值，则所述步骤S10包括：直接根据亮度像素（非下采样亮度像素和/或下采样亮度像素）确定或生成所述预测结果；

或者若所述第一像素标志为第二值，则所述步骤S10包括：针对所述亮度像素进行下采样处理得到下采样亮度像素，并根据所述下采样亮度像素的第二亮度值确定或生成预测结果。

可选地，若所述第一像素标志为第二值，则所述步骤S10包括：针对所述非下采样亮度像素进行下采样处理得到下采样亮度像素，并根据所述下采样亮度像素的第二亮度值确定或生成预测结果。

可选地，所述亮度像素为第一下采样亮度像素，所述下采样亮度像素为第二下采样亮度像素。若所述第一像素标志为第二值，则所述步骤S10包括：针对所述第一下采样亮度像素进行下采样处理得到第二下采样亮度像素，并根据所述第二下采样亮度像素的第二亮度值确定或生成预测结果。

在本实施例中，处理设备可通过图像块的尺寸获取或确定第一像素标志，然后基于该第一像素标志的不同取值来确定是否对亮度像素进行下采样之后，再基于该亮度像素的亮度值进行色度信息预测。可选地，如果通过图像块的尺寸获取或确定的第一像素标志为第一值，则处理设备就不对亮度像素进行下采样，而是直接根据非下采样亮度像素来确定或生成色度预测结果。

和/或，如果该第一像素标志为第二值，则处理设备就针对非下采样亮度像素进行下采样处理得到下采样亮度像素，然后再根据该下采样亮度像素的第二亮度值确定或生成色度预测结果。

可选地，处理设备在通过图像块的尺寸确定是否对亮度像素进行下采样时，如果该图像块的尺寸大于一阈值，则进行下采样处理之后再根据下采样亮度像素的第二亮度值确定或生成色度预测结果。而如果该图像块的尺寸小于该阈值，则不进行下采样处理，而直接根据非下采样亮度像素来确定或生成色度预测结果。

在本实施例中，由于处理设备在对图像块进行编解码处理时需要用到一存储单元来存储用于进行色度预测的亮度像素，从而对于尺寸较大的亮度图像块来说，若尺寸较大的亮度图像块不进行下采样处理，则需要较大尺寸的存储单元来存储这些亮度像素。因此，对尺寸较大的亮度图像块进行下采样可以使用尺寸相对较小的存储单元来存储这些用于进行色度预测的亮度像素。但是，又由于在块划分中，尺寸较大的区域为像素变化比较平坦的区域，因此，对亮度图像块进行下采样之后得到的色度预测结果的质量会比较理想。

可选地，为降低跨分量冗余，在视频编码标准中，处理设备可使用跨分量模型（cross-component model）用于对当前待处理块进行色度预测。可选地，处理设备可基于相同图像块中的重建亮度采样和跨分量模型来预测色度像素。可选地，跨分量模型包括跨分量线性模型（cross-component linear model, CCLM）和卷积跨分量模型（convolutionalcross-component model, CCCM）。而如图13所示，在当前待处理图像块的视频格式或图像格式为4:2:2或4:2:0的情况下，该图像块中包括的亮度块和色度块的尺寸不相等。

可选地，处理设备如对于上述4:2:2或4:2:0视频格式或图像格式的图像块，利用该图像块中亮度块的亮度像素来预测色度块的色度像素，则处理设备可先对亮度块进行下采样处理得到已下采样的亮度块，然后，再根据已经过下采样的亮度块中的亮度像素，来确定色度块中的色度像素。可选地，如图14所示，处理设备先对亮度块A进行下采样得到已下采样的亮度块A'，之后再根据已下采样的亮度块A'中的亮度像素来确定色度块a中的色度像素。

可选地，处理设备还可以不对亮度块进行下采样处理，而直接根据亮度块中的非下采样亮度像素，来确定色度块中的色度像素。可选地，如图15所示，处理设备无需对亮度块A进行下采样（即，无需先获得图14中所示的亮度块A'），而是直接根据亮度块A中的非下采样亮度像素来确定色度块a中的色度像素。

可选地，处理设备如对于上述4:2:2或4:2:0视频格式或图像格式的图像块，利用该图像块中亮度块的亮度像素来预测色度块的色度像素时，可以对于视频图像中的一部分图像块采用未经过下采样的跨分量帧内预测，而对于该视频图像中的另一部分图像块就采用经过下采样的跨分量帧内预测，如此可以增加对图像块进行色度预测的灵活性。

可选地，处理设备可以通过确定上述的第一像素标志来指示是使用经过下采样的跨分量帧内预测，还是使用未经过下采样的跨分量帧内预测。可选地，若第一像素标志具有第一值（例如，第一值为1），则处理设备就使用未经过下采样的跨分量帧内预测，从而不对亮度像素进行下采样，而是直接根据非下采样亮度像素来确定或生成色度预测结果。和/或如果该第一像素标志为第二值（例如，第二值为0），则处理设备就使用经过下采样的跨分量帧内预测，以针对亮度像素进行下采样处理得到下采样亮度像素，然后再根据该下采样亮度像素的第二亮度值确定或生成色度预测结果。

可选地，第一像素标志的取值可以通过多种方法来确定。可选地，在处理设备为编码器时，对于一图像块来说，若经过下采样的跨分量帧内预测得到的色度块对应的率失真代价，比未经过亮度下采样的跨分量帧内预测得到的色度块对应的率失真代价小，则处理设备就对该图像块采用经过亮度下采样的跨分量帧内预测，此时，第一像素标志的取值就设置为第二值（例如，第二值为0）。可选地，对于一图像块来说，若经过亮度下采样的跨分量帧内预测得到的色度块对应的率失真代价，比未经过亮度下采样的跨分量帧内预测得到的色度块对应的率失真代价大，则处理设备就对该图像块采用未经过亮度下采样的跨分量帧内预测，此时，第一像素标志的取值就设置为第一值（例如，第一值为1）。

可选地，处理设备可以根据图像块的尺寸或者该图像块中亮度块的尺寸，来确定下上述第一像素标志的取值。可选地，若图像块的长和/或宽大于32，则将第一像素标志的值为设第二值（例如，第二值为0），即，处理设备对该图像块采用经过亮度下采样的跨分量帧内预测。而如果图像块的长和/或宽小于或等于32，则将第一像素标志的值为设第一值（例如，第一值为1），即，处理设备对该图像块采用未经过亮度下采样的跨分量帧内预测。

可选地，在本实施例中，本申请图像处理的方法还包括：

根据第二像素标志和梯度标志的取值确定执行所述步骤S10时采用的预测模式。

在本实施例中，处理设备可以获取或者确定第二像素标志和/或者梯度标志，然后再根据第二像素标志和梯度标志的取值，来确定执行上述步骤S10对图像块中待预测像素的色度信息进行预测时所采用的预测模式。

可选地，处理设备执行上述步骤S10对图像块中待预测像素的色度信息进行预测，具体可以采用如下所示的四种跨分量预测模式：

模式1：采用下采样处理和采用梯度计算处理的跨分量帧内预测；

模式2：采用下采样处理和未采用梯度计算处理的跨分量帧内预测；

模式3：未采用下采样处理和采用梯度计算处理的跨分量帧内预测（相较模式1而言，模式3直接基于未进行下采样的亮度值进行梯度计算，所求取的梯度值的精度更高）；

模式4：未采用下采样处理和未采用梯度计算处理的跨分量帧内预测。

可选地，采用下采样处理的预测方式能够使得预测采用的亮度块的尺寸和色度块一致，从而在后续的计算过程中不需要考虑尺寸不匹配的问题以使得计算较简单。和/或者，由于采用下采样处理的方式，经过下采样之后的亮度块的尺寸变小，从而也在一定程度上节约了存储空间。可选地，未采用下采样处理的预测方式，虽然预测采用的亮度块的尺寸和色度块不一致，导致在后续的计算过程中需要考虑尺寸如何匹配的问题，但是未采用下采样处理的预测方式是直接利用未经过下采样的亮度图像块来进行预测，这避免了在下采样过程中丢失亮度信息，从而，未采用下采样处理的预测方式对于要求更高清晰细节的图像或视频进行的编解码操作的场景，和/或者，需要降低下采样过程中丢失的亮度信息对于色度预测的影响的场景会更加合适。可选地，利用亮度采样的亮度值而未利用亮度采样的梯度值的预测方式，在预测模型具有相同的项数的情况下，预测模型可以利用多个相邻亮度采样的亮度值进行预测，从而利用亮度采样的亮度值而未利用亮度采样的梯度值的预测方式，适合于待预测像素采样与相邻像素采样的像素值的关联性更强的图像块。可选地，与未采用梯度值的预测方式相比，利用了亮度采样的梯度值的预测方式，由于预测模型中包含像素的边缘变化的信息，从而，利用亮度采样的梯度值的预测方式使得对于包含物体边缘的图像块的预测质量得到了增强。

在本实施例中，通过将是否进行下采样处理和是否采用亮度采样的梯度值进行预测进行结合，可以得到上述的模式1~模式4，从而使得编解码处理过程对于不同的场景可适用不同的模式，从而进一步提高了针对待预测像素进行色度预测的灵活性。

可选地，在上述的模式1中，可以采用预测模型PreChorma=f(Luma1, Gx，Gy)，来对该图像块中待预测色度信息的色度像素的色度值进行计算。其中，PreChorma为待预测的色度像素，Luma1为待预测色度像素的经过下采样处理的同位亮度像素，Gx、Gy分别为以Luma1为中心应用梯度滤波器得到的水平梯度和垂直梯度。

可选地，该预测模型PreChorma=f(Luma1, Gx, Gy)还可以变化为：predChroma =c0*Luma1 + c1*Gx + c2*Gy + c3*P + c4*B。其中，c0~c4为权重，P为非线性项，B为偏置项，Gx = (2Luma5 + Luma2 + Luma7) – (2Luma6 + Luma4 + Luma9)，Gy = (2Luma3+Luma2 + Luma4) – (2Luma8 + Luma7 + Luma9)。Luma2 为Luma1左上方的亮度像素，Luma3为Luma1上方的亮度像素，Luma4 为Luma1右上方的亮度像素，Luma5 为Luma1左侧的亮度像素，Luma6 为Luma1右侧的亮度像素，Luma7 为Luma1左下方的亮度像素，Luma8 为Luma1下方的亮度像素，Luma9 为Luma1右下方的亮度像素。可选地，Luma1~Luma9为经过下采样处理的亮度像素。

可选地，在模式2中，可以采用预测模型PreChorma=f(Luma1，Luma2，Luma3，...，LumaN)，来对该图像块中待预测色度信息的色度像素的色度值进行计算。其中，PreChorma为待预测的色度像素，Luma1~LumaN为输入亮度像素，且为经过下采样处理的亮度像素。可选地，Luma1为待预测色度像素的同位亮度像素，Luma2、Luma3、...、LumaN为该同位亮度像素周围的亮度像素。

可选地，上述预测模型PreChorma=f(Luma1，Luma2，Luma3，...，LumaN)结合非线性项P和偏置项B即可变化为：predChromaVal = c0*Luma1 + c1*Luma2 + c2*Luma3 + c3*Luma4 + c4*Luma5+ c5*Luma6+ c6*Luma7+ c7*Luma8+ c8*Luma9 + c9*P + c10*B。其中，c0~c10为权重，Luma2 为Luma1左上方的亮度像素，Luma3 为Luma1上方的亮度像素，Luma4为Luma1右上方的亮度像素，Luma5 为Luma1左侧的亮度像素，Luma6 为Luma1右侧的亮度像素，Luma7 为Luma1左下方的亮度像素，Luma8 为Luma1下方的亮度像素，Luma9 为Luma1右下方的亮度像素。

可选地，在模式3中，可以采用预测模型PreChorma=f(Luma1，Gx，Gy)，来对该图像块中待预测色度信息的色度像素的色度值进行计算。其中，PreChorma为待预测的色度像素，Luma1为待预测色度像素的未经过下采样处理的同位亮度像素，Gx、Gy分别为以Luma1为中心应用梯度滤波器得到的水平梯度和垂直梯度。

可选地，该预测模型PreChorma=f(Luma1，Gx，Gy)还可以变化为：predChroma =c0*Luma1 + c1*Gx + c2*Gy + c3*P + c4*B，c0~c4为权重，P为非线性项，B为偏置项，Gx =(2Luma5 + Luma2 + Luma7) – (2Luma6 + Luma4 + Luma9)，Gy = (2Luma3+ Luma2 +Luma4) – (2Luma8 + Luma7 + Luma9)，Luma2 为Luma1左上方的亮度像素，Luma3 为Luma1上方的亮度像素，Luma4 为Luma1右上方的亮度像素，Luma5 为Luma1左侧的亮度像素，Luma6 为Luma1右侧的亮度像素，Luma7 为Luma1左下方的亮度像素，Luma8 为Luma1下方的亮度像素，Luma9 为Luma1右下方的亮度像素。可选地，Luma1~Luma9为未经过下采样处理的亮度像素。

可选地，在模式4中，可以采用预测模型PreChorma=f(Luma1，Luma2，Luma3，...，LumaN)，来对该图像块中待预测色度信息的色度像素的色度值进行计算。其中，PreChorma为待预测的色度像素，Luma1~LumaN为输入亮度像素，且为未经过下采样处理的亮度像素。可选地，Luma1为待预测色度像素的同位亮度像素，Luma2、Luma3、...、LumaN为该同位亮度像素周围的亮度像素。

可选地，上述预测模型PreChorma=f(Luma1, Luma2, Luma3, ...,LumaN)结合非线性项P和偏置项B即可变化为：predChromaVal = c0*Luma1 + c1*Luma2 + c2*Luma3 +c3*Luma4 + c4*Luma5+ c5*Luma6+ c6*Luma7+ c7*Luma8+ c8*Luma9 + c9*P + c10*B。其中，c0~c10为权重，Luma2 为Luma1左上方的亮度像素，Luma3 为Luma1上方的亮度像素，Luma4 为Luma1右上方的亮度像素，Luma5 为Luma1左侧的亮度像素，Luma6 为Luma1右侧的亮度像素，Luma7 为Luma1左下方的亮度像素，Luma8 为Luma1下方的亮度像素，Luma9 为Luma1右下方的亮度像素。

可选地，在处理设备为编码设备对图像进行编码的过程中，处理设备可以根据率失真优化（RDO）在上述模式1~模式4这四种色度预测模式中选择最佳的色度预测模式。

可选地，若率失真优化（RDO）指示上述四种色度预测模式中模式1对于图像块X中的色度块的预测最佳，则将第二像素标志的取值设置为“1”，以及将梯度标志也设置为“1”。

可选地，若RDO或SATD算法指示上述四种色度预测模式中模式2对于图像块X中的色度块的预测最佳，则将第二像素标志的取值设置为“1”，以及将梯度标志设置为“0”。

可选地，如图16所示，作为解码器的处理设备可以解析出第二像素标志和梯度标志，若第二像素标志的取值为1，则处理设备即可确定采用下采样处理，和/或，若是第二像素标志的取值为0，则处理设备就确定不进行下采样处理。

可选地，若是梯度标志的取值为1，则处理设备就确定利用亮度采样的梯度值确定对应的色度采样；和/或，若是梯度标志的取值为0，则处理设备就确定不利用亮度采样的梯度值确定对应的色度采样。即，处理设备基于诸如“11”、“01”、“10”和“00”的组合，来确定执行上述步骤S10来对图像块中待预测像素的色度信息进行预测时，具体可以采用是上述的模式1、模式2、模式3还是模式4。

可选地，处理设备还可以用SAD（即求解预测块与源图像的绝对误差和）算法或SATD（即求解对残差进行哈德曼变换后的系数绝对和）算法，来代替上述RDO算法进行第二像素标志和梯度标志的取值的设置。

在本实施例中，通过将是否进行下采样与是否利用亮度采样的梯度值两个因素进行组合从而得到四种预测模式。如此，处理设备可以根据RDO或SATD算法来在多种色度预测模式中选择最佳的色度预测模式，从而能够增加处理设备针对图像块中色度像素进行预测的灵活性。

本申请实施例还提供一种处理设备，包括存储器、处理器，存储器上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

本申请实施例还提供一种存储介质，存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

在本申请提供的处理设备和存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不再做赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，（例如，软盘、存储盘、磁带）、光介质（例如，DVD），或者半导体介质（例如固态存储盘Solid State Disk (SSD)）等。以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种图像处理方法，其特征在于，包括：

步骤S10：根据至少一亮度像素的至少一第一亮度值确定或生成待预测像素的预测结果，所述至少一亮度像素为在图像编解码过程中未经过下采样处理的亮度像素、所述待预测像素为色度像素、所述预测结果为色度预测结果；

所述步骤S10包括以下至少一项：

第一方式：根据至少一第一亮度值、至少一亮度偏移和至少一色度偏移，确定或生成预测结果；

第二方式：根据至少一第一亮度值和至少一亮度像素的梯度值，确定或生成预测结果；

第三方式：根据至少一第一亮度值确定或生成待预测像素的中间预测结果，并根据中间预测结果确定或生成预测结果；

第四方式：根据至少一第一亮度值和至少一亮度像素的位置信息，确定或生成预测结果；

第五方式：根据至少一第一亮度值和至少一下采样亮度像素的第二亮度值，确定或生成预测结果；

所述方法还包括：

获取或确定第二像素标志和/或者梯度标志，根据所述第二像素标志和所述梯度标志的取值确定执行所述步骤S10时采用的预测模式，其中，若所述第二像素标志的取值为第一取值，则确定采用对所述至少一亮度像素采用下采样处理的预测模式，若所述第二像素标志的取值为第二取值，则确定采用不对所述至少一亮度像素采用下采样处理的预测模式，若所述梯度标志取值为第三取值，则确定采用以所述至少一亮度像素的梯度进行计算的预测模式，若所述梯度标志取值为第四取值，则确定采用不以所述至少一亮度像素的梯度进行计算的预测模式。

2.如权利要求1所述的处理方法，其特征在于，所述中间预测结果包括第一中间预测结果和/或第二中间预测结果；和/或，所述根据中间预测结果确定或生成预测结果，包括：

对第一中间预测结果和第二中间预测结果进行加权处理，以确定或生成预测结果。

3.如权利要求2所述的处理方法，其特征在于，还包括以下至少一项：

第一中间预测结果根据至少一第一亮度值确定或生成；

第二中间预测结果根据至少一亮度像素的梯度值确定或生成；

加权处理的权重根据第一中间预测结果和第二中间预测结果对应的失真程度确定或生成。

4.如权利要求1至3中任一项所述的处理方法，其特征在于，还包括以下至少一项：

所述位置信息根据至少一位置缩放信息确定或生成；

所述下采样亮度像素通过对亮度像素进行下采样处理得到或生成。

5.如权利要求1至3中任一项所述的处理方法，其特征在于，所述步骤S10之前，还包括：

根据亮度像素所处亮度块的尺寸，获取或确定第一像素标志；

若所述第一像素标志为第一值，则所述步骤S10包括：直接根据所述亮度像素确定或生成所述预测结果；

或者若所述第一像素标志为第二值，则所述步骤S10包括：针对所述亮度像素进行下采样处理得到下采样亮度像素，并根据所述下采样亮度像素的第二亮度值确定或生成预测结果。

6.一种处理设备，其特征在于，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。

7.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。