CN117979010A - 图像处理方法、处理设备及存储介质 - Google Patents

图像处理方法、处理设备及存储介质 Download PDF

Info

Publication number
CN117979010A
CN117979010A CN202410294646.9A CN202410294646A CN117979010A CN 117979010 A CN117979010 A CN 117979010A CN 202410294646 A CN202410294646 A CN 202410294646A CN 117979010 A CN117979010 A CN 117979010A
Authority
CN
China
Prior art keywords
pixel
predicted
block
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410294646.9A
Other languages
English (en)
Inventor
刘雨田
霍永凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Shenzhen Transsion Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Transsion Holdings Co Ltd filed Critical Shenzhen Transsion Holdings Co Ltd
Priority to CN202410294646.9A priority Critical patent/CN117979010A/zh
Publication of CN117979010A publication Critical patent/CN117979010A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提出了一种图像处理方法、处理设备及存储介质，图像处理方法包括：根据利用矢量信息确定的参考像素和第一参数，确定或得到所述待预测像素。通过本申请技术方案，可以降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。

Description

图像处理方法、处理设备及存储介质
本申请为申请号为202311071925.0的分案申请，母案的申请日为：2023年8月24日；母案的发明创造名称为：图像处理方法、处理设备及存储介质。
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、处理设备及存储介质。
背景技术
在图像编解码技术的发展过程中，各种编解码标准所做出的改进都在致力于从不同方面提升图像的编解码效果。而在图像编解码过程中对图像的颜色分量进行预测也是当前研究的热点问题。
在构思及实现本申请过程中，发明人发现至少存在如下问题：一些实现中，对当前待预测像素进行颜色分量(例如亮度分量或色度分量)的预测，是依据该像素所处待预测块之外的像素来进行，如此会使得最终得到的预测块与其对应的残差块的残差取值较大，从而降低了图像编解码过程中的压缩效率。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
针对上述技术问题，本申请提供一种图像处理方法、处理设备及存储介质，可以降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。
本申请提供一种图像处理方法，可应用于处理设备(如智能终端或服务器)，包括以下步骤：
根据利用矢量信息确定的参考像素和第一参数，确定或得到所述待预测像素。
可选地，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
可选地，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
本申请提供一种图像处理方法，可应用于处理设备(如智能终端或服务器)，包括以下步骤：
根据已编码图像块中确定的参考像素和第一参数，确定或得到所述待预测像素。
可选地，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
可选地，所述已编码图像块为根据率失真优化或图像匹配算法确定的图像块。
可选地，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
本申请提供一种图像处理方法，可应用于处理设备(如智能终端或服务器)，包括以下步骤：
根据与待预测像素和/或与所述待预测像素的同位像素相邻的参考像素和第一参数，确定或得到所述待预测像素。
可选地，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
可选地，所述参考像素包括相邻重建像素和/或相邻预测像素。
可选地，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
本申请还提供一种处理设备，包括：存储器、处理器，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。
本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。
如上所述，本申请的图像处理方法，可应用于处理设备，通过获取或确定参考像素和第一参数，从而根据该参考像素和第一参数确定或得出待预测像素。通过上述技术方案，可以在图像编解码过程中，有效降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种智能终端的硬件结构示意图；
图2为本申请实施例提供的一种通信网络系统架构图；
图3是卷积交叉分量模型CCCM所涉及的输入像素的分布的示意图；
图4是基于梯度和位置的卷积跨分量模型的帧内色度预测GL-CCCM所涉及的输入像素的分布的示意图；
图5A是本申请实施例提供的图像处理方法涉及的图像编码器的示意图；
图5B是本申请实施例提供的图像处理方法涉及的图像解码器的示意图；
图6是根据第一实施例示出的图像处理方法的流程示意图；
图7a至图7c均是根据第三实施例示出的图像处理方法涉及的待预测像素与参考像素之间的组合示意图；
图8是根据第三实施例示出的图像处理方法涉及的待预测像素的组合示意图；
图9a至图9f均是根据第三实施例示出的图像处理方法涉及的待预测像素组合与参考像素之间的位置关系示意图；
图10是根据第三实施例示出的图像处理方法涉及的不能作为参考像素的情况示意图；
图11a至图11c均是根据第三实施例示出的图像处理方法涉及的待预测像素与参考像素的位置情况示意图；
图12是根据第三实施例示出的图像处理方法涉及的块矢量BV与参考块的示意图；
图13是根据第三实施例示出的图像处理方法涉及的确定参考块中参考像素的示意图；
图14a和图14b均是根据第三实施例示出的图像处理方法涉及的参考像素示意图；
图15是根据第三实施例示出的图像处理方法涉及的确定参考像素的示意图；
图16是根据第三实施例示出的图像处理方法涉及的通过运动矢量MV确定参考块的示意图；
图17是根据第三实施例示出的图像处理方法涉及的确定参考块中参考像素的示意图；
图18a至图18d均是根据第四实施例示出的图像处理方法涉及的第一系数确定参考像素与第二系数确定参考像素的示意图；
图19是根据第三实施例示出的图像处理方法涉及的确定第一系数确定参考像素与第二系数确定参考像素的示意图；
图20是根据第三实施例示出的图像处理方法涉及的确定第一系数确定参考像素与第二系数确定参考像素的示意图；
图21是根据第三实施例示出的图像处理方法涉及的确定第一系数确定参考像素与第二系数确定参考像素的示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，在本文中，术语“包括”、“包含”或其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或是还包括为这种过程、方法、物品或装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或装置中还存在另外的相同要素，和/或，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或进一步结合该具体实施例中上下文进行确定。
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语″如果″可以被解释成为″在……时″或″当……时″或″响应于确定″。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或多个阶段，这些子步骤或阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或其他步骤的子步骤或阶段的至少一部分轮流或交替地执行。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，在本文中，采用了诸如S10等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行其它步骤后执行S10等，但这些均应在本申请的保护范围之内。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本申请中提及的处理设备，可以是服务器，也可以是智能终端，智能终端可以以各种形式来实施。例如，本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端，以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或组合某些部件，或不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍：
射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。和/或，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access，宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)、TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进）、5G和6G等。
WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或干扰。
移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器2触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。和/或，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。
可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。和/或，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。
为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。
可选地，UE201可以是上述终端100，此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络系统(如6G)等，此处不做限定。
基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。
本申请提出了一种图像处理方法，可以根据第一分量的参考像素，确定或得到待预测像素的第一分量和/或第二分量的预测结果。如此，通过获取或确定第一分量的参考像素，从而根据该参考像素确定或得出待预测像素第一分量和/或第二分量预测结果。可以在图像编解码过程中，有效降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。
为便于理解，下面先对本申请可能涉及到的专业术语进行解释。
(一)预测模式
在对图像进行编码或者解码的过程中，对图像块进行预测都是一个必不可少的步骤。例如，编码器通过对图像块进行预测得到预测块，构造能量较小的残差块，减少传输比特；解码器通过熵解码得到残差块，以及将残差块和通过在解码器中预测得到的预测块来得到解码图像块来实现图像的解码。而编码器或者解码器对图像块的预测都可以通过一些预设的预测模式实现，该预测模式可以包括帧间预测的模式和帧内预测的模式。
(二)卷积交叉分量模型CCCM
卷积交叉分量模型CCCM使用滤波器从已经重建的亮度像素中预测当前图像块的色度。可选地，CCCM使用的滤波器由5抽头呈现加号形状空间分布的亮度像素、非线性项和偏置项组成。可选地，滤波器的5抽头呈现加号形状空间分布的亮度像素为输入像素，包括中心(C)亮度像素，以及中心(C)亮度像素的上方采样(也称为北方采样，N)、下方采样(也称为南方采样，S)、左侧采样(也称为西方采样，W)和右侧采样(也称为东方采样，E)。这些输入像素具体如图3所示。
非线性项P表示为中心(C)亮度采样的二次方，并缩放到视频图像内容的像素值的取值范围：P＝(C*C+midVal)＞＞位深度，可选地，对于10比特深度视频图像来说，P＝(C*C+512)＞＞10。
偏置项B表示滤波器的输入和输出之间的标量偏移，可选地，偏置项B被设置为中间色度值。对于10位比特深度视频图像来说，中间色度值为512。
滤波器的输出被计算为滤波器系数ci和输入值之间的卷积，并且被剪裁到有效色度采样的范围：
predChromaVal＝c0*C+c1*N+c2*S+c3*E+c4*W+c5*P+c6*B
(三)基于梯度和位置的卷积跨分量模型的帧内色度预测GL-CCCM
基于梯度和位置的卷积交叉分量模型GL-CCCM使用梯度和位置信息来代替CCCM滤波器中的4个空间相邻采样。可选地，用于预测的GL-CCCM滤波器为：
predChrmaVal＝c0*C+c1*Gy+c2*Gx+c3*Y+c4*X+c5*P+c6*B
其中，Gy和Gx分别为垂直梯度和水平梯度，结合图4所示用于GL-CCCM的空间采样，该Gy和Gx各自的计算公式如下所示：
Gy＝(2N+NW+NE)-(2S+SW+SE)；
Gx＝(2W+NW+SW)-(2E+NE+SE)。
可选地，Y和X参数是中心(C)亮度采样的垂直和水平位置。
可选地，该Y和X参数可以是相对于图像块的左上角坐标进行计算得到。
需要说明的是，本申请中“相邻”是指，空间上毗连。即，a物体在b物体中间无其他物体。例如，相邻采样/像素是指，两个采样/像素空间上毗连；相邻区域是指，两个区域空间上毗连等。例如，图4中的围绕采样C的采样N、E、W、S、NW、NE、SW、SE均为采样C的相邻采样。
可选地，请参见图5A和图5B，图5A是图像处理方法涉及的图像编码器的示意图，图5B则是图像处理方法涉及的图像解码器的示意图。如图5A所示，编码端的编码器通常将输入的视频图像按帧分割为至少一个图像块进行处理，每个图像块可以与通过预测模式预测得到的预测块相减得到残差块，再对残差块和预测模式的相关参数进行一系列处理得到编码的比特流。之后，在解码端，如图5B所示，解码器接收到比特流后即可通过解析该比特流得到预测模式参数。进而，解码器的逆变换单元与逆量化单元将变换系数进行逆变换和逆量化处理，得到残差块。可选地，解码器的解码单元会解析并解码已编码的比特流，得到预测参数以及相关辅助信息。接下来，解码器的预测处理单元利用预测参数进行预测处理，从而确定对应于残差块的预测块。如此，解码器即可通过将得到的残差块和对应的预测块相加得到重建块。可选地，解码器的环路滤波单元将重建块进行环路滤波处理以减少失真，改善视频质量。从而，经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。
可选地，本申请提供的图像处理方法可以应用于上述视频图像编码过程中对图像块进行色度预测和/或亮度预测的场景。例如，图像编码过程中帧内预测的场景和图像编码中帧间预测的场景。可选地，本申请提供的图像处理方法也可用于视频解码过程中对待解码的图像块进行色度预测和/或亮度预测的场景。例如，图像解码过程中帧内预测的场景和图像解码过程中帧间预测的场景。
第一实施例
在本实施例中，图像处理方法的执行主体可以是上述的处理设备，或者是由上述多个处理设备构成的集群，该处理设备可以是智能终端(如前述的移动终端100)也可以是服务器。此处，以处理设备作为图像处理方法第一实施例中的执行主体，来对图像处理方法进行说明。
如图6所示，图6是根据第一实施例示出的图像处理方法的流程示意图，在本实施例中，图像处理方法包括步骤：
S10：根据第一分量的参考像素，确定或得到待预测像素的第一分量和/或第二分量的预测结果。
可选地，处理设备在针对图像进行编码或者解码处理的过程中，采用帧间预测模式和/或帧内预测模式来针对当前待处理的图像块中的待预测像素进行色度预测和/或亮度预测时，首先获取或者确定至少一个第一分量的参考像素，然后根据该参考像素的像素值来针对第一分量和/或第二分量的该待预测像素进行预测，从而确定或得到第一分量和/或第二分量的该待预测像素的预测结果。
可选地，处理设备在针对图像进行编码或者解码处理的过程中，采用帧间预测模式和/或帧内预测模式来针对当前待处理的图像块中的待预测像素进行色度预测和/或亮度预测时，首先获取或者确定至少一个第一分量的参考像素和至少一个第二分量的参考像素，然后根据该第一分量参考像素的像素值和该第二分量的像素值来针对第一分量或第二分量的该待预测像素进行预测，从而确定或得到第一分量或第二分量的该待预测像素的预测结果。
可选地，在本申请中，图像块可以是输入视频图像(即视频帧)中，正在进行编码或者解码从而需要进行色度预测和/或亮度预测的图像区域。图像块也可以是待进行编码的图像区域，或者已重建或已解码的图像区域。可选地，当前正在进行编码或者解码处理的图像块也可以简称为当前块、当前单元或者当前处理块。可选地，参考像素可以称之为参考采样，而待预测像素则也可称之为待预测像素。在H.265/高效率视频编码(High EfficiencyVideo Coding，HEVC)标准下，参考像素和待预测像素都可以是输入视频图像中的一个编码树单元(Coding Tree Units，CTU)或者是编码单元(Code Unit，CU)中的一个像素或者采样。本申请对图像块、参考像素和待预测像素的定义或种类不做具体限制。
可选地，第一分量为亮度分量或色度分量。可选地，处理设备在针对图像块中的待预测像素进行色度预测和/或亮度预测时，可以获取或者确定至少一个已知亮度分量的参考像素，从而根据该参考像素的像素值来针对该待预测像素进行预测。可选地，处理设备也可以根据至少一个已知色度分量的参考像素的像素值，来针对该待预测像素进行预测。
可选地，第二分量为亮度分量或色度分量。可选地，处理设备可以根据已知亮度分量或已知色度分量的参考像素，来针对该待预测像素的亮度分量进行预测得到亮度分量预测结果。可选地，处理设备可以根据已知亮度分量或已知色度分量的参考像素，来针对该待预测像素的色度分量进行预测得到色度分量预测结果。
可选地，在第一分量为亮度分量或色度分量，和/或，第二分量为亮度分量或色度分量的情况下，处理设备可以通过已知亮度分量的参考像素，进行以下任一预测：
1、预测待预测像素的亮度分量；
2、预测该待预测像素的色度分量；
3、同时预测该待预测像素的亮度分量和色度分量。
可选地，处理设备还可以通过已知色度分量的参考像素，进行以下任一预测：
1、预测待预测像素的色度分量；
2、预测该待预测像素的亮度分量；
3、同时预测该待预测像素的亮度分量和色度分量。
可选地，第一分量和第二分量为不同的像素分量。可选地，处理设备可以根据已知亮度分量的参考像素，来针对该待预测像素的色度分量进行预测得到色度分量预测结果。可选地，处理设备可以根据已知色度分量的参考像素，来针对该待预测像素的亮度分量进行预测得到亮度分量预测结果。
可选地，在本实施例以及前后文所阐述的其它各个实施例中，处理设备作为编码器在从视频源处接收到视频图像之后，即针对该视频图像进行分割得到至少一个图像块。而处理设备在采用帧内预测模式(尤其是跨分量帧内预测模式)针对该当前的图像块进行色度预测和/或亮度预测时，即可确定该图像块为当前待处理的图像块。之后，处理设备将该图像块中需要预测色度分量和/或亮度分量的像素作为待预测像素，然后直接利用至少一个与该图像块相邻和/或处于该图像块中，且已知色度分量或者亮度分量的参考像素的像素值(色度值或者亮度值)，来对该待预测像素的色度分量和/或亮度分量进行预测，从而得到该待预测像素的色度分量预测结果和/或亮度分量预测结果。
可选地，处理设备作为编码器可以使用例如率失真优化算法来确定当前图像块最终采用的帧内预测模式。可选地，处理设备可通过计算每一种预测模式对应的率失真代价，以从多种预测模式分别对应的率失真代价中确定最小率失真代价，最小率失真代价对应的预测模式即为当前的图像块最终采用的预测模式。即，假定关于当前要进行色度预测的图像块的预测处理，可以使用的预测模式为色度帧内预测模式0-N(可选地，包括跨分量帧内预测模式)，而处理设备在计算到进行色度预测的最小率失真代价对应的预测模式为其中的模式i时，处理设备即将该模式i确定为最终用于对当前待处理的图像块进行色度预测的帧内预测模式。可选地，i＝0，...，N。
可选地，处理设备在依据上述过程，以逐个像素进行预测的方式确定或者得出图像块中待预测像素的色度分量和/或亮度分量之后，作为编码器的处理设备可进一步将当前图像块中的像素的像素值，减去预测处理到的预测图像块中对应像素的预测值(即图像块的图像块色度信息)，以得到像素的残差值以及图像块对应的残差块。之后，残差块会经过变换和量化处理，再由熵编码器进行编码最后形成已编码的比特流。可选地，已编码的比特流中还可以包括处理设备通过上述过程确定的帧内预测模式对应的预测参数(经过熵编码后被打包至已编码的比特流中)以及相关辅助信息(side information)。可选地，若处理设备采用的是跨分量帧内预测模式，则上述的预测参数即至少包括关于采用跨分量帧内预测模型进行预测操作的指示信息。
可选地，已变换已量化的残差块会和利用预测模式得到的对应的预测图像块(也称为预测块)进行相加得到重建图像块(也称为重建块)。而在得到重建图像块之后，处理设备还会对重建图像块进行环路滤波处理以减少失真。
可选地，处理设备作为解码器时即可接收到上述作为编码器的处理设备传递的已编码的比特流，而处理设备在作为解码器接收到已经通过编码器编码的比特流之后，解码器的解码单元会解析并解码该比特流得到预测参数。可选地，解码器的逆变换单元与逆量化单元将变换系数进行逆变换和逆量化处理以得到残差块。接下来，解码器的预测处理单元即可将该残差块作为当前需要进行解码处理的当前处理块，并利用预测参数进行预测处理，从而确定对应于该残差块的预测块。
可选地，解码器在采用与编码器所使用相同的帧内预测模式时，可利用解析比特流得到的预测参数来获取或者确定当前对待处理的图像块进行色度预测和/或亮度预测需要采用的预测模式(例如当预测参数指示对应的预测模式为跨分量帧内预测模式时，解码器即将跨分量帧内预测模式作为对解码得到的残差块进行色度预测和/或亮度预测的帧内预测模式)。从而，解码器即直接使用该帧内预测模式来利用至少一个与该图像块相邻和/或处于该图像块中的、且已知色度分量或者亮度分量的参考像素的像素值(色度值或者亮度值)，来对该待预测像素的色度分量和/或亮度分量进行预测，从而得到该待预测像素的色度分量预测结果和/或亮度分量预测结果。
可选地，作为解码器的处理设备在通过逐像素方式(也称为逐采样方式)，确定或者得出图像块中至少一个待预测像素的色度分量预测结果和/或亮度分量预测结果。可选地，确定或者得出该图像块的色度信息和/或亮度信息之后，处理设备可进一步将解析得到的残差块和预测到的预测图像块中对应像素的预测值(图像块的图像块色度信息和/或亮度信息)相加，以得到重建块。最后，处理设备还通过环路滤波单元将重建块进行环路滤波处理，以减少失真改善视频质量。而经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。
可选地，在本实施例以及前后文所阐述的其它各个实施例中，处理设备作为编码器或者解码器对当前的图像块(例如，色度块)进行预测使用的预测模式可以为如公式(1)所示的卷积跨分量帧内预测模型CCCM：
predChromaVal＝c0*C+c1*N+c2*S+c3*E+c4*W+c5*P+c6*B公式(1)
可选地，以色度预测为例，predChromaVal为待处理的图像块中待预测像素的色度预测值，c0～c6为滤波器系数，C为待预测色度像素的同位亮度像素的亮度值，N为同位亮度像素上方/北方相邻的亮度像素的亮度值，S为同位亮度像素下方/南方相邻的亮度像素的亮度值，E为同位亮度像素右侧/东方相邻的亮度像素的亮度值，W为同位亮度像素左侧/西方相邻的亮度像素的亮度值，P为非线性项。B为偏置项，其代表输入和输出之间的标量偏移(对于10比特深度的视频，B设置为色度中值，即512)，P＝(C*C+midVal)＞＞bitDepth(midVal为色度像素的色度中值，bitDepth为视频内容的比特深度)。N，S，E，W与C的位置关系如图3所示。
可选地，处理设备为了利用上述公式(1)所示的CCCM模型进行色度帧内预测处理，就需要确定公式(1)中的滤波器系数c0～c6和C，N，S，E，W，P，B的亮度值，然后才能再基于公式(1)得到待预测色度采样predChromaVal的色度预测结果。可选地，处理设备确定公式(1)中滤波器系数的方式即可为：从当前需要进行色度预测的图像块所处图像帧内，获取或者确定至少一参考区域，并根据该至少一参考区域中的亮度/色度像素的采样值来确定滤波器系数。可选地，进行色度预测时获取或者确定的是至少一亮度参考区域。可选地，进行色度预测时获取或者确定的是至少一色度参考区域。
在本实施例中，图像处理方法通过处理设备在对图像块的色度分量和/或亮度分量进行预测时，利用至少一个已知色度分量或者亮度分量的参考像素的像素值，来对该待预测像素的色度分量和/或亮度分量进行预测。即，本申请技术方案充分考虑了待预测像素和已知色度分量或者亮度分量的参考像素之间的相关性，从而可以在图像编解码过程中，有效地降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。
第二实施例
在本实施例中，仍然以处理设备作为执行主体，来对图像处理方法进行说明。在上述任一实施例基础上，上述参考像素的确定方式可以包括以下至少一项：
第一方式：根据待预测像素的相邻像素或者待预测像素的同位像素的相邻像素确定参考像素。
可选地，处理设备在根据已知色度分量或者亮度分量的参考像素，来针对当前待处理的图像块中的色度分量和/或亮度分量的待预测像素进行预测时，该处理设备可首先根据该待预测像素的相邻像素，来获取或者确定该已知色度分量或者亮度分量的参考像素。
可选地，处理设备在根据已知色度分量或者亮度分量的参考像素，来针对当前待处理的图像块中的色度分量和/或亮度分量的待预测像素进行预测时，该处理设备可首先根据该待预测像素的同位像素的相邻像素，来获取或者确定该已知色度分量或者亮度分量的参考像素。上述同位像素可以为与待预测像素位置相同，但是属于不同颜色分量类型的像素。例如，若待预测像素为色度分量像素，则待预测像素的同位像素为与上述色度分量像素位置相同的亮度分量像素。
第二方式：根据矢量信息确定参考像素。
可选地，处理设备在根据已知色度分量或者亮度分量的参考像素，来预测当前待处理的图像块中的色度分量和/或亮度分量的待预测像素时，该处理设备可以先根据一矢量信息(例如，块矢量)在待预测像素所处的同一帧图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，处理设备还可以根据一矢量信息(例如，运动矢量)在待预测像素所处图像的参考图像(也称为参考帧)内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，参考图像可以为待预测像素所处图像的前一帧图像或者后一帧图像。
第三方式：根据已编码图像块确定参考像素。
可选地，处理设备在根据已知色度分量或者亮度分量的参考像素，来预测当前待处理的图像块中的待预测像素的色度分量和/或亮度分量时，该处理设备可以先从待预测像素所处的同一帧图像内，获取或者确定至少一个已编码图像块或已编码/已解码图像区域，然后从该已编码图像块或已编码/已解码图像区域中获取或者确定已知色度分量或者亮度分量的参考像素。该已编码图像块或已编码/已解码图像区域与当前待处理的图像块不相邻/相邻。可选地，处理设备还可以从待预测像素所处图像的前一帧图像或者后一帧图像内，来获取或者确定至少一个已编码图像块或已编码/已解码图像区域，然后再从该已编码图像块或已编码/已解码图像区域中获取或者确定参考像素。可选地，已编码/已解码图像区域可以是在编码端通过运动估计处理来确定的图像区域。可选地，已编码/已解码图像区域可以是在解码端通过运动矢量/块矢量来确定的图像区域。
可选地，处理设备可以将上述的第一方式和第二方式进行组合来确定已知亮度分量或者色度分量的参考像素。可选地，通过第一方式确定参考像素a0～an以及通过第二方式确定参考像素b0～bm。m和n为整数。可选地，处理设备通过待预测像素的相邻像素确定参考像素a0～an，和/或，通过矢量信息确定参考像素b0～bm。矢量信息包括运动矢量和/或块矢量。接下来，将参考像素a0～an和参考像素b0～bm作为最终采用的参考像素，来进一步确定待预测像素的第一分量和/或第二分量的预测结果。
可选地，处理设备还可以仅将上述的第一方式和第三方式进行组合来确定已知亮度分量或者色度分量的参考像素。可选地，通过第一方式确定参考像素a′0～a′n以及通过第三方式确定参考像素b′0～b′m。m和n为整数。可选地，处理设备通过待预测像素的相邻像素确定参考像素a′0～a′n，并且通过在当前待处理的图像块不相邻的图像块或图像区域中确定参考像素b′0～b′m。接下来，将参考像素a′0～a′n和参考像素b′0～b′m作为最终采用的参考像素，来进一步确定待预测像素的第一分量和/或第二分量的预测结果。可选地，相邻像素可以为与待预测像素在同一图像块中的像素(例如，经过预测处理的像素)，也可以为与上述同一图像块(待预测像素所处的图像块)相邻的图像块中的像素(例如，经过重建处理的像素)。
可选地，处理设备还可以将上述的第一方式、第二方式和第三方式进行组合来确定已知亮度分量或者色度分量的参考像素。可选地，通过第一方式确定参考像素a″0～a″n；通过第二方式确定参考像素b″0～b″n；以及通过第三方式确定参考像素c″0～c″l。l，m和n为整数。接下来，将参考像素a′0～a′n、参考像素b′0～b′m、和参考像素c″0～c″l作为最终采用的参考像素，来进一步确定待预测像素的第一分量和/或第二分量的预测结果。
可选地，上述实施例中的变量l，m，n中的至少两个变量的取值可以相同，或者三个变量的取值都相同。
可选地，在本申请中，处理设备还可以仅将上述的第二方式和第三方式进行组合来确定已知亮度分量或者色度分量的参考像素。可选地，处理设备可通过矢量信息确定至少一个已编码图像块，然后从该已编码图像块当中获取或确定至少一个已知亮度分量或者色度分量的像素作为参考像素。可选地，处理设备通过第二方式确定参考像素a″0～a″n；以及通过第二方式确定参考像素b″0～b″n。m和n为整数。接下来，将参考像素a′0～a′n和参考像素b′0～b′m作为最终采用的参考像素，来进一步确定待预测像素的第一分量和/或第二分量的预测结果。
可选地，图像处理方法还可以包括以下至少一项：
第一方式包括：根据位于待预测像素或者待预测像素的同位像素上方和/或左侧的相邻像素确定参考像素。
可选地，处理设备在根据待预测像素的相邻像素，来获取或者确定已知色度分量或者亮度分量的参考像素时，可以从位于该待预测像素上方和/或左侧的相邻像素当中，确定该参考像素。可选地，也可以从位于该待预测像素周围的相邻像素(例如，上方、下方、左侧、右侧)当中，确定该参考像素。可选地，在根据第一分量的参考像素，确定或得到待预测像素的第一分量的预测结果的步骤中(即，同分量预测处理中)，由于光栅扫描的处理顺序，当对待预测像素进行预测处理时，在待预测像素所处在图像中位于该待预测像素的下方或右侧的相邻像素的像素值是未知的，其原因在于该待预测像素的下方或右侧的相邻的像素还未经过重建处理或预测处理。因此，在利用参考像素来预测与参考相同像素分量的待预测像素的情况下，若将待预测像素的下方像素和/或右侧像素来确定或得到待预测像素的像素值，则需要通过块矢量或运动矢量在参考图像中或当前图像(即，待预测像素所出的图像)中确定一已编码/已解码图像块，并在该已编码/已解码图像块(或图像区域)中确定至少一像素，并将该至少一像素的像素值作为待预测像素的下方像素和/或右侧像素的填充值来进行预测处理。
可选地，待预测像素的相邻像素，与该待预测像素位于相同的图像块当中。可选地，待预测像素的相邻像素，位于与该待预测像素所处待处理的图像块相邻的已编码图像块或者重建图像块当中。
可选地，处理设备在根据待预测像素的同位像素的相邻像素，来获取或者确定已知色度分量或者亮度分量的参考像素时，可以从位于该待预测像素的同位像素上方和/或左侧的相邻像素当中，确定该参考像素。可选地，也可以从位于该待预测像素的同位像素周围的相邻像素(例如，上方、下方、左侧、右侧)当中，确定该参考像素。可选地，在根据第一分量的参考像素，确定或得到待预测像素的第二分量的预测结果的步骤中(即，跨分量预测处理中)，由于光栅扫描的处理顺序，当对待预测像素进行预测处理时，在待预测像素所处在图像中位于该待预测像素的同位像素下方或右侧的相邻像素的像素值是未知的，其原因在于该待预测像素的同位像素下方或右侧的相邻的像素还未经过重建处理或预测处理。因此，在利用参考像素来预测与参考不同像素分量的待预测像素的情况下，若将待预测像素的同位像素下方像素和/或右侧像素来确定或得到待预测像素的像素值，则需要通过块矢量或运动矢量在参考图像中或当前图像(即，待预测像素所出的图像)中确定一已编码/已解码图像块，并在该已编码/已解码图像块(或图像区域)中确定至少一像素，并将该至少一像素的像素值作为待预测像素的同位像素下方像素和/或右侧像素的填充值来进行预测处理。上述确定出的像素的像素分量和待预测像素的像素分量不同。
可选地，待预测像素的相邻像素，与该待预测像素位于相同的图像块当中。可选地，待预测像素的相邻像素，位于与该待预测像素所处待处理的图像块相邻的已编码图像块或者重建图像块当中。
第二方式包括：根据矢量信息和待预测像素的位置信息确定参考像素。
可选地，处理设备在根据一矢量信息获取或者确定该已知色度分量或者亮度分量的参考像素时，可以根据该矢量信息和待预测像素的位置，在该待预测像素所处的当前图像、该当前图像的前一帧图像或者该当前图像的后一帧图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，矢量信息为块矢量或运动矢量。例如，在解码器中，若在当前图像中的待预测像素的位置为(x0，y0)，块矢量为(xbv，ybv)，则参考像素的位置为(x0+xbv，y0+xbv)。又例如，在解码器中，若在当前图像中的待预测像素的位置为(x0，y0)，运动矢量为(xmv，ymv)，则在该当前图像的前一帧图像或者该当前图像的后一帧图像中的参考像素的位置为(x0+xmv，y0+xmv)。
确定参考像素位置和参考像素的像素值中的至少一个，即为确定第二方式中的确定参考像素。
第二方式包括：根据矢量信息和待预测像素所处图像块的位置信息确定参考像素。
可选地，处理设备在根据一矢量信息获取或者确定该已知色度分量或者亮度分量的参考像素时，还可以根据该矢量信息和待预测像素所处的图像块的位置信息，来确定参考像素。
可选地，可以根据该矢量信息和待预测像素所处的图像块的位置信息，在该待预测像素所处的当前图像、该当前图像的前一帧图像或者该当前图像的后一帧图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。
例如，可以根据块矢量和待预测像素所处的图像块的位置信息，在该待预测像素所处的当前图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，根据待预测块的位置信息确定待预测像素的位置信息，以及根据块矢量和待预测像素的位置信息确定参考像素。可选地，若在当前图像中所处的图像块所处的图像块的位置为(x1，y1)，并且待预测像素为待预测块中的第1行第2列的像素，则待预测像素的位置为(x1+1，y1+2)。可选地，若块矢量为(xbv1，ybv1)，则参考像素的位置为(x1+xbv+1，y1+xbv+2)。确定出参考像素的位置之后，可以进一步确定参考像素的像素值。
又例如，可以根据运动矢量和待预测像素所处的图像块的位置信息，在该待预测像素所处的该当前图像的前一帧图像或者该当前图像的后一帧图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，根据待预测块的位置信息确定待预测像素的位置信息，以及根据运动矢量和待预测像素的位置信息确定参考像素。可选地，若在当前图像中所处的图像块所处的图像块的位置为(x′1，y′1)，并且待预测像素为待预测块中的第1行第2列的像素，则待预测像素的位置为(x′1+1，y′1+2)。可选地，若运动矢量为(xmv1，ymv1)，则参考像素的位置为(x′1+xmv+1，y′1+xmv+2)。确定出参考像素的位置之后，可以进一步确定参考像素的像素值。
第三方式包括：在已编码图像块中确定待预测像素位置对应的像素作为参考像素。
可选地，处理设备在从已编码图像块中获取或者确定参考像素时，可以根据待预测像素的位置信息，在该已编码图像块当中确定出至少一个与该待预测像素位置对应，且已知色度分量或者亮度分量的像素，从而将该像素作为参考像素。
可选地，该位置信息指示待预测像素在所处的图像块中的位置。例如，若待预测像素为待预测块中的第1行第2列的像素，则该待预测像素的相对位置信息可以用坐标(1，2)表示。已编码图像块的确定方式的一实施方式为，在当前图像的已编码区域中设置一预定尺寸的区域。之后，在该预测尺寸的区域中搜索或确定出上述已编码图像块。例如，该预定尺寸的区域可以位于待预测像素所处图像块的左侧或上方，该预测尺寸大于待预测图像块所处的图像块的尺寸，该已编码图像块的尺寸大于或等于该待预测像素所处的图像块的尺寸。
可选地，根据上述已编码块的位置，确定出对应的参考像素。例如，若上述已编码块的位置坐标为(xcb，ycb)，则在已编码图像块中的参考像素的位置信息可以为(xcb+1，ycb+2)。
可选地，搜索或确定出上述已编码图像块的方式可以为根据率失真优化算法，从至少一个候选图像块中确定一候选图像块作为已编码图像块。可选地，也可以根据率失真优化算法，从至少一个候选图像块中确定至少一个候选图像块，并通过将该至少一个候选图像块进行融合处理得到的图像块作为已编码图像块(下文中称为目标图像块、参考图像块)。从至少一个候选图像块中确定至少一个候选图像块的顺序可以为光栅扫描的顺序，也可以为预先定义的搜索顺序。
融合处理可以为通过至少一个待融合处理的图像块产生一个目标图像块的过程。例如，融合处理可以为通过求至少一个待融合处理的图像块中的各对应位置像素的平均像素值，得到像素值为各个像素平均值的图像块，并将该图像块作为目标图像块。又例如，融合处理可以为通过将至少一个待融合处理的图像块进行滤波处理，得到一个滤波后的图像块，并将该图像块作为目标图像块。
可选地，搜索或确定出上述已编码图像块的方式可以为，在已编码区域中，确定尺寸等于该待预测像素所处的图像块尺寸的至少一个候选图像块，并根据图像匹配算法，确定至少一个候选图像块与该待预测像素所处的图像块的匹配程度/差异程度，从至少一个候选图像块中确定一候选图像块作为已编码图像块。匹配程度/差异程度可以利用系数之间的绝对差值之和(Sum of Absolute Differences，SAD)、频域变换后的系数之间的绝对差值(Sum of Absolute Transformed Differences，SATD)等算法来确定。
可选地，也可以通过矢量信息(例如，块矢量和/或运动矢量)来确定已编码图像块，并根据确定的已编码图像块确定待预测像素位置对应的像素作为参考像素。例如，若在当前图像中所处的图像块所处的图像块的位置为(x1，y1)，并且若块矢量为(xbv1，ybv1)，则已编码图像块的位置为(x1+xbv1，y1+ybv1)。关于通过矢量信息确定已编码图像块的相关实施例的详细描述可以参见下文中关于图12所示的内容。又例如，若在当前图像中所处的图像块所处的图像块的位置为(x1，y1)，并且若运动矢量为(xmv1，ybm1)，则在参考图像中的已编码图像块的位置为(x1+xmv1，y1+ymv1)。参考图像可以为该当前图像的前一帧图像或者该当前图像的后一帧图像。
可选地，图像处理方法还可以包括以下至少一项：
相邻像素包括相邻重建像素和/或相邻预测像素；
已编码图像块为根据率失真优化或图像匹配算法确定的图像块。
可选地，上述位于待预测像素上方和/或左侧的相邻像素，可以仅为处理设备已进行重建处理的图像块当中，位置上与该待预测像素相邻的重建像素。具体内容可进一步参见图11a对应描述的相关段落。重建像素可以为亮度分量的重建像素，也可以为色度分量的重建像素。可选地，将预测像素和残差像素相加得到重建像素。上述过程为重建处理过程。在编码器和解码器中均可执行重建过程。可选地，上述的相邻像素还可以仅为待预测像素所处当前待处理的图像块当中，已经预测得到的位置与该待预测像素相邻的预测像素。也就是说，相邻预测像素与待预测像素均在当前待处理的图像块中。该预测像素可以为预测得到的亮度分量的预测像素，也可以为预测得到的色度分量的预测像素。具体内容可进一步参见图11b对应描述的相关段落。可选地，上述的相邻像素还可以同时为上述的重建像素和预测像素。可选地，位置上与该待预测像素相邻的重建像素位于待预测像素所处的图像块之外，而位置与该待预测像素相邻的预测像素则位于该待预测像素所处的图像块内。例如，位于待预测像素上方的相邻像素为待预测像素所处当前待处理的图像块中已经预测得到亮度分量或者色度分量的预测像素，而位于待预测像素左侧的相邻像素为已进行重建处理的图像块(即，重建块)当中，位置上与该待预测像素相邻的重建像素。具体内容可进一步参见图11c对应描述的相关段落。又例如，位于待预测像素左侧的相邻像素为待预测像素所处当前待处理的图像块中已经预测得到亮度分量或者色度分量的预测像素，而位于待预测像素上方的相邻像素为已进行重建处理的图像块(即，重建块)当中，位置上与该待预测像素相邻的重建像素。
可选地，处理设备可以根据率失真优化算法从待预测像素所处的同一帧图像(也可以是待预测像素所处图像的前一帧图像或者后一帧图像)内，获取或者确定至少一个已编码图像块。可选地，也可以根据率失真优化算法，从至少一个候选图像块中确定一候选图像块作为已编码图像块。可选地，也可以根据率失真优化算法，从至少一个候选图像块中确定至少一个候选图像块，并通过将该至少一个候选图像块进行融合处理得到的图像块作为已编码图像块(下文中称为目标图像块)。例如，处理设备在待预测像素所处的同一帧图像(即，当前图像)或参考图像内，可以通过依次计算以编码区域中大小与待预测像素所处当前待处理的图像块相同，且已编码好的至少一个候选图像块各自的率失真代价，从而取该率失真代价最小的一个候选图像块，来作为目标图像块用于获取或者确定已知色度分量或者亮度分量的参考像素。上述的目标图像块在下文中也称为参考图像块。又例如，可以在上述示例中在获取率失真代价最小的至少一个候选图像块，并通过将该至少一个候选图像块进行融合处理得到的目标图像块，以进一步用于获取或者确定已知色度分量或者亮度分量的参考像素。
可选地，处理设备还可以根据图像匹配算法从已编码好的至少一个图像块中，确定出至少一个已编码图像块。可选地，处理设备在待预测像素所处的同一帧图像(也可以是待预测像素所处图像的前一帧图像或者后一帧图像)内，可以通过图像匹配算法依次计算已编码区域中大小与待预测像素所处当前待处理的图像块，相同大小且已编码好的至少一个候选图像块各自与待处理的图像块之间的匹配程度，从而取该匹配程度最高的一个候选图像块，来作为目标图像块用于获取或者确定已知色度分量或者亮度分量的参考像素。
可选地，处理设备使用的上述图像匹配算法可以为SAD算法或者SATD算法。SAD算法或者SATD算法可以为基于灰度的模板匹配算法。
待预测块为待预测像素所在的图像块。可选地，图像处理方法较大程度上将与待预测像素周围相关的像素作为参考像素，适合待预测像素与其周围像素相关程度较高的场景。
在本实施例中，图像处理方法通过处理设备利用待预测块中的像素作为参考像素，和/或该待预测块之外的像素来进行预测，如此能够在与像素的色度分量预测该待预测像素的同一颜色分量时，有效提高预测精度。
第三实施例
在本实施例中，仍然以处理设备作为执行主体，来对图像处理方法进行说明。在上述任一实施例的基础上，上述参考像素的确定方式，可以包括以下至少一项：
可选地，上述的参考像素包括至少一个第一像素。
可选地，处理设备可以在待预测像素的相邻像素当中，获取或确定一个已知亮度分量或者色度分量的第一像素，从而利用该一个第一像素的像素值来预测亮度分量和/或色度分量的待预测像素。可选地，处理设备还可以在待预测像素的相邻像素当中，同时获取或确定至少一个均已知亮度分量或者色度分量的第一像素，从而利用该至少一个第一像素各自的像素值来预测待预测像素的亮度分量和/或色度分量。
可选地，上述的待预测像素包括至少一个第二像素或多个第三像素。
可选地，在一次预测过程中，处理设备根据上述至少一个已知亮度分量或者色度分量的参考像素的像素值，可以仅预测一个单独的第二像素的亮度分量和/或色度分量。可选地，在一次预测过程中，处理设备根据上述至少一个已知亮度分量或者色度分量的参考像素的像素值，还可以同时预测多个第三像素各自的亮度分量和/或色度分量。上述的第二像素和第三像素的类型可以相同或不同。可选地，在一次预测过程中，可以仅预测上述的第二像素，或者仅预测上述的多个第三像素。
可选地，图像处理方法还可以包括以下至少一项：
至少一个第一像素和至少一个第二像素的组合为矩形；
多个第三像素彼此相邻；
多个第三像素的组合为矩形；
多个第三像素各自的第一分量或者第二分量的预测结果相同。
可选地，如图7a、图7b和图7c所示，处理设备根据上述至少一个亮度分量的第一像素的像素值，仅预测一个单独的亮度分量的第二像素时，该至少一个第一像素和该一个单独的第二像素基于相邻的位置关系所构成的组合可以为矩形。处理设备根据上述至少一个色度分量的第一像素的像素值，仅预测一个单独的色度分量的第二像素时，该至少一个第一像素和该一个单独的第二像素基于相邻的位置关系所构成的组合可以为矩形。
可选地，处理设备根据上述至少一个亮度分量的第一像素的像素值，同时预测多个第三像素各自的亮度分量时，该多个第三像素各自与任意一个其它第三像素在位置上都是相邻的，且该多个第三像素基于相邻的位置关系所构成的组合也可以为矩形。可选地，处理设备根据上述至少一个色度分量的第一像素的像素值，同时预测多个第三像素各自的色度分量时，该多个第三像素各自与任意一个其它第三像素在位置上都是相邻的，且该多个第三像素基于相邻的位置关系所构成的组合也可以为矩形。
可选地，处理设备在根据上述第一像素的像素值，预测多个第三像素时，可以使用相同的预测模型或者一个预测模型对该多个第三像素进行预测，并且该多个像素的预测结果均相同。可选地，可以采用下文中所示的公式(1)对该多个第三像素进行预测。例如，若第一像素的数量为多个，可将该多个第一像素作为公式的输入Luma1～LumaN。根据公式(1)，确定出一个预测值PreLuma，并将该预测值作为多个第三像素的预测值。可选地，该多个第三像素的预测结果均相同。又例如，若第一像素的数量为一个，可将该多个第一像素作为公式的输入Luma1。此时，公式(1)仅存在一个输入。根据公式(1)，确定出一个预测值PreLuma，并将该预测值作为多个第三像素的预测值。同理，该多个第三像素的预测结果均相同。
在上述实施例中，多个第三像素位于待预测像素组合中。可选地，如图8所示，在当前待处理的图像块(也称为待预测块)为16*16格式的情况下，处理设备可将该待预测块划分为4个组合：待预测像素组合A、待预测像素组合B、待预测像素组合C和待预测像素组合D。如此，该每个待预测像素组合各自均包括4个待预测像素(此时每一个待预测像素即称为第三像素)。可选地，处理设备针对每个待预测像素组合可使用相同的参考像素来进行预测。
可选地，在当前待处理的图像块(也称为待预测块)为4*4格式的情况下，若处理设备仍将该待预测块划分为4个组合。则此时每个待预测像素组合各自将仅包括1个待预测像素(此时每一个待预测像素即称为第二像素)。
可选地，如图9a至图9f所示，以参考像素为多个已知亮度分量的第一像素，也称为参考亮度像素或参考亮度像素，而待预测像素则为多个第三像素构成的待预测像素组合为例，该多个参考亮度像素与待预测像素组合之间的位置关系包括：多个参考亮度像素为待预测像素组合左上方、上方、左侧、和/或右上方的一行(列)或数行(列)亮度像素。可选地，在不同的预测模式中，多个第一像素的水平坐标的范围可超过或不超过待预测像素组合的水平坐标的右边界；多个第一像素的垂直坐标的范围可超过或不超过待预测像素组合的垂直坐标的下边界。例如，如图9a所示，多个第一像素的水平坐标的范围不超过待预测像素组合的水平坐标的右边界；如图9b所示，多个第一像素的水平坐标的范围超过待预测像素组合的水平坐标的右边界。可选地，在不同的预测模式中，待预测像素组合上方的第一像素可以为一行或多行；和/或，待预测像素组合左侧的第一像素可以为一列或多列。例如，如图9c所示，待预测像素组合上方的第一像素为多行2如图9d所示，待预测像素组合左侧的第一像素可以为一列或多列。可选地，如图9c所示多个参考亮度像素为待预测像素组合上方的数行亮度像素，如图9d所示多个参考亮度像素为待预测像素组合左侧的数列亮度像素。
可选地，如图10所示，由于处理设备编解码图像的顺序为光栅扫描顺序，因此，一个或者多个位置相邻的待预测像素构成的待预测像素组合，左下方的亮度像素(图中标记为的采样)不可作为参考亮度像素(即，第一像素)来预测该待预测像素组合的亮度分量和/或色度分量。/>
可选地，处理设备在上述待预测像素的相邻像素中确定参考像素时，可以根据待预测像素在当前待处理的图像块(也称为待预测块)中所处的位置，在重建区域中确定与待预测像素位置相邻的重建像素为参考像素，和/或，在待预测块中确定与待预测像素位置相邻且已经获得或者确定预测值的预测像素为参考像素。可选地，如图11a所示，以处理设备确定已知亮度分量的参考像素(也称为参考亮度像素)为例，若待预测像素(图示待预测像素采样)位于待预测块的左上方边界上，或者待预测像素组合成的矩形位于待预测块的左上方，则处理设备可以取该待预测像素左侧或上方的，且位于图像重建区域中的重建像素，来作为参考像素。可选地，如图11b所示，若待预测像素(图示待预测像素采样)位于待预测块左侧边界，则处理设备即可同时取该待预测像素左侧的且位于重建区域中的重建像素，和/或，该待预测像素上方且同样位于待预测块中的预测像素，在作为参考像素。可选地，在待预测像素位于待预测块左侧边界时，处理设备还可仅取该待预测像素左侧的且位于图像重建区域中的重建像素作为参考像素。可选地，在待预测像素位于待预测块的上方边界，则处理设备可以同时取该待预测像素上方且位于重建区域中的重建像素，和/或，该待预测像素左侧且位于待预测块中的预测像素，来作为参考像素。可选地，在待预测像素位于待预测块上方边界时，处理设备也可以仅取待预测像素上方且位于重建区域中的重建像素作为参考像素。可选地，如图11c所示，若待预测像素(图示待预测像素采样)位于待预测块的内部，则处理设备即仅取位于待预测块中且与待预测像素相邻的预测像素，来作为参考像素。
可选地，上述的重建区域为处理设备针对图像进行编解码处理过程中，由重建像素构成的区域。可选地，处理设备可以选择待预测块上方或左侧的重建像素构成重建区域，此时重建区域的形状可以为倒“L”形。可选地，处理设备也可以仅选择待预测块上方的重建像素构成重建区域，或者仅选择待预测块左侧的重建像素构成重建区域，此时重建区域的形状可以为矩形。
可选地，上述的矢量信息包括块矢量或运动矢量。
可选地，处理设备在根据已知色度分量或者亮度分量的参考像素，来预测当前待处理的图像块中的色度分量和/或亮度分量的待预测像素时，该处理设备可以先根据一块矢量信息在待预测像素所处的同一帧图像内，来获取或者确定该已知色度分量或者亮度分量的参考像素。可选地，处理设备可以利用块矢量信息在待预测像素所处的同一帧图像内，确定重建区域中的重建像素作为参考像素对该待预测像素的色度分量和/或亮度分量进行预测。
可选地，处理设备作为编码端，可通过块搜索或块匹配确定当前待处理的图像块(待预测块)的最佳块矢量BV(Block Vector)和最佳块矢量对应的参考块。当前待处理的图像块即为待预测像素所处的图像块。在该实施例中，最佳块矢量对应的参考块即为上文中提及的通过块确定的已编码图像块。如图12所示，块矢量对应的参考块的位置信息为(x1，y1)，待预测块的位置信息为(x0，y0)，其中，x1＝x0+x′；y1＝y0+y′，块矢量为(x′，y′)。可选地，处理设备执行块搜索的过程和处理设备通过帧间预测方式做图像预测中的运动估计搜索的过程相类似。块搜索的过程和运动估计搜索的过程之间的区别是，在编码端处理设备执行块搜索中涉及的最佳块矢量是在当前待预测像素所处帧的重建区域中使用块匹配算法得到的与当前帧中待预测块最佳匹配的参考块对应的块矢量，而在编码端处理设备执行运动估计搜索中涉及的运动矢量是在参考帧中使用块匹配算法来找到与当前帧中待预测块最佳匹配的参考块对应的运动矢量。可选地，参考帧为帧间参考帧，其是用于预测可以为当前图像(当前帧)的编码过程中的一帧或多帧。例如，参考帧可以是当前图像的前一帧、后一帧或其他未来或过去的帧。可选地，参考帧可以为P帧(Predicted Frame)或B帧(Bi-directional Predicted Frame)。可选地，处理设备作为解码端，可根据从比特流中解码出块矢量，从而确定该块矢量对应的参考块。
可选地，处理设备在确定出待预测块的最佳块矢量和该最佳块矢量对应的参考块之后，即可基于该块矢量和待预测像素组合(多个相邻的第三像素组合构成)的位置信息，确定该参考块中参考像素的位置信息。如图13所示，若待预测像素组合的尺寸为2*2，参考像素(例如，多个第一像素)组成的参考亮度像素组合的尺寸为4*4，待预测像素组合的位置信息为(x01，y01)，块矢量为(x′，y′)，则参考亮度像素组合的位置信息为(x01+x′-1，y01+y′-1)。在上述示例中，参考亮度像素组合的位置信息用一坐标来表示，其为该参考亮度像素组合中位于左上角的像素对应的坐标位置。
可选地，参考亮度像素组合的形状为矩形，并且参考亮度像素组合包含待预测像素组合对应的块矢量匹配块。待预测像素组合对应的块矢量匹配块的尺寸和待预测像素组合的尺寸相同，并且该块矢量匹配块的位置信息为(x01+x′，y01+y′)。参考亮度像素组合除包括块矢量匹配块之外，还包括位于块矢量匹配块周围的相邻参考采样。相邻参考采样不仅为块矢量匹配块上方、左侧的参考采样，还包括块矢量匹配块下方、右侧的参考采样。在该实施例中，由于可以通过块矢量匹配块下方、右侧的参考采样来对待预测像素组合进行预测，从而提高了预测的准确度。
可选地，除了图11a～图11c所示的实施方式中提到的利用与待预测块相邻的参考区域中的重建像素和/或待预测块中的预测像素之外，还可利用图13所示的实施方式中提到的参考块中的重建像素。例如，可以利用参考像素组合中的部分像素。为将与待预测块相邻的参考区域中的重建像素和块矢量对应的参考块中的重建像素相区分。下文中将与待预测块相邻的参考区域中的重建像素称为第一参考像素，将块矢量对应的参考块中的重建像素称为第二参考像素，或者将利用块矢量对应的参考块中的重建像素确定或得到的像素称为第二像素。需要说明的是，可选地，第一参考像素和/或第二参考像素可以为其他区域或利用其他方法确定的彼此不同的重建像素。第一参考像素和/或第二参考像素均为参考像素。若第一参考像素或第二参考像素为亮度分量的像素或者亮度像素，则可以称为参考亮度像素；和/或，若第一参考像素或第二参考像素为色度分量的像素或色度像素，则可以称为参考色度像素。
由上述可知，可选地，第二参考像素可以通过块矢量在参考块中确定或得出。可选地，如图14a所示，参考像素可以仅包括第一参考像素。第一参考像素为参考亮度像素A，其位于待预测像素或者待预测亮度像素组合的上方或左侧。该参考亮度像素A为与待预测块相邻的参考区域中的重建亮度像素或者待预测块中的预测像素。可选地，参考像素可以包括第一参考像素和/或第二参考像素。与图14a相似，第一参考像素为参考亮度像素，其位于待预测亮度像素或者待预测亮度像素组合的上方或左侧；和/或，第二参考像素为参考亮度像素，其为将块矢量对应的参考块中的重建像素。可选地，上述的第一参考像素可为如图14b所示的参考亮度像素A，和/或，第二参考像素可为图14b所示的参考亮度像素B。可选地，参考亮度像素B为通过块矢量对应的参考块中的重建像素得到的亮度像素。可选地，可以将通过块矢量对应的参考块中的重建像素填充待预测亮度像素或待预测亮度像素组合的下方或右侧的像素。可选地，可以将通过块矢量对应的参考块中对应位置的亮度像素的像素值赋值给待预测亮度像素组合周围的像素。例如，将图13所示的相邻参考像素中的位于块矢量匹配块的下方相邻和/或右侧相邻的相邻参考像素的像素值赋值分别赋值给待预测亮度像素组合下方相邻和/或右侧相邻的像素。根据光栅扫描顺序可知，在对待预测像素组合进行预测时，该待预测像素组合的下方和/或右侧像素的像素值未知，通过该实施方式中的填充操作可以在预测待预测像素组合时确定出待预测像素组合的下方和/或右侧像素的像素值，从而提高预测的准确度。需要说明的是，通过填充方式得到的该待预测像素组合的下方和/或右侧像素的像素值并非一定最终作为待预测像素组合的下方和/或右侧像素的预测像素值，因此，在确定待预测像素组合中的待预测像素之后，可以通过其他预测方式确定待预测像素组合的下方和/或右侧像素的像素值，并将通过其他预测方式得到的像素值作为这些像素最终的预测像素值。可选地，填充方式得到的该待预测像素组合的下方和/或右侧像素的像素值并非一定最终采用的预测像素值，而在预测待预测像素组合时，相当于是虚拟出该待预测像素组合的下方和/或右侧像素的像素值，因此可以将图14b所示的参考亮度像素B称为虚拟参考亮度像素。
如图15所示，处理设备在通过块矢量获得或者确定的重建亮度像素之后，通过将这些重建亮度像素的像素值填充在位置对应的亮度像素以得到参考亮度像素B。可选地，处理设备还可以通过块矢量获得或者确定重建亮度像素之后，将这些重建亮度像素作为填充亮度像素B与参考亮度像素A进行组合来得到所有的参考亮度像素。可选地，位置对应是指：若一个重建亮度像素位于块矢量匹配块的右侧，则利用该重建亮度像素填充待预测像素组合右侧的位置的亮度像素；和/或，若一个重建亮度像素位于块矢量匹配块的下方，则利用该重建亮度像素填充待预测像素组合下方的位置的亮度像素。可选地，处理设备还可以直接将参考亮度像素A(与待预测块相邻的参考区域中的重建亮度像素或待预测块中的预测像素)，和/或，通过块矢量获得或者确定的重建亮度像素作为参考亮度像素，从而在后续将这些参考亮度像素代入预测模型来预测得到待预测像素的像素值。可选地，如果待预测像素组合的上方和/或左侧像素不可用，也可以使用上述填充方式获得关于待预测像素组合的上方和/或左侧像素的像素值，以进行关于待预测像素组合的预测处理。
可选地，处理设备还可以根据一运动矢量信息在待预测像素所处图像的参考图像(也称为参考帧)内，来获取或者确定该已知色度分量或者亮度分量的参考像素，从而对该待预测像素的色度分量和/或亮度分量进行预测。可选地，上述的参考像素可以为参考图像的重建像素。可选地，参考图像可以为待预测像素所处图像的前一帧图像、后一帧图像、或其他未来或过去的帧。
可选地，处理设备作为编码端可以在参考图像中执行运动搜索，以确定待预测块的运动矢量MV(Move Vector)和运动矢量对应的参考块。可选地，如图16所示，运动矢量对应的参考块的位置信息为(xb，yb)，待预测块的位置信息为(xa，ya)。其中，xb＝xa+x″；yb＝ya+y″，运动矢量为(x″，y″)。可选地，处理设备作为解码端，即可以根据从比特流中解码出的运动矢量，直接确定该运动矢量对应的参考块。
可选地，处理设备在确定出待预测块的运动矢量MV和该运动矢量对应的参考块之后，即可以根据该运动矢量MV和待预测像素(单独的一个第二像素或者多个第三像素构成的组合)的位置信息，确定该参考块中参考像素的位置信息。可选地，如图17所示，若多个第三像素构成的组合(即，待预测像素组合)的尺寸为2*2，多个第一像素构成的组合(即，参考亮度像素组合)的尺寸为4*4，待预测像素组合的位置信息为(xa1，yal)，运动矢量为(x″，y″)，则参考亮度像素组合的位置信息为(xa1+x″-1，yal+y″-1)。可选地，参考亮度像素组合的位置信息为参考亮度像素组合中的左上角像素的坐标位置。可选地，参考亮度像素组合的形状为矩形，并且参考亮度像素组合包含待预测像素组合的运动矢量匹配块。待预测像素组合的运动矢量匹配块的尺寸和待预测像素组合的尺寸相同，并且该运动矢量匹配块的位置信息为(xa1+x″，ya1+V”)。可选地，运动矢量匹配块的位置信息为运动矢量匹配块中的左上角像素的坐标位置。参考亮度像素组合除包括运动矢量匹配块之外，还包括位于运动矢量匹配块周围的相邻参考采样。相邻参考采样不仅为运动矢量匹配块上方、左侧的参考采样，还包括运动矢量下方、右侧的参考采样。
在本实施例中，图像处理方法通过处理设备在针对待预测像素进行亮度分量和/或色度分量预测的过程中，使用至少一个参考像素对至少一个第二像素或者多个第三像素构成的组合，进行亮度分量和/或色度分量进行预测，从而可以在一次预测过程当中确定多个结果。
和/或，在待预测像素为多个第三像素时，由于多个第三像素彼此相邻或者能够组合成一矩形，而处理设备针对组合成的矩形中的像素均通过同一预测模型得到各自的预测值(即在预测模型中利用取值相同的滤波器系数)，从而图像处理方法基于矩形块为单位进行预测，相比于传统逐像素进行预测的方式，能够有效地提高了计算效率，降低针对图像编解码消耗的时间。
第四实施例
在本实施例中，仍然以处理设备作为执行主体，来对图像处理方法进行说明。在上述任一实施例的基础上，根据第一参数和所述参考像素确定或得到待预测像素。
可选地，第一参数为滤波器系数。
可选地，处理设备在通过上述各实施例确定出待预测像素的参考像素之后，便可以确定用于针对该待预测像素进行色度分量和/或亮度分量预测的预测模型，从而利用该预测模型中的滤波器系数对该参考像素的像素值进行加权处理，以确定或得到该待预测像素的色度分量和/或亮度分量的预测结果。
可选地，处理设备还可以在通过上述各实施例确定出待预测像素的参考像素之前或者并行的，确定用于针对该待预测像素进行色度分量和/或亮度分量预测的预测模型，再利用该预测模型和该参考像素的像素值确定或得到上述的预测结果。
可选地，处理设备采用的预测模型可以具有如下公式1所示的形式：
PreLuma＝f(Lumal，Luma2，Luma3，...，LumaN) (公式1)
其中，Luma1～LumaN为处理设备针对待预测像素进行亮度分量预测时输入的亮度像素，即上述各个实施例中的参考亮度像素。PreLuma即为待预测像素(待预测亮度像素)。
可选地，处理设备采用的预测模型还可以具有如下公式2所示的形式：
PreLuma＝c0*Luma1+c1*Luma2+c2*Luma3+c3*Luma4+c4*Luma5+c5*P1+c6*P2+c7*P3+c8*P4+c9*P5+c10*B (公式2)
上述预测模型为卷积滤波器时，c0～c10为滤波器系数，Luma1～Luma5为上述的参考亮度像素，P1～P5为非线性项。可选地，P1～P5可以为参考亮度像素Luma1～Luma5的像素值的平方。可选地，P1可以为参考亮度像素Luma1的像素值的平方，并被缩放至位深度范围。即，P1＝(Luma1*Luma1+midVal)＞＞bitDepth；bitDepth为采样对应的位深度，“＞＞”为右移位符号。例如，对于10比特视频内容，P可以通过下式计算得到：
P＝(Luma1*Luma1+512)＞＞10。
其中，P2～P5为参考亮度像素Luma1的像素值的平方，可选地，被缩放至位深度范围。
可选地，上述的公式2中还可以包括偏置项B。可选地，偏置项B可以为或者其他预定值(例如，对于10比特视频，可以设置为512)。
可选地，当处理设备所采用预测模式对应的预测模型为上述公式(2)所示的形式时，处理设备即需要确定出该预测模型中的滤波器系数以用于后续对待预测像素的色度分量和/或亮度分量进行预测。
可选地，图像处理方法，还包括以下至少一项：
第一参数的确定方式对应于至少一个预测模式；
第一参数根据第一分量和/或第二分量的第一参考像素确定或得到。
可选地，第一参数为滤波器系数，第一参考像素为系数确定参考像素。系数确定参考像素用于确定滤波器系数。
可选地，处理设备用于确定上述预测模型当中的滤波器系数的确定方式对应于至少一个预测模型。即，处理设备在采用不同的预测模式时所采用的确定该滤波器系数的方式也不同。可选地，处理设备采用的预测模式可以为常规的帧内预测模式、基于块矢量的帧内预测模式和帧间预测模式。可选地，处理设备可预先针对上述不同的预测模型设定一个索引或者标志，并在自身或者自身所连接的存储终端/云平台当中维护一个预测模式列表，并将该至少一个索引或者标志存储在该预测模式列表当中。如此，处理设备通过获取该索引或者标志并将该索引或者标志在预测模式列表当中进行比对即可确定当前采用的预测模式，并进一步按照该预测模式对应的滤波器系数的确定方式，来确定或得出上述预测模型当中的滤波器系数并色度分量和/或亮度分量的预测待预测像素，从而得出对应的预测结果。
可选地，上述与处理设备所采用不同预测模式对应的滤波器系数的确定方式中，可以包括根据第一分量和/或第二分量的系数确定参考像素来确定或得到该滤波器系数的方式。可选地，处理设备在采用上述的任意预测模式时，可以基于所采用预测模型的结构，选择对应数量的第一分量和/或第二分量的系数确定参考像素，从而基于该系数确定参考像素确定或得出该预测模型当中的滤波器系数。
可选地，上述的系数确定参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
可选地，处理设备在确定上述预测模型当中的滤波器系数时，可以将待预测像素所处图像块的相邻区域、该待预测像素所处的图像块对应的参考图像块的相邻区域，通过上述的矢量信息(包括块矢量或者运动矢量)确定的参考图像块，和/或，该待预测像素所处图像块的非相邻区域，确定为参考区域以在该参考区域中按照预定规则确定出至少一个系数确定参考像素，然后基于该系数确定参考像素确定或得出该预测模型当中的滤波器系数。
可选地，处理设备在确定上述预测模型当中的滤波器系数时，可以将待预测像素所处图像块的同位块的相邻区域、该待预测像素所处的图像块对应的参考图像块的同位块的相邻区域，通过上述的矢量信息(包括块矢量或者运动矢量)确定的参考图像块，和/或，该待预测像素所处图像块的同位块的非相邻区域，确定为参考区域以在该参考区域中按照预定规则确定出至少一个系数确定参考像素，然后基于该系数确定参考像素确定或得出该预测模型当中的滤波器系数。参考图像块的同位块可以为在另一图像中与参考图像块位置相同的块。例如，若在色度图像中确定出一色度参考图像块，则该色度参考图像块的同位块可以为与该色度图像对应的亮度图像中的、与该色度参考图像块位置相同的色度图像块。同理，待预测像素所处图像块的同位块为与该所处图像块位置相同的图像块。
可选地，处理设备确定的参考像素的数目和预测模型的结构相关。可选地，以图9a所示的待预测像素组合(多个第三像素组合构成)和该待预测像素组合对应的参考亮度像素(针对待预测像素进行亮度分量预测时的多个第一像素组合成倒“L”形状)时，若采用公式(2)对应的预测模型，则用于确定滤波器系数的系数确定参考像素的数目为11。可选地，基于实际应用的不同设计需要，处理设备也可以确定其他数目的系数确定参考像素。
可选地，处理设备确定如图9b～图9f中的其他待预测像素组合和对应的参考亮度像素的实施例，与上述确定以图9a所示的待预测像素组合及其对应参考亮度像素的实施例相同，在此不再进行过多赘述。
可选地，上述的预定规则可以为在参考区域的像素中确定至少一个待选像素，然后将至少一个待选像素的平均值的像素作为系数确定参考像素。可选地，以针对待预测像素进行亮度分量的预测为例，处理设备可以将参考区域当中的最小亮度像素，第二小的亮度像素，最大亮度像素，第二大亮度像素以及一个接近最小亮度像素和最大亮度像素的平均值的亮度像素作为系数确定参考亮度像素。
可选地，基于实际应用的不同设计需要，处理设备当然也可以采用其他形式的预定规则，例如，直接选择参考区域当中预定位置的亮度像素作为系数确定参考像素。
可选地，处理设备在确定出上述系数确定参考像素之后，还将该系数确定参考像素作为第一系数确定参考像素，并根据该至少一个第一系数确定参考像素确定至少一个第二系数确定参考像素。
可选地，处理设备在将上述的系数确定参考像素作为第一系数确定参考像素之后，将该第一系数确定参考像素作为上述公式(1)或公式(2)中的PreLuma，并根据第一系数确定参考像素的位置确定第二系数确定参考像素的位置。如图18a至图18d所示，处理设备在针对待预测像素进行亮度分量的预测过程中，将第一系数确定参考像素标识为第一参考亮度像素，从而基于该第一亮度参考采样的位置来确定第二系数确定参考像素(也称为第二参考亮度像素)的位置。可选地，如图18a所示，处理设备可以将第一系数确定参考像素的右上方亮度像素、上方亮度像素、左上亮度像素、左侧亮度像素、左下亮度像素作为第二系数确定参考像素。可选地，如图18b所示，处理设备也可以将第一参考亮度像素的上方亮度像素、左上亮度像素、左上亮度像素左侧的亮度像素，左侧第二亮度像素(左侧亮度像素左侧的亮度像素)、左侧第二亮度像素下方的亮度像素作为第二参考亮度像素。可选地，如图18c所示，处理设备还可以将第一参考亮度像素的上方第二个亮度像素(上方亮度像素上方的亮度像素)、上方第二个亮度像素右侧的亮度像素、上方第二亮度像素左侧的亮度像素，左侧亮度像素、左侧亮度像素上方的亮度像素作为第二参考亮度像素。可选地，如图18d所示，处理设备还可以将第一参考亮度像素的上方第二个亮度像素(上方亮度像素上方的亮度像素)、上方第二个亮度像素左侧的亮度像素、上方第二个亮度像素左侧第二个亮度像素(上方第二亮度像素左侧的第二个亮度像素)、左侧第二个亮度像素(左侧亮度像素左侧的亮度像素)、左侧第二个亮度像素上方的亮度像素作为第二参考亮度像素。
可选地，处理设备采用相同方式确定的至少一个第一系数确定参考像素中，每一个系数确定参考像素与对应的至少一个第二系数确定参考像素之间的位置对应关系都相同。可选地，处理设备确定出的11个第一参考亮度像素中的每一个参考亮度像素，与对应的5个第二参考亮度像素的位置关系均如图18a所示。可选地，处理设备确定出的11个第一参考亮度像素中的每一个参考亮度像素与对应的5个第二参考亮度像素的位置关系均如图18b所示。可选地，处理设备确定出的11个第一参考亮度像素中的每一个参考亮度像素与对应的5个第二参考亮度像素的位置关系均如图18c所示。可选地，处理设备确定出的11个第一参考亮度像素中的每一个参考亮度像素与对应的5个第二参考亮度像素的位置关系均如图18d所示。
可选地，处理设备在确定出上述的至少一个第一系数确定参考像素和至少一个第二系数确定参考像素之后，即可以根据该至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定预测模型当中的滤波器系数。
可选地，假定处理设备确定出了11个第一系数确定参考像素(即，第一参考亮度像素RefLumal～RefLuma1 1)，和基于该11个第一系数确定参考像素确定出了5*11个第二系数确定参考像素(即，第二参考亮度像素Luma1，1～Luma1，11，Luma2，1～Luma2，11，Luma3，1～Luma3，11，Luma4，1～Luma4，11，Luma5，1～Luma5，11)。如此，处理设备通过将这些第二参考亮度像素代入上述的公式(2)中，即可以得到如下矩形形式：
PreLumai＝c0*Lumail+c1*Lumai2+c2*Lumai3+c3*Lumai4+c4*Lumai5+c5*Pi1+c6*Pi2+c7*Pi3+c8*Pi4+c9*Pi5+c10*B；i＝1，2，...，11
即，PreLuma＝L·c 公式(3)
其中，PreLuma为[PreLuma1，PreLuma2，...，PreLuma11]T，其为上述第二参考亮度像素确定的预测亮度像素组成的向量。c为[c0，c1，...，c9，c10]T，其为滤波器系数(filtercoefficients)。L为第二参考亮度像素组成的矩阵。
之后，处理设备即利用多元线性回归方法确定上述公式(3)中的滤波器系数。
可选地，处理设备可以通过关于最小化第一参考亮度像素和第二参考亮度像素表示的预测亮度像素的损失函数来确定上述公式(2)中的滤波器系数。即，
L(w)＝||PreLuma-RefLuma||2＝||L·c-RefLuma||2 公式(4)
其中，参考亮度像素RefLuma为[RefLuma1，RefLuma2，...，RefLuma11]T，其为上述第一参考亮度像素组成的向量。
可选地，当上述损失函数的导数为0时，取极小值。此时对应的滤波器系数的取值即为所求结果。通过对公式(4)中的c求导即可得到公式(5)如：
c*＝(LT·L)-1·LT·RefLuma 公式(5)
可选地，处理设备在求出上述公式(2)中的滤波器系数之后，即可确定出预测模型以进行后续对待预测像素的预测操作，即根据上述的至少一个参考像素的像素值和该预测模型进行预测处理，以确定或者得出该待预测像素的色度分量预测结果(例如，色度值)和/或亮度分量预测结果(例如，亮度值)。
可选地，以针对多个第三像素所组成待预测像素组合进行亮度分量预测为例，处理设备在确定出该待预测像素组合中的待预测亮度像素对应的参考像素(例如，参考亮度像素)后，通过将这些参考亮度像素代入预测模型，即可确定该待预测像素组合中的待预测亮度像素。可选地，通过从左至右、从上至下的顺序依次获得或确定图8中的待预测像素组合A～待预测像素组合D中的待预测亮度像素，即可获得或确定整个待预测块的预测值。
可选地，处理设备在采用基于块矢量的帧内预测模式对色度分量和/或亮度分量的待预测像素进行预测时，假定处理设备在得到关于参考像素(例如，参考亮度像素组合，或者单个参考亮度像素)的预测模型如公式(6)所示形式：
PreLuma＝c0*Luma1+c1*Luma2+...+c15*Luma16+c16*P1+c6*P2+...+c31*P16+c32*B； 公式(6)
则处理设备也可以在当前待处理的图像块(也称为待预测块)的上方和/或左侧，确定该待预测块的参考区域。如图19所示，参考区域为图示的重建区域。之后，处理设备在参考区域中按照预定规则确定出至少一个系数确定参考像素作为第一系数确定参考像素(同样的确定的第一参考亮度像素的数目和预测模型的结构相关)，然后再根据该至少一个第一系数确定参考像素和块矢量，确定至少一个第二系数确定参考像素。从而根据该至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定滤波器系数以确定预测模型。
可选地，处理设备可以根据与上述相同或相似的预定规则，确定出至少一个系数确定参考像素作为第一系数确定参考像素。而在确定出第一系数确定参考像素之后，再确定出一个包含该第一系数确定参考像素的第一图像块(例如，图19所示的亮度块)。可选地，处理设备可以直接以第一系数确定参考像素的位置作为第一图像块的位置并设定第一图像块的尺寸为2*2，即可以确定出第一图像块。之后，处理设备即可根据该第一图像块和块矢量，确定出该第一图像块所对应的块矢量匹配块A和块矢量匹配块A周围的相邻参考像素a。从而，将该块矢量匹配块A和块矢量匹配块A周围的相邻参像素a作为第二系数确定参考像素。可选地，处理设备可以通过上述过程依次可以确定n个第一系数确定参考像素及其对应的第二系数确定参考像素。其中，n等于预测模型中滤波器系数的数目。可选地，处理设备可以采用上述相同的方式，以根据至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定预测模型当中的滤波器系数。
可选地，处理设备在采用基于块矢量的帧内预测模式对色度分量和/或亮度分量的待预测像素进行预测时，处理设备在基于上述过程确定出系数确定参考像素并将该系数确定参考像素作为第一系数确定参考像素之后，还可以根据该第一系数确定参考像素和块矢量确定第二系数确定参考像素。该第二系数确定参考像素同时包含相邻参考像素和块矢量匹配块这两部分。可选地，相邻参考像素为第二系数确定参考像素的第一部分，其为与第一系数确定参考像素相邻的第一相邻参考像素，而块矢量匹配块为该第二系数确定参考像素的第二部分。可选地，第二系数确定参考像素也可以不包括块矢量匹配块。可选地，第二系数确定参考像素也可以不包括与第一系数确定参考像素相邻的第一相邻参考像素。
可选地，处理设备在采用基于块矢量的帧内预测模式对待预测像素进行色度分量和/或亮度分量的预测时，处理设备在基于上述过程确定出系数确定参考像素并将该系数确定参考像素作为第一系数确定参考像素之后，还可以根据该第一系数确定参考像素确定与第一系数确定参考像素相邻的第一相邻参考像素，以及根据块矢量匹配块相邻的第二相邻参考像素。如图20所示，第一系数确定参考像素为第一参考像素，第一相邻参考像素为相邻参考像素a1，第二相邻参考像素为相邻参考像素a2。可选地，第一相邻参考像素为第二系数确定参考像素的第一部分，第二相邻参考像素为第二系数确定参考像素的第二部分，块矢量匹配块中的像素为第二系数确定参考像素的第三部分。可选地，第二系数确定参考像素可以仅包括上述的第一部分和第二部分，而不包括第三部分。可选地，第二系数确定参考像素可以仅包括上述的第一部分和第三部分，而不包括第二部分。可选地，第二系数确定参考像素可以仅包括上述的第二部分和第三部分，而不包括第一部分。
可选地，处理设备可以根据与上述相同或相似的预定规则，确定出系数确定参考像素并将其作为第一系数确定参考亮度像素，之后，处理设备即确定出一个包含该第一系数确定参考像素的第一图像块。可选地，处理设备可以直接以该第一系数确定参考像素的位置作为第一图像块的位置并设定第一图像块的尺寸为2*2，如此即可以确定出第一图像块。
可选地，如图20所示，处理设备可以将第一系数确定参考像素(即第一参考亮度像素)的右上方亮度像素、上方亮度像素、左上亮度像素、左侧亮度像素、左下亮度像素作为第二系数确定参考像素的第一部分。即将这些像素作为第二参考亮度像素(图20中标记为相邻参考采样a1)。之后，处理设备根据第一图像块(图20中标记为第一亮度块)和块矢量，确定出该第一亮度块对应的块矢量匹配块A和块矢量匹配块A周围的相邻参考采样a2。从而，处理设备即可将该第一亮度块对应的块矢量匹配块A周围的相邻参考采样a作为第二参考亮度像素的第二部分。和/或，处理设备可以将该块矢量匹配块A作为第二参考亮度像素的第三部分。可选地，第二参考亮度像素也可以仅包括第一亮度块对应的块矢量匹配块A周围的相邻参考采样a，而不包括第一亮度块对应的块矢量匹配块A中的亮度像素。可选地，处理设备通过上述方式可以依次确定n个第一参考亮度像素及其对应的第二参考亮度像素。其中，n等于预测模型中滤波器系数的数目。
可选地，处理设备可以采用上述相同的方式，以根据至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定预测模型当中的滤波器系数。
可选地，处理设备在基于帧间预测模式对色度分量和/或亮度分量的待预测像素进行预测时，处理设备确定上述预测模型当中滤波器系数的方式可以为：
在当前待处理的图像块(待预测块)的上方和/或左侧，确定该待预测块的参考区域。如图21所示，参考区域为图示的重建区域。之后，处理设备在该参考区域中按照预定规则确定出至少一个系数确定参考像素，并将其作为第一系数确定参考像素。可选地，确定的系数确定参考像素的数目和预测模型的结构相关。最后，处理设备则根据该至少一个第一系数确定参考像素和运动矢量，来确定至少一个第二系数确定参考像素，从而根据该至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定出预测模型当中滤波器系数。
可选地，处理设备可以采用与上述相同或相似的预定规则，确定出系数确定参考像素作为第一系数确定参考像素。并仍然采用与上述相同的方式确定出包含该第一系数确定参考像素的第一图像块。之后，处理设备再根据该第一图像块和运动矢量，确定出第一图像块对应的运动矢量匹配块A′和运动矢量匹配块A′周围的相邻参考采样a′。并将该块矢量匹配块A′和块矢量匹配块A′周围的相邻参考采样a′作为第二系数确定参考像素。如此，依次确定n个第一系数确定参考像素及其对应的第二系数确定参考像素(n等于预测模型中滤波器系数的数目)。最后，处理设备即可以采用上述相同的方式，以根据至少一个第一系数确定参考像素和该至少一个第二系数确定参考像素确定预测模型当中的滤波器系数。
可选地，处理设备在求出上述公式(2)中的滤波器系数之后，即可确定出预测模型以进行后续对待预测像素的预测操作，即根据上述的至少一个参考像素的像素值和该预测模型进行预测处理，以确定或者得出该待预测像素的色度分量预测结果(例如，色度值)和/或亮度分量预测结果(例如，亮度值)。
可选地，处理设备在基于帧间预测模式对色度分量和/或亮度分量的待预测像素进行预测时，待预测像素可以仅为一个单独的第二像素，当待预测像素为一个单独的第二像素时，至少一个由第一像素组合而成的参考像素组合的尺寸可以为3*3。可选地，基于实际应用的不同设计需要，在不同可行的实施例中，参考像素组合成的参考像素组合的尺寸也可以为5*5等其他尺寸。
可选地，通过处理设备在待预测像素所处图像块的相邻区域中确定色度分量和/或亮度分量的系数确定参考像素(例如，第一系数确定参考像素和/或第二系数确定参考像素)，从而基于该系数确定参考像素确定用于进行预测处理以得到该待预测像素预测结果利用的滤波器系数。如此，可以在待预测的图像块的纹理特性和其相邻区域的纹理特性相似的时候，通过相邻区域确定的预测模型中的滤波器系数，可以使得针对待预测像素的预测结果误差较小。
可选地，通过处理设备在待预测像素所处图像块的相邻区域中选择第一系数确定参考像素，并且通过使用块矢量/运动矢量和选择的第一系数确定参考像素，确定第二系数确定参考像素。第二系数确定参考像素包括块矢量匹配块和/或运动矢量匹配块及其相邻像素中的至少一个。通过基于上述系数确定参考像素确定用于进行预测处理以得到该待预测像素预测结果对应的滤波器系数。如此，可以在待预测的图像块的纹理特性和通过块矢量/运动矢量确定的图像块(即参考块)的纹理特性相似的时候，通过该第一系数确定参考像素确定预测模型中的滤波器系数，可以使得针对待预测像素的预测结果误差较小。
可选地，处理设备采用的预测模型可以具有如下公式7所示的形式：
PreChroma＝f(Chroma1，Chroma2，Chroma3，...，ChromaN) (公式7)
Chroma1～ChromaN为处理设备针对待预测像素进行色度分量预测时输入的色度像素，即参考色度像素。PreChroma即为待预测像素(即，待预测色度像素)。
可选地，处理设备采用的预测模型可以具有如下公式8所示的形式：
PreChroma＝f(Luma1，Luma2，Luma3，...，LumaN) (公式8)
Luma1～LumaN为处理设备针对待预测像素进行色度分量预测时输入的亮度像素，即上述各个实施例中的参考亮度像素。PreChroma即为待预测像素(即，待预测亮度像素)。
需要说明的是，可以在不脱离发明精神和基本工作原理的情况下，对公式(7)～公式(8)应用与公式(1)对应的预测模型涉及的改进和实施方式相似的改进和实施方式。
通过本申请实施例技术方案，可以降低预测块所对应残差块的残差取值，从而提高图像编解码过程中的压缩效率。
本申请实施例还提供一种智能终端，包括存储器、处理器，存储器上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
本申请实施例还提供一种存储介质，存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
在本申请提供的智能终端和存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不再做赘述。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或网络设备等)执行本申请每个实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或其他可编程装置。计算机指令可以存储在存储介质中，或从一个存储介质向另一个存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)，或半导体介质(例如固态存储盘Solid State Disk(SSD))等。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
根据利用矢量信息确定的参考像素和第一参数，确定或得到所述待预测像素。
2.如权利要求1所述的方法，其特征在于，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
3.如权利要求1所述的方法，其特征在于，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
4.一种图像处理方法，其特征在于，包括：
根据已编码图像块中确定的参考像素和第一参数，确定或得到所述待预测像素。
5.如权利要求4所述的方法，其特征在于，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
6.如权利要求4所述的方法，其特征在于，所述已编码图像块为根据率失真优化或图像匹配算法确定的图像块。
7.如权利要求4所述的方法，其特征在于，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
8.一种图像处理方法，其特征在于，包括：
根据与待预测像素和/或与所述待预测像素的同位像素相邻的参考像素和第一参数，确定或得到所述待预测像素。
9.如权利要求8所述的方法，其特征在于，所述参考像素为第一分量的像素，所述待预测像素为第一分量和/或第二分量的像素。
10.如权利要求8所述的方法，其特征在于，所述参考像素包括相邻重建像素和/或相邻预测像素。
11.如权利要求8所述的方法，其特征在于，所述第一参数根据第一分量和/或第二分量的第一参考像素确定或得到；其中，所述第一参考像素位于以下至少一个区域内：
待预测像素所处图像块的相邻区域或所述图像块的同位块的相邻区域；
待预测像素所处的图像块对应的参考图像块的相邻区域或所处的图像块对应的参考图像块的同位块的相邻区域；
通过所述矢量信息确定的参考图像块；
待预测像素所处图像块的非相邻区域或所述图像块的同位块的非相邻区域中。
12.一种处理设备，其特征在于，包括：存储器、处理器，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至11中任一项所述的图像处理方法的步骤。
13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的图像处理方法的步骤。
CN202410294646.9A 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质 Pending CN117979010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410294646.9A CN117979010A (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410294646.9A CN117979010A (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质
CN202311071925.0A CN116847088B (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202311071925.0A Division CN116847088B (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质

Publications (1)

Publication Number Publication Date
CN117979010A true CN117979010A (zh) 2024-05-03

Family

ID=88163735

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410294646.9A Pending CN117979010A (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质
CN202311071925.0A Active CN116847088B (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311071925.0A Active CN116847088B (zh) 2023-08-24 2023-08-24 图像处理方法、处理设备及存储介质

Country Status (1)

Country Link
CN (2) CN117979010A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996080B (zh) * 2017-12-31 2023-01-06 华为技术有限公司 图像的预测方法、装置及编解码器
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
CN114615498A (zh) * 2020-12-05 2022-06-10 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、相关设备及存储介质
CN114598880B (zh) * 2022-05-07 2022-09-16 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
CN115767100A (zh) * 2022-10-14 2023-03-07 浙江大华技术股份有限公司 预测方法、图像编码方法、图像解码方法及装置
CN115834897B (zh) * 2023-01-28 2023-07-25 深圳传音控股股份有限公司 处理方法、处理设备及存储介质
CN115988206B (zh) * 2023-03-21 2024-03-26 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质
CN116456102B (zh) * 2023-06-20 2023-10-03 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Also Published As

Publication number Publication date
CN116847088A (zh) 2023-10-03
CN116847088B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US10986332B2 (en) Prediction mode selection method, video encoding device, and storage medium
CN115834897B (zh) 处理方法、处理设备及存储介质
CN115988206B (zh) 图像处理方法、处理设备及存储介质
CN114598880B (zh) 图像处理方法、智能终端及存储介质
CN112005551A (zh) 一种视频图像预测方法及装置
CN114422781B (zh) 图像处理方法、智能终端及存储介质
CN115002463B (zh) 图像处理方法、智能终端及存储介质
CN114079779A (zh) 图像处理方法、智能终端及存储介质
EP3955576A1 (en) Inter-frame prediction method and device
CN113709504B (zh) 图像处理方法、智能终端及可读存储介质
CN116456102B (zh) 图像处理方法、处理设备及存储介质
CA3137980A1 (en) Picture prediction method and apparatus, and computer-readable storage medium
US20220046234A1 (en) Picture prediction method and apparatus, and computer-readable storage medium
CN116668704B (zh) 处理方法、处理设备及存储介质
CN115379214B (zh) 图像处理方法、智能终端及存储介质
CN115422986B (zh) 处理方法、处理设备及存储介质
CN112088534B (zh) 一种帧间预测的方法、装置、设备及存储介质
CN111263166B (zh) 一种视频图像预测方法及装置
CN113170176A (zh) 视频编码器、视频解码器及相应方法
CN116847088B (zh) 图像处理方法、处理设备及存储介质
CN116095322B (zh) 图像处理方法、处理设备及存储介质
CN115955565B (zh) 处理方法、处理设备及存储介质
WO2023019567A1 (zh) 图像处理方法、移动终端及存储介质
CN115802031A (zh) 处理方法、处理设备及存储介质
CN117176959A (zh) 处理方法、处理设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination