CN112203086B - 图像处理方法、装置、终端和存储介质 - Google Patents
图像处理方法、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN112203086B CN112203086B CN202011069698.4A CN202011069698A CN112203086B CN 112203086 B CN112203086 B CN 112203086B CN 202011069698 A CN202011069698 A CN 202011069698A CN 112203086 B CN112203086 B CN 112203086B
- Authority
- CN
- China
- Prior art keywords
- value
- luminance
- component
- chrominance
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 172
- 238000005286 illumination Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 29
- 241000023320 Luma <angiosperm> Species 0.000 claims description 20
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 20
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Abstract
本公开提供一种图像处理方法、装置、终端和存储介质。其中，一些实施例中图像处理方法包括：确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量；根据当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定当前图像块的亮度分量的亮度参考块和当前图像块的色度分量的色度参考块，其中，亮度参考块和色度参考块位于当前帧的参考帧；确定亮度参考块的亮度重构值和色度参考块的色度重构值；对亮度参考块的亮度重构值进行光照补偿，得到亮度参考块的亮度补偿值；对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值；确定当前图像块的亮度预测值和色度预测值，本公开的方法能够提高帧间预测的准确度。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、终端和存储介质。
背景技术
视频中包括有大量的图像帧，每个图像帧中包含了几万或十几万的像素，每一个像素一般采用24位来进行表示，因此一个视频需要占用大量的存储空间以及传输带宽，为了减少视频占用的空间和带宽，通常会在传输视频时对视频进行压缩，即对视频进行编码，在播放视频前对视频进行解压缩，即对视频进行解码。通常来说，视频的压缩技术包括帧内压缩和帧间压缩，帧内压缩用于去除图像帧中的空域冗余，帧间压缩用于去除图像的时域冗余。
发明内容
为解决现有问题，本公开提供一种图像处理方法、装置、终端和存储介质。
本公开采用以下的技术方案。
在一些实施例中，本公开提供一种图像处理方法，包括：
确定当前图像块的参考块，其中，当前图像块位于当前帧，参考块位于当前帧的参考帧；
确定参考块的亮度重构值和参考块的色度重构值；
对参考块的亮度重构值进行光照补偿，得到参考块的亮度补偿值；
确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为参考块的亮度补偿值，当前图像块的色度预测值为参考块的色度重构值。
在一些实施例中，还包括：确定当前帧携带的开关标志位的取值为第一取值。
在一些实施例中，当前帧携带的开关标志位的取值是根据当前帧的亮度分量与参考帧的亮度分量的差异，以及当前帧的色度分量与参考帧的色度分量的差异确定的。
在一些实施例中，在第一变化值和第二变化值的差值大于差异阈值的情况下，当前帧携带的开关标志位的取值为第一取值，其中，第一变化值为当前帧的亮度分量与参考帧的亮度分量的差值，第二变化值为当前帧的色度分量与参考帧的色度分量的差值。
在一些实施例中，当前图像块的亮度预测值根据公式(1)确定：
其中，为当前图像块的亮度预测值，/>为参考块的亮度重构值，αY为亮度分量的颜色通道缩放系数，βY为亮度分量的偏移量。
在一些实施例中，所述确定所述当前图像块的亮度预测值和色度预测值，包括：若当前帧携带的开关标志位的取值为第一取值，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度重构值。
若当前帧携带的开关标志位的取值为第二取值，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度重构值和色度重构值；或者，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度补偿值和色度补偿值，色度补偿值是对参考帧的色度重构值进行光照补偿后的值。
在一些实施例中，本公开提供一种图像处理方法，包括：
确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，当前图像块位于当前帧，色度分量的运动矢量与同位运动矢量不同，同位运动矢量为亮度分量的运动矢量，或者，同位运动矢量是根据亮度采样率和色度采样率对亮度分量的运动矢量进行缩放后得到的运动矢量；
根据当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定当前图像块的亮度分量的亮度参考块和当前图像块的色度分量的色度参考块，其中亮度参考块和色度参考块位于当前帧的参考帧；
确定亮度参考块的亮度重构值和色度参考块的色度重构值；
对亮度参考块的亮度重构值进行光照补偿，得到亮度参考块的亮度补偿值；
对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值；
确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度补偿值。
在一些实施例中，色度参考块的运动矢量与当前图像块的色度分量的运动矢量相同。
在一些实施例中，当前图像块的色度分量的运动矢量为(0,0)。
在一些实施例中，当前图像块的色度分量的运动矢量选自矢量候选列表，通过编码色度分量的运动矢量在矢量候选列表中的索引以记录色度分量的运动矢量。
在一些实施例中，采用公式(2)得到当前图像块的亮度预测值：
其中，为当前图像块的亮度预测值，/>为参考块的亮度重构值，αY为亮度分量的颜色通道缩放系数，βY为亮度分量的偏移量；
和/或，
采用公式(3)和公式(4)得到当前图像块的色度预测值：
其中，为当前图像块的色度预测值的U分量，/>为所述当前图像块的色度预测值的V分量，/>为色度参考块的色度重构值的U分量，/>为色度参考块的色度重构值的V分量，αU为U分量的颜色通道缩放系数，αV为V分量的颜色通道缩放系数，βU为U分量的偏移量，βV为V分量的偏移量。
在一些实施例中，确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，包括：
确定所述当前帧携带的开关标志位的取值；
若所述当前帧的开关标志位的取值为第一取值，所述当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度重构值；
若所述当前帧的开关标志位的取值为第二取值，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度补偿值。
在一些实施例中，当前帧携带的开关标志位的取值是根据当前帧的亮度分量与参考帧的亮度分量的差异，以及当前帧的色度分量与参考帧的色度分量的差异确定的。
在一些实施例中，在第一变化值和第二变化值的差值大于差异阈值的情况下，当前帧携带的开关标志位的取值为第一取值，其中，第一变化值为当前帧的亮度分量与参考帧的亮度分量的差值，第二变化值为当前帧的色度分量与参考帧的色度分量的差值。
一些实施例中，本公开提出一种图像处理装置，包括：
确定单元，用于确定当前图像块的参考块，其中，当前图像块位于当前帧，参考块位于当前帧的参考帧；
确定单元，还用于确定参考块的亮度重构值和参考块的色度重构值；
处理单元，用于对参考块的亮度重构值进行光照补偿，得到参考块的亮度补偿值；
确定单元，还用于确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为参考块的亮度补偿值，当前图像块的色度预测值为参考块的色度重构值。
在一些实施例中，本公开提出一种图像处理装置，包括：
确定模块，用于确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，所述当前图像块位于当前帧，所述色度分量的运动矢量与同位运动矢量不同，所述同位运动矢量为所述亮度分量的运动矢量，或者，所述同位运动矢量是根据亮度采样率和色度采样率对所述亮度分量的运动矢量进行缩放后得到的运动矢量；
所述确定模块，还用于根据所述当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定所述当前图像块的亮度分量的亮度参考块和所述当前图像块的色度分量的色度参考块，其中所述亮度参考块和色度参考块位于所述当前帧的参考帧；
所述确定模块，还用于确定所述亮度参考块的亮度重构值和所述色度参考块的色度重构值；
处理模块，用于对所述亮度参考块的亮度重构值进行光照补偿，得到所述亮度参考块的亮度补偿值；
处理模块，还用于对所述色度参考块的色度重构值进行光照补偿，得到所述色度参考块的色度补偿值；
确定模块，还用于确定所述当前图像块的亮度预测值和色度预测值，其中，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度补偿值。
在一些实施例中，本公开提供一种终端，包括：至少一个存储器和至少一个处理器；
其中，存储器用于存储程序代码，处理器用于调用存储器所存储的程序代码执行上述的方法。
在一些实施例中，本公开提供一种存储介质，存储介质用于存储程序代码，程序代码用于执行上述的方法。
本公开实施例提供的图像处理方法，对亮度分量和色度分量采用不同的运动矢量，从而提高了帧间预测的准确度，一些实施例中，通过在帧间预测过程仅对亮度分量进行光照补偿(减少了对色度分量进行光照补偿的步骤)，减少了视频编码和视频解码过程中的数据处理量，降低了视频编解码的复杂度。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开实施例的一种图像处理方法的流程图。
图2是本公开实施例的当前图像块和当前图像块对应的参考块的示意图。
图3是本公开实施例的另一种图像处理方法的流程图。
图4是本公开实施例的一种图像处理装置的组成图。
图5是本公开实施例的另一种图像处理装置的组成图。
图6是本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
随着短视频应用的兴起，越来越多的用户通过手机等移动终端拍摄短视频并进行分享，这类用户生成(UGC，User Generated Content)视频与传统拍摄的视频具有显著区别，UGC视频一般由非专业用户使用非专业设备，在非专业光照场景中拍摄，因此同一视频中的光线变化明显，UGC视频的拍摄设备多样、场景多样、视频内容多样，且UGC视频通常会经过特效以及滤镜的渲染；UGC视频通常由用户通过手持终端设备如手机、平板拍摄，压缩后上传视频平台。UGC视频在拍摄后会进行编码压缩上传，提升视频压缩效率有助于节省流量带宽与计算功耗。
一些技术中，在对视频进行帧间压缩时，为解决时域相邻帧间的局部光照变化问题，在帧间预测的运动补偿阶段，对当前进行帧间编码的编码单元的亮度分量和色度分量分别进行局部光照补偿，并且亮度编码单元(亮度块)与色度编码单元(色度块)共享运动矢量，然而，对于亮度编码单元和色度编码单元都进行光照补偿可能会降低色度分量的预测性能，并且会增加编码的复杂度。
为了至少部分解决上述问题，本公开实施例中提出一种图像处理方法，本实施例中的图像可以是视频中的图像，以下将结合附图，对本申请实施例提供的方案进行详细描述。
如图1所示，图1是本公开实施例的一种图像处理方法的流程图，包括如下步骤。
S11：确定当前图像块的参考块。
具体的，当前图像块位于当前帧，参考块位于当前帧的参考帧，在一些实施例中，图像可以是视频中的图像，视频可以是UGC视频，本公开提出的图像处理方法可以用于视频压缩或解压缩的帧间预测过程，视频包括有多个图像帧，当前帧可以是视频中任何需要进行帧间预测的图像帧，当前帧例如可以是P图像或B图像，当前帧包括多个编码单元，此处的当前图像块可以为任一编码单元，对于在进行帧间预测的过程中，当前帧会对应有一个参考帧，也就是用于预测的图像，通常也称为参考图像(Reference Frame),参考帧例如可以是当前帧时域上相邻的前一图像帧或后一图像帧，当前帧的参考帧也包括多个编码单元，与当前图像块对应的编码单元即作为参考块，参考块到当前图像块的位移通常称为运动矢量(Motion Vector，MV),当前图像块与参考块的差值通常称为预测残差(PredictionResidual)，在视频编码过程中，确定当前图像块对应的参考块的过程通常称为运动估计(Motion Estimation)，本实施例中确定当前图像块对应的参考块的方法可以和现有技术相同，例如可以采用全搜索算法、二维对数搜索算法、三步搜索法等，对此并不做限定。
S12：确定参考块的亮度重构值和参考块的色度重构值。
S13：对参考块的亮度重构值进行光照补偿，得到参考块的亮度补偿值。
具体的，亮度补偿值是对亮度重构值进行光照补偿后得到的亮度值。
S14：确定当前图像块的亮度预测值和色度预测值。
具体的，当前图像块的亮度预测值为参考块的亮度补偿值，当前图像块的色度预测值为参考块的色度重构值。本实施例中对于颜色可采用亮度加色度的颜色空间，即YUV颜色空间，Y表示亮度，也就是灰阶值，U和V表示的是色度。光照补偿是为了解决时域相邻帧间的局部光照变化问题，作用于帧间预测的运动补偿阶段，在现有技术中，确定当前帧的亮度预测值和色度预测值时，采用相同的光照补偿方法，分别对当前图像块对应的参考块的亮度重构值和色度重构值进行光照补偿后的值作为当前图像块的亮度预测值和色度预测值，而在本实施例中，在确定当前图像块的亮度预测值时，用对当前图像块对应的参考块的亮度重构值进行光照补偿后的值作为当前图像块的亮度预测值，直接使用当前图像块对应的参考块的色度重构值作为当前图像块的色度预测值，而无需对色度预测值进行光照补偿，相比于现有技术，本实施例中的图像处理方法在帧间预测过程通过减少了对色度预测值进行光照补偿的步骤，减少了视频编码和视频解码过程中的数据处理量，降低了复杂度，并且当前图像块的色度相对于参考块的色度可能是未变化的，现有技术中对色度预测值进行光照补偿会降低色度分量的预测准确度，例如当本实施例中的视频为连续拍摄的视频时(例如UGC视频)，当前图像块的色度分量与参考块的色度分量相近，此时不对色度预测值进行光照补偿减少了数据处理量，降低了编码和解码的复杂度，提高了编码效率并且当前图像块的色度分量的预测更准确。
在本公开的一些实施例中，采用公式(1)得到当前图像块的亮度预测值：
其中，为当前图像块的亮度预测值，/>为当前图像块对应的参考块的亮度重构值，αY为亮度分量的颜色通道缩放系数，βY为亮度分量的偏移量。
具体的，在一些实施例中，在帧间预测的过程中采用线性光照变换模型对当前图像块对应的参考块的亮度预测值进行光照补偿，其中αY和βY可以根据当前帧中当前图像块的邻近参考像素和对应的参考块的邻近参考像素以线性回归的方式导出，举例而言，请参考图2，图2中的2a为当前图像块和当前图像块的邻近考像素，图2中的2b为当前图像块对应的参考块以及参考块的邻近参考像素，图2中实心的圆为邻近参考像素，可以使用当前图像块的邻近参考像素以及其对应的参考块的邻近参考像素的平方误差来得到参数αY、βY。
现有技术中，通常对需要进行光照补偿的编码单元的三个颜色分量(Y,U,V)同时进行光照补偿，但是，根据UGC视频的特点，视频的图像帧之间会有光照发生变化，但色度不发生变化或发生的变化较小，也就是亮度发生变化但色度基本不发生变化，因此本公开的一些实施例中只对当前图像块的亮度分量Y进行局部光照补偿，对色度分量(U,V)不进行光照补偿，直接使用当前图像块对应的参考块的色度分量进行预测，即其中/>是当前图像块的色度分量中U分量的预测值，/>是当前图像块的色度分量中U分量的重构值，/>是当前图像块对应的参考帧中参考块的色度分量中U分量的重构值，/>是当前图像块对应的参考帧中参考块的色度分量中V分量的重构值。通过这种方式，不但降低了数据处理的复杂度，提高了编码解码效率，并且还提高了色度预测值的准确度，还可提高压缩性能。
在本公开的一些实施例中，所述确定所述当前图像块的亮度预测值和色度预测值，包括：确定当前帧是目标帧或非目标帧，若当前图像帧是目标帧，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度重构值。
若当前帧是非目标帧，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度重构值和色度重构值；或者，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度补偿值和色度补偿值，色度补偿值是对参考帧的色度重构值进行光照补偿后的值。
具体的，在本实施例中，图像分为目标帧和非目标帧，当前帧为目标帧时只对亮度预测值进行光照补偿，当前帧为非目标帧时。确定非目标帧中的图像块的亮度预测值和色度预测值时，可以有两种方式，一种是直接使用参考块的亮度重构值和色度重构值作为亮度预测值和色度预测值，另一种是使用参考块的亮度重构值和色度重构值分别进行光照补偿后的值，即亮度补偿值和色度补偿值。需要注意的是，非目标帧可以采用上述两种确定亮度预测值和色度预测值方式中的任一种，各个非目标帧所采用的方式可以不同。
在一些实施例中，确定当前图像块的亮度预测值和色度预测值之前，还包括：确定当前帧携带的开关标志位的取值为第一取值。
具体的，在本实施例中，在每一个图像帧中设置开关标志位，开关标志位可以作为帧级开关用于确定是否对参考块的色度预测值进行光照补偿，当前帧的开关标志为等于第一取值时，当前图像块的色度预测值为参考块的色度重构值，开关标志位的取值可以随机设置，例如每2帧中选择1帧的开关标志位设置为第一取值，在当前帧的开关标志位的取值为第二取值的情况，可以用参考帧的参考块的亮度补偿值和色度补偿值分别作为当前图像块的亮度预测值和色度预测值，色度补偿值是对参考块的色度重构值进行光照补偿的色度值，开关标志位例如可以是设置在图像头文件中的帧级开关(lic_sep_flag)，例如可以在图像头文件中设置开关标志位，可以将目标帧的开关标志位设置为1，将非目标帧的开关标志位设置为0，从而在帧间预测过程中确定图像帧的类型。当本公开提出的图像处理方法用于视频编码时，先确定各个图像帧是目标图像或非目标图像，根据结果为各个图像帧设定对应的开关标志位，当本公开提出的图像处理方法用于视频解码时，先识别图像帧的开关标志位的取值，根据开关标志位的取值决定如何得到当前图像块的亮度预测值和色度预测值。
在本公开的一些实施例中，只在视频的目标帧中设置有开关标志位；具体的，在本实施例中不在非目标帧中设置标识信息，因此只要识别到标识信息即可确定当前帧的图像块的色度预测值等于参考块的色度重构值，类似的，在本公开的一些实施例中，只在视频的非目标帧中设置有开关标志位，此时只要识别不到开关标志位，即可确定当前帧的图像块的色度预测值等于参考块的色度重构值。
在本公开的一些实施例中，所述当前帧携带的开关标志位的取值是根据所述当前帧的亮度分量与所述参考帧的亮度分量的差异，以及所述当前帧的色度分量与所述参考帧的色度分量的差异确定的。具体的，本公开中当前帧的亮度分量和色度分量与参考帧的亮度分量和色度分量的差异，表明了亮度分量和色度分量相对于参考帧的变化幅度，若两者的变化幅度相似则可以考虑对亮度分量和色度分量采用相似的方式进行计算，否则应该考虑对两者采用不同的方式进行计算。
在本公开的一些实施例中，在第一变化值和第二变化值的差值大于差异阈值的情况下，所述当前帧携带的开关标志位的取值为第一取值，其中，所述第一变化值为所述当前帧的亮度分量与所述参考帧的亮度分量的差值，所述第二变化值为所述当前帧的色度分量与所述参考帧的色度分量的差值。具体的，第一变化值是当前帧和参考帧的亮度分量的差值的绝对值，同样的，第二变化值是当前帧的色度分量和参考帧的色度分量的差的绝对值。
具体的，本实施例明确了是否只对亮度重构值进行光照补偿的确定标准，即如何确定一个图像帧应该是否采用本公开实施例中提出的只对亮度重构值进行光照补偿，不对色度重构值进行光照补偿的方案，本实施例可以用于视频编码过程中，对于任一当前被编码的图像帧，确定该图像帧的第一变化值和第二变化值的差值，再将该差值与差异阈值进行比较，根据比较结果从而设定该图像帧是否采用本公开提出的方案，在差值不大于差异阈值时表明当前进行编码的图像帧的亮度分量和色度分量的变化趋势相近，这时候当前进行编码的当前帧的亮度分量和色度分量的处理方式应当相似，此时应当对亮度分量和色度分量的预测值都进行光照补偿或者都不进行光照补偿，当差值大于差值阈值时说明亮度分量和色度分量的变化趋势相差较大，两者不应当采用相似的处理方式，而通常图像帧的色度并不会发生变化，因此应当只对亮度分量的预测值进行光照补偿，而不对色度分量的预测值进行光照补偿。
为了更好地说明本开实施例提出的图像处理方法，以下以本公开提出的图像处理方法用于视频编码端为例提出一个具体的实施例。
在视频编码过程中，将视频的图像帧将分割为等尺寸、无重叠的最大编码单元。随后以最大编码单元为节点，可进行不同种类的递归树划分，例如可以是四叉树、二叉树以及三叉树等，形成编码单元。编码单元是视频编码的基本单元，每个编码单元可以包含一个亮度块(Y)和两个色度块(UV)。视频编码性能来源于数据冗余的去除。帧间模式预测能有效地去除时域冗余，视频前后帧之间内容具有相似性，光照的变化会极大影响帧间编码的效率，在进行帧间预测时，可通过帧级直方图统计对比当前帧与参考帧之间的累积差异。若当前帧与参考帧的亮度分量的变化累积差异与色度分量的变化累积差异近似，则当前帧为非目标帧。反之，若当前帧与参考帧的亮度分量变化的累积差异远远不同于与色度分量的变化累积差异较大，则当前帧为目标帧。通过在各个图像帧中设置一个标识位(开关标志位)确定当前帧是为目标帧还是非目标帧，例如可以通过帧级开关(lic_sep_flag)标识当前帧是否为目标帧。lic_sep_flag可通过当前编码帧与参考帧列表中的所有帧的直方图统计结果确定并作为帧级标志位传递。若当前帧为非目标帧，则lic_sep_flag为0，若当前帧为目标帧，则lic_sep_flag为1。以下具体描述确定亮度预测值和色度预测值的方法，本实施例中，假设当前帧为目标帧，对于当前图像块的亮度预测值采用公式：计算，当前图像块的色度预测值采用公式：/>此处三个公式中的参数的含义与之前描述的相同，即对于当前图像块对应的参考块的亮度重构值进行线性光照补偿后作为当前图像块的亮度预测值，直接使用当前图像块对应的参考块的色度重构值作为当前图像块的色度预测值。即对于当前图像块只对亮度预测值进行光照补偿，对色度预测值不进行光照补偿，对于视频的非目标帧，则对亮度预测值和色度预测值都进行光照补偿。
当本公开实施例提出的图像处理方法用于视频解码端时，在视频解码过程中，对于当前帧，先获取当前帧的开关标志位，根据所述开关标志位的取值是否为第一取值确定当前帧是目标帧还是非目标帧，再确定当前帧的亮度预测值和色度预测值，其中确定亮度预测值和色度预测值的方法与上方描述的用于视频编码时的实施例相同，在此不赘述。
在对视频进行解码和编码时需要进行帧间预测，在进行帧间预测时需要获取编码单元对应的运动矢量，编码单元包括亮度块(即亮度编码单元)和色度块(即色度编码单元)，由于亮度采样率和色度采样率不同，因此一个编码单元中亮度块和色度块的个数不一定相同，在现有技术中，确定编码块是先获取亮度分量的运动矢量，再根据亮度采样率和色度采样率对亮度分量的运动矢量进行缩放得到同位运动矢量，作为色度分量的运动矢量，以亮度采样率在水平方向和垂直方向都是色度采样率的一半为例，在420采样格式下，一个编码块中包括一个亮度块(Y分量)和两个色度块(UV分量)，亮度分量的运动矢量需要乘以2得到色度分量的运动矢量，即对亮度分量的运动矢量根据采样率进行缩放得到同位运动矢量，然而同位运动矢量不一定是与当前编码块的色度块最匹配的运动矢量，直接将其用作色度分量的运动矢量可能导致色度分量的预测准确度降低，色度失真。
在本公开的一些实施例中，还提出一种图像处理方法，如图3所示，本实施例中的方法包括：
S21：确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量。
具体的，当前图像块位于当前帧，色度分量的运动矢量与同位运动矢量不同，同位运动矢量为亮度分量的运动矢量，或者，同位运动矢量是根据亮度采样率和色度采样率对亮度分量的运动矢量进行缩放后得到的运动矢量量；一些实施例中，当亮度采样率和色度采样率相同时，同位运动矢量等于亮度分量的运动矢量。本实施例中的图像处理方法可以用于视频解码或视频编码的帧间预测过程，当前帧可以是当前正在进行编码或解码的视频中的图像帧，当前图像块可以是当前帧中任一编码单元。在一些实施例中，色度分量的运动矢量与同位运动矢量不同，同位运动矢量是亮度分量的运动矢量根据亮度采样率和色度采样率缩放后得到的运动矢量。本实施例中确定亮度分量的运动矢量的方法可以采用现有技术中的方法，对此不作限定。
S22：根据当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定当前图像块的亮度分量的亮度参考块和当前图像块的色度分量的色度参考块。
具体的，当前帧对应有参考帧，亮度参考块和色度参考块位于当前帧对应的参考帧。
S23：对亮度参考块的亮度重构值进行光照补偿，得到亮度参考块的亮度补偿值。
具体的，亮度补偿值是亮度参考块的亮度重构值进行光照补偿后的亮度值。
S24：对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值。
具体的，色度补偿值是对色度参考块的色度重构值进行光照补偿后的色度值。
S25：确定当前图像块的亮度预测值和色度预测值，
具体的，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度补偿值。一些实施例中，本公开实施例提出的方法用在帧间预测过程中，在对编码单元进行亮度分量和色度分量的帧间预测时，先获取亮度分量的运动矢量，然后根据色度采样率和亮度采样率对亮度分量进行缩放得到同位运动矢量(当亮度采样率和色度采样率相同时，亮度分量的运动矢量等于同位运动矢量)，用同位运动矢量作为编码单元的色度运动矢量，这种方式默认了亮度块的运动方式与色度块的运动方式相同，但在实际情况中，图像中的亮度块与色度块的运动方式并不一定相同，特别是当视频拍摄过程中光照变化明显时，采用上述方法将导致色度预测值不理想，造成编码或解码过程的色度失真，影响用户的使用体验，因此本实施例中色度分量的运动矢量与同位运动矢量不同，从而避免了因为色度分量的运动矢量选择不当造成的色度失真的问题。
在本公开的一些实施例中，色度参考块的运动矢量与当前图像块的色度分量的运动矢量相同。具体的，本实施例中单独为当前图像块的色度分量确定对应的运动矢量，而不采用同位运动矢量，其中确定色度参考块的方法可以采用全搜索法(Full Search,FS)。
在本公开的一些实施例中，当前图像块的色度分量的运动矢量为(0,0)。具体的，在本实施例中将当前图像块的色度分量的运动矢量默认为(0,0)可以节省运动矢量的编码开销以及编码解码时的算力消耗。
在本公开的一些实施例中，当前图像块的色度分量的运动矢量选自矢量候选列表，通过编码色度分量的运动矢量在矢量候选列表中的索引以记录色度分量的运动矢量。具体的，本实施例中单独为色度分量建立了一个矢量候选列表，从而提高色度分量的运动矢量的计算速度，矢量候选列表可以是Skip模式或Merge模式的候选列表。
在本公开的一些实施例中，当前图像块在目标帧对应的参考帧中对应有亮度参考块；当前图像块的亮度预测值等于对亮度参考块的亮度重构值进行光照补偿后的值。具体的，目标帧对应的参考帧可以是目标帧的相邻帧，例如目标帧在时域上的前一帧或后一帧，亮度参考块可以是参考帧中与当前图像块在亮度分量上最相近的编码块，亮度参考块对应的亮度重构值进行光照补偿后得到当前图像块的亮度预测值。
在本公开的一些实施例中，当前图像块在目标帧对应的参考帧中对应有色度参考块；当前图像块的色度预测值等于对色度参考块的色度重构值进行光照补偿后的值，或者，当前图像块的色度预测值等于色度参考块的色度重构值。具体的，对于当前图像块的色度预测值可以同样采用光照补偿的方式获取，也可以直接采用色度参考块的色度重构值，从而减少数据处理量。
在本公开的一些实施例中，采用公式(2)得到当前图像块的亮度预测值：
其中，为当前图像块的亮度预测值，/>为亮度参考块的亮度重构值，αY为亮度分量的颜色通道缩放系数，βY为亮度分量的偏移量。具体的，在本实施例中，在帧间预测的过程中采用线性光照变换模型对亮度参考块的亮度重构值进行光照补偿，其中αY和βY可以根据目标帧中当前图像块的邻近参考像素和对应的参考块的邻近参考像素以线性回归的方式导出。
在本公开的一些实施例中，采用如下公式(3)和公式(4)得到当前图像块的色度预测值：
其中，为当前图像块的色度预测值的U分量，为所述当前图像块的色度预测值的V分量，/>为色度参考块的色度重构值的U分量，/>为色度参考块的色度重构值的V分量，αU为U分量的颜色通道缩放系数，αV为V分量的颜色通道缩放系数，βU为U分量的偏移量，βV为V分量的偏移量。在一些实施例中，采用线性光照变换模型对参考块的重构值进行光照补偿，其中αU、αV、βU、βV可以根据目标帧中当前图像块的邻近参考像素和对应的参考块的邻近参考像素以线性回归的方式导出。
在本公开的一些实施例中，所述确定所述当前图像块的亮度预测值和色度预测值，包括：确定当前帧是目标帧或非目标帧，若当前图像帧是目标帧，所述当前图像块的亮度预测值为亮度参考块的亮度补偿值，所述当前图像块的色度预测值为色度参考块的色度重构值。
若当前帧是非目标帧，当前图像块的亮度预测值和色度预测值，分别等于亮度参考块的亮度重构值和色度参考块的色度重构值；或者，当前图像块的亮度预测值和色度预测值，分别等于亮度参考块的亮度补偿值和色度参考块的色度补偿值，色度补偿值是对参考帧的色度参考块的色度重构值进行光照补偿后的值。。
具体的，在本实施例中，图像帧分为目标帧和非目标帧，在确定非目标帧中的编码块的亮度预测值和色度预测值时，可以有两种方式，一种是直接使用非目标帧中编码块对应的参考块的亮度重构值和色度重构值，另一种是使用非目标帧中编码块对应的参考块的亮度重构值和色度重构值分别进行光照补偿后的值。需要注意的是，非目标帧可以采用上述两种确定亮度预测值和色度预测值方式中的任一种，各个非目标帧所采用的方式可以不同。
在本公开的一些实施例中，确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，包括：
确定所述当前帧携带的开关标志位的取值；
若所述当前帧的开关标志位的取值为第一取值，所述当前图像块的亮度预测值为亮度参考块的亮度补偿值，所述当前图像块的色度预测值为色度参考块的色度重构值；
若所述当前帧的开关标志位的取值为第二取值，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度补偿值。
具体的，在一些实施例中，在每一个图像帧中设置开关标志位，开关标志位作为帧级开关用于确定当前图像块的色度预测值和亮度预测值的计算方法，例如可以在视频头文件中设置开关标志位，将第一取值可以为1，第二取值可以为0，从而在帧间预测过程中确定当前图像块的亮度预测值和色度预测值的计算方法。当本公开提出的图像处理方法用于视频编码时，先确定各个图像帧是开关标志位的取值，再确定亮度预测值和色度预测值，其中，亮度预测值等于参考块的亮度补偿值，根据取值结果的不同，色度预测值可以为色度补偿值或色度重构值。
在一些实施例中，所述当前帧携带的开关标志位的取值是根据所述当前帧的亮度分量与所述参考帧的亮度分量的差异，以及所述当前帧的色度分量与所述参考帧的色度分量的差异确定的。具体的，在当前帧与参考帧的亮度分量的差异以及色度分量的差异之间的差异较小时，表明两者的变化趋势相同，可以采用相同的处理方法，否则应该采用不同的处理方法。
在本公开的一些实施例中，在第一变化值和第二变化值的差值大于差异阈值的情况下，所述当前帧携带的开关标志位的取值为第一取值，其中，所述第一变化值为所述当前帧的亮度分量与所述参考帧的亮度分量的差值，所述第二变化值为所述当前帧的色度分量与所述参考帧的色度分量的差值。
具体的，本实施例明确了开关标志位的取值的确定标准，即如何确定一个图像块的色度预测值是否应当进行光照补偿，本实施例可以用于视频编码过程中，对于任一当前被编码的图像帧，确定该图像帧的第一变化值和第二变化值的差值，再将该差值与差异阈值进行比较，根据比较结果从而设定该图像帧是目标帧还是非目标帧，在差值不大于差异阈值时表明当前进行编码的图像帧的亮度分量和色度分量的变化趋势相近，这时候对亮度分量和色度分量的预测值都进行光照补偿或者都不进行光照补偿，当差值大于差值阈值时说明亮度分量和色度分量的变化趋势相差较大，两者不应当采用相似的处理方式，因此色度分量的运动矢量与同位运动矢量不应相同。
为了更好地说明本开实施例提出的图像处理方法，以下以本公开提出的图像处理方法用于视频编码端为例提出一个具体的实施例。
在视频编码过程中，将视频的图像帧分割为等尺寸、无重叠的最大编码单元。随后以最大编码单元为节点，可进行不同种类的递归树划分，例如以是四叉树、二叉树以及三叉树等，形成编码单元。编码单元是视频编码的基本单元，每个编码单元可以包含一个亮度块(Y)和两个色度块(UV)。视频编码性能来源于数据冗余的去除。帧间模式预测能有效地去除时域冗余，视频前后帧之间内容具有相似性，光照的变化会极大影响帧间编码的效率，在进行帧间预测时，可通过帧级直方图统计对比当前帧与参考帧之间的累积差异。若当前帧与参考帧的亮度分量的变化累积差异与色度分量的变化累积差异近似，则当前帧为非目标帧。反之，若当前帧与参考帧的亮度分量变化的累积差异远远不同于与色度分量的变化累积差异较大，则当前帧为目标帧。通过在各个图像帧中设置一个开关标志位确定当前帧是为目标帧还是非目标帧，例如可以通过帧级开关(lic_sep_flag)作为开关标志位。lic_sep_flag可通过当前编码帧与参考帧列表中的所有帧的直方图统计结果确定并作为帧级标志位传递。若当前帧为非目标帧，则设定lic_sep_flag为0，若当前帧为非目标帧，则设定lic_sep_flag为1。以下具体描述确定亮度预测值和色度预测值的方法，本实施例中，在当前帧的lic_sep_flag为1时，对于当前图像块的亮度预测值，运用运动矢量MV_Y指引的亮度参考块的周边像素与当前图像块的周边参考像素导出线性光照补偿模型(αY，βY)。亮度块经过光照补偿后的亮度预测值将通过公式(2)计算得到：
色度分量U和V的运动矢量信息可推导为(0，0)或者，色度分量的运动矢量可来自Merge/Skip候选列表，随后按照和亮度分量预测一致的方法导出线性光照补偿模型(αU，βU)和(αV，βV)，并根据公式(3)和(4)计算得到：
其中，βV和/或βV可默认推导为1，βV和/或βV可默认推导为0。
当本公开实施例提出的图像处理方法用于视频解码端时，在视频解码过程中，对于当前图像帧，先获取当前图像帧的开关标志位的取值，根据开关标志位的取值确定色度分量的预测值等于色度参考块的色度重构值的色度重构值还是等于色度补偿值，亮度预测值等于亮度参考块的亮度补偿值。
本公开实施例中提出一种图像处理装置，如图4所示，包括：
确定单元31，用于确定当前图像块的参考块，其中，所述当前图像块位于当前帧，所述参考块位于所述当前帧的参考帧；
所述确定单元31，还用于确定所述参考块的亮度重构值和所述参考块的色度重构值
处理单元32，用于对所述参考块的亮度重构值进行光照补偿，得到所述参考块的亮度补偿值；
所述确定单元31，还用于确定所述当前图像块的亮度预测值和色度预测值，其中，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度重构值。
本公开实施例中还提出一种图像处理装置，如图5所示，包括：
确定模块41，用于确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，所述当前图像块位于当前帧，所述色度分量的运动矢量与同位运动矢量不同，所述同位运动矢量为所述亮度分量的运动矢量，或者，所述同位运动矢量是根据亮度采样率和色度采样率对所述亮度分量的运动矢量进行缩放后得到的运动矢量；
确定模块41，还用于根据所述当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定所述当前图像块的亮度分量的亮度参考块和所述当前图像块的色度分量的色度参考块，其中所述亮度参考块和色度参考块位于所述当前帧的参考帧；
确定模块41，还用于确定所述亮度参考块的亮度重构值和所述色度参考块的色度重构值；
处理模块42，用于对亮度参考块的亮度重构值进行光照补偿，得到所述亮度参考块的亮度补偿值；
处理模块42，还用于对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值；
确定模块41，还用于确定所述当前图像块的亮度预测值和色度预测值，其中，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度补偿值。
对于装置的实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上，基于实施例和应用例说明了本公开的方法及装置。此外，本公开还提供一种终端及存储介质，以下说明这些终端和存储介质。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图中示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述的本公开的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种图像处理方法，包括：
确定视频中目标帧的当前图像块在目标帧对应的参考帧中所对应的参考块；
对当前图像块对应的参考块的亮度重构值进行光照补偿得到当前图像块的亮度预测值，用当前图像块对应的参考块的色度重构值作为当前图像块的色度预测值。
根据本公开的一个或多个实施例，在一些实施例中，本公开提供一种图像处理方法，包括：
确定当前图像块的参考块，其中，当前图像块位于当前帧，参考块位于当前帧的参考帧；
确定参考块的亮度重构值和参考块的色度重构值；
对参考块的亮度重构值进行光照补偿，得到参考块的亮度补偿值；
确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为参考块的亮度补偿值，当前图像块的色度预测值为参考块的色度重构值。
在一些实施例中，还包括：确定当前帧携带的开关标志位的取值为第一取值。
在一些实施例中，当前帧携带的开关标志位的取值是根据当前帧的亮度分量与参考帧的亮度分量的差异，以及当前帧的色度分量与参考帧的色度分量的差异确定的。
在一些实施例中，在第一变化值和第二变化值的差值大于差异阈值的情况下，当前帧携带的开关标志位的取值为第一取值，其中，第一变化值为当前帧的亮度分量与参考帧的亮度分量的差值，第二变化值为当前帧的色度分量与参考帧的色度分量的差值。
在一些实施例中，当前图像块的亮度预测值根据公式(1)确定：
其中，为当前图像块的亮度预测值，/>为参考块的亮度重构值，αY为亮度分量的颜色通道缩放系数，βY为亮度分量的偏移量。
在一些实施例中，所述确定所述当前图像块的亮度预测值和色度预测值，包括：确定当前帧是目标帧或非目标帧，若当前图像帧是目标帧，所述当前图像块的亮度预测值为所述参考块的亮度补偿值，所述当前图像块的色度预测值为所述参考块的色度重构值。
若当前帧是非目标帧，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度重构值和色度重构值；或者，当前图像块的亮度预测值和色度预测值，分别等于参考块的亮度补偿值和色度补偿值，色度补偿值是对参考帧的色度重构值进行光照补偿后的值。
在一些实施例中，本公开提供一种图像处理方法，包括：
确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，当前图像块位于当前帧，色度分量的运动矢量与同位运动矢量不同，同位运动矢量为亮度分量的运动矢量，或者，同位运动矢量是根据亮度采样率和色度采样率对亮度分量的运动矢量进行缩放后得到的运动矢量；
根据当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定当前图像块的亮度分量的亮度参考块和当前图像块的色度分量的色度参考块，其中，亮度参考块和色度参考块位于当前帧的参考帧；
确定亮度参考块的亮度重构值和色度参考块的色度重构值；
对亮度参考块的亮度重构值进行光照补偿，得到亮度参考块的亮度补偿值；
对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值；
确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度补偿值。
在一些实施例中，本公开提供一种图像处理方法，色度参考块的运动矢量与当前图像块的色度分量的运动矢量相同。
在一些实施例中，本公开提供一种图像处理方法，当前图像块的色度分量的运动矢量为(0,0)。
在一些实施例中，本公开提供一种图像处理方法，当前图像块的色度分量的运动矢量是根据矢量候选列表确定的，色度分量的运动矢量在矢量候选列表中的索引用于指示色度分量的运动矢量。
在一些实施例中，本公开提供一种图像处理方法，采用公式(2)得到当前图像块的亮度预测值：
其中，为所述当前图像块的亮度预测值，/>为所述亮度参考块的亮度重构值，αY为所述亮度分量的颜色通道缩放系数，βY为所述亮度分量的偏移量；
和/或，
采用公式(3)和公式(4)得到所述当前图像块的色度预测值：
其中，为所述当前图像块的色度预测值的U分量，/>为所述当前图像块的色度预测值的V分量，/>为所述色度参考块的色度重构值的U分量，/>为所述色度参考块的色度重构值的V分量，αU为所述U分量的颜色通道缩放系数，αV为所述V分量的颜色通道缩放系数，βU为所述U分量的偏移量，βV为所述V分量的偏移量。
在一些实施例中，本公开提供一种图像处理方法，确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，包括：
确定当前帧携带的开关标志位的取值；
若当前帧的开关标志位的取值为第一取值，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度重构值；
若当前帧的开关标志位的取值为第二取值，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度补偿值。
在一些实施例中，本公开提供一种图像处理方法，当前帧携带的开关标志位的取值是根据当前帧的亮度分量与参考帧的亮度分量的差异，以及当前帧的色度分量与参考帧的色度分量的差异确定的。
在一些实施例中，本公开提供一种图像处理方法，在第一变化值和第二变化值的差值大于差异阈值的情况下，当前帧携带的开关标志位的取值为第一取值，其中，第一变化值为当前帧的亮度分量与参考帧的亮度分量的差值，第二变化值为当前帧的色度分量与参考帧的色度分量的差值。
一些实施例中，本公开提出一种图像处理装置，包括：
确定单元，用于确定当前图像块的参考块，其中，当前图像块位于当前帧，参考块位于当前帧的参考帧；
确定单元，还用于确定参考块的亮度重构值和参考块的色度重构值
处理单元，用于对参考块的亮度重构值进行光照补偿，得到参考块的亮度补偿值；
确定单元，还用于确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为参考块的亮度补偿值，当前图像块的色度预测值为参考块的色度重构值。
在一些实施例中，本公开提出一种图像处理装置，包括：
确定模块，用于确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，当前图像块位于当前帧，色度分量的运动矢量与同位运动矢量不同，同位运动矢量为亮度分量的运动矢量，或者，同位运动矢量是根据亮度采样率和色度采样率对亮度分量的运动矢量进行缩放后得到的运动矢量；
确定模块，还用于根据当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定当前图像块的亮度分量的亮度参考块和当前图像块的色度分量的色度参考块，其中亮度参考块和色度参考块位于当前帧的参考帧；
确定模块，还用于确定亮度参考块的亮度重构值和色度参考块的色度重构值；
处理模块，用于对亮度参考块的亮度重构值进行光照补偿，得到亮度参考块的亮度补偿值；
处理模块，还用于对色度参考块的色度重构值进行光照补偿，得到色度参考块的色度补偿值；
确定模块，还用于确定当前图像块的亮度预测值和色度预测值，其中，当前图像块的亮度预测值为亮度参考块的亮度补偿值，当前图像块的色度预测值为色度参考块的色度补偿值。
根据本公开的一个或多个实施例，提供了一种终端，包括：至少一个存储器和至少一个处理器；
其中，所述至少一个存储器用于存储程序代码，所述至少一个处理器用于调用所述至少一个存储器所存储的程序代码执行上述中任一项所述的方法。
根据本公开的一个或多个实施例，提供了一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行上述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，所述当前图像块位于当前帧，所述色度分量的运动矢量与同位运动矢量不同，所述同位运动矢量为所述亮度分量的运动矢量，或者，所述同位运动矢量是根据亮度采样率和色度采样率对所述亮度分量的运动矢量进行缩放后得到的运动矢量；
根据所述当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定所述当前图像块的亮度分量的亮度参考块和所述当前图像块的色度分量的色度参考块，其中，所述亮度参考块和色度参考块位于所述当前帧的参考帧；
确定所述亮度参考块的亮度重构值和所述色度参考块的色度重构值；
对所述亮度参考块的亮度重构值进行光照补偿，得到所述亮度参考块的亮度补偿值；
对所述色度参考块的色度重构值进行光照补偿，得到所述色度参考块的色度补偿值；
确定所述当前图像块的亮度预测值和色度预测值；
其中，确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，包括：
确定所述当前帧携带的开关标志位的取值；
若所述当前帧的开关标志位的取值为第一取值，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度重构值；
若所述当前帧的开关标志位的取值为第二取值，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度补偿值；
其中，所述当前帧携带的开关标志位的取值是根据所述当前帧的亮度分量与所述参考帧的亮度分量的差异，以及所述当前帧的色度分量与所述参考帧的色度分量的差异确定的。
2.根据权利要求1所述的图像处理方法，其特征在于，
所述色度参考块的运动矢量与所述当前图像块的色度分量的运动矢量相同。
3.根据权利要求1所述的图像处理方法，其特征在于，
所述当前图像块的所述色度分量的运动矢量为（0,0）。
4.根据权利要求1所述的图像处理方法，其特征在于，所述当前图像块的色度分量的运动矢量是根据矢量候选列表确定的，所述色度分量的运动矢量在所述矢量候选列表中的索引用于指示所述色度分量的运动矢量。
5.根据权利要求1所述的图像处理方法，其特征在于，若所述当前帧的开关标志位的取值为第二取值，包括：
采用公式（2）得到所述当前图像块的亮度预测值：
=·+ 公式（2）
其中，为所述当前图像块的亮度预测值，为所述亮度参考块的亮度重构值，为亮度分量的颜色通道缩放系数，为亮度分量的偏移量；
和/或，
采用公式（3）和公式（4）得到所述当前图像块的色度预测值：
=·+公式（3）
=·+公式（4）
其中，为所述当前图像块的色度预测值的U分量，为所述当前图像块的色度
预测值的V分量，为所述色度参考块的色度重构值的U分量，为所述色度参考
块的色度重构值的V分量，为U分量的颜色通道缩放系数，为V分量的颜色通道缩放
系数，为U分量的偏移量，为V分量的偏移量。
6.根据权利要求1所述的图像处理方法，其特征在于，
在第一变化值和第二变化值的差值大于差异阈值的情况下，所述当前帧携带的开关标志位的取值为第一取值，其中，所述第一变化值为所述当前帧的亮度分量与所述参考帧的亮度分量的差值，所述第二变化值为所述当前帧的色度分量与所述参考帧的色度分量的差值。
7.一种图像处理装置，其特征在于，包括：
确定模块，用于确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，其中，所述当前图像块位于当前帧，所述色度分量的运动矢量与同位运动矢量不同，所述同位运动矢量为所述亮度分量的运动矢量，或者，所述同位运动矢量是根据亮度采样率和色度采样率对所述亮度分量的运动矢量进行缩放后得到的运动矢量；
所述确定模块，还用于根据所述当前图像块的亮度分量的运动矢量和色度分量的运动矢量确定所述当前图像块的亮度分量的亮度参考块和所述当前图像块的色度分量的色度参考块，其中所述亮度参考块和色度参考块位于所述当前帧的参考帧；
所述确定模块，还用于确定所述亮度参考块的亮度重构值和所述色度参考块的色度重构值；
处理模块，用于对所述亮度参考块的亮度重构值进行光照补偿，得到所述亮度参考块的亮度补偿值；
处理模块，还用于对所述色度参考块的色度重构值进行光照补偿，得到所述色度参考块的色度补偿值；
确定模块，还用于确定所述当前图像块的亮度预测值和色度预测值；
其中，确定当前图像块的亮度分量的运动矢量和色度分量的运动矢量，包括：
确定所述当前帧携带的开关标志位的取值；
若所述当前帧的开关标志位的取值为第一取值，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度重构值；
若所述当前帧的开关标志位的取值为第二取值，所述当前图像块的亮度预测值为所述亮度参考块的亮度补偿值，所述当前图像块的色度预测值为所述色度参考块的色度补偿值；
其中，所述当前帧携带的开关标志位的取值是根据所述当前帧的亮度分量与所述参考帧的亮度分量的差异，以及所述当前帧的色度分量与所述参考帧的色度分量的差异确定的。
8.一种终端，其特征在于，包括：
至少一个存储器和至少一个处理器；
其中，所述至少一个存储器用于存储程序代码，所述至少一个处理器用于调用所述至少一个存储器所存储的程序代码执行权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被电子设备执行时，使得该电子设备执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069698.4A CN112203086B (zh) | 2020-09-30 | 2020-09-30 | 图像处理方法、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069698.4A CN112203086B (zh) | 2020-09-30 | 2020-09-30 | 图像处理方法、装置、终端和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112203086A CN112203086A (zh) | 2021-01-08 |
| CN112203086B true CN112203086B (zh) | 2023-10-17 |
Family
ID=74014409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011069698.4A Active CN112203086B (zh) | 2020-09-30 | 2020-09-30 | 图像处理方法、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112203086B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801112B (zh) * | 2021-01-29 | 2023-08-04 | 厦门树冠科技有限公司 | 一种图像二值化处理方法、装置、介质及设备 |
| WO2022174469A1 (zh) * | 2021-02-22 | 2022-08-25 | Oppo广东移动通信有限公司 | 一种光照补偿方法、编码器、解码器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101335902A (zh) * | 2007-06-25 | 2008-12-31 | 华为技术有限公司 | 色度补偿方法和装置 |
| CN102714735A (zh) * | 2010-01-22 | 2012-10-03 | 索尼公司 | 图像处理设备和方法 |
| CN109076210A (zh) * | 2016-05-28 | 2018-12-21 | 联发科技股份有限公司 | 视频编解码的当前图像参考的方法和装置 |
| WO2019184934A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 色度的帧内预测方法及装置 |
| CN111698515A (zh) * | 2019-03-14 | 2020-09-22 | 华为技术有限公司 | 帧间预测的方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8379723B2 (en) * | 2006-06-27 | 2013-02-19 | Intel Corporation | Chroma motion vector processing apparatus, system, and method |
-
2020
- 2020-09-30 CN CN202011069698.4A patent/CN112203086B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101335902A (zh) * | 2007-06-25 | 2008-12-31 | 华为技术有限公司 | 色度补偿方法和装置 |
| CN102714735A (zh) * | 2010-01-22 | 2012-10-03 | 索尼公司 | 图像处理设备和方法 |
| CN109076210A (zh) * | 2016-05-28 | 2018-12-21 | 联发科技股份有限公司 | 视频编解码的当前图像参考的方法和装置 |
| WO2019184934A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 色度的帧内预测方法及装置 |
| CN111698515A (zh) * | 2019-03-14 | 2020-09-22 | 华为技术有限公司 | 帧间预测的方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| CE10-related: Local illumination compensation simplifications;Xiaoyu Xiu等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18Jan. 2019》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112203086A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112203085B (zh) | 图像处理方法、装置、终端和存储介质 | |
| TWI622288B (zh) | 視訊解碼方法 | |
| KR100809354B1 (ko) | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 | |
| RU2720975C2 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
| US8848799B2 (en) | Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder | |
| US20170264904A1 (en) | Intra-prediction complexity reduction using limited angular modes and refinement | |
| CN112203086B (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN110248189B (zh) | 一种视频质量预测方法、装置、介质和电子设备 | |
| US11496754B2 (en) | Video encoder, video decoder, and corresponding method of predicting random access pictures | |
| WO2021196994A1 (zh) | 编码的方法及装置、终端和存储介质 | |
| CN113170210A (zh) | 视频编码和解码中的仿射模式信令 | |
| EP3706421A1 (en) | Method and apparatus for video encoding and decoding based on affine motion compensation | |
| CN113473126A (zh) | 视频流的处理方法、装置、电子设备及计算机可读介质 | |
| US20200213616A1 (en) | Image Prediction Method and Apparatus | |
| US20050089232A1 (en) | Method of video compression that accommodates scene changes | |
| WO2019091372A1 (zh) | 图像预测方法和装置 | |
| WO2014094219A1 (en) | Video frame reconstruction | |
| CN110418134B (zh) | 基于视频质量的视频编码方法、装置及电子设备 | |
| US20150063462A1 (en) | Method and system for enhancing the quality of video during video compression | |
| CN113542737A (zh) | 编码模式确定方法、装置、电子设备及存储介质 | |
| CN116828180B (zh) | 视频编码方法、装置、电子设备和计算机可读介质 | |
| US20140092962A1 (en) | Inter field predictions with hevc | |
| CN112449187B (zh) | 视频解码方法、编码方法、装置、介质及电子设备 | |
| CN113038277B (zh) | 一种视频处理方法和装置 | |
| CN113411611B (zh) | 视频图像处理方法、设备及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |