CN113099221B - 跨分量样点自适应补偿方法、编码方法及相关装置 - Google Patents

跨分量样点自适应补偿方法、编码方法及相关装置 Download PDF

Info

Publication number
CN113099221B
CN113099221B CN202110200049.1A CN202110200049A CN113099221B CN 113099221 B CN113099221 B CN 113099221B CN 202110200049 A CN202110200049 A CN 202110200049A CN 113099221 B CN113099221 B CN 113099221B
Authority
CN
China
Prior art keywords
candidate
brightness
pixels
pixel
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200049.1A
Other languages
English (en)
Other versions
CN113099221A (zh
Inventor
张雪
江东
粘春湄
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110200049.1A priority Critical patent/CN113099221B/zh
Publication of CN113099221A publication Critical patent/CN113099221A/zh
Priority to PCT/CN2022/076540 priority patent/WO2022174773A1/en
Priority to EP22755546.3A priority patent/EP4176584A4/en
Priority to US18/171,304 priority patent/US20230209065A1/en
Application granted granted Critical
Publication of CN113099221B publication Critical patent/CN113099221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明公开了一种跨分量样点自适应补偿方法、编码方法及相关装置，该跨分量样点自适应补偿方法包括：获取色度像素的候选亮度模式集，候选亮度模式集中至少包括十个候选亮度模式；从候选亮度模式集中选取色度像素的参考亮度模式；基于参考亮度模式对色度像素进行分类。通过上述方式，本发明能够使像素分类更准确，增强图像重建质量。

Description

跨分量样点自适应补偿方法、编码方法及相关装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种跨分量样点自适应补偿方法、编码方法及相关装置。
背景技术
视频图像数据量比较大，因此通常在观看时需要对视频像素数据(RGB、YUV等)进行压缩，压缩后的数据称之为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。整个视频编码流程可包括块划分、预测、变换、量化、编码等过程。在视频编码中，最常用颜色编码方法有YUV、RGB等。Y表示明亮度，也就是图像的灰度值；U和V(即Cb和Cr)表示色度，作用是描述图像色彩及饱和度。预测编码时，在整帧图像重建出来之后，可以对重建图像中的像素值进行滤波、补偿，以对重建图像中的像素值进行调整，进一步提高图像质量。但是现有的滤波、补偿方法还存在一定的问题，导致编码效率变低。
发明内容
本发明主要解决的技术问题是提供一种跨分量样点自适应补偿方法、编码方法及相关装置，能够使像素分类更准确，增强图像重建质量。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种跨分量样点自适应补偿方法，该跨分量样点自适应补偿包括：获取色度像素的候选亮度模式集，候选亮度模式包括基础亮度模式和扩展亮度模式，所述基础亮度模式的值为对应亮度像素的像素值，所述扩展亮度模式的值包括对至少部分所述基础亮度模式的值进行统计分析所得的统计值；从候选亮度模式集中选取色度像素的参考亮度模式；基于参考亮度模式对色度像素进行分类。
其中，候选亮度模式集中包括9+2n个候选亮度模式，n为正整数；或
候选亮度模式集中包括n2个候选亮度模式，n为大于3的正整数；或
候选亮度模式集中包括9+2n+m个候选亮度模式，n为零或正整数，m为正整数；或
候选亮度模式集中包括n2+m个候选亮度模式，n为大于或等于3的正整数，m为正整数。
其中，候选亮度模式包括基础亮度模式，获取色度像素的候选亮度模式集包括：获取色度像素的候选亮度像素，候选亮度像素至少为十个；使每个候选亮度像素对应一种基础亮度模式，并将候选亮度像素的像素值作为基础亮度模式的值。
其中，获取色度像素的候选亮度像素包括：多个候选亮度像素以色度像素为中心，呈中心对称排列。
其中，候选亮度像素的个数至少为十六个，获取色度像素的候选亮度像素包括：选取坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)、(2x+2,2y-1)、(2x+2,2y)、(2x+2,2y+1)、(2x-1,2y+2)、(2x,2y+2)、(2x+1,2y+2)、(2x+2,2y+2)的亮度像素作为候选亮度像素，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素。
其中，获取色度像素的候选亮度像素包括：候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，第二候选亮度像素集中的多个候选亮度像素以第一候选亮度像素集为中心，呈中心对称排列，第一候选亮度像素集中包括9个候选亮度像素，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素。
其中，第二候选亮度像素集中候选亮度像素的个数至少为十六个，获取色度像素的候选亮度像素包括：选取坐标为(2x+2,2y-1)、(2x+2,2y)、(2x+2,2y+1)、(2x-1,2y+2)、(2x,2y+2)、(2x+1,2y+2)、(2x+2,2y+2)、(2x-2,2y-2)、(2x-1,2y-2)、(2x,2y-2)、(2x+1,2y-2)、(2x+2,2y-2)、(2x-2,2y-1)、(2x-2,2y)、(2x-2,2y+1)、(2x-2,2y+2)的亮度像素作为第二候选亮度像素集中的候选亮度像素。
其中，第二候选亮度像素集中候选亮度像素的个数至少为四个，获取色度像素的候选亮度像素包括：选取坐标为(2x,2y-2)、(2x-2,2y)、(2x,2y+2)、(2x+2,2y)的亮度像素作为第二候选亮度像素集中的候选亮度像素。
其中，候选亮度模式包括扩展亮度模式，获取色度像素的候选亮度模式集包括：获取色度像素的候选亮度像素，并获取候选亮度像素的像素值，对至少部分所述基础亮度模式的值进行统计分析，得到至少一个统计值；将所述统计分析值作为所述扩展亮度模式的值。
其中，对至少部分所述基础亮度模式的值进行统计分析包括：获取至少部分候选亮度像素中像素值的最大值、最小值或平均值；分别将像素值的最大值、最小值或平均值作为扩展亮度模式的值。
其中，候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分候选亮度像素中像素值的最大值或最小值包括：获取所有候选亮度像素中像素值的最大值或最小值；或获取第一候选亮度像素集中所有候选亮度像素中像素值的最大值或最小值。
其中，候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分候选亮度像素中像素值的平均值包括：获取所有候选亮度像素中像素值的平均值；或获取第一候选亮度像素集中所有候选亮度像素中像素值的平均值。
其中，候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分候选亮度像素中像素值的平均值包括：获取所有候选亮度像素中像素值较大的前a个像素值的平均值，a大于或等于3且小于所有候选亮度像素的个数；或获取所有候选亮度像素中像素值较小的前b个像素值的平均值，b大于或等于3且小于所有候选亮度像素的个数；或获取第一候选亮度像素集中所有候选亮度像素中像素值较大的前c个像素值的平均值，c大于或等于3且小于第一候选亮度像素集中候选亮度像素的个数；或获取第一候选亮度像素集中所有候选亮度像素中像素值较小的前d个像素值的平均值，d大于或等于3且小于第一候选亮度像素集中候选亮度像素的个数。
其中，候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分候选亮度像素中像素值的平均值包括：获取所有候选亮度像素的排列矩阵，获取排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值；或获取第一候选亮度像素集中所有候选亮度像素的排列矩阵，获取排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值。
其中，基于参考亮度模式对色度像素进行分类包括：若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则不对所述色度像素进行分类；若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界内，则基于参考亮度模式对所述色度像素进行分类。
其中，若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则对所述参考亮度模式进行赋值，基于赋值后的参考亮度模式对所述色度像素进行分类。
其中，对参考亮度模式进行赋值包括：设定所述参考亮度模式的值为预设值；或获取所述参考亮度模式对应的参考亮度像素的像素值，则将所述参考亮度像素的像素值作为所述参考亮度模式的值；或获取所述参考亮度像素的相邻亮度像素的像素值，将所述相邻亮度像素的像素值作为所述参考亮度模式的值。
其中，边界包括图像的边界、slice边界、patch边界、LCU边界中的一种或多种。
其中，基于参考亮度模式对色度像素进行分类之后包括：对色度像素进行补偿，对参考亮度模式和补偿值进行编码得到当前块的码流，当前块的码流中包括一个表示参考亮度模式的句法元素，利用句法元素的不同取值表达采用哪种亮度模式对色度像素进行分类。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种跨分量样点自适应补偿方法，该跨分量样点自适应补偿方法包括：获取色度像素的候选亮度模式集，所述候选亮度模式包括基础亮度模式，所述基础亮度模式的值为对应亮度像素的像素值；从所述候选亮度模式集中选取所述色度像素的参考亮度模式；基于所述参考亮度模式对所述色度像素进行分类；其中，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第二候选亮度像素集中的多个候选亮度像素以所述第一候选亮度像素集为中心，呈中心对称排列，所述第一候选亮度像素集中包括9个候选亮度像素，所述第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素；或多个所述候选亮度像素以所述色度像素为中心，呈中心对称排列。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种跨分量样点自适应补偿方法，该跨分量样点自适应补偿方法包括：获取色度像素的候选亮度模式集；从所述候选亮度模式集中选取所述色度像素的参考亮度模式；基于所述参考亮度模式对所述色度像素进行分类；其中，若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则不对所述色度像素进行分类；若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界内，则基于参考亮度模式对所述色度像素进行分类；或若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则对所述参考亮度模式进行赋值，基于赋值后的参考亮度模式对所述色度像素进行分类。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种编码方法，该编码方法包括：至少利用上述的跨分量样点自适应补偿方法对色度像素的重建结果进行补偿；基于补偿后的预测结果对当前块进行编码。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种跨分量样点自适应补偿装置，该跨分量样点自适应补偿装置包括：获取模块，用于获取色度像素的候选亮度模式集，所述候选亮度模式包括基础亮度模式和扩展亮度模式，所述基础亮度模式的值为对应亮度像素的像素值，所述扩展亮度模式的值包括对至少部分所述基础亮度模式的值进行统计分析所得的统计值；选取模块，用于从候选亮度模式集中选取色度像素的参考亮度模式；分类模块，用于基于参考亮度模式对色度像素进行分类。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种编码器，该编码器包括处理器，处理器用于执行指令以实现上述的编码方法。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以上述的跨分量样点自适应补偿方法和/或编码方法。
本发明的有益效果是：区别于现有技术的情况，本发明选取候选亮度模式，在候选亮度模式中选取参考亮度模式以对色度像素进行分类，候选亮度模式包括基础亮度模式和扩展亮度模式，基础亮度模式的值为对应亮度像素的像素值，扩展亮度模式的值包括对至少部分基础亮度模式的值进行统计分析所得的统计值，丰富了参考亮度模式的可选模式，能更准确地对色度像素进行分类，以使更好地对图像重建做补偿，增强图像重建质量，提高编码效率。
附图说明
图1是色度分量像素与亮度分量像素的位置关系示意图；
图2是本申请一跨分量样点自适应补偿方法的流程示意图；
图3是本申请第一候选亮度像素选取示意图；
图4是本申请第二候选亮度像素选取示意图；
图5是本申请第三候选亮度像素选取示意图；
图6是本申请一参考亮度像素超边界示意图；
图7是本申请另一参考亮度像素超边界示意图；
图8是本申请实施方式中另一跨分量样点自适应补偿方法的流程示意图；
图9是本申请跨分量样点自适应补偿技术的结构示意图；
图10是本申请一实施方式中编码方法的流程示意图；
图11是本申请实施方式中跨分量样点自适应补偿装置的结构示意图；
图12是本申请实施方式中编码器的结构示意图；
图13是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
视频图像数据量比较大，通常需要对视频像素数据(RGB、YUV等)进行压缩，压缩后的数据称之为视频码流。在进行视频编码的过程中，输入的是一个个图像帧，对一帧图像进行编码时，需要将一帧分割成若干个最大编码单元(Largest Coding Unit,LCU)，然后再对每个编码单元进行不同尺寸的递归的分割，形成多个编码单元(CU)。视频编码以CU为单元进行。视频编码时，可以使用帧内预测、帧间预测、帧内块拷贝预测、串预测等方式对当前块进行预测，得到当前块的预测值，即得到当前块的预测图像，还可以对预测值进行滤波、补偿，以提高预测准确度。可以使用环路滤波的方式进行滤波、补偿。
环路滤波过程是在整帧图像重建出来之后，对重建图像中的像素值进行调整的过程。环路滤波一般来说主要有三个部分，即去方块滤波(Deblocking Filter，DBF/DF)、样点自适应补偿(Sample Adaptive Offset，SAO)和自适应环路滤波(Adaptive Loop Filter，ALF)。去方块滤波(DBF/DF)技术主要是对分块编码过程中的块边界进行滤波以去除方块效应，大幅改善图像主观质量。自适应环路滤波(ALF)技术是在编码端自适应地确定特定形状滤波器的滤波系数自适应地得到对当前帧最优的滤波器，以对重建图像进行滤波提升其重建质量。样点自适应补偿(SAO)技术是通过对像素分类并对每一类的像素加上特定的补偿值的方法，进一步提高图像质量，并能够解决颜色偏移，图像高频信息丢失等问题。
样点自适应补偿技术包括增强的样点自适应补偿技术(ESAO)和跨分量的样点自适应补偿技术(CCSAO)。跨分量样点自适应补偿技术(CCSAO)是针对色度分量进行补偿，具体地，在对于色度(UV)分量分类过程中参考了亮度(Y)分量，即可称为跨分量的样点自适应补偿技术。跨分量的样点自适应补偿方法主要包括：获取色度分量像素对应的亮度分量像素的像素值，根据亮度分量像素的像素值对色度分量像素进行分类，计算每一类色度分量像素的最佳补偿值，对符合各类别的像素根据最佳补偿值进行补偿，表示开关、模式，补偿值等句法的传输。
其中，获取色度分量像素对应的亮度分量像素的像素值包括：确定可选的亮度分量像素的位置，从可选的亮度分量像素的位置中选取用于给色度分量像素分类的亮度分量像素。
请参阅图1，图1是色度分量像素与亮度分量像素的位置关系示意图。本申请中所采用的颜色编码方法为YUV。Y表示明亮度，也就是图像的灰度值；U和V(即Cb和Cr)表示色度，作用是描述图像色彩及饱和度。每个Y亮度块都对应一个Cb和一个Cr色度块，每个色度块只对应一个亮度块。以4:2:0的采样格式为例，一个N*M的块对应亮度块大小为N*M，对应的两个色度块的大小都为(N/2)*(M/2)，色度块为亮度块的1/4大小，即在YUV420颜色空间格式的图像中一个色度分量像素点(以下简称色度像素)的位置对应了4个亮度分量像素点(以下简称亮度度像素)。如图1所示，实线标记为4个色度像素，虚线标记为16个对应位置的亮度像素，其中色度像素A对应了亮度像素4、5、7、8。用于色度像素分类的亮度像素可以从与色度像素对应的亮度像素中选取，也可以从与相邻色度像素对应的亮度像素中选取。如图1所示，可以设定从亮度像素0-8中选取用于给色度像素A分类的亮度像素。为便于区分，本申请中将可用于选择的亮度像素称为候选亮度像素，把最终选择用于对色度像素分类的亮度像素为参考亮度像素。也可以把每种可选择方式称为一种候选亮度模式，被选定用于色度像素分类的亮度模式则称为参考亮度模式。对于不同的LCU可以选择不同的模式，但现有CCSAO技术中，可供候选的亮度模式数量有限，导致色度像素的分类不够准确，影响图像的编码效率。基于此，本申请提出了几种色度像素对应亮度模式的候选方式，丰富了此过程中的可选模式，更准确地分类以及对图像重建值做补偿，提高编码效率。
请参阅图2，图2是本申请实施方式中一跨分量样点自适应补偿方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：
S210：获取色度像素的候选亮度模式集，候选亮度模式集中至少包括十个候选亮度模式。
为每个色度像素选取多个候选亮度模式，将多个候选亮度模式作为色度像素的候选亮度模式集，候选亮度模式集中至少包括十个候选亮度模式。
S230：从候选亮度模式集中选取色度像素的参考亮度模式。
在候选亮度模式集中选取一个候选亮度模式作为色度像素的参考亮度模式，参考亮度模式对应有多个色度像素。
S250：基于参考亮度模式对色度像素进行分类。
基于参考亮度模式将色度像素划分到不同的区间，同一区间的色度像素为同一类。
在该实施方式中，选取至少十个候选亮度模式，在候选亮度模式中选取参考亮度模式以对色度像素进行分类，丰富了参考亮度模式的可选模式，能更准确地对色度像素进行分类，以使更好地对图像重建做补偿，增强图像重建质量，提高编码效率。
在一实施方式中，可以将亮度像素的像素值作为亮度模式的值，使每一个位置的亮度像素对应一种亮度模式，本申请中将直接使用亮度像素像素值的亮度模式称为基础亮度模式。本申请可以通过增加候选亮度像素位置的方式增加可选候选亮度模式，即可以通过增加基础亮度模式的方式增加可选候选亮度模式的个数。如图1所示，目前给出了9种亮度像素候选位置，即给出9种候选亮度像素，在此基础上，可以以2n个的方式增加候选亮度像素个数，即本申请可以给出9+2n个候选亮度像素，即可以有9+2n个候选亮度模式，n为正整数，如候选亮度像素的个数可以至少为11个、13个、15个等。本申请也可以给出n2个候选亮度像素，即可以有n2个候选亮度模式，n为大于三的正整数，如候选亮度像素的个数可以至少为16个、25个、36个等。
在本申请中可以获取多个以色度像素为中心，呈中心对称排列的候选亮度像素。候选亮度像素可以包括第一候选亮度像素集和第二候选亮度像素集，第二候选亮度像素集中的多个候选亮度像素以第一候选亮度像素集为中心，呈中心对称排列，第一候选亮度像素集中包括9个候选亮度像素，请参阅图1，第一候选亮度像素集中候选亮度像素的位置坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)，其中，(x,y)为色度像素的坐标，坐标系的原点为色度块的左上角的像素。
在一实施方式中，第二候选亮度像素集中候选亮度像素的个数至少为四个，候选亮度像素集中的候选亮度像素的个数至少为十三个。请参阅图3，图3是本申请第一候选亮度像素选取示意图。如图3所示，实线点为色度像素，虚线点为亮度像素。如对于色度像素A，选取标号0～12的亮度像素作为候选亮度像素。具体地，以色度块的左上角的像素为原点建立坐标系，色度像素的坐标为(x,y)，以与色度块相对应的亮度块的左上角的像素为原点建立坐标系，选取坐标为(2x,2y-2)、(2x-2,2y)、(2x,2y+2)、(2x+2,2y)的亮度像素作为第二候选亮度像素集中的候选亮度像素，选取坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)、(2x,2y-2)、(2x-2,2y)、(2x,2y+2)、(2x+2,2y)的亮度像素作为候选亮度像素。
在一实施方式中，候选亮度像素的个数至少为十六个。请参阅图4，图4是本申请第二候选亮度像素选取示意图。如图4所示，实线点为色度像素，虚线点为亮度像素。如对于色度像素A，选取标号0～15的亮度像素作为候选亮度像素。具体地，以色度块的左上角的像素为原点建立坐标系，色度像素的坐标为(x,y)，以与色度块相对应的亮度块的左上角的像素为原点建立坐标系，选取坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)、(2x+2,2y-1)、(2x+2,2y)、(2x+2,2y+1)、(2x-1,2y+2)、(2x,2y+2)、(2x+1,2y+2)、(2x+2,2y+2)的亮度像素作为候选亮度像素。
在一实施方式中，第二候选亮度像素集中候选亮度像素的个数至少为十六个，候选亮度像素集中的候选亮度像素的个数至少为二十五个。请参阅图5，图5是本申请第三候选亮度像素选取示意图。如图5所示，实线点为色度像素，虚线点为亮度像素。如对于色度像素A，选取标号0～24的亮度像素作为候选亮度像素。具体地，以色度块的左上角的像素为原点建立坐标系，色度像素的坐标为(x,y)，以与色度块相对应的亮度块的左上角的像素为原点建立坐标系，选取坐标为(2x+2,2y-1)、(2x+2,2y)、(2x+2,2y+1)、(2x-1,2y+2)、(2x,2y+2)、(2x+1,2y+2)、(2x+2,2y+2)、(2x-2,2y-2)、(2x-1,2y-2)、(2x,2y-2)、(2x+1,2y-2)、(2x+2,2y-2)、(2x-2,2y-1)、(2x-2,2y)、(2x-2,2y+1)、(2x-2,2y+2)的亮度像素作为第二候选亮度像素集中的候选亮度像素，选取坐标为(2x-1,2y-1)、(2x,2y-1)、(2x+1,2y-1)、(2x-1,2y)、(2x,2y)、(2x+1,2y)、(2x-1,2y+1)、(2x,2y+1)、(2x+1,2y+1)、(2x+2,2y-1)、(2x+2,2y)、(2x+2,2y+1)、(2x-1,2y+2)、(2x,2y+2)、(2x+1,2y+2)、(2x+2,2y+2)、(2x-2,2y-2)、(2x-1,2y-2)、(2x,2y-2)、(2x+1,2y-2)、(2x+2,2y-2)、(2x-2,2y-1)、(2x-2,2y)、(2x-2,2y+1)、(2x-2,2y+2)的亮度像素作为候选亮度像素。
以上实施例中，通过增加候选亮度像素的位置个数可以增加候选亮度模式的个数，有更多选择方式，使后续色度像素分类更准确。
在另一实施方式中，本申请还对候选亮度像素的像素值进行了统计分析，并将部分统计信息作为候选亮度模式的值，来增加候选亮度模式，本申请中将以统计信息为值的亮度模式称为扩展亮度模式。在基础亮度模式外增加至少一个扩展亮度模式，本申请可以给出9+2n+m个候选亮度像素，即可以有9+2n+m个候选亮度模式，n为零或正整数，m为正整数。本申请也可以给出n2+m个候选亮度像素，即可以有n2+m个候选亮度模式，n为大于或等于三的正整数，m为正整数。
其中，对候选亮度像素的像素值进行统计分析包括：可以统计获取至少部分候选亮度像素中像素值的最大值、最小值或平均值等，候选亮度像素至少为九个；如可以统计分析所有候选亮度像素的像素值，选取像素值的最大值和/或最小值，可以计算所有像素值的平均值。也可以仅选取部分候选亮度像素，取所选的候选亮度像素的像素值的最大值、最小值、平均值等。还可以计算部分候选亮度像素的像素值的平均值，如取像素值较大的几个像素的像素值的平均值，或取像素值较小的几个像素值的平均值等。本申请对具体统计方式不做限定。统计后可分别将分别将像素值的最大值、最小值或平均值作为扩展亮度模式的值，可以得到多种扩展亮度模式。扩展亮度模式的个数可以是一个、两个或多个，候选亮度模式可包括基础亮度模式和扩展亮度模式，也可以只包括基础亮度模式或只包括扩展亮度模式。
本申请中可以获取所有候选亮度像素中像素值的最大值或最小值；或获取第一候选亮度像素集中所有候选亮度像素中像素值的最大值或最小值。
也可以获取所有候选亮度像素中像素值的平均值；或获取第一候选亮度像素集中所有候选亮度像素中像素值的平均值。
也可以获取所有候选亮度像素中像素值较大的前a个像素值的平均值，a大于或等于3且小于所有候选亮度像素的个数；或获取所有候选亮度像素中像素值较小的前b个像素值的平均值，b大于或等于3且小于所有候选亮度像素的个数；或获取第一候选亮度像素集中所有候选亮度像素中像素值较大的前c个像素值的平均值，c大于或等于3且小于第一候选亮度像素集中候选亮度像素的个数；或获取第一候选亮度像素集中所有候选亮度像素中像素值较小的前d个像素值的平均值，d大于或等于3且小于第一候选亮度像素集中候选亮度像素的个数。
也可以获取所有候选亮度像素的排列矩阵，获取排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值；或获取第一候选亮度像素集中所有候选亮度像素的排列矩阵，获取排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值。
请参阅图1、3、4、5，选择至少部分候选亮度像素，并求取这些候选亮度像素的像素值的最大值、最小值或平均值。可以在选出的同一组候选亮度像素中求取最大值、最小值或平均值中的一个或多个，也可以选出不同组选亮度像素，分别求取最大值、最小值或平均值中的一个或多个。
在一实施方式中，请参阅图1，选取标号0～8的亮度像素的像素值，获取9个像素值的最大值、最小值和平均值，分别将像素值的最大值、最小值和平均值作为扩展亮度模式的值，得到三种扩展亮度模式。可以在9个基础亮度模式的基础上增加一个、两个、三个等扩展亮度模式，得到10个、11个、12个候选亮度模式等。
在一实施方式中，请参阅图3或图4或图5，选取标号0～8的候选亮度像素的像素值，获取9个像素值的最大值、最小值和平均值，分别将像素值的平均值作为扩展亮度模式的值，得到三种扩展亮度模式。也可以选标号0-12或标号0-24的候选亮度像素的像素值，获取13个或25个像素值的最大值、最小值和平均值，得到三种扩展亮度模式。
在一实施方式中，请参阅图5或图6或图7，选取标号0～8的候选亮度像素的像素值，获取9个像素值平均值，获取9个像素值中较大的前三个的平均值和9个像素值中较小的前三个的平均值，分别将像素值的平均值作为扩展亮度模式的值，得到三种扩展亮度模式。例如在选取的标号为0～8的9个候选亮度像素中，像素值较大的前三个候选亮度像素标号为2、5、6，像素值较小的前三个候选亮度像素标号为0、4、8，则分别获取标号为2、5、6的候选亮度像素的像素值的平均值和标号为0、4、8的候选亮度像素的像素值的平均值，将该平均值作为扩展亮度模式的值。也可以选标号0-12或标号0-24的候选亮度像素的像素值，获取13个或25个像素值中较大的前三个的平均值和较小的前三个的平均值。
在一实施方式中，请参阅图3，选取标号0～8的候选亮度像素的像素值，获取9个像素值平均值；选取标号0～12的候选亮度像素的像素值，获取13个像素值平均值；选取标号为1、3、4、5、7、9、10、11、12的候选亮度像素的像素值，获取9个像素值平均值，分别将像素值的平均值作为扩展亮度模式的值，得到三种扩展亮度模式。
以上实施例中，通过增加候选亮度像素的像素值的统计信息作为候选亮度模式，能够进一步增加候选亮度模式的个数，有更多选择方式，使后续色度像素分类更准确。
在对图像进行编码时，需要对每一帧图像进行块划分，在上述方法中，当选定参考亮度模式之后，参考亮度模式对应的参考亮度像素可能位于块划分的边界外或图像的边界外，此时，参考亮度模式的取值可能会受影响，本申请还给出了边界处亮度模式的处理方式。边界可以是图像的边界、slice边界、patch边界、LCU边界中的一种或多种。不同的边界可以采用同一种处理方法也可以使用不同的处理方法，上下左右边界可以采用相同的处理方式也可以使用不同的处理方式。
在一实施方式中，若参考亮度模式对应的参考亮度像素位于边界外，则不对色度像素进行分类。即在选定的参考亮度模式下，若存在某一色度像素对应的参考亮度像素位于边界外，则在该模式下不对该色度像素进行分类。请参阅图6，图6为本申请一参考亮度像素超边界示意图。若选定的参考亮度模式为模式10，则在模式10下不对色度像素A进行分类，若选定的参考亮度模式为模式9，则在模式9下仍对色度像素A进行分类。
在一实施方式中，若参考亮度模式对应的参考亮度像素位于边界外，则设定参考亮度模式的值为预设值，基于参考亮度模式对色度像素进行分类。如图6所示，若选定的参考亮度模式为模式10，则将色度像素A对应的参考亮度像素10的像素值设为预设值，以对色度像素A进行后续分类。
在一实施方式中，若参考亮度模式对应的参考亮度像素位于边界外，且能够获取到参考亮度像素的像素值，则将参考亮度像素的像素值作为参考亮度模式的值，基于参考亮度模式对色度像素进行分类。如图6所示，若图6中的边界为slice边界、patch边界或LCU边界，则图中所有的亮度像素值都是可以获取到的。若选定的参考亮度模式为模式10，则将参考亮度像素10的像素值作为参考亮度模式的值，以对色度像素A进行后续分类。
在一实施方式中，若参考亮度模式对应的参考亮度像素位于边界外，则获取参考亮度像素的相邻亮度像素的像素值，将相邻亮度像素的像素值作为参考亮度模式的值，基于参考亮度模式对色度像素进行分类。如图6所示，若选定的参考亮度模式为模式10，与亮度像素10相邻的亮度像素为亮度像素3，则将亮度像素3的像素值作为参考亮度模式的值，而亮度像素3也在边界外，则可以选择亮度像素4的像素值代替亮度像素3的像素值，以对色度像素A进行后续分类。
在一实施方式中，请参阅图6和图7，图7是本申请另一参考亮度像素超边界示意图。当边界为图像的边界或slice边界或patch边界时，对于图像的上边界和左边界，若参考亮度模式对应的参考亮度像素位于边界外，则不对色度像素进行分类。对于图像的下边界和右边界，获取参考亮度像素的相邻亮度像素的像素值，将相邻亮度像素的像素值作为参考亮度模式的值，基于参考亮度模式对色度像素进行分类。当边界为LCU边界时，对于图像的上边界和左边界，当选定的参考亮度模式为模式10，则使用相邻的亮度像素3的像素值作为参考亮度模式的值，当选定的参考亮度模式为模式0或3或6，则直接使用将参考亮度像素的像素值作为参考亮度模式的值。对于图像的下边界和右边界，获取参考亮度像素的相邻亮度像素的像素值，将相邻亮度像素的像素值作为参考亮度模式的值，基于参考亮度模式对色度像素进行分类。
以上实施方式中，给出了多种边界处理方式，该实施方式中对亮度像素的边界处理方法可以交叉组合使用，并且可以与上述候选亮度模式的选取方法组合使用，也可与现有的候选亮度模式的选取方法组合使用。
请参阅图8，图8是本申请实施方式中另一跨分量样点自适应补偿方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。如图8所示，本实施方式包括：
S810：获取色度像素的候选亮度模式集。
S830：从候选亮度模式集中选取色度像素的参考亮度模式。
S850：对亮度像素进行处理，以对色度像素进行分类。
S870：对色度像素进行补偿，利用补偿后的预测值对当前块进行编码得到当前块的码流。
对于选中的模式需要句法表达，由编码端将该句法编码，解码端解出该句法得到相应模式，并采用相应操作。当前块的码流中包括参考亮度模式句法元素，参考亮度模式句法元素用于表示采用哪种亮度模式对色度像素进行分类。参考亮度模式句法元素为ccsao_type，利用句法元素的不同取值表达不同的亮度模式。边界处的像素值获取方法为预先设定的方法，编解码端共同按照设定方式操作，无需句法表达。请参阅图5，以具有十三种候选亮度模式为例进行说明。请参阅表1，表1是本申请一候选亮度模式句法取值表，候选亮度模式与句法元素ccsao_type取值一一对应，当有更多的候选亮度模式时，按此方法进行句法元素ccsao_type取值，在此不再赘述。
表1本申请一候选亮度模式句法取值表
模式 ccsao_type取值
位置0所对应模式 0
位置1所对应模式 1
位置2所对应模式 2
位置3所对应模式 3
位置4所对应模式 4
位置5所对应模式 5
位置6所对应模式 6
位置7所对应模式 7
位置8所对应模式 8
位置9所对应模式 9
位置10所对应模式 10
位置11所对应模式 11
位置12所对应模式 12
在该实施方式中，通过增加多种候选亮度模式，丰富了参考亮度模式的可选模式，并提出新的亮度像素边界处理方法，对于不同边界可以采用不同的处理方法，使得边界处的色度像素也可以进行分类补偿操作。同时并本方法将多种参考亮度模式与边界处理方法相结合，增加了可做像素补偿的像素范围，增强图像重建质量，进一步提高压缩效率。
CCSAO采用去方块滤波(DBF)之后或增强的样点自适应补偿技术(ESAO)之前得到的重建的亮度和色度图像对像素进行分类，并对ESAO之后的色度分量重建图像像素值进行补偿，其中补偿值的计算是基于ESAO之后的UV分量经过率失真优化(RDO)方法选择得到的。请参阅图9，图9是本申请跨分量样点自适应补偿技术的结构示意图。
如图9所示，以YUV420格式的图像为例，在经过DBF处理之后，得到包含三个分量的重建图像Y0U0V0，进一步经过ESAO处理，得到重建图像Y1U1V1。进一步地，采用CCSAO技术对重建图像Y1U1V1中的色度分量U1和色度分量V1进行分类，并通过率失真优化(RDO)过程计算各个类别对应的最佳补偿值，在Y1U1V1的基础上加上补偿值得到最终重建图Y2U2V2。其中，利用重建图像Y0U0V0中的亮度分量Y0和色度分量U0对Y1U1V1中的色度分量U1进行分类，利用重建图像Y0U0V0中的亮度分量Y0和色度分量V0对Y1U1V1中的色度分量V1进行分类。
请参阅图10，图10是本申请一实施方式中编码方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图12所示的流程顺序为限。该方法可由编码器来执行。本实施方式中，编码方法包括以下步骤：
S1010：至少利用上述的跨分量样点自适应补偿方法对色度像素的重建结果进行补偿。
在环路滤波中，利用上述任一跨分量样点自适应补偿方法对色度像素进行分类，并利用分类结果对色度像素的重建结果进行补偿。
S1030：基于补偿后的预测结果对当前块进行编码。
本实施方式所提供的编码方法，通过利用如上任一实施方式的跨分量样点自适应补偿方法对色度像素的预测结果进行补偿，增加重建图像的质量，提高编码效率。
请参阅图11，图11是本申请实施方式中跨分量样点自适应补偿装置的结构示意图。该实施方式中，跨分量样点自适应补偿装置包括获取模块131、选取模块132和分类模块133。
其中获取模块131用于获取色度像素的候选亮度模式集；选取模块132用于从候选亮度模式集中选取色度像素的参考亮度模式；分类模块133用于基于参考亮度模式对色度像素进行分类。该跨分量样点自适应补偿装置用于选取至少十个候选亮度模式，在候选亮度模式中选取参考亮度模式以对色度像素进行分类，丰富了参考亮度模式的可选模式，能更准确地对色度像素进行分类，以使更好地对图像重建做补偿，增强图像重建质量，提高编码效率。
请参阅图12，图12是本申请实施方式中编码器的结构示意图。该实施方式中，编码器10包括处理器11。
处理器11还可以称为CPU(Central Processing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器11也可以是任何常规的处理器等。
编码器10可以进一步包括存储器(图中未示出)，用于存储处理器11运行所需的指令和数据。
处理器11用于执行指令以实现上述本申请神经网络压缩方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图13，图13是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质20存储有指令/程序数据21，该指令/程序数据21被执行时实现本申请跨分量样点自适应补偿方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据21可以形成程序文件以软件产品的形式存储在上述存储介质20中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质20包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (26)

1.一种跨分量样点自适应补偿方法，其特征在于，包括：
获取色度像素的候选亮度模式集，所述候选亮度模式包括基础亮度模式和扩展亮度模式，所述基础亮度模式的值为对应亮度像素的像素值，所述扩展亮度模式的值包括对至少部分所述基础亮度模式的值进行统计分析所得的统计值；
所述获取色度像素的候选亮度模式集包括：获取所述色度像素的候选亮度像素，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第二候选亮度像素集中的多个候选亮度像素以所述第一候选亮度像素集为中心，呈中心对称排列，所述第一候选亮度像素集中包括9个候选亮度像素，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素；
从所述候选亮度模式集中选取所述色度像素的参考亮度模式；
基于所述参考亮度模式对所述色度像素进行分类。
2.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述获取色度像素的候选亮度模式集包括：
获取所述色度像素的候选亮度像素，多个所述候选亮度像素以所述色度像素为中心，呈中心对称排列；
使每个所述候选亮度像素对应一种所述基础亮度模式，并将所述候选亮度像素的像素值作为所述基础亮度模式的值。
3.根据权利要求2所述的跨分量样点自适应补偿方法，其特征在于，所述候选亮度像素的个数至少为十六个，所述获取色度像素的候选亮度像素包括：
选取坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1）、（2x+2,2y-1）、（2x+2,2y）、（2x+2,2y+1）、（2x-1,2y+2）、（2x,2y+2）、（2x+1,2y+2）、（2x+2,2y+2）的亮度像素作为所述候选亮度像素，其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素。
4.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述第二候选亮度像素集中候选亮度像素的个数至少为十六个，所述获取色度像素的候选亮度像素包括：
选取坐标为（2x+2,2y-1）、（2x+2,2y）、（2x+2,2y+1）、（2x-1,2y+2）、（2x,2y+2）、（2x+1,2y+2）、（2x+2,2y+2）、（2x-2,2y-2）、（2x-1,2y-2）、（2x,2y-2）、（2x+1,2y-2）、（2x+2,2y-2）、（2x-2,2y-1）、（2x-2,2y）、（2x-2,2y+1）、（2x-2,2y+2）的亮度像素作为所述第二候选亮度像素集中的候选亮度像素。
5.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述第二候选亮度像素集中候选亮度像素的个数至少为四个，所述获取色度像素的候选亮度像素包括：
选取坐标为（2x,2y-2）、（2x-2,2y）、（2x,2y+2）、（2x+2,2y）的亮度像素作为所述第二候选亮度像素集中的候选亮度像素。
6.根据权利要求1-5任一项所述的跨分量样点自适应补偿方法，其特征在于，所述获取色度像素的候选亮度模式集包括：
获取所述色度像素的候选亮度像素，将所述候选亮度像素的像素值作为所述基础亮度模式的值；
对至少部分所述基础亮度模式的值进行统计分析，得到至少一个统计值；
将所述统计值作为所述扩展亮度模式的值。
7.根据权利要求6所述的跨分量样点自适应补偿方法，其特征在于，所述对至少部分所述基础亮度模式的值进行统计分析包括：
获取至少部分所述候选亮度像素中像素值的最大值、最小值或平均值；
分别将所述像素值的最大值、最小值或平均值作为所述扩展亮度模式的值。
8.根据权利要求7所述的跨分量样点自适应补偿方法，其特征在于，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分所述候选亮度像素中像素值的最大值或最小值包括：
获取所有候选亮度像素中像素值的最大值或最小值；或
获取所述第一候选亮度像素集中所有候选亮度像素中像素值的最大值或最小值。
9.根据权利要求7所述的跨分量样点自适应补偿方法，其特征在于，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分所述候选亮度像素中像素值的平均值包括：
获取所有候选亮度像素中像素值的平均值；或
获取所述第一候选亮度像素集中所有候选亮度像素中像素值的平均值。
10.根据权利要求7所述的跨分量样点自适应补偿方法，其特征在于，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分所述候选亮度像素中像素值的平均值包括：
获取所有候选亮度像素中像素值较大的前a个像素值的平均值，a大于或等于3且小于所有候选亮度像素的个数；或
获取所有候选亮度像素中像素值较小的前b个像素值的平均值，b大于或等于3且小于所有候选亮度像素的个数；或
获取所述第一候选亮度像素集中所有候选亮度像素中像素值较大的前c个像素值的平均值，c大于或等于3且小于所述第一候选亮度像素集中候选亮度像素的个数；或
获取所述第一候选亮度像素集中所有候选亮度像素中像素值较小的前d个像素值的平均值，d大于或等于3且小于所述第一候选亮度像素集中候选亮度像素的个数。
11.根据权利要求7所述的跨分量样点自适应补偿方法，其特征在于，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素，获取至少部分所述候选亮度像素中像素值的平均值包括：
获取所有候选亮度像素的排列矩阵，获取所述排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值；或
获取所述第一候选亮度像素集中所有候选亮度像素的排列矩阵，获取所述排列矩阵中任一对称轴上所有候选亮度像素的像素值的平均值。
12.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，
所述候选亮度模式集中包括9+2n+m个所述候选亮度模式，n为零或正整数，m为正整数；或
所述候选亮度模式集中包括n2+m个所述候选亮度模式，n为大于或等于3的正整数，m为正整数。
13.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述基于参考亮度模式对所述色度像素进行分类包括：
若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则不对所述色度像素进行分类；
若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界内，则基于参考亮度模式对所述色度像素进行分类。
14.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述基于参考亮度模式对所述色度像素进行分类包括：
若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则对所述参考亮度模式进行赋值，基于赋值后的参考亮度模式对所述色度像素进行分类。
15.根据权利要求14所述的跨分量样点自适应补偿方法，其特征在于，所述对参考亮度模式进行赋值包括：
设定所述参考亮度模式的值为预设值；或
获取所述参考亮度模式对应的参考亮度像素的像素值，则将所述参考亮度像素的像素值作为所述参考亮度模式的值；或
获取所述参考亮度像素的相邻亮度像素的像素值，将所述相邻亮度像素的像素值作为所述参考亮度模式的值。
16.根据权利要求13所述的跨分量样点自适应补偿方法，其特征在于，
所述边界包括图像的边界、slice边界、patch边界、LCU边界中的一种或多种。
17.根据权利要求1所述的跨分量样点自适应补偿方法，其特征在于，所述基于参考亮度模式对所述色度像素进行分类之后，还包括：
对所述色度像素进行补偿，对所述参考亮度模式和补偿值进行编码得到当前块的码流，所述当前块的码流中包括一个表示参考亮度模式的句法元素，利用所述句法元素的不同取值表达采用哪种亮度模式对所述色度像素进行分类。
18.一种跨分量样点自适应补偿方法，其特征在于，包括：
获取色度像素的候选亮度模式集，所述候选亮度模式包括基础亮度模式，所述基础亮度模式的值为对应亮度像素的像素值；
从所述候选亮度模式集中选取所述色度像素的参考亮度模式；
基于所述参考亮度模式对所述色度像素进行分类；
其中，所述获取色度像素的候选亮度模式集包括：获取所述色度像素的候选亮度像素，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第二候选亮度像素集中的多个候选亮度像素以所述第一候选亮度像素集为中心，呈中心对称排列，所述第一候选亮度像素集中包括9个候选亮度像素，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素。
19.根据权利要求18所述的跨分量样点自适应补偿方法，其特征在于，所述方法还包括：
多个所述候选亮度像素以所述色度像素为中心，呈中心对称排列。
20.根据权利要求19所述的跨分量样点自适应补偿方法，其特征在于，
所述候选亮度模式集中包括9+2n个所述候选亮度模式，n为正整数；或
所述候选亮度模式集中包括n2个所述候选亮度模式，n为大于3的正整数。
21.一种跨分量样点自适应补偿方法，其特征在于，包括：
获取色度像素的候选亮度模式集；所述获取色度像素的候选亮度模式集包括：获取所述色度像素的候选亮度像素，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第二候选亮度像素集中的多个候选亮度像素以所述第一候选亮度像素集为中心，呈中心对称排列，所述第一候选亮度像素集中包括9个候选亮度像素，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素；
从所述候选亮度模式集中选取所述色度像素的参考亮度模式；
基于所述参考亮度模式对所述色度像素进行分类；
其中，若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则不对所述色度像素进行分类；若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界内，则基于参考亮度模式对所述色度像素进行分类；或
若至少部分所述候选亮度模式位于边界外，且所述参考亮度模式对应的参考亮度像素位于边界外，则对所述参考亮度模式进行赋值，基于赋值后的参考亮度模式对所述色度像素进行分类。
22.根据权利要求21所述的跨分量样点自适应补偿方法，其特征在于，所述对参考亮度模式进行赋值包括：
设定所述参考亮度模式的值为预设值；或
获取所述参考亮度模式对应的参考亮度像素的像素值，则将所述参考亮度像素的像素值作为所述参考亮度模式的值；或
获取所述参考亮度像素的相邻亮度像素的像素值，将所述相邻亮度像素的像素值作为所述参考亮度模式的值。
23.一种编码方法，其特征在于，包括：
至少利用权利要求1-22中任一项所述的跨分量样点自适应补偿方法对色度像素的重建结果进行补偿；
基于补偿后的结果对当前块进行编码。
24.一种跨分量样点自适应补偿装置，其特征在于，包括：
获取模块，用于获取色度像素的候选亮度模式集，所述候选亮度模式包括基础亮度模式和扩展亮度模式，所述基础亮度模式的值为对应亮度像素的像素值，所述扩展亮度模式的值包括对至少部分所述基础亮度模式的值进行统计分析所得的统计值；所述获取色度像素的候选亮度模式集包括：获取所述色度像素的候选亮度像素，所述候选亮度像素包括第一候选亮度像素集和第二候选亮度像素集，所述第二候选亮度像素集中的多个候选亮度像素以所述第一候选亮度像素集为中心，呈中心对称排列，所述第一候选亮度像素集中包括9个候选亮度像素，所述第一候选亮度像素集中候选亮度像素的位置坐标为（2x-1,2y-1）、（2x,2y-1）、（2x+1,2y-1）、（2x-1,2y）、（2x,2y）、（2x+1,2y）、（2x-1,2y+1）、（2x,2y+1）、（2x+1,2y+1），其中，（x,y）为所述色度像素的坐标，坐标系的原点为色度块的左上角的像素；
选取模块，用于从所述候选亮度模式集中选取所述色度像素的参考亮度模式；
分类模块，用于基于所述参考亮度模式对所述色度像素进行分类。
25.一种编码器，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求23所述的编码方法。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-22任一项所述的跨分量样点自适应补偿方法和/或权利要求23所述的编码方法。
CN202110200049.1A 2021-02-22 2021-02-22 跨分量样点自适应补偿方法、编码方法及相关装置 Active CN113099221B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110200049.1A CN113099221B (zh) 2021-02-22 2021-02-22 跨分量样点自适应补偿方法、编码方法及相关装置
PCT/CN2022/076540 WO2022174773A1 (en) 2021-02-22 2022-02-17 Methods and systems for video coding
EP22755546.3A EP4176584A4 (en) 2021-02-22 2022-02-17 METHOD AND SYSTEMS FOR VIDEO CODING
US18/171,304 US20230209065A1 (en) 2021-02-22 2023-02-17 Methods and systems for video coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200049.1A CN113099221B (zh) 2021-02-22 2021-02-22 跨分量样点自适应补偿方法、编码方法及相关装置

Publications (2)

Publication Number Publication Date
CN113099221A CN113099221A (zh) 2021-07-09
CN113099221B true CN113099221B (zh) 2023-06-02

Family

ID=76667180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200049.1A Active CN113099221B (zh) 2021-02-22 2021-02-22 跨分量样点自适应补偿方法、编码方法及相关装置

Country Status (1)

Country Link
CN (1) CN113099221B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4176584A4 (en) * 2021-02-22 2024-01-10 Zhejiang Dahua Technology Co METHOD AND SYSTEMS FOR VIDEO CODING
WO2023097064A1 (en) * 2021-11-25 2023-06-01 Beijing Dajia Internet Information Technology Co., Ltd. Cross-component sample adaptive offset
CN117478895A (zh) * 2022-07-19 2024-01-30 腾讯科技（深圳）有限公司 数据处理方法、装置、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965874A (zh) * 2012-06-11 2018-12-07 三星电子株式会社 视频解码方法
WO2019031703A1 (ko) * 2017-08-09 2019-02-14 엘지전자 주식회사 영상 코딩 시스템에서 선형 모델에 따른 영상 디코딩 방법 및 장치
CN110944175A (zh) * 2018-10-23 2020-03-31 北京达佳互联信息技术有限公司 一种视频编解码方法及装置
CN111919444A (zh) * 2019-01-03 2020-11-10 华为技术有限公司 色度块的预测方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769950B (zh) * 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN105141948A (zh) * 2015-09-22 2015-12-09 天津师范大学 一种改进的hevc样点自适应补偿方法
KR101956756B1 (ko) * 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
CN110944188B (zh) * 2018-09-21 2022-04-08 杭州海康威视数字技术股份有限公司 样点自适应补偿的方法、装置和系统
WO2020083108A1 (en) * 2018-10-23 2020-04-30 Mediatek Inc. Method and apparatus for reduction of in-loop filter buffer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965874A (zh) * 2012-06-11 2018-12-07 三星电子株式会社 视频解码方法
WO2019031703A1 (ko) * 2017-08-09 2019-02-14 엘지전자 주식회사 영상 코딩 시스템에서 선형 모델에 따른 영상 디코딩 방법 및 장치
CN110944175A (zh) * 2018-10-23 2020-03-31 北京达佳互联信息技术有限公司 一种视频编解码方法及装置
CN111919444A (zh) * 2019-01-03 2020-11-10 华为技术有限公司 色度块的预测方法和装置

Also Published As

Publication number Publication date
CN113099221A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113099221B (zh) 跨分量样点自适应补偿方法、编码方法及相关装置
RU2676410C1 (ru) Способ и устройство для оптимизации кодирования/декодирования компенсационных смещений для набора восстановленных выборок изображения
JP6334006B2 (ja) ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法
US20180146192A1 (en) Encoding method, decoding method and device thereof
CN113068032B (zh) 图像编解码方法、编码器、解码器以及存储介质
US8483496B2 (en) Image encoding/decoding system
JP2017509279A (ja) 画像符号化／復号化方法及び装置
US8873625B2 (en) Enhanced compression in representing non-frame-edge blocks of image frames
US20080181304A1 (en) Moving image encoding device and moving image encoding method
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN108271024A (zh) 图像编码、解码方法及装置
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
CN107483942B (zh) 视频数据压缩码流的解码、视频数据的编码方法及装置
CN117296312A (zh) 用于交叉分量样本自适应偏移的方法和系统
CN115836525A (zh) 用于从多个交叉分量进行预测的方法和系统
CN116601957A (zh) 一种帧内预测方法、装置及解码器和编码器
CN111988618A (zh) 进行解码、编码的方法、解码端和编码端
CN113115041A (zh) 支持alpha通道的无损图片压缩方法、装置及介质
WO2024016775A1 (zh) 数据处理方法、装置、设备
WO2023193253A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
US20230050468A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and device
WO2023193254A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2022174773A1 (en) Methods and systems for video coding
US20230319287A1 (en) Systems and methods for video encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant