CN113596474A - 图像/视频编码方法、装置、系统及计算机可读存储介质 - Google Patents

图像/视频编码方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113596474A
CN113596474A CN202110700504.4A CN202110700504A CN113596474A CN 113596474 A CN113596474 A CN 113596474A CN 202110700504 A CN202110700504 A CN 202110700504A CN 113596474 A CN113596474 A CN 113596474A
Authority
CN
China
Prior art keywords
block
coded
pixel
compensation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110700504.4A
Other languages
English (en)
Inventor
江东
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110700504.4A priority Critical patent/CN113596474A/zh
Publication of CN113596474A publication Critical patent/CN113596474A/zh
Priority to EP22827156.5A priority patent/EP4179728A4/en
Priority to PCT/CN2022/087831 priority patent/WO2022267654A1/en
Priority to US18/171,365 priority patent/US20230199178A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Abstract

本申请公开了一种图像/视频编码方法、装置、系统及计算机可读存储介质，该图像/视频编码方法包括：获取当前编码帧中的待编码块，以及获取待编码块的原始预测值；获取待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取第一像素块的第一补偿值、第二像素块的第二补偿值；将待编码块划分为至少四个待编码区域块；基于第一像素块的第一补偿值和第二像素块的第二补偿值分别获取第一待编码区域块、第二待编码区域块、第三待编码区域块的补偿预测值；利用补偿预测值和原始预测值对待编码块进行编码，得到待编码块的码流。本申请通过考虑相邻像素的相关性，提升当前块预测值的准确性，提升帧间编码性能。

Description

图像/视频编码方法、装置、系统及计算机可读存储介质
技术领域
本申请涉及视频编码技术领域，特别是涉及一种图像/视频编码方法、装置、系统及计算机可读存储介质。
背景技术
通过视频编码技术可以对视频进行压缩，以降低视频的数据量，降低视频传输过程中的网络带宽、减少存储空间。一般地，视频编码标准中会包含帧内预测、帧间预测、变换、量化、环路滤波、熵编码等过程来实现数据的压缩。
目前的帧间预测技术在构建匹配块时未充分利用相邻块的空间相关性，没有充分考虑到视频图像的内容相关性，从而影响帧间编码的压缩率。
发明内容
本申请提供一种图像/视频编码方法、装置、系统及计算机可读存储介质。
为解决上述技术问题，本申请提供的第一个技术方案为：提供一种图像/视频编码方法，包括：获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
为解决上述技术问题，本申请提供的第二个技术方案为：提供一种编码装置，所述编码装置包括当前获取模块、相邻获取模块、区域划分模块、补偿预测模块以及编码模块；
所述当前获取模块，用于获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
所述相邻获取模块，用于获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
所述区域划分模块，用于将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
所述补偿预测模块，用于基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
所述编码模块，用于利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
为解决上述技术问题，本申请提供的第三个技术方案为：提供一种编解码系统，所述编解码系统包括处理器、与所述处理器连接的存储器，其中，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的程序指令以实现：获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
为解决上述技术问题，本申请提供的第四个技术方案为：提供一种计算机可读存储介质，所述存储介质存储有程序指令，所述程序指令被执行时实现：获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
本申请提供的图像/视频编码方法，通过获取当前编码帧中的待编码块，以及获取待编码块的原始预测值；获取待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取第一像素块的第一补偿值、第二像素块的第二补偿值，其中，第一像素块由待编码块正上方的一行像素点组成，第二像素块由待编码块正左方的一列像素点组成；将待编码块划分为至少四个待编码区域块，通过将当前块划分为多个区域，对每个区域进行预测补偿，能够提升当前块各个区域预测值的准确性，其中，第一待编码区域块和第二待编码区域块分别与第一像素块相邻，第一待编码区域块和第三待编码区域块分别与第二像素块相邻；基于第一像素块的第一补偿值和第二像素块的第二补偿值分别获取第一待编码区域块、第二待编码区域块、第三待编码区域块的补偿预测值，利用相邻像素的预测值对待编码区域块进行预测补偿，能够充分考虑相邻像素与当前编码块运动补偿后像素的相关性，进一步提升当前编码块预测值的准确性，进一步减少残差值，提升帧间编码性能；利用补偿预测值和原始预测值对待编码块进行编码，得到待编码块的码流。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的图像/视频编码方法一实施例的流程示意图；
图2是本申请提供的待编码块分区方式一实施例的示意图；
图3是本申请提供的图像/视频编码方法另一实施例的流程示意图；
图4是本申请提供的待编码块分区方式另一实施例的示意图；
图5是本申请提供的图像/视频编码方法又一实施例的流程示意图；
图6是本申请提供的编码装置的一实施例的结构示意图；
图7是本申请编解码系统的一实施例的结构示意图；
图8是本申请计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着视频清晰度要求越来越高，视频图像的数据量变得比较大，视频编码的主要作用是将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量，实现降低传输过程中的网络带宽和减少存储空间的目的。
视频编解码的标准有H.264/AVC、H.265/HEVC、H.266/VVC、VP8、VP9、AV1、AVS等，其主要目的是将采集到的视频信号压缩成不同标准格式的数据，便于传输或存储。为了将视频编码技术应用于实际场景，码率控制技术在视频编码器中起着至关重要的作用，因为它可以在有限的通信带宽或存储空间的情况下调整编码器输出的目标码率，从而避免编码的视频帧出现过大或过小的情况。
本申请主要涉及帧间预测的编码技术，下面对帧间预测的基础原理进行说明：一般来说，时间上相邻图像像素点的亮度和色度信号值比较接近，具有强相关性。帧间预测通过运动搜索等方法在参考帧中寻找与当前块最为接近的匹配块，并记录当前块与匹配块间的运动信息如运动矢量MV(motion vector)大小、预测方向和参考帧索引。对运动信息进行编码，传输到解码端。在解码端，解码器只要通过相应句法元素解析出当前块的运动信息，就可找到当前块的匹配块，并将匹配块的像素值拷贝或者计算到当前块，即为当前块的帧间预测值，从而节省数据量，达到视频压缩的目的。
下面结合附图和实施例对本申请进行详细的说明。
请参见图1，图1是本申请提供的图像/视频编码方法一实施例的流程示意图。
本公开实施例的图像/视频编码方法的具体步骤如下：
步骤S11：获取当前编码帧中的待编码块，以及获取待编码块的原始预测值。
其中，本公开实施例获取待编码块的原始预测值可以采用现有的任意一种帧间编码技术进行计算获取，在此不一一列举。
步骤S12：获取待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取第一像素块的第一补偿值、第二像素块的第二补偿值，其中，第一像素块由待编码块正上方的一行像素点组成，第二像素块由待编码块正左方的一列像素点组成。
其中，如图2所示，为了提升待编码块最终预测值的准确性，本公开实施例选取待编码块正上方至少一行相邻像素值组成的第一像素块A1，A2，...，Am作为重叠块补偿(OBMC，Overlapped Block Motion Compensation)的补偿值，选取待编码块正左方至少一行相邻像素值组成的第二像素块B1，B2，...，Bm作为重叠块补偿(OBMC，Overlapped BlockMotion Compensation)的补偿值。其中，上述第一像素块的第一补偿值以及第二像素块的第二补偿值均为重建像素值，或者均为预测像素值。
需要说明的是，在编码过程中，当运动矢量不准确、物体不是简单的平移运动或一个分块中包含多个运动物体时，就容易出现块效应。本申请实施例采用OBMC技术可以对运动补偿后的块边缘进行处理，减少块效应。
另外，以像素值均为重建像素值为例，为了进一步增加第一像素块以及第二像素块与待编码块的相关性，提升待编码块预测值的准确性，本公开实施例还可以对第一像素块以及第二像素块的所有重建像素值进行预处理。具体过程请参阅图3，图3是本申请提供的图像/视频编码方法另一实施例的流程示意图。
本公开实施例的图像/视频编码方法的具体步骤如下：
步骤S21：获取预设滤波器。
其中，本申请实施例预设一个滤波器，滤波器的参数可以为[1,4,1]。在其他实施例中，预设的滤波器也可以为[1,5,1]。此处，预设滤波器的功能能够起到以当前像素点的像素值为主，参考相邻像素点的像素值，对当前像素点的像素值进行调整即可，对滤波器的形式参数不做限制。
步骤S22：利用预设滤波器对第一像素块中每一第一像素点的第一补偿值进行水平滑窗处理。
其中，编码装置利用预设的滤波器对第一像素块中每一个像素点的重建像素值按照水平滑窗的方式进行依次处理得到最后用于OBMC的补偿值。
例如，以预设滤波器为[1,4,1]为例，假设第一像素块中当前像素点的重建像素值为80，当前像素点的左相邻像素点的重建像素值为50，当前像素点的右相邻像素点的重建像素值为60，则经过滤波器处理后当前像素点的重建像素值为(80*4+60*1+40*1)/6＝70。
步骤S23：利用预设滤波器对第二像素块中每一第二像素点的第二补偿值进行垂直滑窗处理。
其中，编码装置利用预设的滤波器对第二像素块中每一个像素点的重建像素值按照垂直滑窗的方式进行依次处理得到最后用于OBMC的补偿值。
例如，以预设滤波器为[1,4,1]为例，假设第二像素块中当前像素点的重建像素值为80，当前像素点的上相邻像素点的重建像素值为50，当前像素点的下相邻像素点的重建像素值为60，则经过滤波器处理后当前像素点的重建像素值为(80*4+60*1+40*1)/6＝70。
步骤S13：将待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与第一像素块相邻，第一待编码区域块和第三待编码区域块分别与第二像素块相邻。
其中，为了提升待编码块各个部分预测值的准确性，本公开实施例可以将待编码块分成至少四个待编码区域块，具体划分方式请参阅图2和图4。图2和图4中，第一待编码区域块(分区0)和第二待编码区域块(分区1)分别与第一像素块相邻，第一待编码区域块(分区0)和第三待编码区域块(分区2)分别与第二像素块相邻。
具体地，针对图2和图4的划分方式，第一待编码区域块选取该区域正上方第一像素块的第一补偿值和该区域正左方第二像素块的第二补偿进行OBMC过程，第二待编码区域块选取该区域正上方第一像素块的第一补偿值进行OBMC过程，第三待编码区域块选取该区域正左方第二像素块的第二补偿值进行OBMC过程，第四待编码区域块不进行OBMC过程。
需要说明的是，本公开实施例的划分规则中除了第四待编码区域块以外，其他待编码区域块的性质均需要保证为矩形区域块。另外，第一待编码区域块和第二待编码区域块的高不一定相等，第一待编码区域块和第三待编码区域块的宽也不一定相等，具体请参阅图2和图4。
步骤S14：基于第一像素块的第一补偿值和第二像素块的第二补偿值分别获取第一待编码区域块、第二待编码区域块、第三待编码区域块的补偿预测值。
其中，编码装置采用第一像素块的第一补偿值和第二像素块的第二补偿值获取第一待编码区域块的补偿预测值，采用第一像素块的第一补偿值获取第二待编码区域块的补偿预测值，采用第二像素块的第二补偿值获取第三待编码区域块的补偿预测值。
具体的预测补偿过程请继续参阅图5，图5是本申请提供的图像/视频编码方法又一实施例的流程示意图。
本公开实施例的图像/视频编码方法的具体步骤如下：
步骤S31：获取第一像素块中每一第一像素点的第一补偿值，以及第二像素块中每一第二像素点的第二补偿值。
步骤S32：利用第一像素点的第一补偿值获取第一待编码区域块中每一像素点的第一补偿预测值，以及利用第二像素点的第二补偿值获取第一待编码区域块中每一像素点的第二补偿预测值。
其中，编码装置通过计算多个相同横坐标位置的第一像素点的第一补偿值的加权和，获取第一待编码区域块该横坐标位置对应像素点的第一补偿预测值。
具体地，编码装置获取事先预设的第三预设权重，利用第三预设权重计算多个第一补偿值的加权和。
需要说明的是，本公开实施例的所有预设权重均体现了多个相邻像素块与待编码块的距离远近。一般情况下，相邻像素点的距离越近，像素间的相关性越强。基于此原理，本公开实施例根据离该待编码区域块的距离来给补偿值分配权重，距离该待编码区域块越近，权重越大，距离该待编码区域块越远，权重越小，所有权重归一化后的和为1。然后编码装置利用选取的补偿值、运动补偿后预测值和设置的权重来进行OBMC加权预测过程。
同理，编码装置通过计算多个相同纵坐标位置的第二像素点的第二补偿值的加权和，获取第一待编码区域块该纵坐标位置对应像素点的第二补偿预测值。
步骤S33：获取第一预设权重。
步骤S34：按照第一预设权重叠加第一待编码区域块中每一像素点的第一补偿预测值、第二补偿预测值以及原始预测值，得到第一待编码区域块的补偿预测值。
其中，编码装置考虑与第一待编码区域块相邻的第一像素块以及第二像素块的影响，需要将第一待编码区域块中每一像素点的第一补偿预测值、第二补偿预测值与原始预测值进行补偿处理，提升第一待编码区域块的预测值的准确性。
如图2所示，设定待编码块尺寸为16x16，分别选取待编码块正上方4行像素点组成的第一像素块(A1，A2，A3，A4)和正左方4列像素点组成的第二像素块(B1，B2，B3，B4)的预测值作为OBMC的补偿像素，待编码块经过运动补偿后的预测值为Pcur(x,y)，待编码块经过OBMC后的预测值为Pobmc(x,y)。
编码装置将待编码块分成4个区域，第一待编码区域块的尺寸为4x4，第二待编码区域块的尺寸为12x4，第三待编码区域块的尺寸为4x12，第四待编码区域块的尺寸为12x12。对每个待编码区域块进行OBMC加权预测过程如下：
(1)第一待编码区域块：对第一待编码区域块每个像素点选取第一像素块的第一补偿值和第二像素块的第二补偿值分别进行OBMC过程。
PTobmc(x,y)＝α1*A1(x,y-1)+α2*A2(x,y-2)+α3*A1(x,y-3)+α4*A2(x,y-4)
PLobmc(x,y)＝β1*B1(x-1,y)+β2*B2(x-2,y)+β3*B1(x-3,y)+β4*B2(x-4,y)
Pobmc(x,y)＝γ1*PTobmc(x,y)+γ2*PTobmc(x,y)+γ3*Pcur(x,y)
其中，x取值范围为[0，3]，y取值范围为[0，3]，上述公式中权重设置为α1＝β1＝3/8，α2＝β2＝5/16，α3＝β3＝3/16，α4＝β4＝1/8，γ1＝γ2＝1/8，γ3＝3/4。
(2)第二待编码区域块：对第二待编码区域块每个像素点选取第一像素块的第一补偿值进行OBMC过程。
Pobmc(x,y)＝χ1*PTobmc(x,y)+χ2*Pcur(x,y)
其中x取值范围为[4，15]，y取值范围为[0，3]，PLobmc获取方式与(1)中的公式相同，χ1＝1/4，χ2＝3/4。
(3)第三待编码区域块：对第三待编码区域块每个像素点选取第二像素块的第二补偿值进行OBMC过程。
Pobmc(x,y)＝δ1*PLobmc(x,y)+δ2*Pcur(x,y)
其中x取值范围为[0，3]，y取值范围为[4，15]，PLobmc获取方式与(1)中的公式相同，δ1＝1/4，δ2＝3/4。
(4)第四待编码区域块：第四待编码区域块不需要进行OBMC过程。
Pobmc(x,y)＝Pcur(x,y)
其中x取值范围为[4，15]，y取值范围为[4，15]。
需要说明的是，上述取值范围以及权重设置仅为示例，不应当作为本申请的保护范围的限制。
步骤S15：利用补偿预测值和原始预测值对待编码块进行编码，得到待编码块的码流。
其中，编码装置利用补偿预测值和原始预测值对待编码块进行编码，通过采用分区加权的方式来提升当前块预测值的准确性，进一步减少残差值，提升帧间编码性能。
进一步地，编码装置还可以通过设置句法元素来标识上述图像/视频编码方法的编码方式。例如，如果有多种相邻像素选取方法，例如多个m或者多个n值、重建像素值或者预测像素值，需要添加一个选取方法的句法元素来标识。如果有多种分区的方法，例如部分或者所有区域有多种尺寸的选取方式，需要添加一个选取分区方法的句法元素来标识。如果有多套权重组合，需要添加一个权重组合的句法元素来标识。如果有多种OBMC加权预测的方法，需要添加一个预测方法的句法元素来标识。
在本公开实施例中，提供的图像/视频编码方法，通过获取当前编码帧中的待编码块，以及获取待编码块的原始预测值；获取待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取第一像素块的第一补偿值、第二像素块的第二补偿值，其中，第一像素块由待编码块正上方的一行像素点组成，第二像素块由待编码块正左方的一列像素点组成；将待编码块划分为至少四个待编码区域块，通过将当前块划分为多个区域，对每个区域进行预测补偿，能够提升当前块各个区域预测值的准确性，其中，第一待编码区域块和第二待编码区域块分别与第一像素块相邻，第一待编码区域块和第三待编码区域块分别与第二像素块相邻；基于第一像素块的第一补偿值和第二像素块的第二补偿值分别获取第一待编码区域块、第二待编码区域块、第三待编码区域块的补偿预测值，利用相邻像素的预测值对待编码区域块进行预测补偿，能够充分考虑相邻像素与当前编码块运动补偿后像素的相关性，进一步提升当前编码块预测值的准确性，进一步减少残差值，提升帧间编码性能；利用补偿预测值和原始预测值对待编码块进行编码，得到待编码块的码流。
本申请在现有帧间预测技术的基础上，通过实验提出了一种基于重叠块补偿的增强方法，该方法充分利用相邻像素与当前块运动补偿后像素的相关性，采用分区加权的方式来提升当前块预测值的准确性，进一步减少残差值，在一定程度上补充了现有帧间预测技术的不足，提高帧间编码的压缩率。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请继续参见图6，图6是本申请提供的编码装置的一实施例的结构示意图。其中，编码装置500包括当前获取模块51、相邻获取模块52、区域划分模块53、补偿预测模块54以及编码模块55。
其中，所述当前获取模块51，用于获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值。
所述相邻获取模块52，用于获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成。
所述区域划分模块53，用于将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻。
所述补偿预测模块54，用于基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值。
所述编码模块55，用于利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
请参见图7，为本申请编解码系统的一实施例的结构示意图。编解码系统包括相互连接的存储器62和处理器61。
存储器62用于存储实现上述任意一项的图像/视频编码方法的程序指令。
处理器61用于执行存储器62存储的程序指令。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62可以为内存条、TF卡等，可以存储串匹配预测装置中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，串匹配预测装置才有记忆功能，才能保证正常工作。串匹配预测装置的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
请参阅图8，为本申请计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有图像/视频编码方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像/视频编码方法，其特征在于，所述图像/视频编码方法包括：
获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
2.根据权利要求1所述的图像/视频编码方法，其特征在于，
所述图像/视频编码方法还包括：
获取所述第一像素块中每一第一像素点的第一补偿值；
利用所述第一像素点的第一补偿值获取所述第二待编码区域块中每一像素点的补偿预测值；
获取第二预设权重；
按照所述第二预设权重叠加所述第二待编码区域块中每一像素点的补偿预测值以及原始预测值，得到所述第二待编码区域块的补偿预测值。
3.根据权利要求1所述的图像/视频编码方法，其特征在于，
所述图像/视频编码方法还包括：
获取所述第一像素块中每一第一像素点的第一补偿值，以及所述第二像素块中每一第二像素点的第二补偿值；
利用所述第一像素点的第一补偿值获取所述第一待编码区域块中每一像素点的第一补偿预测值，以及利用所述第二像素点的第二补偿值获取所述第一待编码区域块中每一像素点的第二补偿预测值；
获取第一预设权重；
按照所述第一预设权重叠加所述第一待编码区域块中每一像素点的第一补偿预测值、第二补偿预测值以及原始预测值，得到所述第一待编码区域块的补偿预测值。
4.根据权利要求3所述的图像/视频编码方法，其特征在于，
所述利用所述第一像素点的第一补偿值获取所述第一待编码区域块中每一像素点的第一补偿预测值，包括：
获取所述待编码块相邻的多个第一像素块
获取第三预设权重；
按照所述第三预设权重叠加所述多个第一像素块中相同横坐标位置对应第一像素点的第一补偿值，获取所述第一待编码区域块中该横坐标位置对应像素点的第一补偿预测值。
5.根据权利要求4所述的图像/视频编码方法，其特征在于，
所述获取第三预设权重，包括：
获取所述多个第一像素块与所述第一待编码区域块的距离；
按照所述距离设置所述第三预设权重，其中，所述第一像素块的距离与所述第一像素块对应的权重大小为负相关关系。
6.根据权利要求3所述的图像/视频编码方法，其特征在于，
所述利用所述第二像素点的第二补偿值获取所述第一待编码区域块中每一像素点的第二补偿预测值，包括：
获取所述待编码块相邻的多个第二像素块
获取第四预设权重；
按照所述第四预设权重叠加所述多个第二像素块中相同纵坐标位置对应第二像素点的第二补偿值，获取所述第一待编码区域块中该纵坐
标位置对应像素点的第二补偿预测值。
7.根据权利要求1所述的图像/视频编码方法，其特征在于，
所述获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值之后，所述图像/视频编码方法还包括：
获取预设滤波器；
利用所述预设滤波器对所述第一像素块中每一第一像素点的第一补偿值进行水平滑窗处理；
利用所述预设滤波器对所述第二像素块中每一第二像素点的第二补偿值进行垂直滑窗处理。
8.根据权利要求1所述的图像/视频编码方法，其特征在于，
所述图像/视频编码方法还包括：
设置第一句法元素，其中，所述第一句法元素标识权利要求1所述的图像/视频编码方法；
设置第二句法元素，其中，所述句法元素至少包括以下其中一项：第一像素块的数量，第二像素块的数量，待编码区域块的划分方式，以及补偿预测值的计算方式。
9.一种编码装置，其特征在于，所述编码装置包括当前获取模块、相邻获取模块、区域划分模块、补偿预测模块以及编码模块；
所述当前获取模块，用于获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
所述相邻获取模块，用于获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
所述区域划分模块，用于将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
所述补偿预测模块，用于基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
所述编码模块，用于利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
10.一种编解码系统，其特征在于，所述编解码系统包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的程序指令以实现：
获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序指令，所述程序指令被执行时实现：
获取当前编码帧中的待编码块，以及获取所述待编码块的原始预测值；
获取所述待编码块相邻的至少一个第一像素块和至少一个第二像素块，以及获取所述第一像素块的第一补偿值、所述第二像素块的第二补偿值，其中，所述第一像素块由所述待编码块正上方的一行像素点组成，所述第二像素块由所述待编码块正左方的一列像素点组成；
将所述待编码块划分为至少四个待编码区域块，其中，第一待编码区域块和第二待编码区域块分别与所述第一像素块相邻，所述第一待编码区域块和第三待编码区域块分别与所述第二像素块相邻；
基于所述第一像素块的第一补偿值和所述第二像素块的第二补偿值分别获取所述第一待编码区域块、所述第二待编码区域块、所述第三待编码区域块的补偿预测值；
利用所述补偿预测值和所述原始预测值对所述待编码块进行编码，得到所述待编码块的码流。
CN202110700504.4A 2021-06-23 2021-06-23 图像/视频编码方法、装置、系统及计算机可读存储介质 Pending CN113596474A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110700504.4A CN113596474A (zh) 2021-06-23 2021-06-23 图像/视频编码方法、装置、系统及计算机可读存储介质
EP22827156.5A EP4179728A4 (en) 2021-06-23 2022-04-20 SYSTEMS AND METHODS FOR IMAGE PREDICTION
PCT/CN2022/087831 WO2022267654A1 (en) 2021-06-23 2022-04-20 Systems and methods for image prediction
US18/171,365 US20230199178A1 (en) 2021-06-23 2023-02-19 Systems and methods for image prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700504.4A CN113596474A (zh) 2021-06-23 2021-06-23 图像/视频编码方法、装置、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113596474A true CN113596474A (zh) 2021-11-02

Family

ID=78244464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700504.4A Pending CN113596474A (zh) 2021-06-23 2021-06-23 图像/视频编码方法、装置、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113596474A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267654A1 (en) * 2021-06-23 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image prediction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926868A (zh) * 2003-10-17 2007-03-07 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
CN105794210A (zh) * 2013-12-06 2016-07-20 联发科技股份有限公司 用于运动边界处理的方法以及装置
CN109792535A (zh) * 2016-05-13 2019-05-21 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
CN110999306A (zh) * 2017-08-22 2020-04-10 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
CN111279702A (zh) * 2017-08-28 2020-06-12 三星电子株式会社 视频编码方法和装置及视频解码方法和装置
CN111355963A (zh) * 2015-01-26 2020-06-30 高通股份有限公司 用于视频译码的重叠运动补偿

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926868A (zh) * 2003-10-17 2007-03-07 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
CN105794210A (zh) * 2013-12-06 2016-07-20 联发科技股份有限公司 用于运动边界处理的方法以及装置
CN111355963A (zh) * 2015-01-26 2020-06-30 高通股份有限公司 用于视频译码的重叠运动补偿
CN109792535A (zh) * 2016-05-13 2019-05-21 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
CN110999306A (zh) * 2017-08-22 2020-04-10 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
CN111279702A (zh) * 2017-08-28 2020-06-12 三星电子株式会社 视频编码方法和装置及视频解码方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267654A1 (en) * 2021-06-23 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image prediction

Similar Documents

Publication Publication Date Title
US11563974B2 (en) Method and apparatus for video decoding
US10212456B2 (en) Deblocking filter for high dynamic range (HDR) video
US11412229B2 (en) Method and apparatus for video encoding and decoding
US10200687B2 (en) Sample adaptive offset for high dynamic range (HDR) video compression
US20200396460A1 (en) Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
US8989256B2 (en) Method and apparatus for using segmentation-based coding of prediction information
KR102121558B1 (ko) 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US11558639B2 (en) Selective resolution video encoding method, computer device, and readable storage medium
US10205953B2 (en) Object detection informed encoding
US20200389665A1 (en) Video encoding and decoding method, and storage medium thereof
US9369706B1 (en) Method and apparatus for encoding video using granular downsampling of frame resolution
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
US11330254B2 (en) Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
CN113596475A (zh) 图像/视频编码方法、装置、系统及计算机可读存储介质
US20230239471A1 (en) Image processing apparatus and image processing method
DE102020125206A1 (de) Verfahren und system zur mehrkanalvideocodierung mit frameratenänderung und kanalübergreifender referenzierung
US9565404B2 (en) Encoding techniques for banding reduction
CN113382249B (zh) 图像/视频编码方法、装置、系统及计算机可读存储介质
CN113596474A (zh) 图像/视频编码方法、装置、系统及计算机可读存储介质
US20060245501A1 (en) Combined filter processing for video compression
CN107409211A (zh) 一种视频编解码方法及装置
KR20240039178A (ko) 인코딩 및 디코딩 방법 그리고 장치
CN113225558A (zh) 平滑定向和dc帧内预测
CN112584143A (zh) 一种视频编码方法、装置、系统及计算机可读存储介质
CN113395520A (zh) 解码预测方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination