CN116055749A - 视频处理方法及装置 - Google Patents

视频处理方法及装置 Download PDF

Info

Publication number
CN116055749A
CN116055749A CN202310020205.5A CN202310020205A CN116055749A CN 116055749 A CN116055749 A CN 116055749A CN 202310020205 A CN202310020205 A CN 202310020205A CN 116055749 A CN116055749 A CN 116055749A
Authority
CN
China
Prior art keywords
coding tree
tree unit
image frame
current coding
pixel set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310020205.5A
Other languages
English (en)
Inventor
刘晶
谷嘉文
黄博
钟婷婷
邵宇超
肖君实
刘何为
闻兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310020205.5A priority Critical patent/CN116055749A/zh
Publication of CN116055749A publication Critical patent/CN116055749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开关于一种视频处理方法及装置。视频处理方法包括：获取目标视频的待编码图像帧的编码树单元；针对每个编码树单元，执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；将自适应样点补偿模式的相关信息写入待发送给解码端的码流。

Description

视频处理方法及装置
技术领域
本公开涉及视频处理领域，尤其涉及一种视频处理方法及装置。
背景技术
高效率视频编码(High Efficiency Video Coding，缩写为HEVC)中引入了自适应样点补偿(Sample Adaptive Offset，缩写为SAO)技术，SAO可以缓解振铃效应。SAO的整体流程为：信息统计->亮度编码树块(coding tree block，缩写为CTB)的SAO模式->色度CTB的SAO模式->编码树单元(coding tree unit，CTU)的最优SAO模式->CTU的SAO滤波。SAO以CTU为基本单位。其中信息统计部分需要使用当前CTU的重建值信息进行统计。但是由于多线程并行和去块滤波(deblock)的影响，当前CTU最右侧和最下方四行四列的像素不是最终的重构像素，所以目前SAO的实现中会跳过每个CTU最右侧和最下方的像素，由于少统计了部分像素，会造成SAO信息统计的不准确导致参数决策不是最优。目前，常用的解决方案是跳过的像素采用的deblock之前的像素，虽然缓解了直接跳过部分像素的问题，但是deblock之前的像素分布和deblock后的像素有差别，所以对于跳过部分的像素使用deblock之前的像素仍然会导致信息统计不准确。
发明内容
本公开提供一种视频处理方法及装置，以至少解决相关技术中信息统计不准确的问题。
根据本公开实施例的第一方面，提供一种视频处理方法，包括：获取目标视频的待编码图像帧的编码树单元；针对每个编码树单元，执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；将自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，解码端用于基于自适应样点补偿模式对当前编码树单元进行样点补偿。
可选地，在执行预定处理之前，还包括：基于待编码图像帧的相关信息，确定是否开启自适应样点补偿；在确定开启自适应样点补偿的情况下，执行预定处理。
可选地，相关信息包括待编码图像帧的帧类型和/或预设质量系数，其中，预设质量系数表示预先设定的用于指示目标视频的编码质量的系数；基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：在满足以下条件之一的情况下，确定开启自适应样点补偿：预设质量系数小于第一预设值；预设质量系数大于或等于第一预设值且小于第二预设值、且待编码图像帧的帧类型不是非参考B帧；预设质量系数大于或等于第二预设值且待编码图像帧的帧类型不是B帧。
可选地，相关信息包括待编码图像帧中编码树单元的预测模式，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：基于待编码图像帧中预测模式的标识，确定待编码图像帧中预测模式采用跳过模式的编码树单元的数量；在数量小于第三预设值的情况下，确定开启自适应样点补偿。
可选地，相关信息包括待编码图像帧的率失真代价，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：获取待编码图像帧的帧内率失真代价、待编码图像帧和对应的参考帧的帧间率失真代价；在帧间率失真代价与帧内率失真代价的差值小于第四预设值的情况下，确定开启自适应样点补偿。
可选地，上述方法还包括：在确定不开启自适应样点补偿的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
可选地，上述方法还包括：基于确定出的待编码图像帧中的各个编码树单元的自适应样点补偿模式，确定待编码图像帧中补偿方式为不进行补偿的编码树单元的数量；在待编码图像帧中补偿方式为不进行补偿的编码树单元的数量超过预设比例的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
根据本公开实施例的第二方面，提供一种视频处理装置，包括：获取单元，被配置为获取目标视频的待编码图像帧的编码树单元；处理单元，被配置为针对每个编码树单元，执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；写入单元，被配置为将自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，解码端用于基于自适应样点补偿模式对当前编码树单元进行样点补偿。
可选地，处理单元，还被配置为在执行预定处理之前，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿；在确定开启自适应样点补偿的情况下，执行预定处理。
可选地，相关信息包括待编码图像帧的帧类型和/或预设质量系数，其中，预设质量系数表示预先设定的用于指示目标视频的编码质量的系数；处理单元，还被配置为在满足以下条件之一的情况下，确定开启自适应样点补偿：预设质量系数小于第一预设值；预设质量系数大于或等于第一预设值且小于第二预设值、且待编码图像帧的帧类型不是非参考B帧；预设质量系数大于或等于第二预设值且待编码图像帧的帧类型不是B帧。
可选地，相关信息包括待编码图像帧中编码树单元的预测模式，处理单元，还被配置为基于待编码图像帧中预测模式的标识，确定待编码图像帧中预测模式采用跳过模式的编码树单元的数量；在数量小于第三预设值的情况下，确定开启自适应样点补偿。
可选地，相关信息包括待编码图像帧的率失真代价，处理单元，还被配置为获取待编码图像帧的帧内率失真代价、待编码图像帧和对应的参考帧的帧间率失真代价；在帧间率失真代价与帧内率失真代价的差值小于第四预设值的情况下，确定开启自适应样点补偿。
可选地，写入单元，还被配置为在确定不开启自适应样点补偿的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
可选地，写入单元，还被配置为基于确定出的待编码图像帧中的各个编码树单元的自适应样点补偿模式，确定待编码图像帧中补偿方式为不进行补偿的编码树单元的数量；在待编码图像帧中补偿方式为不进行补偿的编码树单元的数量超过预设比例的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现根据本公开的视频处理方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行如上根据本公开的视频处理方法。
根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现根据本公开的视频处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的视频处理方法及装置，针对待编码图像帧的每个编码树单元，获取了当前编码树单元未去块滤波的最下边四行的第一像素，在当前编码树单元和当前编码树单元右侧相邻的编码树单元去块滤波结束后，还获取当前编码树单元去块滤波后除最下边四行像素外的第一像素，使得本公开在信息统计的时候不再跳过部分像素，而且信息统计所使用的像素中仅最下边四行的像素仍然采用去块滤波之前的像素，其他部分像素均采用了去块滤波之后的像素，提高了信息统计的准确度，从而可以获取到相对准确的补偿方式，进而得到更好的编码质量。因此，本公开解决了相关技术中的信息统计不准确的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是示出根据本公开的示例性实施例的视频处理方法的实施场景示意图；
图2是根据一示例性实施例示出的一种视频处理方法的流程图；
图3是根据一示例性实施例示出的一种视频处理装置的框图；
图4是根据本公开实施例的一种电子设备400的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
本公开提供了一种视频处理方法，能够提高信息统计的准确度，从而带来更好的编码质量，下面以视频传输场景为例进行说明。
图1是示出根据本公开的示例性实施例的视频处理方法的实施场景示意图，如图1所述，该实施场景包括服务器100、用户终端110和用户终端120，其中，用户终端不限于2个，包括并不限于手机、个人计算机等设备，用户终端可以安装获取视频的摄像头，服务器可以是一个服务器，也可以是若干个服务器组成服务器集群，还可以是云计算平台或虚拟化中心。
用户终端110通过摄像头获取目标视频，先将目标视频的每一帧切割成相等大小的编码树单元，然后在服务器100中的编码器中进行编码，也即获取目标视频的待编码图像帧的编码树单元，针对每个编码树单元，用户终端110执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；在获取自适应样点补偿模式后，用户终端110将自适应样点补偿模式的相关信息写入待发送给用户终端120的码流，用户终端120基于自适应样点补偿模式对当前编码树单元进行样点补偿。
需要说明的是，用户终端110和用户终端120可以独立完成该工作，也可以通过服务器100为其提供数据服务，本公开对此并不进行限定。当通过服务器100为其提供数据服务时，用户终端110通过摄像头获取目标视频，将该目标视频发送给服务器100，服务器100在接收到目标视频后，先将目标视频的每一帧切割成相等大小的编码树单元，然后在服务器100中的编码器中进行编码，也即获取目标视频的待编码图像帧的编码树单元，针对每个编码树单元，服务器100执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；在获取自适应样点补偿模式后，服务器100将自适应样点补偿模式的相关信息写入待发送给用户终端120的码流，用户终端120基于自适应样点补偿模式对当前编码树单元进行样点补偿。
下面，将参照附图详细描述根据本公开的示例性实施例的视频处理方法及装置。
图2是根据一示例性实施例示出的一种视频处理方法的流程图，如图2所示，视频处理方法包括以下步骤：
在步骤S201中，获取目标视频的待编码图像帧的编码树单元。在本步骤中，先将目标视频的每一个图像帧切割成相等大小的编码树单元，然后在分别进行编码。一般来说对视频进行编码都是一个图像帧一个图像帧的进行编码，本公开以目标视频中的一个图像帧为例进行说明。
在步骤S202中，针对每个编码树单元，执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式。例如，在需要对当前编码树单元进行信息统计时，可以等待当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后，再开始对当前编码树单元执行信息统计，此时由于当前编码树单元和当前编码树单元的右侧相邻的编码树单元均执行完去块滤波后，故当前编码树单元(CTU)最右侧四列的像素不会变化，将最右侧四列去块滤波后像素进行信息统计，由于采用相对准确的像素，因此可以提高信息统计的准确度，也即，本公开用于信息统计的像素中，仅当前编码树单元中最下方四行的像素采用执行去块滤波之前的像素，其他像素(包括当前编码树单元最右侧四列的像素)均采用执行去块滤波后的像素。对当前编码树单元中最下方四行的执行去块滤波之前的像素和当前编码树单元中除最下方四行之外的执行去块滤波后的像素执行信息统计，得到信息统计结果，基于该信息统计结果，可以确定出对应的多种自适应样点补偿(SAO)模式，根据多种SAO模式对应的率失真代价，选择出当前编码树单元的最优的自适应样点补偿(SAO)模式，如选择率失真代价最小的SAO模式作为当前编码树单元的最优的自适应样点补偿(SAO)模式。
根据本公开的示例性实施例，可以基于信息统计结果，获取至少一种自适应样点补偿(SAO)模式下所述当前编码树单元的率失真代价，其中，至少一种自适应样点补偿(SAO)模式包括不进行自适应样点补偿(SAO)模式，基于所述率失真代价，从至少一种自适应样点补偿(SAO)模式中确定当前编码树单元的自适应样点补偿(SAO)模式。
根据本公开的示例性实施例，在执行预定处理之前，还包括：基于待编码图像帧的相关信息，确定是否开启自适应样点补偿；在确定开启自适应样点补偿的情况下，执行预定处理。由于目标视频中并不是所有图像帧都执行预定处理，根据本实施例，基于待编码图像帧的相关信息，确定出开启自适应样点补偿的图像帧，只有这类图像帧才执行预定处理，从而避免对无需预定处理的图像帧的操作，也减少了待写入码流的内容。
具体地，自适应样点补偿(SAO)为帧级开关，即如果帧级SAO判断为开启状态，则该图像帧中每个CTU都需要花费相应的比特记录SAO的相关信息，如果帧级SAO判断为关闭状态，则该图像帧中每个CTU无需记录SAO相关信息，也即不消耗码率。对于跳过像素较多的图像帧，SAO相关信息占用的比特开销造成的码率上涨会高于其带来的收益，所以有选择性的关闭部分帧的SAO开关，可以获得较好的收益，即相同质量下码率更低。因此，本实施例中可以基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，在确定开启自适应样点补偿的情况下，执行预定处理。并且基于待编码图像帧的相关信息来确定是否开启自适应样点补偿，可以通过多种方式时限，下面根据相关信息的不同分别进行说明，需要说明的是，下面给出的相关信息仅仅是示例，本公开并不对此进行限定。
根据本公开的示例性实施例，相关信息包括待编码图像帧的帧类型和/或预设质量系数，其中，预设质量系数表示预先设定的用于指示目标视频的编码质量的系数；基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：在满足以下条件之一的情况下，确定开启自适应样点补偿：预设质量系数小于第一预设值；预设质量系数大于或等于第一预设值且小于第二预设值、且待编码图像帧的帧类型不是非参考B帧；预设质量系数大于或等于第二预设值且待编码图像帧的帧类型不是B帧的。根据本实施例，由于帧类型为B帧的图像帧中不做自适应样点补偿的编码树单元的额数量比较多，所以B帧开启自适应样点补偿操作比较浪费码率，此时针对帧类型为B帧的图像帧可以直接不开启自适应样点补偿，减少码率的浪费。
为了方便理解，简要介绍下图像帧的类型，图像帧的类型包括I帧、P帧和B帧，其中，I帧(帧内编码帧，Intra-Picture)就是一个完整的被压缩的图像，I帧可以通过解压缩得到一张完整的图像(数据量最大)；P帧(前后预测编码帧，又称Predictive-Picture)当后面的图像与I帧差异较大时，就会记录为P帧，P帧记录与前一个P帧或者I帧的差值(大概)；B帧(双向预测内插编码帧，Bi-directional interpolated prediction frame)，根据下一帧和上一帧的情况，记录一个运动矢量(数据量最小)。需要说明的是，I帧不参考任何帧，P帧只参考前面的帧，任何帧都能使用B帧作为它的参考帧，如果B帧可以作为参考帧，它就被称为参考B帧。如果B帧不用作参考帧，它便被称为非参考B帧。
具体地，在待编码图像帧编码之前，可以根据帧类型以及预设质量系数(crf)判断待编码图像帧是否开启SAO，也即是否执行上述预定处理，例如，上述第一预设值可以根据需要设置为20，第二预设值可以根据需要设置为26，因此，在crf<20时，所有图像帧都开启SAO，此时确定待编码图像帧开启SAO；在20<＝crf<26时，所有非参考B帧关闭SAO，此时需要根据待编码图像帧的帧类型，确定是否开启SAO，如果待编码图像帧是非参考B帧，则不开启SAO，如果待编码图像帧不是非参考B帧，则开启SAO；在26<＝crf时，所有B帧关闭SAO，此时需要根据待编码图像帧的帧类型，确定是否开启SAO，如果待编码图像帧是B帧，则不开启SAO，如果待编码图像帧不是B帧，则开启SAO。
根据本公开的示例性实施例，相关信息包括待编码图像帧中编码树单元的预测模式，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：基于待编码图像帧中预测模式的标识，确定待编码图像帧中预测模式采用跳过模式的编码树单元的数量；在数量小于第三预设值的情况下，确定开启自适应样点补偿。根据本实施例，由于预测模式采用跳过(SKIP)模式的编码树单元不做自适应样点补偿的概率比较大或者不做自适应样点补偿，所以当待编码图像帧中采用SKIP模式的编码树单元数量超过一定值，可以直接关闭待编码图像帧的自适应样点补偿开关，即待编码图像帧不开启自适应样点补偿，从而减少码率的浪费。
需要说明的，上述实施例可以在编码前进行，上述第三预设值可以根据需要设定，对此本公开均不进行限定。具体地，统计待编码图像帧中预测模式采用跳过模式(即SKIP模式)的编码树单元的数量，当这类编码树单元的数量达到一定值的时候，也即达到上述第三预设值的时候，关闭自适应样点补偿SAO。
根据本公开的示例性实施例，相关信息包括待编码图像帧的率失真代价，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：获取待编码图像帧的帧内率失真代价、待编码图像帧和对应的参考帧的帧间率失真代价；在帧间率失真代价与帧内率失真代价的差值小于第四预设值的情况下，确定开启自适应样点补偿。根据本实施例，由于帧内率失真代价(intercost)小于帧间率失真代价(intracost)一定值的图像帧中不做自适应样点补偿的编码树单元的额数量比较多，所以这类图像帧开启自适应样点补偿操作比较浪费码率，此时针对这类图像帧可以直接不开启自适应样点补偿，减少码率的浪费。
例如，可以根据编码预分析(lookahead)模块获取帧内率失真代价(intercost)和帧间率失真代价(intracost)，从而基于二者决策当前图像帧是否使用SAO，具体地，当一个图像帧的帧内率失真代价(intercost)小于帧间率失真代价(intracost)一定值，此时可以关闭SAO，只有帧内率失真代价(intercost)不小于帧间率失真代价(intracost)一定值时，才开启SAO。
返回图2，在步骤S203中，将自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，解码端用于基于自适应样点补偿模式对当前编码树单元进行样点补偿。将上述选择出的最优的自适应样点补偿模式的相关信息写入待发送给解码端的码流中，以便解码端根据该相关信息进行解码，如根据相关信息中的偏移值(offset)，解码端对当前编码树单元进行样点补偿。
根据本公开的示例性实施例，在确定不开启自适应样点补偿的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。根据本实施例，当该图像帧中编码树单元均未开启自适应样点补偿，也即均不进行预定处理，此时说明没有对应的补偿方式，所以可以将待编码图像帧未执行所述预定处理的标识写入码流即可，减少码率浪费。
具体地，先对开启SAO的所有图像帧进行编码，在编码结束后统计当前图像帧(也即上述待编码图像帧)中没有做SAO的CTU的比例，如果当前图像帧中所有CTU都没有做SAO，则在码流中将帧级的SAO标识flag写为0即可，CTU的SAO信息无需写入码流。
根据本公开的示例性实施例，还可以基于确定出的待编码图像帧中的各个编码树单元的自适应样点补偿模式，确定待编码图像帧中补偿方式为不进行补偿的编码树单元的数量；在待编码图像帧中补偿方式为不进行补偿的编码树单元的数量超过预设比例的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。根据本实施例，当该图像帧开启了SAO的情况下，但其中一定数量的编码树单元为进行SAO，即一定数量的编码树单元未进行预定处理，此时同样可以当做没有对应的补偿方式，所以将待编码图像帧未执行所述预定处理的标识写入码流即可，减少码率浪费。
具体地，上述实施例一般应用在编码器的配置为单线程的场景，在该场景下，对于所有开启了SAO的图像帧，检测当前图像帧中不做SAO的CTU数量，如果这类CTU数量在当前图像帧中占比超过80％，则可以关闭当前图帧的SAO，避免码率浪费。
图3是根据一示例性实施例示出的一种视频处理装置的框图。参照图3该装置包括获取单元30、处理单元32和写入单元34。
获取单元30，被配置为获取目标视频的待编码图像帧的编码树单元；处理单元32，被配置为针对每个编码树单元，执行如下预定处理：获取当前编码树单元的第一像素集和第二像素集，其中，第一像素集包括当前编码树单元中最下方四行的执行去块滤波之前的像素，第二像素集在对当前编码树单元和当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，第二像素集包括当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对第一像素集和第二像素集执行信息统计，基于信息统计结果，确定当前编码树单元的自适应样点补偿模式；写入单元34，被配置为将自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，解码端用于基于自适应样点补偿模式对当前编码树单元进行样点补偿。
根据本公开的示例性实施例，处理单元32，还被配置为在执行预定处理之前，基于待编码图像帧的相关信息，确定是否开启自适应样点补偿；在确定开启自适应样点补偿的情况下，执行预定处理。
根据本公开的示例性实施例，相关信息包括待编码图像帧的帧类型和/或预设质量系数，其中，预设质量系数表示预先设定的用于指示目标视频的编码质量的系数；处理单元32，还被配置为在满足以下条件之一的情况下，确定开启自适应样点补偿：预设质量系数小于第一预设值；预设质量系数大于或等于第一预设值且小于第二预设值、且待编码图像帧的帧类型不是非参考B帧；预设质量系数大于或等于第二预设值且待编码图像帧的帧类型不是B帧。
根据本公开的示例性实施例，相关信息包括待编码图像帧中编码树单元的预测模式，处理单元32，还被配置为基于待编码图像帧中预测模式的标识，确定待编码图像帧中预测模式采用跳过模式的编码树单元的数量；在数量小于第三预设值的情况下，确定开启自适应样点补偿。
根据本公开的示例性实施例，相关信息包括待编码图像帧的率失真代价，处理单元32，还被配置为获取待编码图像帧的帧内率失真代价、待编码图像帧和对应的参考帧的帧间率失真代价；在帧间率失真代价与帧内率失真代价的差值小于第四预设值的情况下，确定开启自适应样点补偿。
根据本公开的示例性实施例，写入单元34，还被配置为在确定不开启自适应样点补偿的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
根据本公开的示例性实施例，写入单元34，还被配置为基于确定出的待编码图像帧中的各个编码树单元的自适应样点补偿模式，确定待编码图像帧中补偿方式为不进行补偿的编码树单元的数量；在待编码图像帧中补偿方式为不进行补偿的编码树单元的数量超过预设比例的情况下，将用于指示待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
根据本公开的实施例，可提供一种电子设备。图4是根据本公开实施例的一种电子设备400的框图，该电子设备包括至少一个存储器401和至少一个处理器402，所述至少一个存储器中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开实施例的视频处理方法。
作为示例，电子设备400可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备1000并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备400还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备400中，处理器402可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器402还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器402可运行存储在存储器中的指令或代码，其中，存储器401还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器401可与处理器402集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器401可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器401和处理器402可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器402能够读取存储在存储器401中的文件。
此外，电子设备400还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。
根据本公开的实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行本公开实施例的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开实施例，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现本公开实施例的视频处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
获取目标视频的待编码图像帧的编码树单元；
针对每个编码树单元，执行如下预定处理：
获取当前编码树单元的第一像素集和第二像素集，其中，所述第一像素集包括所述当前编码树单元中最下方四行的执行去块滤波之前的像素，所述第二像素集在对所述当前编码树单元和所述当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，所述第二像素集包括所述当前编码树单元中除最下方四行之外的执行去块滤波后的像素；
对所述第一像素集和所述第二像素集执行信息统计，基于信息统计结果，确定所述当前编码树单元的自适应样点补偿模式；
将所述自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，所述解码端用于基于所述自适应样点补偿模式对所述当前编码树单元进行样点补偿。
2.如权利要求1所述的视频处理方法，其特征在于，在执行所述预定处理之前，还包括：
基于所述待编码图像帧的相关信息，确定是否开启自适应样点补偿；
在确定开启自适应样点补偿的情况下，执行所述预定处理。
3.如权利要求2所述的视频处理方法，其特征在于，所述相关信息包括所述待编码图像帧的帧类型和/或预设质量系数，其中，所述预设质量系数表示预先设定的用于指示所述目标视频的编码质量的系数；
所述基于所述待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：
在满足以下条件之一的情况下，确定开启自适应样点补偿：
所述预设质量系数小于第一预设值；
所述预设质量系数大于或等于所述第一预设值且小于第二预设值、且所述待编码图像帧的帧类型不是非参考B帧；
所述预设质量系数大于或等于所述第二预设值且所述待编码图像帧的帧类型不是B帧。
4.如权利要求2所述的视频处理方法，其特征在于，所述相关信息包括所述待编码图像帧中编码树单元的预测模式，
所述基于所述待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：
基于所述待编码图像帧中预测模式的标识，确定所述待编码图像帧中预测模式采用跳过模式的编码树单元的数量；
在所述数量小于第三预设值的情况下，确定开启自适应样点补偿。
5.如权利要求2所述的视频处理方法，其特征在于，所述相关信息包括所述待编码图像帧的率失真代价，
所述基于所述待编码图像帧的相关信息，确定是否开启自适应样点补偿，包括：
获取所述待编码图像帧的帧内率失真代价、所述待编码图像帧和对应的参考帧的帧间率失真代价；
在所述帧间率失真代价与帧内率失真代价的差值小于第四预设值的情况下，确定开启自适应样点补偿。
6.如权利要求2至5中任一项所述的视频处理方法，其特征在于，还包括：
在确定不开启自适应样点补偿的情况下，将用于指示所述待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
7.如权利要求1所述的视频处理方法，其特征在于，所述方法还包括：
基于确定出的所述待编码图像帧中的各个编码树单元的自适应样点补偿模式，确定所述待编码图像帧中补偿方式为不进行补偿的编码树单元的数量；
在所述待编码图像帧中补偿方式为不进行补偿的编码树单元的数量超过预设比例的情况下，将用于指示所述待编码图像帧未开启自适应样点补偿的标识写入待发送给解码端的码流。
8.一种视频处理装置，其特征在于，包括：
获取单元，被配置为获取目标视频的待编码图像帧的编码树单元；
处理单元，被配置为针对每个编码树单元，执行如下预定处理：
获取当前编码树单元的第一像素集和第二像素集，其中，所述第一像素集包括所述当前编码树单元中最下方四行的执行去块滤波之前的像素，所述第二像素集在对所述当前编码树单元和所述当前编码树单元的右侧相邻编码树单元执行去块滤波后进行获取，所述第二像素集包括所述当前编码树单元中除最下方四行之外的执行去块滤波后的像素；对所述第一像素集和所述第二像素集执行信息统计，基于信息统计结果，确定所述当前编码树单元的自适应样点补偿模式；
写入单元，被配置为将所述自适应样点补偿模式的相关信息写入待发送给解码端的码流，其中，所述解码端用于基于所述自适应样点补偿模式对所述当前编码树单元进行样点补偿。
9.一种电子设备，其特征在于，包括:
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至7中任一项所述的视频处理方法。
CN202310020205.5A 2023-01-04 2023-01-04 视频处理方法及装置 Pending CN116055749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310020205.5A CN116055749A (zh) 2023-01-04 2023-01-04 视频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310020205.5A CN116055749A (zh) 2023-01-04 2023-01-04 视频处理方法及装置

Publications (1)

Publication Number Publication Date
CN116055749A true CN116055749A (zh) 2023-05-02

Family

ID=86132713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310020205.5A Pending CN116055749A (zh) 2023-01-04 2023-01-04 视频处理方法及装置

Country Status (1)

Country Link
CN (1) CN116055749A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118573902A (zh) * 2024-07-04 2024-08-30 上海幻电信息科技有限公司 图像滤波处理方法、系统、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118573902A (zh) * 2024-07-04 2024-08-30 上海幻电信息科技有限公司 图像滤波处理方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
US10771813B2 (en) Reference frame encoding method and apparatus, and reference frame decoding method and apparatus
US10194150B2 (en) Method and device for coding image, and method and device for decoding image
US20230393802A1 (en) Real-time screen sharing
US10742989B2 (en) Variable frame rate encoding method and device based on a still area or a motion area
US11503312B2 (en) Method and devices for video predicting a first color component from a second component
GB2560548A (en) Video data processing system
US10715820B2 (en) Interframe predictive coding method and device
CN114450956A (zh) 自适应分辨率管理中的帧缓冲
CN111432213A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
US11622105B2 (en) Adaptive block update of unavailable reference frames using explicit and implicit signaling
US20140328383A1 (en) Encoding apparatus and method
JP2022544157A (ja) 適応分解能管理予測再スケーリング
EP2816807A1 (en) Processing and reproduction of frames
US20230199171A1 (en) Search Memory Management For Video Coding
CN116055749A (zh) 视频处理方法及装置
KR101602871B1 (ko) 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치
CN114727116A (zh) 编码方法及装置
CN114902671A (zh) 用于自适应裁剪的方法和系统
CN114363613B (zh) 滤波方法和滤波装置
CN114222118B (zh) 编码方法及装置、解码方法及装置
CN113411521B (zh) 视频处理方法、装置、电子设备及存储介质
CN111988615B (zh) 一种解码方法、装置、电子设备及存储介质
CN116896632A (zh) 视频编码方法及装置
CN117376580A (zh) 视频编码方法及装置
CN116112676A (zh) 视频编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination