CN118233641A - 块效应检测方法和装置、块效应处理方法和装置、视频编码器 - Google Patents

块效应检测方法和装置、块效应处理方法和装置、视频编码器 Download PDF

Info

Publication number
CN118233641A
CN118233641A CN202410323985.5A CN202410323985A CN118233641A CN 118233641 A CN118233641 A CN 118233641A CN 202410323985 A CN202410323985 A CN 202410323985A CN 118233641 A CN118233641 A CN 118233641A
Authority
CN
China
Prior art keywords
unit
sum
adjacent
tree structure
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410323985.5A
Other languages
English (en)
Inventor
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202410323985.5A priority Critical patent/CN118233641A/zh
Publication of CN118233641A publication Critical patent/CN118233641A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种块效应检测方法和装置，涉及图像处理技术领域，具体为视频编解码等技术领域。具体实现方案为：应用于视频编码器，方法包括：基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；检测原图区域图像是否满足边缘检测条件；响应于检测到原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。该实施方式提高了块效应检测准确度。

Description

块效应检测方法和装置、块效应处理方法和装置、视频编码器
技术领域
本公开涉及图像处理技术领域，具体涉及视频编解码等技术领域，尤其涉及一种块效应检测方法和装置、块效应处理方法和装置、视频编码器、电子设备、计算机可读介质以及计算机程序产品。
背景技术
在视频编码器中，块效应是由视频图像采用基于块的编码方式和量化造成相邻块之间存在明显差异的现象。
为了解决或减小块效应，现有部分块效应检测的方法复杂度较高，并不能适用于所有的编码场景；即使现有块效应检测方法可以检测出块效应，并没有很好的块效应处理手段，
发明内容
提供了一种块效应检测方法和装置、块效应处理方法和装置、视频编码器、电子设备、计算机可读存储介质以及计算机程序产品。
根据第一方面，提供了一种块效应检测方法，应用于视频编码器，该方法包括：基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；检测原图区域图像是否满足边缘检测条件；响应于检测到原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
根据第二方面，提供了一种块效应处理方法，应用于视频编码器，该方法包括：响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目，具有块效应的编码单元通过如第一方面任一实现方式描述的块效应检测方法检测得到；响应于数目大于个数阈值，确定当前树形结构单元的帧类型；基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
根据第三方面，提供了一种块效应检测装置，该装置包括：编码检测单元，被配置成基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；编码确定单元，被配置成响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；原图检测单元，被配置成检测原图区域图像是否满足边缘检测条件；原图确定单元，被配置成响应于检测到原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
根据第四方面，提供了一种块效应处理装置，应用于视频编码器，该装置包括：计算单元，被配置成响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目，具有块效应的编码单元通过第三方面任一实现方式描述的块效应检测装置检测得到；类型确定单元，被配置成响应于数目大于个数阈值，确定当前树形结构单元的帧类型；重编单元，被配置成基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。
根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。
根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。
本公开的实施例提供的块效应检测方法和装置，首先，基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；其次，响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；再次，检测原图区域图像是否满足边缘检测条件；最后，响应于原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。由此，对当前重建的树形结构单元中的编码单元进行边缘检测，确定编码单元是否产生块效应，快效应检测以编码单元为检测级别，提高了块效应检测的可靠性；在检测到编码单元与相邻编码单元满足边缘检测条件之后，通过对原图区域图像进行边缘检测条件检测，确定该编码单元与相邻编码单元之后是否具有块效应，以原图区域图像作为对比参考，提高了块效应检测的准确性。
本公开的实施例提供的块效应处理方法和装置，首先，响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目；其次，响应于数目大于个数阈值，确定当前树形结构单元的帧类型；最后，基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。由此，可以更加准确的找到存在块效应的编码单元和需要重编的树形结构单元，及时对树形结构单元或树形结构单元对应的原图进行重编，能够实时的消除块效应，相对于整帧或整行重编，采用对前树形结构单元或当前树形结构单元对应的原图进行重编减小了重编带来的代价，减小了块效应带来的不利影响，综合提升了编码的主观质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开块效应检测方法的一个实施例的流程图；
图2是本公开边缘检测条件中编码单元的像素排列的一种结构示意图；
图3是根据本公开块效应处理方法的一个实施例的流程图；
图4是根据本公开视频编码器的一个实施例的结构示意图；
图5是根据本公开视频编码器的另一个实施例的结构示意图；
图6是根据本公开块效应检测装置的一个实施例的结构示意图；
图7是根据本公开块效应处理装置的一个实施例的结构示意图；
图8是用来实现本公开实施例的块效应检测方法或块效应处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本实施例中，“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
视频编码联合协作小组历经6年时间最终确定了一种新的视频编码标准，称为高效视频编码(High Efficiency Video Coding，以下简称HEVC)。HEVC能够在相同的主观图像质量下，比H.264/AVC(Advanced Video Coding，高级视频编码)降低50％的码率。HEVC标准通过采用多种新的压缩工具(包括复杂的编码块结构、具有新的空间预测方向和帧内编码、复杂的插值滤波器、新的环路内滤波器和新的熵编码方案)，将H.264/AVC的编码效率提高一倍。
HEVC与以往视频编码标准的基本区别在于，HEVC采用了四叉树结构，这是一种灵活的机制，可以将图像分割成不同大小的块，不仅用于预测，还用于残差编码。HEVC中的基本处理单元是树形结构单元(Coding Tree Units，CTU)，它可以看作是H.264/AVC中宏块的泛化，并且可以根据四叉树结构递归地细分为更小的编码单元(Coding Units，CU)。每个编码单元进一步细分为用于内部或内部预测的预测单元(Prediction Unit，PU)。生成预测残差后，在HEVC中应用变换，对每个编码单元使用嵌套残差四叉树(Residual Quad-Tree，RQT)，即将每个编码单元划分为变换单元(Transform Unit，TU)。
块效应主要是由视频图像采用基于块的编码方式和量化造成相邻块之间存在明显差异的现象，在视频编码中人眼察觉到的小块边界处的不连续。块效应产生的原因1.主要是编码过程中对残差进行DCT(Discrete Cosine Transform，离散余弦变换)是基于块的，使得块与块之间的相关性被忽略了；2.对DCT系数进行量化，不同的图像块做了不同的处理。在视频编码中，为了解决或减小块效应，很多视频编码标准(H264，H265，SVAC)中采用了去块滤波和像素自适应补偿的方案。但是，在HEVC编码的过程中由于场景复杂度和码率限制等原因，虽然使用了区块滤波和像素自适应补偿技术，也极易产生块效应，如果产生块效应则严重影响了主观体验。
针对传统技术中，部分块效应检测的方法复杂度较高，并不能适用于所有的编码场景，例如直播和通信模式对于编码速度要求较高，同时块效应的检测并没有和原图像进行对比，只是在编码后的图像上进行块效应检测，忽略掉原图带来的影响。检测出块效应后，并没有很好的处理手段这一系列问题，
针对传统技术中主观体验差的问题，本公开提供了一种应用于视频编码器的块效应检测方法，该编码器可以是采用HEVC的编码器，图1示出了根据本公开块效应检测方法的一个实施例的流程100，上述块效应检测方法包括以下步骤：
步骤101，基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件。
本实施例中，当前树形结构单元是将原图划分为树形结构单元之后即将处理的树形结构单元，在对当前树形结构单元进行块检测的前置条件为：沿像素行方向，当前树形结构单元相邻上方的树形结构单元，以及当前树形结构单元左方的树形结构单元均已编码完成。
需要说明的是，当前树形结构单元中各个编码单元是属于当前树形结构单元的编码单元，而相邻编码单元可以是当前树形结构单元中的编码单元，也可以与当前树形结构单元相邻的树形结构单元中的编码单元，其中，与当前树形结构单元相邻的树形结构单元可以是沿像素行方向上当前树形结构单元上方的树形结构单元，也可以是当前树形结构单元左方的树形结构单元。
本实施例中，在HEVC中因为需要用到空域的参考块，所以当前树形结构单元开始编码的前置条件是，沿像素行方向其上方和左方的树形结构单元已经编码完成，同时采用标识进行标记，例如，如果编码完成标识设置为1；如果编码未完成标识设置为0。
本实施例中，各个编码单元与相邻编码单元的像素差值之和是指：各个编码单元与相邻编码单元之间相邻的像素行或像素列中相对应的像素差值求和。其中，像素行是指各个编码单元与相邻编码单元在像素行方向上相邻的像素形成的行。如图2所示，c0、c1、c2、c3对应的行是与b0、b1、b2、b3相邻的像素行。像素列是指各个编码单元与相邻编码单元在像素列方向上相邻的像素形成的列。
步骤102，响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像。
本实施例中，边缘检测条件是检测像素行或像素列(树形结构单元中编码单元的像素行或像素列，原图中某个区域中像素行或像素列)之间是否有边缘的条件，若有边缘，确定满足边缘检测条件；若无边缘，确定不满足边缘检测条件。
本实施例中，通过对当前树形结构单元，左方树形结构单元，上方树形结构单元的重建图做边缘检测，进入当前树形结构单元内部循环遍历每一个编码单元，如果检测到边缘则认为两个编码单元之间可能存在块效应(因为一般产生块效应都是两个编码单元之间有比较明显的边界感)。
本实施例中，编码单元的信息是编码单元的规格信息，例如，位置信息和大小信息，具体地：编码单元的信息包括：编码单元的位置坐标和编码单元的大小，根据当前树形结构单元中的编码单元的信息，可以得到相邻的编码单元的信息，基于当前树形结构单元中的编码单元的信息和相邻的编码单元的信息，可以得到该编码单元与相邻编码单元对应的原图区域图像。
本实施例中，原图是指进行四叉树结构划分的原始图像，原图区域图像是指在原图中对应该编码单元与相邻编码单元的区域，截取该区域的图像得到原图区域图像。
步骤103，检测原图区域图像是否满足边缘检测条件。
本实施例中，为了剔除一些原图上就有的明显边界，在原图上做边缘检测，如果在原图上也检测到边缘，则不能确定为块效应，否则确定为块效应。
步骤104，响应于检测到原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
本实施例中，若检测编码单元与相邻编码单元满足边缘检测条件，确定原图区域图像可能有块效应，此时会在原图上进行对应位置的检测，如果原图上存在满足边缘检测条件的情况，则不认为此处为块效应，如果原图上不存在边缘(即不满足边缘检测条件)，则认为此处是编码产生的块效应。
本实施例中，上述确定该编码单元与相邻编码单元之间具有块效应是指：该编码单元所属的树形结构单元具有块效应，相邻编码单元所属的树形结构单元也具有块效应，其中，该编码单元所属的树形结构单元与相邻编码单元所属的树形结构单元可以是同一个树形结构单元，也可以是不同的树形结构单元。
本实施例中，对于不具有区块滤波的视频编码器，本公开的块效应检测方法可以应用在当前树形结构单元编码完成之前。
可选地，对于具有区块滤波的视频编码器，由于该视频编码器在HEVC编码的过程中区块滤波需要整行编码完成后进行，此时如果考虑对树形结构单元进行重编，代价较大，所以需要考虑区块滤波对于块效应检测的影响。为此，检测块效应需要在当前树形结构单元编码完成且进行区块滤波之前进行，由于亮度的边缘有比较明显的平滑效果，但是色度的边缘平滑效果不是很明显，所以最后通过像素差值判断是否产生块效应可以只考虑像素中的色度值，无需考虑亮度值。并且区块滤波对于亮度块效应影响较大，区块滤波前后块效应可能消失；但是利用色度检测，区块滤波对于色度块效应的影响不大。
本公开的实施例提供的块效应检测方法，首先，基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；其次，响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；再次，检测原图区域图像是否满足边缘检测条件；最后，响应于原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。由此，对当前重建的树形结构单元中的编码单元进行边缘检测，确定编码单元是否产生块效应，快效应检测以编码单元为检测级别，提高了块效应检测的可靠性；在检测到编码单元与相邻编码单元满足边缘检测条件之后，通过对原图区域图像进行边缘检测条件检测，确定该编码单元与相邻编码单元之后是否具有块效应，以原图区域图像作为对比参考，提高了块效应检测的准确性。
在本公开的一些实施例中，上述块效应检测方法还包括：响应于检测到编码单元与相邻编码单元不满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
本公开提供的块效应检测方法，在检测到编码单元与相邻编码单元不满足边缘检测条件时，确定该编码单元与相邻编码单元之间不具有块效应，通过边缘检测条件确定编码单元与相邻编码单元之间不具有块效应，为快效应的筛选提供了一种可靠的实现方式。
在本公开的一些实施例中，上述块效应检测方法还包括：响应于检测到原图区域图像满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
本实施例提供的块效应检测方法，在检测到原图区域图像满足边缘检测条件，确定原图中编码单元与相邻编码之间实际具有边缘，此时并不能认定编码单元与相邻编码单元之间具有块效应，为此，在原图区域图像满足边缘检测条件时，确定该编码单元与相邻编码单元之间不具有块效应，为块效应的筛选提供了另一种可靠的实现方式。
在本公开的一些可选实现方式中，上述像素差值之和为沿像素行方向上像素差值的和，边缘检测条件包括：像素差值之和大于行相邻差值和，且像素差值之和大于行内部差值和。
本可选实现方式中，行相邻差值和为相邻编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和；行内部差值和为各个编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和。
本可选实现方式中，只有各个编码单元与相邻编码单元中像素沿像素行方向排布时，采用像素差值之和大于行相邻差值和，且像素差值之和大于行内部差值和这一边缘检测条件。
本可选实现方式提供的边缘检测条件，设置为像素差值之和大于行相邻差值和，以及大于行内部差值和，为边缘检测条件的实现提供了一种可靠的实现方式。
可选地，边缘检测条件包括：强边缘子条件和弱边缘子条件，其中，强边缘子条件为：像素差值之和与行相邻差值和的差大于第一阈值，像素差值之和与行内部差值和的差大于第一阈值；弱边缘子条件为：像素差值之和与行相邻差值和的差大于第二阈值，像素差值之和与行内部差值和的差大于第二阈值，其中第二阈值小于第一阈值，且第一阈值与第二阈值均大于零。
本实施例中，对当前树形结构单元内部逐个编码单元进行检查，检测沿像素行方向上当前树形结构单元与上方树形结构单元和左方树形结构单元是否存在强弱边缘(交界处像素差值大于相邻的像素差值较多，则认为强边缘；交界处像素差值大于相邻的像素差值较少，则认为弱边缘)
示例如下，取当前树形结构单元中编码单元和其上方树形结构单元中的编码单元，计算两个编码单元之间边缘的像素差值之和，像素差值之和与行内部差值和的差大于第一阈值则确定满足强边缘子条件；如果像素差值之和与行内部差值和的差大于第二阈值，则确定弱边缘子条件。
本实施例中，如果编码单元或相邻编码单元有一个满足强边缘子条件，则确定存在块效应；如果编码单元或相邻编码单元都满足弱边缘子条件，则确定存在块效应；其他情况确定无块效应。
可选地，边缘检测条件包括：像素差值之和大于第一行邻差值和，且像素差值大于第一行内差值和；第一行邻差值和为相邻编码单元中在像素行方向上第一像素行和第二像素行的像素差值之和，其中，第一像素行为相邻编码单元中与各个编码单元最近的像素行，第二像素行为在远离各个编码单元一侧且与第一像素行最近的像素行；第一行内差值和为各个编码单元中在像素行方向上第三像素行和第四像素行的像素差值之和，其中，第三像素行为各个编码单元中与该相邻编码单元最近的像素行，第四像素行为在远离该相邻编码单元一侧且与第三像素行最近的像素行。具体地，如图2所示，P1为一个编码单元，P2为在像素行方向上与P1相邻的相邻编码单元，P1与P2的像素差值之和为：abs(b0-c0)+abs(b1-c1)+abs(b2-c2)+abs(b3-c3)，第一像素行为像素值为c0、c1、c2、c3的像素所在的行，第二像素行为d0、d1、d2、d3的像素所在的行，第一行邻差值和为abs(c0-d0)+abs(c1-d1)+abs(c2-d2)+abs(c3-d3)，第三像素行为像素值为b0、b1、b2、b3的像素所在的行，第四像素行为a0、a1、a2、a3的像素所在的行，第一行内差值和为abs(a0-b0)+abs(a1-b1)+abs(a2-b2)+abs(a3-b3)。
在本公开的一些可选实现方式中，上述像素差值之和为沿像素列方向上像素差值的和，边缘检测条件包括：像素差值之和大于列相邻差值和，且像素差值之和大于列内部差值和。
本实施例中，列相邻差值和为相邻编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和；列内部差值和为各个编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和。
本可选实现方式中，只有各个编码单元与相邻编码单元中像素沿像素列方向排布时，采用像素差值之和大于列相邻差值和，且像素差值之和大于列内部差值和这一边缘检测条件。
本可选实现方式提供的边缘检测条件，设置为像素差值之和大于列相邻差值和，以及大于列内部差值和，为边缘检测条件的实现提供了另一种可靠的实现方式。
可选地，边缘检测条件包括：像素差值之和大于第一列邻差值和，且像素差值大于第一列内差值和；第一列邻差值和为相邻编码单元中在像素列方向上第一像素列和第二像素列的像素差值之和，其中，第一像素列为相邻编码单元中与各个编码单元最近的像素列，第二像素列为在远离各个编码单元一侧且与第一像素列最近的像素列；第一列内差值和为各个编码单元中在像素列方向上第三像素列和第四像素列的像素差值之和，其中，第三像素列为各个编码单元中与该相邻编码单元最近的像素列，第四像素列为在远离该相邻编码单元一侧且与第三像素列最近的像素列。
为了实现对检测到的块效应的消除，本公开还提供的一种块效应处理方法，该块效应处理方法应用于视频编码器，图1示出了根据本公开块效应检测方法的一个实施例的流程300，上述块效应处理方法包括以下步骤：
步骤301，响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目。
本实施例中，具有块效应的编码单元可以通过上述实施例提供的块效应检测方法检测得到。
本实施例中，遍历当前树形结构单元中编码单元，并通过块效应检测方法检测各个编码单元与该编码单元相邻的相邻编码，若有一个编码单元与相邻编码单元之间具有块效应，则数目加一，直至遍历完当前树形结构单元中所有编码单元为止，得到数目，该数目用于表示当前树形结构单元中具有块效应的编码单元的数量。
步骤302，响应于数目大于个数阈值，确定当前树形结构单元的帧类型。
本实施例中，个数阈值可以基于树形结构单元重建需求而确定，例如，个数阈值为树形结构单元中编码单元的数量的80％，当数目大于个数阈值时，确定树形结构单元中具有块效应的编码单元较多，需要对树形结构单元进行重编。
步骤303，基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
本实施例中，上述步骤303包括：基于帧类型，确定当前树形结构单元的重要性值；响应于当前树形结构单元重要性值大于重要阈值，对当前树形结构单元对应的原图进行重编，其中，当前树形结构单元对应的原图是指未进行帧间或帧内块划分的原始图像，并且该原始图像的区域对应当前树形结构单元。
上述步骤303还包括：响应于当前树形结构单元重要性值小于或等于重要阈值，对当前树形结构单元进行重编，其中，对当前树形结构单元进行重编是指：保留当前树形结构单元块结构划分的结构和模式，通过调整量化参数对当前树形结构进行重编。
本实施例中，重编是指采用视频编码器对图像或块结构划分后的单元(如树形结构单元或编码单元)进行比特流编码，其中，为了保持块结构划分后单元的划分结构，视频编码器可以关闭部分划分块结构的部件。
本公开的实施例提供的块效应处理方法，首先，响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目；其次，响应于数目大于个数阈值，确定当前树形结构单元的帧类型；最后，基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。由此，可以更加准确的找到存在块效应的编码单元和需要重编的树形结构单元，及时对树形结构单元或树形结构单元对应的原图进行重编，能够实时的消除块效应，相对于整帧或整行重编，采用对前树形结构单元或当前树形结构单元对应的原图进行重编减小了重编带来的代价，减小了块效应带来的不利影响，综合提升了编码的主观质量。
在本公开的一些实施例中，上述帧类型包括：关键帧、前向参考帧；基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编包括：响应于帧类型为关键帧或前向参考帧，调整视频编码器的量化参数，并采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编。
本可选实现方式中，上述调整视频编码器的量化参数包括：降低量化参数的值，由于量化参数越低越好，基于产生块效应所以需要降低量化参数，这样才能保证分配给当前树形结构单元的码率更高，编码出更多的细节，减小产生块效应的概率。
本可选实现方式中，关键帧，也称为内部编码帧、I帧；前向参考帧，也称为前向预测帧、P帧。P和I帧采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编的重编模式。因为该种重编模式较为耗时且重编质量更高，P帧和I帧数量较少且编码质量更高，所以采用该种重编模式。
本可选实现方式中，视频编码器的量化参数(Quantization Parameter，Qp)是衡量视频编码器质量的一个指标，量化参数的值设置的越低，视频编码器的编码质量越好。
本可选实现方式提供的对当前树形结构单元对应的原图进行重编的方法，在当前树形结构单元的帧类型为关键帧或前向参考帧时，调整视频编码器的量化参数，并采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编，提高了块效应处理效率，保证了关键帧和前向参考帧的块效应处理的可靠性。
在本公开的一些可选实现方式中，上述帧类型包括：双向参考帧；基于帧类型，对当前树形结构单元或树形结构单元对应的原图进行重编包括：响应于帧类型为双向参考帧，调整视频编码器的量化参数，并关闭调整量化参数的视频编码器中的帧内外控制部件，采用该视频编码器对当前树形结构单元进行重编。
本可选实现方式中，帧内外控制部件是视频编码器中对图像的树形结构单元以及树形结构单元中编码单元进行划分的单元，通过关闭帧内外控制部件，可以保留当前树形结构单元的划分结构和最佳模式。其中，最佳模式是分类别传输块的运动矢量，不同类别的运动矢量所携带的数据量不同，针对当前树形结构单元中编码单元的数量，例如，当前树形结构单元包括一个或多个编码单元，最佳模式可以是：inter，skip，merge中任意一种，其中，inter：传输的是匹配块(根据匹配算法)和当前编码块(选择时域或者空域预测的运动矢量)的运动矢量误差MVD和预测误差(因为预测块与实际的原始帧还存在误差)，携带的数据量比较大。merge：用当前正在编码的块预测出运动矢量，不需要传输MVD(即不需要进行运动估计)，只存在预测误差。skip：直接传输相应的指向这个参考块的运动矢量(匹配算法算出的匹配块)即可(相当于前一帧的某个块不做任何改变直接平移到下一帧)，不需要传输MVD和预测残差。
本可选实现方式中，双向参考帧，又称为双向内插帧、B帧，B帧编码较快、质量比P帧低，采用关闭调整量化参数的视频编码器中的帧内外控制部件对当前树形结构单元进行重编，可以提高视频编码器的编码效率。
本可选实现方式提供的对当前树形结构单元进行重编的方法，在当前树形结构单元的帧类型为双向参考帧时，调整视频编码器的量化参数，并关闭调整量化参数的视频编码器中的帧内外控制部件，采用该视频编码器对当前树形结构单元进行重编，提高了块效应处理效率，保证了关键帧和前向参考帧的块效应处理的可靠性。
进一步参考图4，本公开还提供了一种视频编码器，视频编码器用于接收图像(多个树形结构单元对应的原图)，并生成比特流。该视频编码器中的块效应检测部件与图1所示的方法实施例相对应。
如图4所示，本实施例提供的块效应检测装置400包括：依次连接的帧内外控制部件401、编码控制部件402、块效应检测部件403、环路滤波部件404。其中，上述帧内外控制部件401，用于对图像进行帧内或帧间预测，得到对应多个树形结构单元的预测残差块。上述编码控制部件402，用于对预测残差块进行离散余弦变换和量化，得到量化的变换系数；基于量化变换系数和预测残差块，得到重建后后树形结构单元。上述块效应检测部件403，基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；检测原图区域图像是否满足边缘检测条件；响应于原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。上述环路滤波部件404，用于对经过块效应检测部件的当前重建的树形结构单元进行滤波处理。
本实施例中，帧内外控制部件401将图像划分成互不重叠的树形结构单元，树形结构单元中保留至少一个编码单元，利用视频的空间相关性和时间相关性，对树形结构单元进行预测编码，分别采用帧内预测和帧间预测去除空域冗余信息，得到预测图像块；将预测图像块与原始图像块作差得到预测残差块。
本实施例中，上述编码控制部件402用于对预测残差块进行离散余弦变换和量化，得到量化的变换系数；对量化的变化系数进行熵编码，得到压缩码流，该压缩码流为比特流；上述编码控制部件402还通过反变换以及反量化处理对树形结构单元进行重建，得到重建后的树形结构单元。
本实施例中，上述块效应检测部件403是实现上述块效应检测方法的部件，上文针对块效应检测方法描述的操作、特征以及产生的有意效果同样适用于块效应检测部件403，在此不再赘述。
本实施例中，环路滤波部件404，是HEVC中实现区块滤波的模块，用于对图像的整行或整帧编码进行滤波，此时如果整行或整帧进行重编，则重编整行的代价较大，通过块效应检测部件检测部分需要重编的树形结构单元，后续单独对该树形结构单元进行重编，可以视频编码器的编码的成本。
本实施例提供的视频编码器，采用块效应检测部件，对当前重建的树形结构单元中的编码单元进行边缘检测，确定编码单元是否产生块效应，快效应检测以编码单元为检测级别，提高了块效应检测的可靠性；块效应检测部件在检测到编码单元与相邻编码单元满足边缘检测条件之后，通过对原图区域图像进行边缘检测条件检测，确定该编码单元与相邻编码单元之后是否具有块效应，以原图区域图像作为对比参考，提高了块效应检测的准确性。
可选地，上述块效应检测装置400还可以包括：像素自适应补偿部件，其中，像素自适应补偿部件用于对像素进行自适应补偿。像素自适应补偿部件主要对重建图像基于像素进行补偿以减小重建图像和原始图像之间的差异。
在本公开的另一个实施例中，上述视频编码器还包括：块效应处理部件，连接在块效应检测部件与环路滤波部件之间，用于在块效应检测部件检测到当前树形结构单元具有块效应时，计算当前树形结构单元中具有块效应的编码单元的数目；响应于数目大于个数阈值，确定当前树形结构单元的帧类型；基于帧类型，对当前树形结构单元或树形结构单元对应的原图进行重编。
在图5中，视频编码器用于接收图像，对图像进行编码器，并生成比特流T。
如图5所示，本实施例中，上述块效应处理部件是实现上述块效应处理方法的部件，上文针对块效应处理方法描述的操作、特征以及产生的有意效果同样适用于块效应处理部件，在此不再赘述。
本实施例提供的视频编码器，采用块效应处理部件，可以更加准确的找到存在块效应的编码单元和需要重编的树形结构单元，及时对树形结构单元或树形结构单元对应的原图进行重编，能够实时的消除块效应，相对于环路滤波部件对整帧或整行重编，采用对前树形结构单元或当前树形结构单元对应的原图进行重编减小了重编带来的代价，减小了块效应带来的不利影响，综合提升了编码的主观质量。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了块效应检测装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。
如图6所示，本实施例提供的块效应检测装置600包括：编码检测单元601，编码确定单元602，原图检测单元603，原图确定单元604。其中，上述编码检测单元601，可以被配置成基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件。上述编码确定单元602，可以被配置成响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像。上述原图检测单元603，可以被配置成检测原图区域图像是否满足边缘检测条件。上述原图确定单元604，可以被配置成响应于检测到原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
在本实施例中，块效应检测装置600中：编码检测单元601，编码确定单元602，原图检测单元603，原图确定单元604的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述装置600还包括：块效应确定单元(图中未示出)，上述块效应确定单元可以被配置成响应于检测到编码单元与相邻编码单元不满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
在本实施例的一些可选的实现方式中，上述装置600还包括：非块确定单元(图中未示出)，上述非块确定单元可以被配置成响应于检测到原图区域满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
在本实施例的一些可选的实现方式中，上述像素差值之和为沿像素行方向上像素差值的和，边缘检测条件包括：像素差值之和大于行相邻差值和，且像素差值之和大于行内部差值和；行相邻差值和为相邻编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和；行内部差值和为各个编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和。
在本实施例的一些可选的实现方式中，上述像素差值之和为沿像素列方向上像素差值的和，边缘检测条件包括：像素差值之和大于列相邻差值和，且像素差值之和大于列内部差值和；列相邻差值和为相邻编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和；列内部差值和为各个编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和。
本公开的实施例提供的块效应检测装置，首先，编码检测单元601基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；其次，编码确定单元602响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；再次，原图检测单元603检测原图区域图像是否满足边缘检测条件；最后，原图确定单元604响应于原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。由此，对当前重建的树形结构单元中的编码单元进行边缘检测，确定编码单元是否产生块效应，快效应检测以编码单元为检测级别，提高了块效应检测的可靠性；在检测到编码单元与相邻编码单元满足边缘检测条件之后，通过对原图区域图像进行边缘检测条件检测，确定该编码单元与相邻编码单元之后是否具有块效应，以原图区域图像作为对比参考，提高了块效应检测的准确性。
进一步参考图7，作为对上述各图所示方法的实现，本公开提供了应用于视频编码器的块效应处理装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可应用于各种电子设备中。
如图7所示，本实施例提供的块效应处理装置700包括：计算单元701，类型确定单元702，重编单元703。其中，上述计算单元701，可以被配置成响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目，具有块效应的编码单元通过上述实施例块效应检测装置检测得到。上述类型确定单元702，可以被配置成响应于数目大于个数阈值，确定当前树形结构单元的帧类型。上述重编单元703，可以被配置成基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
在本实施例中，块效应处理装置700中：计算单元701，类型确定单元702，重编单元703的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤301、步骤302、步骤303的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述帧类型包括：关键帧、前向参考帧；重编单元703进一步被配置成：响应于帧类型为关键帧或前向参考帧，调整视频编码器的量化参数，并采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编。
在本实施例的一些可选的实现方式中，上述帧类型包括：双向参考帧；重编单元703进一步被配置成：响应于帧类型为双向参考帧，调整视频编码器的量化参数，并关闭调整量化参数的视频编码器中的帧内外控制部件，采用该视频编码器对当前树形结构单元进行重编。
本公开的实施例提供的块效应检测装置，首先，计算单元701响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目；其次，类型确定单元702响应于数目大于个数阈值，确定当前树形结构单元的帧类型；最后，重编单元703基于帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。由此，可以更加准确的找到存在块效应的编码单元和需要重编的树形结构单元，及时对树形结构单元或树形结构单元对应的原图进行重编，能够实时的消除块效应，相对于整帧或整行重编，采用对前树形结构单元或当前树形结构单元对应的原图进行重编减小了重编带来的代价，减小了块效应带来的不利影响，综合提升了编码的主观质量。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如块效应检测方法或块效应处理方法。例如，在一些实施例中，块效应检测方法或块效应处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的块效应检测方法或块效应处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行块效应检测方法或块效应处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程块效应检测装置或块效应处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种块效应检测方法，应用于视频编码器，所述方法包括：
基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；
响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；
检测所述原图区域图像是否满足所述边缘检测条件；
响应于检测到所述原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
2.根据权利要求1所述的方法，所述方法还包括：响应于检测到编码单元与相邻编码单元不满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
3.根据权利要求1所述的方法，所述方法还包括：响应于检测到所述原图区域图像满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
4.根据权利要求1-3之一所述的方法，其中，所述像素差值之和为沿像素行方向上像素差值的和，所述边缘检测条件包括：
所述像素差值之和大于行相邻差值和，且所述像素差值之和大于行内部差值和；
所述行相邻差值和为相邻编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和；
所述行内部差值和为各个编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和。
5.根据权利要求1-3之一所述的方法，其中，所述像素差值之和为沿像素列方向上像素差值的和，所述边缘检测条件包括：
所述像素差值之和大于列相邻差值和，且所述像素差值之和大于列内部差值和；
所述列相邻差值和为相邻编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和；
所述列内部差值和为各个编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和。
6.一种块效应处理方法，应用于视频编码器，所述方法包括：
响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目，所述具有块效应的编码单元通过权利要求1-5任意一项所述块效应检测方法检测得到；
响应于所述数目大于个数阈值，确定当前树形结构单元的帧类型；
基于所述帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
7.根据权利要求6所述的方法，其中，所述帧类型包括：关键帧、前向参考帧；所述基于所述帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编包括：响应于所述帧类型为所述关键帧或所述前向参考帧，调整所述视频编码器的量化参数，并采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编。
8.根据权利要求6所述的方法，其中，所述帧类型包括：双向参考帧；所述基于所述帧类型，对当前树形结构单元或所述树形结构单元对应的原图进行重编包括：响应于所述帧类型为双向参考帧，调整所述视频编码器的量化参数，并关闭调整所述量化参数的视频编码器中的帧内外控制部件，采用该视频编码器对当前树形结构单元进行重编。
9.一种视频编码器，所述视频编码器包括：依次连接的帧内外控制部件、编码控制部件、块效应检测部件、环路滤波部件；
所述帧内外控制部件，用于对图像进行帧内或帧间预测，得到对应多个树形结构单元的预测残差块；
所述编码控制部件，用于对所述预测残差块进行离散余弦变换和量化，得到量化的变换系数；基于量化变换系数和所述预测残差块，得到重建后后树形结构单元。
所述块效应检测部件，基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；检测所述原图区域图像是否满足所述边缘检测条件；响应于所述原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应；
所述环路滤波部件，用于对经过所述所述块效应检测部件的当前重建的树形结构单元进行滤波处理。
10.根据权利要求9所述的视频编码器，所述视频编码器还包括：
块效应处理部件，连接在所述块效应检测部件与所述环路滤波部件之间，用于在块效应检测部件检测到当前树形结构单元具有块效应时，计算当前树形结构单元中具有块效应的编码单元的数目；响应于所述数目大于个数阈值，确定当前树形结构单元的帧类型；基于所述帧类型，对当前树形结构单元或所述树形结构单元对应的原图进行重编。
11.一种块效应检测装置，应用于视频编码器，所述装置包括：
编码检测单元，被配置成基于当前树形结构单元中各个编码单元与相邻编码单元的像素差值之和，检测各个编码单元与相邻编码单元是否满足边缘检测条件；
编码确定单元，被配置成响应于检测到编码单元与相邻编码单元满足边缘检测条件，基该编码单元的信息，确定该编码单元与相邻编码单元对应的原图区域图像；
原图检测单元，被配置成检测所述原图区域图像是否满足所述边缘检测条件；
原图确定单元，被配置成响应于检测到所述原图区域图像不满足边缘检测条件，确定该编码单元与相邻编码单元之间具有块效应。
12.根据权利要求11所述的装置，所述装置还包括：
块效应确定单元，被配置成响应于检测到编码单元与相邻编码单元不满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
13.根据权利要求11所述的装置，所述装置还包括：
非块确定单元，被配置成响应于检测到所述原图区域满足边缘检测条件，确定该编码单元与相邻编码单元之间不具有块效应。
14.根据权利要求11-13之一所述的装置，其中，所述像素差值之和为沿像素行方向上像素差值的和，所述边缘检测条件包括：
所述像素差值之和大于行相邻差值和，且所述像素差值之和大于行内部差值和；
所述行相邻差值和为相邻编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和；
所述行内部差值和为各个编码单元或相应原图区域图像中像素行方向上的任意相邻两行像素差值之和。
15.根据权利要求11-13之一所述的装置，其中，所述像素差值之和为沿像素列方向上像素差值的和，所述边缘检测条件包括：
所述像素差值之和大于列相邻差值和，且所述像素差值之和大于列内部差值和；
所述列相邻差值和为相邻编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和；
所述列内部差值和为各个编码单元或相应原图区域图像中像素列方向上的任意相邻两列像素差值之和。
16.一种块效应处理装置，应用于视频编码器，所述装置包括：
计算单元，被配置成响应于检测到当前树形结构单元具有块效应，计算当前树形结构单元中具有块效应的编码单元的数目，所述具有块效应的编码单元通过权利要求11-15任意一项所述块效应检测装置检测得到；
类型确定单元，被配置成响应于所述数目大于个数阈值，确定当前树形结构单元的帧类型；
重编单元，被配置成基于所述帧类型，对当前树形结构单元或当前树形结构单元对应的原图进行重编。
17.根据权利要求16所述的装置，其中，所述帧类型包括：关键帧、前向参考帧；所述重编单元进一步被配置成：响应于所述帧类型为所述关键帧或所述前向参考帧，调整所述视频编码器的量化参数，并采用调整量化参数后的视频编码器对当前树形结构单元对应的原图进行重编。
18.根据权利要求16所述的装置，其中，所述帧类型包括：双向参考帧；所述重编单元进一步被配置成：响应于所述帧类型为双向参考帧，调整所述视频编码器的量化参数，并关闭调整所述量化参数的视频编码器中的帧内外控制部件，采用该视频编码器对当前树形结构单元进行重编。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的方法。
CN202410323985.5A 2024-03-20 2024-03-20 块效应检测方法和装置、块效应处理方法和装置、视频编码器 Pending CN118233641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410323985.5A CN118233641A (zh) 2024-03-20 2024-03-20 块效应检测方法和装置、块效应处理方法和装置、视频编码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410323985.5A CN118233641A (zh) 2024-03-20 2024-03-20 块效应检测方法和装置、块效应处理方法和装置、视频编码器

Publications (1)

Publication Number Publication Date
CN118233641A true CN118233641A (zh) 2024-06-21

Family

ID=91502212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410323985.5A Pending CN118233641A (zh) 2024-03-20 2024-03-20 块效应检测方法和装置、块效应处理方法和装置、视频编码器

Country Status (1)

Country Link
CN (1) CN118233641A (zh)

Similar Documents

Publication Publication Date Title
US11102515B2 (en) In loop chroma deblocking filter
CN112602324B (zh) 块水平几何划分
JP7546721B2 (ja) ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス
KR20240068078A (ko) 모드-인식 딥 러닝을 갖는 필터링을 위한 방법 및 장치
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US11889102B2 (en) Filtering method for removing blocking artifact and apparatus
CN109068142B (zh) 360度视频帧内预测快速决策方法、装置、编解码器和介质
JP2022522217A (ja) 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
RU2706228C1 (ru) Способ и устройство выбора порядка сканирования
KR20140110008A (ko) 객체 검출 정보에 따른 인코딩
CN108012149A (zh) 一种视频编码中码率控制的方法
US10555007B2 (en) Deblocking filtering method and deblocking filter
CN112001854B (zh) 一种编码图像的修复方法及相关系统和装置
CN105357494B (zh) 视频编解码方法、装置
CN116132697A (zh) 一种图像块效应检测方法、系统、设备及存储介质
CN116112707A (zh) 视频处理方法及装置、电子设备和存储介质
CN118233641A (zh) 块效应检测方法和装置、块效应处理方法和装置、视频编码器
CN109587487B (zh) 一种对rdo策略的结构性失真度的评估方法及系统
CN110446042B (zh) 一种提升h.264中p帧质量的编码方法
CN116982262A (zh) 视频编码中依赖性量化的状态转换
JP2013115580A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
US20240291982A1 (en) Inter-frame prediction method, coder, decoder, and storage medium
Li et al. Complexity Reduction of an Adaptive Loop Filter Based on Local Homogeneity
CN116962716A (zh) 视频处理方法及装置、电子设备和存储介质
WO2021134306A1 (zh) 帧间预测方法、编码器、解码器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination