CN113038144B - 一种去除块效应的方法、装置和计算机可读存储介质 - Google Patents

一种去除块效应的方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113038144B
CN113038144B CN202110564142.0A CN202110564142A CN113038144B CN 113038144 B CN113038144 B CN 113038144B CN 202110564142 A CN202110564142 A CN 202110564142A CN 113038144 B CN113038144 B CN 113038144B
Authority
CN
China
Prior art keywords
image
prediction mode
pixel value
current
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110564142.0A
Other languages
English (en)
Other versions
CN113038144A (zh
Inventor
粘春湄
方瑞东
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110564142.0A priority Critical patent/CN113038144B/zh
Publication of CN113038144A publication Critical patent/CN113038144A/zh
Application granted granted Critical
Publication of CN113038144B publication Critical patent/CN113038144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

本申请公开了一种去除块效应的方法、装置和计算机可读存储介质，该方法包括：对当前图像进行边缘增强处理与非边缘平滑处理，生成当前待编码图像并划分为多个编码块；从多种预测模式中选取一种预测模式作为待选预测模式；判断待选预测模式是否为产生块效应的预测模式；若待选预测模式为产生块效应的预测模式，则在编码块中存在边缘时，返回执行从多种预测模式中选取一种预测模式作为待选预测模式，直至采用待选预测模式对编码块进行预测未产生块效应或编码块中不存在边缘；将待选预测模式记作当前预测模式，利用当前预测模式对当前待编码图像进行处理，得到编码码流。通过上述方式，本申请能够去除块效应，提升编码质量。

Description

一种去除块效应的方法、装置和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种去除块效应的方法、装置和计算机可读存储介质。
背景技术
目前主流的视频图像/视频编解码技术均采用基于块的编码和量化方式，基于块的编码方式可以对整张图像进行划分使预测更加准确，并且有利于编码并行加速。由于图像中所有块是独立编码的，量化过程是不依赖周边块的，导致邻块与当前块的量化系数互不相关，进而使得相邻两块在边界处的像素会有不连续的情况出现，从而产生方块效应，特别是在低码率下此种现象特别明显，而人眼对此非常敏感，导致主观视觉质量变差。虽然目前一些编解码标准技术采用一些后处理方式（如：区块滤波、样本自适应补偿或自适应滤波等）对重建图像进行处理，使其更加接近原始图，但块效应现象依旧严重，特别是对于码率较低的情况。
发明内容
本申请提供一种去除块效应的方法、装置和计算机可读存储介质，能够去除块效应，提升编码质量。
为解决上述技术问题，本申请采用的技术方案是：提供一种去除块效应的方法，该方法包括：对获取到的当前图像进行边缘增强处理与非边缘平滑处理，生成当前待编码图像；将当前待编码图像划分为多个编码块；从多种预测模式中选取一种预测模式作为待选预测模式；判断待选预测模式是否为产生块效应的预测模式；若待选预测模式为产生块效应的预测模式，则在编码块中存在边缘时，返回从多种预测模式中选取一种预测模式作为待选预测模式的步骤，直至采用待选预测模式对编码块进行预测未产生块效应或编码块中不存在边缘；将待选预测模式记作当前预测模式，利用当前预测模式对当前待编码图像进行处理，得到编码码流。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种图像处理装置，该图像处理装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的去除块效应的方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的去除块效应的方法。
通过上述方案，本申请的有益效果是：在对图像进行编码之前，对当前图像进行边缘增强与非边缘平滑处理，生成当前待编码图像，通过边缘增强与非边缘平滑处理能够降低图像的边缘被破坏的可能性；在编码过程中，判断当前选取的待选预测模式是否为可能产生块效应的预测模式，如果采用待选预测模式进行预测无法产生块效应，则将该待选预测模式作为当前预测模式；如果采用待选预测模式进行预测可能产生块效应且该当前编码块中存在边缘，则重新选择待选预测模式，直至采用待选预测模式对编码块进行预测未产生块效应或编码块中不存在边缘，结束循环时的待选预测模式即为当前预测模式；最后用当前预测模式对编码块进行处理，得到相应的编码码流；不止在编码之前进行去块效应的图像处理操作，在编码的过程中也进行了去块效应的操作，可以更好地保护边缘，改善图像中的块效应，得到主观质量更佳的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的去除块效应的方法一实施例的流程示意图；
图2是本申请提供的去除块效应的方法另一实施例的流程示意图；
图3是本申请提供的像素点及其周围相邻像素点的示意图；
图4是本申请提供的采用时域相关性对图像进行平滑的流程示意图；
图5是图4所示的实施例中步骤32的流程示意图；
图6是本申请提供的图像处理装置一实施例的结构示意图；
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请提供的去除块效应的方法一实施例的流程示意图，该方法包括：
步骤11：对获取到的当前图像进行边缘增强处理与非边缘平滑处理，生成当前待编码图像。
为了改善块效应，在编码之前对图像进行边缘增强和非边缘平滑；由于低码率时在解码端进行滤波，可能会把真实的纹理特征平滑掉，而在编码之前对图像处理有一定的实际作用，这是由于许多自然图像是存在噪声的，特别是转码的图像，并且边缘增强可以防止在进行编码预测时边缘处被错误预测，因此本实施例提出对编码之前的图像进行边缘增强和非边缘平滑处理，即对当前图像中的边缘像素进行增强处理，对当前图像中的非边缘像素进行平滑处理，得到当前待编码图像。
步骤12：将当前待编码图像划分为多个编码块。
在获取到当前待编码图像后，可对该当前待编码图像进行分块，得到多个编码块，以便对每个编码块进行预测、量化以及编码，生成相应的码流。
步骤13：从多种预测模式中选取一种预测模式作为待选预测模式。
对于每一个编码块来说，为了进行编码，可先从预设的多种预测模式中选出一种预测模式来进行预测，将挑选出来的预测模式记作待选预测模式，多种预测模式包括：帧内预测模式与帧间预测模式，比如：skip模式、merge模式、Inter模式或Intra模式。
步骤14：判断待选预测模式是否为产生块效应的预测模式。
判断利用待选预测模式对当前要进行预测的编码块（记作当前编码块）进行预测时，待选预测模式是否为产生块效应的预测模式，以便在编码的过程消除块效应。
步骤15：若待选预测模式为产生块效应的预测模式，则判断编码块中是否存在边缘。
如果判断出当前编码块中存在边缘，则返回从多种预测模式中选取一种预测模式作为待选预测模式的步骤，即返回执行步骤13，直至采用待选预测模式对编码块进行预测未产生块效应或编码块中不存在边缘。如果判断出当前编码块中不存在边缘，则表明可以采用该待选预测模式对当前编码块进行预测，执行步骤16。
步骤16：将待选预测模式记作当前预测模式，利用当前预测模式对当前待编码图像进行处理，得到编码码流。
将满足条件的待选预测模式（即采用该待选预测模式进行预测不会产生块效应，或者虽然采用该待选预测模式进行预测会产生块效应但编码块中不存在边缘）记作当前预测模式，然后利用当前预测模式对当前待编码图像进行处理，生成相应的编码码流。
本实施例采用的方案能够应用于图像/视频编解码领域，在对当前图像进行编码之前，对该当前图像进行边缘增强与非边缘平滑处理，生成当前待编码图像，能够降低图像的边缘被破坏的可能性；在编码过程中，判断当前选取的待选预测模式是否为产生块效应的预测模式，如果不是，则将该待选预测模式作为当前预测模式，以对当前编码块进行预测；如果待选预测模式为产生块效应的预测模式且该当前编码块中存在边缘，则需要重新选择待选预测模式，直至满足设定的条件；在编码前与编码过程中均进行了去块效应的图像处理，能够改善去除块效应的效果，进而提高图像主观质量。
请参阅图2，图2是本申请提供的去除块效应的方法另一实施例的流程示意图，该方法包括：
步骤201：对当前图像进行滤波，得到滤波图像。
由于真实图像是存在噪声的，因此为了防止图像的边缘被错误预测，本实施例进行了滤波处理与增强处理，所采用的滤波方式可以为高斯滤波、均值滤波、中值滤波、双边滤波或智能模糊滤波等，下面对这些滤波方法进行介绍。
（a）高斯滤波
以滤波模板的大小为5×5的高斯滤波为例，滤波模板可如下所示：
Figure DEST_PATH_IMAGE001
（1）
上式（1）中权重“41/273”与当前待滤波的像素点对应，其余权重为当前待滤波的像素周围的像素点的权重。
（b）均值滤波
以滤波模板的大小3×3的均值滤波为例，滤波表达式如下所示：
Figure DEST_PATH_IMAGE002
（2）
其中，
Figure DEST_PATH_IMAGE003
是当前待滤波的像素点的像素值，
Figure DEST_PATH_IMAGE004
是坐标(i,j)处的像素值。
（c）中值滤波
中值滤波的表达式如下所示：
Figure DEST_PATH_IMAGE005
（3）
其中，
Figure DEST_PATH_IMAGE006
是取所有像素值的中值的函数，P为图像中坐标(i,j)处滤波后的像素值，
Figure DEST_PATH_IMAGE007
是坐标(i,j)处的像素值。
（d）双边滤波
双边滤波的表达式如下所示：
Figure DEST_PATH_IMAGE008
（4）
Figure DEST_PATH_IMAGE009
（5）
其中，
Figure DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE011
分别表示定义域高斯核大小（即均方差）和值域高斯核大小，(i,j)表示当前待滤波的目标像素点的坐标，(k,l)表示邻域像素点的坐标，
Figure DEST_PATH_IMAGE012
为滤波后的像素值，I为原始像素值。
（e）智能模糊滤波
智能模糊滤波的表达式如下所示：
Figure DEST_PATH_IMAGE013
（6）
其中，Mean( )为求取均值的函数，R表示邻域半径，T是预先设置的当前像素与邻域像素的阈值差，其数值范围为[0, 255]。
步骤202：将滤波图像与当前图像相减，得到第一残差图像，并对第一残差图像进行增强处理与滤波处理，得到第二残差图像。
对第一残差图像进行边缘检测，得到边缘像素与非边缘像素；对边缘像素进行增强，并采用上述的任一种滤波方法对非边缘像素进行滤波，得到第二残差图像。
进一步地，对第一残差图像进行边缘检测，得到边缘像素点，将边缘像素点的像素值记作边缘像素值，将第一残差图像中剩余的像素值记作非边缘像素值；计算边缘像素点的邻域中所有像素点的均值，基于均值对边缘像素值进行更新，得到第二残差图像。
在一具体的实施例中，判断边缘像素值是否大于均值；若边缘像素值大于均值，则将边缘像素值更新为边缘像素值与预设像素值的和；若边缘像素值小于均值，则将边缘像素值更新为边缘像素值与预设像素值的差。
例如，以8邻域、预设像素值为2为例进行说明，对于检测到的边缘像素点，将边缘像素值与其周围的八个相邻像素值的均值比较；若边缘像素值大于均值，则将该边缘像素值加2；若边缘像素值小于均值，则将该边缘像素值减2。
步骤203：基于第二残差图像与当前图像，生成当前待编码图像。
将第二残差图像与滤波图像合并，得到当前待编码图像。
步骤204：将当前待编码图像划分为多个编码块。
在获取到编码块后，可采用步骤205-步骤209来确定当前预测模式，以产生块效应的预测模式为skip模式为例进行说明，利用时域特征确定是否采用skip模式对当前编码块进行预测。
步骤205：计算采用每种预测模式对编码块进行预测对应的率失真优化值，并建立预测模式与对应的率失真优化值之间的映射关系，生成映射表。
对于每种预测模式来说，计算采用该预测模式对编码块进行预测产生的率失真优化（Rate Distortion Optimization，RDO）值，然后建立率失真优化值与预测模式之间的映射关系，得到映射表，该映射表中预测模式按照率失真优化值从小到大的顺序排列。
步骤206：从多种预测模式中选取一种预测模式作为待选预测模式。
步骤206与步骤13相同，在此不再赘述。
步骤207：判断待选预测模式是否为skip模式。
考虑到在真实编码器中，会设置较低的目标码率或者较高的量化值，在编码过程中，许多编码块趋向于选择句法元素较少的预测模式，比如：skip模式，然而skip模式是直接用相邻块的像素值进行预测，如果边缘像素值被相邻平坦块的预测值覆盖，则造成预测不准确，导致边缘处产生块效应，因此利用时域特征来判断当前编码块是否能够采用skip模式进行预测。
步骤208：若待选预测模式为skip模式，则对编码块进行边缘检测，以判定编码块中是否存在边缘。
如果待选预测模式为skip模式，则表明在编码后可能出现块效应，为了确定是否能够使用skip模式进行预测，对当前编码块进行边缘检测，来确定该当前编码块中是否存在边缘，根据边缘检测结果来判定是否需要更换预测模式。具体地，若编码块中存在边缘，则返回从多种预测模式中选取一种预测模式作为待选预测模式的步骤，直至待选预测模式不为skip模式或编码块中不存在边缘。若待选预测模式不为skip模式，则将当前预测模式设置为待选预测模式。
进一步地，边缘检测算子包括：sobel算子、canny算子或拉普拉斯算子等，下面进行具体描述。
A.sobel算子
采用如下公式来梯度值：
Figure DEST_PATH_IMAGE014
（7）
其中，|G|为坐标(x,y)的像素点的梯度值，如果|G|>T1，则表明坐标(x,y)的像素点为边缘像素点，T1为阈值，其值可以为65。
B.canny算子
利用canny算子进行边缘检测的具体步骤如下：
（1）灰度化
Gray=0.299R+0.587G+0.114B （8）
其中，Gray是灰度值，R、G、B是色度空间中各分量的值。
（2）二维高斯滤波
采用如下所示的函数计算滤波模板中的高斯系数：
Figure DEST_PATH_IMAGE015
（9）
其中，K为高斯系数，
Figure DEST_PATH_IMAGE016
是标准差。
（3）计算梯度值和梯度方向
采用如下公式计算梯度值和方向：
Figure DEST_PATH_IMAGE017
（10）
其中，M为梯度值，θ为梯度方向。
（4）非极大值抑制
对当前像素点来说，选取其周围的八个像素点，沿着当前像素点的梯度方向，比较它前后两个像素点的梯度值，然后选择中间梯度值。例如，如图3所示，c为当前像素点，g1、g2、g3、g4为相邻的像素点，d1和d2是沿着当前像素点的梯度方向上的两个亚像素点，则d1、d2的梯度值为：
Figure DEST_PATH_IMAGE018
（11）
其中，M( )为求取梯度的函数，distance( )为求取距离的函数，w1和w2为加权系数。
（5）双阈值的选取
首先统计每个梯度值的数量，得到梯度值的直方图，将占总数量的70%及以上的某一数量对应的梯度值作为高阈值，高阈值的一半为低阈值。
（6）边缘检测
首先判断该像素点是否超过高阈值，然后在该像素点的8邻域点中寻找满足超过低阈值的像素点，再根据该像素点收集新的边缘像素点，直到整个图像边缘闭合，找完整个图像后，将非边缘点剔除，即将该像素点的灰度值设置为0。
C.拉普拉斯算子
拉普拉斯算子的计算公式如下：
Figure DEST_PATH_IMAGE019
（12）
其中，f(x,y)是当前像素点的像素值。
步骤209：若编码块中不存在边缘，则将当前预测模式设置为待选预测模式。
如果当前编码块中没有边缘，则表明该当前编码块中像素值变化不大，此时采用可能产生块效应的预测模式（比如：skip模式）进行预测也不会造成块效应，因此可直接将该待选预测模式记作当前预测模式。
在另一具体的实施例中，可直接计算所有率失真优化值中的最小值，得到率失真优化最小值，并将率失真优化最小值对应的预测模式记作候选预测模式。然后判断该候选预测模式是否为skip模式，如果该候选预测模式是skip模式，则使用边缘检测算法对当前编码块进行检测，若检测到当前编码块中存在边缘，则采用所有率失真优化值中值第二小的预测模式代替skip模式，即当前预测模式为所有率失真优化值中值第二小的预测模式。
步骤210：利用当前预测模式对当前待编码图像进行处理，得到编码码流。
步骤210与步骤16相同，在此不再赘述。
在其他具体的实施例中，由于当前帧与相邻前后几帧有很强的相关性，使用相邻帧中与当前帧相同位置的像素进行滤波，可使前后两帧的图像保持一定的连续性，使码率波动性降低，进一步降低块效应。
进一步地，在编码之前采用时域相关性对当前待编码图像块进行平滑，如图4所示，包括以下步骤：
步骤31：获取与当前待编码图像相邻的多帧待编码图像，并按照时间顺序排序，生成待处理图像集。
为了对当前待编码图像进行平滑，可获取当前待编码图像之前的相邻多帧待编码图像，然后按照时间先后顺序进行排序，得到待处理图像集，即该待处理图像集包括多帧待编码图像。
步骤32：基于待处理图像集对当前待编码图像进行平滑处理。
可采用图5所示的方案对当前待编码图像进行平滑处理，具体包括以下步骤：
步骤321：将待处理图像集中第一帧待编码图像记作参考图像，并将参考图像的像素值存储到存储器中。
将参考图像的所有像素值拷贝到一个临时的存储器中，以便将随后几帧图像的像素值与该存储器中对应位置的像素值进行比较，从而实现对图像的平滑。
步骤322：将待处理图像集中除参考图像以外的待编码图像记作待更新图像，并将待更新图像的像素值与存储器中的像素值进行比较，以对待更新图像的像素值/存储器中的像素值进行更新。
以待处理图像集包括N（N≥2）帧待编码图像为例，待更新图像即为第2~N帧待编码图像；将第i（2≤i≤N）帧待编码图像的像素值与存储器中的像素值进行比较，以对第i帧待编码图像/存储器中的像素值进行更新。
进一步地，从待更新图像中取出一个像素值作为当前像素值；然后计算当前像素值与存储器中相应位置的像素值的差值；再判断差值是否小于预设差值；若该差值小于预设差值，则对存储器中相应位置的像素值更新；若该差值大于预设差值，则对当前像素值进行更新；重复执行上述操作，直至遍历完待更新图像中的所有像素值。
在一具体的实施方式中，若当前像素值与存储器中相应位置的像素值的差值小于预设差值，则将存储器中相应位置的像素值更新为当前像素值；若当前像素值与存储器中相应位置的像素值的差值大于预设差值，则认为像素值变化过大，进行处理可能导致图像失真，此时将当前像素值更新为存储器中相应位置的像素值。
在另一具体的实施方式中，先计算当前像素值与存储器中相应位置的像素值的平均值；若当前像素值与存储器中相应位置的像素值的差值小于预设差值，则将存储器中相应位置的像素值更新为平均值；若当前像素值与存储器中相应位置的像素值的差值大于预设差值，则将当前像素值更新为平均值。
在又一具体的实施方式中，还可设置更新的区域，即对待处理图像集中的每个待编码图像进行边缘检测，得到相应的平坦区域和边缘区域；判断当前像素值是否为平坦区域的像素值；若当前像素值为平坦区域的像素值，则将当前像素值更新为存储器中相应位置的像素值。即仅在平坦区域判定是否需要替换第i帧待编码图像中的像素值，以防止产生拖影。
在其他具体的实施方式中，还对当前像素值、当前像素值的邻域像素值以及存储器中相应位置的像素值进行滤波，得到滤波像素值；将存储器中相应位置的像素值更新为滤波像素值；或者将当前像素值更新为滤波像素值。具体地，采用六抽头滤波器对当前像素值、当前像素值的四邻域像素值以及存储器中相应位置的像素值进行滤波；例如：当前像素值记作P，其四邻域像素值（即位于当前像素值的上侧、下侧、左侧以及右侧的像素值）记作P1、P2、P3、P4，存储器中相应位置的像素值记作P_col，则替换的像素值（即滤波像素值）P’如下所示：
P’=0.3*P+0.3*P_col+0.1* P1+0.1* P2+0.1* P3+0.1* P4 （13）
其中，滤波权重[0.3，0.3，0.1，0.1，0.1，0.1]为经验值，可以根据具体应用需要进行设置。
可以理解地，上述采用时域相关性对图像块进行平滑的方法并不仅限于在编码之前执行，还可以在编码之后执行，比如：在对编码码流进行解码，得到相应的解码图像后，采用时域相关性对解码图像进行平滑。
此外，还可间隔预设周期对存储器中的所有像素值进行更新，比如：间隔固定帧数对存储器中的全部像素值进行更新，以防错误的传递像素值而导致图像失真。以图像组（Group of Pictures，GOP）为例，可将该GOP中的关键帧（I帧）设置为第一帧待编码图像。可以理解地，在编码前可以根据预设的GOP的大小来判断存储器更新的周期，例如：GOP=50，那么存储器中的像素值每50帧全部更新一次，即预设周期为50帧；在编码后，可以根据编码前的GOP来更新存储器中的像素值，但实际应用场景中是不知道GOP的，所以更新的预设周期可以设置为50帧。
本实施例提供了一种去除块效应的方法，在编码之前对图像进行边缘增强和非边缘平滑，通过边缘增强可以降低边缘被破坏的可能性；在进行边缘检测时是对图像滤波后的残差图像进行检测，排除了噪声的干扰，能够更好地区分真实纹理。而且利用时域特征确定是否采用skip模式，能在编码过程中改变编码块的编码模式，使边缘处采用skip模式编码的概率降低，降低边缘处出现块效应的概率。此外，还采用时域相关性对当前图像块进行平滑，可以使图像保持一定的连续性，进一步减少块效应。
请参阅图6，图6是本申请提供的图像处理装置一实施例的结构示意图，图像处理装置60包括互相连接的存储器61和处理器62，存储器61用于存储计算机程序，计算机程序在被处理器62执行时，用于实现上述实施例中的去除块效应的方法。
本方案在编码之前对图像滤波后的残差图像进行边缘增强和非边缘平滑，有效防止边缘在编码过程中被破坏；且利用时域特征确定是否采用skip模式，降低采用skip模式预测边缘的概率，保护边缘纹理；此外，使用时域相关性对图像进行滤波处理，可以使图像保持一定的连续性，进一步减少块效应。
请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的去除块效应的方法。
计算机可读存储介质70可以是服务端、U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (17)

1.一种去除块效应的方法，其特征在于，包括：
对获取到的当前图像进行边缘增强处理与非边缘平滑处理，生成当前待编码图像；
将所述当前待编码图像划分为多个编码块；
从多种预测模式中选取一种预测模式作为待选预测模式；
判断所述待选预测模式是否为产生块效应的预测模式；
若是，则在所述编码块中存在边缘时，返回所述从多种预测模式中选取一种预测模式作为待选预测模式的步骤，直至采用所述待选预测模式对所述编码块进行预测未产生块效应或所述编码块中不存在边缘；
将所述待选预测模式记作当前预测模式，利用所述当前预测模式对所述当前待编码图像进行处理，得到编码码流。
2.根据权利要求1所述的去除块效应的方法，其特征在于，所述对获取到的当前图像进行边缘增强处理与非边缘平滑处理，生成当前待编码图像的步骤，包括：
对所述当前图像进行滤波，得到滤波图像；
将所述滤波图像与所述当前图像相减，得到第一残差图像；
对所述第一残差图像进行增强处理与滤波处理，得到第二残差图像；
基于所述第二残差图像与所述当前图像，生成所述当前待编码图像。
3.根据权利要求2所述的去除块效应的方法，其特征在于，所述对所述第一残差图像进行增强处理与滤波处理，得到第二残差图像的步骤，包括：
对所述第一残差图像进行边缘检测，得到边缘像素与非边缘像素；
对所述边缘像素进行增强，并对所述非边缘像素进行滤波，得到第二残差图像。
4.根据权利要求3所述的去除块效应的方法，其特征在于，所述方法还包括：
对所述第一残差图像进行边缘检测，得到边缘像素点，将所述边缘像素点的像素值记作边缘像素值，将所述第一残差图像中剩余的像素值记作非边缘像素值；
计算所述边缘像素点的邻域中所有像素点的均值，基于所述均值对所述边缘像素值进行更新，得到第二残差图像。
5.根据权利要求4所述的去除块效应的方法，其特征在于，所述基于所述均值对所述边缘像素值进行更新的步骤，包括：
判断所述边缘像素值是否大于所述均值；
若是，则将所述边缘像素值更新为所述边缘像素值与预设像素值的和；
若否，则将所述边缘像素值更新为所述边缘像素值与预设像素值的差。
6.根据权利要求2所述的去除块效应的方法，其特征在于，所述基于所述第二残差图像与所述当前图像，生成所述当前待编码图像的步骤，包括：
将所述第二残差图像与所述滤波图像合并，得到所述当前待编码图像。
7.根据权利要求1所述的去除块效应的方法，其特征在于，所述方法还包括：
计算采用每种所述预测模式对所述编码块进行预测对应的率失真优化值，并建立所述预测模式与对应的率失真优化值之间的映射关系，生成映射表，所述映射表中所述预测模式按照率失真优化值从小到大的顺序排列；
从多种所述预测模式中选取一种预测模式作为所述待选预测模式；
判断所述待选预测模式是否为skip模式；
若所述待选预测模式为所述skip模式，则对所述编码块进行边缘检测，以判定所述编码块中是否存在边缘；
若所述编码块中存在边缘，则返回所述从多种所述预测模式中选取一种预测模式作为所述待选预测模式的步骤，直至所述待选预测模式不为所述skip模式或所述编码块中不存在边缘；若所述编码块中不存在边缘，则将所述当前预测模式设置为所述待选预测模式；
若所述待选预测模式不为所述skip模式，则将所述当前预测模式设置为所述待选预测模式。
8.根据权利要求1所述的去除块效应的方法，其特征在于，所述方法还包括：
获取与所述当前待编码图像相邻的多帧待编码图像，并按照时间顺序排序，生成待处理图像集；
基于所述待处理图像集对所述当前待编码图像进行平滑处理。
9.根据权利要求8所述的去除块效应的方法，其特征在于，所述基于所述待处理图像集对所述当前待编码图像进行平滑处理的步骤，包括：
将所述待处理图像集中第一帧待编码图像记作参考图像，并将所述参考图像的像素值存储到存储器中；
将所述待处理图像集中除所述参考图像以外的待编码图像记作待更新图像，并将所述待更新图像的像素值与所述存储器中的像素值进行比较，以对所述待更新图像的像素值/所述存储器中的像素值进行更新。
10.根据权利要求9所述的去除块效应的方法，其特征在于，所述将所述待更新图像的像素值与所述存储器中的像素值进行比较，以对所述待更新图像的像素值/所述存储器中的像素值进行更新的步骤，包括：
从所述待更新图像中取出一个像素值作为当前像素值；
计算所述当前像素值与所述存储器中相应位置的像素值的差值；
判断所述差值是否小于预设差值；
若是，则对所述存储器中相应位置的像素值更新；
若否，则对所述当前像素值进行更新；
重复执行上述步骤，直至遍历完所述待更新图像中的所有像素值。
11.根据权利要求10所述的去除块效应的方法，其特征在于，所述方法还包括：
将所述存储器中相应位置的像素值更新为所述当前像素值；或者
将所述当前像素值更新为所述存储器中相应位置的像素值。
12.根据权利要求10所述的去除块效应的方法，其特征在于，所述方法还包括：
计算所述当前像素值与所述存储器中相应位置的像素值的平均值；
将所述存储器中相应位置的像素值更新为所述平均值；或者
将所述当前像素值更新为所述平均值。
13.根据权利要求10所述的去除块效应的方法，其特征在于，所述方法还包括：
对所述当前像素值、所述当前像素值的邻域像素值以及所述存储器中相应位置的像素值进行滤波，得到滤波像素值；
将所述存储器中相应位置的像素值更新为所述滤波像素值；或者
将所述当前像素值更新为所述滤波像素值。
14.根据权利要求9所述的去除块效应的方法，其特征在于，所述方法还包括：
间隔预设周期对所述存储器中的所有像素值进行更新。
15.根据权利要求10所述的去除块效应的方法，其特征在于，所述方法还包括：
对所述待处理图像集中的待编码图像进行边缘检测，得到平坦区域；
判断所述当前像素值是否为所述平坦区域的像素值；
若是，则将所述当前像素值更新为所述存储器中相应位置的像素值。
16.一种图像处理装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-15中任一项所述的去除块效应的方法。
17.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-15中任一项所述的去除块效应的方法。
CN202110564142.0A 2021-05-24 2021-05-24 一种去除块效应的方法、装置和计算机可读存储介质 Active CN113038144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564142.0A CN113038144B (zh) 2021-05-24 2021-05-24 一种去除块效应的方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564142.0A CN113038144B (zh) 2021-05-24 2021-05-24 一种去除块效应的方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113038144A CN113038144A (zh) 2021-06-25
CN113038144B true CN113038144B (zh) 2021-09-14

Family

ID=76455724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564142.0A Active CN113038144B (zh) 2021-05-24 2021-05-24 一种去除块效应的方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113038144B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813176A (zh) * 2012-11-14 2014-05-21 北京三星通信技术研究有限公司 视频编解码中的去块效应滤波方法和自适应环路滤波方法
CN105791865B (zh) * 2014-12-22 2020-01-17 江苏省电力公司南京供电公司 帧内预测及去块滤波方法
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
CN105979261B (zh) * 2016-06-21 2019-03-26 浙江大华技术股份有限公司 一种帧内预测模式的选择方法及装置
CN106686383A (zh) * 2017-01-17 2017-05-17 湖南优象科技有限公司 一种保留深度图边缘的深度图帧内编码方法

Also Published As

Publication number Publication date
CN113038144A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
TWI491253B (zh) 畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式
JP5270573B2 (ja) ブロックアーチファクトを検出する方法及び装置
TWI382770B (zh) 視訊影像傳輸中遇到封包遺失時的有效選取方法
EP2230640B1 (en) Method for filtering depth images
US7570834B2 (en) Image de-ringing filter
JP5524423B2 (ja) 効率的なサンプル適応オフセットの装置及び方法
KR101516006B1 (ko) 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램
CN110650338B (zh) 一种多功能视频编码帧内划分方法、系统及存储介质
EP2230855A2 (en) Synthesizing virtual images from texture and depth images
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
CN1281617A (zh) 用于减少量化效应的图像数据后处理方法和装置
RU2000100936A (ru) Способ сигнальной адаптивной фильтрации, сигнальный адаптивный фильтр и машинно-считываемый носитель (варианты) для хранения их программ
US7054503B2 (en) Image processing system, image processing method, and image processing program
EP1771818A1 (en) Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP2013534388A (ja) 適応ループフィルタリングの方法及び装置
CN110796615B (zh) 一种图像去噪方法、装置以及存储介质
JPH10327334A (ja) リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター
KR102495550B1 (ko) 디블로킹 필터 방법 및 장치
JPH09187008A (ja) 画像信号平滑化装置，画像信号平滑化方法，画像符号化装置，画像符号化方法，画像復号化装置および画像復号化方法
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
KR100675498B1 (ko) 필터링 장치 및 방법
CN113038144B (zh) 一种去除块效应的方法、装置和计算机可读存储介质
Do et al. A new adaptive image post-treatment for deblocking and deringing based on total variation method
JP5653307B2 (ja) 画像符号化方法，画像符号化装置およびそのプログラム
Dibrivniy et al. USAGE OF EDGE SELECTION METHODS TO REFINE CANDIDATE BLOCKS IN THE MOTION COMPENSATION PROCESS, BASED ON THE SAD ALGORITHM USING CHARACTERISTIC POINTS.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant