CN114513662B - 一种qp自适应环内滤波方法、系统、电子设备及存储介质 - Google Patents

一种qp自适应环内滤波方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114513662B
CN114513662B CN202210407377.3A CN202210407377A CN114513662B CN 114513662 B CN114513662 B CN 114513662B CN 202210407377 A CN202210407377 A CN 202210407377A CN 114513662 B CN114513662 B CN 114513662B
Authority
CN
China
Prior art keywords
image
convolution layer
layer
network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210407377.3A
Other languages
English (en)
Other versions
CN114513662A (zh
Inventor
黄震坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunzhong Rongxin Network Technology Co ltd
Original Assignee
Beijing Yunzhong Rongxin Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunzhong Rongxin Network Technology Co ltd filed Critical Beijing Yunzhong Rongxin Network Technology Co ltd
Priority to CN202210407377.3A priority Critical patent/CN114513662B/zh
Publication of CN114513662A publication Critical patent/CN114513662A/zh
Application granted granted Critical
Publication of CN114513662B publication Critical patent/CN114513662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及视频编码技术领域，公开了一种QP自适应环内滤波方法、系统、电子设备及存储介质，该方法包括：对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；用相同的QP值组成与输入图像分辨率相同的QP图像；将输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U‑net结构的卷积网络。本发明将原始图像、梯度图像和QP特征图作为卷积神经网络的输入，并对不同输入提取的不同的特征进行深层特征融合，从而使QP作为一个模型参数传递到卷积网络中，以达到不同QP采用同一个模型的目标，降低了存储模型需要的数据量。

Description

一种QP自适应环内滤波方法、系统、电子设备及存储介质
技术领域
本发明涉及视频编码技术领域，特别涉及一种QP自适应环内滤波方法、系统、电子设备及存储介质。
背景技术
数字视频以及图像的有损压缩算法会造成较为严重的失真。比如，基于块的编码方式会引起块效应，特别是低比特率下尤为明显；DCT变换后对高频分量进行滤波操作导致的振铃效应等；这些效应会严重降低用户的观看体验，所以如何去除这些效应或者削弱这些效应的影响也就成为一个重要的问题。
视频编码标准HEVC采用两种环路滤波的方案来削弱这些效应：一种是去块效应滤波器，另一种是SAO（样点自适应补偿），其中，去块效应滤波器主要针对受损视频的块效应，通过加入去块效应滤波器，降低了帧的块效应，从而提高了编码器的编码效率；而SAO则使用附加的偏置来补偿其他的编码效应，该偏置通过编码器计算并且随着码流传输到解码器来辅助解码，实验表明SAO可以实现BD-rate的下降。
中国专利公开号为CN111213383B ，提出一种用于视频编码的环内滤波装置及方法，其将当前帧的重建帧分割为多个重叠和/或非重叠的2D像素块，通过2D变换生成2D频谱，再通过增益系数生成滤波后的2D频谱，最后逆2D变换生成滤波后的2D像素块及重建帧，从而提高编码效率。
人工智能最近几年在各个行业迅速发展，它采用深层神经网络来提取数据的特征。在计算机视觉领域中取得了很好的效果，不仅体现在高层视觉任务上如图像识别，视频分类，目标跟踪；而且在图像超分辨率以及降噪等低层次视觉任务中，也展现出优越的性能。目前深度学习在视频编码后处理上的应用可以分为两类，一类是环内滤波，一类是环外滤波。环内滤波指的是在HEVC编码中，使用深度学习网络来替换原来的后处理模块来提升编码性能。环外滤波则不需在HEVC编码中进行替换，正常编码的码流在解码端解码完成后使用神经网络后处理滤波即可。
然而，大多数深度学习模型中，不同的QP采用不同的模型，这样导致存储空间增大，且缺乏基于QP（量化步长，不同的量化步长表示代表了不同压缩比例）的自适应模式。
发明内容
鉴于现有技术中的上述缺陷或不足，本发明提供了一种QP自适应环内滤波方法、系统、电子设备及存储介质，将QP作为一个模型参数传递到卷积网络中，以达到不同QP采用同一个模型的目标。
本发明的一个方面，提供了一种QP自适应环内滤波方法，包括：
对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；
用相同的QP值组成与上述输入图像分辨率相同的QP图像；
将输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，该卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理；第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；
进一步的，特征拼接模块，用于将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起；
进一步的，第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
进一步的，第一卷积层至第六卷积层、第一转置卷积层至第六转置卷积层均为3×3的卷积核。
进一步的，第一残差网络和第二残差网络均包含四个残差块，每个残差块包括一个激活函数。
进一步的，用相同的QP值组成与输入图像分辨率相同的QP图像的步骤，具体包括：
根据下式计算QP图像的每个像素点的图像数据值
Figure 100002_DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure 100002_DEST_PATH_IMAGE006
为量化步长，
Figure 100002_DEST_PATH_IMAGE008
为视频编码中
Figure 610494DEST_PATH_IMAGE006
设置的最大值。
本发明的另一方面，提供了一种QP自适应环内滤波系统，包括：
梯度图像获取模块，被配置为对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；
QP图像获取模块，被配置为用相同的QP值组成与输入图像分辨率相同的QP图像；
输入模块，被配置为将输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，该卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理；第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；特征拼接模块，用于将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起；第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
进一步的，第一卷积层至第六卷积层、第一转置卷积层至第六转置卷积层均为3×3的卷积核。
进一步的，第一残差网络和第二残差网络均包含四个残差块，每个残差块包括一个激活函数。
进一步的，QP图像获取模块被进一步配置为：
根据下式计算QP图像的每个像素点的图像数据值
Figure 408686DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE004A
其中，
Figure 43805DEST_PATH_IMAGE006
为量化步长，
Figure 978263DEST_PATH_IMAGE008
为视频编码中
Figure 378151DEST_PATH_IMAGE006
设置的最大值。
本发明的另一方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当上述一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面所描述的QP自适应环内滤波方法。
本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所描述的QP自适应环内滤波方法。
本发明提供的一种QP自适应环内滤波方法、系统、电子设备及存储介质，其将原始图像、梯度图像和QP特征图作为卷积神经网络的输入，并对不同输入提取的不同的特征进行深层特征融合，从而将QP作为一个模型参数传递到卷积网络中，以达到不同QP采用同一个模型的目标，降低了存储模型需要的数据量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一个实施例提供的QP自适应环内滤波模型；
图2是本发明一个实施例提供的QP自适应环内滤波方法的流程图；
图3是本发明一个实施例提供的QP自适应环内滤波系统的结构示意图；
图4是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述获取模块，但这些获取模块不应限于这些术语。这些术语仅用来将获取模块彼此区分开。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似的，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
需要注意的是，本发明实施例所描述的“上”“下”“左”“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本发明实施例的限定。此外在上下文中，还需要理解的是，当提到一个元件被形成在另一个元件“上”或“下”时，其不仅能够直接形成在另一个元件“上”或者“下”，也可以通过中间元件间接形成在另一元件“上”或者“下”。
U-Net结构是一种改进的FCN结构，因其结构画出来形似字母U而得名，应用于医学图像的语义分割。它由左半边的压缩通道（Contracting Path）和右半边扩展通道（Expansive Path）组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次转置卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图。DRU-Net是目前先进的图像去噪模型，但是在视频编码中，QP的大小直接影响了编码器的最终效果，因此现有的模型都会针对不同的QP训练多个模型。设计一个QP自适应的深度学习模型，就显得非常有研究意义和应用价值。
为了实现上述目的，本发明创造性的提出了将QP转换成一张图的形式，同时加入梯度图，连通输入图像一起作为原始图的输入，用以提高图像的重建效果。
参见图1，本实施例的一种用于视频编码的QP自适应环内滤波模型，区别于现有的DRU-Net网络，并不是以噪声图像作为模型的输入，而是将噪声输入图像、梯度图像和QP图像一起作为原始图输入至用于图像去噪的U-net结构的卷积网络。这里的QP图像是由相同
Figure DEST_PATH_IMAGE010
组成的一个和输入图像相同大小的图像，其中
Figure 804584DEST_PATH_IMAGE010
是用下列公式计算获得：
Figure DEST_PATH_IMAGE004AA
其中，
Figure 479279DEST_PATH_IMAGE006
为量化步长，
Figure 268244DEST_PATH_IMAGE008
为视频编码中
Figure 229246DEST_PATH_IMAGE006
设置的最大值，本实施例取
Figure DEST_PATH_IMAGE012
QP/52可以保证结果在0到1之间，再乘以255即转化成图像数据。
本实施例中的QP自适应环内滤波模型的U-net结构的卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理；第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
进一步的，上述第一卷积层至第六卷积层为3×3的卷积核，通道数是64，128，256和512，每个卷积层和转置卷积层没有激活函数，也没有偏执。需要指出的是，转置卷积实际上可以看作另一种方式的卷积。转置卷积层的参数和卷积层的参数一一对应，即转置卷积层的卷积大小也是3×3，通道数同样是64，128，256 和512。通过上采样处理的转置卷积操作，位于模型中心位置的隐变量最终被转置卷积成跟输入大小和通道均一致的修复图像。
进一步的，第一残差网络和第二残差网络均包含4个残差块，每个残差块包括一个ReLU激活函数，四个尺度的通道个数分别为64，128，256 和512。
进一步的，特征拼接模块，通过concat操作将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起进行融合。
本实施例的QP自适应环内滤波模型增加了特征的维度，提高了重建图像的质量。
本发明的另一实施例，还提供了一种QP自适应环内滤波方法，参见图2，该方法包括如下步骤：
步骤S101，对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像。
具体的，假设输入的图像为image，对图像image进行边缘检测，在此实例中，优选的采用sobel算子提取图像梯度。获得梯度图像image_sobel。在webrtc中H264的常用的实现为openh264，因此在该实例中，采用openh264对原始YUV图像进行编码压缩。
步骤S102，用相同的QP值组成与输入图像分辨率相同的QP图像。
具体的，QP图像是由相同的图像数据值
Figure 375932DEST_PATH_IMAGE010
组成的一个和输入图像相同大小的图像，可根据下式计算QP图像的每个像素点的图像数据值
Figure 182214DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004AAA
其中，
Figure 763368DEST_PATH_IMAGE006
为量化步长，
Figure 239480DEST_PATH_IMAGE008
为视频编码中
Figure 499560DEST_PATH_IMAGE006
设置的最大值，本实例取
Figure 843953DEST_PATH_IMAGE012
QP/52可以保证结果在0到1之间，再乘以255即转化成图像数据。
步骤S103，将输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，该卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理；第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；特征拼接模块，用于将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起；第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
需要说明的是，上述第一卷积层至第六卷积层为3×3的卷积核，通道数是64，128，256 和512，每个卷积层和转置卷积层没有激活函数，也没有偏执。需要指出的是，转置卷积实际上可以看作另一种方式的卷积。转置卷积层的参数和卷积层的参数一一对应，即卷积大小也是3×3，通道数同样是64，128，256 和512。通过上采样处理的转置卷积操作，位于模型中心位置的隐变量最终被转置卷积成跟输入大小和通道均一致的修复图像。
第一残差网络和第二残差网络均包含4个残差块，每个残差块包括一个ReLU激活函数，四个尺度的通道个数分别为64，128，256 和512。
特征拼接模块，通过concat操作将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起进行融合。
参见图3，本发明的另一实施例还提供了一种QP自适应环内滤波系统200，包括梯度图像获取模块201、QP图像获取模块202、输入模块203。
梯度图像获取模块201，被配置为对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；
QP图像获取模块202，被配置为用相同的QP值组成与输入图像分辨率相同的QP图像；
输入模块203，被配置为将输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，该卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理；第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；特征拼接模块，用于将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起；第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
进一步的，第一卷积层至第六卷积层、第一转置卷积层至第六转置卷积层均为3×3的卷积核。
进一步的，第一残差网络和第二残差网络均包含四个残差块，每个残差块包括一个激活函数。
进一步的，QP图像获取模块202被进一步配置为：
根据下式计算QP图像的每个像素点的图像数据值
Figure 482876DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004AAAA
其中，
Figure 962180DEST_PATH_IMAGE006
为量化步长，
Figure 178398DEST_PATH_IMAGE008
为视频编码中
Figure 326482DEST_PATH_IMAGE006
设置的最大值。
需要说明的是，本实施例提供的QP自适应环内滤波系统200对应的可用于执行各方法实施例的技术方案，其实现原理和技术效果与方法类似，此处不再赘述。
图4是本发明实施例中的一种电子设备的结构示意图。
本发明实施例中的电子设备400可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端。图4示出的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400可以包括处理装置（例如中央处理器、图形处理器等）401，其可以根据存储在只读存储器（ROM）402中的程序或者从存储装置408加载到随机访问存储器（RAM）403中的程序而执行各种适当的动作和处理以实现如本发明所述的实施例的方法。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM402以及RAM 403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置，可以替代的实施或具备更多或更少的装置。
本发明的另一实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备可以执行上述方法实施例中的QP自适应环内滤波方法。
以上描述仅为本发明的较佳实施例。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种QP自适应环内滤波方法，其特征在于，包括：
对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；
用相同的QP值组成与所述输入图像分辨率相同的QP图像；
将所述输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，所述用于图像去噪的U-net结构的卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，所述第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理，所述第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；其中，第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接；
所述特征拼接模块，用于将所述输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起。
2.根据权利要求1所述的一种QP自适应环内滤波方法，其特征在于，第一卷积层至第六卷积层、第一转置卷积层至第六转置卷积层均为3×3的卷积核。
3.根据权利要求1所述的一种QP自适应环内滤波方法，其特征在于，所述第一残差网络和第二残差网络均包含四个残差块，每个残差块包括一个激活函数。
4.根据权利要求1所述的一种QP自适应环内滤波方法，其特征在于，所述用相同的QP值组成与所述输入图像分辨率相同的QP图像的步骤，具体包括：
根据下式计算QP图像的每个像素点的图像数据值
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
为量化步长，
Figure DEST_PATH_IMAGE008
为视频编码中
Figure 278027DEST_PATH_IMAGE006
设置的最大值。
5.一种QP自适应环内滤波系统，其特征在于，包括：
梯度图像获取模块，被配置为对输入图像进行边缘检测，提取输入图像的图像梯度，获取梯度图像；
QP图像获取模块，被配置为用相同的QP值组成与所述输入图像分辨率相同的QP图像；
输入模块，被配置为将所述输入图像、梯度图像和QP图像作为原始图输入至用于图像去噪的U-net结构的卷积网络，所述用于图像去噪的U-net结构的卷积网络包括依次连接的第一卷积层、第一残差网络、第二卷积层至第六卷积层、特征拼接模块、第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层；其中，第一卷积层、第一残差网络、第二卷积层至第六卷积层为下采样处理，第一转置卷积层至第五转置卷积层、第二残差网络和第六转置卷积层为上采样处理；特征拼接模块，用于将输入图像、梯度图像和QP图像经下采样处理后的多个不同特征值拼接在一起；第二卷积层和第五转置卷积层为跳层链接，第四卷积层和第三转置卷积层为跳层链接，第六卷积层和第一转置卷积层为跳层链接。
6.根据权利要求5所述的一种QP自适应环内滤波系统，其特征在于，第一卷积层至第六卷积层、第一转置卷积层至第六转置卷积层均为3×3的卷积核。
7.根据权利要求5所述的一种QP自适应环内滤波系统，其特征在于，所述第一残差网络和第二残差网络均包含四个残差块，每个残差块包括一个激活函数。
8.根据权利要求5所述的一种QP自适应环内滤波系统，其特征在于，所述QP图像获取模块被进一步配置为：
根据下式计算QP图像的每个像素点的图像数据值
Figure 929588DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004A
其中，
Figure 381429DEST_PATH_IMAGE006
为量化步长，
Figure 9594DEST_PATH_IMAGE008
为视频编码中
Figure 292808DEST_PATH_IMAGE006
设置的最大值。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任意一项所述的QP自适应环内滤波方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的QP自适应环内滤波方法。
CN202210407377.3A 2022-04-19 2022-04-19 一种qp自适应环内滤波方法、系统、电子设备及存储介质 Active CN114513662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210407377.3A CN114513662B (zh) 2022-04-19 2022-04-19 一种qp自适应环内滤波方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210407377.3A CN114513662B (zh) 2022-04-19 2022-04-19 一种qp自适应环内滤波方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114513662A CN114513662A (zh) 2022-05-17
CN114513662B true CN114513662B (zh) 2022-06-17

Family

ID=81554974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210407377.3A Active CN114513662B (zh) 2022-04-19 2022-04-19 一种qp自适应环内滤波方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114513662B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805844A (zh) * 2018-06-30 2018-11-13 合肥工业大学 一种基于先验滤波的轻量化回归网络构建方法
CN109309834A (zh) * 2018-11-21 2019-02-05 北京航空航天大学 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
CN112218097A (zh) * 2019-07-12 2021-01-12 富士通株式会社 环路滤波装置和图像解码装置
WO2021093958A1 (en) * 2019-11-14 2021-05-20 Huawei Technologies Co., Ltd. Spatially adaptive image filtering

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936914B2 (en) * 2018-07-31 2021-03-02 International Business Machines Corporation Convolutional neural network with augmentation features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
CN108805844A (zh) * 2018-06-30 2018-11-13 合肥工业大学 一种基于先验滤波的轻量化回归网络构建方法
CN109309834A (zh) * 2018-11-21 2019-02-05 北京航空航天大学 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法
CN112218097A (zh) * 2019-07-12 2021-01-12 富士通株式会社 环路滤波装置和图像解码装置
WO2021093958A1 (en) * 2019-11-14 2021-05-20 Huawei Technologies Co., Ltd. Spatially adaptive image filtering

Also Published As

Publication number Publication date
CN114513662A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US7136536B2 (en) Adaptive filter
CN112218097A (zh) 环路滤波装置和图像解码装置
CN110300301B (zh) 图像编解码方法和装置
US7006255B2 (en) Adaptive image filtering based on a distance transform
EP1351508A2 (en) Adaptive post-filtering for reducing noise in highly compressed image/video coding
KR20150010903A (ko) 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치
CN112150400B (zh) 图像增强方法、装置和电子设备
US20080260285A1 (en) Method and apparatus for image processing
WO2023005740A1 (zh) 图像编码、解码、重建、分析方法、系统及电子设备
Vo et al. Quality enhancement for motion JPEG using temporal redundancies
US7630568B2 (en) System and method for low-resolution signal rendering from a hierarchical transform representation
US20100118981A1 (en) Method and apparatus for multi-lattice sparsity-based filtering
CN114513662B (zh) 一种qp自适应环内滤波方法、系统、电子设备及存储介质
Deshlahra Analysis of Image Compression Methods Based On Transform and Fractal Coding
CN113256744B (zh) 一种图像编码、解码方法及系统
US11503306B2 (en) Image and video data processing method and system
US11528488B2 (en) Image and video data processing method and system
CN115294222A (zh) 图像编码方法及图像处理方法、终端及介质
CN114240750A (zh) 视频分辨率提升方法及装置、存储介质及电子设备
CN114079472A (zh) 数据处理的方法和系统
US8768089B2 (en) System and method for filtering an image
CN113766239A (zh) 数据处理的方法和系统
US20040136600A1 (en) Visually lossless still image compression for RGB, YUV, YIQ, YCrCb, K1K2K3 formats
CN111698503A (zh) 一种基于预处理的视频高倍压缩方法
EP4203325A1 (en) Data processing method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant