CN112218097A - 环路滤波装置和图像解码装置 - Google Patents

环路滤波装置和图像解码装置 Download PDF

Info

Publication number
CN112218097A
CN112218097A CN201910627550.9A CN201910627550A CN112218097A CN 112218097 A CN112218097 A CN 112218097A CN 201910627550 A CN201910627550 A CN 201910627550A CN 112218097 A CN112218097 A CN 112218097A
Authority
CN
China
Prior art keywords
channels
unit
feature maps
image
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910627550.9A
Other languages
English (en)
Inventor
徐陆航
朱建清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910627550.9A priority Critical patent/CN112218097A/zh
Priority to EP20178490.7A priority patent/EP3764651A1/en
Priority to US16/898,144 priority patent/US20210012537A1/en
Priority to JP2020101771A priority patent/JP2021016150A/ja
Publication of CN112218097A publication Critical patent/CN112218097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种环路滤波装置和图像解码装置，所述环路滤波装置包括：下采样单元，其对输入的重构图像帧进行下采样，得到N个通道的特征图；残差学习单元，其对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及上采样单元，其对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。本申请实施例通过使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。

Description

环路滤波装置和图像解码装置
技术领域
本申请涉及视频编码技术领域以及图像压缩技术领域。
背景技术
有损图像和视频压缩算法会导致伪像，包括阻塞，模糊和振铃，以及样本失真。目前，卷积神经网络(CNN，Convolutional Neural Networks)是解决图像处理中这类问题的一种很好的方法。在传统的视频压缩软件(例如VTM)中，去块(Deblocking)滤波器，样点自适应补偿(SAO，Sample adaptive offset)滤波器和自适应环路滤波器(ALF，adaptiveloop filter)可以用作环路滤波器以减少失真。虽然使用CNN取代这些传统滤波器可能会减少视频失真，但CNN会花费大量时间来处理视频，计算量过大。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本申请实施例提供一种环路滤波装置和图像解码装置，通过使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少大量的计算，节省了CNN处理时间。
根据本申请实施例的第一方面，提供了一种环路滤波装置，所述环路滤波装置包括：
下采样单元，其对输入的重构图像帧进行下采样，得到N个通道的特征图；
残差学习单元，其对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及
上采样单元，其对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。
根据本申请实施例的第二方面，提供了一种图像解码装置，所述图像解码装置包括：
处理单元，其对接收到的码流进行去变换和去量化处理；
CNN滤波单元，其对所述处理单元的输出进行第一次滤波处理；
SAO滤波单元，其对所述CNN滤波单元的输出进行第二次滤波处理；
ALF滤波单元，其对所述SAO滤波单元的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出；
其中，所述CNN滤波单元包括前述第一方面所述的环路滤波装置。
根据本申请实施例的第三方面，提供了一种环路滤波方法，所述方法包括：
采用一个卷积层对输入的重构图像帧进行下采样，得到N个通道的特征图；
使用多个依次连接的残差块分别对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及
使用另一个卷积层和整合层对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。
根据本申请实施例的第四方面，提供了一种图像解码方法，所述方法包括：
对接收到的码流进行去变换和去量化处理；
使用CNN滤波器对去变换和去量化后的内容进行第一次滤波处理；
使用SAO滤波器对所述CNN滤波器的输出进行第二次滤波处理；
使用ALF滤波器对所述SAO滤波器的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出；
其中，所述CNN滤波器包括前述第一方面所述的环路滤波装置。
根据本申请实施例的其他方面，提供了一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得所述图像处理设备执行前述第三或四方面所述的方法。
根据本申请实施例的其他方面，提供了一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得图像处理设备执行前述第三或四方面所述的方法。
本申请实施例的有益效果之一在于：通过本申请实施例的前述任一方面，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是实施例1的图像压缩系统的一个示意图；
图2是实施例2的环路滤波装置的一个示意图；
图3是下采样单元的一个实施例的示意图；
图4是残差块的一个实施例的网络结构示意图；
图5是上采样单元的一个实施例的示意图；
图6是实施例2的环路滤波装置的一个实施例的网络结果示意图；
图7是实施例4的环路滤波方法的示意图；
图8是实施例5的图像解码方法的一个示意图；
图9是实施例6的图像处理设备的示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
在视频压缩中，视频帧被定义为帧内帧(intra-frame)和帧间帧(inter-frame)，intra-frame是不参考其他帧而被压缩的帧，inter-frame是参考其他帧被压缩的帧。传统的环路滤波器在帧内或帧间预测中都有效。由于卷积神经网络可以应用于单幅图像复原，本申请实施例使用CNN来处理基于帧内压缩的子采样视频帧。
下面结合附图对本申请实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请的限制。
实施例1
本申请实施例提供了一种图像压缩系统，图1是本申请实施例的图像压缩系统的一个示意图，如图1所示，本申请实施例的图像压缩系统100包括：第一处理单元101、熵编码装置102以及图像解码装置103。第一处理单元101用于对输入的图像进行变换(Transform，T)和量化(Quantization，Q)处理，图1中表示为T/Q；熵编码装置102用于对第一处理单元101的输出进行熵编码(entropy encoding)，并输出比特流；图像解码装置103用于对第一处理单元101的输出进行解码处理，并进行帧内预测和帧间预测。
在本申请实施例中，如图1所示，图像解码装置103包括：第二处理单元1031、CNN滤波单元1032、SAO滤波单元1033、以及ALF滤波单元1034，第二处理单元1031用于对接收到的码流(比特流)进行去变换(IT)和去量化(IQ)处理，在图1中表示为IT/IQ；CNN滤波单元1032用于对第一处理单元1031的输出进行第一次滤波处理；SAO滤波单元1033用于对CNN滤波单元1032的输出进行第二次滤波处理；ALF滤波单元1034用于对SAO滤波单元1033的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出。
在本申请实施例中，如图1所示，图像解码装置103还包括：第一预测单元1035、第二预测单元1036以及运动估计单元1037，第一预测单元1035用于对第二处理单元1031的输出进行帧内预测；第二预测单元1036用于根据运动估计结果和参考帧对ALF滤波单元1034的输出进行帧间预测；运动估计单元1037用于根据输入的视频帧以及参考帧进行运动估计，得到运动估计结果提供给第二预测单元1036。
在本申请实施例中，第一处理单元101、熵编码装置102、第二处理单元1031、SAO滤波单元1033、ALF滤波单元1034、第一预测单元1035、第二预测单元1036以及运动估计单元1037的实施可以参考相关技术，此处不再赘述。
本申请实施例使用CNN滤波单元1032替换去块滤波器，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
下面对本申请实施例的CNN滤波单元1032进行说明。
图2是本实施例的环路滤波装置200的示意图，该环路滤波装置200作为图1的CNN滤波单元1032发挥作用，也即图1的CNN滤波单元1032可以包括图2的环路滤波装置200。
如图2所示，该环路滤波装置200包括：下采样单元201、残差学习单元202以及上采样单元203，下采样单元201用于对输入的重构图像帧进行下采样，得到N个通道的特征图；残差学习单元202用于对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；上采样单元203用于对输入的N个通道的特征图进行上采样，得到上述重构图像的原始尺寸图像。
在一个或一些实施例中，下采样单元201可以通过一个卷积层(称为第一卷积层，或者称为下采样卷积层)对输入的重构图像帧进行下采样，得到N个通道的特征图。本申请实施例对该卷积层的卷积核的大小(kernel size)和通道数(the number of channels)以及卷积步幅(stride of convolution)均不作限制，例如，该卷积层可以是一个4×4的32通道的卷积层，卷积步幅可以是(4,4)。
为了减少像素数，可以通过该卷积层对输入的重构图像帧进行下采样，将该重构图像帧从N1×N1下采样到(N1/4)×(N1/4)，N1为像素数。例如，使用上述4×4×32的卷积层对64×64的图像帧进行下采样，可以得到32个通道的16×16的特征图，如图3所示。由此，通过该第一卷积层，可以确保不丢失有用信息而移除无用信息。
在一个或一些实施例中，残差学习单元202可以通过多个残差块分别对输入的N个通道的特征图进行残差学习，各自得到N个通道的特征图输出。通过该多个残差块，可以提高恢复的性能。
在一个或一些实施例中，可以使用四个残差块来平衡处理速度和性能，每个残差块可以包括三个卷积层。图4是残差块的一个实施例的示意图，如图4所示，该残差块可以包括：第二卷积层401、第三卷积层402和第四卷积层403，第二卷积层401用于对输入的N个通道的特征图进行升维处理，得到M个通道的特征图，M大于N；第三卷积层402用于对来自第二卷积层401的M个通道特征图进行降维处理，得到N个通道的特征图；第四卷积层403对来自第三卷积层402的N个通道的特征图进行特征提取，得到N个通道的特征图输出。
仍然前述N＝32为例，第二卷积层401可以是一个1×1的192个通道的卷积层，通过该卷积层，可以扩展维度；第三卷积层402可以是一个1×1的32个通道的卷积层，通过该卷积层，可以减少维度；第四卷积层403可以是一个3×3的32个通道的深度可分离卷积层，通过该卷积层，可以减少卷积参数。
在一个或一些实施例中，上采样单元203可以一个卷积层(称为第五卷积层)和一个整合层对输入的N个通道的特征图进行上采样，得到上述重构图像的原始尺寸图像。
在一个实施例中，第五卷积层可以对输入的N个通道的特征图进行压缩，得到N个通道的特征图，整合层可以将来自第五卷积层的N个通道的特征图进行整合，合并为一个图像作为上述重构图像的原始尺寸图像。
例如，第五卷积层可以是一个3×3的4通道的卷积层，整合层可以是一个pixelshuffle(模拟+置换)，其可以将输入的4个通道的32×32的特征图整合为1个通道的64×64的特征图，如图5所示，该64×64的特征图即为神经网络学习到的差异的结果(result ofdifference)。
在一个或一些实施例中，如图2所示，该环路滤波装置200还可以包括：第一计算单元204和第二计算单元205，第一计算单元204用于将输入的重构图像帧除以量化步长，将计算结果作为下采样单元201的输入；第二计算单元205用于对上采样单元203输出的原始尺寸图像乘以上述量化步长，将计算结果作为上述原始尺寸图像输出。
在图像和视频压缩中，人们通常使用量化来讲大范围的数值变为小范围的数值，量化操作通常由两部分组成，即编码器中的前向量化(FQ或Q)和解码器中的逆量化(IQ)，量化操作可以用于在应用变换(T)之后减小图像数据的精度，下面的公式示出了量化器和逆量化器的通常例子：
FQ＝round(X/Qstep)
Y＝FQ×Qstep
在上面的公式中，X是量化之前的值，Y是逆量化之后的值，Qstep是量化步长。量化的损耗是由round这个函数引起的，在视频压缩中，量化参数(QP)在0～51的范围内变化，QP和Qstep之间的关系如下：
Figure BDA0002127620290000071
从QP获得的Qstep可以减少由不同QP编码的视频之间的差异，本申请实施例在下采样之前将重构图像或帧除以Qstep，可以在同一级别控制不同图像的阻塞，并且本申请实施例在上采样之后乘以Qstep，可以恢复像素值，通过这种方式，CNN模型能够使用不同QP的视频序列。
图6是本申请实施例的环路滤波装置200的一个网络结构示意图，如图6所示，重构图像除以Qstep输出给下采样卷积层601，下采样卷积层601对输入的重构图像帧进行下采样得到N个通道的特征图输出给残差块602，残差块602对该N个通道的特征图进行了残差学习后得到N个通道的特征图输出给残差块603，残差块603进行与残差块602相同的处理，得到N个通道的特征图输出给残差块604，残差块604进行与残差块602相同的处理，得到N个通道的特征图输出给残差块605，残差块605进行与残差块602相同的处理，得到N个通道的特征图输出给上采样卷积层606，上采样卷积层606对输入的N个通道的特征图进行上采样，得到重构图像的原始尺寸图像输出，该原始尺寸图像乘以Qstep后输出，得到滤波结果。
在本申请实施例中，如前所述，上述CNN滤波器1032可以包括该环路滤波装置200，此外，该CNN滤波器1032还可以包括其他部件或组成，本申请实施例对此不作限制。
在本申请实施例中，如前所述，上述环路滤波装置200可以用于处理帧内帧，但本实施例对此不作限制。
值得注意的是，以上图2仅对本申请实施例的环路滤波装置200进行了示意性说明，但本申请不限于此。例如可以适当地调整各个模块或部件之间的连接关系，此外还可以增加其他的一些模块或部件，或者减少其中的某些模块或部件。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图2的记载。
本申请实施例的图像压缩系统使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
实施例2
本申请实施例提供了一种环路滤波装置，图2是本申请实施例的环路滤波装置200的示意图，图6是本申请实施例的环路滤波装置的网络结构示意图。由于在实施例1中，已经对该环路滤波装置进行了详细说明，其内容被合并于此，此处不再赘述。
通过本申请实施例的环路滤波装置，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
实施例3
本申请实施例提供了一种图像解码装置，图1示出了本申请实施例的图像解码装置103，由于在实施例1中，已经对该图像解码装置103进行了详细说明，其内容被合并于此，此处不再赘述。
通过本申请实施例的图像解码装置，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
实施例4
本申请实施例提供了一种环路滤波方法，由于该方法解决问题的原理与实施例1的环路滤波装置200类似，并且已经在实施例1中做了说明，其具体的实施可以参考实施例1的环路滤波装置200的实施，内容相同之处不再重复说明。
图7是本申请实施例的环路滤波方法的示意图，如图7所示，该环路滤波方法包括：
701：采用一个卷积层(称为第一卷积层)对输入的重构图像帧进行下采样，得到N个通道的特征图；
702：使用多个依次连接的残差块分别对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及
703：使用另一个卷积层(称为第五卷积层)和整合层对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。
在本申请实施例中，图7的各个操作的实施可以参照实施例1中的图2的各个单元的实施，此处不再赘述。
在本申请实施例的操作702中，每个残差块可以包括三个卷积层，其中，第一个卷积层(称为第二卷积层)可以对输入的N个通道的特征图进行升维处理，得到M个通道的特征图，M大于N；第二个卷积层(称为第三卷积层)可以对来自所述第二卷积层的M个通道特征图进行降维处理，得到N个通道的特征图；第三个卷积层(称为第四卷积层)可以对来自所述第三卷积层的N个通道的特征图进行特征提取，得到N个通道的特征图。在第一个卷积层和第二个卷积层之间，还可以包括relu函数，关于relu函数的原理和实施方式，可以参考相关技术，此处不再赘述。此外，第四卷积层可以是深度可分离卷积层，关于其原理和实施方式，也可以参考相关技术，此处不再赘述。
在本申请实施例的操作703中，第五卷积层可以对输入的N个通道的特征图进行压缩，得到N个通道的特征图；整合层可以将来自第五卷积层的N个通道的特征图进行整合，合并为一个图像作为重构图像的原始尺寸图像。
在本申请实施例中，在进行前述下采样之前，还可以将输入的重构图像帧除以量化步长，在进行前述上采样之后，还可以对上采样的输出乘以该量化步长，将计算结果作为原始尺寸图像输出。
在本申请实施例中，上述重构图像帧可以是帧内帧。
通过本申请实施例的环路滤波方法，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
实施例5
本申请实施例提供了一种图像解码方法，由于该方法解决问题的原理与实施例1的图像解码装置103类似，并且已经在实施例1中做了说明，其具体的实施可以参考实施例1的图像解码装置103的实施，内容相同之处不再重复说明。
图8是本申请实施例的图像解码方法的示意图，如图8所示，该图像解码方法包括：
801：对接收到的码流进行去变换和去量化处理；
802：使用CNN滤波器对去变换和去量化后的内容进行第一次滤波处理；
803：使用SAO滤波器对所述CNN滤波器的输出进行第二次滤波处理；以及
804：使用ALF滤波器对所述SAO滤波器的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出。
在本申请实施例中，CNN滤波器包括实施例1所述的环路滤波装置200，用于实施实施例3的环路滤波方法，由于再实施例1和实施例3中，已经对该装置和方法做了详细说明，其内容被合并于此，此处不再赘述。
在本申请实施例中，SAO滤波器和ALF滤波器的原理和实施方式可以参考相关技术，此处不再赘述。
在本申请实施例中，还可以对去变换和去量化之后的输出进行帧内预测，并根据运动估计结果和参考帧对ALF滤波器的输出进行帧间预测，此外，还可以根据输入的视频帧和上述参考帧进行运动估计，得到上述运动估计结果。
通过本申请实施例的图像解码方法，使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。
实施例6
本申请实施例提供一种图像处理设备，该图像处理设备包括如实施例1所述的图像压缩系统100，或者包括实施例1所述的环路滤波装置200，或者包括实施例3所述的图像解码装置103。
由于在实施例1-3中，已经对图像压缩系统100、环路滤波装置200、以及图像解码装置103进行了详细说明，其内容被合并于此，此处不再赘述。
图9是本申请实施例的图像处理设备的示意图。如图9所示，图像处理设备900可以包括：中央处理器(CPU)901和存储器902；存储器902耦合到中央处理器901。其中该存储器902可存储各种数据；此外还存储信息处理的程序，并且在中央处理器901的控制下执行该程序。
在一个实施例中，环路滤波装置200或图像解码装置103的功能可以被集成到中央处理器901中。其中，中央处理器901可以被配置为实现如实施例4和/或5所述的方法。
在另一个实施例中，环路滤波装置200或图像解码装置103可以与中央处理器901分开配置，例如可以将环路滤波装置200或图像解码装置103配置为与中央处理器901连接的芯片，通过中央处理器901的控制来实现环路滤波装置200或图像解码装置103的功能。
此外，如图9所示，图像处理设备还可以包括：输入输出(I/O)设备903和显示器904等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备也并不是必须要包括图9中所示的所有部件；此外，图像处理设备还可以包括图9中没有示出的部件，可以参考现有技术。
本申请实施例提供一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得所述图像处理设备执行如实施例4和/或5所述的方法。
本申请实施例提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得图像处理设备执行如实施例4和/或5所述的方法。
本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或操作。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1,2中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图7,8所示的各个操作。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

Claims (10)

1.一种环路滤波装置，其特征在于，所述环路滤波装置包括：
下采样单元，其对输入的重构图像帧进行下采样，得到N个通道的特征图；
残差学习单元，其对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及
上采样单元，其对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。
2.根据权利要求1所述的环路滤波装置，其特征在于，所述下采样单元通过第一卷积层对输入的重构图像帧进行下采样，得到N个通道的特征图。
3.根据权利要求1所述的环路滤波装置，其特征在于，所述残差学习单元通过多个残差块分别对输入的N个通道的特征图进行残差学习。
4.根据权利要求3所述的环路滤波装置，其特征在于，每个残差块包括：
第二卷积层，其对输入的N个通道的特征图进行升维处理，得到M个通道的特征图，M大于N；
第三卷积层，其对来自所述第二卷积层的M个通道特征图进行降维处理，得到N个通道的特征图；以及
第四卷积层，其对来自所述第三卷积层的N个通道的特征图进行特征提取，得到N个通道的特征图。
5.根据权利要求4所述的环路滤波装置，其特征在于，所述第四卷积层为深度可分离卷积层。
6.根据权利要求1所述的环路滤波装置，其特征在于，所述上采样单元通过第五卷积层和整合层对输入的N个通道的特征图进行上采样；
所述第五卷积层对输入的N个通道的特征图进行压缩，得到N个通道的特征图；
所述整合层将来自所述第五卷积层的N个通道的特征图进行整合，合并为一个图像作为所述重构图像的原始尺寸图像。
7.根据权利要求1所述的环路滤波装置，其特征在于，所述环路滤波装置还包括：
第一计算单元，其将输入的重构图像帧除以量化步长，将计算结果作为所述下采样单元的输入；以及
第二计算单元，其对所述上采样单元输出的原始尺寸图像乘以所述量化步长，将计算结果作为所述原始尺寸图像输出。
8.根据权利要求1所述的环路滤波装置，其特征在于，所述重构图像帧为帧内帧。
9.一种图像解码装置，其特征在于，所述图像解码装置包括：
处理单元，其对接收到的码流进行去变换和去量化处理；
CNN滤波单元，其对所述处理单元的输出进行第一次滤波处理；
SAO滤波单元，其对所述CNN滤波单元的输出进行第二次滤波处理；
ALF滤波单元，其对所述SAO滤波单元的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出；
其中，所述CNN滤波单元包括权利要求1-8任一项所述的环路滤波装置。
10.根据权利要求9所述的图像解码装置，其特征在于，所述图像解码装置还包括：
第一预测单元，其对所述处理单元的输出进行帧内预测；
第二预测单元，其根据运动估计结果和参考帧对所述ALF滤波单元的输出进行帧间预测；
运动估计单元，其根据输入的视频帧以及所述参考帧进行运动估计，得到运动估计结果提供给所述第二预测单元。
CN201910627550.9A 2019-07-12 2019-07-12 环路滤波装置和图像解码装置 Pending CN112218097A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910627550.9A CN112218097A (zh) 2019-07-12 2019-07-12 环路滤波装置和图像解码装置
EP20178490.7A EP3764651A1 (en) 2019-07-12 2020-06-05 Loop filter apparatus and image decoding apparatus
US16/898,144 US20210012537A1 (en) 2019-07-12 2020-06-10 Loop filter apparatus and image decoding apparatus
JP2020101771A JP2021016150A (ja) 2019-07-12 2020-06-11 ループフィルタリング装置及び画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627550.9A CN112218097A (zh) 2019-07-12 2019-07-12 环路滤波装置和图像解码装置

Publications (1)

Publication Number Publication Date
CN112218097A true CN112218097A (zh) 2021-01-12

Family

ID=71016409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627550.9A Pending CN112218097A (zh) 2019-07-12 2019-07-12 环路滤波装置和图像解码装置

Country Status (4)

Country Link
US (1) US20210012537A1 (zh)
EP (1) EP3764651A1 (zh)
JP (1) JP2021016150A (zh)
CN (1) CN112218097A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989992A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN114513662A (zh) * 2022-04-19 2022-05-17 北京云中融信网络科技有限公司 一种qp自适应环内滤波方法、系统、电子设备及存储介质
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
CN115883842A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
WO2024078404A1 (zh) * 2022-10-14 2024-04-18 维沃移动通信有限公司 特征图处理方法、装置及设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022155799A1 (en) * 2021-01-19 2022-07-28 Alibaba Group Holding Limited Neural network based in-loop filtering for video coding
CN113068031B (zh) * 2021-03-12 2021-12-07 天津大学 一种基于深度学习的环路滤波方法
CN113034455B (zh) * 2021-03-17 2023-01-10 清华大学深圳国际研究生院 一种平面物件麻点检测方法
US20220337824A1 (en) * 2021-04-07 2022-10-20 Beijing Dajia Internet Information Technology Co., Ltd. System and method for applying neural network based sample adaptive offset for video coding
US20220405979A1 (en) * 2021-06-16 2022-12-22 Tencent America LLC Content-adaptive online training method and apparatus for deblocking in block-wise image compression
CN113497941A (zh) * 2021-06-30 2021-10-12 浙江大华技术股份有限公司 图像滤波方法、编码方法及相关设备
US20230007246A1 (en) * 2021-06-30 2023-01-05 Lemon, Inc. External attention in neural network-based video coding
US20230023579A1 (en) * 2021-07-07 2023-01-26 Lemon, Inc. Configurable Neural Network Model Depth In Neural Network-Based Video Coding
JPWO2023047950A1 (zh) * 2021-09-22 2023-03-30
CN114125449B (zh) * 2021-10-26 2024-06-11 阿里巴巴创新公司 基于神经网络的视频处理方法、系统和计算机可读介质
CN114173130B (zh) * 2021-12-03 2023-02-10 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
WO2024077740A1 (en) * 2022-10-13 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Convolutional neural network for in-loop filter of video encoder based on depth-wise separable convolution
CN118250463A (zh) * 2022-12-23 2024-06-25 维沃移动通信有限公司 图像处理方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075301A1 (en) * 2017-09-01 2019-03-07 Apple Inc. Machine learning video processing systems and methods

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
CN104282030A (zh) * 2013-07-12 2015-01-14 富士通株式会社 图像压缩装置及方法
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
WO2020146911A2 (en) * 2019-05-03 2020-07-16 Futurewei Technologies, Inc. Multi-stage multi-reference bootstrapping for video super-resolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075301A1 (en) * 2017-09-01 2019-03-07 Apple Inc. Machine learning video processing systems and methods

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUHANG XU (FUJITST) ET AL: "Non-Ce10: a CNN based in-loop filter for intra frame", 《THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-TSG.16》 *
Y-L ET AL: "CE13: summary report on neural network based filter for video coding", 《THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-TSG.16》 *
Y-L HSIAO ET AL: "CE13-1.1: convolutional neural network loop filter", 《THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-TSG.16》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989992A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN112989992B (zh) * 2021-03-09 2023-12-15 阿波罗智联(北京)科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
CN115883842A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
CN114513662A (zh) * 2022-04-19 2022-05-17 北京云中融信网络科技有限公司 一种qp自适应环内滤波方法、系统、电子设备及存储介质
CN114513662B (zh) * 2022-04-19 2022-06-17 北京云中融信网络科技有限公司 一种qp自适应环内滤波方法、系统、电子设备及存储介质
WO2024078404A1 (zh) * 2022-10-14 2024-04-18 维沃移动通信有限公司 特征图处理方法、装置及设备

Also Published As

Publication number Publication date
EP3764651A1 (en) 2021-01-13
US20210012537A1 (en) 2021-01-14
JP2021016150A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112218097A (zh) 环路滤波装置和图像解码装置
JP7242477B2 (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
RU2685981C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
US9571857B2 (en) Methods and apparatus for video imaging pruning
JPH07231450A (ja) 動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法
WO2006066845A2 (en) Adaptive image filter
CN117596414A (zh) 视频处理方法及装置
KR101081074B1 (ko) 데이터 값의 다운-샘플링 방법 및 디바이스와 이를 포함하는 저장 유닛, 디스플레이 유닛, 비디오 인코더, 비디오 디코더, 휴대용 장치 및 컴퓨터 판독가능 매체
CN113822824B (zh) 视频去模糊方法、装置、设备及存储介质
JP3532470B2 (ja) 符号化整合フィルタ装置を用いたビデオ通信のための技法
Jia et al. Residual guided deblocking with deep learning
WO2010024907A1 (en) Systems and methods for compression transmission and decompression of video codecs
EP1511319A1 (en) Film Grain Extraction Filter
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
JP2844619B2 (ja) 画像信号用ディジタルフィルタ
KR100982835B1 (ko) 영상 프레임의 디블로킹 방법 및 장치
CN114513662B (zh) 一种qp自适应环内滤波方法、系统、电子设备及存储介质
US20080187237A1 (en) Method, medium, and system reducing image block noise
Konstantinides et al. Application of SVD based spatial filtering to video sequences
JPH08191444A (ja) ビデオ信号復号化装置
CN112637610A (zh) 去块滤波器的系数获取装置、方法以及图像编解码装置
Abhayaratne Reducing aliasing in wavelets based downsampling for improved resolution scalability
Sevcenco et al. Combined adaptive and averaging strategies for JPEG-based low bit-rate image coding
GOTO et al. A Deblocking Method using Wavelet Transform for MPEG-II format
JP2016063290A (ja) ノイズ除去装置、ノイズ除去方法及び画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210112