CN113596482B - 环路滤波实现方法、装置及计算机存储介质 - Google Patents

环路滤波实现方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN113596482B
CN113596482B CN202110832617.XA CN202110832617A CN113596482B CN 113596482 B CN113596482 B CN 113596482B CN 202110832617 A CN202110832617 A CN 202110832617A CN 113596482 B CN113596482 B CN 113596482B
Authority
CN
China
Prior art keywords
image
filtered
information
video
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110832617.XA
Other languages
English (en)
Other versions
CN113596482A (zh
Inventor
万帅
王铭泽
马彦卓
霍俊彦
杨付正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110832617.XA priority Critical patent/CN113596482B/zh
Publication of CN113596482A publication Critical patent/CN113596482A/zh
Application granted granted Critical
Publication of CN113596482B publication Critical patent/CN113596482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种环路滤波实现方法、装置及计算机存储介质，该方法包括：获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。

Description

环路滤波实现方法、装置及计算机存储介质
本案为2019年3月7日递交的国际专利申请PCT/CN2019/077371的中国国家阶段专利申请201980075008.5的分案申请。
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种环路滤波实现方法、装置及计算机存储介质。
背景技术
在视频编解码系统中，大多数视频编码采用的是基于块形编码单元(CodingUnit，CU)的混合编码框架，由于相邻的CU采用不同的编码参数，比如：不同的变换过程、不同的量化参数(Quantization Parameter，QP)、不同的预测方式、不同的参考图像帧等，而且各个CU引入的误差大小及其分布特性的相互独立，相邻CU边界的不连续性而产生块效应，从而影响了重建图像的主客观质量，甚至影响后续编解码的预测准确性。
这样，在编解码过程中，环路滤波器被使用来提升重建图像的主客观质量。传统的环路滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构及配置滤波器系数，例如去方块滤波、样点自适应补偿和自适应环路滤波等，这些依赖于人工设计的滤波器对最优滤波器的拟合并不到位，自适应能力和滤波效果较差，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这增加了编码比特数。
随着深度学习理论的迅速发展，业界内提出了卷积神经网络(ConvolutionalNeural Network，CNN)对重建图像进行滤波处理以去除图像失真，相对传统的环路滤波器获得了明显的主客观质量提升。然而，目前的CNN滤波器未充分综合利用相关信息，使得重建图像的主客观质量提升有限。
发明内容
本申请实施例提供一种环路滤波实现方法、装置及计算机存储介质，通过将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
本申请实施例的技术方案可以如下实现：
第一方面，本申请实施例提供了一种环路滤波实现方法，所述方法包括：
获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
第二方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、确定单元和滤波单元，其中，
所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
所述滤波单元，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
第三方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：存储器和处理器，其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如第一方面所述方法的步骤。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现如第一方面所述方法的步骤。
本申请实施例提供了一种环路滤波实现方法、装置及计算机存储介质，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；然后确定确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；另外，通过融入块划分信息和/或QP信息等辅助信息，还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
附图说明
图1为相关技术方案提供的一种传统编码框图的组成结构示意图；
图2为本申请实施例提供的一种改进型编码框图的组成结构示意图；
图3为本申请实施例提供的一种环路滤波实现方法的流程示意图；
图4为本申请实施例提供的一种块划分矩阵的结构示意图；
图5为本申请实施例提供的一种传统CNN滤波器的组成结构示意图；
图6A和图6B为本申请实施例提供的另一种传统CNN滤波器的组成结构示意图；
图7为本申请实施例提供的一种环路滤波框架的组成结构示意图；
图8为本申请实施例提供的另一种环路滤波框架的组成结构示意图；
图9为本申请实施例提供的一种环路滤波实现装置的组成结构示意图；
图10为本申请实施例提供的一种环路滤波实现装置的具体硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
在视频编解码系统中，待编码视频包括原始图像帧，而原始图像帧中包括原始图像，对该原始图像进行多种处理，诸如预测、变换、量化、重建和滤波等，在这些处理过程中，已处理的视频图像相对原始图像可能已经发生像素值偏移，导致视觉障碍或假象。此外，在大多数视频编解码系统采用的基于块形CU的混合编码框架下，由于相邻的编码块采用不同的编码参数(比如不同的变换过程、不同的QP、不同的预测方式、不同的参考图像帧等)，各个编码块引入的误差大小及其分布特性的相互独立，相邻编码块边界的不连续性，产生块效应。这些失真不但影响了重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，甚至还会影响后续编解码的预测准确性，进而影响了视频码流中比特的大小。因此，在视频编解码系统中，往往会加入环路滤波器(In-Loop Filter)来提升重建图像的主客观质量。
参见图1，其示出了相关技术方案提供的一种传统编码框图10的组成结构示意图。如图1所示，该传统编码框图10可以包括变换及量化单元101、反变换及反量化单元102、预测单元103、滤波单元104和熵编码单元105等部件；其中，预测单元103还包括帧内预测单元1031和帧间预测单元1032。针对输入的原始图像，通过初步划分可以得到编码树单元(Coding Tree Unit，CTU)，而对一个CTU继续进行内容自适应划分，可以得到CU，CU一般包含一个或多个编码块(Coding Block,CB)。对编码块进行帧内预测单元1031的帧内预测或者帧间预测单元1032的帧间预测，可以得到残差信息；将该残差信息通过变换及量化单元101对该编码块进行变换，包括将残差信息从像素域变换到变换域，以及对所得到的变换系数进行量化，用以进一步减少比特率；在确定出预测模式之后，预测单元103还用于将所选择的帧内预测数据或者帧间预测数据提供给熵编码单元105；此外，反变换与反量化单元102是用于该编码块的重构建，在像素域中重构建残差块，该重构建残差块通过滤波单元104去除方块效应伪影，然后将该重构残差块添加到解码图像缓存单元中，用以产生经重构建的参考图像；熵编码单元105是用于编码各种编码参数及量化后的变换系数，比如熵编码单元105采用头信息编码及基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmatic Coding，CABAC)算法，可以用于编码指示所确定的预测模式的编码信息，输出对应的码流。
针对图1所述的传统编码框图10，滤波单元104为环路滤波器，也称之为环内滤波器(In-Loop Filter)，它可以包括去方块滤波器(De-Blocking Filter，DBF)1041、样点自适应补偿(Sample Adaptive Offset，SAO)滤波器1042和自适应环路滤波器(AdaptiveLoop Filter，ALF)1043等。其中，去方块滤波器1041用于实现去方块滤波，在下一代视频编码标准H.266/多功能视频编码(Versatile Video Coding，VVC)中，对于原始图像中所有的编码块边界，首先根据边界两边的编码参数进行边界强度的判定，以及根据计算得到的块边界纹理度值来判断是否进行去方块的滤波决策，最后再根据边界强度、滤波决策对编码块边界两侧的像素信息进行修正处理。在VVC中，当去方块滤波执行之后，为了减轻高频交流系数的量化失真，还引入了SAO技术，即样点自适应补偿滤波器1042；进一步地，从像素域入手，对波峰处的像素添加负值、波谷处的像素添加正值进行补偿处理。在VVC中，当去方块滤波和样点自适应补偿滤波执行之后，还需要进一步使用自适应环路滤波器1043进行滤波处理；对于自适应环路滤波，它是根据原始图像的像素值和失真图像的像素值来计算得到均方意义下的最优滤波器。然而，这些滤波器(比如去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043等)不仅需要进行精细的手工设计、大量的判断决策；而且在编码端还需要将依赖于局部统计信息的滤波器相关参数(比如滤波系数和是否选用该滤波器的标识(Flag)值等)写入码流中以保证编码端和解码端的一致性，增加了编码比特数；同时人工设计的滤波器对真实的优化目标的复杂函数的拟合程度不高，滤波效果有待增强。
本申请实施例提供了一种环路滤波实现方法，该方法应用于改进型编码框图中；与图1所示的传统编码框图10相比，主要区别是采用一种改进型环路滤波器来代替相关技术方案中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043等。在本申请实施例中，该改进型环路滤波器可以是卷积神经网络(Convolutional NeuralNetworks，CNN)滤波器，也可以是其他深度学习所建立的滤波器，本申请实施例不作具体限定。
以卷积神经网络滤波器为例，参见图2，其示出了本申请实施例提供的一种改进型编码框图20的组成结构示意图。如图2所示，与传统编码框图10相比，改进型编码框图20中的滤波单元104包括卷积神经网络滤波器201。该卷积神经网络滤波器201不仅可以全部代替图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043，而且也可以部分替代图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043中的任意一个或者两个，甚至也可以和图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043中的任意一个或者多个组合使用。还需要注意的是，针对图1或者图2中所示的每一个部件，比如变换及量化单元101、反变换及反量化单元102、预测单元103、滤波单元104、熵编码单元105或者卷积神经网络滤波器201，这些部件可以是虚拟模块，也可以是硬件模块。另外，本领域技术人员可以理解，这些单元并不构成对编码框图的限定，编码框图可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请实施例中，卷积神经网络滤波器201进行滤波网络训练之后可以直接部署在编码端和解码端，这样就无需传输任何滤波器相关参数；而且该卷积神经网络滤波器201还可以将块划分信息和/或QP信息等辅助信息与输入的多个图像分量进行融合处理；这样，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
需要说明的是，本申请实施例的环路滤波实现方法不仅可以应用于编码系统，也可以应用于解码系统。一般来说，为了节省编码码率，同时保证解码系统可以进行正确的解码处理，在编码系统和解码系统必须同步部署本申请实施例的环路滤波器。下面将以在编码系统中的应用为例进行详细描述。
参见图3，其示出本申请实施例提供的一种环路滤波实现方法的流程示意图，该方法可以包括：
S301：获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
S302：确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
S303：基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
需要说明的是，由于原始图像可以划分为CTU，或者由CTU划分为CU；也就是说，本申请实施例中的块划分信息可以是指CTU划分信息，也可以是指CU划分信息；这样，本申请实施例的环路滤波实现方法不仅可以应用于CU级别的环路滤波，也可以应用于CTU级别的环路滤波，本申请实施例不作具体限定。
在本申请实施例中，通过获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；这样，不仅充分利用了多个图像分量之间的关系，而且还能够避免对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；最后基于融合信息对待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；由于融合信息中融入了块划分信息和/或QP信息等辅助信息，从而还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
在一些实施例中，图像分量包括第一图像分量、第二图像分量和第三图像分量；其中，所述第一图像分量表示亮度分量，所述第二图像分量表示第一色度分量，所述第三图像分量表示第二色度分量。
需要说明的是，在视频图像中，一般采用第一图像分量、第二图像分量和第三图像分量来表征原始图像或者待滤波图像。其中，在亮-色度分量表示方法下，这三个图像分量分别为一个亮度分量、一个蓝色色度(色差)分量和一个红色色度(色差)分量；具体地，亮度分量通常使用符号Y表示，蓝色色度分量通常使用符号Cb表示，也可以用U表示；红色色度分量通常使用符号Cr表示，也可以用V表示。在本申请实施例中，第一图像分量可以为亮度分量Y，第二图像分量可以为蓝色色度分量U，第三图像分量可以为红色色度分量V，但是本申请实施例不作具体限定。其中，至少一个图像分量表示第一图像分量、第二图像分量和第三图像分量中的一个或者多个，而至少两个图像分量可以是第一图像分量、第二图像分量以及第三图像分量，还可以是第一图像分量和第二图像分量，也可以是第一图像分量和第三图像分量，甚至也可以是第二图像分量和第三图像分量，本申请实施例均不作具体限定。
在下一代视频编码标准VVC中，其相应的测试模型为VVC测试模型(VVC TestModel，VTM)。在VTM实施测试时，目前标准测试序列采用的是YUV为4:2:0格式，该格式的待编码视频中每一帧图像都可以由三个图像分量组成：一个亮度分量(用Y表示)和两个色度分量(用U和V表示)。假定待编码视频中原始图像的高为H，宽为W，那么第一图像分量对应的尺寸信息为H×W，第二图像分量或者第三图像分量对应的尺寸信息均为需要注意的是，本申请实施例将以YUV为4:2:0格式为例进行描述，但是本申请实施例的环路滤波实现方法同样适用于其他采样格式。
以YUV为4:2:0格式为例，由于第一图像分量与第二图像分量或者第三图像分量的尺寸信息是不同的，为了将第一图像分量和/或第二图像分量和/或第三图像分量一次性输入到改进型环路滤波器中，这时候需要对这三个图像分量进行采样或重组处理，以使得三个图像分量的空域尺寸信息是相同的。
在一些实施例中，可以对高分辨率的图像分量进行像素重排处理(也可以称为下采样处理)，以使得三个图像分量的空域尺寸信息是相同的。具体地，在所述将所述待滤波图像的至少两个图像分量以及所述辅助信息进行融合之前，所述方法还包括：
针对所述待滤波图像的至少两个图像分量，选取高分辨率的图像分量；
对所述高分辨率的图像分量进行像素重排处理。
需要说明的是，如果第一图像分量为亮度分量，第二图像分量为第一色度分量，第三图像分量为第二色度分量；那么高分辨率的图像分量为第一图像分量，此时需要对第一图像分量进行像素重排处理。示例性地，以2×2尺寸大小的原始图像为例，将其转换为4个通道，即将2×2×1的张量排列成1×1×4的张量；那么当原始图像的第一图像分量的尺寸信息为H×W时，在进行环路滤波之前可以通过像素重排处理将其转换为的形式；由于第二图像分量和第三图像分量的尺寸信息均为/>这样就可以使得三个图像分量的空域尺寸信息是相同的；后续将像素重排处理后的第一图像分量、第二图像分量和第三图像分量等这三个图像分量合并后即变换为/>的形式输入改进型环路滤波器。
在一些实施例中，还可以对低分辨率的图像分量进行上采样处理，以使得三个图像分量的空域尺寸信息是相同的。具体地，在所述将所述待滤波图像的至少两个图像分量以及所述辅助信息进行融合之前，所述方法还包括：
针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；
对所述低分辨率的图像分量进行上采样处理。
需要说明的是，除了可以对高分辨率的图像分量进行尺寸信息的像素重排处理(即向下调整)之外，在本申请实施例中，还可以对低分辨率的图像分量进行上采样处理(即向上调整)。另外，针对低分辨率的图像分量，不仅可以进行上采样处理，还可以进行反卷积处理，甚至还可以进行超分辨率处理等，这三种处理的效果相同，本申请实施例不作具体限定。
还需要说明的是，如果第一图像分量为亮度分量，第二图像分量为第一色度分量，第三图像分量为第二色度分量；那么低分辨率的图像分量为第二图像分量或者第三图像分量，此时需要对第二图像分量或者第三图像分量进行上采样处理。示例性地，当原始图像的第二图像分量和第三图像分量的尺寸信息均为时，在进行环路滤波之前可以通过上采样处理将其转换为H×W的形式；由于第一图像分量的尺寸信息为H×W，这样也可以使得三个图像分量的空域尺寸信息是相同的，而且上采样处理后的第二图像分量和上采样处理后的第三图像分量将与第一图像分量的分辨率保持一致。
在一些实施例中，所述获取待滤波图像，包括：
对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像；或者，
对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
需要说明的是，基于改进型编码框图20，对待编码视频中的原始图像进行视频编码的过程中，针对原始图像进行视频编码处理时，将其进行CU划分、预测、变换及量化等处理，并且为了得到用于对后续的待编码图像进行视频编码的参考图像，还可以进行反变换及反量化、重建和滤波等处理。这样，本申请实施例中的待滤波图像，可以是视频编码过程中经过重建处理之后所生成的重建图像，也可以是对重建图像采用其他预设滤波方法(比如可以是去方块滤波方法)进行预设滤波后所得到的预设滤波后的图像，本申请实施例不作具体限定。
在一些实施例中，在所述确定所述待滤波图像的融合信息之前，所述方法还包括：
确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息和/或量化参数信息。
可以理解地，辅助信息可以用于辅助滤波，提升滤波质量。在本申请实施例中，辅助信息不仅可以是块划分信息(比如CU划分信息和/或CTU划分信息)，还可以是量化参数信息，甚至也可以是运动矢量(Motion Vector，MV)信息、预测方向信息等；这些信息可以单独作为辅助信息，也可以任意组合作为辅助信息，比如将块划分信息单独作为辅助信息，或者将块划分信息和量化参数信息共同作为辅助信息，或者将块划分信息和MV信息共同作为辅助信息等，本申请实施例不作具体限定。
还可以理解，由于原始图像可以划分为CTU，或者由CTU划分为CU；因此，本申请实施例的环路滤波实现方法不仅可以应用于CU级别的环路滤波(这时候的块划分信息为CU划分信息)，也可以应用于CTU级别的环路滤波(这时候的块划分信息为CTU划分信息)，本申请实施例不作具体限定。下面将以CU划分信息作为块划分信息为例进行描述。
在一些实施例中，所述确定所述待滤波图像对应的辅助信息，包括：
对待编码视频中的原始图像进行CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。
进一步地，在一些实施例中，所述将所述CU划分信息作为所述待滤波图像对应的块划分信息，包括：
针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；
将所述第一矩阵作为所述待滤波图像对应的块划分信息。
需要说明的是，第一值可以是预先设定的数值、字母等，第二值也可以是预先设定的数值、字母等，第一值与第二值不同；比如第一值可以设置为2，第二值可以设置为1，但是本申请实施例不作具体限定。
在本申请实施例中，可以将CU划分信息作为辅助信息来辅助待滤波图像进行滤波处理。也就是说，在对待编码视频中的原始图像进行视频编码的过程中，可以充分利用CU划分信息，将其与待滤波图像的至少两个图像分量进行融合后来指导滤波。
具体地，将CU划分信息转换成一个编码单元图(Coding Unit Map，CUmap)，并以二维矩阵表示，即CUmap矩阵，也即本申请实施例中的第一矩阵；也就是说，针对原始图像，可以将其划分为多个CU；在每个CU边界对应的各个像素点位置用第一值进行填充，而在其他像素点位置用第二值进行填充，这样就可以构造出一张反映CU划分信息的第一矩阵。示例性地，参见图4，其示出了本申请实施例提供的一种块划分矩阵的结构示意图。如图4所示，如果该图表示一个CTU，那么可以将该CTU划分为9个CU；假定第一值设置为2，第二值设置为1；这样，在每个CU边界对应的各个像素点位置用2进行填充，而在其他像素点位置用1进行填充，也就是说，利用2所填充的像素点位置表示了CU的边界，从而可以确定出CU划分信息，即待滤波图像对应的辅助信息。
在一些实施例中，所述确定所述待滤波图像对应的辅助信息，包括：
获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息。
进一步地，在一些实施例中，所述将所述量化参数作为所述待滤波图像对应的量化参数信息，包括：
建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；
将所述第二矩阵作为所述待滤波图像对应的量化参数信息。
需要说明的是，不同的量化参数对应的待滤波图像，其失真程度不尽相同。如果融入量化参数信息，那么能够使得滤波网络在训练过程中自适应地拥有对任意量化参数进行处理的能力。
在本申请实施例中，还可以将量化参数信息作为辅助信息来辅助待滤波图像进行滤波处理。也就是说，在对待编码视频中的原始图像进行视频编码的过程中，可以充分利用量化参数信息，将其与待滤波图像的至少两个图像分量进行融合后来指导滤波。其中，量化参数信息可以进行归一化处理，量化参数信息也可以进行非归一化处理(比如分类处理、区间划分处理等)；下面将以对量化参数归一化处理为例进行详细描述。
具体地，将量化参数信息转换成一个反映量化参数信息的第二矩阵；也就是说，以原始图像为例，建立一个与原始图像尺寸相同的矩阵，该矩阵中各个像素点位置均用原始图像所对应的量化参数的归一化值进行填充；其中，量化参数的归一化值用QPmax(x,y)表示，即：
在式(1)中，QP表示原始图像对应的量化参数值，x表示该CU块中各像素点位置的横坐标值，y表示该CU块中各像素点位置的纵坐标值；QPmax表示量化参数的最大值，一般来说，QPmax的取值为51，但是QPmax也可以为其他值，比如29、31等，本申请实施例不作具体限定。
在一些实施例中，改进型环路滤波器包括卷积神经网络滤波器。
需要说明的是，改进型环路滤波器用于实现对待滤波图像的环路滤波处理。其中，改进型环路滤波器可以是卷积神经网络滤波器，也可以是其他深度学习所建立的滤波器，本申请实施例不作具体限定。这里，卷积神经网络滤波器，也称为CNN滤波器，它是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。CNN滤波器的输入层可以处理多维数据，比如待编码视频中原始图像的三个图像分量(Y/U/V)通道。
参见图5，其示出了本申请实施例提供的一种传统CNN滤波器50的组成结构示意图。如图5所示，该传统CNN滤波器50是在上一代视频编码标准H.265/高效视频编码(HighEfficiency Video Coding，HEVC)的基础上进行改进的，它包含有2层卷积网络结构，可以替代去方块滤波器和样点自适应补偿滤波器。将待滤波图像(用Fin表示)输入到传统CNN滤波器50的输入层之后，顺序经过第一层卷积网络F1(假定卷积核的大小为3×3，包含有64张特征图)和第二层卷积网络F2(假定卷积核的大小为5×5，包含有32张特征图)之后，得到一个残差信息F3；然后将待滤波图像Fin和残差信息F3进行求和运算，最终得到该传统CNN滤波器50输出的滤波后图像(用Fout表示)。其中，该卷积网络结构也称之为残差神经网络，用于输出待滤波图像所对应的残差信息。在该传统CNN滤波器50中，分别对待滤波图像的三个图像分量(Y/U/V)进行独立处理，但是共享同一个滤波网络以及滤波网络的相关参数。
参见图6A和图6B，其示出了本申请实施例提供的另一种传统CNN滤波器60的组成结构示意图；该传统CNN滤波器60使用了两个滤波网络，如图6A所示的滤波网络专用于输出第一图像分量，如图6B所示的滤波网络专用于输出第二图像分量或者第三图像分量。假定待编码视频中原始图像的高为H，宽为W，那么第一图像分量对应的尺寸信息为H×W，可以对第一图像分量进行像素重排处理，将其转换为的形式；由于第二图像分量或者第三图像分量对应的尺寸信息均为/>那么将这三个图像分量合并后即变换为/>的形式输入到传统CNN滤波器60。基于如图6A所示的滤波网络，输入层网络接收到待滤波图像Fin(假定卷积核的大小为N×N，通道数为6)之后，经过第一层卷积网络F1-Y(假定卷积核的大小为L1×L1，卷积核的数量为M，通道数为6)和第二层卷积网络F2-Y(假定卷积核的大小为L2×L2，卷积核的数量为4，通道数为M)之后，得到一个残差信息F3-Y(假定卷积核的大小为N×N，通道数为4)；然后将输入的待滤波图像Fin和残差信息F3-Y进行求和运算，最终得到传统CNN滤波器60所输出的滤波后的第一图像分量(用Fout-Y表示)。基于如图6B所示的滤波网络，输入层网络接收到待滤波图像Fin(假定卷积核的大小为N×N，通道数为6)之后，经过第一层卷积网络F1-U(假定卷积核的大小为L1×L1，卷积核的数量为M，通道数为6)和第二层卷积网络F2-U(假定卷积核的大小为L2×L2，卷积核的数量为2，通道数为M)之后，得到一个残差信息F3-U(假定卷积核的大小为N×N，通道数为2)；然后将输入的待滤波图像Fin和残差信息F3-U进行求和运算，最终得到传统CNN滤波器60所输出的滤波后的第二图像分量或滤波后的第三图像分量(用Fout-U表示)。
针对图5所示的传统CNN滤波器50、或者图6A和图6B所示的传统CNN滤波器60，由于没有考虑到不同图像分量之间的关系，而将各图像分量进行独立处理不够合理；另外，在输入端也没有充分利用块划分信息、QP信息等编码参数，然而重建图像的失真主要来自于块效应，而块效应的边界信息是由CU划分信息所决定的；也就是说，CNN滤波器中的滤波网络应该着重关注边界区域；除此外，将量化参数信息融入到滤波网络还有助于提升其泛化能力，使其能够对任意质量的失真图像进行滤波。因此，本申请实施例所提供的环路滤波实现方法，不仅CNN滤波结构设置合理，同一个滤波网络能够同时接收多个图像分量，而且充分考虑了这多个图像分量之间的关系，在滤波处理后还可以同时输出这些图像分量的增强图像；另外，该环路滤波实现方法还可以通过融入块划分信息和/或QP信息等编码参数来作为辅助信息进行辅助滤波，从而提升了滤波质量。
在一些实施例中，所述确定所述待滤波图像的融合信息，包括：
将所述待滤波图像的至少两个图像分量以及对应的辅助信息进行融合处理，得到所述待滤波图像的融合信息。
需要说明的是，本申请实施例中的融合信息，可以是将待滤波图像的第一图像分量、第二图像分量以及第三图像分量和辅助信息进行融合，以得到融合信息；还可以是将待滤波图像的第一图像分量、第二图像分量和辅助信息进行融合，以得到融合信息；也可以是将待滤波图像的第一图像分量、第三图像分量和辅助信息进行融合，以得到融合信息；甚至也可以是将待滤波图像的第二图像分量、第三图像分量和辅助信息进行融合，以得到融合信息；本申请实施例不作具体限定。还需要说明的是，“将所述待滤波图像的至少两个图像分量以及对应的辅助信息进行融合处理”，可以是先将待滤波图像的至少两个图像分量进行融合，然后再融入辅助信息；还可以是先分别将待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融入处理，然后再将处理后的至少两个图像分量进行融合；也就是说，针对融合处理的具体方式，本申请实施例也不作具体限定。
另外，本申请实施例中的“基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量”，具体来说，针对待滤波图像的多个图像分量(比如第一图像分量、第二图像分量以及第三图像分量)和辅助信息融合输入到滤波网络之后，可以是只输出待滤波图像滤波后的第一图像分量、或者滤波后的第二图像分量、或者滤波后的第三图像分量，也可以是输出待滤波图像滤波后的第一图像分量和滤波后的第二图像分量、或者滤波后的第二图像分量和滤波后的第三图像分量、或者滤波后的第一图像分量和滤波后的第三图像分量，甚至也可以是待滤波图像滤波后的第一图像分量、滤波后的第二图像分量和滤波后的第三图像分量；本申请实施例也不作具体限定。
以待滤波图像的三个图像分量同时输入滤波网络为例，参见图7，其示出了本申请实施例提供的一种环路滤波框架70的组成结构示意图。如图7所示，该环路滤波框架70可以包括待滤波图像的三个图像分量(分别用Y、U、V表示)701、辅助信息702、输入融合单元703、联合处理单元704、第一加法器705、第二加法器706、第三加法器707和滤波后的三个图像分量(分别用Out_Y、Out_U、Out_V表示)708。其中，输入融合单元703、联合处理单元704以及第一加法器705、第二加法器706和第三加法器707共同组成本申请实施例中的改进型环路滤波器；而输入融合单元703用于将待滤波图像的三个图像分量701和辅助信息702全部融合到一起，然后输入到联合处理单元704；联合处理单元704包括有多层卷积滤波网络，用于对输入的信息进行卷积计算，由于具体的卷积计算过程与相关技术方案相似，因此针对联合处理单元704的具体执行步骤不再进行描述。经过联合处理单元704之后，可以分别得到Y图像分量的残差信息、U图像分量的残差信息和V图像分量的残差信息；将待滤波图像的三个图像分量701中的Y图像分量与所得到的Y图像分量的残差信息共同输入第一加法器705，第一加法器705的输出就是滤波后的Y图像分量(用Out_Y表示)；将待滤波图像的三个图像分量701中的U图像分量与所得到的U图像分量的残差信息共同输入第二加法器706，第二加法器706的输出就是滤波后的U图像分量(用Out_U表示)；将待滤波图像的三个图像分量701中的V图像分量与所得到的V图像分量的残差信息共同输入第三加法器707，第三加法器707的输出就是滤波后的V图像分量(用Out_V表示)。这里，针对输出分量，如果只需要输出滤波后的Y图像分量时，环路滤波框架70可以不包括第二加法器706和第三加法器707；如果只需要输出滤波后的U图像分量时，环路滤波框架70可以不包括第一加法器705和第三加法器707；如果需要输出滤波后的Y图像分量和滤波后的U图像分量时，环路滤波框架70可以不包括第三加法器707；本申请实施例不作具体限定。
以待滤波图像的二个图像分量同时输入滤波网络为例，参见图8，其示出了本申请实施例提供的另一种环路滤波框架80的组成结构示意图。如图8所示，环路滤波框架80包括待滤波图像的二个图像分量(分别用Y和U表示)801、辅助信息702、输入融合单元703、联合处理单元704、第一加法器705、第二加法器706和滤波后的二个图像分量(分别用Out_Y和Out_U表示)802。与图7所示的环路滤波框架70的区别在于，该环路滤波框架80是将待滤波图像的二个图像分量801和辅助信息702全部融合到一起，然后输入到联合处理单元704；经过联合处理单元704之后，可以分别得到Y图像分量的残差信息和U图像分量的残差信息；将待滤波图像的二个图像分量801中的Y图像分量与所得到的Y图像分量的残差信息共同输入第一加法器705，第一加法器705的输出就是滤波后的Y图像分量(用Out_Y表示)；将待滤波图像的二个图像分量801中的U图像分量与所得到的U图像分量的残差信息共同输入第二加法器706，第二加法器706的输出就是滤波后的U图像分量(用Out_U表示)。这里，针对输出分量，如果只需要输出滤波后的Y图像分量时，环路滤波框架70可以不包括第二加法器706；如果只需要输出滤波后的U图像分量时，环路滤波框架70可以不包括第一加法器705；本申请实施例不作具体限定。需要注意的是，如果一次只考虑对待滤波图像的单个图像分量进行滤波处理，此时无需考虑多个图像分量之间的融合，与相关技术方案中的传统CNN滤波器的滤波处理方式相同，本申请实施例不再详述。
以图7所示的环路滤波框架70为例，它采用了深度学习网络(如CNN)来进行环路滤波，与传统CNN滤波器的区别在于，本申请实施例中的改进型环路滤波器可以将待滤波图像的三个图像分量同时输入到滤波网络中，而且还融入了其他编码相关的辅助信息(比如块划分信息、量化参数信息、MV信息等编码参数)，将这些所有信息融合之后一次性输入到滤波网络中；这样，不仅充分利用了三个图像分量之间的关系，而且还使用其他编码相关的辅助信息来辅助滤波，提升了滤波质量；另外，针对三个图像分量进行同时处理，还有效避免了对这三个图像分量需要进行三次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率。例如，以VTM3.0为基准，在某实验测试中发现，与相关技术方案相比，本申请实施例的环路滤波实现方法能够在相同恢复视频质量的前提下，可以同时实现对于Y图像分量6.4％的比特率下降、对于U图像分量9.8％的比特率下降、以及对于V图像分量11.6％的比特率下降，从而节省了编码码率。
上述实施例提供了一种环路滤波实现方法，通过获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；基于所述融合信息对待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
基于前述实施例相同的发明构思，参见图9，其示出了本申请实施例提供的一种环路滤波实现装置90的组成结构示意图。该环路滤波实现装置90可以包括：获取单元901、确定单元902和滤波单元903，其中，
所述获取单元901，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
所述确定单元902，配置为确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
所述滤波单元903，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
在上述方案中，所述获取单元901，具体配置为对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像；或者，
所述获取单元901，具体配置为对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
在上述方案中，所述确定单元902，还配置为确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息和/或量化参数信息。
在上述方案中，参见图9，所述环路滤波实现装置90还包括划分单元904，配置为对待编码视频中的原始图像进行CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。
在上述方案中，所述确定单元902，具体配置为针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；以及将所述第一矩阵作为所述待滤波图像对应的块划分信息。
在上述方案中，所述获取单元901，还配置为获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息。
在上述方案中，所述确定单元902，具体配置为建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；以及将所述第二矩阵作为所述待滤波图像对应的量化参数信息。
在上述方案中，参见图9，所述环路滤波实现装置90还包括融合单元905，配置为将所述待滤波图像的至少两个图像分量以及对应的辅助信息进行融合处理，得到所述待滤波图像的融合信息。
在上述方案中，参见图9，所述环路滤波实现装置90还包括采样单元906，配置为针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；以及对所述低分辨率的图像分量进行上采样处理。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现前述实施例中所述方法的步骤。
基于上述环路滤波实现装置90的组成以及计算机存储介质，参见图10，其示出了本申请实施例提供的环路滤波实现装置90的具体硬件结构示例，可以包括：网络接口1001、存储器1002和处理器1003；各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。其中，网络接口1001，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器1002，用于存储能够在处理器1003上运行的计算机程序；
处理器1003，用于在运行所述计算机程序时，执行：
获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
可以理解，本申请实施例中的存储器1002可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器1003可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1003读取存储器1002中的信息，结合其硬件完成上述方法的步骤。
可以理解，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器1003还配置为在运行所述计算机程序时，执行前述实施例中所述方法的步骤。
需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；然后确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；另外，通过融入块划分信息和/或QP信息等辅助信息，还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。

Claims (30)

1.一种环路滤波实现方法，所述方法包括：
获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中所生成的；
确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置；
确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量和所述辅助信息；
基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量；
所述确定所述待滤波图像对应的辅助信息，包括：
获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息；
所述确定所述待滤波图像的融合信息，包括：
分别将所述待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融合处理，得到处理后的至少两个图像分量；
将所述处理后的至少两个图像分量进行融合，得到所述待滤波图像的融合信息。
2.根据权利要求1所述的方法，其中，所述获取待滤波图像，包括：
对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像。
3.根据权利要求2所述的方法，其中，对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
4.根据权利要求1所述的方法，其中，所述确定所述待滤波图像对应的辅助信息，包括：
对待编码视频中的原始图像进行编码单元CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。
5.根据权利要求4所述的方法，其中，所述将所述CU划分信息作为所述待滤波图像对应的块划分信息，包括：
针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；
将所述第一矩阵作为所述待滤波图像对应的块划分信息。
6.根据权利要求1所述的方法，其中，所述将所述量化参数作为所述待滤波图像对应的量化参数信息，包括：
建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；
将所述第二矩阵作为所述待滤波图像对应的量化参数信息。
7.根据权利要求1至6任一项所述的方法，其中，在所述确定所述待滤波图像的融合信息之前，所述方法还包括：
针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；
对所述低分辨率的图像分量进行上采样处理。
8.一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、确定单元、滤波单元和融合单元，其中，
所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中所生成的；
所述确定单元，配置为确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置；
所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量和所述辅助信息；
所述滤波单元，配置为基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量；
所述获取单元，还配置为获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息；
所述融合单元，配置为分别将所述待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融合处理，得到处理后的至少两个图像分量；将所述处理后的至少两个图像分量进行融合，得到所述待滤波图像的融合信息。
9.根据权利要求8所述的环路滤波实现装置，其中，所述获取单元，具体配置为对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像。
10.根据权利要求9所述的环路滤波实现装置，其中，所述获取单元，具体配置为对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
11.根据权利要求8所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括划分单元，配置为对待编码视频中的原始图像进行CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。
12.根据权利要求11所述的环路滤波实现装置，其中，所述确定单元，具体配置为针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；以及将所述第一矩阵作为所述待滤波图像对应的块划分信息。
13.根据权利要求8所述的环路滤波实现装置，其中，所述确定单元，具体配置为建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；以及将所述第二矩阵作为所述待滤波图像对应的量化参数信息。
14.根据权利要求8至13任一项所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括采样单元，配置为针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；以及对所述低分辨率的图像分量进行上采样处理。
15.一种环路滤波实现方法，所述方法包括：
获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中所生成的；
确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置；
确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量和所述辅助信息；
基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量；
所述确定所述待滤波图像的融合信息，包括：
分别将所述待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融合处理，得到处理后的至少两个图像分量；
将所述处理后的至少两个图像分量进行融合，得到所述待滤波图像的融合信息。
16.根据权利要求15所述的方法，其中，所述获取待滤波图像，包括：
将对所述待编码视频中的原始图像进行编码后所生成的重建图像作为所述待滤波图像。
17.根据权利要求16所述的方法，其中，对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
18.根据权利要求15所述的方法，其中，所述确定所述待滤波图像对应的辅助信息，包括：
将对所述待编码视频中的原始图像进行编码单元CU划分后得到的CU划分信息作为所述待滤波图像对应的块划分信息。
19.根据权利要求18所述的方法，其中，所述将所述CU划分信息作为所述待滤波图像对应的块划分信息，包括：
针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；
将所述第一矩阵作为所述待滤波图像对应的块划分信息。
20.根据权利要求19所述的方法，其中，所述待滤波图像对应的量化参数信息为与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值。
21.根据权利要求15至20任一项所述的方法，其中，在所述确定所述待滤波图像的融合信息之前，所述方法还包括：
针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；
对所述低分辨率的图像分量进行上采样处理。
22.一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、确定单元和融合单元，其中，
所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中生成的；
所述确定单元，配置为确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置；
所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量和所述辅助信息；
所述获取单元，还配置为基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量；
所述融合单元，配置为分别将所述待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融合处理，得到处理后的至少两个图像分量；将所述处理后的至少两个图像分量进行融合，得到所述待滤波图像的融合信息。
23.根据权利要求22所述的环路滤波实现装置，其中，所述确定单元，具体配置为将对所述对待编码视频中的原始图像进行编码后所生成的重建图像作为所述待滤波图像。
24.根据权利要求23所述的环路滤波实现装置，其中，所述确定单元，具体配置为对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
25.根据权利要求22所述的环路滤波实现装置，其中，所述确定单元还配置为将对所述待编码视频中的原始图像进行编码单元CU划分后得到CU划分信息作为所述待滤波图像对应的块划分信息。
26.根据权利要求25所述的环路滤波实现装置，其中，所述确定单元，具体配置为针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；以及将所述第一矩阵作为所述待滤波图像对应的块划分信息。
27.根据权利要求26所述的环路滤波实现装置，其中，所述待滤波图像对应的量化参数信息为与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值。
28.根据权利要求22至27任一项所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括采样单元，配置为针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；以及对所述低分辨率的图像分量进行上采样处理。
29.一种环路滤波实现装置，其中，所述环路滤波实现装置包括：存储器和处理器；
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如权利要求1-7任一项所述方法的步骤，或者执行如权利要求15至21任一项所述方法的步骤。
30.一种计算机存储介质，其中，所述计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现如权利要求1-7任一项所述方法的步骤，或者实现如权利要求15至21任一项所述方法的步骤。
CN202110832617.XA 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质 Active CN113596482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110832617.XA CN113596482B (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/077371 WO2020177133A1 (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质
CN202110832617.XA CN113596482B (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质
CN201980075008.5A CN113039792A (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980075008.5A Division CN113039792A (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113596482A CN113596482A (zh) 2021-11-02
CN113596482B true CN113596482B (zh) 2023-08-08

Family

ID=72337662

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110832617.XA Active CN113596482B (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质
CN201980075008.5A Pending CN113039792A (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980075008.5A Pending CN113039792A (zh) 2019-03-07 2019-03-07 环路滤波实现方法、装置及计算机存储介质

Country Status (6)

Country Link
US (1) US20210409783A1 (zh)
EP (1) EP3930323A4 (zh)
JP (1) JP7350082B2 (zh)
KR (1) KR20210132708A (zh)
CN (2) CN113596482B (zh)
WO (1) WO2020177133A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220405979A1 (en) * 2021-06-16 2022-12-22 Tencent America LLC Content-adaptive online training method and apparatus for deblocking in block-wise image compression
CN113497941A (zh) * 2021-06-30 2021-10-12 浙江大华技术股份有限公司 图像滤波方法、编码方法及相关设备
WO2023274405A1 (en) * 2021-07-01 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Super resolution position and network structure
CN115883842A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
CN115883851A (zh) * 2021-09-28 2023-03-31 腾讯科技（深圳）有限公司 滤波及编解码方法、装置、计算机可读介质及电子设备
WO2023059235A1 (en) * 2021-10-08 2023-04-13 Telefonaktiebolaget Lm Ericsson (Publ) Combining deblock filtering and another filtering for video encoding and/or decoding
CN113709504B (zh) * 2021-10-27 2022-02-15 深圳传音控股股份有限公司 图像处理方法、智能终端及可读存储介质
WO2023143584A1 (en) * 2022-01-29 2023-08-03 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816149A (zh) * 2005-02-06 2006-08-09 腾讯科技（深圳）有限公司 去除视频图像中块效应的滤波方法及环路滤波器
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
CN109120937A (zh) * 2017-06-26 2019-01-01 杭州海康威视数字技术股份有限公司 一种视频编码方法、解码方法、装置及电子设备
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442835B1 (ko) * 2002-08-13 2004-08-02 삼성전자주식회사 인공 신경망을 이용한 얼굴 인식 방법 및 장치
US20100329361A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
US8798171B2 (en) * 2010-06-28 2014-08-05 Richwave Technology Corp. Video transmission by decoupling color components
EP2661879B1 (en) * 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
CN102857746B (zh) * 2011-06-28 2017-03-29 中兴通讯股份有限公司 环路滤波编解码方法及装置
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
CN104735450B (zh) * 2015-02-26 2019-06-07 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置
CN111373751B (zh) 2017-08-10 2023-02-28 夏普株式会社 图像滤波装置、图像解码装置以及图像编码装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816149A (zh) * 2005-02-06 2006-08-09 腾讯科技（深圳）有限公司 去除视频图像中块效应的滤波方法及环路滤波器
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN109120937A (zh) * 2017-06-26 2019-01-01 杭州海康威视数字技术股份有限公司 一种视频编码方法、解码方法、装置及电子设备
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏晓君 ; 张刚.AVS解码器环路滤波的优化及实现.《电视技术》.2013,全文. *

Also Published As

Publication number Publication date
EP3930323A4 (en) 2022-03-30
WO2020177133A1 (zh) 2020-09-10
KR20210132708A (ko) 2021-11-04
US20210409783A1 (en) 2021-12-30
JP2022528604A (ja) 2022-06-15
EP3930323A1 (en) 2021-12-29
CN113039792A (zh) 2021-06-25
CN113596482A (zh) 2021-11-02
JP7350082B2 (ja) 2023-09-25

Similar Documents

Publication Publication Date Title
CN113596482B (zh) 环路滤波实现方法、装置及计算机存储介质
CN113747179B (zh) 环路滤波实现方法、装置及计算机存储介质
CN109842799B (zh) 颜色分量的帧内预测方法、装置及计算机设备
CN115767107A (zh) 视频处理中的非线性自适应环路滤波
CN112997500B (zh) 对基于区域的自适应环路滤波器的改进
US20230069953A1 (en) Learned downsampling based cnn filter for image and video coding using learned downsampling feature
WO2022052533A1 (zh) 编码方法、解码方法、编码器、解码器以及编码系统
CN113439440A (zh) 图像分量预测方法、编码器、解码器以及存储介质
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
US20220021905A1 (en) Filtering method and device, encoder and computer storage medium
CN116456081A (zh) 解码预测方法、装置及计算机存储介质
JP2007258882A (ja) 画像復号装置
WO2023197191A1 (zh) 编解码方法、装置、编码设备、解码设备以及存储介质
CN113196762A (zh) 图像分量预测方法、装置及计算机存储介质
WO2023193254A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023274391A1 (en) Super resolution downsampling
WO2023197194A1 (zh) 编解码方法、装置、编码设备、解码设备以及存储介质
WO2023274405A1 (en) Super resolution position and network structure
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
US20240137517A1 (en) Super Resolution Position and Network Structure
CN114449296A (zh) 基于卷积神经网络的环路滤波方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant