CN106131552B - 采用自适应偏置处理编码视频的方法和装置 - Google Patents

采用自适应偏置处理编码视频的方法和装置 Download PDF

Info

Publication number
CN106131552B
CN106131552B CN201610803141.6A CN201610803141A CN106131552B CN 106131552 B CN106131552 B CN 106131552B CN 201610803141 A CN201610803141 A CN 201610803141A CN 106131552 B CN106131552 B CN 106131552B
Authority
CN
China
Prior art keywords
filter
reconstructed
coding
units
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610803141.6A
Other languages
English (en)
Other versions
CN106131552A (zh
Inventor
傅智铭
陈庆晔
蔡家扬
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN106131552A publication Critical patent/CN106131552A/zh
Application granted granted Critical
Publication of CN106131552B publication Critical patent/CN106131552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种采用自适应偏置处理视频数据的方法和装置。该方法包括：接收输入数据进行所述自适应偏置，其中所述输入数据对应于图片的重建或重建去块编码单元；将所述输入数据划分为多个滤波器单元，其中所述滤波器单元的边缘对应于所述编码单元的边缘，且每个滤波器单元包括一个或多个编码单元，至少一个滤波器单元包括两个或更多编码单元对所述滤波器单元应用所述自适应偏置，以产生滤波后视频数据；以及提供所述滤波后视频数据。通过利用本发明，可更好地进行自适应偏置处理。

Description

采用自适应偏置处理编码视频的方法和装置
交叉引用
本申请是2011年5月9日递交的，发明名称为“自适应回路滤波方法和装置”，申请号为201180011416.8的申请的分案申请。
技术领域
本发明有关于视频编码(video coding)，且尤其有关于与自适应回路滤波(Adaptive Loop Filtering,ALF)有关的编码技术。
背景技术
运动补偿(motion compensation)帧间编码(inter-frame coding)已在多种编码标准中广泛应用，如MPEG-1/2/4以及H.261/H.263/H.264/AVC。上述编码系统中的运动估计、运动补偿和后续处理都是基于块(block basis)进行的。在压缩进程中，由于采用了如量化(quantization)的有损操作(lossy operation)，可能会出现编码噪声(codingnoise)。在重建(reconstructed)视频数据中，特别是在块边缘或边缘附近，会有明显的编码伪影(coding artifact)。为了减小编码伪影的明显性，更新的编码系统中开始采用一种被称为去块(deblock)的技术，其中上述系统如H.264/AVC以及高性能视频编码(HighEfficiency Video Coding,HEVC)系统。去块进程在块边缘自适应地应用滤波，以平滑编码噪声带来的边缘或边缘附近的突变，并维持图像的清晰度。此外，根据帧间编码的特性，回路内操作时配置去块进程。在最近的HEVC开发中，采用自适应回路滤波来处理去块重建帧。除了去块之外，自适应回路滤波可用作回路内处理，且通常用于对重建视频数据进行去块之后。自适应回路滤波用于在多个帧上重建视频数据，以降低时域上编码伪影的明显性。滤波系数可根据已知的优化算法进行设定，其中优化算法如使初始帧和重建帧之间的均方误差(Mean Square Error,MSE)最小的维纳-霍夫等式(Wiener-Hopf equation)。
在HEVC系统中，一帧或一片(slice)中的每个块均可选择进行传统ALF或不进行(开启/关闭)传统ALF。其中块的尺寸和形状均可为自适应的，且块的尺寸和形状信息可明确发送给译码器，或者可从译码器中暗中获取。根据所选性能准则，每个块可作出是否进行ALF的决定。可采用ALF标记(flag)来表示每个块的开启/关闭决定，使得译码器可相应进行ALF。虽然目前已知ALF可改进重建视频的视觉质量，但前期ALF开发的ALF处理非常局限，仅采用一可开启/关闭的固定ALF。因此，亟需一种改进的ALF，可允许从滤波器组(filterset)进行选择，其中一组滤波器可用来自适应地重建视频数据。还需要一种新的处理单元，用来应用滤波进程，从而进行更灵活以及/或者局部的处理。此外，还需要允许译码器获取各自信息，以在没有边信息(side information)的情况下也能应用滤波进程。
发明内容
有鉴于此，本发明提供一种采用自适应偏置处理视频数据的方法，其中图片被划分为编码单元，以将编码进程用于每个编码单元，该方法包括：接收输入数据进行所述自适应偏置，其中所述输入数据对应于所述图片的重建或重建去块编码单元；将所述输入数据划分为多个滤波器单元，其中所述滤波器单元的边缘对应于所述编码单元的边缘，且每个滤波器单元包括一个或多个编码单元，至少一个滤波器单元包括两个或更多编码单元；通过给每个滤波器单元的各像素加上各偏置值，对所述滤波器单元应用所述自适应偏置，以产生滤波后视频数据，其中当一个滤波器单元包括两个或更多编码单元时，所述对所述滤波器单元应用所述自适应偏置采用与该个滤波器单元中两个或更多编码单元的自适应偏置有关的相同信息；以及提供所述滤波后视频数据。
本发明另提供一种采用自适应偏置处理视频数据的装置，其中图片被划分为编码单元，以将编码进程用于每个编码单元，该装置包括：接收输入数据进行所述自适应偏置的模块，其中所述输入数据对应于所述图片的重建或重建去块编码单元；将所述输入数据划分为多个滤波器单元的模块，其中所述滤波器单元的边缘对应于所述编码单元的边缘，且每个滤波器单元包括一个或多个编码单元，至少一个滤波器单元包括两个或更多编码单元；通过给每个滤波器单元的各像素加上各偏置值，对所述滤波器单元应用所述自适应偏置，以产生滤波后视频数据的模块，其中当一个滤波器单元包括两个或更多编码单元时，所述对所述滤波器单元应用所述自适应偏置采用与该个滤波器单元中两个或更多编码单元的自适应偏置有关的相同信息；以及提供所述滤波后视频数据的模块。
通过利用本发明，可更好地进行自适应偏置处理。
附图说明
图1是基于运动补偿预测的视频编码系统的示范性方块示意图。
图2是基于运动补偿预测的视频编码系统的示范性方块示意图，其中系统中包含自适应回路滤波器以改进视频质量。
图3是基于四分树的编码单元划分的示范性示意图。
图4是每个块的ALF开启或关闭的传统自适应回路滤波器的示范性示意图。
图5是根据本发明一示范性实施例的自适应回路滤波器用于滤波器单元，且每个滤波器单元选择滤波器组的示意图。
图6是可动态合并以共享滤波器组的示范性滤波器的示意图。
图7是滤波器单元可根据块划分和四分树划分进一步划分为滤波器控制单元的示范性滤波器控制单元划分的示意图。
图8是滤波器单元中的所有滤波器控制单元共享相同候选滤波器组，且每个滤波器控制单元通过控制标记选择特定滤波器或决定滤波器开启/关闭的示范性滤波器单元划分和示范性滤波器控制单元划分的示意图。
图9是亮度分量和色度分量可共享进行自适应回路滤波的示范性滤波器形状的示意图。
图10是亮度分量和色度分量可共享进行自适应回路滤波的示范性滤波器控制区域的示意图。
图11是亮度分量和色度分量可共享进行自适应回路滤波的示范性滤波器控制标记的示意图。
图12是基于像素强度值的示范性分类的示意图，其中区域中的像素根据强度值被分成两个等级。
图13是基于边缘方向的示范性分类的示意图，其中重现视频中的像素根据边缘方向被分成多种类别。
图14是基于模式信息的示范性分类的示意图，其中每块根据编码模式被分为多种类别。
图15是基于量化参数的示范性分类的示意图，其中每块根据量化参数被分成多种类别。
图16是基于剩余能量的示范性分类的示意图，其中每块根据剩余能量被分成多种类别。
图17是基于边缘分类器和边缘强度/方向组合的示范性分类的示意图，其中像素首先根据边缘分类器被分成多种类别，并接下来通过边缘强度或方向进行划分。
图18是基于区域特性的示范性分类的示意图，其中每个区域的区域特性基于平均边缘强度得到。
具体实施方式
对于数字视频压缩来说，运动补偿帧间编码是一种有效的压缩技术，已广泛地用于多种编码标准中，如MPEG-1/2/4和H.261/H.263/H.264/AVC。在运动补偿系统中，运动估计/补偿和后续压缩通常基于块在块中进行。在压缩进程中，由于采用了如量化的有损操作，可能会出现编码噪声。在重建视频数据中，特别是在块边缘或边缘附近，会有明显的编码伪影。为了减小编码伪影的明显性，更新的编码系统中开始采用一种被称为去块的技术，其中上述系统如H.264/AVC以及HEVC系统。去块进程在块边缘自适应地应用滤波，以平滑编码噪声带来的边缘或边缘附近的突变，并维持图像的清晰度。此外，根据帧间编码的特性，回路内操作时配置去块进程。
图1是具有运动补偿视频压缩和去块的系统方块示意图。压缩系统100显示了典型的视频编码器与帧内/帧间(intra/inter-prediction)预测、离散余弦变换(DiscreteCosine Transform,DCT)和熵编码(entropy coding)进行结合，以产生压缩视频数据。输入视频数据通过输入接口112进入编码器，且由帧内/帧间预测模块110进行处理。在帧内预测模式中，输入视频数据通过相同帧内的周边数据或者已经被编码的区域进行预测。帧缓冲器140中输出的重建数据142(用来进行预测)对应于相同帧内的周边数据或者已经被编码的区域。在帧间预测模式中，预测是基于时域中先前的重建数据142进行的，其中重建数据142被存储在帧缓冲器140中。帧间预测可为向前预测模式(forward prediction mode)，其中上述预测是基于当前图片之前的图片进行的。帧间预测还可为向后预测模式(backwardprediction mode)，其中上述预测是基于当前图片之后(按显示顺序)的图片进行的。在帧间预测模式中，帧内/帧间预测模块110将预测数据提供给加法器115，并减去原始视频数据112。加法器115的输出117称为预测误差，可由DCT/量化模块120进一步处理，其中DCT/量化模块120进行DCT和量化(可表示为Q)。DCT/量化模块120将预测误差117转换为编码符号，由熵编码模块130进一步处理以产生压缩比特流132，其中压缩比特流被存储或传送。为了提供用于帧内/帧间预测的预测数据，DCT/量化模块120处理的预测误差需通过逆DCT和逆量化(inverse DCT and inverse quantization,可表示为IDCT/IQ)模块160恢复，以获取重建预测误差162。在帧间预测模式中，重建模块150将重建预测误差162与存储在帧缓冲器140中的先前重建视频数据119相加，生成当前重建帧152。在帧内预测模式中，将重建预测误差162与储存在帧缓冲器140中的相同帧中先前重建周边数据相加，以生成当前重建帧152。帧内/帧间预测模块110用来将存储在帧缓冲器140中的重建数据119发送给重建模块150，其中重建数据119可根据帧内/帧间模式，对应于时域中的先前重建帧或者相同帧中的重建周边数据。
在编码系统中，由于采用了如量化的有损操作，重建视频数据152通常包含编码噪声。由于编码系统中基于块的处理，块边缘和边缘附近的编码伪影更明显。上述伪影可在帧与帧之间传播。相应地，更新的编码系统中开始采用回路内滤波，将块边缘和边缘附近的伪影进行“去块”，从而减小伪影的明显性并改进图片质量。图1中所示的去块模块170用来处理重建视频数据152。由于压缩系统中如DCT、量化、逆量化、IDCT、去块处理以及回路滤波的各种操作，重建视频数据的像素强度(pixel intensity)会发生平均电平位移(mean levelshifted)，以及/或者其强度范围可能会超过原始视频数据的强度范围。因此，重建视频数据还可采用自适应偏置(offset)以及/或者自适应限幅(clipping)，其中图1中并未显示自适应偏置和自适应限幅。自适应偏置以及/或者自适应限幅可在去块之前/之后进行。
在当前的HEVC发展中，采用ALF来处理去块重建帧。在HEVC中，一帧或一片中的每个块均可选择进行传统ALF或不进行(开启/关闭)传统ALF。其中块的尺寸和形状均可为自适应的，且块的尺寸和形状信息可明确发送给译码器，或者可从译码器中暗中获取。在一实施例中，可将CU通过四分树(quadtree)划分成块。根据所选性能准则，每个块可作出是否进行ALF的决定。可采用ALF标记来表示每个块的开启/关闭决定，使得译码器可相应进行ALF。虽然目前已知ALF可改进重建视频的视觉质量，但前期ALF开发的ALF处理非常局限，仅采用一可开启/关闭的固定ALF。因此，亟需一种改进的ALF，可允许滤波器组进行选择，其中一组滤波器可用来自适应地重建视频数据。还需要一种新的处理单元，用来应用滤波进程，从而进行更灵活以及/或者局部的处理。此外，还需要允许译码器获取各自信息，以在没有边信息的前提下也能应用滤波进程。
相应地，基于HEVC的补偿系统与自适应回路滤波结合，进行除了去块之外的回路内滤波。由于去块滤波器用于块边缘，自适应回路滤波器用于空域中的像素。在HEVC中，传统的自适应回路滤波器仅用于可采用滤波器改进性能的块中。对于其它的无法通过自适应回路滤波器改进性能的块来说，并不采用自适应回路滤波。在本发明中，缩写ALF可表示自适应回路滤波器或自适应回路滤波。图2是编码系统与自适应回路滤波、去块相结合的系统方块示意图。重建帧152首先由去块模块170进行处理，其中去块模块170配置于回路内操作中。去块重建视频数据随后由自适应回路滤波模块210进行滤波。经去块和自适应回路滤波处理之后的重建数据随后存储在帧缓冲器140中，作为处理后续帧的参考视频数据。ALF处理可根据以下等式进行描述：
Figure GDA0001942721220000061
其中，s″′为ALF处理的输出，s″为去块视频数据，
Figure GDA0001942721220000062
为预测数据，e′为重建预测误差，而c为常数。滤波器系数wi可根据如维纳-霍夫等式的优化算法获取，以优化性能。M、N和O分别表示与去块视频数据、预测数据和重建预测误差有关的滤波器分接头(filter tap)编号。如前面所述，自适应偏置以及/或者自适应限幅可用于去块模块170之前或之后。若采用自适应偏置以及/或者自适应限幅，s″为去块模块170之前或之后的处理视频数据，其中处理视频数据包括自适应偏置以及/或者自适应限幅。
根据HEVC中所采用的ALF，回路滤波自适应地基于块进行。若回路滤波有助于改进某个块的视频质量，则该块被相应标记，用来指示已应用回路滤波。否则，该块被相应标记来指示未应用回路滤波。滤波器系数通常进行优化设计，以与图片中所处理图像区域的特性相匹配。举例来说，滤波器系数可通过采用维纳滤波器(Wiener filter)设计为使均方误差最小，其中维纳滤波器是一种著名的最优线性滤波器，用来恢复高斯噪声(Gaussiannoise)引起的衰落。在视频压缩系统中，主要的失真(distortion)来源于量化噪声，其中量化噪声可简单建模为高斯噪声。采用维纳滤波器的滤波器系数设计需要知道初始信号和重建信号。图2中并未显示用来获取滤波器系数的处理单元。滤波器系数需同图像区域和边信息一同传送，且图像区域中的所有块共享相同的滤波器系数。如此一来，图像区域需要足够大，以减少与滤波器系数有关的负荷信息。在当前的HEVC中，用来获取滤波器系数的图像区域通常是基于片或帧的。基于片获取滤波器系数时，滤波器系数信息可在片头(sliceheader)中携带。
ALF通常采用二维(two-dimensional,2D)滤波器。实践中所采用滤波器的维数如5×5、7×7或9×9。此外，ALF还可采用其它尺寸。为了降低实现成本，2D滤波器可设计为彼此分离，使得2D滤波器可通过两个单独的一维滤波器实现，其中一个一维滤波器用于水平方向，而另一个用于垂直方向。由于滤波器系数可能已被传送，可采用对称滤波器(symmetricfilter)来节约所需的边信息。还可采用其他类型的滤波器来降低需被传送系数的数目。举例来说，可采用菱形(diamond-shaped)2D滤波器，其中水平坐标轴和垂直坐标轴上大多为非0系数，而非坐标轴处大多为0值系数。此外，滤波器系数可以以码元的形式传送，以节省带宽。
在传统的编码系统中，视频数据通常被分为宏块(macroblock)，而编码进程用于图像区域的宏块中。其中，图像区域可为表示图片中子集的片，可被单独编码和译码。在如H.264/AVC的新式编码标准中，片的尺寸是灵活可变的。按照以前的编码标准(如MPEG-1和MPEG-2)，图像区域还可为帧或者图片。传统编码系统的运动估计/补偿通常基于宏块。运动补偿宏块随后被分为4个8×8的块，且每个块采用8×8的DCT。在H.264编码标准中，宏块的编码进程变得更灵活，其中16×16的宏块可被自适应地划分为小至4×4像素的块，以用于运动估计/补偿和编码。在当前的HEVC中，已采用更灵活的编码结构，其中编码单元(CodingUnit,CU)被定义为处理单元，且编码单元可被递归划分为更小的编码单元。编码单元的概念类似于传统视频编码中宏块和子宏块(sub-macro-block)的概念。可采用自适应编码单元，以基于H.264/AVC压缩标准改进宏块的性能。
图3是基于四分树的编码单元划分的示范性示意图。在深度(Depth)0，包含128×128像素的初始编码单元CU0 312为最大的CU。其中，如块310中所示，初始编码单元CU0 312进行四分树划分。划分标记0表示该CU并未被划分，而划分标记1表示该CU通过四分树被划分为4个更小的编码单元322。形成的4个编码单元被标记为0、1、2和3，且每个形成的编码单元可用于下一深度的进一步划分。从编码单元CU0 312获取的的编码单元可表示为CU1322。编码单元通过四分树进行划分后，除非形成的编码单元已达到预定义的最小CU尺寸，否则形成的编码单元需要进一步通过四分树划分。如此一来，在深度1中，如块320中所示，编码单元CU1 322进行四分树划分。类似地，划分标记0表示该CU并未被划分，而划分标记1表示该CU通过四分树被划分为4个更小的编码单元CU2 332。编码单元CU2的尺寸为32×32，四分树划分进程可继续，直到得到预定义的最小编码单元。举例来说，若最小编码单元被设定为8×8，则如块330中所示，深度4中，编码单元CU4 342并不进行进一步划分。图像进行四分树划分而形成的多尺寸编码单元可组成划分图(partition map)，用于编码器相应处理输入图像区域。划分图也会发送给译码器，从而相应进行译码进程。
在HEVC中，可基于块在像素上进行自适应回路滤波。若ALF可改进块的质量，则该块的滤波器被设置为开启，否则该块的滤波器被设置为关闭。由于将图像区域进行划分，ALF的固定块尺寸易于实现，且不需要将边信息发送给译码器。然而，在Chujoh等人在ITUStudy Group 16–Contribution 181，COM16-C181-E的2009年1月2日的题为“基于四分树的自适应回路滤波器”的研究中，提出一种基于四分树的ALF，可进一步改进固定的基于块的ALF的性能。ALF的划分信息应发送给译码器，以用于同步处理。McCann等人在2012年4月15-23日文件JCTVC-A124的“视频压缩技术中三星的呼叫响应”中，提出了另一种用于ALF的图像区域划分。McCann等人通过四分树将CU进行划分，并在形成的块上进行ALF。基于四分树的CU的划分信息用于ALF划分，并不需要ALF的任何附加边信息。由于ALF划分与CU划分一致，基于CU划分的ALF划分被称为CU-同步(CU-synchronous或CU-synchronized)ALF划分。如图4所示，早期的ALF设计仅为块提供ALF开启或ALF关闭的选择。若ALF基于单独划分的块，则需要传送与ALF划分有关的边信息、块尺寸和块位置。通过采用与CU结构相同的ALF结构，CU-同步ALF划分可减少所需的边信息。因此，CU-同步ALF的滤波器控制信息为与每个CU有关的控制标记，用来指明滤波器是开启还是关闭。因此，需要一种先进ALF，用来提供更灵活的滤波器控制以及/或者更多的滤波器自适应性，而不是仅提供开启/关闭选择。
为了进一步增强灵活性以及改进传统ALF的性能，先进ALF可从多个滤波器组中自适应地选择候选滤波器组，以根据ALF组选择采用自适应回路滤波，来重建视频数据。上述重建视频数据可为图2中重建模块150所提供的重建视频数据。此外，附加的自适应偏置以及/或者自适应限幅可在去块模块170之前或之后采用。在本发明的一实施例中，先进ALF用于被称为滤波器单元(Filter Unit,FU)的新的处理单元，其中FU可与CU不同。然而，FU划分也可与CU划分相同，如此便不需要单独的边信息来传送与FU划分有关的信息。在一实施例中，滤波器单元的边缘为编码单元的边缘，且每个滤波器单元包含至少一个编码单元。此外，先进ALF允许每个FU选择一个滤波器组作为候选滤波器，以通过候选滤波器进行回路滤波。
图5是根据本发明一示范性实施例的重建视频被划分为滤波器单元且为每个FU选择候选滤波器的示意图。滤波器组可包含单个滤波器或多个滤波器，每个FU均进行ALF组选择，以选择出候选滤波器进行回路滤波。本示范例中的FU1 510包含4个CU，FU2 520包含一个CU。每个FU选择其自己的候选滤波器，即FU1 510选择滤波器1，而FU2 520选择滤波器2。采用ALF组选择索引可提供简单指示，以减少与采用滤波器有关的边信息。为了进一步减少与每个FU有关的信息，不同FU可共享滤波器信息，如一FU可与其相邻FU具有相似特性。举例来说，图6中显示了16个FU，其中相邻FU可合并(merge)，以共享相同的候选滤波器。二维FU可转换为采用扫描样式(scanning pattern)的一维FU。可检查相邻FU以测定相邻FU是否进行合并以共享相同的候选滤波器。扫描样式可为水平排序，如此一来一维FU的索引顺序为[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16]；扫描样式可为垂直顺序，如此一来一维FU的索引顺序为[1,5,9,13,2,6,10,14,3,7,11,15,4,8,12,16]；扫描样式还可为z扫描(z-scan)顺序，如此一来一维FU的索引顺序为[1,2,5,6,3,7,4,8,9,10,13,14,11,12,15,16]。还可采用其它的扫描样式，如本领域技术人员所知的蛇形扫描(snake scan)或希尔伯特扫描(Hilbert scan)。当然，还可采用其它预定义的扫描样式。此外，扫描样式还可由用户进行设计。用户定义的扫描样式可设计为与视频数据的特性相匹配以获取更好的性能，还可设计为其他样式用于其它目的。
每个FU从滤波器组中选择候选滤波器进行ALF，FU可被划分为滤波器控制单元(Filter Control Unit,FCU)，其中FU中所有的FCU均共享相同的候选滤波器组，而候选滤波器组可包含单个滤波器或多个滤波器。若FU的候选滤波器组具有多个滤波器，则FU中的每个FCU可从候选滤波器组中，为FCU选择各自的滤波器。FCU可通过四分树划分、块划分形成，也可与预测单元(Prediction Unit,PU)或变换单元(Transform Unit,TU)同步。每个FCU可具有各自的控制标记，若候选滤波器组包含多个滤波器，可通过滤波器选择索引(filter_sel_idx)从候选滤波器组的多个滤波器中选择一个滤波器，若候选滤波器组包含一个滤波器，可通过滤波器选择索引指示滤波器开启/关闭。FCU的采用允许更精细的控制，以改进编码效率。图7显示了将FU划分为FCU的示范例，其中FU710通过块划分被划分成FCU，而FU720通过四分树划分被划分成FCU。当采用块划分或四分树划分时，需要边信息来传送与FCU划分有关的信息。可采用划分标记滤波器划分标记(fliter_split_flag)来指示当前FU是否划分成FCU。若采用块划分，标记滤波器划分标记＝0指示没有进行划分，而标记滤波器划分标记＝1指示将FU划分为FCU块。若采用四分树划分，标记滤波器划分标记＝0指示没有进行划分，而标记滤波器划分标记＝1指示将按照四分树划分将FU进行划分。
FU的候选滤波器组中的每个滤波器可为与FU有关的新的滤波器。不过，有时FU的最优设计可能会与先前图片的FU相似。因此，先前图片中FU的滤波器信息可重复使用，而上述滤波器可称为时间延迟(time-delayed)滤波器。类似地，当前FU可采用相同图片中先前编码FU的经优化设计的滤波器，上述滤波器称为空间延迟滤波器(space-delayedfilter)。UE被划分为FCU后，每个FCU的滤波器决定根据滤波器控制标记滤波器选择索引来测定。举例来说，若FU的候选滤波器组包含两个滤波器，每个FCU可采用滤波器选择索引，从两个滤波器中选择一个滤波器，如滤波器选择索引＝0表示选择滤波器2，而滤波器选择索引＝1表示选择滤波器1。若候选滤波器组仅包含一个滤波器，则滤波器选择索引＝0可表示FCU的滤波器关闭，而滤波器选择索引＝1表示FCU的滤波器开启。图8是如上所述每个FCU进行滤波器选择的示范性示意图。重建视频被划分为包含FU 800的FU。FU 800进一步划分成16个FCU。FU 810对应于候选滤波器组仅包含一个滤波器的滤波器选择，而FU820对应于候选滤波器组包含两个滤波器的滤波器选择。
ALF组选择信息可被明确传送，或可设定为允许译码器隐含获取信息。在本发明的一实施例中，允许明确或隐含传送ALF组选择信息。可采用自适应方案来选择明确模式或隐含模式。可采用ALF方法选择索引方法选择标记(method_selection_flag)指明采用的是明确方法还是隐含方法。ALF方法选择信息可在序列级、图片级、片级、CU级、FU级或FCU级携带。因此，仅需要方法选择标记用于对应的序列、图片、片、CU、FU或FCU，以指明采用的是明确方法还是隐含方法。举例来说，方法选择标记＝0指示选择明确模式，而方法选择标记＝1指示选择隐含模式。若选择明确模式，则采用合适的语法来指明当前块的滤波器选择。若选择隐含模式，译码器基于先前编码信息测定ALF组选择信息，从而在没有边信息的情况下获取相同的ALF组选择信息。
为了进一步改进与ALF有关的压缩效率，本发明的一实施例允许视频数据的亮度(luma)和色度(chroma)分量共享滤波器信息。共享的滤波器信息可为滤波器控制区域划分、滤波器选择或滤波器开启/关闭、滤波器特性、滤波器系数或者以上信息的组合。亮度和色度分量共享滤波器信息的途径之一是从其它分量中获取该分量的滤波器信息。此外，亮度/色度信息共享可自适应进行，以优化性能。共享开关(sharing switch)可在序列级、图片级、片级、CU级、FU级或FCU级采用，以指示是否进行亮度/色度信息共享。滤波器形状和滤波器尺寸(如滤波器长度)可当作共享的亮度/色度分量的部分滤波器特性。举例来说，如图9所示，亮度和色度分量可采用菱形滤波器910或另一形状滤波器920。若采用相同形状，则滤波器尺寸需进行适当标度，以考虑到亮度分量和色度分量的不同的信号特性。
若亮度和色度分量共享滤波器控制区域，如上述滤波器单元划分的滤波器控制单元，则可为亮度和色度分量设计公用滤波器控制区域。或者，如图10所示，色度分量的滤波器控制区域划分1020可从亮度分量的滤波器控制区域划分1010中获取。若亮度和色度分量共享滤波器选择，则可为亮度和色度分量设计公用滤波器选择。其中，滤波器选择如采用上述滤波器控制标记的滤波器选择。或者，如图11所示，色度分量的滤波器选择1120可从亮度分量的滤波器选择1110中获取。若亮度和色度分量共享滤波器系数，亮度分量的滤波器系数可用来获取色度分量的滤波器系数。若根据一个分量的滤波器信息来获取另一分量的滤波器信息，则上述示范例通常根据亮度分量的信息来获取色度分量的信息。不过，也可根据色度分量的信息来获取亮度分量的信息。
滤波器选择还可基于重建视频数据的分类。若涉及的重建视频数据仅与先前编码数据有关，则基于分类的滤波器选择对于采用隐含模式的ALF选择十分有用，因为译码器不需要边信息即可获取相同的分类。若采用基于分类的滤波器选择，编码视频数据基于重建视频数据的测量特性被分成多个类别。测量特性可与像素强度水平、边缘方向(edgeorientation)、边缘强度、模式信息、量化参数、剩余能量(residual energy)、区域位置、运动信息或以上的组合有关。举例来说，若特性与强度水平有关，像素强度水平的等级1可定义为从0到127，而等级2可定义为从128到255。换句话说，如图12所示，强度水平为0到127的像素1212被量化为等级1222，而强度水平为128到255的像素被量化为另一等级1224。图片1210为具有初始强度的图片，而图片1220为具有量化强度的相应图片。相应地，滤波器1基于等级1 1222的像素设计，而滤波器2基于等级2 1224的像素设计。设计好滤波器1和滤波器2后，区域1212中对应于等级1的像素采用滤波器1进行滤波，而区域1214中对应于等级2的像素采用滤波器2进行滤波。上述强度水平映射仅作为示范例，本发明可采用对应于不同强度范围或更多等级的映射。测量特性也可基于如运动向量的运动信息。
若滤波器选择根据边缘方向进行分类，可如图13所示，采用3×3像素窗口来检测边缘或线的方向是0°、45°、90°还是135°。本领域技术人员可知存在几种已知边缘检测(edge-detection)和线检测(line-detection)运营商。边缘方向可由边缘活动、相邻像素之间的关系或者拉普拉斯算子(Laplacian)的总和进行测量。在图13所示的示范例中，像素根据四个边缘方向进行分类，从而形成五个等级，其中一种情况是没有检测到边缘。相应地，可根据分成的五个种类设计五个滤波器。尽管上述以4个方向为例，本发明还可采用更多或更少的边缘方向。此外，不但可采用边缘方向进行分类，还可根据边缘强度进行分类。边缘强度可由边缘活动、相邻像素之间的关系或者拉普拉斯算子的总和进行测量。可基于边缘强度的特性进行分类，其中边缘强度的特性如边缘、低谷、高峰或上述情况均未出现。还可通过将边缘强度量化为多个范围来进行分类。举例来说，边缘强度可量化为4个等级，并为每个等级设计一个滤波器。
每个块的编码模式也可用于分类。举例来说，可根据帧内/帧间模式将图片分成多个区域，并为具有相同编码模式的区域分配专用滤波器。帧间模式可进一步根据进一步的模式(如P模式和B模式)分类分成更多区域。举例来说，图14是根据本发明一示范性实施例的通过模式信息分类而进行滤波器选择的示意图。图片被分为多个区域，且每个区域与编码模式有关。上述区域根据四种模式(即模式0到模式3)进行分类。举例来说，模式0为帧内模式，模式1为帧间模式，模式2为跳跃模式(skip mode)，而模式3为直接模式。每个分类的区域采用相应的滤波器。类似地，还可采用量化参数(Quantization Parameter,QP)进行分类。图15是根据本发明一示范性实施例的基于量化参数进行分类后选择滤波器的示意图。在本示范例中，图片被分为多个区域，且每个区域采用3个量化参数(即QP22到QP24)之一。相应地，上述区域被分成3类，每类设计一滤波器，且该滤波器用于该类的所有区域。若上述图片由更多或更少的QP进行编码，则图片可被分为更多或更少的类。某些类别可融合以形成更少的类别。与预测误差有关的剩余能量也可用于分类。在一示范例中，区域的剩余能量可被量化为N个间隔之一，以为该区域测定出N类中的一类，其中N为整数。在另一示范例中，剩余能量可与阈值进行比较，其中一类对应于所有剩余能量均低于阈值的区域，另一类对应于至少一剩余能量高于阈值的区域。如此一来，如图16所示，两个类别可各自采用一滤波器，其中cbf表示编码块标记(coded block flag)，而标记为cbf0的区域表示预测进程后剩余能量为0，而标记为cbf0的区域表示预测进程需被编码的剩余能量为非0。
重建视频数据的特性结合也可用于分类。举例来说，可首先采用边缘分类将像素分为多个组。通过采用如边缘强度或边缘方向的另一特性，分成的组可进一步分类。在本发明的一示范性实施例中，首先通过边缘分类将图片或区域中的像素分为多个组。如图17所示，边缘活动索引GroupIdx由当前像素C的强度和其周围像素P1,P2,…,P8的强度计算出来：
GroupIdx＝f(C,P1)+f(C,P2)+…+f(C,P8)+8.
其中，函数f(x,y)可将像素强度(x,y)映射为+1、0或-1。若x>y，则f(x,y)＝1；若x＝y，则f(x,y)＝0；若x<y，则f(x,y)＝-1。因此，GroupIdx的范围为0到16。图片或区域中的像素可通过映射函数Index2ClassTable分成9组，其中Index2ClassTable[17]＝{1,1,2,2,3,3,4,0,0,0,5,5,6,6,7,7,8}。ClassIdx所指示的计算GroupIdx到组的映射是根据以下等式：
ClassIdx＝Index2ClassTable(GroupIdx).
通过边缘分类得到的9组中一组的像素可根据边缘强度或边缘方向分成更多类别。举例来说，组0可根据边缘强度进一步划分为多个组，其中边缘强度通过拉普拉斯方法的综合测量而得，Activity＝abs(2C–P4–P5)+abs(2C–P2–P7)。举例来说，Activity可分为7个范围，以将组0分成7个单独的组。相应地，通过采用边缘分类和边缘强度的组合，像素可分为15个类别。上述边缘分类和边缘强度的组合仅作为将重建视频数据分为更多种类的组合特性的示范例，本发明还可采用其他组合特性。此外，尽管在上述示范例中，第一分类可获取9个组，第二次分类可获得15类，本发明第一次分类的组数和第二次分类的组数可为其它数值。
在采用先进ALF实现本发明的另一示范例中，可基于区域特性支持自适应，其中区域特性基于与区域中像素有关的特性获取。举例来说，区域特性可基于区域的平均边缘强度(活动)来产生基于块的类别。在另一示范例中，区域特性可基于区域的平均边缘方向来产生基于块的类别。相应地，图片区域可基于区域特性分成多个类别。图18是采用先进ALF实现本发明的另一示范例的示意图，其中区域特性与区域中像素的平均边缘强度有关。可采用阈值th来将区域分成两类，其中平均边缘强度≥th的区域被分为类别0，而平均边缘强度<th的区域被分为类别1。尽管图18中以两种类别为例，平均边缘强度还可被分成更多类。此外，尽管上述实施例将边缘特性和边缘方向作为区域特性，该区域中像素的其它特性也可用来获取区域特性。
由于基于不同特性的不同分类器可组起来，将像素分成多个类别以自适应地应用ALF，其中多个特性还可根据标记选择性地应用。举例来说，可选择性地采用基于区域特性的分类器或基于区域强度的分类器。可采用标记来指示图片是否根据区域特性或边缘强度特性来分类。此外，图片可分为多个区域，且每个区域可各自进行分类选择。相同类别的区域可共享同一滤波器。区域可为滤波器单元或编码单元。此外，区域还可基于像素位置进行。举例来说，偶数列(even column)中的像素可分为一类，奇数列(odd column)中的像素可分为另一类。类似地，偶数行中的像素可分为一类，而奇数行中的像素可分为另一类。尽管上述自适应选择分类器是以区域特性和边缘强度特性为例，本发明还可采用其它分类器组或者多个分类器组。
上述自适应回路滤波器可用于视频编码器和视频译码器。无论是视频编码器还是视频译码器，重建视频数据都与编码伪影有关。上述的自适应回路滤波方案可有助于改进重建视频的视觉质量。上述根据本发明的实施例具有先进ALF的编码系统可通过多种硬件、软件码或上述结合实现。举例来说，本发明的一实施例可为电路集成到视频压缩芯片，或者程序码集成到视频压缩系统，以进行相应处理。本发明的另一实施例可为程序码在数字信号处理器(Digital Signal Processor,DSP)上执行以进行相应处理。本发明还可包含一系列功能，并由电脑处理器、数字信号处理器、微处理器、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)执行。通过执行定义本发明实施例的机器可读软件码或韧件码，上述处理器可根据本发明执行特定任务。软件码或韧件码可在不同程序语言和不同格式或方式中进行。软件码可编译成不同的目标平台。不过，不同的编码格式、方式和软件码语言，以及与本发明有关的使码执行任务的其它方法均符合本发明的精神，落入本发明的保护范围。
虽然本发明已就较佳实施例揭露如上，然其并非用以限制本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。因此，本发明的保护范围当视之前的权利要求书所界定为准。

Claims (9)

1.一种采用自适应偏置处理视频数据的方法，其中图片被划分为编码单元，以将编码进程用于每个编码单元，该方法包括：
接收输入数据进行所述自适应偏置，其中所述输入数据对应于所述图片的重建或重建去块编码单元；
将所述输入数据划分为多个滤波器单元，其中所述滤波器单元的边缘对应于所述编码单元的边缘，且每个滤波器单元包括一个或多个编码单元，至少一个滤波器单元包括两个或更多编码单元；
通过给每个滤波器单元的各像素加上各偏置值，对所述滤波器单元应用所述自适应偏置，以产生滤波后视频数据，其中当一个滤波器单元包括两个或更多编码单元时，所述对所述滤波器单元应用所述自适应偏置采用与该个滤波器单元中两个或更多编码单元的自适应偏置有关的相同信息；以及
提供所述滤波后视频数据。
2.如权利要求1所述的采用自适应偏置处理视频数据的方法，其特征在于，若两个或更多滤波器单元如合并索引指示而进行合并，所述对所述滤波器单元应用所述自适应偏置采用与所述两个或更多滤波器单元的自适应偏置有关的相同信息，以共享与所述自适应偏置有关的相同信息。
3.如权利要求1所述的采用自适应偏置处理视频数据的方法，其特征在于，利用滤波器控制标记来指示所述自适应偏置的滤波器开启/关闭控制。
4.如权利要求1所述的采用自适应偏置处理视频数据的方法，其特征在于，所述输入数据对应于重建或重建去块亮度分量和重建或重建去块色度分量，且所述重建或重建去块亮度分量和所述重建或重建去块色度分量共享与所述自适应偏置有关的信息。
5.如权利要求4所述的采用自适应偏置处理视频数据的方法，其特征在于，所述重建或重建去块亮度分量和所述重建或重建去块色度分量共享与所述自适应偏置有关的信息根据共享开关开启或关闭。
6.如权利要求5所述的采用自适应偏置处理视频数据的方法，其特征在于，与所述共享开关有关的信息在序列级、图片级、片级、编码单元级、滤波器单元级或者滤波器控制单元级携带。
7.如权利要求1所述的采用自适应偏置处理视频数据的方法，其特征在于，基于从所述输入数据中获取的第一特性，将所述数据分成多个类别，且每个类别选择一滤波器，其中所述第一特性从包含像素强度、边缘活动、边缘方向、边缘强度、模式信息、量化参数、剩余能量、区域特性、运动信息以及上述的组合中选择。
8.如权利要求1所述的采用自适应偏置处理视频数据的方法，其特征在于，所述对所述滤波器单元应用所述自适应偏置采用同一图片中先前已处理滤波器单元的滤波器信息。
9.一种采用自适应偏置处理视频数据的装置，其中图片被划分为编码单元，以将编码进程用于每个编码单元，该装置包括：
接收输入数据进行所述自适应偏置的模块，其中所述输入数据对应于所述图片的重建或重建去块编码单元；
将所述输入数据划分为多个滤波器单元的模块，其中所述滤波器单元的边缘对应于所述编码单元的边缘，且每个滤波器单元包括一个或多个编码单元，至少一个滤波器单元包括两个或更多编码单元；
通过给每个滤波器单元的各像素加上各偏置值，对所述滤波器单元应用所述自适应偏置，以产生滤波后视频数据的模块，其中当一个滤波器单元包括两个或更多编码单元时，所述对所述滤波器单元应用所述自适应偏置采用与该个滤波器单元中两个或更多编码单元的自适应偏置有关的相同信息；以及
提供所述滤波后视频数据的模块。
CN201610803141.6A 2010-05-10 2011-05-09 采用自适应偏置处理编码视频的方法和装置 Active CN106131552B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US33285910P 2010-05-10 2010-05-10
US61/332,859 2010-05-10
US39006810P 2010-10-05 2010-10-05
US61/390,068 2010-10-05
US39216210P 2010-10-12 2010-10-12
US61/392,162 2010-10-12
US201161429313P 2011-01-03 2011-01-03
US61/429,313 2011-01-03
US201161440501P 2011-02-08 2011-02-08
US61/440,501 2011-02-08
US201161449180P 2011-03-04 2011-03-04
US61/449,180 2011-03-04
US201161454829P 2011-03-21 2011-03-21
US61/454,829 2011-03-21
US13/093,068 2011-04-25
US13/093,068 US9094658B2 (en) 2010-05-10 2011-04-25 Method and apparatus of adaptive loop filtering
CN201180011416.8A CN102804776B (zh) 2010-05-10 2011-05-09 采用自适应回路滤波器处理编码视频的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180011416.8A Division CN102804776B (zh) 2010-05-10 2011-05-09 采用自适应回路滤波器处理编码视频的方法和装置

Publications (2)

Publication Number Publication Date
CN106131552A CN106131552A (zh) 2016-11-16
CN106131552B true CN106131552B (zh) 2020-02-18

Family

ID=44901906

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201610803141.6A Active CN106131552B (zh) 2010-05-10 2011-05-09 采用自适应偏置处理编码视频的方法和装置
CN201180011416.8A Active CN102804776B (zh) 2010-05-10 2011-05-09 采用自适应回路滤波器处理编码视频的方法和装置
CN201710280888.2A Active CN107257458B (zh) 2010-05-10 2011-05-09 采用回路内滤波处理来处理视频的方法和装置
CN201610803578.XA Active CN106331709B (zh) 2010-05-10 2011-05-09 采用回路内处理来处理视频的方法和装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201180011416.8A Active CN102804776B (zh) 2010-05-10 2011-05-09 采用自适应回路滤波器处理编码视频的方法和装置
CN201710280888.2A Active CN107257458B (zh) 2010-05-10 2011-05-09 采用回路内滤波处理来处理视频的方法和装置
CN201610803578.XA Active CN106331709B (zh) 2010-05-10 2011-05-09 采用回路内处理来处理视频的方法和装置

Country Status (4)

Country Link
US (4) US9094658B2 (zh)
CN (4) CN106131552B (zh)
DE (1) DE112011100420B4 (zh)
WO (1) WO2011140960A1 (zh)

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
KR101788292B1 (ko) * 2009-07-07 2017-10-19 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
JP5066232B2 (ja) * 2010-07-28 2012-11-07 株式会社東芝 情報処理装置および画像処理方法
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012057583A2 (ko) * 2010-10-28 2012-05-03 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
PT2645715T (pt) 2010-11-25 2020-01-29 Lg Electronics Inc Método para sinalizar informação de imagem, e método para descodificar informação de imagem utilizando a mesma
EP2661879B1 (en) 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
US8917950B2 (en) * 2011-01-18 2014-12-23 Sony Corporation Simplifying parametric loop filters
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
CN107396129B (zh) * 2011-03-30 2020-05-05 Lg 电子株式会社 环路滤波方法及其设备
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US9025675B2 (en) * 2011-06-22 2015-05-05 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
WO2013002554A2 (ko) 2011-06-28 2013-01-03 삼성전자 주식회사 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
US9344743B2 (en) 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US8804816B2 (en) * 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
CN102420983B (zh) * 2011-11-18 2013-10-23 北京工业大学 一种针对高效视频编码hevc熵编码的上下文简化方法
US20130128971A1 (en) * 2011-11-23 2013-05-23 Qualcomm Incorporated Transforms in video coding
KR20130058584A (ko) * 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
US10708622B2 (en) 2011-12-20 2020-07-07 Texas Instruments Incorporated Adaptive loop filtering (ALF) for video coding
AU2015202635C1 (en) * 2011-12-22 2015-12-03 Samsung Electronics Co., Ltd. Video encoding method using offset adjustment according to classification of pixels by maximum encoding units and apparatus thereof, and video decoding method and apparatus thereof
JP5893754B2 (ja) * 2011-12-22 2016-03-23 サムスン エレクトロニクス カンパニー リミテッド 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
WO2013109867A1 (en) * 2012-01-19 2013-07-25 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
US9161035B2 (en) 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
BR112013027865B1 (pt) 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013144144A1 (en) 2012-03-30 2013-10-03 Panasonic Corporation Syntax and semantics for adaptive loop filter and sample adaptive offset
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9445088B2 (en) * 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
CN103379319B (zh) * 2012-04-12 2018-03-20 中兴通讯股份有限公司 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
EP2697973B1 (en) * 2012-04-16 2017-06-28 HFI Innovation Inc. Method and apparatus for loop filtering across slice or tile boundaries
US9451269B2 (en) 2012-04-17 2016-09-20 Samsung Electronics Co., Ltd. Method and apparatus for determining offset values using human visual characteristics
CN106851275A (zh) * 2012-05-29 2017-06-13 寰发股份有限公司 视频数据的自适应采样点偏移的处理装置及方法
EP2860973B1 (en) 2012-06-08 2020-03-04 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
BR122019022458B1 (pt) 2012-06-11 2021-10-05 Samsung Electronics Co., Ltd Método decodificador de vídeo
EP4236315A3 (en) 2012-06-26 2023-09-06 LG Electronics Inc. Video decoding method, video encoding method and storage medium storing encoded video information
CA2838209C (en) 2012-06-27 2018-12-04 Toru Matsunobu Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN103533372B (zh) * 2012-07-02 2016-12-07 华为技术有限公司 双向预测图像片的编码、解码方法及设备
EP2870752A1 (en) * 2012-07-06 2015-05-13 Telefonaktiebolaget LM Ericsson (Publ) Restricted intra deblocking filtering for video coding
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
CN104641640B (zh) * 2012-07-16 2018-04-20 三星电子株式会社 用于用信号传输sao参数的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
US9635360B2 (en) * 2012-08-01 2017-04-25 Mediatek Inc. Method and apparatus for video processing incorporating deblocking and sample adaptive offset
US20140056363A1 (en) * 2012-08-23 2014-02-27 Yedong He Method and system for deblock filtering coded macroblocks
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
AU2013387114B2 (en) * 2013-04-17 2018-02-22 Interdigital Vc Holdings, Inc. Method and apparatus for packet header compression
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
CN103414895A (zh) * 2013-07-29 2013-11-27 复旦大学 一种适用于hevc标准的编码器帧内预测装置及方法
KR20150045819A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10567806B2 (en) * 2013-11-15 2020-02-18 Mediatek Inc. Method of block-based adaptive loop filtering
CN104754363B (zh) * 2013-12-31 2017-08-08 展讯通信（上海）有限公司 用于hevc的环路滤波方法及装置、编码器及解码器
WO2015101329A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction coding with boundary filtering control
US20150237378A1 (en) * 2014-02-20 2015-08-20 Mediatek Inc. Method for controlling sample adaptive offset filtering applied to different partial regions in one frame based on different weighting parameters and related sample adaptive offset filter
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
CN105530518B (zh) * 2014-09-30 2019-04-26 联想(北京)有限公司 一种视频编码、解码方法及装置
CN104602026B (zh) * 2015-01-22 2017-12-01 复旦大学 一种适用于hevc标准下编码器中全复用的重建环路结构
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2016145243A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
CN106470341B (zh) 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
GB2596496B (en) 2015-09-11 2022-05-18 Kt Corp Method and device for processing video signal
CN105611393B (zh) * 2015-12-21 2019-04-23 深圳Tcl数字技术有限公司 视频播放控制方法及装置
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
EP3244617A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method and device for deblocking filtering a boundary within an intra predicted block
US11095922B2 (en) * 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
EP3529986A1 (en) 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Low complexity mixed domain collaborative in-loop filter for lossy video coding
EP3529985A1 (en) 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Mixed domain collaborative post filter for lossy still image coding
EP3552390A1 (en) 2016-12-23 2019-10-16 Huawei Technologies Co., Ltd. Mixed domain collaborative in-loop filter for lossy video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
EP3550842A4 (en) * 2016-12-30 2020-06-10 Huawei Technologies Co., Ltd. IMAGE FILTERING METHOD, APPARATUS AND DEVICE
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
EP3568983B1 (en) * 2017-01-11 2020-11-18 Telefonaktiebolaget LM Ericsson (PUBL) Encoder and decoder and methods thereof
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
WO2018170801A1 (zh) 2017-03-22 2018-09-27 华为技术有限公司 图像滤波方法及装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20180359486A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Non-local adaptive loop filter processing
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
CN111183646B (zh) * 2017-09-20 2023-08-04 Vid拓展公司 用于编码的方法和装置、用于解码的方法和装置以及存储介质
KR20200095464A (ko) * 2017-11-01 2020-08-10 브이아이디 스케일, 인크. 비디오 코딩에서 적응적 루프 필터를 단순화하기 위한 방법
SG11202003260WA (en) 2017-11-07 2020-05-28 Huawei Tech Co Ltd Interpolation filter for an inter prediction apparatus and method for video coding
WO2019093919A1 (en) * 2017-11-13 2019-05-16 Huawei Technologies Co., Ltd In-loop filter apparatus and method for video coding
CN109963151B (zh) * 2017-12-14 2020-10-20 腾讯科技（深圳）有限公司 编码单元划分确定方法及装置、终端设备及可读存储介质
WO2019135655A1 (ko) * 2018-01-08 2019-07-11 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2019154817A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive in-loop filter with multiple feature-based classifications
GB2573797A (en) * 2018-05-17 2019-11-20 Canon Kk A filter
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
CN112997500B (zh) * 2018-11-09 2023-04-18 北京字节跳动网络技术有限公司 对基于区域的自适应环路滤波器的改进
US11122264B2 (en) * 2018-12-06 2021-09-14 Qualcomm Incorporated Adaptive loop filter (ALF) coefficients in video coding
GB2580173B (en) 2018-12-21 2022-07-27 Canon Kk A filter
KR20210117327A (ko) 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
WO2020156528A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Filtering processes based on in-loop reshaping
MX2021008911A (es) 2019-02-01 2021-08-24 Beijing Bytedance Network Tech Co Ltd Se?alizacion de informacion de reformacion en bucle utilizando conjuntos de parametros.
CA3130472A1 (en) 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Independent coding of palette mode usage indication
WO2020177703A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of filtering information in video processing
CN117956149A (zh) 2019-03-08 2024-04-30 佳能株式会社 自适应环路滤波器
GB2582029A (en) * 2019-03-08 2020-09-09 Canon Kk An adaptive loop filter
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
CN113632469B (zh) * 2019-03-23 2022-12-13 北京字节跳动网络技术有限公司 默认的环内整形参数
CN115243056A (zh) * 2019-03-24 2022-10-25 抖音视界有限公司 视频处理中的多参数自适应环路滤波
CN113785573A (zh) * 2019-05-04 2021-12-10 华为技术有限公司 编码器、解码器和使用自适应环路滤波器的对应方法
US11356662B2 (en) * 2019-05-21 2022-06-07 Qualcomm Incorporated Simplification of clipping value calculation for adaptive loop filters
US11418779B2 (en) 2019-06-11 2022-08-16 Qualcomm Incorporated Clipping indices coding for adaptive loop filter in video coding
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
CN117768644A (zh) * 2019-06-24 2024-03-26 华为技术有限公司 用于非线性自适应环路滤波器的限幅电平
KR20220019241A (ko) * 2019-07-08 2022-02-16 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
WO2021008546A1 (en) 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
CN117459744A (zh) 2019-07-20 2024-01-26 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
EP4005213A4 (en) * 2019-07-26 2023-05-31 HFI Innovation Inc. METHOD AND APPARATUS FOR ADAPTIVE INTER-COMPONENT LOOP FILTERING FOR VIDEO CODING
WO2021018166A1 (en) * 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
US11197030B2 (en) * 2019-08-08 2021-12-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
EP4011086A1 (en) 2019-08-08 2022-06-15 Panasonic Intellectual Property Corporation of America System and method for video coding
CN114391255B (zh) * 2019-09-11 2024-05-17 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11202068B2 (en) 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2021052241A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) * 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
KR102585317B1 (ko) * 2019-12-28 2023-10-04 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩을 위한 인-루프 필터
EP4128773A4 (en) * 2020-03-29 2024-02-28 Alibaba Group Holding Ltd HIGH-LEVEL SYNTAX CONTROL OF A LOOP FILTER
CN111698511B (zh) * 2020-06-07 2022-09-16 咪咕文化科技有限公司 图像滤波方法、装置、设备及可读存储介质
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding
CN114640847B (zh) * 2021-06-30 2023-03-24 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
US11838557B2 (en) * 2021-11-17 2023-12-05 Mediatek Inc. Methods and apparatuses of ALF derivation in video encoding system
US20240031567A1 (en) * 2022-07-15 2024-01-25 Tencent America LLC Adaptive loop filtering on output(s) from offline fixed filtering
WO2024039803A1 (en) * 2022-08-18 2024-02-22 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for adaptive loop filter
WO2024094071A1 (en) * 2022-11-01 2024-05-10 Douyin Vision Co., Ltd. Using side information for adaptive loop filter in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581980A (zh) * 2003-08-11 2005-02-16 三星电子株式会社 从块编码的数字图像中去除块伪迹的方法及使用其的装置
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
US5574934A (en) * 1993-11-24 1996-11-12 Intel Corporation Preemptive priority-based transmission of signals using virtual channels
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20050094003A1 (en) * 2003-11-05 2005-05-05 Per Thorell Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
WO2007081908A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
JP5165593B2 (ja) * 2006-02-02 2013-03-21 トムソン ライセンシング 組合せ参照双方向予測を用いて動き推定を行う方法および装置
EP1980112B1 (en) * 2006-02-02 2012-10-24 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
EP2047687B1 (en) * 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP5801032B2 (ja) 2006-11-08 2015-10-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ インループのアーチファクト除去フィルタリングのための方法および装置
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8139883B2 (en) 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
WO2010029432A1 (en) * 2008-09-09 2010-03-18 Marvell World Trade, Ltd. Reducing digital image noise
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8611435B2 (en) 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP5416271B2 (ja) * 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
CN102037732B (zh) * 2009-07-06 2013-03-27 联发科技（新加坡）私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581980A (zh) * 2003-08-11 2005-02-16 三星电子株式会社 从块编码的数字图像中去除块伪迹的方法及使用其的装置
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置

Also Published As

Publication number Publication date
US9154778B2 (en) 2015-10-06
CN106331709B (zh) 2020-07-03
US9998737B2 (en) 2018-06-12
US9094658B2 (en) 2015-07-28
CN106331709A (zh) 2017-01-11
US20150350648A1 (en) 2015-12-03
CN102804776A (zh) 2012-11-28
CN106131552A (zh) 2016-11-16
WO2011140960A1 (en) 2011-11-17
CN107257458A (zh) 2017-10-17
CN102804776B (zh) 2017-06-06
US20110274158A1 (en) 2011-11-10
US9615093B2 (en) 2017-04-04
DE112011100420B4 (de) 2023-10-12
US20170163982A1 (en) 2017-06-08
DE112011100420T5 (de) 2012-12-13
US20130259117A1 (en) 2013-10-03
CN107257458B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN106131552B (zh) 采用自适应偏置处理编码视频的方法和装置
JP6820115B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
JP5792305B2 (ja) 適応ループフィルタリングの方法及び装置
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
KR101526349B1 (ko) 영역 기반의 적응 루프 필터링의 방법 및 장치
CA2876017C (en) Method and apparatus for intra transform skip mode
AU2012327672B2 (en) Method and apparatus for non-cross-tile loop filtering
JP6082073B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム
CN114125445B (zh) 解码方法、装置、设备及机器可读存储介质
CN114640847B (zh) 编解码方法、装置及其设备
AU2014200419B2 (en) Method and apparatus of adaptive loop filtering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant