CN107027040A - 一种去除块效应的滤波方法及装置 - Google Patents

一种去除块效应的滤波方法及装置 Download PDF

Info

Publication number
CN107027040A
CN107027040A CN201610064753.8A CN201610064753A CN107027040A CN 107027040 A CN107027040 A CN 107027040A CN 201610064753 A CN201610064753 A CN 201610064753A CN 107027040 A CN107027040 A CN 107027040A
Authority
CN
China
Prior art keywords
subelement
motion vector
adjacent
coordinate
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610064753.8A
Other languages
English (en)
Other versions
CN107027040B (zh
CN107027040B9 (zh
Inventor
陈焕浜
林四新
杨海涛
高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201610064753.8A priority Critical patent/CN107027040B9/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to KR1020187024722A priority patent/KR102214937B1/ko
Priority to KR1020217035045A priority patent/KR102438246B1/ko
Priority to EP16887513.6A priority patent/EP3407609B1/en
Priority to CN201680080487.6A priority patent/CN108605144B/zh
Priority to HUE16887513A priority patent/HUE062914T2/hu
Priority to BR112018015476-8A priority patent/BR112018015476B1/pt
Priority to PL16887513.6T priority patent/PL3407609T3/pl
Priority to PCT/CN2016/089797 priority patent/WO2017128634A1/zh
Priority to SG11201806449SA priority patent/SG11201806449SA/en
Priority to EP23175530.7A priority patent/EP4304172A1/en
Priority to JP2018539821A priority patent/JP6825765B2/ja
Priority to PT168875136T priority patent/PT3407609T/pt
Priority to KR1020217003574A priority patent/KR102320733B1/ko
Priority to SG10202100279XA priority patent/SG10202100279XA/en
Priority to KR1020227029544A priority patent/KR102495550B1/ko
Priority to ES16887513T priority patent/ES2960755T3/es
Publication of CN107027040A publication Critical patent/CN107027040A/zh
Priority to US16/047,325 priority patent/US11265572B2/en
Publication of CN107027040B publication Critical patent/CN107027040B/zh
Publication of CN107027040B9 publication Critical patent/CN107027040B9/zh
Application granted granted Critical
Priority to US17/590,580 priority patent/US11889102B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Filters And Equalizers (AREA)
  • Filtering Of Dispersed Particles In Gases (AREA)
  • Compounds Of Unknown Constitution (AREA)

Abstract

本发明提供一种去除块效应的滤波方法及装置,涉及视频图像处理领域,以解决现有不能对预测单元的内部补偿块进行滤波处理,导致的图像质量的主客观质量下降的问题。所述方法包括:将预测单元划分为至少两个子单元;遍历所述至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;获取与滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;根据第一子单元的第一像素值、以及第二子单元的第一像素值对与滤波边界相邻的像素点进行滤波处理。

Description

一种去除块效应的滤波方法及装置
技术领域
本发明涉及视频图像处理领域,尤其涉及一种去除块效应的滤波方法及装置。
背景技术
视频编码压缩技术主要采用基于块的混合视频编码,将一帧视频图像划分为多个块(block),以块为单位,通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等步骤实现视频编码压缩,即采用基于块的运动补偿预测(Motion Compensation Prediction,MCP),先得到块的运动信息,然后根据运动信息确定该块的预测像素值,再将该块的原始像素值和预测像素值之间的残差进行变换量化,最后,将量化后的变换系数以及编码模式信息(如编码块大小、预测模式、运动矢量等信息)通过熵编码处理转换成码流发送至解码端。
由于基于块的混合视频编码是将每幅图像划分为不同大小的块后,再进行分块预测、分块变换量化的,忽略了块与块之间的关联性,导致块边界上的像素值的重构精度相对块中间的像素值的重构精度更差一些,块与块之间产生了不连贯的效应,即“块效应”,进而使解码重建后得到的图像明显呈现出以块拼接处的感觉,因此,在解码重建后应当对图像进行“去除块效应”处理。
目前,常用的去除块效应的方法为:重叠块运动补偿(Overlapped BlockMotion Compensation,OBMC),它将所有的运动矢量看作连续的场,提出内像素不应只由当前块运动矢量影响,并且在很大程度上受周边运动矢量的影响,获得当前块的上下左右四个方向相邻子块的运动矢量,若该运动矢量存在并且与当前子块的运动矢量不同,则使用该运动矢量对当前块进行运动补偿,得到当前块新的预测信号,将当前块的原始预测信号与当前块的新的预测信号进行加权过滤来去除“块效应”。
其中,上述方法是基于平动模型进行的,即假使图像块内的运动均为平动,所以,现有OBMC仅提出对处于上边界和左边界的块进行滤波,此时,若所述预测单元包含通过非平动模式(如仿射运动模型)的预测单元,这些预测单元块之间的运动矢量是不同,若仍采用上述方法,则会导致该单元的内部预测单元得不到滤波处理,使得块与块之间仍存在“块效应”,影响编码精度和主客观效果。
发明内容
本发明的主要目的,在于提供一种去除块效应的滤波方法及装置。以解决现有内部预测单元块之间的“块效应”得不到处理,影响编码精度和主客观效果的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供一种去除块效应的滤波方法,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元,所述预测单元包含有非平动运动预测单元,所述方法可以包括:
将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
遍历所述至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
对于所述至少一个滤波边界中的任一滤波边界,获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理。
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
如此,通过确定预测单元中所有滤波边界,对滤波边界相邻的像素点进行滤波处理,消除不同运动矢量的单元块之间的“块效应”,提高图像的预测精度及主观质量。
可选的,在第一方面的一种可实现方式中,对于所述至少两个子单元中的第一子单元,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,其中,所述第一边界为所述子单元的任一边界;此外,若所述子单元包含在所述非平动运动预测单元中,则确定所述第一子单元的各个边界为滤波边界。
如此,除了将预测单元中处于预测单元划分边界或者处于变换单元划分边界的边界确定为滤波边界,进行后续的滤波处理外,还可以将非平动运动预测单元的边界确定为滤波边界,实现对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部非平动运动预测单元间的块效应。
可选的,在第一方面的又一种可实现方式中,所述获取与所述滤波边界相邻的第一子单元的第一像素值可以包括:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值;
所述M为1至4中的任一整数。
其中,计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量包括:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量根据预设的非平动运动模型推导得到;
或者,若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量;
或者,若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
可选的,在第一方面的再一种可实现方式中,所述获取与所述滤波边界相邻的第一子单元的第一像素值又可以包括:
获取所述第一子单元(P)的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及与所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量;所述第一顶点(1)和所述第二顶点(2)为所述第一子单元(P)中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元(P)的第一顶点(1)相邻的第一坐标的运动矢量和与所述第一子单元(P)的第二顶点(2)相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元(P)的M个运动矢量;
根据所述第一子单元(P)的M个运动矢量得到所述第一子单元(P)的M个第二预测像素值;
根据所述第一子单元(P)的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元(P)的第一像素值。
如此,考虑不同子单元间的运动矢量的相关性,根据第一子单元相邻的子单元的运动矢量对第一子单元进行运动补偿,或者,根据第一子单元相邻的坐标点计算第一单元的运动矢量,对第一子单元进行运动补偿,以此减少数据的冗余度和编码长度,提高第一子单元的预测精度。
可选的,在第一方面的再一种可实现方式中,所述根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理可以包括:
确定所述滤波边界的边界强度值;
根据所述滤波边界的边界强度值、以及初始阈值β0、t0和所述第一子单元的量化参数和所述第二子单元的量化参数,获得阈值β和t;
根据所述滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值间的像素差值,按照第二预设算法对与所述滤波边界相邻的像素点进行滤波处理;所述M为大于等于1的整数。
如此,可以根据滤波边界的强度对与滤波边界相邻的像素点进行滤波处理,减少了变换和预测单元划分带来的块效应。
第二方面,本发明实施例还提供一种滤波装置,用于执行第一方面所述的方法,所述滤波装置可以包括:
划分单元,用于将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
确定单元,用于遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
获取单元,用于对于所述确定单元确定出的至少一个滤波边界中的任一滤波边界,获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
滤波单元,用于根据所述获取单元获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理;
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
如此,通过确定预测单元中所有滤波边界,对滤波边界相邻的像素点进行滤波处理,消除不同运动矢量的单元块之间的“块效应”,提高图像的预测精度及主观质量。
可选的,在第二方面的一种可实现方式中,对于所述至少两个子单元中的任一子单元,所述确定单元具体用于:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
如此,除了将预测单元中处于预测单元划分边界或者处于变换单元划分边界的边界确定为滤波边界,进行后续的滤波处理外,还可以将非平动运动预测单元的边界确定为滤波边界,实现对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部非平动运动预测单元间的块效应。
可选的,在第二方面的又一种可实现方式中,获取单元具体可以用于:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值;
其中,所述计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量包括:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量根据预设的非平动运动模型推导得到;
或者,若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量;
或者,若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
可选的,在第二方面的再一种可实现方式中,获取单元具体还可以用于:
获取所述第一子单元(P)的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及与所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量;所述第一顶点(1)和所述第二顶点(2)为所述第一子单元(P)中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元(P)的第一顶点(1)相邻的第一坐标的运动矢量和与所述第一子单元(P)的第二顶点(2)相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元(P)的M个运动矢量;
根据所述第一子单元(P)的M个运动矢量得到所述第一子单元(P)的M个第二预测像素值;
根据所述第一子单元(P)的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元(P)的第一像素值。
如此,考虑不同子单元间的运动矢量的相关性,根据第一子单元相邻的子单元的运动矢量对第一子单元进行运动补偿,或者,根据第一子单元相邻的坐标点计算第一单元的运动矢量,对第一子单元进行运动补偿,以此减少数据的冗余度和编码长度,提高第一子单元的预测精度。
可选的,在第二方面的再一种可实现方式中,确定单元,还用于确定所述滤波边界的边界强度值;
滤波单元,具体用于:根据所述滤波边界的边界强度值、以及初始阈值β0、t0和所述第一子单元的量化参数和所述第二子单元的量化参数,获得阈值β和t;
根据所述β、所述t、以及所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理。
如此,可以根据滤波边界的强度对与滤波边界相邻的像素点进行滤波处理,减少了变换和预测单元划分带来的块效应。
需要说明的是,上述第二方面所述功能模块可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。例如,通信单元,用于与外部网元进行通信,处理器,用于完成划分单元、确定单元、获取单元及滤波单元的功能,存储器,用于存储相应的应用程序。处理器、通信单元和存储器通过总线连接并完成相互间的通信,具体实现如下:
第三方面,本发明实施例还提供一种滤波装置,用于执行第一方面所述的方法,所述滤波装置可以包括:
划分单元,用于将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
确定单元,用于遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
获取单元,用于获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
滤波单元,用于根据所述获取单元获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理。
具体的,处理器的执行功能可以参考第二方面提供的滤波单元中划分单元、确定单元、获取单元以及滤波单元的执行功能。
由上可知,本发明实施例提供一种去除块效应的滤波方法及滤波装置,将每个预测单元划分为至少两个子单元;遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理。如此,除了对预测单元中处于预测单元划分边界或者处于变换单元划分边界两边的单元中的像素点进行滤波外,还可以对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部的块效应,提高了图像的预测精度及主观质量,避免了现有仅对预测单元的上边界和左边界进行滤波操作,而未对该预测单元的内部运动补偿块的边界进行滤波处理,导致的不能完全去除块效应的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种滤波装置的结构图;
图2为本发明实施例提供的一种去除块效应的滤波方法的流程图;
图3为本发明实施例提供的一种图像块的示意图;
图4为本发明实施例提供的一种图像块的示意图;
图5为本发明实施例提供的一种图像块的示意图;
图6为本发明实施例提供的一种滤波装置的结构图。
具体实施方式
本发明主要原理是:除了对预测单元中处于预测单元划分边界或者处于变换单元划分边界两边的单元中的像素点进行滤波外,还找寻出非平动运动预测单元,对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部的块效应,提高了图像的预测精度及主观质量,避免了现有仅对采用非平动运动模块进行运动补偿的预测单元的上边界和左边界进行滤波操作,而未对该预测单元的内部运动补偿块的边界进行滤波处理,导致的不能完全去除块效应的问题,提高图像的预测精度及主观质量。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例可以采用不同与图示或描述的顺序实施。此外,术语“中心”、“上”、“下”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了可以执行本发明提供的方法的滤波装置的结构图,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、至少一个非平动运动预测单元、以及至少一个变换单元,所述预测单元包含有非平动运动预测单元,所述滤波装置可以为视频编码装置或视频解码装置,所述视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置,如:笔记本电脑、平板电脑、个人电脑、手机或视频服务器等装置;参见图1,所述滤波装置可以包括:通信接口1001、处理器1002、存储器1003、以及至少一个通信总线1004,用于实现这些装置之间的连接和相互通信;
其中,通信接口1001,可用于与外部网元之间进行数据通信。
处理器1002可能是一个中央处理器(central processing unit,简称为CPU),也可以是特定集成电路(Application Specific Integrated Circuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital singnal processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)。
存储器1003,可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,ROM),快闪存储器(flashmemory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者上述种类的存储器的组合,用于存储可实现本发明提供的滤波方法的应用程序。
通信总线1004可以分为地址总线、数据总线、控制总线等,可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部装置互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。为便于表示,图1中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
具体的,处理器1002用于:
将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
遍历所述至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理。
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
其中,对于所述至少两个子单元中的任一子单元,若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
可选的,处理器1002可以用于:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
将所述第一子单元的第一预测像素值分别与所述M个第二预测像素值进行加权;将加权后的结果进行平均得到所述第一子单元的第一像素值;所述M为1至4中的任一整数;
其中,所述处理器1002计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量可以为:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中各个子单元的运动矢量根据预设的非平动运动模型推导得到;
或者,若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量;
或者,若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
可选的,处理器1002还可以用于:
获取所述第一子单元的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元的第一顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标中M个坐标的运动矢量,以及与所述第一子单元的第二顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标中M个坐标的运动矢量;所述第一顶点和所述第二顶点为所述第一子单元中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元的第一顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标中M个坐标的运动矢量,以及所述第一子单元的第二顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元的第一顶点相邻的第一坐标的运动矢量和与所述第一子单元的第二顶点相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元的M个运动矢量;
根据所述第一子单元的M个运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
可选的,处理器1002还可以用于:
确定所述滤波边界的边界强度值;
根据所述滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理。
由上可知,本发明实施例提供一种滤波装置,将每个预测单元划分为至少两个子单元;遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理。如此,除了对预测单元中处于预测单元划分边界或者处于变换单元划分边界两边的单元中的像素点进行滤波外,还可以对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部的块效应,提高了图像的预测精度及主观质量,避免了现有仅对预测单元的上边界和左边界进行滤波操作,而未对该预测单元的内部运动补偿块的边界进行滤波处理,导致的不能完全去除块效应的问题。
为了便于描述,以下实施例一以步骤的形式示出并详细描述了本发明提供的去除块效应的滤波方法,其中,示出的步骤也可以在除图1所示的装置之外的诸如一组可执行指令的计算机系统中执行,此外,虽然在图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图2为本发明实施例提供的一种去除块效应的滤波方法的流程图,由图1所示的滤波装置执行,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元;所述预测单元包含有非平动运动预测单元;
其中,所述图像块可以为编码图像块,还可以为解码图像块,当滤波装置为视频编码装置时,所述图像块为编码图像块,当滤波装置为视频解码装置时,所述图像块为解码图像块。
在高性能视频编码(high efficiency video coding,HEVC)标准中,一个图像块的大小可包括64×64,32×32,16×16和8×8等四个级别,每个级别的图像块按照帧内预测和帧间预测可以划分为不同大小的预测单元,每个预测单元可按照基于平动运动模型的运动补偿预测和非平动运动模型的运动补偿预测分为平动运动预测单元和非平动运动预测单元,每个级别的图像块按照变换方法的不同可以划分为不同大小的变换单元。
需要说明的是,本发明所述的非平动运动可以包括:仿射运动、缩放运动、旋转运动、透视运动等非规则运动中的任一运动,所述预测单元包含非平动运动预测单元是指:预测单元与非平动运动预测单元存在相交的单元,可选的,预测单元中可以包含:平动运动预测单元和非平动运动预测单元。
例如,如图3所示,若一个32×32的图像块为帧间预测,可以将该32×32的图像块单独划分为一个预测单元,若该预测单元采用非平动运动模块进行运动补偿预测,则可以将该预测单元沿着非平动运动预测单元的分界线划分为不同大小的非平动运动预测单元,若该32×32的图像块中不同大小的单元的采用不同的变换方式,则可以将该32×32的图像块沿着变换单元的分界线划分为不同大小的变换单元。
由于基于非平动运动模型得到的相邻单元间的运动矢量是不同的,所以,为了消除预测单元内部基于非平动运动模型进行运动补偿预测的相邻单元间的块效应,还需要找该相邻单元间边界,对该边界附近的像素进行滤波处理,如图2所示,所述方法可以包括如下步骤:
S101:将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数。
其中,N的取值可以根据需要进行设定,本发明实施例对此不进行限定;可选的,N默认为4。
例如,可以将一个w*h的划分为多个4*4子单元,在本发明实施例中,4*4子单元可以表示:包含4*4个像素点的子单元。
S102:遍历所述至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界。
可选的,对于所述至少两个子单元中的任一子单元,所述根据预设规则确定所述子单元中的滤波边界可以包括:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
如此,除了找出预测单元中处于预测单元划分边界或者处于变换单元划分边界外,还可以获取到预测单元内部基于非平动运动模型进行运动补偿预测的相邻单元间的边界。
例如,如图3所示,可以将32×32的预测单元划分为64个4×4的子单元(如图3阴影1所示),每个子单元可以包含上边界、下边界、左边界和右边界四个边界,其中,图3阴影2所示的子单元为预测单元的内部子单元,因采用非平动运动模型进行运动补偿预测,所以,该子单元与其相邻的子单元的运动矢量是不同的,由于该子单元为预测单元的内部子单元,若采用现有的滤波方式,则不会对该子单元进行滤波处理,以消除该子单元与其相邻的子单元间的“块效应”,但是,步骤S102可以将子单元的边界确定为滤波边界,通过后续步骤的处理对该子单元边界周围的像素进行滤波处理,以尽可能的消除该子单元与其相邻的子单元间的“块效应”,实现对预测单元的内部子单元的滤波处理,提供视频图像的主客观质量。
需要说明的是,图3所示的子单元的上下左右边界仅为示例性描述,子单元的边界包括但不限于本例的命名方式。
S103:获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值。
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
需要说明的是,竖直滤波边界为水平放置的变换单元或者非平动运动预测单元的划分边界,水平滤波边界为竖直放置的变换单元或者非平动运动预测单元的划分边界;其中,可理解的,在本发明中,图像块为由x轴(即水平方向)和y轴(竖直方向)组成的一个平面,所以,所述水平放置为与x轴平行放置,竖直放置为与y轴平行放置,例如,如图3所示,与x轴平行放置的变换单元的划分边界为竖直滤波边界。
示例性的,可以通过下述方式一或方式二获取第一子单元或第二子单元的第一像素值,由于获取第一子单元的第一像素值和获取第二子单元的第一像素值的方式相同,所以,为了方便描述,仅以获取第一子单元的第一像素值为例对方式一或方式二进行介绍:
方式一:获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
需要说明的是,在本发明实施例中,所述运动矢量包含:水平分量和竖直分量,水平分量为与x轴平行的分量,所述竖直分量为与y轴平行的分量。
其中,第一子单元的第一预测像素值可以为根据运动模型推动得到的原始像素值,例如,当第一子单元为仿射运动单元时,可以根据下述仿射运动模型(1)得到第一子单元中每个像素点的运动矢量,然后遍历第一子单元的中的每个像素点,根据该像素点的运动矢量在指定的参考帧内找到与该像素点相匹配的像素点,将参考帧内的像素点的像素值作为所述第一子单元中的像素点的预测像素值,将遍历所有像素点得到的预测像素值组合为所述第一子单元的第一预测像素值;可理解的是,若第一子单元包含N*N个像素点,则得到的第一子单元的第一预测像素值为N*N的矩阵;此外,根据该像素点的运动矢量在指定的参考帧内找到与该像素点相匹配的像素点可以采用现有插值滤波算法,在此不再详细赘述;需要说明的是,在本发明实施例中,所述参考帧可以前向参考帧,还可以为后向参考帧。
仿射运动模型(1)中的(υ0x0y)通常可以为第一子单元的左顶点(0,0)的运动矢量,(υ1x1y)通常可以为第一子单元的右顶点(w,0)的运动矢量,w可以为第一子单元的宽度,(υxy)为第一子单元的像素点(x,y)的运动矢量。
其中,与所述第一子单元相邻的上子单元为与所述第一子单元的上边界相邻的子单元,所述与第一子单元相邻的下子单元为与所述第一子单元的下边界相邻的子单元,所述与所述第一子单元相邻的左子单元为与所述第一子单元的左边界相邻的子单元,所述与第一子单元相邻的右子单元为与所述第一子单元的右边界相邻的子单元。
例如,如图3所示,若第一子单元为子单元2,则子单元a为第一子单元的上子单元,子单元b为第一子单元的下子单元,子单元c为第一子单元的左子单元,子单元d为第一子单元的右子单元。
可选的,所述计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量可以包括:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量根据预设的非平动运动模型推导得到;
若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量;
若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
由于,在本发明实例中,所述非平动运动可以为:仿射运动、缩放运动、旋转运动、透视运动等任一不规则运动,所以,对应不同的非平动运动,上述通过预设的非平动运动模型推导得到子单元的运动矢量可以包括:
根据仿射运动模型(1)推到得到子单元的运动矢量;
或者,根据缩放运动模型(2)推到得到子单元的运动矢量;
在缩放运动模型(2)中的(υ0x0y)通常可以为第一子单元的左顶点(0,0)的运动矢量,(a0,a1)为预设的一组缩放因子,a0为水平方向的缩放因子,a1为竖直方向的缩放因子,(υxy)为第一子单元的像素点(x,y)的运动矢量。
或者,根据旋转运动模型(3)推到得到子单元的运动矢量;
在旋转运动模型(3)中的(υ0x0y)通常可以为第一子单元的左顶点(0,0)的运动矢量,(υxy)为第一子单元的像素点(x,y)的运动矢量。
或者,根据透视运动模型(4)推到得到子单元的运动矢量;
在透视运动模型(4)中的(υ0x0y)通常可以为第一子单元的左顶点(0,0)的运动矢量,(υ1x1y)通常可以为第一子单元的右顶点(w,0)的运动矢量,(υ2x2y)通常可以为第一子单元的左下顶点(0,h)的运动矢量,(υ3x3y)通常可以为第一子单元的右下顶点(w,h)的运动矢量,w可以为第一子单元的宽度,h为第一子单元的高度,(υxy)为第一子单元的像素点(x,y)的运动矢量。
其中,第二像素值可以为与第一子单元相邻的子单元对第一子单元进行运动补偿得到的新的像素值;
可选的,当M为4时,所述根据所述M个子单元的运动矢量得到所述第一子单元的中M个第二预测像素值可以包括:
根据与第一子单元相邻的上子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的下子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的左子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的右子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
需要说明的是,根据与第一子单元相邻的上子单元或下子单元或左子单元或右子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值的实现方式基本上是相同,在此为了描述方便,仅以根据与第一子单元相邻的上子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值为例,对其实现方式进行介绍:
如:可以将与第一子单元相邻的上子单元的运动矢量作为第一子单元的运动矢量,然后根据该运动矢量在指定的参考帧内找到与该第一子单元相匹配的单元,将参考帧内相匹配的单元的像素值作为所述第一子单元的一个第二预测像素值。
可选的,所述根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值可以包括:
将所述第一子单元的第一预测像素值分别与所述M个第二预测像素值进行加权,将加权后的结果进行平均得到所述第一子单元的第一像素值。
具体的,可以先按照下述公式(5)将第一子单元的第一预测像素值和每个第二预测像素值进行加权,得到M个加权后的像素值,将M个加权后的像素值进行平均得到所述第一子单元的第一像素值:
P′C(i,j)=PC(i,j)*WM(i,j)+PM(i,j)*WM(i,j) (5)
在公式(5)中,PC(i,j)为第一子单元的第一预测像素值,PN(i,j)为第一子单元的一个第二预测像素值,WN(i,j)与该第二预测像素值PN(i,j)相对应的加权矩阵,P′C(i,j)为第一子单元的第一像素值与一个第二像素值加权后的像素值,M的取值范围可以为1~4。
例如,若第一子单元包含4*4个像素点,则第一子单元的第一预测像素值和第二预测像素值均为4*4的矩阵,且通常情况下与上、下、左、右中4个子单元运动补偿得到的预测像素值P1、P2、P3、P4一一对应的加权矩阵W1、W2、W3、W4为:
方式二:获取所述第一子单元P的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元P的第一顶点1相邻的上方坐标1.1、下方坐标1.2、左方坐标1.3和右方坐标1.4中M个坐标的运动矢量,以及与所述第一子单元P的第二顶点2相邻的上方坐标2.1、下方坐标2.2、左方坐标2.3和右方坐标2.4中M个坐标的运动矢量;所述M为1至4中的任一整数;
将所述第一子单元P的第一顶点1相邻的上方坐标1.1、下方坐标1.2、左方坐标1.3和右方坐标1.4中M个坐标的运动矢量,以及所述第一子单元P的第二顶点2相邻的上方坐标2.1、下方坐标2.2、左方坐标2.3和右方坐标2.4中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元P的第一顶点1相邻的第一坐标的运动矢量和与所述第一子单元P的第二顶点2相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元P的M个运动矢量;
根据所述第一子单元P的M个运动矢量得到所述第一子单元P的M个第二预测像素值;
根据所述第一子单元P的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元P的第一像素值。
其中,与所述第一子单元P的第一顶点1相邻的上方坐标1.1可以为:与第一子单元的上边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点1相邻的下方坐标1.2可以为:与第一子单元P的下边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点相邻的左方坐标1.3可以为:与第一子单元的左边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点相邻的右方坐标1.4可以为:与第一子单元的右边界相邻的子单元的第一顶点的坐标;
与所述第一子单元P的第二顶点2相邻的上方坐标2.1可以为:与第一子单元的上边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的下方坐标2.2可以为:与第一子单元的下边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的左方坐标2.3可以为:与第一子单元的左边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的右方坐标2.4可以为:与第一子单元的右边界相邻的子单元的第二顶点的坐标;需要说明的是,在本发明实施例中,子单元的第一顶点可以为:该子单元的左上顶点、左下顶点、右上顶点、右下顶点四个顶点中的任一顶点,所述子单元的第二顶点可以为:该子单元的左上顶点、左下顶点、右上顶点、右下顶点四个顶点中除第一顶点之外的任一顶点,所述子单元的顶点可以为处于该顶点位置的像素点的坐标点,通常情况下,将第一子单元P的左上顶点设为原点(0,0),其他顶点的坐标则根据原点的位置相对设置。
例如,如图4所示,第一子单元P为4*4的子单元,其中,4*4为像素点个数,且水平方向或竖直方向上的相邻像素点间隔为1,设第一子单元P的第一顶点1为左上顶点的像素点(0,0),因第一子单元的左上顶点与右上顶点间隔3个像素点,所以,第一子单元P的第二顶点2为右上顶点的像素点(3,0),与第一顶点1相邻的上方坐标1.1为:与第一子单元P的上边界相邻的上子单元的左上顶点的像素点(0,-4),与第一顶点1相邻的下方坐标1.2为:与第一子单元P的下边界相邻的下子单元的左上顶点的像素点(0,4),与第一顶点1相邻的左方坐标1.3为:与第一子单元P的左边界相邻的左子单元的左上顶点的像素点(-4,0),与第一顶点1相邻的右方坐标1.4为:与第一子单元P的右边界相邻的右子单元的左上顶点的像素点(4,0);同理,如图4所示,与像素点为(3,0)的第二顶点2相邻的上方坐标2.1为:与第一子单元P的上边界相邻的上子单元的右上顶点的像素点(3,-4),与第二顶点2相邻的下方坐标2.2为:与第一子单元P的下边界相邻的下子单元的右上顶点的像素点(3,4),与第二顶点2相邻的左方坐标2.3为:与第一子单元P的左边界相邻的左子单元的右上顶点的像素点(-1,0),与第二顶点2相邻的右方坐标2.4为:与第一子单元P的右边界相邻的右子单元的右上顶点的像素点(7,0)。
例如,当M=4时,可以按照预设的非平动运动模型推导得到与所述第一子单元的第一顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标四个坐标的运动矢量,以及与所述第一子单元的第二顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标四个坐标的运动矢量;
将与所述第一子单元的第一顶点相邻的上方坐标的运动矢量和与所述第一子单元的第二顶点相邻的上方坐标的运动矢量组成第一运动矢量对;将与所述第一子单元的第一顶点相邻的下方坐标的运动矢量和与所述第一子单元的第二顶点相邻的下方坐标的运动矢量组成第二运动矢量对;将与所述第一子单元的第一顶点相邻的左方坐标的运动矢量和与所述第一子单元的第二顶点相邻的左方坐标的运动矢量组成第三运动矢量对;将与所述第一子单元的第一顶点相邻的右方坐标的运动矢量和与所述第一子单元的第二顶点相邻的右方坐标的运动矢量组成第四运动矢量对;
分别按照预设的非平动运动模型对所述第一运动矢量对、所述第二运动矢量对、所述第三运动矢量、所述第四运动矢量对进行计算,得到所述第一子单元的四个运动矢量;根据所述第一子单元的四个运动矢量得到所述第一子单元的四个第二预测像素值;将所述第一子单元的第一预测像素值分别与所述四个第二预测像素值进行加权;将加权后的结果进行平均得到所述第一子单元的第一像素值。
其中,方式二中获取所述第一子单元的第一预测像素值的方法与方式一中获取第一子单元的第一预测像素值的方法相同,在此不再详细赘述。
此外,方式二中根据所述第一子单元的M个运动矢量得到所述第一子单元的M个第二预测像素值,将所述第一子单元的第一预测像素值分别与所述M个第二预测像素值进行加权,将加权后的结果进行平均得到所述第一子单元的第一像素值的方式也与方式一中相同,在此也不再详细赘述。
可理解的是,可以根据上述预设的非平动运动模型(1)或(2)或(3)或(4)推到得出与所述第一子单元的第一顶点或第二顶点相邻的上方、下方、左方、右方坐标的运动矢量。
S104:根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理。
可选的,可以设置所述滤波边界的边界强度值,根据所述滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值间的像素差值,按照第二预设算法对与所述滤波边界相邻的像素点进行滤波处理;所述M为大于等于1的整数。
如:可以根据所述滤波边界的边界强度值、以及初始阈值β0、t0和所述第一子单元的量化参数和所述第二子单元的量化参数,获得与滤波边界对应的阈值β和t;
根据所述β、所述t、以及所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理,所述M为大于等于1的整数。
其中,可以按照下述方式对滤波边界的边界强度值进行设置:
若所述第一子单元或者所述第二子单元所在的图像块中至少有一个帧内预测单元,则将所述滤波边界的边界强度值设置为2;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且所述滤波边界为变换单元划分边界,所述第一子单元或者所述第二子单元所在的变换单元至少存在一个非零系数,则将所述滤波边界的边界强度值设置为1;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且下述(1)~(3)中任一条件为真条件时,则将所述滤波边界的边界强度值设置为1;否则,将所述滤波边界的边界强度值设置为0:
(1)若所述第一子单元和所述第二子单元所在的预测单元的参考图像或者运动矢量个数相同;所述第一子单元所在的预测单元的运动矢量个数为1,所述第二子单元所在的预测单元的运动矢量个数为1,并且所述第一子单元的运动矢量与所述第二子单元的运动矢量间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(2)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(3)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,且下述a和b两个条件都为真条件:
(a)指向前向参考候选列表list0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者指向后向参考候选列表list1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;
(b)所述第一子单元所在的预测单元的指向前向参考候选列表list0的运动矢量与所述第二子单元所在的预测单元的指向后向参考候选列表list1的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者所述第一子单元所在的预测单元的指向后向参考候选列表list1的运动矢量与所述第二子单元所在的预测单元的指向前向参考候选列表list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T。
其中,所述运动矢量差阈值T可以为4个1/4亮度采样精度;或者,若所述第一子单元和所述第二子单元所在的预测单元的运动模型不同,则所述运动矢量差阈值T为1个1/4亮度采样精度,若所述第一单元和所述第二子单元所在的预测单元的运动模型相同,则所述运动矢量差阈值T为4个1/4亮度采样精度。
其中,所述初始阈值β0、t0根据需要进行设置,本发明实施例对此不进行限定,
示例性的,所述根据所述滤波边界的边界强度值、以及初始阈值β0、t0和所述第一子单元的量化参数和所述第二子单元的量化参数,获得阈值β和t;
根据所述β、所述t、以及所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理可以包括:
先将初始阈值β0、t0、以及所述第一子单元的量化参数和所述第二子单元的量化参数代入公式:qPL=((QpQ+QpP)/2)得到qPL;其中,QpQ为第一子单元的量化参数,QpP为第二子单元的量化参数;
然后,根据公式Q=Clip3(0,51,qPL0*2)、Q=Clip3(0,53,qPL+2*(BS-1)+t0*2)得到两个Q值,查询预设表格,获取与根据公式Q=Clip3(0,51,qPL0*2)得到的Q值相对应的β′,以及获取与根据公式Q=Clip3(0,53,qPL+2*(BS-1)+t0*2)得到的Q值相对应的t′C
将查表得到的β′代入公式:β=β′*2BitDepth-8得到所述阈值β,其中BitDepth表示像素的位宽;
将查表得到的t′C代入公式:t=t′C*2BitDepth-8得到所述阈值t;
将所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值与所述β、所述t进行比较,确定是否需要对与所述滤波边界相邻的像素点进行滤波处理;
例如:图5为与水平滤波边界相邻子单元的结构图,如图5所示,第一子单元P和第二子单元Q均包含4*4个像素点,若P和Q的像素点的像素值满足下述公式,则确定对该水平滤波边界的相邻像素点进行滤波处理:
|p2,0-2p1,0+p0,0|+|p2,3-2p1,3+p0,3|+|q2,0-2q1,0+q0,0|+|q2,3-2q1,3+q0,3|>β
若P和Q的第一行和第四行像素同时满足下述公式:
|p2,i-2p1,i+p0,i|+|q2,i-2q1,i+q0,i|<β/8
|p3,i-p0,i|+|q0,i-q3,i|<β/8
|p0,i-q0,i|<2.5t
则对该水平滤波边界的相邻像素点采取强滤波,否则采取弱滤波,其中,i取值为0或3。
可选的,对该水平滤波边界的相邻像素点采取强滤波可以为:获取水平滤波边界相邻的8个像素,采用抽头数为5的滤波器进行滤波;例如,可以选取P中第一行的4个像素和Q的第一行的4个像素,对该8个像素采用抽头数为5的滤波器进行滤波;
对该水平滤波边界的相邻像素点采取弱滤波可以为:获取该水平滤波边界相邻的6个像素,采用抽头数为3的滤波器进行滤波;需要说明的是,本发明实施例中,可以从P中第一行的4个像素和Q的第一行的4个像素中随机选取6个像素,采用抽头数为3的滤波器进行滤波。
其中,上述表格可以根据需要进行设置,本发明实施例对此不进行限定,例如:若所述表格为下表1,且根据公式Q=Clip3(0,51,qPL0*2)得到的Q值为11,根据公式Q=Clip3(0,53,qPL+2*(BS-1)+t0*2)得到的Q值为24,则根据表1可知β′为0,t′C为1:
表1
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
β′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 9
t′C 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
Q 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
β′ 9 10 11 12 13 14 15 16 17 18 20 22 24 26 28 30 32 34 36
t′C 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
由上可知,本发明实施例提供一种去除块效应的滤波方法,将每个预测单元划分为至少两个子单元;遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理。如此,除了对预测单元中处于预测单元划分边界或者处于变换单元划分边界两边的单元中的像素点进行滤波外,还可以对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部的块效应,提高了图像的预测精度及主观质量,避免了现有仅对预测单元的上边界和左边界进行滤波操作,而未对该预测单元的内部运动补偿块的边界进行滤波处理,导致的不能完全去除块效应的问题。
实施例二
图6为本发明实施例提供的一种滤波装置10的结构图,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元,所述预测单元包含有非平动运动预测单元;所述滤波装置可以为视频编码装置或视频解码装置,所述视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置,如:笔记本电脑、平板电脑、个人电脑、手机或视频服务器等装置,如图6所示,所述滤波装置10可以包括:
划分单元101,用于将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数。
确定单元102,用于遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界。
获取单元103,用于获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值。
滤波单元104,用于根据所述获取单元103获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理。
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
需要说明的是,竖直滤波边界为水平放置的变换单元或者非平动运动预测单元的划分边界,水平滤波边界为竖直放置的变换单元或者非平动运动预测单元的划分边界;其中,可理解的,在本发明中,图像块为由x轴(即水平方向)和y轴(竖直方向)组成的一个平面,所以,所述水平放置为与x轴平行放置,竖直放置为与y轴平行放置,例如,如图3所示,与x轴平行放置的变换单元的划分边界为竖直滤波边界。
进一步的,对于所述至少两个子单元中的任一子单元,确定单元102具体用于:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
如此,除了将预测单元中处于预测单元划分边界或者处于变换单元划分边界的边界确定为滤波边界,进行后续的滤波处理外,还可以将非平动运动预测单元的边界确定为滤波边界,实现对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部非平动运动预测单元间的块效应。
进一步的,获取单元103可以用于通过下述方式一或方式二获取第一子单元第一像素值:
方式一:获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
需要说明的是,在本发明实施例中,所述运动矢量包含:水平分量和竖直分量,水平分量为与x轴平行的分量,所述竖直分量为与y轴平行的分量。
其中,第一子单元的第一预测像素值可以为根据运动模型推动得到的原始像素值,例如,当第一子单元为仿射运动单元时,可以根据下述仿射运动模型(1)得到第一子单元中每个像素点的运动矢量,然后遍历第一子单元的中的每个像素点,根据该像素点的运动矢量在指定的参考帧内找到与该像素点相匹配的像素点,将参考帧内的像素点的像素值作为所述第一子单元中的像素点的预测像素值,将遍历所有像素点得到的预测像素值组合为所述第一子单元的第一预测像素值;可理解的是,若第一子单元包含N*N个像素点,则得到的第一子单元的第一预测像素值为N*N的矩阵;此外,根据该像素点的运动矢量在指定的参考帧内找到与该像素点相匹配的像素点可以采用现有插值滤波算法,在此不再详细赘述。
其中,与所述第一子单元相邻的上子单元为与所述第一子单元的上边界相邻的子单元,所述与第一子单元相邻的下子单元为与所述第一子单元的下边界相邻的子单元,所述与所述第一子单元相邻的左子单元为与所述第一子单元的左边界相邻的子单元,所述与第一子单元相邻的右子单元为与所述第一子单元的右边界相邻的子单元。
例如,如图3所示,若第一子单元为子单元2,则子单元a为第一子单元的上子单元,子单元b为第一子单元的下子单元,子单元c为第一子单元的左子单元,子单元d为第一子单元的右子单元。
可选的,所述计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量可以包括:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量根据预设的非平动运动模型推导得到;
若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量;
若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
由于,在本发明实例中,所述非平动运动可以为:仿射运动、缩放运动、旋转运动、透视运动等任一不规则运动,所以,对应不同的非平动运动,上述通过预设的非平动运动模型推导得到子单元的运动矢量可以包括:
根据仿射运动模型(1)推到得到子单元的运动矢量;
或者,根据缩放运动模型(2)推到得到子单元的运动矢量;
或者,根据旋转运动模型(3)推到得到子单元的运动矢量;
或者,根据透视运动模型(4)推到得到子单元的运动矢量。
其中,第二像素值可以为与第一子单元相邻的子单元对第一子单元进行运动补偿得到的新的像素值,具体的,当M为4时,获取单元103可以用于:
根据与第一子单元相邻的上子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的下子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的左子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
根据与第一子单元相邻的右子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值;
将所述第一子单元的第一预测像素值分别与所述4个第二预测像素值进行加权,将加权后的结果进行平均得到所述第一子单元的第一像素值。
需要说明的是,根据与第一子单元相邻的上子单元或下子单元或左子单元或右子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值的实现方式基本上是相同,在此为了描述方便,仅以根据与第一子单元相邻的上子单元的运动矢量,对第一子单元进行运动补偿得到一个第二预测像素值为例,对其实现方式进行介绍:
如:获取单元103可以将与第一子单元相邻的上子单元的运动矢量作为第一子单元的运动矢量,然后根据该运动矢量在指定的参考帧内找到与该第一子单元相匹配的单元,将参考帧内相匹配的单元的像素值作为所述第一子单元的一个第二预测像素值。
可选的,将所述第一子单元的第一预测像素值分别与所述M个第二预测像素值进行加权,将加权后的结果进行平均得到所述第一子单元的第一像素值可以包括:
先按照公式(5)将第一子单元的第一预测像素值和每个第二预测像素值进行加权,得到M个加权后的像素值,将M个加权后的像素值进行平均得到所述第一子单元的第一像素值。
方式二:获取所述第一子单元P的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元P的第一顶点1相邻的上方坐标1.1、下方坐标1.2、左方坐标1.3和右方坐标1.4中M个坐标的运动矢量,以及与所述第一子单元P的第二顶点2相邻的上方坐标2.1、下方坐标2.2、左方坐标2.3和右方坐标2.4中M个坐标的运动矢量;所述M为1至4中的任一整数;
将所述第一子单元P的第一顶点1相邻的上方坐标1.1、下方坐标1.2、左方坐标1.3和右方坐标1.4中M个坐标的运动矢量,以及所述第一子单元P的第二顶点2相邻的上方坐标2.1、下方坐标2.2、左方坐标2.3和右方坐标2.4中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元P的第一顶点1相邻的第一坐标的运动矢量和与所述第一子单元P的第二顶点2相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元P的M个运动矢量;
根据所述第一子单元P的M个运动矢量得到所述第一子单元P的M个第二预测像素值;
根据所述第一子单元P的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元P的第一像素值。
例如,当M=4时,可以按照预设的非平动运动模型推导得到与所述第一子单元的第一顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标四个坐标的运动矢量,以及与所述第一子单元的第二顶点相邻的上方坐标、下方坐标、左方坐标和右方坐标四个坐标的运动矢量;
将与所述第一子单元的第一顶点相邻的上方坐标的运动矢量和与所述第一子单元的第二顶点相邻的上方坐标的运动矢量组成第一运动矢量对;将与所述第一子单元的第一顶点相邻的下方坐标的运动矢量和与所述第一子单元的第二顶点相邻的下方坐标的运动矢量组成第二运动矢量对;将与所述第一子单元的第一顶点相邻的左方坐标的运动矢量和与所述第一子单元的第二顶点相邻的左方坐标的运动矢量组成第三运动矢量对;将与所述第一子单元的第一顶点相邻的右方坐标的运动矢量和与所述第一子单元的第二顶点相邻的右方坐标的运动矢量组成第四运动矢量对;
分别按照预设的非平动运动模型对所述第一运动矢量对、所述第二运动矢量对、所述第三运动矢量、所述第四运动矢量对进行计算,得到所述第一子单元的四个运动矢量;根据所述第一子单元的四个运动矢量得到所述第一子单元的四个第二预测像素值;将所述第一子单元的第一预测像素值分别与所述四个第二预测像素值进行加权;将加权后的结果进行平均得到所述第一子单元的第一像素值。
其中,方式二中获取所述第一子单元的第一预测像素值的方法与方式一中获取第一子单元的第一预测像素值的方法相同,在此不再详细赘述。
此外,方式二中根据所述第一子单元的中M个运动矢量得到所述第一子单元的中M个第二预测像素值,将所述第一子单元的第一预测像素值分别与所述中M个第二预测像素值进行加权,将加权后的结果进行平均得到所述第一子单元的第一像素值的方式也与方式一中相同,在此也不再详细赘述。
其中,与所述第一子单元P的第一顶点1相邻的上方坐标1.1可以为:与第一子单元的上边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点1相邻的下方坐标1.2可以为:与第一子单元P的下边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点相邻的左方坐标1.3可以为:与第一子单元的左边界相邻的子单元的第一顶点的坐标;与所述第一子单元P的第一顶点相邻的右方坐标1.4可以为:与第一子单元的右边界相邻的子单元的第一顶点的坐标;
与所述第一子单元P的第二顶点2相邻的上方坐标2.1可以为:与第一子单元的上边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的下方坐标2.2可以为:与第一子单元的下边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的左方坐标2.3可以为:与第一子单元的左边界相邻的子单元的第二顶点的坐标;与所述第一子单元P的第二顶点2相邻的右方坐标2.4可以为:与第一子单元的右边界相邻的子单元的第二顶点的坐标;需要说明的是,在本发明实施例中,子单元的第一顶点可以为:该子单元的左上顶点、左下顶点、右上顶点、右下顶点四个顶点中的任一顶点,所述子单元的第二顶点可以为:该子单元的左上顶点、左下顶点、右上顶点、右下顶点四个顶点中除第一顶点之外的任一顶点,所述子单元的顶点可以为处于该顶点位置的像素点的坐标点,通常情况下,将第一子单元P的左上顶点设为原点(0,0),其他顶点的坐标则根据原点的位置相对设置。
可理解的是,可以根据预设的非平动运动模型(1)或(2)或(3)或(4)推到得出与所述第一子单元的第一顶点或第二顶点相邻的上方、下方、左方、右方坐标的运动矢量。
进一步的,确定单元102,还用于在滤波单元104根据所述获取单元103获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理之前,确定所述滤波边界的边界强度值;
滤波单元104,具体可以用于:根据所述滤波边界的边界强度值、以及初始阈值β0、t0和所述第一子单元的量化参数和所述第二子单元的量化参数,获得阈值β和t;
根据所述β、所述t、以及所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理,所述M为大于等于1的整数。
其中,所述确定单元102,具体用于:
若所述第一子单元或者所述第二子单元所在的图像块中至少有一个帧内预测单元,则将所述滤波边界的边界强度值设置为2;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且所述滤波边界为变换单元划分边界,所述第一子单元或者所述第二子单元所在的变换单元至少存在一个非零系数,则将所述滤波边界的边界强度值设置为1;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且下述(1)~(3)中任一条件为真条件时,则将所述滤波边界的边界强度值设置为1;否则,将所述滤波边界的边界强度值设置为0:
(1)若所述第一子单元和所述第二子单元所在的预测单元的参考图像或者运动矢量个数不同;所述第一子单元所在的预测单元的运动矢量个数为1,所述第二子单元所在的预测单元的运动矢量个数为1,并且所述第一子单元的运动矢量与所述第二子单元的运动矢量间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(2)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(3)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,且下述a和b两个条件都为真条件:
(a)指向前向参考候选列表list0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者指向后向参考候选列表list1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;
(b)所述第一子单元所在的预测单元的指向前向参考候选列表list0的运动矢量与所述第二子单元所在的预测单元的指向后向参考候选列表list1的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者所述第一子单元所在的预测单元的指向后向参考候选列表list1的运动矢量与所述第二子单元所在的预测单元的指向前向参考候选列表list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T。
其中,所述运动矢量差阈值T可以为4个1/4亮度采样精度;或者,若所述第一子单元和所述第二子单元所在的预测单元的运动模型不同,则所述运动矢量差阈值T为1个1/4亮度采样精度,若所述第一单元和所述第二子单元所在的预测单元的运动模型相同,则所述运动矢量差阈值T为4个1/4亮度采样精度。
其中,所述初始阈值β0、t0根据需要进行设置,本发明实施例对此不进行限定,
进一步的,滤波单元104,具体用于根据所述β、所述t、以及所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值,对与所述滤波边界相邻的像素点进行滤波处理可以包括:
先将初始阈值β0、t0、以及所述第一子单元的量化参数和所述第二子单元的量化参数代入公式:qPL=((QpQ+QpP)/2)得到qPL;其中,QpQ为第一子单元的量化参数,QpP为第二子单元的量化参数;
然后,根据公式Q=Clip3(0,51,qPL0*2)、Q=Clip3(0,53,qPL+2*(BS-1)+t0*2)得到两个Q值,查询预设表格,获取与根据公式Q=Clip3(0,51,qPL0*2)得到的Q值相对应的β′,以及获取与根据公式Q=Clip3(0,53,qPL+2*(BS-1)+t0*2)得到的Q值相对应的t′C
将查表得到的β′代入公式:β=β′*2BitDepth-8得到所述阈值β;其中,BitDepth表示像素的位宽;
将查表得到的t′C代入公式:t=t′C*2BitDepth-8得到所述阈值t;
将所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值之间的像素差值与所述β、所述t进行比较,确定是否需要对与所述滤波边界相邻的像素点进行滤波处理。
需要说明的是,图6所示的滤波装置中的划分单元、获取单元、确定单元和滤波单元可以为图1所示滤波装置中单独设立的处理器,也可以集成在滤波装置的某一处理器中实现,此外,还可以将划分单元、获取单元、确定单元和滤波单元执行的过程以程序代码的形式存储在图1所示的滤波装置的存储器中,由滤波装置的某一处理器调用并执行查询单元和替换单元执行的过程。这里所述的处理器可以是一个中央处理器(Central ProcessingUnit,CPU),或者是特定集成电路(Application Specific Integrated Circuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
由上可知,本发明实施例提供一种滤波装置,将每个预测单元划分为至少两个子单元;遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理。如此,除了对预测单元中处于预测单元划分边界或者处于变换单元划分边界两边的单元中的像素点进行滤波外,还可以对预测单元中非平动运动预测单元的边界进行滤波处理,消除预测单元内部的块效应,提高了图像的预测精度及主观质量,避免了现有仅对预测单元的上边界和左边界进行滤波操作,而未对该预测单元的内部运动补偿块的边界进行滤波处理,导致的不能完全去除块效应的问题。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的单元和系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件(例如处理器)来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (30)

1.一种去除块效应的滤波方法,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元,预测单元包含有非平动运动预测单元,其特征在于,所述方法包括:
将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
遍历所述至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
对于所述至少一个滤波边界中的任一滤波边界,获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理;
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
2.根据权利要求1所述的方法,其特征在于,对于所述至少两个子单元中的任一子单元,所述根据预设规则确定所述子单元中的滤波边界包括:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
3.根据权利要求1或2所述的方法,其特征在于,所述获取与所述滤波边界相邻的第一子单元的第一像素值包括:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
4.根据权利要求3所述的方法,其特征在于,计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量包括:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量根据预设的非平动运动模型推导得到。
5.根据权利要求3所述的方法,其特征在于,计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量包括:
若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量。
6.根据权利要求3所述的方法,其特征在于,计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量包括:
若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
7.根据权利要求1或2所述的方法,其特征在于,所述获取与所述滤波边界相邻的第一子单元的第一像素值包括:
获取所述第一子单元(P)的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及与所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量;所述第一顶点(1)和所述第二顶点(2)为所述第一子单元(P)中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元(P)的第一顶点(1)相邻的第一坐标的运动矢量和与所述第一子单元(P)的第二顶点(2)相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元(P)的M个运动矢量;
根据所述第一子单元(P)的M个运动矢量得到所述第一子单元(P)的M个第二预测像素值;
根据所述第一子单元(P)的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元(P)的第一像素值。
8.根据权利要求1-7任一项所述的方法,其特征在于,在根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理之前,所述方法还包括:
确定所述滤波边界的边界强度值;
所述根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理包括:
根据所述滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值间的像素差值,按照第二预设算法对与所述滤波边界相邻的像素点进行滤波处理;所述M为大于等于1的整数。
9.根据权利要求8所述的方法,其特征在于,所述确定所述滤波边界的边界强度值包括:
若所述第一子单元或者所述第二子单元所在的图像块中至少有一个帧内预测单元,则将所述滤波边界的边界强度值设置为2;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且所述滤波边界为变换单元划分边界,所述第一子单元或者所述第二子单元所在的变换单元至少存在一个非零系数,则将所述滤波边界的边界强度值设置为1;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且下述(1)~(3)中任一条件为真条件时,则将所述滤波边界的边界强度值设置为1;否则,将所述滤波边界的边界强度值设置为0:
(1)若所述第一子单元和所述第二子单元所在的预测单元的参考图像或者运动矢量个数不同;所述第一子单元所在的预测单元的运动矢量个数为1,所述第二子单元所在的预测单元的运动矢量个数为1,并且所述第一子单元的运动矢量与所述第二子单元的运动矢量间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(2)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(3)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,且下述a和b两个条件都为真条件:
(a)指向前向参考候选列表list0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者指向后向参考候选列表list1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;
(b)所述第一子单元所在的预测单元的指向前向参考候选列表list0的运动矢量与所述第二子单元所在的预测单元的指向后向参考候选列表list1的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者所述第一子单元所在的预测单元的指向后向参考候选列表list1的运动矢量与所述第二子单元所在的预测单元的指向前向参考候选列表list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T。
10.根据权利要求9所述的方法,其特征在于,
所述运动矢量差阈值T为4个1/4亮度采样精度;
或者,若所述第一子单元和所述第二子单元所在的预测单元的运动模型不同,则所述运动矢量差阈值T为1个1/4亮度采样精度,若所述第一单元和所述第二子单元所在的预测单元的运动模型相同,则所述运动矢量差阈值T为4个1/4亮度采样精度。
11.一种滤波装置,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元,预测单元包含有非平动运动预测单元,其特征在于,所述滤波装置包括:
划分单元,用于将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
确定单元,用于遍历所述划分单元划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
获取单元,用于对于所述确定单元确定出的至少一个滤波边界中的任一滤波边界,获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
滤波单元,用于根据所述获取单元获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值,对与所述滤波边界相邻的像素点进行滤波处理;
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
12.根据权利要求11所述的滤波装置,其特征在于,对于所述至少两个子单元中的任一子单元,所述确定单元具体用于:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
13.根据权利要求11或12所述的滤波装置,其特征在于,所述获取单元具体用于:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
14.根据权利要求13所述的滤波装置,其特征在于,所述获取单元具体用于:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量根据预设的非平动运动模型推导得到。
15.根据权利要求13所述的滤波装置,其特征在于,所述获取单元具体用于:
若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量。
16.根据权利要求13所述的滤波装置,其特征在于,所述获取单元具体用于:
若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
17.根据权利要求11或12所述的滤波装置,其特征在于,所述获取单元具体用于:
获取所述第一子单元(P)的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及与所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量;所述第一顶点(1)和所述第二顶点(2)为所述第一子单元(P)中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元(P)的第一顶点(1)相邻的第一坐标的运动矢量和与所述第一子单元(P)的第二顶点(2)相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元(P)的M个运动矢量;
根据所述第一子单元(P)的M个运动矢量得到所述第一子单元(P)的M个第二预测像素值;
根据所述第一子单元(P)的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元(P)的第一像素值。
18.根据权利要求11-17任一项所述的滤波装置,其特征在于,
所述确定单元,还用于在所述滤波单元根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理之前,确定所述滤波边界的边界强度值;
所述滤波单元,具体用于根据所述确定单元确定出的滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值间的像素差值,按照第二预设算法对与所述滤波边界相邻的像素点进行滤波处理;所述M为大于等于1的整数。
19.根据权利要求18所述的滤波装置,其特征在于,所述确定单元具体用于:
若所述第一子单元或者所述第二子单元所在的图像块中至少有一个帧内预测单元,则将所述滤波边界的边界强度值设置为2;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且所述滤波边界为变换单元划分边界,所述第一子单元或者所述第二子单元所在的变换单元至少存在一个非零系数,则将所述滤波边界的边界强度值设置为1;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且下述(1)~(3)中任一条件为真条件时,则将所述滤波边界的边界强度值设置为1;否则,将所述滤波边界的边界强度值设置为0:
(1)若所述第一子单元和所述第二子单元所在的预测单元的参考图像或者运动矢量个数不同;所述第一子单元所在的预测单元的运动矢量个数为1,所述第二子单元所在的预测单元的运动矢量个数为1,并且所述第一子单元的运动矢量与所述第二子单元的运动矢量间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(2)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(3)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,且下述a和b两个条件都为真条件:
(a)指向前向参考候选列表list0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者指向后向参考候选列表list1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;
(b)所述第一子单元所在的预测单元的指向前向参考候选列表list0的运动矢量与所述第二子单元所在的预测单元的指向后向参考候选列表list1的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者所述第一子单元所在的预测单元的指向后向参考候选列表list1的运动矢量与所述第二子单元所在的预测单元的指向前向参考候选列表list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T。
20.根据权利要求19所述的滤波装置,其特征在于,
所述运动矢量差阈值T为4个1/4亮度采样精度;
或者,若所述第一子单元和所述第二子单元所在的预测单元的运动模型不同,则所述运动矢量差阈值T为1个1/4亮度采样精度,若所述第一单元和所述第二子单元所在的预测单元的运动模型相同,则所述运动矢量差阈值T为4个1/4亮度采样精度。
21.一种滤波装置,用于对一图像块进行滤波处理,所述图像块划分为至少一个预测单元、以及至少一个变换单元,预测单元包含有非平动运动预测单元,其特征在于,所述滤波装置包括:
处理器,用于将每个预测单元划分为至少两个子单元;其中,每个子单元包含:N*N个像素点,所述N为大于等于1的整数;
遍历所述处理器划分出的至少两个子单元中的每个子单元,根据预设规则确定所述至少两个子单元中的至少一个滤波边界;
对于所述处理器确定出的至少一个滤波边界中的任一滤波边界,获取与所述滤波边界相邻的第一子单元的第一像素值和第二子单元的第一像素值;
根据所述处理器获取到的第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理;
其中,当所述滤波边界为竖直滤波边界时,所述第一子单元为与所述滤波边界相邻的上子单元,所述第二子单元为与所述滤波边界相邻的下子单元;
当所述滤波边界为水平滤波边界时,所述第一子单元为与所述滤波边界相邻的左子单元,所述第二子单元为与所述滤波边界相邻的右子单元。
22.根据权利要求21所述的滤波装置,其特征在于,对于所述至少两个子单元中的任一子单元,所述处理器具体用于:
若所述子单元包含在所述非平动运动预测单元中,则确定所述子单元的各个边界均为滤波边界;
或者,若所述子单元的第一边界为所述图像块中预测单元的划分边界、或者所述子单元的第一边界为所述图像块中变换单元的划分边界,则确定所述子单元的第一边界为滤波边界,所述第一边界为所述子单元的任一边界。
23.根据权利要求21或22所述的滤波装置,其特征在于,所述处理器具体用于:
获取所述第一子单元的第一预测像素值;
计算与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中M个子单元的运动矢量;所述M为1至4中的任一整数;
根据所述M个子单元的运动矢量得到所述第一子单元的M个第二预测像素值;
根据所述第一子单元的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元的第一像素值。
24.根据权利要求23所述的滤波装置,其特征在于,所述处理器具体用于:
若所述第一子单元包含在所述非平动运动预测单元中、或者所述第一子单元为与所述非平动运动预测单元的下边界或右边界相邻的子单元,则所述与所述第一子单元相邻的上子单元、下子单元、左子单元和右子单元中每个子单元的运动矢量根据预设的非平动运动模型推导得到。
25.根据权利要求23所述的滤波装置,其特征在于,所述处理器具体用于:
若所述第一子单元为与所述非平动运动预测单元的上边界相邻的子单元,则与所述第一子单元相邻的下子单元、左子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的上子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述上子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述上子单元的运动矢量。
26.根据权利要求23所述的滤波装置,其特征在于,所述处理器具体用于:
若所述第一子单元为与所述非平动运动预测单元的左边界相邻的子单元,则与所述第一子单元相邻的下子单元、上子单元和右子单元三个子单元的运动矢量根据预设的非平动运动模型推导得到;
若与所述第一子单元相邻的左子单元所在预测单元的运动矢量存在,则用所述第一子单元的运动矢量作为所述左子单元的运动矢量;
若所述第一子单元为帧内编码模式或者所述第一子单元的运动矢量不存在,则通过预设的非平动运动模型推导得到所述左子单元的运动矢量。
27.根据权利要求21或22所述的滤波装置,其特征在于,所述处理器具体用于:
获取所述第一子单元(P)的第一预测像素值;
按照预设的非平动运动模型推导得到与所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及与所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量;所述第一顶点(1)和所述第二顶点(2)为所述第一子单元(P)中任意两个不同的顶点;所述M为1至4中的任一整数;
将所述第一子单元(P)的第一顶点(1)相邻的上方坐标(1.1)、下方坐标(1.2)、左方坐标(1.3)和右方坐标(1.4)中M个坐标的运动矢量,以及所述第一子单元(P)的第二顶点(2)相邻的上方坐标(2.1)、下方坐标(2.2)、左方坐标(2.3)和右方坐标(2.4)中M个坐标的运动矢量组成M个运动矢量对;其中,所述M个运动矢量对中的第一运动矢量对包含:与所述第一子单元(P)的第一顶点(1)相邻的第一坐标的运动矢量和与所述第一子单元(P)的第二顶点(2)相邻的第一坐标的运动矢量的运动矢量;第一坐标为上方坐标或下方坐标或左方坐标或右方坐标;
分别按照预设的非平动运动模型对所述M个运动矢量对进行计算,得到所述第一子单元(P)的M个运动矢量;
根据所述第一子单元(P)的M个运动矢量得到所述第一子单元(P)的M个第二预测像素值;
根据所述第一子单元(P)的第一预测像素值与所述M个第二预测像素值,按照第一预设算法得到所述第一子单元(P)的第一像素值。
28.根据权利要求21-27任一项所述的滤波装置,其特征在于,
所述处理器,还用于在所述处理器根据所述第一子单元的第一像素值、以及所述第二子单元的第一像素值对与所述滤波边界相邻的像素点进行滤波处理之前,确定所述滤波边界的边界强度值;
根据所述滤波边界的边界强度值、初始阈值β0、t0、所述第一子单元和所述第二子单元中与所述滤波边界相邻的M个像素点的像素值间的像素差值,按照第二预设算法对与所述滤波边界相邻的像素点进行滤波处理;所述M为大于等于1的整数。
29.根据权利要求28所述的滤波装置,其特征在于,所述处理器具体用于:
若所述第一子单元或者所述第二子单元所在的图像块中至少有一个帧内预测单元,则将所述滤波边界的边界强度值设置为2;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且所述滤波边界为变换单元划分边界,所述第一子单元或者所述第二子单元所在的变换单元至少存在一个非零系数,则将所述滤波边界的边界强度值设置为1;
若所述第一子单元或者所述第二子单元所在的图像块中未存在帧内预测单元,且下述(1)~(3)中任一条件为真条件时,则将所述滤波边界的边界强度值设置为1;否则,将所述滤波边界的边界强度值设置为0:
(1)若所述第一子单元和所述第二子单元所在的预测单元的参考图像或者运动矢量个数不同;所述第一子单元所在的预测单元的运动矢量个数为1,所述第二子单元所在的预测单元的运动矢量个数为1,并且所述第一子单元的运动矢量与所述第二子单元的运动矢量间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(2)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于运动矢量差阈值T;
(3)所述第一子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,所述第二子单元所在的预测单元的运动矢量个数为2且两个运动矢量所指向的参考图像相同,且下述a和b两个条件都为真条件:
(a)指向前向参考候选列表list0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者指向后向参考候选列表list1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;
(b)所述第一子单元所在的预测单元的指向前向参考候选列表list0的运动矢量与所述第二子单元所在的预测单元的指向后向参考候选列表list1的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T;或者所述第一子单元所在的预测单元的指向后向参考候选列表list1的运动矢量与所述第二子单元所在的预测单元的指向前向参考候选列表list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于运动矢量差阈值T。
30.根据权利要求29所述的滤波装置,其特征在于,
所述运动矢量差阈值T为4个1/4亮度采样精度;
或者,若所述第一子单元和所述第二子单元所在的预测单元的运动模型不同,则所述运动矢量差阈值T为1个1/4亮度采样精度,若所述第一单元和所述第二子单元所在的预测单元的运动模型相同,则所述运动矢量差阈值T为4个1/4亮度采样精度。
CN201610064753.8A 2016-01-29 2016-01-29 一种去除块效应的滤波方法及装置 Active CN107027040B9 (zh)

Priority Applications (19)

Application Number Priority Date Filing Date Title
CN201610064753.8A CN107027040B9 (zh) 2016-01-29 2016-01-29 一种去除块效应的滤波方法及装置
PT168875136T PT3407609T (pt) 2016-01-29 2016-07-12 Método e aparelho de filtro de desbloqueio
EP16887513.6A EP3407609B1 (en) 2016-01-29 2016-07-12 Deblocking filter method and apparatus
CN201680080487.6A CN108605144B (zh) 2016-01-29 2016-07-12 一种去除块效应的滤波方法及装置
HUE16887513A HUE062914T2 (hu) 2016-01-29 2016-07-12 Deblocking szûrési eljárás és apparátus
BR112018015476-8A BR112018015476B1 (pt) 2016-01-29 2016-07-12 Método de filtração para remover artefato de blocagem e aparelho
PL16887513.6T PL3407609T3 (pl) 2016-01-29 2016-07-12 Sposób i urządzenie do odblokowania filtra
PCT/CN2016/089797 WO2017128634A1 (zh) 2016-01-29 2016-07-12 一种去除块效应的滤波方法及装置
SG11201806449SA SG11201806449SA (en) 2016-01-29 2016-07-12 Filtering method for removing blocking artifact and apparatus
EP23175530.7A EP4304172A1 (en) 2016-01-29 2016-07-12 Deblocking filter method and apparatus
KR1020187024722A KR102214937B1 (ko) 2016-01-29 2016-07-12 디블로킹 필터 방법 및 장치
JP2018539821A JP6825765B2 (ja) 2016-01-29 2016-07-12 ブロッキングアーティファクトを除去するためのフィルタリング方法および装置
KR1020227029544A KR102495550B1 (ko) 2016-01-29 2016-07-12 디블로킹 필터 방법 및 장치
SG10202100279XA SG10202100279XA (en) 2016-01-29 2016-07-12 Filtering method for removing blocking artifact and apparatus
KR1020217003574A KR102320733B1 (ko) 2016-01-29 2016-07-12 디블로킹 필터 방법 및 장치
ES16887513T ES2960755T3 (es) 2016-01-29 2016-07-12 Método y aparato de filtrado de eliminación de artefactos de bloques
KR1020217035045A KR102438246B1 (ko) 2016-01-29 2016-07-12 디블로킹 필터 방법 및 장치
US16/047,325 US11265572B2 (en) 2016-01-29 2018-07-27 Filtering method for removing blocking artifact and apparatus
US17/590,580 US11889102B2 (en) 2016-01-29 2022-02-01 Filtering method for removing blocking artifact and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610064753.8A CN107027040B9 (zh) 2016-01-29 2016-01-29 一种去除块效应的滤波方法及装置

Publications (3)

Publication Number Publication Date
CN107027040A true CN107027040A (zh) 2017-08-08
CN107027040B CN107027040B (zh) 2020-03-20
CN107027040B9 CN107027040B9 (zh) 2020-08-28

Family

ID=59397220

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610064753.8A Active CN107027040B9 (zh) 2016-01-29 2016-01-29 一种去除块效应的滤波方法及装置
CN201680080487.6A Active CN108605144B (zh) 2016-01-29 2016-07-12 一种去除块效应的滤波方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680080487.6A Active CN108605144B (zh) 2016-01-29 2016-07-12 一种去除块效应的滤波方法及装置

Country Status (11)

Country Link
US (2) US11265572B2 (zh)
EP (2) EP4304172A1 (zh)
JP (1) JP6825765B2 (zh)
KR (4) KR102438246B1 (zh)
CN (2) CN107027040B9 (zh)
ES (1) ES2960755T3 (zh)
HU (1) HUE062914T2 (zh)
PL (1) PL3407609T3 (zh)
PT (1) PT3407609T (zh)
SG (2) SG11201806449SA (zh)
WO (1) WO2017128634A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495759A (zh) * 2018-11-27 2019-03-19 深圳大学 图像处理方法及装置
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、系统、设备及计算机可读介质
CN110267036A (zh) * 2019-03-11 2019-09-20 杭州海康威视数字技术股份有限公司 一种滤波方法及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180043787A (ko) * 2015-08-23 2018-04-30 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN118042170A (zh) * 2018-12-13 2024-05-14 Sk电信有限公司 视频编码设备、视频解码方法和发送设备
KR20200073124A (ko) 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
CN113475082A (zh) * 2019-02-27 2021-10-01 瑞典爱立信有限公司 使用子像素运动矢量阈值的去块
KR20240044064A (ko) 2022-09-28 2024-04-04 삼성전자주식회사 3차원 반도체 소자 및 그의 제조 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110097004A1 (en) * 2009-10-28 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
CN103916676A (zh) * 2012-12-31 2014-07-09 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
US8792561B2 (en) * 2010-01-14 2014-07-29 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using deblocking filtering, and method and apparatus for decoding video by using deblocking filtering
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置
US20150256850A1 (en) * 2014-03-10 2015-09-10 Euclid Discoveries, Llc Continuous Block Tracking For Temporal Prediction In Video Encoding
US20150271514A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI246338B (en) * 2004-04-09 2005-12-21 Asustek Comp Inc A hybrid model sprite generator and a method to form a sprite
CN101653008A (zh) * 2007-04-09 2010-02-17 Lg电子株式会社 用于处理视频信号的方法和装置
JP5793511B2 (ja) * 2010-02-05 2015-10-14 テレフオンアクチーボラゲット エル エム エリクソン(パブル) デブロッキングフィルタリング制御
CN106231342B (zh) * 2010-04-13 2019-05-31 三星电子株式会社 执行去块滤波的对视频进行解码的方法
KR20110125153A (ko) 2010-05-12 2011-11-18 에스케이 텔레콤주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9270993B2 (en) * 2012-09-10 2016-02-23 Apple Inc. Video deblocking filter strength derivation
US9854252B2 (en) 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN103957425B (zh) * 2014-04-23 2018-01-23 华为技术有限公司 图像处理方法及系统
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110097004A1 (en) * 2009-10-28 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
US8792561B2 (en) * 2010-01-14 2014-07-29 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using deblocking filtering, and method and apparatus for decoding video by using deblocking filtering
CN103916676A (zh) * 2012-12-31 2014-07-09 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
US20150256850A1 (en) * 2014-03-10 2015-09-10 Euclid Discoveries, Llc Continuous Block Tracking For Temporal Prediction In Video Encoding
US20150271514A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WIEGAND, THOMAS 等: "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 7TH MEETING: PATTAYA, THAILAND》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495759A (zh) * 2018-11-27 2019-03-19 深圳大学 图像处理方法及装置
CN109495759B (zh) * 2018-11-27 2021-04-27 深圳大学 图像处理方法及装置
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、系统、设备及计算机可读介质
CN110267036A (zh) * 2019-03-11 2019-09-20 杭州海康威视数字技术股份有限公司 一种滤波方法及设备

Also Published As

Publication number Publication date
JP6825765B2 (ja) 2021-02-03
PL3407609T3 (pl) 2023-12-11
HUE062914T2 (hu) 2023-12-28
KR20210016649A (ko) 2021-02-16
EP3407609A4 (en) 2019-08-14
PT3407609T (pt) 2023-11-02
CN107027040B (zh) 2020-03-20
EP3407609B1 (en) 2023-09-06
KR102438246B1 (ko) 2022-08-30
CN107027040B9 (zh) 2020-08-28
KR20180107778A (ko) 2018-10-02
KR102495550B1 (ko) 2023-02-06
SG11201806449SA (en) 2018-08-30
CN108605144B (zh) 2021-01-29
WO2017128634A1 (zh) 2017-08-03
US11889102B2 (en) 2024-01-30
US20220159292A1 (en) 2022-05-19
CN108605144A (zh) 2018-09-28
ES2960755T3 (es) 2024-03-06
KR102214937B1 (ko) 2021-02-10
JP2019503629A (ja) 2019-02-07
SG10202100279XA (en) 2021-02-25
US20180359484A1 (en) 2018-12-13
KR20220123341A (ko) 2022-09-06
BR112018015476A2 (zh) 2018-12-18
KR20210134073A (ko) 2021-11-08
US11265572B2 (en) 2022-03-01
KR102320733B1 (ko) 2021-11-03
EP4304172A1 (en) 2024-01-10
EP3407609A1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
CN107027040A (zh) 一种去除块效应的滤波方法及装置
US20230412927A1 (en) Image data encoding/decoding method and apparatus
US20240073395A1 (en) Image data encoding/decoding method and apparatus
US20230379497A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US11758190B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US11792524B2 (en) Image data encoding/decoding method and apparatus
JP2023030007A (ja) 画像データ符号化/復号化方法及び装置
CN111869215B (zh) 受限长距离运动矢量预测方法及装置
US12003771B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US9866844B2 (en) Method, system and device for image and video coding
EP4128752A1 (en) Luma mapping with chroma scaling for gradual decoding refresh

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent
CI03 Correction of invention patent

Correction item: Claims|Description|Drawings

Correct: Claim submitted on January 19, 2020|Instruction manual and drawings

False: Claims filed on October 18, 2019|Description and drawings of the specification submitted on the application date

Number: 12-02

Page: ??

Volume: 36