CN109194957B - 一种解码端帧间预测图像的增强方法 - Google Patents

一种解码端帧间预测图像的增强方法 Download PDF

Info

Publication number
CN109194957B
CN109194957B CN201810789394.1A CN201810789394A CN109194957B CN 109194957 B CN109194957 B CN 109194957B CN 201810789394 A CN201810789394 A CN 201810789394A CN 109194957 B CN109194957 B CN 109194957B
Authority
CN
China
Prior art keywords
information
enhancement
block
current block
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810789394.1A
Other languages
English (en)
Other versions
CN109194957A (zh
Inventor
施云惠
刘小杰
丁文鹏
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810789394.1A priority Critical patent/CN109194957B/zh
Publication of CN109194957A publication Critical patent/CN109194957A/zh
Application granted granted Critical
Publication of CN109194957B publication Critical patent/CN109194957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种解码端帧间预测图像的增强方法，其使预测精度提升，从而提高压缩性能。包括步骤：(1)输入初始预测图像块Y，计算每个像素yi,j的几何信息
Figure DDA0001734461370000011
和
Figure DDA0001734461370000012
yi,j表示Y中第i行和第j列的元素，若当前图像块为Skip模式，转入步骤(2)，否则转入步骤(3)；(2)根据预测块Y的亚像素运动矢量和局部几何信息
Figure DDA0001734461370000013
从f1中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)，对于Skip模式下的增强滤波器组记为f1，非Skip模式下的增强滤波器组为f2，增强滤波器由同样的分类方法和维纳滤波得到；(3)根据预测块Y的亚像素运动矢量和局部几何信息
Figure DDA0001734461370000014
从f2中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)；(4)输出增强图像块YE。

Description

一种解码端帧间预测图像的增强方法
技术领域
本发明属于图像处理的技术领域，具体地涉及一种解码端帧间预测图像的增强方法。
背景技术
从2003年以来，H.264/AVC作为视頻标准，在互联网、数字电视、移动网络等领域得到了广泛的应用。然而随着网络与信息技术的发展，人们需要越来越多的高质量视频多媒体信息。随着1080p高清视频的普及，人们开始追求更高质量的视频体验，如4K(分辨率为3840x2160)，甚至8K(分辨率为7680x4320)；同时人们对数字视频帧率(frame rate)要求也逐渐提高，由30fps逐渐提高到60fps甚至120fps；随着智能手机，平板电脑，VR头盔和高清摄像机的广泛应用，大量的高清视频随之产生。传统视频压缩编码技术H.264/AVC已经不能满足高清视频的压缩存储与传输的需求，因此国际视频编准化组织MPEG(Moving PicturesExperts Group)和VCEG(Video Coding Experts Group)制定了新的视频压缩标准HEVC(High Efficiency Video Coding)。在相同客观质量下，HEVC相对于H.264可以节省50％的码率。
在HEVC中采用固定一维7抽头和8抽头可分离滤波器组合产生1/2和1/4像素的亮度值。对于亮度分量采用三个固定抽头系数的滤波器来通过插值得到亚像素值，这三组滤波器如表1所示，抽头数分别是7,8和7。其中第一组滤波器抽头系数的倒序就是第三组滤波器抽头系数。
表1 HEVC亮度分量插值滤波器系数
Figure BDA0001734461350000021
HEVC亚像素运动补偿采用最高精度为1/4亚像素的运动补偿。进行亚像素运动补偿首先需要估计出亚像素，HEVC亮度分量亚像素如图1所示。HEVC亮度分量亚像素示意图，大写字母表示整数像素，小写字母表示亚像素，其中亚像素a0,0，b0,0，c0,0，d0,0，h0,0和n0,0由公式(1)得到，在公式(1)中，>>表示右移操作运算。
Figure BDA0001734461350000022
其它e0,0，f0,0，g0,0，i0,0，j0,0，k0,0，p0,0，q0,0和r0,0亚像素由公式(2)得到。由于帧间预测以块为基本编码单元进行整像素运动补偿和亚像素运动补偿，整个编码单元共享相同运动矢量信息，由公式(1)和公式(2)可知，插值并没有根据物体的边缘进行相适应的插值,插值明显使物体边缘模糊，这样将造成插值在物体边缘的预测精度下降。
Figure BDA0001734461350000023
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种解码端帧间预测图像的增强方法，其使预测精度提升，从而提高压缩性能。
本发明的技术解决方案是：这种解码端帧间预测图像的增强方法，包括以下步骤：
(1)输入初始预测图像块Y，计算每个像素yi,j的几何信息
Figure BDA0001734461350000031
和
Figure BDA0001734461350000032
yi,j表示Y中第i行和第j列的元素，若当前图像块为Skip模式，转入步骤(2)，否则转入步骤(3)；
(2)根据预测块Y的亚像素运动矢量和局部几何信息
Figure BDA0001734461350000033
从f1中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)，对于Skip模式下的增强滤波器组记为f1，非Skip模式下的增强滤波器组为f2，增强滤波器由同样的分类方法和维纳滤波得到；
(3)根据预测块Y的亚像素运动矢量和局部几何信息
Figure BDA0001734461350000034
从f2中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)；
(4)输出增强图像块YE。
本发明利用预测图像的亚像素运动矢量和局部几何信息来恢复图像的边缘信息，使预测精度提升，从而提高压缩性能。
还提供了另一种解码端帧间预测图像的增强方法，包括以下步骤：
(I)解码视频流的参数信息,包括VPS,SPS和PPS信息；
(II)解码图像块的分割情况；
(III)解码当前块是否为Skip模式，如果是进入步骤(IV)，否则进入步骤(VII)；
(IV)解码当前块运动矢量信息和当前块是否需要增强，并根据运动矢量信息得到初始预测Y1；
(V)如果当前块需要增强,则根据当前块亚像素运动矢量和Y1的局部几何信息,对Y1增强得到Y1E；若当前块不需要增强,则保持Y1不变；
(VI)输出重建图像块C1；
(VII)解码当前块是否为Inter预测模式：若当前块是Inter预测模式，则解码当前块运动矢量MV相关信息、当前块是否需要增强信息和残差信息，由MV信息得到初始预测块Y2，由残差信息得到R2，进入步骤(VIII)；若当前块不是Inter预测模式，则进入步骤(X)；
(VIII)如果当前块需要增强,则根据当前块亚像素运动矢量和Y2的局部几何信息，对Y2增强得到Y2E；若当前块不需要增强，则保持Y2不变，进入步骤(IX)；
(IX)输出重建块C2；
(X)解码帧内预测方向和残差信息，得到预测块Y3和残差块R3，输出重建块C3，C3＝Y3+R3。
附图说明
图1是HEVC亮度分量亚像素示意图。
图2是本发明的流程图。
图3示出了本发明与HEVC比较(Kimono测试序列,QP＝22,27,32和37)。
图4示出了本发明与HEVC比较(NebutaFestival测试序列,QP＝22,27,32和37)。
具体实施方式
这种解码端帧间预测图像(帧间预测图像:是指由运动矢量和参考帧生成的图像,不包括残差。)的增强方法，包括以下步骤：
(1)输入初始预测图像块Y，计算每个像素yi,j的几何信息
Figure BDA0001734461350000051
和
Figure BDA0001734461350000052
yi,j表示Y中第i行和第j列的元素，若当前图像块为Skip模式，转入步骤(2)，否则转入步骤(3)；
(2)根据预测块Y的亚像素运动矢量和局部几何信息
Figure BDA0001734461350000053
从f1中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)，对于Skip模式下的增强滤波器组记为f1，非Skip模式下的增强滤波器组为f2，增强滤波器由同样的分类方法(基于局部几何性质和亚像素运动矢量)和维纳滤波得到；
(3)根据预测块Y的亚像素运动矢量和局部几何信息
Figure BDA0001734461350000054
从f2中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)；
(4)输出增强图像块YE。
本发明利用预测图像的亚像素运动矢量和局部几何信息来恢复图像的边缘信息，使预测精度提升，从而提高压缩性能。
优选地，所述步骤(1)中，由公式(3)计算其水平方向和竖直方向的梯度，
Figure BDA0001734461350000055
令gi,j,x表示yi,j水平方向的梯度信息，gi,j,y表示竖直方向上的梯度信息，令
Figure BDA0001734461350000056
表示yi,j周围的梯度信息，由公式(4)给出，其中T表示转置，
Figure BDA0001734461350000057
令
Figure BDA0001734461350000058
对Gi,j进行特征根分解，设Gi,j的特征根为λi,j,1和λi,j,2(λi,j,1≥λi,j,2)，λi,j,1称为主特征值,λi,j,2称为次特征值,λi,j,1和λi,j,2分别对应的特征向量为ηi,j,1和ηi,j,2，其中ηi,j,1表示主梯度方向，ηi,j,2表示次梯度方向；设ηi,j,1＝(ηi,j,1,x,ηi,j,1,y)，令θi,j表示yi,j的主梯度方向的角度，由公式(5)给出，
Figure BDA0001734461350000061
令λ′i,j,1表示yi,j主梯度方向相对强度，由公式(6)给出，
Figure BDA0001734461350000062
令μi,j表示yi,j的主次特征值的一致性，由公式(7)给出，
Figure BDA0001734461350000063
对θi,j，λ′i,j,1和μi,j分别量化，
Figure BDA0001734461350000064
λ′i,j,1∈[0,1]，μi,j∈[0,1]，令
Figure BDA0001734461350000065
Figure BDA0001734461350000066
和
Figure BDA0001734461350000067
分别表示θi,j，λ′i,j,1和μi,j量化后的值，由公式(8)给出,在公式(8)中floor表示向下取整，
Figure BDA0001734461350000069
优选地，所述步骤(1)中，θi,j，λ′i,j,1和μi,j分别分为了24,3和3类，对像素yi,j的局部几何信息由
Figure BDA00017344613500000611
和
Figure BDA00017344613500000612
表示，同时将亚像素运动矢量MVfrac也加入分类信息，对于像素yi,j的分类由MVfrac,
Figure BDA00017344613500000613
和
Figure BDA00017344613500000614
决定，一共有3456(16×24×3×3)种分类，同时根据是否是yi,j像素所在的块是否是Skip模式新增一种分类，像素一共分成6912(3456×2)种类；每一种的像素分类对应着一个增强滤波器，一共有6912种增强滤波器，每个增强滤波器的尺寸为3x3，对于Skip模式下的增强滤波器组记为3456个，非Skip模式下的增强滤波器组为3456个，滤波器组f1和f2为离线增强滤波器，不需要传输,编解码端共享增强滤波器。
如图2所示，还提供了另一种解码端帧间预测图像的增强方法，包括以下步骤：
(I)解码视频流的参数信息,包括VPS,SPS和PPS信息；
(II)解码图像块的分割情况；
(III)解码当前块是否为Skip模式，如果是进入步骤(IV)，否则进入步骤(VII)；
(IV)解码当前块运动矢量信息和当前块是否需要增强，并根据运动矢量信息得到初始预测Y1；
(V)如果当前块需要增强,则根据当前块亚像素运动矢量和Y1的局部几何信息,对Y1增强得到Y1E；若当前块不需要增强,则保持Y1不变；
(VI)输出重建图像块C1；
(VII)解码当前块是否为Inter预测模式：若当前块是Inter预测模式，则解码当前块运动矢量MV相关信息、当前块是否需要增强信息和残差信息，由MV信息得到初始预测块Y2，由残差信息得到R2，进入步骤(VIII)；若当前块不是Inter预测模式，则进入步骤(X)；
(VIII)如果当前块需要增强,则根据当前块亚像素运动矢量和Y2的局部几何信息，对Y2增强得到Y2E；若当前块不需要增强，则保持Y2不变，进入步骤(IX)；
(IX)输出重建块C2；
(X)解码帧内预测方向和残差信息，得到预测块Y3和残差块R3，输出重建块C3，C3＝Y3+R3。
优选地，所述步骤(II)中，图像块的分割情况为CU的分割情况。
优选地，所述步骤(VI)中，若当前块需要增强则C1＝Y1E，否则C1＝Y1。
优选地，所述步骤(IX)中，若当前块需要增强则C2＝Y2E+R2，否则C2＝Y2+R2。
为了验证所提方案的有效性，将所得的解码器对应的编码方案与HEVC参考代码HM12.1做了比较，所提出的算法只应用到亮度分量。
采用lowdelay_P_main配置文件，测试了低码率(量化参数QP＝22,27,32和37)和高码率(QP＝10,14,18和22)，采用BD-Rate标准[5]评价实验结果，测试集来源于HEVC标准测试集。
所提出的算法在低码率下取得最高增益的序列为NebutaFestival，比HEVC码率节省11.16％，平均取得了3.43％的增益。所提出的算法在高码率下取得最高增益的序列为Kimono，比HEVC码率节省7.59％，平均取得了4.52％的增益。图3和图4展示了Kimono和NebutaFestival在低码率下所提出的方法和HEVC算法客观质量PSNR和Bitrate曲线，由曲线可知在同等码率情况下，所提出算法的客观质量PSNR都高于HEVC。
表2：本发明的算法在低码率下与HEVC比较
Figure BDA0001734461350000081
Figure BDA0001734461350000091
表3：本发明的算法在高码率下与HEVC比较
Figure BDA0001734461350000092
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (7)

1.一种解码端帧间预测图像的增强方法，其特征在于，包括以下步骤：
(1)输入初始预测图像块Y，计算每个像素yi,j的几何信息
Figure FDA0002986571480000011
和
Figure FDA0002986571480000012
Figure FDA0002986571480000013
和
Figure FDA0002986571480000014
分别表示θi,j，λ′i,j,1和μi,j量化后的值，由公式(8)给出，
Figure FDA0002986571480000015
其中，θi,j表示yi,j的主梯度方向的角度，λ′i,j,1表示yi,j主梯度方向相对强度，μi,j表示yi,j的主次特征值的一致性，yi,j表示Y中第i行和第j列的元素，floor表示向下取整，
若当前图像块为Skip模式，转入步骤(2)，否则转入步骤(3)；
(2)根据预测图像块Y的亚像素运动矢量和局部几何信息
Figure FDA0002986571480000016
从f1中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)，对于Skip模式下的增强滤波器组记为f1，非Skip模式下的增强滤波器组为f2，增强滤波器由同样的分类方法和维纳滤波得到；
(3)根据预测图像块Y的亚像素运动矢量和局部几何信息
Figure FDA0002986571480000017
从f2中找到相应的增强滤波器，并对每个像素yi,j进行增强，转入步骤(4)；
(4)输出增强图像块YE。
2.根据权利要求1所述的解码端帧间预测图像的增强方法，其特征在于，所述步骤(1)中，由公式(3)计算其水平方向和竖直方向的梯度，
Figure FDA0002986571480000018
令gi,j,x表示yi,j水平方向的梯度信息，gi,j,y表示竖直方向上的梯度信息，令
Figure FDA0002986571480000019
表示yi,j周围的梯度信息，由公式(4)给出，其中T表示转置，
Figure FDA0002986571480000021
令
Figure FDA0002986571480000022
对Gi,j进行特征根分解，设Gi,j的特征根为λi,j,1和λi,j,2，λi,j,1≥λi,j,2，λi,j,1称为主特征值,λi,j,2称为次特征值,λi,j,1和λi,j,2分别对应的特征向量为ηi,j,1和ηi,j,2，其中ηi,j,1表示主梯度方向，ηi,j,2表示次梯度方向；设ηi,j,1＝(ηi,j,1,x,ηi,j,1,y)，令θi,j表示yi,j的主梯度方向的角度，由公式(5)给出，
Figure FDA0002986571480000023
令λ′i,j,1表示yi,j主梯度方向相对强度，由公式(6)给出，
Figure FDA0002986571480000024
令μi,j表示yi,j的主次特征值的一致性，由公式(7)给出，
Figure FDA0002986571480000025
对θi,j，λ′i,j,1和μi,j分别量化，
Figure FDA0002986571480000026
λ′i,j,1∈[0,1]，μi,j∈[0,1]。
3.根据权利要求2所述的解码端帧间预测图像的增强方法，其特征在于，所述步骤(1)中，θi,j，λ′i,j,1和μi,j分别分为了24,3和3类，对像素yi,j的局部几何信息由
Figure FDA0002986571480000027
Figure FDA0002986571480000028
和
Figure FDA0002986571480000029
表示，同时将亚像素运动矢量MVfrac也加入分类信息，对于像素yi,j的分类由MVfrac,
Figure FDA00029865714800000210
和
Figure FDA00029865714800000211
决定，一共有3456种分类，同时根据yi,j像素所在的块是否是Skip模式新增一种分类，像素一共分成6912种类；每一种的像素分类对应着一个增强滤波器，一共有6912种增强滤波器，每个增强滤波器的尺寸为3x3，Skip模式下的增强滤波器组为3456个，非Skip模式下的增强滤波器组为3456个。
4.一种解码端帧间预测图像的增强方法，其特征在于，包括以下步骤：
(Ⅰ)解码视频流的参数信息,包括VPS,SPS和PPS信息；
(Ⅱ)解码图像块的分割情况；
(Ⅲ)解码当前块是否为Skip模式，如果是进入步骤(IV)，否则进入步骤(VII)；
(Ⅳ)解码当前块运动矢量信息和当前块是否需要增强，并根据运动矢量信息得到初始预测块Y1；
(Ⅴ)如果当前块需要增强,则根据当前块亚像素运动矢量和Y1的局部几何信息
Figure FDA0002986571480000031
Figure FDA0002986571480000032
对Y1增强得到Y1E；若当前块不需要增强,则保持Y1不变；
(Ⅵ)输出重建图像块C1；
(Ⅶ)解码当前块是否为Inter预测模式：若当前块是Inter预测模式，则解码当前块运动矢量MV相关信息、当前块是否需要增强信息和残差信息，由MV信息得到初始预测块Y2，由残差信息得到R2，进入步骤(VIII)；若当前块不是Inter预测模式，则进入步骤(X)；
(Ⅷ)如果当前块需要增强,则根据当前块亚像素运动矢量和Y2的局部几何信息
Figure FDA0002986571480000033
Figure FDA0002986571480000034
对Y2增强得到Y2E；若当前块不需要增强，则保持Y2不变，进入步骤(IX)；
(Ⅸ)输出重建块C2；
(Ⅹ)解码帧内预测方向和残差信息，得到预测块Y3和残差块R3，输出重建块C3，C3＝Y3+R3；
由公式(8)给出，
Figure FDA0002986571480000035
其中，
Figure FDA0002986571480000036
和
Figure FDA0002986571480000037
分别表示θi,j，λ′i,j,1和μi,j量化后的值，θi,j表示yi,j的主梯度方向的角度，λ′i,j,1表示yi,j主梯度方向相对强度，μi,j表示yi,j的主次特征值的一致性，yi,j表示初始预测块中第i行和第j列的元素，floor表示向下取整。
5.根据权利要求4所述的解码端帧间预测图像的增强方法，其特征在于，所述步骤(Ⅱ)中，图像块的分割情况为CU的分割情况。
6.根据权利要求5所述的解码端帧间预测图像的增强方法，其特征在于，所述步骤(Ⅵ)中，若当前块需要增强则C1＝Y1E，否则C1＝Y1。
7.根据权利要求6所述的解码端帧间预测图像的增强方法，其特征在于，所述步骤(Ⅸ)中，若当前块需要增强则C2＝Y2E+R2，否则C2＝Y2+R2。
CN201810789394.1A 2018-07-18 2018-07-18 一种解码端帧间预测图像的增强方法 Active CN109194957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810789394.1A CN109194957B (zh) 2018-07-18 2018-07-18 一种解码端帧间预测图像的增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810789394.1A CN109194957B (zh) 2018-07-18 2018-07-18 一种解码端帧间预测图像的增强方法

Publications (2)

Publication Number Publication Date
CN109194957A CN109194957A (zh) 2019-01-11
CN109194957B true CN109194957B (zh) 2021-05-18

Family

ID=64936218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810789394.1A Active CN109194957B (zh) 2018-07-18 2018-07-18 一种解码端帧间预测图像的增强方法

Country Status (1)

Country Link
CN (1) CN109194957B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789119A (zh) * 2009-01-23 2010-07-28 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN103597831A (zh) * 2011-06-20 2014-02-19 联发科技（新加坡）私人有限公司 方向帧内预测方法及其装置
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569863B2 (en) * 2012-08-06 2017-02-14 Siemens Healthcare Gmbh System for accelerated segmented MR image data acquisition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789119A (zh) * 2009-01-23 2010-07-28 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN103597831A (zh) * 2011-06-20 2014-02-19 联发科技（新加坡）私人有限公司 方向帧内预测方法及其装置
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于再生核W空间的图像插值算法;施云惠等;《计算机仿真》;20070331;全文 *
视频压缩中的高效帧内编码技术研究;张涛;《中国博士学位论文全文数据库》;20180131;全文 *

Also Published As

Publication number Publication date
CN109194957A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
US11523111B2 (en) Encoder, a decoder and corresponding methods using an adaptive loop filter
Tsai et al. Adaptive loop filtering for video coding
CN105959706B (zh) 图像编码装置和方法、以及图像译码装置和方法
EP2278813B1 (en) Apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
US8582666B2 (en) Image compression and decompression
TWI665908B (zh) 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法、電腦可讀取記錄媒體
CN104125466B (zh) 一种基于gpu的hevc并行解码方法
KR20220066045A (ko) 비디오 코딩의 스케일링 윈도우
KR20040069210A (ko) 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상
DE102020125206A1 (de) Verfahren und system zur mehrkanalvideocodierung mit frameratenänderung und kanalübergreifender referenzierung
KR20220061108A (ko) 비디오 코딩에서 레퍼런스 샘플 위치 유도
US20230051066A1 (en) Partitioning Information In Neural Network-Based Video Coding
CN116033163A (zh) 用于视频译码中去块效应滤波器的装置和方法
Tan et al. Fast motion re-estimation for arbitrary downsizing video transcoding using H. 264/AVC standard
CN114640845B (zh) 编解码方法、装置及其设备
Wang et al. Neural network-based enhancement to inter prediction for video coding
EP3700210A1 (en) Method and apparatus for image encoding
CN109194957B (zh) 一种解码端帧间预测图像的增强方法
AU2018429284B2 (en) Device and method for intra-prediction
RU2783348C1 (ru) Кодер, декодер и соответствующие способы получения граничной мощности фильтра деблокинга
Nilson Inter-Picture Prediction for Video Compression using Low Pass and High Pass Filters
US20230128496A1 (en) Motion compensation with a sparse optical flow representation
Saldanha et al. Versatile Video Coding (VVC)
Moji et al. A Survey on In-Loop Filters of High Efficiency Video Coding Standard
Huang et al. A multi-frame post-processing approach to improved decoding of H. 264/AVC video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant