CN104754357A - 基于卷积神经网络的帧内编码优化方法及装置 - Google Patents
基于卷积神经网络的帧内编码优化方法及装置 Download PDFInfo
- Publication number
- CN104754357A CN104754357A CN201510130890.2A CN201510130890A CN104754357A CN 104754357 A CN104754357 A CN 104754357A CN 201510130890 A CN201510130890 A CN 201510130890A CN 104754357 A CN104754357 A CN 104754357A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- coding unit
- current coding
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 238000013139 quantization Methods 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视频压缩技术领域,具体涉及一种基于卷积神经网络的帧内编码优化方法及装置。首先将当前编码单元压缩成尺寸为8×8的数据块,并计算所述8×8的数据块的边缘强度,然后根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型为平坦的编码单元、强边缘强度的编码单元或者模式不确定的编码单元,对于尺寸为32×32或者8×8的模式不确定的编码单元,进一步利用卷积神经网络确定编码单元的类型。通过对当前的编码单元不同的分类结果进行不同的编码模式处理,可以有效降低搜索编码单元CU的数量,从而减少编码的复杂度,实现实时编码。
Description
技术领域
本发明涉及视频压缩技术领域,具体涉及一种基于卷积神经网络的帧内编码优化方法及装置。
背景技术
高效率视频编码(HEVC,High Efficiency Video Coding)是联合视频组在2013年发布的新一代视频编码标准。与上一代视频编码标准H.264相比较,在相同的视频质量情况下,其压缩效率提高了一倍左右,也就是比特率降低一半左右。HEVC定义了3种类型的单元:编码单元(CU,Coding Unit)、预测单元(PU,Prediction Unit)以及变换单元(TU,Transform Unit)。对于编码的一帧图像,首先被分割成多个最大编码单元(LCU,Largest Coding Unit),LCU又分割为四个子的CU,每个子的CU可以继续分割直到最大深度为止。HEVC标准定义了四种尺寸类型的CU:64×64(LCU),32×32,16×16,8×8,其中,对于尺寸为8×8的CU,其PU的尺寸可以为8×8或4×4的预测模型由H.264的9种扩大至35种,包括直流(DC)和planar模式。TU是针对正交变换和量化。
HEVC采用的递归的方式对LCU进行四叉树结构的划分。一个LCU会递归遍历所有深度的CU。HEVC的帧内预测模式的搜寻过程:先利用基于绝对差的和的代价函数遍历全部的35中预测模式,从中寻出n中候选模式,再提取上边块和左边块的最佳预测模式并构成最有可能的候选模式,最后把n种和最有可能的候选模式构成预测模式集合,利用率失真代价选取最佳的预测模式。TU是在CU/PU模式确定后所得到的残差进行的变换单元,找到残差矩阵最佳的分割模式,最大的减少信息冗余,使得最终的编码信息最少。
整个帧内编码模式搜索的过程,就是从HEVC标准定义的所有CU/PU/TU模式组合中寻找到最优的三者组合模式,该过程按照率失真代价最优的原则进行。然而整个帧内编码模式搜索过程所带来的计算复杂度是十分巨大的,因而需要一系列的快速编码算法,来减少编码器的编码负担。目前,减少编码器计算复杂度的算法主要可以分成三类:一是利用提前终止的算法,减少不太可能的CU模式搜索;二是滤除帧内预测时不太可能的预测模式;三是简化率失真的计算复杂度。
采用以上方法后,在平均意义上确实可以大幅度的降低编码器的计算复杂度,然而在实际的编码过程中存在着不确定性和不稳定性,很难完成实时编码的实现。
发明内容
针对现有技术在实际的编码过程中存在着不确定性和不稳定性,很难完成实时编码的实现的缺陷,本发明提供了一种基于卷积神经网络的帧内编码优化方法及装置。
本发明提供的一种基于卷积神经网络的帧内编码优化方法,包括:
将当前编码单元压缩成尺寸为8×8的数据块,并获取所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
进一步地,所述将当前编码单元压缩成尺寸为8×8的数据块的步骤,包括:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。
进一步地,所述采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块的步骤,具体为:
采用以下公式将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
进一步地,所述获取所述8×8的数据块的边缘强度的步骤,具体包括:
采用以下公式计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
进一步地,所述根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型的步骤,包括:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式:
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
另一方面,本发明还提供了一种基于卷积神经网络的帧内编码优化装置,包括:
压缩单元,用于将当前编码单元压缩成尺寸为8×8的数据块,并获取所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
第一分类单元,用于根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
第一编码单元,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
第二分类单元,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
第二编码单元,用于若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
第三编码单元,用于若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
进一步地,所述压缩单元,具体用于:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。
进一步地,所述压缩单元进一步用于:
采用以下公式将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
进一步地,所述压缩单元,还用于:
采用以下公式计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
进一步地,所述第一分类单元,具体用于:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式:
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
本发明提供的一种基于卷积神经网络的帧内编码优化方法及装置,通过对当前的编码单元分类,针对不同的分类结果进行不同的编码模式处理,可以有效降低搜索编码单元CU的数量,从而减少编码的复杂度,实现实时编码。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1是本发明一个实施例中基于卷积神经网络的帧内编码优化方法的流程示意图;
图2是本发明一个实施例中卷积神经网络的结构示意图;
图3是本发明一个实施例中基于卷积神经网络的帧内编码优化装置的结构示意图。
具体实施方式
现结合附图和实施例对本发明技术方案作进一步详细阐述。
整个帧内编码模式搜索的过程,就是从HEVC标准定义的所有CU/PU/TU模式组合中寻找到最优的三者组合模式,该过程按照率失真代价最优的原则进行。用向量表示CU/PU/TU的编码模式,HEVC的参考编码器不厌其烦的搜索所有标准定义的向量从中找到一个向量使得率失真代价最小,该过程可以用以下公式来表示:
其中,和分别表示以模式进行编码的失真率和比特率,λ是拉格朗日因子,用于调节和在编码代价的比重。在HEVC参考代码中,每一个模式向量都要搜索,以此得到该模式对应的率失真,并且比较得到最优的编码模式实验表明随着CU/PU/TU的深度加深,模式向量的个数会大幅增加,从而导致编码器的复杂度急剧上升。
实际上,最优的编码模式才是最终编解码器所需要的,其他的编码模式是非必要的,然而这些非必要的搜索过程所带来的计算复杂度是十分巨大的,因而需要一系列的快速编码算法,来减少编码器的编码负担。
图1示出了本实施例中基于卷积神经网络的帧内编码优化方法的流程示意图,如图1所示,本实施例提供的一种基于卷积神经网络的帧内编码优化方法,包括:
S1,将当前编码单元压缩成尺寸为8×8的数据块,并获取所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
S2,根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
S3,若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
S4,若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
S5,若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
S6,若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
其中,所述S1中将当前编码单元压缩成尺寸为8×8的数据块的步骤,包括:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。具体为:
采用以下公式将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
进一步地,所述S1中获取所述8×8的数据块的边缘强度的步骤,具体包括:
采用以下公式计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
进一步地,所述S2中根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型的步骤,包括:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式:
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
其中,量化参数Qp和量化步长Qs的关系为:
其中,[[]]表示向下取整操作,%表示模操作。
在S4中,若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将压缩得到的8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元,通过卷积神经网络根据输入的所述8×8的数据块的纹理特征,最终把所述当前编码单元确定为平坦的编码单元或者强边缘强度的编码单元。
其中,卷积神经网络的结构如图2所示。卷积神经网络共有6层(包括输入层),第一层(输入层)是8×8的数据块输入;第二层是有6个特征图的卷积层,每个特征图的尺寸为6×6,卷积核的尺寸是3×3;第三层有6个下采样层,它对第二层的特征图进行子采样,采样的卷积核尺寸是2×2;第四层是有16个特征图的卷积层,每个特征图的尺寸为1×1,卷积核尺寸为3×3;从第四层到第六层(输出层),是全连接的多层神经元网络结构,且第五层和第六层的神经元个数分别为10和2个,根据输出层的结果,最终得到当前尺寸为32×32或8×8编码单元的分类。
本实施例提供的一种基于卷积神经网络的帧内编码优化方法,通过对当前的编码单元分类,针对不同的分类结果进行不同的编码模式处理,可以有效降低搜索编码单元CU的数量,从而减少编码的复杂度,实现实时编码。
另一方面,如图3所示,本实施例还提供了一种基于卷积神经网络的帧内编码优化装置,包括:
压缩单元101,用于将当前编码单元压缩成尺寸为8×8的数据块,并计算所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
第一分类单元102,用于根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
第一编码单元103,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
第二分类单元104,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
第二编码单元105,用于若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
第三编码单元106,用于若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
进一步地,所述压缩单元101,具体用于:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。
进一步地,所述压缩单元101进一步用于:
采用以下公式将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
进一步地,所述压缩单元101,还用于:
采用以下公式计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
进一步地,所述第一分类单元102,具体用于:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式:
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
本实施例提供的一种基于卷积神经网络的帧内编码优化装置,通过对当前的编码单元分类,针对不同的分类结果进行不同的编码模式处理,可以有效降低搜索编码单元CU的数量,从而减少编码的复杂度,实现实时编码。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于卷积神经网络的帧内编码优化方法,其特征在于,所述方法包括:
将当前编码单元压缩成尺寸为8×8的数据块,并获取所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
2.根据权利要求1所述的方法,其特征在于,所述将当前编码单元压缩成尺寸为8×8的数据块的步骤,包括:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。
3.根据权利要求2所述的方法,其特征在于,所述采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块的步骤,具体为:
采用公式(1)将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
4.根据权利要求1所述的方法,其特征在于,所述获取所述8×8的数据块的边缘强度的步骤,具体包括:
采用公式(2)计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
5.根据权利要求1所述的方法,其特征在于,所述根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型的步骤,包括:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式(3):
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
6.一种基于卷积神经网络的帧内编码优化装置,其特征在于,所述装置,包括:
压缩单元,用于将当前编码单元压缩成尺寸为8×8的数据块,并获取所述8×8的数据块的边缘强度,所述当前编码单元的尺寸为N×N,其中N∈{8,16,32,64};
第一分类单元,用于根据所述8×8的数据块的边缘强度确定所述当前编码单元的类型,所述类型包括平坦的编码单元、强边缘强度的编码单元和模式不确定的编码单元;
第一编码单元,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为64×64或者16×16,则对所述当前编码单元进行最优编码模式搜索,并且进行分割;
第二分类单元,用于若所述当前编码单元为模式不确定的编码单元,并且所述当前编码单元的尺寸为32×32或者8×8,则将所述8×8的数据块输入卷积神经网络中,确定所述当前编码单元为平坦的编码单元或者强边缘强度的编码单元;
第二编码单元,用于若所述当前编码单元为平坦的编码单元,则只对所述当前编码单元进行最优编码模式的搜索,并不对所述当前编码单元进行分割;
第三编码单元,用于若所述当前编码单元为强边缘强度的编码单元,则不对所述当前编码单元进行最优编码模式的搜索,直接进行分割。
7.根据权利要求6所述的装置,其特征在于,所述压缩单元,具体用于:
采用局部平均和下采样的方式将当前编码单元压缩成尺寸为8×8的数据块。
8.根据权利要求7所述的装置,其特征在于,所述压缩单元进一步用于:
采用公式(1)将当前编码单元压缩成尺寸为8×8的数据块,
其中,pi,j为压缩后尺寸为8×8的数据块中在(i,j)处的像素值,i,j∈{0,1,2,...,7},Cl,k为当前编码单元在(l,k)处的像素值。
9.根据权利要求6所述的装置,其特征在于,所述压缩单元,还用于:
采用公式(2)计算所述8×8的数据块在(i,j)位置的边缘强度值δi,j,
其中,δxi,j为边缘强度值得水平分量,δyi,j为边缘强度值的竖直分量,i,j∈{0,1,2,...,6}。
10.根据权利要求6所述的装置,其特征在于,所述第一分类单元,具体用于:
判断所述8×8的数据块中边缘强度的最大值δmax以及边缘强度之和是否满足以下公式(3):
其中,dQ=u(Qp-Qs)×Qp2+u(Qs-Qp)×Qs2,Qp是量化参数,Qs是量化步长,u(x)是单位阶跃函数;
若满足,则所述当前编码单元为平坦的编码单元;
若不满足,则判断所述8×8的数据块中水平和竖直边缘强度绝对值都大于量化参数Qp的点的个数α是否大于预设阀值,若大于则所述当前编码单元为强边缘强度的编码单元,否则为模式不确定的编码单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510130890.2A CN104754357B (zh) | 2015-03-24 | 2015-03-24 | 基于卷积神经网络的帧内编码优化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510130890.2A CN104754357B (zh) | 2015-03-24 | 2015-03-24 | 基于卷积神经网络的帧内编码优化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104754357A true CN104754357A (zh) | 2015-07-01 |
CN104754357B CN104754357B (zh) | 2017-08-11 |
Family
ID=53593365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510130890.2A Active CN104754357B (zh) | 2015-03-24 | 2015-03-24 | 基于卷积神经网络的帧内编码优化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104754357B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107071418A (zh) * | 2017-05-05 | 2017-08-18 | 上海应用技术大学 | 一种基于决策树的hevc帧内编码单元快速划分方法 |
CN108259897A (zh) * | 2018-01-23 | 2018-07-06 | 北京易智能科技有限公司 | 一种基于深度学习的帧内编码优化方法 |
CN108924558A (zh) * | 2018-06-22 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的视频预测编码方法 |
CN109117945A (zh) * | 2017-06-22 | 2019-01-01 | 上海寒武纪信息科技有限公司 | 处理器及其处理方法、芯片、芯片封装结构及电子装置 |
WO2019072097A1 (en) * | 2017-10-12 | 2019-04-18 | Mediatek Inc. | VIDEO ENCODING METHOD USING NEURAL NETWORK |
WO2019144865A1 (en) * | 2018-01-26 | 2019-08-01 | Mediatek Inc. | Method and apparatus of neural networks with grouping for video coding |
CN110087092A (zh) * | 2019-03-11 | 2019-08-02 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
CN110166779A (zh) * | 2019-05-23 | 2019-08-23 | 西安电子科技大学 | 基于超分辨率重构的视频压缩方法 |
WO2019179523A1 (zh) * | 2018-03-22 | 2019-09-26 | 北京航空航天大学 | 基于深度学习方法的块分割编码复杂度优化方法及装置 |
CN110324620A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 帧内预测方法、装置、电子设备及机器可读存储介质 |
CN110324624A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 一种确定最优编码单元的方法、装置 |
CN110337813A (zh) * | 2017-07-06 | 2019-10-15 | 三星电子株式会社 | 用于对图像进行编码/解码的方法及其装置 |
CN111837140A (zh) * | 2018-09-18 | 2020-10-27 | 谷歌有限责任公司 | 视频代码化的感受野一致卷积模型 |
US11288770B2 (en) | 2018-10-19 | 2022-03-29 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11663747B2 (en) | 2018-10-19 | 2023-05-30 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110075739A1 (en) * | 1996-09-20 | 2011-03-31 | At&T Intellectual Property Ii, L.P. | Video Coder Providing Implicit Coefficient Prediction and Scan Adaptation for Image Coding and Intra Coding of Video |
CN102638682A (zh) * | 2011-02-10 | 2012-08-15 | 索尼公司 | 图像编码设备,图像解码设备,其方法和程序 |
US20140072053A1 (en) * | 2011-11-16 | 2014-03-13 | Alexander Zheludkov | Video compression for high efficiency video coding |
CN103647969A (zh) * | 2011-07-06 | 2014-03-19 | 北京航空航天大学 | 一种基于对象的快速分形视频压缩与解压缩方法 |
CN103702131A (zh) * | 2013-12-25 | 2014-04-02 | 清华大学 | 一种基于模式预处理的帧内编码优化方法和系统 |
-
2015
- 2015-03-24 CN CN201510130890.2A patent/CN104754357B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110075739A1 (en) * | 1996-09-20 | 2011-03-31 | At&T Intellectual Property Ii, L.P. | Video Coder Providing Implicit Coefficient Prediction and Scan Adaptation for Image Coding and Intra Coding of Video |
CN102638682A (zh) * | 2011-02-10 | 2012-08-15 | 索尼公司 | 图像编码设备,图像解码设备,其方法和程序 |
CN103647969A (zh) * | 2011-07-06 | 2014-03-19 | 北京航空航天大学 | 一种基于对象的快速分形视频压缩与解压缩方法 |
US20140072053A1 (en) * | 2011-11-16 | 2014-03-13 | Alexander Zheludkov | Video compression for high efficiency video coding |
CN103702131A (zh) * | 2013-12-25 | 2014-04-02 | 清华大学 | 一种基于模式预处理的帧内编码优化方法和系统 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107071418A (zh) * | 2017-05-05 | 2017-08-18 | 上海应用技术大学 | 一种基于决策树的hevc帧内编码单元快速划分方法 |
CN109117945A (zh) * | 2017-06-22 | 2019-01-01 | 上海寒武纪信息科技有限公司 | 处理器及其处理方法、芯片、芯片封装结构及电子装置 |
CN109117945B (zh) * | 2017-06-22 | 2021-01-26 | 上海寒武纪信息科技有限公司 | 处理器及其处理方法、芯片、芯片封装结构及电子装置 |
CN110337813A (zh) * | 2017-07-06 | 2019-10-15 | 三星电子株式会社 | 用于对图像进行编码/解码的方法及其装置 |
US11363302B2 (en) | 2017-10-12 | 2022-06-14 | Mediatek Inc. | Method and apparatus of neural network for video coding |
CN111133756B (zh) * | 2017-10-12 | 2022-04-19 | 联发科技股份有限公司 | 用于视频编码的神经网络方法和装置 |
WO2019072097A1 (en) * | 2017-10-12 | 2019-04-18 | Mediatek Inc. | VIDEO ENCODING METHOD USING NEURAL NETWORK |
CN111133756A (zh) * | 2017-10-12 | 2020-05-08 | 联发科技股份有限公司 | 用于视频编码的神经网络方法和装置 |
CN108259897B (zh) * | 2018-01-23 | 2021-08-27 | 北京易智能科技有限公司 | 一种基于深度学习的帧内编码优化方法 |
CN108259897A (zh) * | 2018-01-23 | 2018-07-06 | 北京易智能科技有限公司 | 一种基于深度学习的帧内编码优化方法 |
GB2585517B (en) * | 2018-01-26 | 2022-12-14 | Mediatek Inc | Method and apparatus of neural networks with grouping for video coding |
GB2585517A (en) * | 2018-01-26 | 2021-01-13 | Mediatek Inc | Method and apparatus of neural networks with grouping for video coding |
WO2019144865A1 (en) * | 2018-01-26 | 2019-08-01 | Mediatek Inc. | Method and apparatus of neural networks with grouping for video coding |
WO2019179523A1 (zh) * | 2018-03-22 | 2019-09-26 | 北京航空航天大学 | 基于深度学习方法的块分割编码复杂度优化方法及装置 |
CN110324620B (zh) * | 2018-03-30 | 2021-08-24 | 杭州海康威视数字技术股份有限公司 | 帧内预测方法、装置、电子设备及机器可读存储介质 |
CN110324624A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 一种确定最优编码单元的方法、装置 |
CN110324620A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 帧内预测方法、装置、电子设备及机器可读存储介质 |
CN108924558A (zh) * | 2018-06-22 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的视频预测编码方法 |
CN108924558B (zh) * | 2018-06-22 | 2021-10-22 | 电子科技大学 | 一种基于神经网络的视频预测编码方法 |
CN111837140A (zh) * | 2018-09-18 | 2020-10-27 | 谷歌有限责任公司 | 视频代码化的感受野一致卷积模型 |
US11288770B2 (en) | 2018-10-19 | 2022-03-29 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11663747B2 (en) | 2018-10-19 | 2023-05-30 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
US11688038B2 (en) | 2018-10-19 | 2023-06-27 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
CN110087092A (zh) * | 2019-03-11 | 2019-08-02 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
CN110166779B (zh) * | 2019-05-23 | 2021-06-08 | 西安电子科技大学 | 基于超分辨率重构的视频压缩方法 |
CN110166779A (zh) * | 2019-05-23 | 2019-08-23 | 西安电子科技大学 | 基于超分辨率重构的视频压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104754357B (zh) | 2017-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104754357B (zh) | 基于卷积神经网络的帧内编码优化方法及装置 | |
Park | Edge-based intramode selection for depth-map coding in 3D-HEVC | |
TWI634777B (zh) | 搜索參考區塊的方法 | |
Cui et al. | Convolutional neural networks based intra prediction for HEVC | |
CN108184115B (zh) | Hevc帧内cu划分和pu预测模式选择方法及系统 | |
CN111462261B (zh) | 针对h.266/vvc的快速cu分区和帧内决策方法 | |
CN103248895B (zh) | 一种用于hevc帧内编码的快速模式估计方法 | |
Hu et al. | Fast HEVC intra mode decision based on logistic regression classification | |
CN104982035B (zh) | 用于对数字图像的序列进行编码的方法 | |
Wige et al. | Pixel-based averaging predictor for HEVC lossless coding | |
CN111479110B (zh) | 针对h.266/vvc的快速仿射运动估计方法 | |
CN102917225A (zh) | Hevc帧内编码单元快速选择方法 | |
CN105430391A (zh) | 基于逻辑回规分类器的帧内编码单元快速选择方法 | |
Hamout et al. | Fast depth map intra coding for 3D video compression-based tensor feature extraction and data analysis | |
CN104168480A (zh) | 基于hevc标准的帧内预测编码模式快速选择方法 | |
EP4049244A1 (en) | Ultra light models and decision fusion for fast video coding | |
KR20180079314A (ko) | 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치 | |
CN114222133B (zh) | 一种基于分类的内容自适应vvc帧内编码快速划分方法 | |
CN103702131B (zh) | 一种基于模式预处理的帧内编码优化方法和系统 | |
Shen et al. | A novel method for lossless compression of arbitrarily shaped regions of interest in hyperspectral imagery | |
CN108833928B (zh) | 交通监控视频编码方法 | |
RU2562414C1 (ru) | Способ быстрого выбора режима пространственного предсказания в системе кодирования hevc | |
CN112770120B (zh) | 基于深度神经网络的3d视频深度图帧内快速编码方法 | |
CN112001854A (zh) | 一种编码图像的修复方法及相关系统和装置 | |
Zhang et al. | Edge-detection based fast intra-mode selection for depth map coding in 3D-HEVC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |