CN107623850A - 一种基于时空相关性的快速屏幕内容编码方法 - Google Patents

一种基于时空相关性的快速屏幕内容编码方法 Download PDF

Info

Publication number
CN107623850A
CN107623850A CN201710881955.6A CN201710881955A CN107623850A CN 107623850 A CN107623850 A CN 107623850A CN 201710881955 A CN201710881955 A CN 201710881955A CN 107623850 A CN107623850 A CN 107623850A
Authority
CN
China
Prior art keywords
depth
current
coded
bit
temporal correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710881955.6A
Other languages
English (en)
Other versions
CN107623850B (zh
Inventor
陆宇
林雅梦
沈礼权
刘华平
唐向宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhiduo Network Technology Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710881955.6A priority Critical patent/CN107623850B/zh
Publication of CN107623850A publication Critical patent/CN107623850A/zh
Application granted granted Critical
Publication of CN107623850B publication Critical patent/CN107623850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于时空相关性的快速屏幕内容编码方法。本发明基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类；然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分或者判定当前CU只做PLT模式预测；基于时空相关性的模式选择模块是利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式；基于编码比特的CU划分模块是先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分。本发明减少了CU划复杂度，简化了帧内预测模式的选择过程，提高了SCC编码效率。

Description

一种基于时空相关性的快速屏幕内容编码方法
技术领域
本发明属于屏幕内容编码(SCC)技术领域，尤其涉及一种低复杂度的快速SCC帧内视频编码方法。
背景技术
近年来，随着高清、超高清视频(分辨率达4K×2K、8K×4K)应用走进人们的视野，视频压缩技术受到了巨大的挑战。此外，各式各样的视频应用也随着网络和存储技术的发展不断涌现。视频应用的多样化和高清趋势对视频压缩性能提出了更高的要求。为此，2010年4月ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)成立了视频编码联合开发组(JCT-VC)，联手制定新一代视频编码标准，在2013年完成了高效视频编码HEVC(High Efficiency Video Coding)标准，也称为H.265。HEVC编码标准是根据自然采集图像序列在时间、空间上的相关性进行编码的。但是屏幕内容图像不仅包括相机捕获内容，还有大量计算机生成的图形和文字。这导致屏幕内容图像有不同的特性，包括高对比度，有限的色彩数目，较多的平整、重复区域，高频成分比较多等，使其采用HEVC标准编码达不到理想效果。对此，根据屏幕内容特性，在HEVC编码标准基础上扩展出了屏幕内容编码(SCC)标准，其标准化工作在2016年已经基本完成。HEVC标准的编码复杂度约为上一代编码标准H.264/AVC的2到3倍，而SCC标准新增帧内块复制(IBC)、调色板(PLT)模式、自适应色彩变换(ACT)、自适应运动矢量分辨率(AMVR)等编码工具，导致编码复杂度进一步增加。SCC的帧内编码复杂度主要集中在编码单元(CU)划分和帧内预测模式选择上。SCC同样采用灵活的块划分模式，包括编码单元(CU)、预测单元(PU)、变换单元(TU)。CU的尺寸有64×64，32×32、16×16、8×8，分别对应着划分深度为0、1、2、3。其中64×64的CU被定义为编码树单元(CTU),采用四叉树划分结构，每个CTU能够递归的划分成4个大小相等的CU，直到最小的CU(8×8)。为了找到最优化的CU划分方案，编码器必须要考虑所有的划分情况。图1表示了一个CTU如何被划分成子CU的过程。每个CU都有对应关联的PU和TU,其中PU是帧内预测、帧间预测的基本单元。一切与预测相关的信息都定义在PU中。对于一个2N×2N的CU，帧内预测单元PU的划分模式有两种：2N×2N和N×N，其中N×N模式，只有当CU尺寸为最小时才会采用。当SCC作帧内预测时，除了传统帧内预测模式(conventional intra prediction,CIP)，还包括帧内块复制模式(intra block copying,IBC)和调色板(palette,PLT)模式，在编码器中的使用顺序如图2所示。其中，CIP模式包括DC模式，Planar模式和33种角度预测模式。IBC模式是一种类似于运动补偿的方法，在当前帧内找到与当前CU匹配的已重建过的CU，并以块矢量(BV)来表示。因此，IBC适用于出现重复图案的CU。PLT模式适用于像素值数目有限的CU,其原理就是将有限的像素值进行编号并构造一个像素表，CU中的每个像素都会在像素表中有一个相对应的索引号，SCC对这些索引号和像素表进行编码。最后，SCC采用率失真优化(RDO)技术从众多模式中选取率失真代价最小的模式作为最佳模式。由于帧内编码时，SCC编码器需要遍历所有可能的CU划分组合和帧内预测模式，这个遍历过程的计算量太大了，这样大的计算负担对于很多需要实时编码的应用是不合适的。
发明内容
本发明的目的是针对现有SCC视频编码复杂高的缺点，提出了一种基于时空相关性的快速屏幕内容编码方法，在保证编码质量的同时降低编码的复杂度，尤其适用于需要对屏幕视频实时压缩的场合，例如各种便携式移动终端设备。
本发明提出了一种基于时空相关性的快速屏幕内容编码方法,具体实现包括基于时空相关性的CU划分模块、基于时空相关性的模式选择模块和基于编码比特的CU划分模块。
基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类。然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分，或者判定当前CU只做PLT模式预测。
基于时空相关性的模式选择模块，利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式。
基于编码比特的CU划分模块，先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分。
本发明利用屏幕内容图像中CU的深度和帧内预测模式在时空上的相关性，减少了CU划分的复杂度，简化了帧内预测模式的选择过程，有效地提高了SCC的编码效率。
本发明解决其技术问题所采用的技术方案如下
(一)基于时空相关性的CU划分模块
步骤(I)、计算当前CU与前一帧同位置CU的绝对帧差值AFD，以描述两者的相似度；AFD的计算公式如下：
其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高。
步骤(II)、根据相似度大小将CU分为两类：I类和II类。I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低；具体分类规则如下：
其中，η为调整参数，根据实验确定为1。因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸。
步骤(Ⅲ)对I类CU和II类CU进行相应划分优化。设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件。
针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
1)当前CU深度Depthcur小于前一帧同位置CU深度Depthcol，即Depthcur＜Depthcol，对当前CU只作PLT模式预测，跳过CIP模式和IBC模式。
2)当前CU深度Depthcur大于或等于前一帧同位置CU深度Depthcol，即Depthcur≥Depthcol，且前一帧同位置CU的预测模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
1)获取时空相邻CU的深度信息，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol。并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：
Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)
Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式。当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
(二)基于时空相关性的模式选择模块：
步骤(1)、对每个CU,获取时空相邻CU的帧内预测模式。
设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN。
步骤(3)、根据相邻CU的帧内预测模式、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式。其中，模式选择优化规则为：
模式条件(3a)跳过IBC模式，只做CIP模式预测和PLT模式预测；
模式条件(3b)跳过CIP模式，只做IBC模式预测和PLT模式预测；
模式条件(3c)跳过IBC模式和CIP模式，只做PLT模式预测。
其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10。
(三)基于编码比特的CU划分模块：
对于深度小于3的CU,若编码比特Biti小于阈值ti，则当前CU提前结束划分，否则继续划分CU。
本发明有益效果如下：
本发明的基本原理是利用与当前帧CU时间相邻的CU，以及与当前帧CU空间相邻的CU在深度和帧内预测模式上的相关性，以时空相邻的CU深度和编码模式来判断当前帧CU的深度和帧内预测模式，提出了CU提前结束划分和跳过特定预测模式的算法；以及利用编码比特与CU深度和纹理的相关性，即当CU纹理简单的时候，所需的编码比特较少，因此CU被继续划分的可能性较小，据此提出了CU提前结束划分的算法，以降低屏幕内容编码的复杂性，大大节省SCC视频编码的时间。经过实验测定，在保持视频编码质量的前提下，使用本发明的低复杂度SCC编码方法比标准SCC编码方法能够在编码时间上节省50％以上，而编码码率仅仅提高了1.4％，大大提高了视频编码的效率，具有较强的实用性。
附图说明
图1为SCC的CU划分模式示意图；
图2为SCC的帧内预测模式示意图；
图3为时空相邻CU的具体位置示意图；
图4为本发明的方法流程图；
图5为CU击中率与编码比特阈值的曲线图；
图6为本发明的方法流程图；
具体实施方式
下面结合附图和实施例子对本发明作进一步说明。
如图1-6所示，一种基于时空相关性的快速屏幕内容编码方法，采用SCC视频编码的SCM2模型，测试条件参考JCT-VC的通用测试条件(JCTVC-R1015)，使用SCM2模型自带屏幕内容编码的全帧内编码配置文件encoder_intra_main_scc.cfg。
一种基于时空相关性的快速屏幕内容编码方法，其流程图如图4所示，其中基于时空相关性的CU划分模块的具体步骤是：
步骤(I)、计算当前CU与前一帧同位置CU的绝对误差和AFD以描述两者的图像相似度，AFD的计算公式如下：
其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高。
步骤(II)、根据相似度大小将CU分为两类，I类和II类。I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低，具体分类规则如下：
其中，η为调整参数，根据实验确定为1。因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸。
对两类CU分别采用一定的规则进行划分优化，其中，设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件。I类CU和II类CU的优化规则如下：
(i)针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
1)当前CU深度小于前一帧同位置CU的深度，即Depthcur＜Depthcol，对当前CU只计算复杂度较低的PLT模式的率失真代价，跳过CIP模式和IBC模式。
2)当前CU深度大于或等于当前一帧同位置CU深度，即Depthcur≥Depthcol，且前一帧同位置CU的模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
(ii)针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
1)获取时空相邻CU的深度信息。如图3所示，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol。并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：
Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)
Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式，当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
基于时空相关性的模式选择模块的具体步骤是：
步骤(1)、对每个CU,获取时空相邻CU的帧内模式。如图3所示，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN。其中，边缘点数目GN的计算方法为：
a、根据Sobel边缘检测算子，分别计算每个像素梯度的水平分量和垂直分量，当前CU位置为(i,j)的像素P(i,j)的梯度分量计算公式如下：
其中，i＝2,3,…,W-1,j＝2,3,…,H-1,W和H分别是CU的宽度和高度。
b、得到每个像素的梯度幅值G(i,j)，其简化计算公式如下：
G(i,j)＝|Gx(i,j)|+|Gy(i,j)| (7)
c、统计当CU的梯度幅值大于阈值的像素点数目，即边缘点数目GN:
其中，函数δ(G(i,j))定义为：
其中，λ为阈值，根据实验确定为128。
步骤(3)、根据相邻CU的帧内模式情况、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式，模式选择优化规则为：
模式条件(3a)跳过IBC模式，只做CIP模式预测和PLT模式预测；
模式条件(3b)跳过CIP模式，只做IBC模式预测和PLT模式预测；
模式条件(3c)跳过IBC模式和CIP模式，只做PLT模式预测。
其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10；W、H分别表示当前CU块的宽和高。
最后，对深度小于3的CU，采用基于编码比特的CU划分方法。对于深度小于3的CU,当编码比特Biti小于阈值ti时，当前CU提前结束划分，否则继续划分CU。阈值ti的计算方法如下：
不同深度CU的编码比特阈值是不同的。通过计算CU击中率与编码比特的关系来确定各深度的阈值ti(i＝0,1,2)，这里CU击中率定义为：采用本发明提出的基于编码比特的CU划分方法，所得到的判定为提前结束划分的CU深度，与原始SCC编码得到的CU深度相比较，统计具有相同深度值的CU数目，然后将其除以提前结束划分的总CU数目，就得到CU的击中率。CU各深度的阈值ti(i＝0,1,2)的具体计算方法如下：
(1)采用20帧视频格式为YUV 4:4:4的4个视频序列Kimono1、sc_robot、sc_programming和BasketballScreen序列，统计每个CU深度下当QP取22、27、32、37，编码比特位于[0,300]区间时的CU击中率。这样就得到每个QP下，对应于3个CU深度的CU击中率与编码比特的曲线图，如图5的第1,2,3,4行所示。
(2)对于每一个CU深度，将其对应于4个QP下的CU击中率与编码比特的曲线图的数据进行平均，即对图5中的每一列第1行到第4行的曲线数据求平均，得到该深度下的平均CU击中率与编码比特的曲线图，即图5中最后1行的曲线图。在图5最后一行曲线图中，从左到右分别表示深度为0,1,2情况下的平均CU击中率与编码比特的曲线图。在每个平均CU击中率与编码比特的曲线图中，选择一个最小的编码比特阈值ti(i＝0,1,2)，使得其对应的图中4个序列Kimono1、sc_robot、sc_programming和BasketballScreen的CU击中率都大于90％。这样，深度为i＝0,1,2下的CU的编码比特阈值ti就可以分别确定为40,25,35。

Claims (9)

1.一种基于时空相关性的快速屏幕内容编码方法，其特征在于包括基于时空相关性的编码单元(CU)划分模块、基于时空相关性的模式选择模块和基于编码比特的CU划分模块；基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类；然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分，或者判定当前CU只做PLT模式预测；基于时空相关性的模式选择模块是利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式；基于编码比特的CU划分模块是先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分。
2.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于基于时空相关性的CU划分模块的实现过程如下：
步骤(I)、计算当前CU与前一帧同位置CU的绝对帧差值AFD，以描述两者的相似度；AFD的计算公式如下：
其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高；
步骤(II)、根据相似度大小将CU分为两类：I类和II类；I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低；具体分类规则如下：
其中，η为调整参数，根据实验确定为1；因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸；
步骤(Ⅲ)对I类CU和II类CU进行相应划分优化，设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件。
3.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
1)当前CU深度Depthcur小于前一帧同位置CU深度Depthcol，即Depthcur＜Depthcol，对当前CU只作PLT模式预测，跳过CIP模式和IBC模式；
2)当前CU深度Depthcur大于或等于当前一帧同位置CU深度Depthcol，即Depthcur≥Depthcol，且前一帧同位置CU的预测模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
4.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
1)获取时空相邻CU的深度信息，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol；并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：
Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)
Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式；当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
5.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于基于时空相关性的模式选择模块的实现过程如下：
步骤(1)、对每个CU,获取时空相邻CU的帧内预测模式；
设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN；
步骤(3)、根据相邻CU的帧内预测模式、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式。
6.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于基于编码比特的CU划分模块的实现过程如下：
对于深度小于3的CU,若编码比特Biti小于阈值ti，则当前CU提前结束划分，否则继续划分CU。
7.如权利要求5所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于，步骤(2)中的边缘点数GN的计算方法为：
a、根据Sobel边缘检测算子，分别计算每个像素梯度的水平分量和垂直分量，当前CU位置为(i,j)的像素P(i,j)的梯度分量计算公式如下：
其中，i＝2,3,…,W-1,j＝2,3,…,H-1；W和H分别是CU的宽度和高度；
b、得到每个像素的梯度幅值G(i,j)，其简化计算公式如下：
G(i,j)＝|Gx(i,j)|+|Gy(i,j)| (7)
c、统计当CU的梯度幅值大于阈值的像素点数目，即边缘点数目GN:
其中，δ(G(i,j))定义为：
其中，λ为阈值，根据实验确定为128。
8.如权利要求5所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于，步骤(3)中的模式选择优化规则为：
如下所示，给出了模式条件(3a)、(3b)、(3c)，若当前CU满足模式条件(3a)时，则预测模式选择时跳过IBC模式；若当前CU满足模式条件(3b)时，则预测模式选择时跳过CIP模式；若当前CU满足模式条件(3c)时，则预测模式选择时跳过IBC模式和CIP模式；
模式条件(3a)跳过IBC模式，只做CIP 模式预测和PLT模式预测；
模式条件(3b)跳过CIP模式，只做IBC模式预测和PLT模式预测；
模式条件(3c)跳过IBC模式和CIP模式，只做PLT模式预测；
其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10；W、H分别表示当前CU块的宽和高。
9.如权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于不同深度CU的编码比特阈值是不同的；通过计算CU击中率与编码比特的关系来确定各深度的阈值ti(i＝0,1,2)；
CU击中率定义为：采用本发明提出的基于编码比特的CU划分方法,将获取的判定为提前结束划分的CU深度，与原始SCC编码得到的CU深度相比较，统计具有相同深度值的CU数目，然后将其除以提前结束划分的总CU数目，就得到CU的击中率；
CU各深度的阈值ti(i＝0,1,2)的具体计算方法如下：
①采用20帧视频格式为YUV 4:4:4的4个视频序列Kimono1、sc_robot、sc_programming和BasketballScreen序列，统计每个CU深度下当QP取22、27、32、37，编码比特位于[0,300]区间时的CU击中率，得到4个CU击中率与编码比特的曲线图；
②对于每一个深度的CU，将其对应在4个QP下的CU击中率与编码比特的曲线图数据进行平均，最后得到该深度下的平均CU击中率与编码比特的曲线图；根据这个平均CU击中率与编码比特的曲线图，选择一个最小的编码比特阈值ti，使得其对应的4个视频序列的CU击中率都大于90％；从而深度为i＝0,1,2下的CU的编码比特阈值ti就能够分别确定为40,25,35。
CN201710881955.6A 2017-09-26 2017-09-26 一种基于时空相关性的快速屏幕内容编码方法 Active CN107623850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710881955.6A CN107623850B (zh) 2017-09-26 2017-09-26 一种基于时空相关性的快速屏幕内容编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710881955.6A CN107623850B (zh) 2017-09-26 2017-09-26 一种基于时空相关性的快速屏幕内容编码方法

Publications (2)

Publication Number Publication Date
CN107623850A true CN107623850A (zh) 2018-01-23
CN107623850B CN107623850B (zh) 2019-11-22

Family

ID=61090042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710881955.6A Active CN107623850B (zh) 2017-09-26 2017-09-26 一种基于时空相关性的快速屏幕内容编码方法

Country Status (1)

Country Link
CN (1) CN107623850B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302610A (zh) * 2018-10-26 2019-02-01 重庆邮电大学 一种基于率失真代价的屏幕内容编码帧间快速算法
CN110381311A (zh) * 2019-07-01 2019-10-25 腾讯科技（深圳）有限公司 视频帧的编码方法、装置、计算机可读介质及电子设备
CN111246220A (zh) * 2020-01-20 2020-06-05 中南大学 一种基于vvc帧内编码的深度预测方法、设备及存储介质
CN111586416A (zh) * 2020-06-02 2020-08-25 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN111741299A (zh) * 2020-07-09 2020-10-02 腾讯科技（深圳）有限公司 帧内预测模式的选择方法、装置、设备及存储介质
CN113163199A (zh) * 2021-05-10 2021-07-23 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统
CN113597766A (zh) * 2019-03-17 2021-11-02 北京字节跳动网络技术有限公司 基于光流的预测细化的计算
CN113613006A (zh) * 2021-07-30 2021-11-05 浙江裕瀚科技有限公司 一种视频编码的方法、系统和装置
CN114125442A (zh) * 2022-01-29 2022-03-01 腾讯科技（深圳）有限公司 屏幕视频编码模式确定方法、编码方法、装置和计算设备
CN116600107A (zh) * 2023-07-20 2023-08-15 华侨大学 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957415A (zh) * 2014-03-14 2014-07-30 北方工业大学 基于屏幕内容视频的cu分割方法和装置
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
WO2015006602A3 (en) * 2013-07-12 2015-03-12 Qualcomm Incorporated Rice parameter initialization for coefficient level coding in video coding process
CN105530518A (zh) * 2014-09-30 2016-04-27 联想(北京)有限公司 一种视频编码、解码方法及装置
CN105681808A (zh) * 2016-03-16 2016-06-15 同济大学 一种scc帧间编码单元模式的快速决策方法
CN106961606A (zh) * 2017-01-26 2017-07-18 浙江工业大学 基于纹理划分特征的hevc帧内编码模式选择方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006602A3 (en) * 2013-07-12 2015-03-12 Qualcomm Incorporated Rice parameter initialization for coefficient level coding in video coding process
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
CN103957415A (zh) * 2014-03-14 2014-07-30 北方工业大学 基于屏幕内容视频的cu分割方法和装置
CN105530518A (zh) * 2014-09-30 2016-04-27 联想(北京)有限公司 一种视频编码、解码方法及装置
CN105681808A (zh) * 2016-03-16 2016-06-15 同济大学 一种scc帧间编码单元模式的快速决策方法
CN106961606A (zh) * 2017-01-26 2017-07-18 浙江工业大学 基于纹理划分特征的hevc帧内编码模式选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡晴晴等: "基于时空域相关性的屏幕内容帧间快速编码算法", 《计算机应用》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302610A (zh) * 2018-10-26 2019-02-01 重庆邮电大学 一种基于率失真代价的屏幕内容编码帧间快速算法
CN109302610B (zh) * 2018-10-26 2021-09-28 重庆邮电大学 一种基于率失真代价的屏幕内容编码帧间快速编码方法
US11973973B2 (en) 2019-03-17 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Prediction refinement based on optical flow
CN113597766A (zh) * 2019-03-17 2021-11-02 北京字节跳动网络技术有限公司 基于光流的预测细化的计算
CN113597766B (zh) * 2019-03-17 2023-11-10 北京字节跳动网络技术有限公司 基于光流的预测细化的计算
CN110381311B (zh) * 2019-07-01 2023-06-30 腾讯科技（深圳）有限公司 视频帧的编码方法、装置、计算机可读介质及电子设备
CN110381311A (zh) * 2019-07-01 2019-10-25 腾讯科技（深圳）有限公司 视频帧的编码方法、装置、计算机可读介质及电子设备
CN111246220A (zh) * 2020-01-20 2020-06-05 中南大学 一种基于vvc帧内编码的深度预测方法、设备及存储介质
CN111586416A (zh) * 2020-06-02 2020-08-25 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN111741299A (zh) * 2020-07-09 2020-10-02 腾讯科技（深圳）有限公司 帧内预测模式的选择方法、装置、设备及存储介质
CN111741299B (zh) * 2020-07-09 2022-03-25 腾讯科技（深圳）有限公司 帧内预测模式的选择方法、装置、设备及存储介质
CN113163199B (zh) * 2021-05-10 2023-06-30 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统
CN113163199A (zh) * 2021-05-10 2021-07-23 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统
CN113613006B (zh) * 2021-07-30 2023-08-18 浙江裕瀚科技有限公司 一种视频编码的方法、系统和装置
CN113613006A (zh) * 2021-07-30 2021-11-05 浙江裕瀚科技有限公司 一种视频编码的方法、系统和装置
CN114125442A (zh) * 2022-01-29 2022-03-01 腾讯科技（深圳）有限公司 屏幕视频编码模式确定方法、编码方法、装置和计算设备
CN116600107A (zh) * 2023-07-20 2023-08-15 华侨大学 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置
CN116600107B (zh) * 2023-07-20 2023-11-21 华侨大学 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置

Also Published As

Publication number Publication date
CN107623850B (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN107623850B (zh) 一种基于时空相关性的快速屏幕内容编码方法
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN107277509B (zh) 一种基于屏幕内容的快速帧内预测方法
CN104883578B (zh) 对帧内预测模式进行解码的方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN105141954B (zh) 一种hevc帧间编码快速模式选择方法
CN106937116B (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN106961606A (zh) 基于纹理划分特征的hevc帧内编码模式选择方法
US8204136B2 (en) Image encoding apparatus
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
CN112104868B (zh) 一种针对vvc帧内编码单元划分的快速决策方法
CN104125466B (zh) 一种基于gpu的hevc并行解码方法
CN103491334B (zh) 一种基于区域特征分析的由h264到hevc的视频转码方法
WO2001086962A1 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
CN104853191B (zh) 一种hevc的快速编码方法
JPH1169358A (ja) 動画像の動きベクトル予測方法
CN109068142A (zh) 基于纹理特征的360度视频帧内预测快速决策
CN110086957A (zh) 清除解块人为噪声的方法
CN101431675A (zh) 一种像素运动估计方法和装置
AU2019292471A1 (en) Merge mode-based inter-prediction method and apparatus
CN110446052A (zh) 一种3d-hevc帧内深度图快速cu深度选择方法
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
CN104702959B (zh) 一种视频编码的帧内预测方法及系统
CN109151467B (zh) 基于图像块活动性的屏幕内容编码帧间模式快速选择方法
CN102075751A (zh) 一种基于宏块运动状态的h264快速模式选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201224

Address after: Room 3003-1, building 1, Gaode land center, Jianggan District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zhiduo Network Technology Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University

Effective date of registration: 20201224

Address after: 314500 Tongxiang, Jiaxing, Zhejiang, Wutong Street East Road (East) 55, Tongxiang chamber of Commerce Building 1 unit 1702, 1703 room -A-218

Patentee after: Jiaxing Baoqiao Machinery Technology Co.,Ltd.

Address before: Room 3003-1, building 1, Gaode land center, Jianggan District, Hangzhou City, Zhejiang Province

Patentee before: Zhejiang Zhiduo Network Technology Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180123

Assignee: Hangzhou Wendian Communication Technology Co.,Ltd.

Assignor: Jiaxing Baoqiao Machinery Technology Co.,Ltd.

Contract record no.: X2021330000097

Denomination of invention: A fast screen content coding method based on spatio-temporal correlation

Granted publication date: 20191122

License type: Common License

Record date: 20210819

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: Room 407-10, floor 4, building 2, Haichuang science and technology center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Patentee after: Zhejiang Zhiduo Network Technology Co.,Ltd.

Address before: 314500 Tongxiang, Jiaxing, Zhejiang, Wutong Street East Road (East) 55, Tongxiang chamber of Commerce Building 1 unit 1702, 1703 room -A-218

Patentee before: Jiaxing Baoqiao Machinery Technology Co.,Ltd.

TR01 Transfer of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: Hangzhou Wendian Communication Technology Co.,Ltd.

Assignor: Jiaxing Baoqiao Machinery Technology Co.,Ltd.

Contract record no.: X2021330000097

Date of cancellation: 20231214

EC01 Cancellation of recordation of patent licensing contract