CN111294596B - 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法 - Google Patents

基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法 Download PDF

Info

Publication number
CN111294596B
CN111294596B CN202010091952.4A CN202010091952A CN111294596B CN 111294596 B CN111294596 B CN 111294596B CN 202010091952 A CN202010091952 A CN 202010091952A CN 111294596 B CN111294596 B CN 111294596B
Authority
CN
China
Prior art keywords
sub
block
pixel
index
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010091952.4A
Other languages
English (en)
Other versions
CN111294596A (zh
Inventor
宋传鸣
刘定坤
刘丹
王相海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202010091952.4A priority Critical patent/CN111294596B/zh
Publication of CN111294596A publication Critical patent/CN111294596A/zh
Application granted granted Critical
Publication of CN111294596B publication Critical patent/CN111294596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法，根据待预测像素沿着边缘方向的线性相关性，建立了2D马尔可夫模型，并利用待预测像素周围、因果邻域内的4个像素，对待预测像素的索引值进行预测；其次，将0。~180。区间均匀划分为8个方向区间，再利用Bresenham直线光栅化算法设计了8个大小为4×4的方向模板，从而根据视频关键帧的主要边缘方向分布，自适应地为待预测像素选取4个因果预测像素；最后，采用最小二乘法为每个方向模板计算出一组1阶2D自适应线性相关系数，进而实现沿着主要边缘方向的、2D马尔可夫模型的屏幕内容索引图预测。

Description

基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法
技术领域
本发明涉及屏幕内容视频编码领域，尤其是一种可有效抵抗边缘过渡或连接区域的反走样处理，准确性高、处理速度快及具备方向自适应能力的基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法。
背景技术
数字图像与视频正日益深刻地改变着人类信息通信和交互的方式。一方面，云存储和移动通信的迅猛发展催生了虚拟桌面、桌面云、无线显示和云游戏等诸多应用，均要求把计算机屏幕的显示内容通过网络链路传输到远程客户端，以实现屏幕协同共享。另一方面，具有宽动态范围、广色域特性的8K、10K超高清分辨率屏幕和3D虚拟现实正获得市场主流地位，要求在设备之间或设备内部通过排线和接口电路以视频方式实时、低延时地传输显示流。由于屏幕内容图像和视频一般是各种应用软件生成的，如办公软件、3D游戏、数字动画、网络浏览器等，它往往由文本、图形和自然图像等若干不同类型的区域混合而成，并且数据量巨大。若要在目前的宽带网络或串行总线上同步即时传输如此海量的数据，将屏幕内容视频进行高效率压缩来降低带宽需求是一个必不可少的环节。不过，H.264/AVC、HEVC对屏幕内容中的线条、文字、图形等非连续色调内容的压缩效率远未满足应用需求且计算复杂度高。因此，复杂度适中、面向屏幕内容视频的高效率编码是视频编码领域极具挑战性的最新研究课题之一，学者们将其称为“屏幕内容视频编码”，简称“屏幕内容编码SCC(Screen Content Coding)”。
为保证不连续色调区域的主观保真度，通常采用无损或近无损编码算法对屏幕内容视频进行压缩，目前大致提出了六类方法：基于调色板的编码算法、基于模板匹配的编码算法、基于块匹配的编码算法、基于字典的编码算法、基于形状表示的编码算法和基于方向预测的编码算法。其中，基于调色板的编码算法选取若干种代表性的颜色作为基本颜色，分别为每种基本颜色指定一个索引值构成调色板，再将原图像的每个灰度值用对应的索引值替代便形成一张索引图，最后将熵编码后的调色板和索引图传输至解码端；基于模板匹配的编码算法利用待编码像素块的某个邻域的已编码像素集合构成一个模板，然后利用该模板在已编码的区域中搜索与待编码块最相似的1个或多个块，最后用最佳匹配块或多个相似块的均值作为待编码块的预测来降低其非局部信息冗余；基于块匹配的编码算法类似于传统的帧间运动估计，又称为“帧内块拷贝”，在当前帧的已编码区域搜索与待编码单元相似的块，再将两个块的距离及预测误差进行编码；基于字典的编码算法利用待编码像素所在的一个1D或2D的连续像素串作为模板，该像素串在空间域上可组织成任意形状，再在已编码区域中搜索与其最匹配的像素串，进而对匹配像素串的距离和匹配串长度进行编码；基于形状表示的编码算法认为任何一个复杂形状都可以分解为孤立点、水平线、垂直线和矩形4种基本形状，称之为“形状原语”，进而按照光栅扫描顺序提取形状原语并对其进行编码；基于方向预测的编码算法主要针对屏幕内容图像包含大量锐利边缘、局部方向性明显的特点，以最优率失真模型为指导，采用中值预测、边缘预测和帧内方向预测等模式进行预测编码。在上述六类算法中，基于块匹配的编码算法和基于调色板的编码算法是促使国际编码标准HEVC-SCC产生性能增益的主要原因。然而，前者很难用固定形状的像素集合实现对文本、图表和图标等内容的最佳匹配，计算量较大，并且传统视频编码的运动估计为它提供了很好的参考，技术方法较成熟；后者的计算量则明显低于帧内块拷贝，能够较好地满足屏幕内容编码对压缩效率、实时性和复杂性的需求，且对运动文本和线条的编码较为有效，成为目前HEVC-SCC标准中重要的空间域编码技术。
索引图是基于调色板的编码算法中数据量最大的一部分，其编码效率直接影响调色板编码算法的整体压缩性能，所以索引图编码是调色板编码的关键组成部分。若依据核心技术思路的不同来划分，现有的索引图编码方法主要分为4类：算术编码、行程编码、词典编码和预测编码。
首先，算术编码主要通过减少索引图的统计冗余来提高压缩效率，如WenpengDing等人采用上下文自适应的算术编码，Cuiling Lan等人采用上下文重映射和熵编码压缩索引图。不过，由于传统算术编码未考虑索引图中出现的重复图案，即所谓的局部和非局部数据相关性，无法充分利用屏幕内容特有的数据分布特点，编码效率有待提高。
其次，行程编码主要发掘索引值的局部相关性实现压缩。Zhan Ma等人采用1D行程方法将索引值组织成一系列2元、3元组序列进行编码。考虑到索引图中的重复图案大多是2D的，1D行程编码无法充分降低其数据冗余，Yiling Xu等人使用4元组来表示重复的2D图案，提出了索引图的2D行程编码方法。同时，Wei Pu等人进一步发现在索引图的相邻行(列)之间还存在较强的行(列)局部相关性，并提出若一个图像块的某一行(列)与其相邻的前一行(列)有相同索引值或者仅有1个索引值不同，则用垂直(水平)行程模式编码该行(列)像素的索引图。与Zhan Ma、Wei Pu等人的方法相比，该方法每次可编码多个索引值，预测效率更高，所需同步信息更少。虽然行程编码发掘了索引图的行、列相关性，且对规则区域和平滑区域的索引图非常有效，可是在索引图的边缘和纹理较复杂区域，其编码效率却偏低，根本原因在于该区域的索引行程较短，局部相关性较弱。
为发掘索引图的非局部相关性，词典编码方法利用索引图包含大量相同字符或者相同纹理结构来进行压缩，取得了不错的编码效率。Shuhui Wang等人提出兼顾使用帧内编码和基于LempelZiv字典的gzip算法，并通过率失真模型在两者之间进行自适应的优化选择。Tao Lin等人则应用基于字典的LZMA算法编码索引图。为加快像素串的匹配速度，BinLi等人提出了基于Hash表结构的1D字典编码以及2种字典模式；Weijia Zhu等人则进一步提出了屏幕内容的2D字典编码方法，将待编码单元的Hash值作为字典索引来查找最佳匹配块。然而，索引串越长，所需要的搜索时间或字典空间等代价就越高，且对索引图的局部相关性的处理效率不高。
为了能同时发掘索引图的局部和非局部冗余，Weijia Zhu等人提出了一种多级预测编码方法MSP(Multi-Stage Prediction)，先通过方向预测去除索引值的局部相关性，再采用模板匹配发掘非局部数据冗余(如全局重复模式)，对局部预测失败的索引值进行处理，其平均预测准确率达到了92％。类似地，Zhaotai Pan等人也提出了一种两级层次预测编码模式，第1级将每个与左侧相邻索引值相等的索引标识为符号“L”，将每个与上方相邻索引值相等的索引标识为符号“U”，然后将剩余索引标识为“O”，实现了对索引图的2D局部空间相关性进行分类；第2级对每一行预测符号进行聚类，若某个分类中的预测符号均为“L”，则将其标识为“X”，若其中的预测符号均为“U”，则将其标识为“Y”，否则将其标识为“Z”，从而利用全局模式相关性进行分层预测编码。可见，预测编码是同时发掘索引图局部与非局部相关性的有效策略。可是，上述两种方法均涉及多轮扫描，计算量偏高。在这种情况下，Weijia Zhu等人省略了MSP的模板预测，并简化其方向预测过程，计算量降低了80％，但预测方向较少、预测效率有所降低，适合于实时要求较高的应用；陈规胜等人则通过实验统计发现了索引图的“局部方向相关性”，进而在MSP基础上提出了二次方向预测方法TDP(Twice Directional Prediction)，其预测准确率达到了96.22％，计算量较MSP平均降低了94.39％。然而，索引图中尚有约3.78％的索引值不能借助局部方向相关性得到有效处理，其预测精度仍有一定的提升空间。经过统计发现，这些预测失败的索引主要分布在边缘的过渡区域或连接区域，其根本原因在于，屏幕内容中不连续色调的文本、图表、图形、图标等元素一般由显示适配器生成，包含的纹理信息较多，但复杂纹理少，重复图案多，对比度高，线条细腻，边缘锐利，且往往开启了边缘反走样处理，尤其在文字丰富的屏幕内容中更为常见。目前，鲜有研究人员专门针对索引图中存在边缘反走样的过渡或连接区域的索引值预测方法展开研究。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种可有效抵抗边缘过渡或连接区域的反走样处理，准确性高、处理速度快及具备方向自适应能力的基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法。
本发明的技术解决方案是：一种基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法，按照如下步骤进行：
步骤1.输入一段待处理的屏幕内容视频V，令视频V长度为F帧，并令f←1，ch←1；
步骤2.提取视频V的第f帧、第ch个颜色分量；
步骤3.计算第f帧、第ch个颜色分量的索引图；
步骤3.1统计第f帧、第ch个颜色分量的像素值直方图，并选取出现次数最多的4种像素值作为基色，令其为BC0、BC1、BC2和BC3；
步骤3.2按照光栅扫描顺序，根据公式(1)～公式(2)将每个像素p量化为索引值Q(p)：
Figure GDA0004092157970000041
Figure GDA0004092157970000042
所述Q(p)表示像素p的索引值，I(p)表示像素p的像素值，j*表示与像素值I(p)最接近的基色的下标且j*∈{0,1,2,3}，Δ1表示预设的量化步长；
步骤4.若f％L＝1，则第f帧为关键帧并转入步骤5，否则第f帧为非关键帧并转入步骤7，所述％表示模运算，L表示预设的2D马尔可夫模型的预测参数更新频率且1≤L≤F；
步骤5.利用关键帧的第ch个颜色分量训练2D马尔可夫模型的预测参数；
步骤5.1计算关键帧的第ch个颜色分量中全部像素的平均索引值μ；
步骤5.2利用Sobel算子计算每个像素p处沿着水平方向的1阶差分
Figure GDA0004092157970000051
和沿着竖直方向的1阶差分
Figure GDA0004092157970000052
进而根据公式(3)计算每个像素p处的梯度方向角θp：
Figure GDA0004092157970000053
步骤5.3根据每个像素p的梯度方向角θp和公式(4)，计算像素p的主方向角
Figure GDA0004092157970000054
Figure GDA0004092157970000055
步骤5.4建立8个训练集C1、C2、C3、C4、C5、C6、C7、C8，并初始化为空集；
步骤5.5将关键帧的第ch个颜色分量划分为若干个大小为4×4像素的、不重叠的子块，对于每个子块B，执行下述步骤5.5.1～步骤5.5.2，从而根据主要边缘方向将其加入相应的训练集，实现子块的分类；
步骤5.5.1统计子块B中所有像素的主方向角的直方图，并选取出现次数最多的主方向角作为子块B的主要边缘方向θtexture；
步骤5.5.2若θtexture＝π/8，则将子块B加入训练集C1；若θtexture＝π/4，则将子块B加入训练集C2；若θtexture＝3π/8，则将子块B加入训练集C3；若θtexture＝π/2，则将子块B加入训练集C4；若θtexture＝5π/8，则将子块B加入训练集C5；若θtexture＝3π/4，则将子块B加入训练集C6；若θtexture＝7π/8，则将子块B加入训练集C7；若θtexture＝π，则将子块B加入训练集C8；
步骤5.6对于训练集C1的第i1个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(5)定义的模板T1，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000061
和
Figure GDA0004092157970000062
组成第1类子块的训练索引值集合，所述i1∈{1,2,3,…,N1}，N1表示训练集C1包含的子块总数，
Figure GDA0004092157970000063
Figure GDA0004092157970000064
和
Figure GDA0004092157970000065
分别表示训练集C1的第i1个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000066
步骤5.7对于训练集C2的第i2个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(6)定义的模板T2，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000067
和
Figure GDA0004092157970000068
组成第2类子块的训练索引值集合，所述i2∈{1,2,3,…,N2}，N2表示训练集C2包含的子块总数，
Figure GDA0004092157970000069
Figure GDA00040921579700000610
和
Figure GDA00040921579700000611
分别表示训练集C2的第i2个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700000612
步骤5.8对于训练集C3的第i3个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(7)定义的模板T3，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000071
和
Figure GDA0004092157970000072
组成第3类子块的训练索引值集合，所述i3∈{1,2,3,…,N3}，N3表示训练集C3包含的子块总数，
Figure GDA0004092157970000073
Figure GDA0004092157970000074
和
Figure GDA0004092157970000075
分别表示训练集C3的第i3个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000076
步骤5.9对于训练集C4的第i4个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(8)定义的模板T4，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000077
和
Figure GDA0004092157970000078
组成第4类子块的训练索引值集合，所述i4∈{1,2,3,…,N4}，N4表示训练集C4包含的子块总数，
Figure GDA0004092157970000079
Figure GDA00040921579700000710
和
Figure GDA00040921579700000711
分别表示训练集C4的第i4个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700000712
步骤5.10对于训练集C5的第i5个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(9)定义的模板T5，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA00040921579700000713
和
Figure GDA00040921579700000714
组成第5类子块的训练索引值集合，所述i5∈{1,2,3,…,N5}，N5表示训练集C5包含的子块总数，
Figure GDA00040921579700000715
Figure GDA00040921579700000716
和
Figure GDA00040921579700000717
分别表示训练集C5的第i5个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000081
步骤5.11对于训练集C6的第i6个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(10)定义的模板T6，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000082
和
Figure GDA0004092157970000083
组成第6类子块的训练索引值集合，所述i6∈{1,2,3,…,N6}，N6表示训练集C6包含的子块总数，
Figure GDA0004092157970000084
Figure GDA0004092157970000085
和
Figure GDA0004092157970000086
分别表示训练集C6的第i6个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000087
步骤5.12对于训练集C7的第i7个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(11)定义的模板T7，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000088
和
Figure GDA0004092157970000089
组成第7类子块的训练索引值集合，所述i7∈{1,2,3,…,N7}，N7表示训练集C7包含的子块总数，
Figure GDA00040921579700000810
Figure GDA00040921579700000811
和
Figure GDA00040921579700000812
分别表示训练集C7的第i7个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700000813
步骤5.13对于训练集C8的第i8个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(12)定义的模板T8，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000091
和
Figure GDA0004092157970000092
组成第8类子块的训练索引值集合，所述i8∈{1,2,3,…,N8}，N8表示训练集C8包含的子块总数，
Figure GDA0004092157970000093
Figure GDA0004092157970000094
和
Figure GDA0004092157970000095
分别表示训练集C8的第i8个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000096
步骤5.14利用每类子块的训练索引值集合和公式(13)的定义，为每类子块计算一组2D马尔可夫模型的预测参数；
Figure GDA0004092157970000097
所述ρ1,k、ρ2,k、ρ3,k、ρ4,k表示第k类子块的2D马尔可夫模型的预测参数且k∈{1,2,3,4,5,6,7,8}，
Figure GDA0004092157970000098
和
Figure GDA0004092157970000099
分别表示训练集Ck的第ik个子块B′中位于a、b、c、d、u处的索引值，Nk表示训练集Ck包含的子块总数；
步骤6.按照光栅扫描顺序，对关键帧的第ch个颜色分量中每个像素p的索引值Q(p)进行预测；
步骤6.1对于待预测的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)；
步骤6.2输出预测误差Q(p)-P(p)，若关键帧的所有索引值都已处理完毕，则转入步骤8；否则，返回步骤6.1处理下一个像素的索引值；
步骤7.计算非关键帧的第ch个颜色分量中全部像素的平均索引值μn，并按照光栅扫描顺序，对每个像素p的索引值Q(p)进行预测；
步骤7.1对于像素p的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)，若预测成功，则转入步骤7.5；若像素p处于非关键帧的前3行或者前3列或者后3列，则转入步骤7.5，否则转入步骤7.2；
步骤7.2令像素p左侧的相邻像素为q，采用后向差分法，分别计算像素q的索引值Q(q)沿着水平方向的1阶差分
Figure GDA0004092157970000101
和沿着竖直方向的1阶差分
Figure GDA0004092157970000102
进而根据公式(3)的定义计算像素q处的梯度方向角θq；
步骤7.3根据像素q的梯度方向角θq和公式(4)的定义，计算像素q的主方向角
Figure GDA0004092157970000103
并令像素p的主方向角
Figure GDA0004092157970000104
步骤7.4令
Figure GDA0004092157970000105
采用第k类子块的2D马尔可夫模型和模板Tk对像素p的索引值Q(p)进行预测，所述Tk∈{T1,T2,T3,T4,T5,T6,T7,T8}；
步骤7.4.1将模板Tk的元素u与像素p对齐，从而以模板Tk作为掩膜，在像素p的大小为4×4的因果邻域中，取出与模板Tk的元素a、b、c、d对应的像素a′、b′、c′、d′，令其索引值分别为Q(a′)、Q(b′)、Q(c′)、Q(d′)；
步骤7.4.2根据公式(14)，计算索引值Q(p)的预测值P(p)：
Figure GDA0004092157970000106
步骤7.5输出预测误差Q(p)-P(p)，若当前的非关键帧的全部索引值都已处理完毕，则转入步骤8，否则返回步骤7.1处理下一个像素的索引值；
步骤8.令ch←ch+1，若ch>3，则转入步骤9，否则转入步骤2；
步骤9.令f←f+1，ch←1，若f≤F，则转入步骤2，否则算法结束。
本发明与现有技术相比，具有如下优点：第一，发掘待预测像素沿着边缘方向的线性相关性，利用2D马尔可夫模型和相关性最大的4个像素，对待预测像素的索引值进行预测，可有效提高其预测准确度；第二，根据视频帧的边缘方向分布，将0°～180°角度区间均匀划分为8个方向区间，并利用Bresenham直线光栅化算法设计了8个方向模板，进而通过最小二乘法计算出8组1阶2D自适应线性相关系数，其方向自适应能力更强，对边缘反走样区像素值和索引值渐变的表示能力也更强；第三，考虑到屏幕内容视频的纹理分布往往不会发生短时突变，尤其是显示适配器在同一视频序列上所采用的边缘反走样算法是保持不变的，本发明仅利用少量关键帧的索引值来训练2D马尔可夫模型的预测参数，而非关键帧的索引值可直接通过其因果邻域的已知索引值和2D马尔可夫模型的预测参数完成预测编码，其时间复杂度明显低于传统MSP算法的模板预测。因此，本发明具有抵抗边缘过渡或连接区域的反走样处理，准确性高、处理速度快、具备方向自适应能力的特点。
具体实施方式
本发明的基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法，按照如下步骤进行：
步骤1.输入一段待处理的屏幕内容视频V，令视频V长度为F帧，并令f←1，ch←1；
步骤2.提取视频V的第f帧、第ch个颜色分量；
步骤3.计算第f帧、第ch个颜色分量的索引图；
步骤3.1统计第f帧、第ch个颜色分量的像素值直方图，并选取出现次数最多的4种像素值作为基色，令其为BC0、BC1、BC2和BC3；
步骤3.2按照光栅扫描顺序，根据公式(1)～公式(2)将每个像素p量化为索引值Q(p)：
Figure GDA0004092157970000111
Figure GDA0004092157970000112
所述Q(p)表示像素p的索引值，I(p)表示像素p的像素值，j*表示与像素值I(p)最接近的基色的下标且j*∈{0,1,2,3}，Δ1表示预设的量化步长；
步骤4.若f％L＝1，则第f帧为关键帧并转入步骤5，否则第f帧为非关键帧并转入步骤7，所述％表示模运算，L表示预设的2D马尔可夫模型的预测参数更新频率且1≤L≤F；
步骤5.利用关键帧的第ch个颜色分量训练2D马尔可夫模型的预测参数；
步骤5.1计算关键帧的第ch个颜色分量中全部像素的平均索引值μ；
步骤5.2利用Sobel算子计算每个像素p处沿着水平方向的1阶差分
Figure GDA0004092157970000121
和沿着竖直方向的1阶差分
Figure GDA0004092157970000122
进而根据公式(3)计算每个像素p处的梯度方向角θp：
Figure GDA0004092157970000123
步骤5.3根据每个像素p的梯度方向角θp和公式(4)，计算像素p的主方向角
Figure GDA0004092157970000124
Figure GDA0004092157970000125
步骤5.4建立8个训练集C1、C2、C3、C4、C5、C6、C7、C8，并初始化为空集；
步骤5.5将关键帧的第ch个颜色分量划分为若干个大小为4×4像素的、不重叠的子块，对于每个子块B，执行下述步骤5.5.1～步骤5.5.2，从而根据主要边缘方向将其加入相应的训练集，实现子块的分类；
步骤5.5.1统计子块B中所有像素的主方向角的直方图，并选取出现次数最多的主方向角作为子块B的主要边缘方向θtexture；
步骤5.5.2若θtexture＝π/8，则将子块B加入训练集C1；若θtexture＝π/4，则将子块B加入训练集C2；若θtexture＝3π/8，则将子块B加入训练集C3；若θtexture＝π/2，则将子块B加入训练集C4；若θtexture＝5π/8，则将子块B加入训练集C5；若θtexture＝3π/4，则将子块B加入训练集C6；若θtexture＝7π/8，则将子块B加入训练集C7；若θtexture＝π，则将子块B加入训练集C8；
步骤5.6对于训练集C1的第i1个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(5)定义的模板T1，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000131
和
Figure GDA0004092157970000132
组成第1类子块的训练索引值集合，所述i1∈{1,2,3,…,N1}，N1表示训练集C1包含的子块总数，
Figure GDA0004092157970000133
Figure GDA0004092157970000134
和
Figure GDA0004092157970000135
分别表示训练集C1的第i1个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000136
步骤5.7对于训练集C2的第i2个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(6)定义的模板T2，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000137
和
Figure GDA0004092157970000138
组成第2类子块的训练索引值集合，所述i2∈{1,2,3,…,N2}，N2表示训练集C2包含的子块总数，
Figure GDA0004092157970000139
Figure GDA00040921579700001310
和
Figure GDA00040921579700001311
分别表示训练集C2的第i2个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700001312
步骤5.8对于训练集C3的第i3个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(7)定义的模板T3，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA00040921579700001313
和
Figure GDA00040921579700001314
组成第3类子块的训练索引值集合，所述i3∈{1,2,3,…,N3}，N3表示训练集C3包含的子块总数，
Figure GDA00040921579700001315
Figure GDA00040921579700001316
和
Figure GDA00040921579700001317
分别表示训练集C3的第i3个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000141
步骤5.9对于训练集C4的第i4个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(8)定义的模板T4，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000142
和
Figure GDA0004092157970000143
组成第4类子块的训练索引值集合，所述i4∈{1,2,3,…,N4}，N4表示训练集C4包含的子块总数，
Figure GDA0004092157970000144
Figure GDA0004092157970000145
和
Figure GDA0004092157970000146
分别表示训练集C4的第i4个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000147
步骤5.10对于训练集C5的第i5个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(9)定义的模板T5，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000148
和
Figure GDA0004092157970000149
组成第5类子块的训练索引值集合，所述i5∈{1,2,3,…,N5}，N5表示训练集C5包含的子块总数，
Figure GDA00040921579700001410
Figure GDA00040921579700001411
和
Figure GDA00040921579700001412
分别表示训练集C5的第i5个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700001413
步骤5.11对于训练集C6的第i6个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(10)定义的模板T6，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA00040921579700001414
和
Figure GDA00040921579700001415
组成第6类子块的训练索引值集合，所述i6∈{1,2,3,…,N6}，N6表示训练集C6包含的子块总数，
Figure GDA0004092157970000151
Figure GDA0004092157970000152
和
Figure GDA0004092157970000153
分别表示训练集C6的第i6个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000154
步骤5.12对于训练集C7的第i7个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(11)定义的模板T7，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA0004092157970000155
和
Figure GDA0004092157970000156
组成第7类子块的训练索引值集合，所述i7∈{1,2,3,…,N7}，N7表示训练集C7包含的子块总数，
Figure GDA0004092157970000157
Figure GDA0004092157970000158
和
Figure GDA0004092157970000159
分别表示训练集C7的第i7个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA00040921579700001510
步骤5.13对于训练集C8的第i8个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(12)定义的模板T8，从子块B′中取出位于a、b、c、d、u处的索引值
Figure GDA00040921579700001511
和
Figure GDA00040921579700001512
组成第8类子块的训练索引值集合，所述i8∈{1,2,3,…,N8}，N8表示训练集C8包含的子块总数，
Figure GDA00040921579700001513
Figure GDA00040921579700001514
和
Figure GDA00040921579700001515
分别表示训练集C8的第i8个子块B′中位于a、b、c、d、u处的索引值；
Figure GDA0004092157970000161
步骤5.14利用每类子块的训练索引值集合和公式(13)的定义，为每类子块计算一组2D马尔可夫模型的预测参数；
Figure GDA0004092157970000162
所述ρ1,k、ρ2,k、ρ3,k、ρ4,k表示第k类子块的2D马尔可夫模型的预测参数且k∈{1,2,3,4,5,6,7,8}，
Figure GDA0004092157970000163
和
Figure GDA0004092157970000164
分别表示训练集Ck的第ik个子块B′中位于a、b、c、d、u处的索引值，Nk表示训练集Ck包含的子块总数；
步骤6.按照光栅扫描顺序，对关键帧的第ch个颜色分量中每个像素p的索引值Q(p)进行预测；
步骤6.1对于待预测的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)；
步骤6.2输出预测误差Q(p)-P(p)，若关键帧的所有索引值都已处理完毕，则转入步骤8；否则，返回步骤6.1处理下一个像素的索引值；
步骤7.计算非关键帧的第ch个颜色分量中全部像素的平均索引值μn，并按照光栅扫描顺序，对每个像素p的索引值Q(p)进行预测；
步骤7.1对于像素p的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)，若预测成功，则转入步骤7.5；若像素p处于非关键帧的前3行或者前3列或者后3列，则转入步骤7.5，否则转入步骤7.2；
步骤7.2令像素p左侧的相邻像素为q，采用后向差分法，分别计算像素q的索引值Q(q)沿着水平方向的1阶差分
Figure GDA0004092157970000171
和沿着竖直方向的1阶差分
Figure GDA0004092157970000172
进而根据公式(3)的定义计算像素q处的梯度方向角θq；
步骤7.3根据像素q的梯度方向角θq和公式(4)的定义，计算像素q的主方向角
Figure GDA0004092157970000173
并令像素p的主方向角
Figure GDA0004092157970000174
步骤7.4令
Figure GDA0004092157970000175
采用第k类子块的2D马尔可夫模型和模板Tk对像素p的索引值Q(p)进行预测，所述Tk∈{T1,T2,T3,T4,T5,T6,T7,T8}；
步骤7.4.1将模板Tk的元素u与像素p对齐，从而以模板Tk作为掩膜，在像素p的大小为4×4的因果邻域中，取出与模板Tk的元素a、b、c、d对应的像素a′、b′、c′、d′，令其索引值分别为Q(a′)、Q(b′)、Q(c′)、Q(d′)；
步骤7.4.2根据公式(14)，计算索引值Q(p)的预测值P(p)：
Figure GDA0004092157970000176
步骤7.5输出预测误差Q(p)-P(p)，若当前的非关键帧的全部索引值都已处理完毕，则转入步骤8，否则返回步骤7.1处理下一个像素的索引值；
步骤8.令ch←ch+1，若ch>3，则转入步骤9，否则转入步骤2；
步骤9.令f←f+1，ch←1，若f≤F，则转入步骤2，否则算法结束。
选用JCT-VC公布的19个标准测试视频序列的前90帧，分别采用MSP方法、二次方向预测方法TDP和本发明对各测试视频中每帧的亮度分量进行预测编码，得到的预测准确率如表1所示。从表1可见，本发明在所有测试视频序列上的预测准确率均高于MSP方法和二次方向预测方法TDP，分别比两者平均提高了3.53％和1.56％。一方面，对于WordEditing、SlideEditing、Video_Conferencing和PPT_Doc_xls四个包含大量英文文本、中文文本和数字字符的测试视频序列，本发明的预测准确率分别比MSP方法和二次方向预测方法TDP平均提高了2.92％和1.74％；另一方面，Map、Robot、BasketballDrillText和ChinaSpeed四个测试视频序列不仅包含文字字符，还包含由计算机生成的大量几何图元和复杂场景，为使曲线边缘看起来光滑，开启了反走样，本发明的预测准确率分别比MSP方法和二次方向预测方法TDP平均提高了8.06％和3.47％。因此，对于开启了边缘反走样的屏幕内容视频，本发明能够获得明显高于MSP算法和二次方向预测方法TDP的索引图预测效率。
表1不同方法的预测准确率统计表
Figure GDA0004092157970000181
。

Claims (1)

1.一种基于2D马尔可夫和边缘方向特性的屏幕内容索引图预测方法，其特征在于按照如下步骤进行：
步骤1.输入一段待处理的屏幕内容视频V，令视频V长度为F帧，并令f←1，ch←1；
步骤2.提取视频V的第f帧、第ch个颜色分量；
步骤3.计算第f帧、第ch个颜色分量的索引图；
步骤3.1统计第f帧、第ch个颜色分量的像素值直方图，并选取出现次数最多的4种像素值作为基色，令其为BC0、BC1、BC2和BC3；
步骤3.2按照光栅扫描顺序，根据公式(1)～公式(2)将每个像素p量化为索引值Q(p)：
Figure FDA0004074375290000011
Figure FDA0004074375290000012
所述Q(p)表示像素p的索引值，I(p)表示像素p的像素值，j*表示与像素值I(p)最接近的基色的下标且j*∈{0,1,2,3}，Δ1表示预设的量化步长；
步骤4.若f％L＝1，则第f帧为关键帧并转入步骤5，否则第f帧为非关键帧并转入步骤7，所述％表示模运算，L表示预设的2D马尔可夫模型的预测参数更新频率且1≤L≤F；
步骤5.利用关键帧的第ch个颜色分量训练2D马尔可夫模型的预测参数；
步骤5.1计算关键帧的第ch个颜色分量中全部像素的平均索引值μ；
步骤5.2利用Sobel算子计算每个像素p处沿着水平方向的1阶差分
Figure FDA0004074375290000013
和沿着竖直方向的1阶差分
Figure FDA0004074375290000014
进而根据公式(3)计算每个像素p处的梯度方向角θp：
Figure FDA0004074375290000015
步骤5.3根据每个像素p的梯度方向角θp和公式(4)，计算像素p的主方向角
Figure FDA0004074375290000021
Figure FDA0004074375290000022
步骤5.4建立8个训练集C1、C2、C3、C4、C5、C6、C7、C8，并初始化为空集；
步骤5.5将关键帧的第ch个颜色分量划分为若干个大小为4×4像素的、不重叠的子块，对于每个子块B，执行下述步骤5.5.1～步骤5.5.2，从而根据主要边缘方向将其加入相应的训练集，实现子块的分类；
步骤5.5.1统计子块B中所有像素的主方向角的直方图，并选取出现次数最多的主方向角作为子块B的主要边缘方向θtexture；
步骤5.5.2若θtexture＝π/8，则将子块B加入训练集C1；若θtexture＝π/4，则将子块B加入训练集C2；若θtexture＝3π/8，则将子块B加入训练集C3；若θtexture＝π/2，则将子块B加入训练集C4；若θtexture＝5π/8，则将子块B加入训练集C5；若θtexture＝3π/4，则将子块B加入训练集C6；若θtexture＝7π/8，则将子块B加入训练集C7；若θtexture＝π，则将子块B加入训练集C8；
步骤5.6对于训练集C1的第i1个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(5)定义的模板T1，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000023
和
Figure FDA0004074375290000024
组成第1类子块的训练索引值集合，所述i1∈{1,2,3,…,N1}，N1表示训练集C1包含的子块总数，
Figure FDA0004074375290000025
Figure FDA0004074375290000026
和
Figure FDA0004074375290000027
分别表示训练集C1的第i1个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA0004074375290000031
步骤5.7对于训练集C2的第i2个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(6)定义的模板T2，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000032
和
Figure FDA0004074375290000033
组成第2类子块的训练索引值集合，所述i2∈{1,2,3,…,N2}，N2表示训练集C2包含的子块总数，
Figure FDA0004074375290000034
Figure FDA0004074375290000035
和
Figure FDA0004074375290000036
分别表示训练集C2的第i2个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA0004074375290000037
步骤5.8对于训练集C3的第i3个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(7)定义的模板T3，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000038
和
Figure FDA0004074375290000039
组成第3类子块的训练索引值集合，所述i3∈{1,2,3,…,N3}，N3表示训练集C3包含的子块总数，
Figure FDA00040743752900000310
Figure FDA00040743752900000311
和
Figure FDA00040743752900000312
分别表示训练集C3的第i3个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA00040743752900000313
步骤5.9对于训练集C4的第i4个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(8)定义的模板T4，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000041
和
Figure FDA0004074375290000042
组成第4类子块的训练索引值集合，所述i4∈{1,2,3,…,N4}，N4表示训练集C4包含的子块总数，
Figure FDA0004074375290000043
Figure FDA0004074375290000044
和
Figure FDA0004074375290000045
分别表示训练集C4的第i4个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA0004074375290000046
步骤5.10对于训练集C5的第i5个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(9)定义的模板T5，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000047
和
Figure FDA0004074375290000048
组成第5类子块的训练索引值集合，所述i5∈{1,2,3,…,N5}，N5表示训练集C5包含的子块总数，
Figure FDA0004074375290000049
Figure FDA00040743752900000410
和
Figure FDA00040743752900000411
分别表示训练集C5的第i5个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA00040743752900000412
步骤5.11对于训练集C6的第i6个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(10)定义的模板T6，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA00040743752900000413
和
Figure FDA00040743752900000414
组成第6类子块的训练索引值集合，所述i6∈{1,2,3,…,N6}，N6表示训练集C6包含的子块总数，
Figure FDA00040743752900000415
Figure FDA00040743752900000416
和
Figure FDA00040743752900000417
分别表示训练集C6的第i6个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA0004074375290000051
步骤5.12对于训练集C7的第i7个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(11)定义的模板T7，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000052
和
Figure FDA0004074375290000053
组成第7类子块的训练索引值集合，所述i7∈{1,2,3,…,N7}，N7表示训练集C7包含的子块总数，
Figure FDA0004074375290000054
Figure FDA0004074375290000055
和
Figure FDA0004074375290000056
分别表示训练集C7的第i7个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA0004074375290000057
步骤5.13对于训练集C8的第i8个子块B，将子块B中每个像素的索引值减去μ，得到子块B′，并根据公式(12)定义的模板T8，从子块B′中取出位于a、b、c、d、u处的索引值
Figure FDA0004074375290000058
和
Figure FDA0004074375290000059
组成第8类子块的训练索引值集合，所述i8∈{1,2,3,…,N8}，N8表示训练集C8包含的子块总数，
Figure FDA00040743752900000510
Figure FDA00040743752900000511
和
Figure FDA00040743752900000512
分别表示训练集C8的第i8个子块B′中位于a、b、c、d、u处的索引值；
Figure FDA00040743752900000513
步骤5.14利用每类子块的训练索引值集合和公式(13)的定义，为每类子块计算一组2D马尔可夫模型的预测参数；
Figure FDA0004074375290000061
所述ρ1,k、ρ2,k、ρ3,k、ρ4,k表示第k类子块的2D马尔可夫模型的预测参数且k∈{1,2,3,4,5,6,7,8}，
Figure FDA0004074375290000062
和
Figure FDA0004074375290000063
分别表示训练集Ck的第ik个子块B′中位于a、b、c、d、u处的索引值，Nk表示训练集Ck包含的子块总数；
步骤6.按照光栅扫描顺序，对关键帧的第ch个颜色分量中每个像素p的索引值Q(p)进行预测；
步骤6.1对于待预测的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)；
步骤6.2输出预测误差Q(p)-P(p)，若关键帧的所有索引值都已处理完毕，则转入步骤8；否则，返回步骤6.1处理下一个像素的索引值；
步骤7.计算非关键帧的第ch个颜色分量中全部像素的平均索引值μn，并按照光栅扫描顺序，对每个像素p的索引值Q(p)进行预测；
步骤7.1对于像素p的索引值Q(p)，采用二次方向预测方法TDP进行预测，令其预测值为P(p)，若预测成功，则转入步骤7.5；若像素p处于非关键帧的前3行或者前3列或者后3列，则转入步骤7.5，否则转入步骤7.2；
步骤7.2令像素p左侧的相邻像素为q，采用后向差分法，分别计算像素q的索引值Q(q)沿着水平方向的1阶差分
Figure FDA0004074375290000064
和沿着竖直方向的1阶差分
Figure FDA0004074375290000065
进而根据公式(3)的定义计算像素q处的梯度方向角θq；
步骤7.3根据像素q的梯度方向角θq和公式(4)的定义，计算像素q的主方向角
Figure FDA0004074375290000071
并令像素p的主方向角
Figure FDA0004074375290000072
步骤7.4令
Figure FDA0004074375290000073
采用第k类子块的2D马尔可夫模型和模板Tk对像素p的索引值Q(p)进行预测，所述Tk∈{T1,T2,T3,T4,T5,T6,T7,T8}；
步骤7.4.1将模板Tk的元素u与像素p对齐，从而以模板Tk作为掩膜，在像素p的大小为4×4的因果邻域中，取出与模板Tk的元素a、b、c、d对应的像素a′、b′、c′、d′，令其索引值分别为Q(a′)、Q(b′)、Q(c′)、Q(d′)；
步骤7.4.2根据公式(14)，计算索引值Q(p)的预测值P(p)：
Figure FDA0004074375290000074
步骤7.5输出预测误差Q(p)-P(p)，若当前的非关键帧的全部索引值都已处理完毕，则转入步骤8，否则返回步骤7.1处理下一个像素的索引值；
步骤8.令ch←ch+1，若ch>3，则转入步骤9，否则转入步骤2；
步骤9.令f←f+1，ch←1，若f≤F，则转入步骤2，否则算法结束。
CN202010091952.4A 2020-02-13 2020-02-13 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法 Active CN111294596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091952.4A CN111294596B (zh) 2020-02-13 2020-02-13 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091952.4A CN111294596B (zh) 2020-02-13 2020-02-13 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法

Publications (2)

Publication Number Publication Date
CN111294596A CN111294596A (zh) 2020-06-16
CN111294596B true CN111294596B (zh) 2023-04-14

Family

ID=71022399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091952.4A Active CN111294596B (zh) 2020-02-13 2020-02-13 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法

Country Status (1)

Country Link
CN (1) CN111294596B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070851B (zh) * 2020-07-07 2023-07-11 辽宁师范大学 基于遗传算法和bp神经网络的索引图预测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537910A (zh) * 2014-07-07 2017-03-22 寰发股份有限公司 在索引图编码中将跳出像素作为预测器的方法
CN107534783A (zh) * 2015-02-13 2018-01-02 联发科技股份有限公司 视频与图像压缩中的调色板索引编码方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699468B2 (en) * 2014-02-10 2017-07-04 Microsoft Technology Licensing, Llc Adaptive screen and video coding scheme
TW201907732A (zh) * 2017-07-05 2019-02-16 財團法人工業技術研究院 視訊編碼方法、視訊解碼方法、視訊編碼器及視訊解碼器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537910A (zh) * 2014-07-07 2017-03-22 寰发股份有限公司 在索引图编码中将跳出像素作为预测器的方法
CN107534783A (zh) * 2015-02-13 2018-01-02 联发科技股份有限公司 视频与图像压缩中的调色板索引编码方法及其装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Advanced Screen Content Coding Using Color Table and Index Map;Zhan Ma，et al.;《IEEE TRANSATIONS ON IAMGE PROCESSING》;全文 *
屏幕内容索引图的马尔可夫预测算法;宋传鸣等;《中国图象图形学报》(第07期);全文 *
屏幕内容编码方法研究;陈规胜;《中国优秀硕士学位论文全文数据库》(第5期);全文 *
屏幕教学视频编码的马尔可夫预测方法研究;何兴;《中国优秀硕士学位论文全文数据库》(第6期);全文 *
用于屏幕图像编码的索引图快速预测算法;陈规胜等;《中国图象图形学报》(第09期);全文 *
调色板编码中2-邻域联合转移概率的索引图预测;宋传鸣等;《计算机研究与发展》(第11期);全文 *

Also Published As

Publication number Publication date
CN111294596A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN108681991A (zh) 基于生成对抗网络的高动态范围反色调映射方法及系统
CN108495135A (zh) 一种屏幕内容视频编码的快速编码方法
CN107864380B (zh) 基于dct的3d-hevc快速帧内预测决策方法
TWI728944B (zh) 動畫像編碼裝置、動畫像解碼裝置及記錄媒體
CN107911699A (zh) 视频的编码方法和设备以及非暂时性计算机可读介质
Zhang et al. Fast CU decision-making algorithm based on DenseNet network for VVC
CN111462261A (zh) 针对h.266/vvc的快速cu分区和帧内决策方法
CN104780379A (zh) 一种屏幕图像集合的压缩方法
CN111294596B (zh) 基于2d马尔可夫和边缘方向特性的屏幕内容索引图预测方法
Liu et al. Fast depth intra coding based on depth edge classification network in 3D-HEVC
Hu et al. Fvc: An end-to-end framework towards deep video compression in feature space
CN112637600B (zh) 对数据进行有损或无损压缩的编码、解码的方法或装置
CN107454425B (zh) 一种scc帧内编码单元候选预测模式缩减方法
CN112565790B (zh) 一种采用最小基矢量标志的串预测编码、解码方法及装置
CN112070851B (zh) 基于遗传算法和bp神经网络的索引图预测方法
CN111757117A (zh) 对分量下采样格式数据进行串预测的数据编码和解码方法
Zhang et al. Point cloud attribute compression via clustering and intra prediction
Kim et al. A sub-pixel gradient compression algorithm for text image display on a smart device
Zhao et al. Efficient screen content coding based on convolutional neural network guided by a large-scale database
Shportko et al. Development of Predictors to Increase the Efficiency of Progressive Hierarchic Context-Independent Compression of Images Without Losses.
CN109218726B (zh) 激光诱导击穿光谱图像有损无损联合压缩方法
CN113822801A (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
Liu et al. A CU Fast Division Decision Algorithm with Low Complexity for HEVC
CN116600107B (zh) 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置
CN110650335A (zh) 基于dwt的3d-hevc快速dmm预测决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant