CN111246218A - 基于jnd模型的cu分割预测和模式决策纹理编码方法 - Google Patents

基于jnd模型的cu分割预测和模式决策纹理编码方法 Download PDF

Info

Publication number
CN111246218A
CN111246218A CN202010046667.0A CN202010046667A CN111246218A CN 111246218 A CN111246218 A CN 111246218A CN 202010046667 A CN202010046667 A CN 202010046667A CN 111246218 A CN111246218 A CN 111246218A
Authority
CN
China
Prior art keywords
texture
jnd
treeblock
jnd model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010046667.0A
Other languages
English (en)
Other versions
CN111246218B (zh
Inventor
张秋闻
赵进超
黄立勋
王祎菡
赵永博
王兆博
吴庆岗
常化文
蒋斌
王晓
张伟伟
崔腾耀
陈明
孙丽君
钱晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202010046667.0A priority Critical patent/CN111246218B/zh
Publication of CN111246218A publication Critical patent/CN111246218A/zh
Application granted granted Critical
Publication of CN111246218B publication Critical patent/CN111246218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于JND模型的CU分割预测和模式决策纹理编码方法，其步骤为：首先，启动模式决策，通过亮度JND模型、空间JND模型和时间JND模型构建纹理视频的多视图纹理JND模型；其次，根据纹理视频的内容设置多视图纹理JND模型的阈值，并根据阈值将纹理视频的树块分为三种类型；再根据当前树块所属类型对当前树块进行自适应CU分割；最后，根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。本发明利用JND模型分析纹理图像的树块特征，在早期阶段跳过纹理视频的一些树块，可显著降低3D‑HEVC的编码复杂度，同时视频的RD性能的损失可以忽略不计。

Description

基于JND模型的CU分割预测和模式决策纹理编码方法
技术领域
本发明涉及图像处理技术领域，特别是指一种基于JND模型的CU分割预测和模式决策纹理编码方法。
背景技术
在过去的几年中，随着3D电视(3DTV)、FTV、3D游戏和3D电影等立体显示和相关应用程序的发展，3D视频变得越来越流行。为了提高多纹理视频的编码效率，最新的视频标准HEVC已经开发了3D-HEVC，利用组件之间的相关性设计了其他编码工具来有效地压缩纹理视频数据。官方的3D-HEVC参考软件比3D视频内容的HEVC可节省46％的比特率，除了传统的视频编码器HEVC以外，还可以通过几种编码工具获得显著的压缩改进，其中编码工具包括：“相邻块视差矢量(NBDV)”、“视图间运动预测(IMP)”和“视图综合预测(VSP)”。这些编码工具实现了最高的编码效率，同时复杂性比较大。
目前，已经进行了关于降低3D-HEVC的纹理编码复杂度的研究。N.Zhang等人提出基于早期的CU分割和合并模式终止的快速编码方法，该方法利用纹理多视图视频的视图间相关性来加速计算。L.Shen等人开发了一种快速的方法来加速3D-HEVC的编码过程，该方法使用相邻CU深度级别之间的预测模式相关性和多视图纹理视频与深度图的相关性，自适应地调整纹理视频和深度视频的模式决策过程。Y.Song等人引入了用于基于视图间编码模式之间的相关性的3D-HEVC的快速纹理编码。H.R.Tohidypour等人利用了一种基于在线学习的复杂度降低方法来加快3D-HEVC编码器中的纹理视图编码，此外，该方法还可以自适应地调整运动搜索的范围，并降低纹理编码中预测模式搜索的复杂度。L.Shen等人设计了一种有效的CU处理方法，以节省3D-HEVC实时应用程序的编码时间。Q.Zhang等人提出了一种使用梯度信息的快速模式决策方法，以节省3D-HEVC的编码时间。上述方法是针对3D-HEVC纹理视频压缩而精心设计的，可以减少编码时间。但是，这些方法没有充分利用人类视觉系统(HVS)的感知特性，3D-HEVC纹理编码的复杂性还很大。
为了利用HVS的感知特性，JND模型是基于心理学和生理学的高效模型。在视频压缩应用中使用JND模型是降低编码器复杂性的一种有前景的方法。在最近的一些研究中，JND模型已经用于快速HEVC编码。J.Kim等人提出了一种基于JND的HEVC兼容方案，以通过HVS的感知特性来减少HEVC的编码运行时间。P.Lee等人设计了一种快速的CU大小决定方法，以根据JND模型分配HEVC的计算复杂度，它可以在HEVC编码过程中选择性地省略不必要的模式。J.Kim等人提出了一种快速SKIP模式决策方法的发展，以基于感知失真度量来加快HEVC的编码时间。但是目前缺少基于JND定理的3D-HEVC纹理视频压缩的方法。
发明内容
针对上述背景技术中存在的不足，本发明提出了一种基于JND模型的CU分割预测和模式决策纹理编码方法，解决了现有编码技术没有将JND模型和HVS的感知特性相结合，造成编码复杂度高的技术问题。
本发明的技术方案是这样实现的：
一种基于JND模型的CU分割预测和模式决策纹理编码方法，其步骤如下：
S1、启动模式决策，通过亮度JND模型、空间JND模型和时间JND模型构建纹理视频的多视图纹理JND模型；
S2、根据纹理视频的内容设置多视图纹理JND模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的CU、中间纹理的CU和复杂纹理的CU；
S3、根据当前树块所属的类型对当前树块进行自适应CU分割；
S4、根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。
所述多视图纹理JND模型为：
JNDM(i,j,t)＝[JNDL(i,j)]α·[JNDS(i,j)]β·[JNDT(i,j,t)]χ，
其中，JNDM表示多视图纹理JND模型，JNDL表示亮度JND模型，JNDS表示空间JND模型，JNDT表示时间JND模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。
所述亮度JND模型为：
Figure BDA0002369649950000021
其中，L(i,j)表示树块的平均亮度值。
所述空间JND模型为：
JNDS(i,j)＝m(i,j)·ε(L(i,j))+φ(L(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，L(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数；
所述最大加权平均值m(i,j)为：
Figure BDA0002369649950000031
其中，
Figure BDA0002369649950000032
表示像素(i,j)的梯度值，Gk(a,b)表示检测纹理的高通滤波器，p(i-3+a,j-3+b)表示背景亮度；
所述线性函数ε(L(i,j))和φ(L(i,j))分别为：
ε(L(i,j))＝L(i,j)·0.0001+0.115，
φ(L(i,j))＝0.25-L(i,j)·0.01。
所述时间JND模型为：
Figure BDA0002369649950000033
其中，
Figure BDA0002369649950000034
表示帧间亮度差，p(i,j,t)表示纹理索引为t时的背景亮度，p(i,j,t-1)表示纹理索引为t-1时的背景亮度，bg(i,j,t)表示纹理索引为t时的背景亮度的平均值，bg(i,j,t-1)表示纹理索引为t-1时的背景亮度的平均值。
所述根据阈值将纹理视频的每个树块分为三种类型的方法为：
Figure BDA0002369649950000035
其中，H和C均表示多视图纹理JND模型的阈值，JNDM表示多视图纹理JND模型。
所述根据当前树块所属的类型对每个树块进行自适应CU分割的方法为：如果当前树块属于均匀纹理的CU，选择CU分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的CU，选择CU分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的CU，选择CU分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应CU分割。
所述根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式的方法为：如果当前树块属于均匀纹理的CU，选择“SKIP”模式对当前树块进行编码，即均匀纹理的CU对应的最佳编码模式为“SKIP”模式；如果当前树块属于中间纹理的CU，选择“SKIP”、“Merge”和其他帧间模式对当前树块进行编码，即中间纹理的CU对应的最佳编码模式为“SKIP”、“Merge”和其他帧间模式；如果当前树块属于复杂纹理的CU，选择“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式对当前树块进行编码，即复杂纹理的CU对应的最佳编码模式为“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式；其中，其他帧间模式包括Inter 2N×N、Inter N×2N、Inter N×N、Inter 2N×nU、Inter 2N×nD、Inter nL×2N、Inter nR×2N模式。
本技术方案能产生的有益效果：本发明利用JND模型分析纹理图像的树块特征，确定在没有常规编码过程的情况下运用早期跳过模式决策和快速CU分区终止在早期阶段跳过纹理视频的一些树块，可显著降低3D-HEVC的编码复杂度，同时保证视频质量，RD性能的损失可以忽略不计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的纹理编码中的模式分布图；
图3为本发明方法与FEDTC、FMDRA、EMMDT和FMDDI方法的节省的编码时间结果对比；
图4为本发明方法与FEDTC、FMDRA、EMMDT和FMDDI方法的增加BDBRs的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
与HEVC类似，HTM的模式决策过程会尝试所有编码模式和深度级别，以最小的RD成本来寻找最佳模式，RD成本函数为：
Jmode＝(SSEluma+ωchroma·SSEchroma)+λmode·Rmode，
其中，Jmode表示RD成本函数，SSEluma表示当前树块与其亮度分量重构块之间的失真，SSEchroma表示当前树块及其色度分量重构块之间的失真，ωchroma表示色度参数，λmode表示拉格朗日乘数，Rmode表示比特率成本。这种“尝试所有并选择最佳”的方法可以实现良好的RD性能，但是会导致很高的复杂度。图2显示了纹理视频的帧间模式分布，固定区域的多视图纹理视频主要选择“SKIP/Merge”模式，特别是对于深度视频序列，选择“SKIP/Merge”模式的百分比非常高。因此，如果可以预先确定树块的最佳模式是否为“SKIP/Merge”模式，则可以降低计算复杂性。
因此，本发明实施例提供了一种基于JND模型的CU分割预测和模式决策纹理编码方法，利用JND模型分析纹理图像的树块特征，确定在没有常规编码过程的情况下在早期阶段跳过纹理视频的一些树块，以此来加速编码过程。如图1所示，具体步骤如下：
S1、启动模式决策，通过亮度JND模型、空间JND模型和时间JND模型构建纹理视频的多视图纹理JND模型；本发明提出一种用于多视图纹理编码的精确JND模型，根据多视角纹理视频的特点，该模型不仅考虑了亮度适应的变化，而且还包括了时空视觉效果。JND模型通常表示为基本阈值和某些调制因子的乘积。因此，通过使用亮度JND模型、空间JND模型和时间JND模型建立了一个多视图纹理JND模型。
JNDM(i,j,t)＝[JNDL(i,j)]α·[JNDS(i,j)]β·[JNDT(i,j,t)]χ，
其中，JNDM表示多视图纹理JND模型，JNDL表示亮度JND模型，JNDS表示空间JND模型，JNDT表示时间JND模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。JND模型的特点是有助于软件和硬件集成，这是由于所有操作都位于3D-HEVC的一个纹理树块中，JND模型的操作复杂度很低。
所述亮度JND模型是采用亮度作为平均亮度的函数：
Figure BDA0002369649950000051
其中，L(i,j)表示树块的平均亮度值。
所述空间JND模型采用空间JNDS作为亮度对比度和空间掩膜的函数：
JNDS(i,j)＝m(i,j)·ε(L(i,j))+φ(L(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，通过计算像素周围四个方向的带权亮度改变量而得到的，L(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数，ε(·)和φ(·)都与背景亮度有关，同时与亮度差呈线性关系。
所述最大加权平均值m(i,j)为：
Figure BDA0002369649950000061
其中，
Figure BDA0002369649950000062
表示像素(i,j)的梯度值，Gk(a,b)表示检测纹理的高通滤波器，p(i-3+a,j-3+b)表示背景亮度。
所述线性函数ε(L(i,j))和φ(L(i,j))分别为：
ε(L(i,j))＝L(i,j)·0.0001+0.115，
φ(L(i,j))＝0.25-L(i,j)·0.01。
通常，帧之间的亮度差异较大会导致较大的时间效应，因此时间JND模型为：
Figure BDA0002369649950000063
其中，
Figure BDA0002369649950000064
表示帧间亮度差，p(i,j,t)表示纹理索引为t时的背景亮度，p(i,j,t-1)表示纹理索引为t-1时的背景亮度，bg(i,j,t)表示纹理索引为t时的背景亮度的平均值，bg(i,j,t-1)表示纹理索引为t-1时的背景亮度的平均值。
S2、根据纹理视频的内容设置多视图纹理JND模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的CU、中间纹理的CU和复杂纹理的CU；纹理视频包括真实场景中的大多数详细信息，例如纹理变化和对象信息。除非纹理来自平滑区域，否则大多数纹理信息都很重要。通常，如果纹理树块越复杂，则纹理视频的JNDM越大。
Figure BDA0002369649950000065
其中，H和C均表示纹理视频内容的权重因子，JNDM表示多视图纹理JND模型。
S3、根据当前树块所属的类型对每个树块进行自适应CU分割；如果当前树块属于均匀纹理的CU，选择CU分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的CU，选择CU分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的CU，选择CU分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应CU分割。其中，CU是编码的基本单元，大小是以2幂次方为宽高的正方形，大小有64×64、32×32、16×16、8×8四种尺寸，尺寸64×64对应深度级别“0”，尺寸32×32对应深度级别“1”，尺寸16×16对应深度级别“2”，尺寸8×8对应深度级别“3”。
在3D-HEVC中，四叉树结构的CU结构也用于压缩纹理视频，3D-HEVC使用的最大树块大小为64，CU深度级别的范围为“0”到“3”。对于纹理编码的整个编码过程，深度级别具有给定的范围。与HEVC相似，运动估计(ME)和视差估计(DE)过程将搜索所有候选深度级别，并通过最小的RD成本找到最佳模式，这些技术在HTM中可以尽可能地提高编码效率，但是计算复杂性会显著提高。实际上，具有均匀纹理的树块选择较小的深度级别，而具有复杂纹理的树块选择较大的深度级别。可以注意到，对于具有均匀纹理的CU的深度值“0”的深度级别出现的次数很多，而对于具有复杂纹理的CU则很少选择深度值“0”的深度级别，这表明可以通过树块的纹理特征来自适应地确定3D-HEVC中的CU分割预测。
每个纹理树块可以分为三种类型：均匀纹理的CU，中间纹理的CU和复杂纹理的CU。针对三种类型的纹理树块分析3D-HEVC的CU深度分布。如果将最大深度级别设置为“0”，则将会覆盖约97.6％的纹理树块，纹理编码中的均匀纹理的CU只有当深度级别为“0”才用于纹理编码；如果深度级别从“0”到“1”，则将覆盖97.0％的纹理树块，纹理编码中的中间纹理的CU最佳深度为“0”到“1”；对于具有复杂纹理的CU的树块，在纹理视频中选择深度级别“0”、“1”、“2”和“3”的可能性均大于5.9％，因此，在复杂纹理的CU中，任何深度级别都不能忽略。根据这些分析，利用所提出的自适应CU分裂预测方法，3D-HEVC中的许多纹理树块能够跳过2-3个深度级别。
S4、根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。与HEVC相似，在HTM中帧间预测编码中会执行各种模式，HTM的帧间预测会计算所有分区模式，以找到最小的RD成本的最佳模式。实际上，对于均匀纹理的CU总是选择大块的分区，同时，在复杂纹理的CU中很少选择大块的分区。由于当前树块的最佳帧间模式依赖于内容，因此执行所有分区会导致效率低下。基于以上讨论，可以使用JNDM模式来预测当前的树块特征并自适应跳过不必要的模式。根据模式相关性，得出如果当前树块属于均匀纹理的CU，选择“SKIP”模式对当前树块进行编码，即均匀纹理的CU对应的最佳编码模式为“SKIP”模式；如果当前树块属于中间纹理的CU，选择“SKIP”、“Merge”和其他帧间模式对当前树块进行编码，即中间纹理的CU对应的最佳编码模式为“SKIP”、“Merge”和其他帧间模式；如果当前树块属于复杂纹理的CU，选择“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式对当前树块进行编码，即复杂纹理的CU对应的最佳编码模式为“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式。其中，其他帧间模式包括Inter 2N×N、Inter N×2N、Inter N×N、Inter 2N×nU、Inter 2N×nD、Inter nL×2N、Inter nR×2N。
为了评估本发明方法的有效性，在3D-HEVC编码器(HTM 16.1)上进行了仿真测试，通过使用Bjontegaard Delta Bitrate(BDBR)来评估压缩特性，编码性能是在具有两个E5-2640@2.0GHz CPU的工作站上实现的，BDBRS和BDBRT分别指示使用合成视图和纹理图像PSNR计算的BD速率。
表1给出了与原始编码器相比采用ACSP和FMD方法的整体方案的编码结果。在均匀纹理的CU中，跳过了许多不必要的预测模式和深度值，从而减少运行时间。同时，纹理视频的平均BDBR增量为0.42％，合成视图的平均BDBR增量为0.29％。因此，本发明可以有效地节省编码时间，并且RD性能的损失可以忽略不计。
表1本发明与原始编码器的对比结果
Figure BDA0002369649950000081
将本发明方法与最新的3D-HEVC快速方法相比较。这些3D-HEVC快速方法包括FEDTC、FMDRA、EMMDT和FMDDI。图3和图4分别给出了节省编码时间和BDBR的编码结果，由图3和图4可知，本发明方法可以减少计算量，并具有良好的RD特性。本发明方法与FEDTC、EMMDT相比具有更少的计算量。HTM编码器中可以进一步节省4.8％-44.9％的运行时间。此外，本发明方法与FMDRA、FMDDI方法相比，可在压缩时间上实现11.1％-20.9％的增益，并减少0.37％-0.42％的BDBR。因此，本发明方法对于各种3D视频都是有效的，并且在目标性能评估中，比HTM的最新方案的计算量减少的更多。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，其步骤如下：
S1、启动模式决策，通过亮度JND模型、空间JND模型和时间JND模型构建纹理视频的多视图纹理JND模型；
S2、根据纹理视频的内容设置多视图纹理JND模型的阈值，并根据阈值将纹理视频的树块分为三种类型，分别为均匀纹理的CU、中间纹理的CU和复杂纹理的CU；
S3、根据当前树块所属的类型对当前树块进行自适应CU分割；
S4、根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式。
2.根据权利要求1所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述多视图纹理JND模型为：
JNDM(i,j,t)＝[JNDL(i,j)]α·[JNDS(i,j)]β·[JNDT(i,j,t)]χ，
其中，JNDM表示多视图纹理JND模型，JNDL表示亮度JND模型，JNDS表示空间JND模型，JNDT表示时间JND模型，(i,j)表示像素在纹理框中的位置，t表示纹理帧索引，α、β和χ均表示权重因子。
3.根据权利要求1或2所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述亮度JND模型为：
Figure FDA0002369649940000011
其中，L(i,j)表示树块的平均亮度值。
4.根据权利要求1或2所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述空间JND模型为：
JNDS(i,j)＝m(i,j)·ε(L(i,j))+φ(L(i,j))，
其中，m(i,j)表示像素(i,j)周围亮度差异的最大加权平均值，L(i,j)表示树块的平均亮度值，ε(·)和φ(·)均表示线性函数；
所述最大加权平均值m(i,j)为：
Figure FDA0002369649940000012
其中，
Figure FDA0002369649940000021
表示像素(i,j)的梯度值，Gk(a,b)表示检测纹理的高通滤波器，p(i-3+a,j-3+b)表示背景亮度；
所述线性函数ε(L(i,j))和φ(L(i,j))分别为：
ε(L(i,j))＝L(i,j)·0.0001+0.115，
φ(L(i,j))＝0.25-L(i,j)·0.01。
5.根据权利要求1或2所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述时间JND模型为：
Figure FDA0002369649940000022
其中，
Figure FDA0002369649940000023
表示帧间亮度差，p(i,j,t)表示纹理索引为t时的背景亮度，p(i,j,t-1)表示纹理索引为t-1时的背景亮度，bg(i,j,t)表示纹理索引为t时的背景亮度的平均值，bg(i,j,t-1)表示纹理索引为t-1时的背景亮度的平均值。
6.根据权利要求1或2所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述根据阈值将纹理视频的每个树块分为三种类型的方法为：
Figure FDA0002369649940000024
其中，H和C均表示多视图纹理JND模型的阈值，JNDM表示多视图纹理JND模型。
7.根据权利要求6所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述根据当前树块所属的类型对每个树块进行自适应CU分割的方法为：如果当前树块属于均匀纹理的CU，选择CU分割的深度级别“0”对当前树块进行分割；如果当前树块属于中间纹理的CU，选择CU分割的深度级别“0”和“1”对当前树块进行分割；如果当前树块属于复杂纹理的CU，选择CU分割的深度级别“0”、“1”、“2”和“3”对当前树块进行分割；实现了每个树块的自适应CU分割。
8.根据权利要求1所述的基于JND模型的CU分割预测和模式决策纹理编码方法，其特征在于，所述根据当前树块所属的类型对自适应CU分割的树块进行快速模式决策的预测，确定树块的最佳编码模式的方法为：如果当前树块属于均匀纹理的CU，选择“SKIP”模式对当前树块进行编码，即均匀纹理的CU对应的最佳编码模式为“SKIP”模式；如果当前树块属于中间纹理的CU，选择“SKIP”、“Merge”和其他帧间模式对当前树块进行编码，即中间纹理的CU对应的最佳编码模式为“SKIP”、“Merge”和其他帧间模式；如果当前树块属于复杂纹理的CU，选择“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式对当前树块进行编码，即复杂纹理的CU对应的最佳编码模式为“SKIP”、“Merge”、“Intra 2N×2N”和其他帧间模式；其中，其他帧间模式包括Inter 2N×N、Inter N×2N、Inter N×N、Inter 2N×nU、Inter 2N×nD、Inter nL×2N、Inter nR×2N模式。
CN202010046667.0A 2020-01-16 2020-01-16 基于jnd模型的cu分割预测和模式决策纹理编码方法 Active CN111246218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010046667.0A CN111246218B (zh) 2020-01-16 2020-01-16 基于jnd模型的cu分割预测和模式决策纹理编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010046667.0A CN111246218B (zh) 2020-01-16 2020-01-16 基于jnd模型的cu分割预测和模式决策纹理编码方法

Publications (2)

Publication Number Publication Date
CN111246218A true CN111246218A (zh) 2020-06-05
CN111246218B CN111246218B (zh) 2023-07-14

Family

ID=70880923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046667.0A Active CN111246218B (zh) 2020-01-16 2020-01-16 基于jnd模型的cu分割预测和模式决策纹理编码方法

Country Status (1)

Country Link
CN (1) CN111246218B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901594A (zh) * 2020-06-29 2020-11-06 北京大学 面向视觉分析任务的图像编码方法、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094306A1 (en) * 2015-04-01 2017-03-30 Beijing University Of Technology Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
CN109819249A (zh) * 2019-01-18 2019-05-28 郑州轻工业学院 针对屏幕编码的低复杂度帧内模式预测方法
CN109862372A (zh) * 2019-01-18 2019-06-07 郑州轻工业学院 针对3d-hevc中深度图编码的复杂度降低方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094306A1 (en) * 2015-04-01 2017-03-30 Beijing University Of Technology Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
CN109819249A (zh) * 2019-01-18 2019-05-28 郑州轻工业学院 针对屏幕编码的低复杂度帧内模式预测方法
CN109862372A (zh) * 2019-01-18 2019-06-07 郑州轻工业学院 针对3d-hevc中深度图编码的复杂度降低方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIUWEI ZHANG ,ET AL.: "Adaptive early termination mode decision for 3D-HEVC using inter-view and spatio-temporal correlations", INTERNATIONAL JOURNAL OF ELECTRONICS AND COMMUNICATIONS *
YIHAN WANG; TONG LU; JIAO LI; HUIJUAN ZHAO; FENG GAO: "Combined Photoacoustic Tomography and Diffuse Optical Tomography for Small-Animal Model: A Methodological Study", 《2016 ASIA COMMUNICATIONS AND PHOTONICS CONFERENCE (ACP)》 *
YIHAN WANG; TONG LU; JIAO LI; HUIJUAN ZHAO; FENG GAO: "Combined Photoacoustic Tomography and Diffuse Optical Tomography for Small-Animal Model: A Methodological Study", 《2016 ASIA COMMUNICATIONS AND PHOTONICS CONFERENCE (ACP)》, 4 April 2019 (2019-04-04) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901594A (zh) * 2020-06-29 2020-11-06 北京大学 面向视觉分析任务的图像编码方法、电子设备及介质

Also Published As

Publication number Publication date
CN111246218B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
CN108322747B (zh) 一种面向超高清视频的编码单元划分优化方法
CN104378643B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN109302610B (zh) 一种基于率失真代价的屏幕内容编码帧间快速编码方法
WO2018010492A1 (zh) 视频编码中帧内预测模式的快速决策方法
KR20050105271A (ko) 비디오 인코딩
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
CN101710993A (zh) 基于块的自适应超分辨率视频处理方法及系统
US20120039389A1 (en) Distortion weighing
CN101404766B (zh) 一种多视点视频信号的编码方法
CN104853191B (zh) 一种hevc的快速编码方法
CN1695381A (zh) 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强
US20150208094A1 (en) Apparatus and method for determining dct size based on transform depth
CN105791862B (zh) 基于边缘复杂度的三维视频编码深度图内部模式选择方法
CN111246218B (zh) 基于jnd模型的cu分割预测和模式决策纹理编码方法
CN107277519A (zh) 一种判断视频帧的帧类型的方法及电子设备
CN114040211A (zh) 一种基于avs3的帧内预测快速决策方法
CN106878754B (zh) 一种3d视频深度图像帧内预测模式选择方法
CN109889838B (zh) 一种基于roi区域的hevc快速编码方法
CN110446040A (zh) 一种适用于hevc标准的帧间编码方法与系统
CN111031303B (zh) 基于贝叶斯决策定理的3d-hevc快速深度编码方法
CN109982079B (zh) 一种结合纹理空间相关性的帧内预测模式选择方法
CN111327909B (zh) 一种针对3d-hevc的快速深度编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant