CN112218088A - 一种图像与视频压缩方法 - Google Patents

一种图像与视频压缩方法 Download PDF

Info

Publication number
CN112218088A
CN112218088A CN201910616192.1A CN201910616192A CN112218088A CN 112218088 A CN112218088 A CN 112218088A CN 201910616192 A CN201910616192 A CN 201910616192A CN 112218088 A CN112218088 A CN 112218088A
Authority
CN
China
Prior art keywords
image
coding tree
tree unit
perceptual
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910616192.1A
Other languages
English (en)
Inventor
刘晓燕
张云
朱林卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910616192.1A priority Critical patent/CN112218088A/zh
Publication of CN112218088A publication Critical patent/CN112218088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种图像与视频压缩方法，包括：步骤a：利用人类视觉系统的感知特性分别计算得到图像组、图像以及编码树单元的感知失真，分别建立图像组、图像以及编码树单元的感知失真与码率之间的关系模型，并通过关系模型计算得到图像组、图像以及编码树单元的感知加权因子；步骤b：根据所述感知加权因子计算图像组、图像以及编码树单元所分配的最优比特数，并根据所述最优比特数计算结果为图像组、图像以及编码树单元执行比特分配；步骤c：在执行比特分配后，计算得到待编码的图像组、图像以及编码树单元的最佳量化参数，并根据所述最佳量化参数对待编码的图像组、图像以及编码树单元进行编码。通过本申请的实施可以提高视频压缩性能。

Description

一种图像与视频压缩方法
技术领域
本申请属于视频编码技术领域，特别涉及一种图像与视频压缩方法。
背景技术
随着超高清、虚拟现实、3D视频等多媒体技术的快速发展，多媒体数据以指数型方式增长，给数据存储和传输带来了巨大的挑战。为了进一步提高视频的压缩效率以缓解数据存储和传输的压力，新一代视频编码标准出现了，即高效视频编码(High EfficiencyVideo Coding，HEVC)0。在视频编码的标准中，重要的模块之一是比特率控制，用来有效地满足有限的信道带宽。比特率控制的过程可以分为两个步骤，第一步是比特分配，基于给定的目标比特总数来确定图像组(Group of Picture,GOP)，图像和编码树单元(Coding TreeUnit,CTU)级别中的最佳目标比特数；第二步是根据R-Q模型或R-λ模型确定量化参数(Quantization Parameter,QP)的值，并且每个编码单元根据目标比特数,独立地确定量化参数。
在2012年，一种基于R-Q模型的比特率控制算法0被提出。随后，Li等人0使用lambda来建立R-λ模型来确定量化参数，显著的提高了比特率控制精度。Li的工作考虑了非帧内帧的比特分配算法，而没有充分考虑帧内帧的比特分配。因此，提案JCTVC-M02570和JCTVC-M00360改进了Li的工作。在JCTVC-M0257算法中，对于帧内比特分配算法，每个编码单元所分配的比特数由比特数与绝对变换误差和(Sum of Absolute TransformDifference,SATD)的线性相关性所决定。除了上述比特率控制方法之外，还有一些基于感知的方法。高等人0使用结构相似性(SSIM)0和博弈论来指导帧内编码树单元级别的比特分配。杨等人0使用梯度幅度相似度偏差0来执行编码树单元级别比特分配算法。另外，高等人0还提出了一种基于显着性检测的比特分配算法，使用相位一致性来检测边缘显着性，并提出了基于相位一致性的比特率控制算法。
准确的比特分配是整个比特率控制算法的基础。编码树单元级比特分配算法用于改善每帧图像的质量。因为帧内帧(Intra frame)用作后续编码帧的参考帧，帧内帧的编码质量直接影响后续编码帧，因此帧内帧的编码非常重要。目前，基于帧内的编码树单元级别比特分配算法利用同位置的编码树单元的平均绝对差作为比特分配的权重，但是这种计算权重的方法并未充分考虑人类视觉系统的感知特性，因此，所获得的编码图像的主观质量不高。这是因为我们的编码目标是在一定比特率约束的条件下最小化失真，但是当前失真度量是均方误差(MSE)，没有充分考虑人类视觉系统的感知特性。如图1所示，为相同MSE下不同的视觉质量对比图。其中，图1(a)为原始图像，图1(b)为传统失真图像，MSE＝48，图1(c)为感知失真图像，MSE＝48。从图1(b)和图1(c)可以看出，在相同的MSE下，两幅图像的视觉质量不同，图1(c)的视觉质量优于图1(b)。这是因为图1(c)的失真集中在背景树和杂草中，这些区域存在较大的视觉掩蔽效应，因此人眼感知的失真很低。图1(b)的失真集中在前景人和一些具有平坦纹理的区域。这些区域不仅具有弱的掩蔽效应，而且人眼对这些区域的失真较为敏感，因此人眼可以容易地检测到失真。
由此可见，由于掩蔽效应，在相同的MSE下，失真位置的差异使人眼感觉到的视频主观质量不同。因此，根据人类视觉系统的感知特性进行比特分配可以带来更好的视觉质量。
发明内容
本申请提供了一种图像与视频压缩方法，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种图像与视频压缩方法，包括以下步骤：
步骤a：利用人类视觉系统的感知特性计算编码单元的感知失真，其中，所述编码单元包括图像组、图像以及编码树单元；分别建立所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型，并通过所述关系模型计算得到图像组、图像以及编码树单元的感知加权因子；
步骤b：根据所述感知加权因子计算图像组、图像以及编码树单元所分配的最优比特数，并根据所述最优比特数计算结果为待编码的图像组、图像以及编码树单元执行比特分配；
步骤c：在执行图像组、图像以及编码树单元比特分配后，计算得到待编码的图像组、图像以及编码树单元的最佳量化参数，并根据所述最佳量化参数对待编码的图像组、图像以及编码树单元进行编码。
本申请实施例采取的技术方案还包括：所述步骤a中，所述图像组、图像和编码树单元的感知加权因子计算公式分别为：
Figure BDA0002124032380000041
Figure BDA0002124032380000042
和
Figure BDA0002124032380000043
其中，
Figure BDA0002124032380000044
是与第i个图像组的内容相关的感知权重，N表示一个视频包含N个图像组；
Figure BDA0002124032380000045
是与第i个图像的内容相关的感知权重，M表示一个图像组包含M幅图像；
Figure BDA0002124032380000046
是与第i个编码树单元的内容相关的感知权重，L表示一幅图像中包含L个编码树单元。
本申请实施例采取的技术方案还包括：所述步骤a中，所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型分别为：PWD＝m*en*R、PWD＝α·Rβ、
Figure BDA0002124032380000047
本申请实施例采取的技术方案还包括：在所述步骤a中，所述通过关系模型计算得到图像组、图像以及编码树单元的感知加权因子进一步包括：
步骤a1：利用人类视觉系统的感知特性分别计算得到每个图像组、图像及编码树单元的感知失真；
步骤a2：分别建立每个图像组、图像及编码树单元的感知失真与码率之间的关系模型R-PWD；
步骤a3：通过所述每个图像组、图像及编码树单元的感知失真与码率之间的关系模型分别计算待编码图像组、图像及编码树单元的感知加权因子，根据所述感知加权因子分别进行图像组、图像及编码树单元的比特分配。
本申请实施例采取的技术方案还包括：所述图像组、图像以及编码树单元的感知失真的计算方式包括融合人眼对比敏感度的感知失真计算方式、融合人眼注意力机制的感知失真计算方式、融合人眼掩蔽效应的感知失真计算方式中的一种或两种以上感知失真计算方式的结合。
本申请实施例采取的技术方案还包括：所述感知权重的计算方法为：使用m个编码单元，编码单元包括图像组、图像以及编码树单元的PWD和R的值进行最小二乘法自适应计算出编码单元感知权重的值，每个编码单元的感知权重约束在[1.0,40.0]之间。
本申请实施例采取的技术方案还包括：所述步骤b中，所述根据感知加权因子计算待编码的图像组、图像以及编码树单元所分配的最优比特数的计算公式为：
Figure BDA0002124032380000051
上述公式中，Ropt(i)是为每个编码单元，编码单元包括图像组、图像以及编码树单元分配的最佳比特数，
Figure BDA0002124032380000052
为第i个编码单元的感知加权因子，
Figure BDA0002124032380000053
为编码第i个编码单元时最优的剩余比特数。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的图像与视频压缩方法考虑到人类视觉系统的对比敏感度、视觉注意力机制、掩蔽效应等感知特性，计算出视频的感知失真，通过比特率和感知失真之间的关系推导出感知加权因子来执行最优比特分配。与现有的编码树单元级别比特分配算法相比，在相同感知质量条件下，本申请实现了7.71％的比特率减少；在相同码率条件下，本申请实现了0.46dB视频感知质量增益，进一步提高了视频压缩性能。此外，本申请基于视觉感知的高效图像与视频压缩方法还保持了99.996％的极好比特率控制精度。
附图说明
图1为相同MSE下不同的视觉质量对比图；其中，图1(a)为原始图像，图1(b)为传统失真图像，图1(c)为感知失真图像；
图2是本申请实施例的图像与视频压缩方法的流程图；
图3为不同算法下KristenAndSara序列的R-PWPSNR曲线图；
图4为不同算法下KristenAndSara序列每一帧图像的感知质量(PWPSNR)；
图5为不同算法下KristenAndSara序列每一帧图像的实际比特数。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
基于现有技术存在的不足，本申请提出了一种基于视觉感知的图像与视频压缩方法，在给定比特率约束条件下最小化每个编码单元的感知失真。首先，为了更好地表示感知失真，利用人类视觉系统的感知特性计算得到每个编码单元的感知失真，建立码率和感知失真之间的关系，采用感知加权均方误差代替均方误差来度量失真。然后，由统计实验计算得到码率(R)和感知加权均方误差(PWD)之间的关系，并记为R-PWD模型。最后，从R-PWD模型推导出感知加权因子，从而指导编码单元的图像组、图像以及编码树单元三个级别的比特分配。
具体的，请参阅图2，是本申请实施例的图像与视频压缩方法的流程图。本申请实施例的图像与视频压缩方法包括以下步骤：
步骤100：获取当前编码单元所在上一级别编码单元的目标比特数Rpic；
步骤101：计算所有编码单元的SATD(the Sum of Absolute TransformDifference,哈达玛变换绝对误差和)值；
步骤102：根据SATD值计算所有编码单元的初始比特数；
步骤102中，本申请实施例所述的编码单元包括图像组、图像以及编码树单元，以编码树单元(CodingTreeUnit，CTU)为例，初始比特数计算公式为：
Figure BDA0002124032380000071
公式(1)中，CCTU(i)是计算的第i个CTU的SATD值，其作为初始比特权重；RCTU(i)是分配给第i个CTU的初始比特数，N是待编码帧中CTU的个数，Rpic是一帧图像的目标比特数。
步骤103：使用人类视觉系统的感知特性分别计算得到编码单元的感知失真，建立码率(R)与感知加权均方误差(PWD)之间的关系模型R-PWD，并通过关系模型R-PWD计算每个编码单元的感知加权因子；
步骤103中，本申请实施例采用感知失真的方式分别计算图像组、图像以及编码树单元三个级别的感知加权因子，并根据感知加权因子按照递归顺序依次进行图像组、图像以及编码树单元三个级别的比特分配，具体比特分配方式如下：
步骤1031：利用人类视觉系统的感知特性计算得到每个图像组的感知失真；
步骤1032：建立每个图像组的感知失真与码率之间的关系模型；其中，图像组的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为PWD＝m*en*R。
步骤1033：通过每个图像组的感知失真与码率之间的关系模型计算待编码图像组的感知权重，根据感知权重进行图像组的比特分配；其中，图像组的感知加权因子计算公式为：
Figure BDA0002124032380000081
公式(2)中，
Figure BDA0002124032380000082
是与第i个图像组的内容相关的感知权重，N表示一个视频包含N个图像组。
步骤1034：利用人类视觉系统的感知特性计算得到每个图像的感知失真；
步骤1035：建立每个图像的感知失真与码率之间的关系模型；其中，每个图像的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为PWD＝α·Rβ。
步骤1036：通过每个图像的感知失真与码率之间的关系模型计算待编码图像的感知权重，根据感知权重进行图像的比特分配；其中，图像的感知加权因子计算公式为：
Figure BDA0002124032380000091
公式(3)中，
Figure BDA0002124032380000092
是与第i个图像的内容相关的感知权重，M表示一个图像组包含M幅图像。
步骤1037：利用人类视觉系统的感知特性计算得到每个编码树单元的感知失真；
步骤1038：建立每个编码树单元的感知失真与码率之间的关系模型；其中，每个编码树单元的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为
Figure BDA0002124032380000093
步骤1039：通过所述每个编码树单元的感知失真与码率之间的关系模型计算待编码的编码树单元的感知权重，根据所述感知权重进行待编码的编码树单元的比特分配；其中，编码树单元的感知加权因子计算公式为：
Figure BDA0002124032380000094
公式(4)中，
Figure BDA0002124032380000095
是与第i个编码树单元的内容相关的感知权重，L表示一幅图像中包含L个编码树单元。
上述中，感知权重的值通过拟合m个编码单元的PWD和R的值进行最小二乘法自适应计算得到，m的取值范围可以是1到N(N为待编码帧中编码单元的个数)，本申请实施例优选为m＝16；每个编码单元的感知权重的取值约束在[1.0,40.0]之间，具体取值范围可根据实际操作进行设定。
在本申请其他实施例中，图像组、图像以及编码树单元的感知失真的计算方式包括但不限于融合人眼对比敏感度的感知失真计算方式、融合人眼注意力机制的感知失真计算方式、融合人眼掩蔽效应的感知失真计算方式以及SSIM(structural similarityindex，结构相似性)等感知质量指标中的一种或两种以上感知失真计算方式的结合。可以理解，每个级别的R-PWD模型中，PWD与R的关系也可根据实际操作进行替换或调整。
步骤104：得到编码当前编码单元时，估计剩余的比特数
Figure BDA0002124032380000101
步骤104中，以编码树单元为例，编码树单元估计的剩余比特数
Figure BDA0002124032380000102
计算公式为：
Figure BDA0002124032380000103
公式(5)中，CCTU(i)是计算的第i个CTU的SATD值。
步骤105：得到编码当前编码单元时实际剩余的比特数，用实际的剩余比特数调整估计的剩余比特数；
步骤105中，以编码树单元为例，编码树单元的调整后剩余比特数计算公式为：
Figure BDA0002124032380000104
公式(6)中，
Figure BDA0002124032380000105
是调整后的剩余比特数，
Figure BDA0002124032380000106
是实际的剩余比特数，i是已编码CTU的数量，
Figure BDA0002124032380000107
是估计的剩余比特数，W是平滑窗口的大小，W的值可设在1～N(N为待编码帧中所包含的CTU的个数)，本申请实施例中设置W值为4。
步骤106：根据感知加权因子计算每个编码单元所分配的最优比特数Ropt，并根据计算结果为每个编码单元执行比特分配；
步骤106中，以编码树单元为例，编码树单元的最优比特数Ropt计算公式为：
Figure BDA0002124032380000111
公式(7)中，Ropt(i)是为每个编码树单元分配的最佳比特数，
Figure BDA0002124032380000112
为当前待编码帧中第i个编码树单元的感知加权因子，
Figure BDA0002124032380000113
为编码第i个编码树单元时最优的剩余比特数。
步骤107：在执行比特分配后，通过R-λ模型λ＝α·bppβ计算得到待编码的编码单元的λ值；
步骤108：根据QP-λ的关系QP＝c1×ln(λ)+c2计算得到待编码的编码单元的最佳量化参数(QP)，并根据最佳量化参数(QP)对待编码的编码单元进行编码；
步骤108中，最佳量化参数(QP)c1的值设置为4.2005，c2的值设置为13.7122，具体可根据实际应用进行设置。视频编码器可以为H.264、H.265或JPEG等图像质量编码器，本申请实施例优选为H.265编码器。
步骤109：判断所有编码单元是否全部编码完毕，如果没有编码完毕，重新执行步骤104；如果所有的编码单元全部编码完毕，执行步骤110；
步骤110：结束待编码帧的编码。
为了验证本申请的可行性和有效性，已在HM-16.7参考软件上进行了实验，实验编码结构为全帧内帧(All Intra)编码，开启码率控制模式，进行CTU级的码率控制。该实验使用11个测试序列，分别为Traffic、BasketballDrive、BQTerrace、Cactus、ParkScene、RaceHorse、BQMall、Vidyo、KristenAndSara、Johnny、Tennis，每个序列编码150帧。使用JCTVC-K0103、JCTVC-M0257、HM-16.7默认算法作为对比实验。与JCTVC-K0103相比，本申请在BD-BR上节省7.71％的比特，在BD-PSNR上获得了0.46dB的增益。在最好的情况下，BD-BR节省11.13％的比特，BD-PWPSNR增加0.64dB。具体实验结果请参阅图3至图5，图3为不同算法下KristenAndSara序列的R-PWPSNR曲线，图4为不同算法下KristenAndSara序列每一帧图像的感知质量(PWPSNR)，图5为不同算法下KristenAndSara序列每一帧图像的实际比特数。从图3中的R-PWD曲线可以清楚地看出，本申请所提算法的R-D性能优于全帧内帧编码结构下的JCTVC-K0103、JCTVC-M0257和HM-16.7默认算法。在相同的比特率下，本申请所提算法的感知加权峰值信噪比(PWPSNR)高于JCTVC-K0103、JCTVC-M0257和HM-16.7默认的算法。在相同的PWPSNR下，本申请所提算法比JCTVC-K0103、JCTVC-M0257和HM-16.7默认的算法使用更少的比特率。从图4中可以看出，本申请所提算法的每帧图像质量明显优于其他算法。从图5可以看出，根据“KristenAndSara”的例子，得到在相同的比特率下，本申请所提算法的比特波动比其他算法更小更稳定。
本申请实施例的图像与视频压缩方法考虑到人类视觉系统的掩蔽效应、对比敏感度、视觉注意力等感知特性，计算出视频的感知失真，通过比特率和感知失真之间的关系推导出感知加权因子来执行最优比特分配，可同时适用于帧内帧及帧间帧的图像与视频压缩。与现有的编码树单元级别比特分配算法相比，在相同感知质量条件下，本申请实现了7.71％的比特率减少；在相同码率条件下，本申请实现了0.46dB视频感知质量增益，进一步提高了视频压缩性能。此外，本申请基于视觉感知的高效图像与视频压缩方法还保持了99.996％的极好比特率控制精度。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种图像与视频压缩方法，其特征在于，包括以下步骤：
步骤a：利用人类视觉系统的感知特性计算编码单元的感知失真，其中，所述编码单元包括图像组、图像以及编码树单元；分别建立所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型，并通过所述关系模型计算得到图像组、图像以及编码树单元的感知加权因子；
步骤b：根据所述感知加权因子计算图像组、图像以及编码树单元所分配的最优比特数，并根据所述最优比特数计算结果为待编码的图像组、图像以及编码树单元执行比特分配；
步骤c：在执行图像组、图像以及编码树单元比特分配后，计算得到待编码的图像组、图像以及编码树单元的最佳量化参数，并根据所述最佳量化参数对待编码的图像组、图像以及编码树单元进行编码。
2.根据权利要求1中所述的图像与视频压缩方法，其特征在于，所述步骤a中，所述图像组、图像和编码树单元的感知加权因子计算公式分别为：
Figure FDA0002124032370000011
和
Figure FDA0002124032370000012
其中，
Figure FDA0002124032370000013
是与第i个图像组的内容相关的感知权重，N表示一个视频包含N个图像组；
Figure FDA0002124032370000014
是与第i个图像的内容相关的感知权重，M表示一个图像组包含M幅图像；
Figure FDA0002124032370000015
是与第i个编码树单元的内容相关的感知权重，L表示一幅图像中包含L个编码树单元。
3.根据权利要求2中所述的图像与视频压缩方法，其特征在于，所述步骤a中，所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型分别为：PWD＝m*en*R、PWD＝α·Rβ、
Figure FDA0002124032370000021
4.根据权利要求3所述的图像与视频压缩方法，其特征在于，在所述步骤a中，所述通过关系模型计算得到图像组、图像以及编码树单元的感知加权因子进一步包括：
步骤a1：利用人类视觉系统的感知特性分别计算得到每个图像组、图像及编码树单元的感知失真；
步骤a2：分别建立每个图像组、图像及编码树单元的感知失真与码率之间的关系模型R-PWD；
步骤a3：通过所述每个图像组、图像及编码树单元的感知失真与码率之间的关系模型分别计算待编码图像组、图像及编码树单元的感知加权因子，根据所述感知加权因子分别进行图像组、图像及编码树单元的比特分配。
5.根据权利要求4所述的图像与视频压缩方法，其特征在于，所述图像组、图像以及编码树单元的感知失真的计算方式包括融合人眼对比敏感度的感知失真计算方式、融合人眼注意力机制的感知失真计算方式、融合人眼掩蔽效应的感知失真计算方式中的一种或两种以上感知失真计算方式的结合。
6.根据权利要求5所述的图像与视频压缩方法，其特征在于，所述感知权重的计算方法为：使用m个编码单元，编码单元包括图像组、图像以及编码树单元的PWD和R的值进行最小二乘法自适应计算出编码单元感知权重的值，每个编码单元的感知权重约束在[1.0,40.0]之间。
7.根据权利要求1所述的图像与视频压缩方法，其特征在于，所述步骤b中，所述根据感知加权因子计算待编码的图像组、图像以及编码树单元所分配的最优比特数的计算公式为：
Figure FDA0002124032370000031
上述公式中，Ropt(i)是为每个编码单元，编码单元包括图像组、图像以及编码树单元分配的最佳比特数，ωP(i)为第i个编码单元的感知加权因子，RO(i)为编码第i个编码单元时最优的剩余比特数。
CN201910616192.1A 2019-07-09 2019-07-09 一种图像与视频压缩方法 Pending CN112218088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616192.1A CN112218088A (zh) 2019-07-09 2019-07-09 一种图像与视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616192.1A CN112218088A (zh) 2019-07-09 2019-07-09 一种图像与视频压缩方法

Publications (1)

Publication Number Publication Date
CN112218088A true CN112218088A (zh) 2021-01-12

Family

ID=74047441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616192.1A Pending CN112218088A (zh) 2019-07-09 2019-07-09 一种图像与视频压缩方法

Country Status (1)

Country Link
CN (1) CN112218088A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052290A (zh) * 2021-03-31 2021-06-29 上海阵量智能科技有限公司 神经网络的生成、数据处理方法、装置及电子设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286786A1 (en) * 2004-06-17 2005-12-29 Reiko Noda Apparatus and method for coding image based on level of visual attention and level of perceivable image quality distortion, and computer program product therefor
CN103561266A (zh) * 2013-11-06 2014-02-05 北京牡丹电子集团有限责任公司数字电视技术中心 基于对数r-q模型和层次化比特分配的码率控制方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
US20140119432A1 (en) * 2011-06-14 2014-05-01 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
US20140269903A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Method of bit allocation for image & video compression using perceptual guidance
CN106534862A (zh) * 2016-12-20 2017-03-22 杭州当虹科技有限公司 一种视频编码方法
US20170085892A1 (en) * 2015-01-20 2017-03-23 Beijing University Of Technology Visual perception characteristics-combining hierarchical video coding method
CN107707918A (zh) * 2017-10-26 2018-02-16 北京佳讯飞鸿电气股份有限公司 基于hevc/h.265平均码率控制的优化算法
KR20180021945A (ko) * 2016-08-22 2018-03-06 광운대학교 산학협력단 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286786A1 (en) * 2004-06-17 2005-12-29 Reiko Noda Apparatus and method for coding image based on level of visual attention and level of perceivable image quality distortion, and computer program product therefor
US20140119432A1 (en) * 2011-06-14 2014-05-01 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
CN103918262A (zh) * 2011-06-14 2014-07-09 王舟 基于结构相似度的码率失真优化感知视频编码方法和系统
US20140269903A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Method of bit allocation for image & video compression using perceptual guidance
CN103561266A (zh) * 2013-11-06 2014-02-05 北京牡丹电子集团有限责任公司数字电视技术中心 基于对数r-q模型和层次化比特分配的码率控制方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
US20170085892A1 (en) * 2015-01-20 2017-03-23 Beijing University Of Technology Visual perception characteristics-combining hierarchical video coding method
KR20180021945A (ko) * 2016-08-22 2018-03-06 광운대학교 산학협력단 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치
CN106534862A (zh) * 2016-12-20 2017-03-22 杭州当虹科技有限公司 一种视频编码方法
CN107707918A (zh) * 2017-10-26 2018-02-16 北京佳讯飞鸿电气股份有限公司 基于hevc/h.265平均码率控制的优化算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN LI ET AL.: ""Rate control by R-lambda model for HEVC"", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: SHANGHAI, CN, 19 October 2012 (2012-10-19) *
ZIZHENG LIU ET AL.: ""Improvements for HEVC rate control"", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 34RD MEETING: MARRAKECH, MA, 18 January 2019 (2019-01-18) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052290A (zh) * 2021-03-31 2021-06-29 上海阵量智能科技有限公司 神经网络的生成、数据处理方法、装置及电子设备和介质
CN113052290B (zh) * 2021-03-31 2023-11-03 上海阵量智能科技有限公司 神经网络的生成、数据处理方法、装置及电子设备和介质

Similar Documents

Publication Publication Date Title
CN1910934B (zh) 自适应速率控制编码器
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
CN106358040B (zh) 一种基于显著性的码率控制比特分配方法
CN101395923B (zh) 用于在图像信号编码中为图像中的像素块组确定比特分配的方法及设备
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
EP2027727A1 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
WO2012171113A1 (en) Method and system for structural similarity based rate-distortion optimization for perceptual video coding
US20200068200A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
CN106303530B (zh) 一种融合视觉感知特性的码率控制方法
TWI394462B (zh) 基於視覺感知的位元-失真最佳化位元分配的位元率控制方法
CN104994387B (zh) 一种融合图像特征的码率控制方法
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
CN111741300A (zh) 一种视频处理方法
CN116055726A (zh) 一种低延迟分层视频编码方法、计算机设备及介质
CN112218084B (zh) 面向监控视频的高效视频编码标准帧级码率控制方法
CN112218088A (zh) 一种图像与视频压缩方法
CN112040231B (zh) 一种基于感知噪声信道模型的视频编码方法
CN103237221B (zh) 一种基于结构相似性系数的h.264帧层码率控制方法
CN105592312B (zh) 一种基于重构的无参考视频图像质量估计方法
CN108924555B (zh) 一种适用于视频切片的码率控制比特分配方法
CN113038135B (zh) 基于块效应检测的crf自适应方法
CN112929663B (zh) 一种基于知识蒸馏的图像压缩质量增强方法
CN112738518B (zh) 一种基于感知的ctu级视频编码的码率控制方法
JPH07203430A (ja) 画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination