CN112492122A - 一种基于vmaf自适应调节锐化参数的方法 - Google Patents

一种基于vmaf自适应调节锐化参数的方法 Download PDF

Info

Publication number
CN112492122A
CN112492122A CN202011285389.0A CN202011285389A CN112492122A CN 112492122 A CN112492122 A CN 112492122A CN 202011285389 A CN202011285389 A CN 202011285389A CN 112492122 A CN112492122 A CN 112492122A
Authority
CN
China
Prior art keywords
volume
image
sharpening
vmaf
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011285389.0A
Other languages
English (en)
Other versions
CN112492122B (zh
Inventor
陈宇
朱政
刘宇新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Microframe Information Technology Co ltd
Original Assignee
Hangzhou Microframe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Microframe Information Technology Co ltd filed Critical Hangzhou Microframe Information Technology Co ltd
Priority to CN202011285389.0A priority Critical patent/CN112492122B/zh
Publication of CN112492122A publication Critical patent/CN112492122A/zh
Application granted granted Critical
Publication of CN112492122B publication Critical patent/CN112492122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于VMAF自适应调节锐化参数的方法，属于图像处理技术领域。所述方法包括以下步骤：将原始视频解码，并使用不同质量档次对视频的I帧进行编码并评价图像帧的质量，得到图像体积和质量之间的关系；对原始视频进行不同强度的锐化，得到质量分数；通过图像体积和质量之间的关系得到锐化后图像的估算体积，计算锐化后图像的实际体积对数与估算体积对数的差值，得到体积对数差值与锐化强度之间的关系；选取最佳锐化强度对原始视频进行锐化并将锐化后的数据送给编码器编码。本发明解决了如何自适应设置锐化参数以平衡锐化强度与视频体积的问题。

Description

一种基于VMAF自适应调节锐化参数的方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于VMAF自适应调节锐化参数的方法。
背景技术
随着视频技术和网络技术的发展，高质量的视频已成为人们重要的需求。现实中依然存在很多低质量的视频资源，包括使用低质量设备拍摄的老旧影片、非专业人员拍摄的一些UGC视频等。视频的低质量问题包括低分辨率、压缩噪声大、背景噪声大等。
视频增强旨在将已有的低质量视频通过一系列的增强技术转换为高质量的视频。通用的视频增强技术包括超分辨率、去噪、锐化等。锐化是一种简单的提升视频主观质量的方法，有着运算量小，主观改善明显的特点，在视频编码之前加入一定幅度的锐化，可以使得编码后的视频看起来更加清晰，但是图像锐化程度越大，编码的视频体积也会随着变大，占用大量存储空间，网络传输时占用带宽，因此如何权衡锐化强度和视频体积是一个急需解决的问题。
发明内容
本发明主要提供了一种基于VMAF自适应调节锐化参数的方法。针对如何平衡锐化强度和视频体积的问题，本发明拟合了锐化强度和视频体积之间的关系，并找到最佳的锐化强度，具体包括如下步骤。
1. 原始视频解码，获取YUV数据S。
2. 分别用QP=26、27、28、29四个档次对步骤1得到的YUV数据S中的I帧进行编码，得到编码后的图像
Figure 802365DEST_PATH_IMAGE001
，并计算这4个图像的体积对数：
Figure 719505DEST_PATH_IMAGE002
、
Figure 312291DEST_PATH_IMAGE003
、
Figure 707501DEST_PATH_IMAGE004
、
Figure 584190DEST_PATH_IMAGE005
。
3. 将步骤2中得到的图像
Figure 406652DEST_PATH_IMAGE001
分别解码，与步骤1得到的YUV数据S进行VMAF计算，分别得到VMAF分数为：
Figure 580927DEST_PATH_IMAGE006
。
4. 根据步骤2和步骤3得到的数据，用线性最小二乘法估计图像体积和VMAF分数之间的关系：
Figure 779828DEST_PATH_IMAGE007
。
5. 分别选取锐化强度1.0、1.5、2.0、2.5对步骤1得到的YUV数据S进行锐化处理，选取QP=28对这4个图像进行I帧编码，得到编码后的图像
Figure 511023DEST_PATH_IMAGE008
。
6. 分别计算4个图像的对数体积：
Figure 317436DEST_PATH_IMAGE009
、
Figure 71766DEST_PATH_IMAGE010
、
Figure 871094DEST_PATH_IMAGE011
、
Figure 706064DEST_PATH_IMAGE012
，并将
Figure 135908DEST_PATH_IMAGE008
解码后的数据分别与步骤1的YUV数据S计算VMAF分数：
Figure 377534DEST_PATH_IMAGE013
。
7. 通过步骤6中的VMAF分数计算锐化后的图像的估计体积对数，并与步骤6中得到的实际体积对数作差：
Figure 714974DEST_PATH_IMAGE015
其中
Figure 358445DEST_PATH_IMAGE016
为步骤4中估算出来的参数。
8. 通过最小二乘拟合对数体积差值与锐化强度之间的关系：
Figure 506661DEST_PATH_IMAGE017
其中
Figure 235583DEST_PATH_IMAGE018
，
Figure 376714DEST_PATH_IMAGE019
为步骤7中得到的结果。
9. 计算步骤8中的二次函数的极值点
Figure 186276DEST_PATH_IMAGE020
，并按照如下规则计算最佳锐化强度：
Figure 957923DEST_PATH_IMAGE021
。
10. 用步骤9中得到的最佳锐化强度重新对步骤1中的YUV数据进行锐化处理，并将锐化后的图像数据送给编码器编码。
本发明的益处在于：（1）本发明使用的算法简单、快速，还可以配合编码器的scenecut算法使用。（2）本发明只对I帧进行处理，进一步提高处理速度。（3）采用VMAF指标作为图像质量评价标准，比传统的PSNR/SSIM的方法更加接近主观。（4）采用最小二乘的方法拟合二次曲线求极值，可以比穷举法运算量更少，精度更高。
附图说明
图1为一种基于VMAF自适应调节锐化参数的方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本附图，对本说明书实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
如图1所示，本申请的一种基于VMAF自适应调节锐化参数的方法具体包括以下步骤。
1. 原始视频解码，获取YUV数据S。
2. 分别用QP=26、27、28、29四个档次对步骤1得到的YUV数据S中的I帧进行编码，得到编码后的图像
Figure 970878DEST_PATH_IMAGE001
，并计算这4个图像的体积对数：
Figure 853384DEST_PATH_IMAGE002
、
Figure 18917DEST_PATH_IMAGE003
、
Figure 961465DEST_PATH_IMAGE004
、
Figure 399400DEST_PATH_IMAGE005
。
3. 将步骤2中得到的图像
Figure 882334DEST_PATH_IMAGE001
分别解码，与步骤1得到的YUV数据S进行VMAF计算，分别得到VMAF分数为：
Figure 354903DEST_PATH_IMAGE006
。
4. 根据步骤2和步骤3得到的数据，用线性最小二乘法估计图像体积和VMAF分数之间的关系：
Figure 779937DEST_PATH_IMAGE007
。
5. 分别选取锐化强度1.0、1.5、2.0、2.5对步骤1得到的YUV数据S进行锐化处理，选取QP=28对这4个图像进行I帧编码，得到编码后的图像
Figure 705168DEST_PATH_IMAGE008
。
6. 分别计算4个图像的对数体积：
Figure 991793DEST_PATH_IMAGE009
、
Figure 53290DEST_PATH_IMAGE022
、
Figure 150690DEST_PATH_IMAGE011
、
Figure 563217DEST_PATH_IMAGE023
，并将
Figure 653532DEST_PATH_IMAGE008
解码后的数据分别与步骤1的YUV数据S计算VMAF分数：
Figure 835115DEST_PATH_IMAGE013
。
7. 通过步骤6中的VMAF分数计算锐化后的图像的估计体积对数，并与步骤6中得到的实际体积对数作差：
Figure 24788DEST_PATH_IMAGE015
其中
Figure 242055DEST_PATH_IMAGE016
为步骤4中估算出来的参数。
8. 通过最小二乘拟合对数体积差值与锐化强度之间的关系：
Figure 808165DEST_PATH_IMAGE017
其中
Figure 172150DEST_PATH_IMAGE018
，
Figure 532724DEST_PATH_IMAGE019
为步骤7中得到的结果。
9. 计算步骤8中的二次函数的极值点
Figure 732893DEST_PATH_IMAGE020
，并按照如下规则计算最佳锐化强度：
Figure 102694DEST_PATH_IMAGE021
。
10. 用步骤9中得到的最佳锐化强度重新对步骤1中的YUV数据进行锐化处理，并将锐化后的图像数据送给编码器编码。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (5)

1.一种基于VMAF自适应调节锐化参数的方法，其特征在于，所述的方法包括以下步骤：
（1）原始视频解码，获取YUV数据；
（2）使用不同质量档次对步骤（1）的YUV数据I帧编码，并计算编码后的图像的体积对数；
（3）解码步骤（2）中得到的图像，并与步骤（1）中的数据进行VMAF计算，得到VMAF分数；
（4）根据步骤（2）和步骤（3）得到的数据，估计图像体积和质量之间的关系；
（5）将步骤（1）中获得的YUV数据进行不同程度的锐化处理并编码I帧图像；
（6）计算步骤（5）中得到的图像的实际体积对数，并将步骤（5）中的图像解码，与原始视频的YUV数据进行VMAF计算，得到VMAF分数；
（7）根据步骤（6）中得到的质量评分和步骤（4）中的关系式计算出图像的估计体积，并计算估计体积对数与步骤（6）中得到的实际体积对数之间的差值；
（8）拟合体积对数的差值与锐化强度之间的关系；
（9）在步骤（8）中的关系式中找到最佳锐化强度；
（10）使用步骤（9）中的最佳锐化强度锐化原始视频，并将锐化后的图像数据送给编码器编码。
2.根据权利要求1的方法，其特征在于，所述步骤（4）中估计图像体积和质量之间的关系公式为：
Figure 914615DEST_PATH_IMAGE001
。
3.根据权利要求1的方法，其特征在于，所述步骤（7）中的体积对数差值为：
Figure 308687DEST_PATH_IMAGE002
。
4.根据权利要求1的方法，其特征在于，所述步骤（8）拟合体积对数的差值与锐化强度 之间的关系公式为：
Figure 860891DEST_PATH_IMAGE003
其中xi为锐化强度。
5.根据权利要求1的方法，其特征在于，所述步骤（9）中的最佳锐化强度为：
Figure 922388DEST_PATH_IMAGE004
其中xm为所述步骤（8）中二次函数的极值点
Figure 800214DEST_PATH_IMAGE005
。
CN202011285389.0A 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法 Active CN112492122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285389.0A CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285389.0A CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Publications (2)

Publication Number Publication Date
CN112492122A true CN112492122A (zh) 2021-03-12
CN112492122B CN112492122B (zh) 2022-08-12

Family

ID=74930945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285389.0A Active CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Country Status (1)

Country Link
CN (1) CN112492122B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827338A (en) * 1985-10-22 1989-05-02 Eude Gerard Hybrid coding process by transformation for the transmission of picture signals
US20020094028A1 (en) * 2001-01-17 2002-07-18 Nec Corporation Device and method for motion video encoding reducing image degradation in data transmission without deteriorating coding efficiency
US20070058716A1 (en) * 2005-09-09 2007-03-15 Broadcast International, Inc. Bit-rate reduction for multimedia data streams
CN101202912A (zh) * 2007-11-30 2008-06-18 上海广电（集团）有限公司中央研究院 一种平衡码率和图像质量的码率控制方法
CN102368821A (zh) * 2011-10-20 2012-03-07 浙江工商大学 一种噪声强度自适应的视频去噪方法和系统
US20120069895A1 (en) * 2010-09-17 2012-03-22 David Frederique Blum High Quality Video Encoder
CN103327329A (zh) * 2013-06-09 2013-09-25 深圳市云宙多媒体技术有限公司 一种图像质量跳变的量化调整方法及系统
CN110324618A (zh) * 2019-07-03 2019-10-11 上海电力学院 基于vmaf准则的提高视频质量的优化编码方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827338A (en) * 1985-10-22 1989-05-02 Eude Gerard Hybrid coding process by transformation for the transmission of picture signals
US20020094028A1 (en) * 2001-01-17 2002-07-18 Nec Corporation Device and method for motion video encoding reducing image degradation in data transmission without deteriorating coding efficiency
US20070058716A1 (en) * 2005-09-09 2007-03-15 Broadcast International, Inc. Bit-rate reduction for multimedia data streams
CN101202912A (zh) * 2007-11-30 2008-06-18 上海广电（集团）有限公司中央研究院 一种平衡码率和图像质量的码率控制方法
US20120069895A1 (en) * 2010-09-17 2012-03-22 David Frederique Blum High Quality Video Encoder
CN102368821A (zh) * 2011-10-20 2012-03-07 浙江工商大学 一种噪声强度自适应的视频去噪方法和系统
CN103327329A (zh) * 2013-06-09 2013-09-25 深圳市云宙多媒体技术有限公司 一种图像质量跳变的量化调整方法及系统
CN110324618A (zh) * 2019-07-03 2019-10-11 上海电力学院 基于vmaf准则的提高视频质量的优化编码方法

Also Published As

Publication number Publication date
CN112492122B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US20210062095A9 (en) Method and apparatus for encoding and decoding hdr images
CN103947206B (zh) 基于区域的图像压缩的方法和装置
CN111988611A (zh) 量化偏移信息的确定方法、图像编码方法、装置及电子设备
CN104581176B (zh) 无帧内误差漂移的h.264/avc压缩域鲁棒视频水印嵌入及提取方法
WO2021062743A1 (zh) 占位信息的预测方法、编码器、解码器、及存储介质
Mathews et al. Modified BTC algorithm for gray scale images using max-min quantizer
CN109286812B (zh) 一种hevc视频质量估计方法
CN111741300A (zh) 一种视频处理方法
EP3354021A1 (en) Preserving texture/noise consistency in video codecs
CN112492122B (zh) 一种基于vmaf自适应调节锐化参数的方法
WO2023246700A1 (zh) 一种点云属性编码方法、点云属性解码方法及存储介质
CN107820084B (zh) 一种视频感知编码方法及装置
WO2023098917A1 (zh) 点云熵编码方法、解码方法、装置、设备及计算机可读存储介质
CN111641825A (zh) 一种嵌入到hevc编码过程的3d去噪方法及去噪装置
CN112929663B (zh) 一种基于知识蒸馏的图像压缩质量增强方法
CN1606350A (zh) 解码数字图像数据的方法和装置
CN101267557B (zh) 一种用复合矢量量化进行图像压缩和解码的方法
CN112153381B (zh) 动态3d点云压缩帧内cu快速划分方法、设备及介质
CN108024111A (zh) 一种帧类型判定方法及装置
Yang et al. Knowledge distillation from end-to-end image compression to vvc intra coding for perceptual quality enhancement
CN117041581B (zh) 一种用于视频编码参数优化的方法、装置及设备
CN105357526A (zh) 基于压缩域的考虑场景分类的手机足球视频质量评估装置和方法
CN103596012A (zh) 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法
CN110087073B (zh) 一种多阈值串匹配数据压缩方法
Ning et al. HFLIC: Human Friendly Perceptual Learned Image Compression with Reinforced Transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant