CN112492122B - 一种基于vmaf自适应调节锐化参数的方法 - Google Patents

一种基于vmaf自适应调节锐化参数的方法 Download PDF

Info

Publication number
CN112492122B
CN112492122B CN202011285389.0A CN202011285389A CN112492122B CN 112492122 B CN112492122 B CN 112492122B CN 202011285389 A CN202011285389 A CN 202011285389A CN 112492122 B CN112492122 B CN 112492122B
Authority
CN
China
Prior art keywords
volume
image
sharpening
vmaf
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011285389.0A
Other languages
English (en)
Other versions
CN112492122A (zh
Inventor
陈宇
朱政
刘宇新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Microframe Information Technology Co ltd
Original Assignee
Hangzhou Microframe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Microframe Information Technology Co ltd filed Critical Hangzhou Microframe Information Technology Co ltd
Priority to CN202011285389.0A priority Critical patent/CN112492122B/zh
Publication of CN112492122A publication Critical patent/CN112492122A/zh
Application granted granted Critical
Publication of CN112492122B publication Critical patent/CN112492122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于VMAF自适应调节锐化参数的方法，属于图像处理技术领域。所述方法包括以下步骤：将原始视频解码，并使用不同质量档次对视频的I帧进行编码并评价图像帧的质量，得到图像体积和质量之间的关系；对原始视频进行不同强度的锐化，得到质量分数；通过图像体积和质量之间的关系得到锐化后图像的估算体积，计算锐化后图像的实际体积对数与估算体积对数的差值，得到体积对数差值与锐化强度之间的关系；选取最佳锐化强度对原始视频进行锐化并将锐化后的数据送给编码器编码。本发明解决了如何自适应设置锐化参数以平衡锐化强度与视频体积的问题。

Description

一种基于VMAF自适应调节锐化参数的方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于VMAF自适应调节锐化参数的方法。
背景技术
随着视频技术和网络技术的发展，高质量的视频已成为人们重要的需求。现实中依然存在很多低质量的视频资源，包括使用低质量设备拍摄的老旧影片、非专业人员拍摄的一些UGC视频等。视频的低质量问题包括低分辨率、压缩噪声大、背景噪声大等。
视频增强旨在将已有的低质量视频通过一系列的增强技术转换为高质量的视频。通用的视频增强技术包括超分辨率、去噪、锐化等。锐化是一种简单的提升视频主观质量的方法，有着运算量小，主观改善明显的特点，在视频编码之前加入一定幅度的锐化，可以使得编码后的视频看起来更加清晰，但是图像锐化程度越大，编码的视频体积也会随着变大，占用大量存储空间，网络传输时占用带宽，因此如何权衡锐化强度和视频体积是一个急需解决的问题。
发明内容
本发明主要提供了一种基于VMAF自适应调节锐化参数的方法。针对如何平衡锐化强度和视频体积的问题，本发明拟合了锐化强度和视频体积之间的关系，并找到最佳的锐化强度，具体包括如下步骤。
1. 原始视频解码，获取YUV数据S。
2. 分别用QP=26、27、28、29四个档次对步骤1得到的YUV数据S中的I帧进行编码，得到编码后的图像
Figure 802365DEST_PATH_IMAGE001
，并计算这4个图像的体积对数：
Figure 719505DEST_PATH_IMAGE002
、
Figure 312291DEST_PATH_IMAGE003
、
Figure 707501DEST_PATH_IMAGE004
、
Figure 584190DEST_PATH_IMAGE005
。
3. 将步骤2中得到的图像
Figure 406652DEST_PATH_IMAGE001
分别解码，与步骤1得到的YUV数据S进行VMAF计算，分别得到VMAF分数为：
Figure 580927DEST_PATH_IMAGE006
。
4. 根据步骤2和步骤3得到的数据，用线性最小二乘法估计图像体积和VMAF分数之间的关系：
Figure 779828DEST_PATH_IMAGE007
。
5. 分别选取锐化强度1.0、1.5、2.0、2.5对步骤1得到的YUV数据S进行锐化处理，选取QP=28对这4个图像进行I帧编码，得到编码后的图像
Figure 511023DEST_PATH_IMAGE008
。
6. 分别计算4个图像的对数体积：
Figure 317436DEST_PATH_IMAGE009
、
Figure 71766DEST_PATH_IMAGE010
、
Figure 871094DEST_PATH_IMAGE011
、
Figure 706064DEST_PATH_IMAGE012
，并将
Figure 135908DEST_PATH_IMAGE008
解码后的数据分别与步骤1的YUV数据S计算VMAF分数：
Figure 377534DEST_PATH_IMAGE013
。
7. 通过步骤6中的VMAF分数计算锐化后的图像的估计体积对数，并与步骤6中得到的实际体积对数作差：
Figure 714974DEST_PATH_IMAGE015
其中
Figure 358445DEST_PATH_IMAGE016
为步骤4中估算出来的参数。
8. 通过最小二乘拟合对数体积差值与锐化强度之间的关系：
Figure 506661DEST_PATH_IMAGE017
其中
Figure 235583DEST_PATH_IMAGE018
，
Figure 376714DEST_PATH_IMAGE019
为步骤7中得到的结果。
9. 计算步骤8中的二次函数的极值点
Figure 186276DEST_PATH_IMAGE020
，并按照如下规则计算最佳锐化强度：
Figure 957923DEST_PATH_IMAGE021
。
10. 用步骤9中得到的最佳锐化强度重新对步骤1中的YUV数据进行锐化处理，并将锐化后的图像数据送给编码器编码。
本发明的益处在于：（1）本发明使用的算法简单、快速，还可以配合编码器的scenecut算法使用。（2）本发明只对I帧进行处理，进一步提高处理速度。（3）采用VMAF指标作为图像质量评价标准，比传统的PSNR/SSIM的方法更加接近主观。（4）采用最小二乘的方法拟合二次曲线求极值，可以比穷举法运算量更少，精度更高。
附图说明
图1为一种基于VMAF自适应调节锐化参数的方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本附图，对本说明书实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
如图1所示，本申请的一种基于VMAF自适应调节锐化参数的方法具体包括以下步骤。
1. 原始视频解码，获取YUV数据S。
2. 分别用QP=26、27、28、29四个档次对步骤1得到的YUV数据S中的I帧进行编码，得到编码后的图像
Figure 970878DEST_PATH_IMAGE001
，并计算这4个图像的体积对数：
Figure 853384DEST_PATH_IMAGE002
、
Figure 18917DEST_PATH_IMAGE003
、
Figure 961465DEST_PATH_IMAGE004
、
Figure 399400DEST_PATH_IMAGE005
。
3. 将步骤2中得到的图像
Figure 882334DEST_PATH_IMAGE001
分别解码，与步骤1得到的YUV数据S进行VMAF计算，分别得到VMAF分数为：
Figure 354903DEST_PATH_IMAGE006
。
4. 根据步骤2和步骤3得到的数据，用线性最小二乘法估计图像体积和VMAF分数之间的关系：
Figure 779937DEST_PATH_IMAGE007
。
5. 分别选取锐化强度1.0、1.5、2.0、2.5对步骤1得到的YUV数据S进行锐化处理，选取QP=28对这4个图像进行I帧编码，得到编码后的图像
Figure 705168DEST_PATH_IMAGE008
。
6. 分别计算4个图像的对数体积：
Figure 991793DEST_PATH_IMAGE009
、
Figure 53290DEST_PATH_IMAGE022
、
Figure 150690DEST_PATH_IMAGE011
、
Figure 563217DEST_PATH_IMAGE023
，并将
Figure 653532DEST_PATH_IMAGE008
解码后的数据分别与步骤1的YUV数据S计算VMAF分数：
Figure 835115DEST_PATH_IMAGE013
。
7. 通过步骤6中的VMAF分数计算锐化后的图像的估计体积对数，并与步骤6中得到的实际体积对数作差：
Figure 24788DEST_PATH_IMAGE015
其中
Figure 242055DEST_PATH_IMAGE016
为步骤4中估算出来的参数。
8. 通过最小二乘拟合对数体积差值与锐化强度之间的关系：
Figure 808165DEST_PATH_IMAGE017
其中
Figure 172150DEST_PATH_IMAGE018
，
Figure 532724DEST_PATH_IMAGE019
为步骤7中得到的结果。
9. 计算步骤8中的二次函数的极值点
Figure 732893DEST_PATH_IMAGE020
，并按照如下规则计算最佳锐化强度：
Figure 102694DEST_PATH_IMAGE021
。
10. 用步骤9中得到的最佳锐化强度重新对步骤1中的YUV数据进行锐化处理，并将锐化后的图像数据送给编码器编码。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (5)

1.一种基于VMAF自适应调节锐化参数的方法，其特征在于，所述的方法包括以下步骤：
（1）原始视频解码，获取YUV数据；
（2）使用不同质量档次对步骤（1）的YUV数据I帧编码，并计算编码后的图像的体积对数；所述使用不同质量档次指设置不同的量化步长；
（3）解码步骤（2）中得到的图像，并与步骤（1）中的数据进行VMAF计算，得到VMAF分数；
（4）根据步骤（2）和步骤（3）得到的数据，估计图像体积和质量之间的关系；
（5）将步骤（1）中获得的YUV数据进行不同程度的锐化处理并编码I帧图像；
（6）计算步骤（5）中得到的图像的实际体积对数，并将步骤（5）中的图像解码，与原始视频的YUV数据进行VMAF计算，得到VMAF分数；
（7）根据步骤（6）中得到的质量评分和步骤（4）中的关系式计算出图像的估计体积，并计算估计体积对数与步骤（6）中得到的实际体积对数之间的差值；
（8）用线性最小二乘法拟合体积对数的差值与锐化强度之间的关系，其中拟合的目标函数为二次函数；
（9）在步骤（8）中的关系式中找到最佳锐化强度；
（10）使用步骤（9）中的最佳锐化强度锐化原始视频，并将锐化后的图像数据送给编码器编码。
2.根据权利要求1的方法，其特征在于，所述步骤（4）中估计图像体积和质量之间的关系公式为：
Figure 467263DEST_PATH_IMAGE001
。
3.根据权利要求1的方法，其特征在于，所述步骤（7）中的体积对数差值为：
Figure 782838DEST_PATH_IMAGE002
。
4.根据权利要求1的方法，其特征在于，所述步骤（8）用线性最小二乘法拟合体积对数的差值与锐化强度之间的关系公式为：
Figure 321267DEST_PATH_IMAGE003
其中xi为锐化强度，a、b、c为二次函数中的系数。
5.根据权利要求1的方法，其特征在于，所述步骤（9）中的最佳锐化强度为：
Figure 987871DEST_PATH_IMAGE004
其中xm为所述步骤（8）中二次函数的极值点
Figure 768483DEST_PATH_IMAGE005
，a、b为所述步骤（8）中二次函数的系数。
CN202011285389.0A 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法 Active CN112492122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285389.0A CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285389.0A CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Publications (2)

Publication Number Publication Date
CN112492122A CN112492122A (zh) 2021-03-12
CN112492122B true CN112492122B (zh) 2022-08-12

Family

ID=74930945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285389.0A Active CN112492122B (zh) 2020-11-17 2020-11-17 一种基于vmaf自适应调节锐化参数的方法

Country Status (1)

Country Link
CN (1) CN112492122B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827338A (en) * 1985-10-22 1989-05-02 Eude Gerard Hybrid coding process by transformation for the transmission of picture signals
CN110324618A (zh) * 2019-07-03 2019-10-11 上海电力学院 基于vmaf准则的提高视频质量的优化编码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
US8160160B2 (en) * 2005-09-09 2012-04-17 Broadcast International, Inc. Bit-rate reduction for multimedia data streams
CN101202912A (zh) * 2007-11-30 2008-06-18 上海广电（集团）有限公司中央研究院 一种平衡码率和图像质量的码率控制方法
US20120069895A1 (en) * 2010-09-17 2012-03-22 David Frederique Blum High Quality Video Encoder
CN102368821B (zh) * 2011-10-20 2013-11-06 浙江工商大学 一种噪声强度自适应的视频去噪方法和系统
CN103327329B (zh) * 2013-06-09 2017-04-12 深圳市云宙多媒体技术有限公司 一种图像质量跳变的量化调整方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827338A (en) * 1985-10-22 1989-05-02 Eude Gerard Hybrid coding process by transformation for the transmission of picture signals
CN110324618A (zh) * 2019-07-03 2019-10-11 上海电力学院 基于vmaf准则的提高视频质量的优化编码方法

Also Published As

Publication number Publication date
CN112492122A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN105430407B (zh) 应用于h.264到hevc转码的快速帧间模式决策方法
JP2021044811A (ja) サンプルアダプティブオフセット制御
CN111314711A (zh) 一种基于自适应自导向滤波的环路滤波方法
EP3545677A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
CN107454413A (zh) 一种保留特征的视频编码方法
CN108574841A (zh) 一种基于自适应量化参数的编码方法及装置
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
CN111741300A (zh) 一种视频处理方法
CN104410860B (zh) 一种高清roi视频实时质量调节的方法
Hu et al. Complexity-guided slimmable decoder for efficient deep video compression
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法
CN104378653B (zh) 一种视频块划分方法及装置
CN112492122B (zh) 一种基于vmaf自适应调节锐化参数的方法
CN115022635A (zh) 基于目标检测的星图压缩方法
CN110063059A (zh) 用于基于码流标志的视频编码的帧内锐化和/或去振铃滤波器
WO2020255847A1 (ja) 画像復号装置、画像復号方法及びプログラム
CN101668204A (zh) 免疫克隆图像压缩方法
CN112218088B (zh) 一种图像与视频压缩方法
CN104581157B (zh) 基于预截断的jpeg2000感兴趣区域编码方法
CN117041581A (zh) 一种用于视频编码参数优化的方法、装置及设备
CN104270634A (zh) 一种质量自适应的无线视频编码方法
CN107623560B (zh) 基于联合信源信道编码的图像传输速率自适应分配方法
CN103517067B (zh) 一种初始量化参数自适应调整方法及系统
CN112929663A (zh) 一种基于知识蒸馏的图像压缩质量增强方法
KR101461365B1 (ko) 영상의 컨텐츠를 고려하여 양자화계수를 조절하는 영상의 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Unit ABCD, 10th Floor, Building E, Tian Tang Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province, 310012 (self application)

Patentee after: Hangzhou Microframe Information Technology Co.,Ltd.

Country or region after: China

Address before: 310012 Building D, 18th floor, Tiantang Software Park, Xihu District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Microframe Information Technology Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address