CN112019840A - 一种结合jnd和vmaf的视频质量评估方法 - Google Patents
一种结合jnd和vmaf的视频质量评估方法 Download PDFInfo
- Publication number
- CN112019840A CN112019840A CN202011135588.3A CN202011135588A CN112019840A CN 112019840 A CN112019840 A CN 112019840A CN 202011135588 A CN202011135588 A CN 202011135588A CN 112019840 A CN112019840 A CN 112019840A
- Authority
- CN
- China
- Prior art keywords
- jnd
- pixel
- image
- quality evaluation
- distorted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 11
- 230000000873 masking effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种结合JND和VMAF的视频质量评估方法，属于视频编码、视频质量评价技术领域。本方法根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。本方法通过替换像素把失真图像差值低于JND值的像素都替换成原始图像后，得到新的失真图像，在新的失真图像上计算VMAF可以把低于JND值的像素忽略掉，即把人眼不敏感的区域忽略掉，从而使视频质量评价结果更加接近主观。
Description
技术领域
本发明涉及视频编码、视频质量评价技术领域，尤其涉及一种结合JND和VMAF的视频质量评估方法。
背景技术
图像质量评价是图像处理中的一个重要环节，图像质量评价方法分为主观评价和客观评价。人眼作为图像的最终接收器，是对于图像质量的最真实的反馈者，所以采用人眼直接观察作为主观评估图像质量的方法是最为直接且可靠的评价方法。但是，主观评价的方法影响因素众多，需要耗费大量的人力成本和时间成本，且可复制性差，无法应用于实时在线的评价系统。
客观图像质量评价算法能较好地嵌入系统，能实现实时评价且成本低，适用于实际应用当中。但是由于现有的客观图像质量评价算法没有考虑到人眼的视觉特性，在一些复杂场景下，往往会出现评估结果与主观质量评估相差较大的情况，因此，开发出模拟人眼主观评价的图像客观质量评价方法是意义重大的。
目前，HVS研究的一个重要成果是建立了恰可察觉失真（JND）模型，即像素中任何低于JND的误差不会被人眼所感知，通过JND模型隐藏多视点视频中大量不可感知的误差，将有效的改善目前的客观图像质量评价算法的评估结果，基于JND的图像质量评价方案能够有效的去除时域、空域和感知冗余，使图像质量评价结果更加接近主观。
发明内容
本发明提供了结合JND和VMAF进行视频质量评估的方法。本发明的核心思想在于将主客观视频质量评价方法相结合：首先根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；进而使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；最后对所有图像帧的质量评估结果取平均值得到该视频的质量评估结果。
一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤。
步骤1 根据人眼成像原理建立图像的JND模型。
步骤1.1 筛选一批高清视频，对其进行压缩，得到失真的视频。
步骤1.2 计算高清视频每帧每像素的JND，用JND(x,y,t)表示。
步骤1.3 计算失真图像像素和对应的高清图像像素的差值Diff。
步骤1.4 Diff与JND(x,y,t)进行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像。
步骤2 使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果。
步骤3 对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。
本发明的有益之处在于：在新的原始图像和失真图像上计算VMAF之后可以把低于JND阈值的像素的图像忽略掉，即把人眼不敏感的部分忽略掉，从而使评价结果更加接近主观；且兼顾了客观图像质量评价算法较好地嵌入性、低成本和泛化能力。
附图说明
图1为本发明一种结合JND和VMAF进行视频质量评估的方法的流程图。
图2为本发明根据人眼成像原理建立图像的JND模型的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
如图1所示，本发明一种结合JND和VMAF进行视频质量评估的方法具体包括以下步骤。
（1）如图2所示，根据人眼成像原理建立图像的JND模型。
（1.1）筛选一批高清视频，对其进行压缩，得到失真的视频。
（1.2）计算高清视频每帧每像素的JND，用JND(x,y,t) 表示。
（1.2.1）像素域的JND分为空域JND和时域JND，空域JND又由背景亮度JND和纹理掩蔽JND组成，对于像素（x,y）的空域
计算公式如下：
其中，
和
分别是背景亮度自适应和纹理掩蔽效应的视觉门限，
是掩蔽中重叠效应。
（1.2.2）对于像素(x,y)的时域JND计算公式如下：
其中
是由时域掩蔽效应产生的调制因子，
为t帧和t-1帧之间的平均帧间亮度，τ表示时域掩蔽效应可调节参数（默认值为1.0），exp表示指数函数。
（1.2.3）综合考虑时间、背景亮度、纹理对失真的影响，对于像素域的JND模型的计算公式如下：
（1.3）然后计算失真图像像素
和其对应的高清图像像素
的差值Diff，
（1.4）Diff与JND(x,y,t)行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像，
若
，
则
。
（2）使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果。
（3）最后对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (2)
1.一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤：
步骤1 根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素，对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；
步骤2 使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；
步骤3 对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤1根据人眼成像原理建立图像的JND模型具体包括如下子步骤：
步骤1.1 筛选一批高清视频，对其进行压缩，得到失真的视频；
步骤1.2 计算高清视频每帧每像素的JND，用JND(x,y,t)表示；
步骤1.3 计算失真图像像素和对应的高清图像像素的差值Diff；
步骤1.4 Diff与JND(x,y,t)进行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135588.3A CN112019840A (zh) | 2020-10-22 | 2020-10-22 | 一种结合jnd和vmaf的视频质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135588.3A CN112019840A (zh) | 2020-10-22 | 2020-10-22 | 一种结合jnd和vmaf的视频质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112019840A true CN112019840A (zh) | 2020-12-01 |
Family
ID=73527373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011135588.3A Pending CN112019840A (zh) | 2020-10-22 | 2020-10-22 | 一种结合jnd和vmaf的视频质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112019840A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112672159A (zh) * | 2020-12-23 | 2021-04-16 | 北京金山云网络技术有限公司 | 视频质量的比较方法及装置、存储介质、电子设备 |
-
2020
- 2020-10-22 CN CN202011135588.3A patent/CN112019840A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112672159A (zh) * | 2020-12-23 | 2021-04-16 | 北京金山云网络技术有限公司 | 视频质量的比较方法及装置、存储介质、电子设备 |
| CN112672159B (zh) * | 2020-12-23 | 2023-05-05 | 北京金山云网络技术有限公司 | 视频质量的比较方法及装置、存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
| CN110267045B (zh) | 一种视频处理及编码的方法、装置及可读存储介质 | |
| Park et al. | Sand-dust image enhancement using successive color balance with coincident chromatic histogram | |
| Jakhetiya et al. | A highly efficient blind image quality assessment metric of 3-D synthesized images using outlier detection | |
| CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| CN110139112B (zh) | 一种基于jnd模型的视频编码方法 | |
| KR20060115739A (ko) | 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법 | |
| Choi et al. | Video quality assessment accounting for temporal visual masking of local flicker | |
| US11557025B2 (en) | Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos | |
| CN112435244A (zh) | 直播视频的质量评价方法、装置、计算机设备和存储介质 | |
| Jakhetiya et al. | Just noticeable difference for natural images using RMS contrast and feed-back mechanism | |
| CN112381744A (zh) | 一种av1合成胶片颗粒自适应前处理的方法 | |
| CN115661008A (zh) | 一种图像增强处理方法、装置、设备及介质 | |
| Saha et al. | Perceptual video quality assessment: The journey continues! | |
| CN112019840A (zh) | 一种结合jnd和vmaf的视频质量评估方法 | |
| US20240080495A1 (en) | Iteratively updating a filtering model | |
| Cui et al. | Perceptual ultra-high definition video coding based on adaptive just noticeable distortion model | |
| Makwana et al. | LIVENet: A novel network for real-world low-light image denoising and enhancement | |
| De Angelis et al. | A vector approach for image quality assessment and some metrological considerations | |
| CN111340839A (zh) | 一种基于分块的视频噪声估计方法 | |
| Babu et al. | Multipeak mean based optimized histogram modification framework using swarm intelligence for image contrast enhancement | |
| Liu et al. | Sky detection‐and texture smoothing‐based high‐visibility haze removal from images and videos | |
| Liu et al. | HDRC: a subjective quality assessment database for compressed high dynamic range image | |
| CN110969621A (zh) | 一种对于合成图像的质量评价方法 | |
| Qi et al. | Non-Reference Image Quality Assessment Based on Super-Pixel Segmentation and Information Entropy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201201 |
|
| WD01 | Invention patent application deemed withdrawn after publication |