CN113014916A - 一种基于局部视频活动度的屏幕视频质量识别方法 - Google Patents

一种基于局部视频活动度的屏幕视频质量识别方法 Download PDF

Info

Publication number
CN113014916A
CN113014916A CN202110219595.XA CN202110219595A CN113014916A CN 113014916 A CN113014916 A CN 113014916A CN 202110219595 A CN202110219595 A CN 202110219595A CN 113014916 A CN113014916 A CN 113014916A
Authority
CN
China
Prior art keywords
screen
video
distorted
natural
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110219595.XA
Other languages
English (en)
Other versions
CN113014916B (zh
Inventor
曾焕强
黄海靓
侯军辉
陈婧
廖昀
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202110219595.XA priority Critical patent/CN113014916B/zh
Publication of CN113014916A publication Critical patent/CN113014916A/zh
Application granted granted Critical
Publication of CN113014916B publication Critical patent/CN113014916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于局部视频活动度的屏幕视频质量识别方法，方法包括：分别对参考和失真屏幕视频序列采用3D‑LOG滤波器提取屏幕特征；计算屏幕区域相似度，基于3D‑LOG池化策略得到屏幕质量分数；分别对参考和失真屏幕视频序列采用3D‑NSS方法提取自然特征；计算自然区域相似度，基于池化策略得到自然质量分数；计算局部视频活动度；基于局部视频活动度结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值。本发明充分考虑到人类视觉系统对于屏幕视频的屏幕和自然内容区域感知度不同且人眼对于边缘特征高度敏感，具有较好的失真屏幕视频质量评价性能。

Description

一种基于局部视频活动度的屏幕视频质量识别方法
技术领域
本发明涉及视频处理领域，特别是指一种基于局部视频活动度的屏幕视频质量识别方法。
背景技术
随着现代多媒体技术的快速发展和移动智能终端的普及，人们对于视觉信息内容的需求不再满足于单一的自然场景。屏幕视频作为一种新型媒体受到了学术界和工业界的关注，并被广泛应用于智能应用领域，如远程教育，远程办公，在线游戏和电子手册等。与传统自然视频不同，屏幕视频具有特殊的混合内容，既包含由摄像机拍摄得到的自然视频，又包含由计算机生成的的内容，如图像，文本和表格等。因此相比自然视频，屏幕视频具有更丰富的图像细节和运动信息，尤其是在特定区域具有更加尖锐的边缘特征和不规则的运动变化。
人眼是屏幕视频的最终接受者，而屏幕视频在屏幕视频处理系统的各个环节中不可避免地会受到各种失真的影响从而导致视觉效果降低，因此提出一种能够快速准确地反映人类视觉系统对屏幕视频的主观感知度的质量评价模型是十分有必要的。但是现有的大多数质量评价方法都是针对传统自然场景视频设计的，没有考虑到屏幕视频的特殊混合内容，并不能有效评价屏幕视频质量。因此，设计符合人眼视觉特性的屏幕视频质量评价方法具有重要的理论研究意义和实际应用价值，成为了屏幕视频处理领域的迫切需求。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出了一种基于局部视频活动度的屏幕视频质量识别方法。通过3D-LOG滤波器和3D-NSS方法分别提取屏幕视频的屏幕特征和自然特征，并充分考虑人眼视觉对于边缘的敏感性，运算得到的屏幕视频客观质量分数与人类视觉系统的感知结果有较高的一致性。
本发明采用如下技术方案：
基于局部视频活动度的屏幕视频质量识别方法，包括：
获取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m；
对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-LOG滤波器，得到参考屏幕特征Lr.m(x,y,t)和失真屏幕特征Ld,m(x,y,t)；
基于屏幕特征计算得到屏幕区域相似度Sims,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscorem；
对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法，得到参考自然特征
Figure BDA0002954143870000021
和失真自然特征
Figure BDA0002954143870000022
基于自然特征计算得到自然区域相似度Simn,m(x,y,t)，进而得到自然质量分数NFscorem；
计算局部视频活动度Γm(Px,y,t)；
基于局部视频活动度Γm(Px,y,t)结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值。
优选的，获取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m，具体如下：
分别将输入参考屏幕视频Vr和失真屏幕视频Vd从第一帧开始每连续30帧按照时间轴组合成参考屏幕视频序列Vr＝{Vr,1,Vr,2,...,Vr,m,...,Vr,M}和失真屏幕视频序列Vd＝{Vd,1,Vd,2,...,Vd,m,...,Vd,M}，其中Vr,m和Vd,m分别代表第m个参考和失真屏幕视频序列，M为视频序列的数目，具体如下：
Figure BDA0002954143870000023
其中，f为取整函数，L为视频总帧数。
优选的，对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-LOG滤波器，得到参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，具体如下：
分别提取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m的3D-LOG特征作为参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，如下：
Figure BDA0002954143870000031
Figure BDA0002954143870000032
其中，G(x,y,t)为3D-LOG滤波器，公式如下：
Figure BDA0002954143870000033
其中，(x,y,t)表示视频序列中每个像素的3D坐标，采用7×7×7的高斯核，标准差σm＝1.487。
优选的，基于屏幕特征计算得到屏幕区域相似度Sims,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscorem，具体如下：
基于参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)得到屏幕区域相似度Sims,m(x,y,t)：
Figure BDA0002954143870000034
其中，c1是一个用于保证数值稳定性的常数，c1＝1。
屏幕区域相似度Sims,m(x,y,t)基于3D-LOG特征池化策略得到屏幕质量分数SFscorem：
ωs,m(x,y,t)＝max{Lr,m(x,y,t),Ld,m(x,y,t)}
Figure BDA0002954143870000035
优选的，对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法，得到参考自然特征
Figure BDA0002954143870000036
和失真自然特征
Figure BDA0002954143870000037
具体如下：
采用3D-NSS方法对屏幕视频序列进行亮度归一化，如下：
Figure BDA0002954143870000041
Figure BDA0002954143870000042
Figure BDA0002954143870000043
其中，I(x,y,t)表示视频序列在空间点(x,y,t)处的像素值，μ(x,y,t)和σ(x,y,t)分别是以(x,y,t)为中心的局部补丁的局部均值和标准差，c＝1是一个保持数值稳定的常数，z＝{zk,l,u|k＝-K,...,K,l＝-L,...,L,u＝-U,...,U}是一个采样到3个标准差并重新缩放为单位体积的三维圆对称高斯加权函数，K＝L＝U＝3分别表示标准化窗口的大小。
分别对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法得到参考自然特征
Figure BDA0002954143870000044
和失真自然特征
Figure BDA0002954143870000045
优选的，基于自然特征计算得到自然区域相似度Simn,m(x,y,t)，进而得到自然质量分数NFscorem，具体如下：
基于参考自然特征Lr,m(x,y,t)和失真自然特征Ld,m(x,y,t)得到自然区域相似度Simn,m(x,y,t)：
Figure BDA0002954143870000046
其中，c2是一个用于保证数值稳定性的常数，c2＝0.01。
基于自然区域相似度Simn,m(x,y,t)得到自然质量分数NFscorem：
Figure BDA0002954143870000047
优选的，计算局部视频活动度Γm(Px,y,t)，具体如下：
失真视频序列Vd,m中每个像素点有相邻的八个对角方向的像素点，计算八个一距离对角像素差值之和：
Vm,1(Px,y,t)＝(Px,y,t-Px-1,y-1,t+1)2+(Px,y,t-Px-1,y+1,t+1)2
+(Px,y,t-Px+1,y-1,t+1)2+(Px,y,t-Px+1,y+1,t+1)2
+(Px,y,t-Px-1,y-1,t-1)2+(Px,y,t-Px-1,y+1,t-1)2
+(Px,y,t-Px+1,y-1,t-1)2+(Px,y,t-Px+1,y+1,t-1)2
以每个像素点为中心，相邻的八个对角方向的像素点之间可以形成四组二距离对角线，计算四个二距离对角像素差值之和：
Vm,2(Px,y,t)＝(Px-1,y-1,t+1-Px+1,y+1,t-1)2+(Px-1,y+1,t+1-Px+1,y-1,t-1)2
+(Px+1,y-1,t+1-Px-1,y+1,t-1)2+(Px+1,y+1,t+1-Px-1,y-1,t-1)2
结合失真视频序列Vd,m每个像素的一距离和二距离对角像素差之和得到局部视频活动度Γm(Px,y,t)，如下：
Γm(Px,y,t)＝Vm,1(Px,y,t)+Vm,2(Px,y,t)
优选的，基于局部视频活动度Γm(Px,y,t)结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值，具体如下：
步骤1：计算局部视频活动度Γm(Px,y,t)中非零元素的占比得到屏幕区域的比例Pm,1和自然区域的比例Pm,2，其中Pm,1+Pm,2＝1，考虑到人眼视觉对屏幕特征的敏感度，在计算屏幕区域的比例时加上视觉因子ηm，并通过归一化计算最终屏幕比例αm，如下：
Figure BDA0002954143870000051
其中，视觉因子ηm的计算公式如下：
Figure BDA0002954143870000052
其中，Vm(Γm(Px,y,t)>15)表示局部视频活动度大于15的元素数量，Vm(Γm(Px,y,t)>0)表示局部视频活动度大于0的元素数量。
步骤2：基于最终屏幕比例αm结合屏幕质量分数SFscorem和自然质量分数NFscorem，获得失真屏幕视频序列Vd,m的质量评价值，具体如下：
Figure BDA0002954143870000061
取各失真屏幕视频序列质量评价值的平均值作为最终失真屏幕视频质量分数，如下：
Figure BDA0002954143870000062
其中，M为总视频序列数。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提供了一种基于局部视频活动度的屏幕视频质量识别方法。该方法着重于考虑人眼视觉系统特性及屏幕视频混合内容，采用3D-LOG滤波器和3D-NSS方法分别获取屏幕视频的屏幕和自然特征，充分利用人眼视觉对于边缘信息的敏感度，通过局部视频活动度反映了人眼主观视觉系统对于屏幕视频的主观感知度，具有较好的屏幕视频质量评价性能。
附图说明
图1本发明实施例提供的流程示意图；
图2是本发明实施例提供的两张失真程度不同的屏幕视频帧，图(a)为示例1图，图(b)为示例2图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
参见图1所示，一种基于局部视频活动度的屏幕视频质量识别方法，具体步骤如下：
S101，获取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m，具体如下：
分别将输入参考屏幕视频Vr和失真屏幕视频Vd从第一帧开始每连续30帧按照时间轴组合成参考屏幕视频序列Vr＝{Vr,1,Vr,2,...,Vr,m,...,Vr,M}和失真屏幕视频序列Vd＝{Vd,1,Vd,2,...,Vd,m,...,Vd,M}，其中Vr,m和Vd,m分别代表第m个参考和失真屏幕视频序列，M为视频序列的数目，具体如下：
Figure BDA0002954143870000071
其中，f为取整函数，L为视频总帧数。
S102，对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-LOG滤波器，得到参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，具体如下：
分别提取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m的3D-LOG特征作为参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，如下：
Figure BDA0002954143870000072
Figure BDA0002954143870000073
其中，G(x,y,t)为3D-LOG滤波器，公式如下：
Figure BDA0002954143870000074
其中，(x,y,t)表示视频序列中每个像素的3D坐标，采用7×7×7的高斯核，标准差σm＝1.487。
S103，基于屏幕特征计算得到屏幕区域相似度Sims,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscorem，具体如下：
基于参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)得到屏幕区域相似度Sims,m(x,y,t)：
Figure BDA0002954143870000075
其中，c1是一个用于保证数值稳定性的常数，c1＝1。
屏幕区域相似度Sims,m(x,y,t)基于3D-LOG特征池化策略得到屏幕质量分数SFscorem：
ωs,m(x,y,t)＝max{Lr,m(x,y,t),Ld,m(x,y,t)}
Figure BDA0002954143870000081
S104，对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法，得到参考自然特征
Figure BDA0002954143870000082
和失真自然特征
Figure BDA0002954143870000083
具体如下：
采用3D-NSS方法对屏幕视频序列进行亮度归一化，如下：
Figure BDA0002954143870000084
Figure BDA0002954143870000085
Figure BDA0002954143870000086
其中，I(x,y,t)表示视频序列在空间点(x,y,t)处的像素值，μ(x,y,t)和σ(x,y,t)分别是以(x,y,t)为中心的局部补丁的局部均值和标准差，c＝1是一个保持数值稳定的常数，z＝{zk,l,u|k＝-K,...,K,l＝-L,...,L,u＝-U,...,U}是一个采样到3个标准差并重新缩放为单位体积的三维圆对称高斯加权函数，K＝L＝U＝3分别表示标准化窗口的大小。
分别对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法得到参考自然特征
Figure BDA0002954143870000087
和失真自然特征
Figure BDA0002954143870000088
S105，基于自然特征计算得到自然区域相似度Simn,m(x,y,t)，进而得到自然质量分数NFscorem，具体如下：
基于参考自然特征Lr,m(x,y,t)和失真自然特征Ld,m(x,y,t)得到自然区域相似度Simn,m(x,y,t)：
Figure BDA0002954143870000089
其中，c2是一个用于保证数值稳定性的常数，c2＝0.01。
基于自然区域相似度Simn,m(x,y,t)得到自然质量分数NFscorem：
Figure BDA0002954143870000091
S106，计算局部视频活动度Γm(Px,y,t)，具体如下：
失真视频序列Vd,m中每个像素点有相邻的八个对角方向的像素点，计算八个一距离对角像素差值之和：
Vm,1(Px,y,t)＝(Px,y,t-Px-1,y-1,t+1)2+(Px,y,t-Px-1,y+1,t+1)2
+(Px,y,t-Px+1,y-1,t+1)2+(Px,y,t-Px+1,y+1,t+1)2
+(Px,y,t-Px-1,y-1,t-1)2+(Px,y,t-Px-1,y+1,t-1)2
+(Px,y,t-Px+1,y-1,t-1)2+(Px,y,t-Px+1,y+1,t-1)2
以每个像素点为中心，相邻的八个对角方向的像素点之间可以形成四组二距离对角线，计算四个二距离对角像素差值之和：
Vm,2(Px,y,t)＝(Px-1,y-1,t+1-Px+1,y+1,t-1)2+(Px-1,y+1,t+1-Px+1,y-1,t-1)2
+(Px+1,y-1,t+1-Px-1,y+1,t-1)2+(Px+1,y+1,t+1-Px-1,y-1,t-1)2
结合失真视频序列Vd,m每个像素的一距离和二距离对角像素差之和得到局部视频活动度Γm(Px,y,t)，如下：
Γm(Px,y,t)＝Vm,1(Px,y,t)+Vm,2(Px,y,t)
S107，基于局部视频活动度Γm(Px,y,t)结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值，具体如下：
步骤7.1：计算局部视频活动度Γm(Px,y,t)中非零元素的占比得到屏幕区域的比例Pm,1和自然区域的比例Pm,2，其中Pm,1+Pm,2＝1，考虑到人眼视觉对屏幕特征的敏感度，在计算屏幕区域的比例时加上视觉因子ηm，并通过归一化计算最终屏幕比例αm，如下：
Figure BDA0002954143870000092
其中，视觉因子ηm的计算公式如下：
Figure BDA0002954143870000101
其中，Vm(Γm(Px,y,t)>15)表示局部视频活动度大于15的元素数量，Vm(Γm(Px,y,t)>0)表示局部视频活动度大于0的元素数量。
步骤7.2：基于最终屏幕比例αm结合屏幕质量分数SFscorem和自然质量分数NFscorem，获得失真屏幕视频序列Vd,m的质量评价值，具体如下：
Figure BDA0002954143870000102
取各失真屏幕视频序列质量评价值的平均值作为最终失真屏幕视频质量分数，如下：
Figure BDA0002954143870000103
其中，M为总视频序列数。
下面通过具体实例和数据证明本发明方法的优越性。
如下表1为本发明方法和其他先进算法在屏幕视频数据库SCVD实验结果对比，其中PSNR、SSIM、GMSD、MDOGS、GFM、MOVIE、SpEED、SGFIM、均为算法名称，proposed为本发明方法，PLCC(皮尔森线性相关系数)、SROCC(斯皮尔曼秩相关系数)和RMSE(均方根误差)为三个通用的标准；是在视频帧质量评价领域用于考量评价方法的好坏有三个经典相关参数，以上PLCC(皮尔森线性相关系数)、SROCC(斯皮尔曼秩相关系数)的值越接近于1，RMSE值越小，客观算法的结果和主观评价的结果相关性越高，说明算法越优越，从表1的数据来看，本发明的方法得出的PLCC(皮尔森线性相关系数)、SROCC(斯皮尔曼秩相关系数)的值均大于其他算法更接近1，RMSE均比其他算法小，这表明本发明提供的算法和主观评价的结果相关性越高，算法更为越优越，在评价屏幕视频质量问题上更优越。
表1本发明所提出的算法和其他先进算法在屏幕视频数据库SCVD的实验结果对比
Figure BDA0002954143870000111
此外，本发明实施例还提供了另外一组对比实施例，如图2为本发明实施例提供的两张失真程度不同的屏幕视频帧，其中图(a)为示例1图，图(b)为示例2图，从图中可以看出，图(a)的质量会优于图(b)，利用本算法得出的图像质量分数分别为score＝0.9476和score＝0.4384，本发明的结果代表的是失真视频与参考视频之间的相似程度，因此失真程度大的视频的质量分数会更小，说明本发明方法具有较高的识别准确性和敏感性以及鲁棒性。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (8)

1.一种基于局部视频活动度的屏幕视频质量识别方法，其特征在于，步骤如下：
获取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m；
对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-LOG滤波器，得到参考屏幕特征Lr.m(x,y,t)和失真屏幕特征Ld,m(x,y,t)；
基于屏幕特征计算得到屏幕区域相似度Sims,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscorem；
对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法，得到参考自然特征
Figure FDA0002954143860000011
和失真自然特征
Figure FDA0002954143860000012
基于自然特征计算得到自然区域相似度Simn,m(x,y,t)，进而得到自然质量分数NFscorem；
计算局部视频活动度Γm(Px,y,t)；
基于局部视频活动度Γm(Px,y,t)结合屏幕质量分数和自然质量分数获得最终失真屏幕视频质量评价值。
2.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：获取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m，具体如下：
分别将输入参考屏幕视频Vr和失真屏幕视频Vd从第一帧开始每连续30帧按照时间轴组合成参考屏幕视频序列Vr＝{Vr,1,Vr,2,...,Vr,m,...,Vr,M}和失真屏幕视频序列Vd＝{Vd,1,Vd,2,...,Vd,m,...,Vd,M}，其中Vr,m和Vd,m分别代表第m个参考和失真屏幕视频序列，M为视频序列的数目，具体如下：
Figure FDA0002954143860000013
其中，f为取整函数，L为视频总帧数。
3.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-LOG滤波器，得到参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，具体如下：
分别提取参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m的3D-LOG特征作为参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)，如下：
Figure FDA0002954143860000021
Figure FDA0002954143860000022
其中，G(x,y,t)为3D-LOG滤波器，公式如下：
Figure FDA0002954143860000023
其中，(x,y,t)表示视频序列中每个像素的3D坐标，采用7×7×7的高斯核，标准差σm＝1.487。
4.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：基于屏幕特征计算得到屏幕区域相似度Sims,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscorem，具体如下：
基于参考屏幕特征Lr,m(x,y,t)和失真屏幕特征Ld,m(x,y,t)得到屏幕区域相似度Sims,m(x,y,t)：
Figure FDA0002954143860000024
其中，c1是一个用于保证数值稳定性的常数，c1＝1。
屏幕区域相似度Sims,m(x,y,t)基于3D-LOG特征池化策略得到屏幕质量分数SFscorem：
ωs,m(x,y,t)＝max{Lr,m(x,y,t),Ld,m(x,y,t)}
Figure FDA0002954143860000025
5.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法，得到参考自然特征
Figure FDA0002954143860000031
和失真自然特征
Figure FDA0002954143860000032
具体如下：
采用3D-NSS方法对屏幕视频序列进行亮度归一化，如下：
Figure FDA0002954143860000033
Figure FDA0002954143860000034
Figure FDA0002954143860000035
其中，I(x,y,t)表示视频序列在空间点(x,y,t)处的像素值，μ(x,y,t)和σ(x,y,t)分别是以(x,y,t)为中心的局部补丁的局部均值和标准差，c＝1是一个保持数值稳定的常数，z＝{zk,l,u|k＝-K,...,K,l＝-L,...,L,u＝-U,...,U}是一个采样到3个标准差并重新缩放为单位体积的三维圆对称高斯加权函数，K＝L＝U＝3分别表示标准化窗口的大小。
分别对参考屏幕视频序列Vr,m和失真屏幕视频序列Vd,m采用3D-NSS方法得到参考自然特征
Figure FDA0002954143860000036
和失真自然特征
Figure FDA0002954143860000037
6.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：基于自然特征计算得到自然区域相似度Simn,m(x,y,t)，进而得到自然质量分数NFscorem，具体如下：
基于参考自然特征Lr,m(x,y,t)和失真自然特征Ld,m(x,y,t)得到自然区域相似度Simn,m(x,y,t)：
Figure FDA0002954143860000038
其中，c2是一个用于保证数值稳定性的常数，c2＝0.01。
基于自然区域相似度Simn,m(x,y,t)得到自然质量分数NFscorem：
Figure FDA0002954143860000041
7.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：计算局部视频活动度Γm(Px,y,t)，具体如下：
失真视频序列Vd,m中每个像素点有相邻的八个对角方向的像素点，计算八个一距离对角像素差值之和：
Vm,1(Px,y,t)＝(Px,y,t-Px-1,y-1,t+1)2+(Px,y,t-Px-1,y+1,t+1)2+(Px,y,t-Px+1,y-1,t+1)2+(Px,y,t-Px+1,y+1,t+1)2+(Px,y,t-Px-1,y-1,t-1)2+(Px,y,t-Px-1,y+1,t-1)2+(Px,y,t-Px+1,y-1,t-1)2+(Px,y,t-Px+1,y+1,t-1)2
以每个像素点为中心，相邻的八个对角方向的像素点之间可以形成四组二距离对角线，计算四个二距离对角像素差值之和：
Vm,2(Px,y,t)＝(Px-1,y-1,t+1-Px+1,y+1,t-1)2+(Px-1,y+1,t+1-Px+1,y-1,t-1)2+(Px+1,y-1,t+1-Px-1,y+1,t-1)2+(Px+1,y+1,t+1-Px-1,y-1,t-1)2
结合失真视频序列Vd,m每个像素的一距离和二距离对角像素差之和得到局部视频活动度Γm(Px,y,t)，如下：
Γm(Px,y,t)＝Vm,1(Px,y,t)+Vm,2(Px,y,t)
8.根据权利要求1所述的基于局部视频活动度的屏幕视频质量识别方法，其特征在于：基于局部视频活动度Γm(Px,y,t)结合屏幕质量分数和自然质量分数获得最终失真屏幕视频质量评价值，具体如下：
步骤8.1：计算局部视频活动度Γm(Px,y,t)中非零元素的占比得到屏幕区域的比例Pm,1和自然区域的比例Pm,2，其中Pm,1+Pm,2＝1，考虑到人眼视觉对屏幕特征的敏感度，在计算屏幕区域的比例时加上视觉因子ηm，并通过归一化计算最终屏幕比例αm，如下：
Figure FDA0002954143860000042
其中，视觉因子ηm的计算公式如下：
Figure FDA0002954143860000051
其中，Vm(Γm(Px,y,t)>15)表示局部视频活动度大于15的元素数量，Vm(Γm(Px,y,t)>0)表示局部视频活动度大于0的元素数量。
步骤8.2：基于最终屏幕比例αm结合屏幕质量分数SFscorem和自然质量分数NFscorem，获得失真屏幕视频序列Vd,m的质量评价值，具体如下：
Figure FDA0002954143860000052
取各失真屏幕视频序列质量评价值的平均值作为最终失真屏幕视频质量分数，如下：
Figure FDA0002954143860000053
其中，M为总视频序列数。
CN202110219595.XA 2021-02-26 2021-02-26 一种基于局部视频活动度的屏幕视频质量识别方法 Active CN113014916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110219595.XA CN113014916B (zh) 2021-02-26 2021-02-26 一种基于局部视频活动度的屏幕视频质量识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219595.XA CN113014916B (zh) 2021-02-26 2021-02-26 一种基于局部视频活动度的屏幕视频质量识别方法

Publications (2)

Publication Number Publication Date
CN113014916A true CN113014916A (zh) 2021-06-22
CN113014916B CN113014916B (zh) 2022-11-01

Family

ID=76386548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219595.XA Active CN113014916B (zh) 2021-02-26 2021-02-26 一种基于局部视频活动度的屏幕视频质量识别方法

Country Status (1)

Country Link
CN (1) CN113014916B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183073A1 (en) * 2011-01-17 2012-07-19 Jaime Milstein Systems and methods for wavelet and channel-based high definition video encoding
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
CN111510707A (zh) * 2020-04-23 2020-08-07 华侨大学 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183073A1 (en) * 2011-01-17 2012-07-19 Jaime Milstein Systems and methods for wavelet and channel-based high definition video encoding
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
CN111510707A (zh) * 2020-04-23 2020-08-07 华侨大学 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENG GUO等: "A Log-Gabor Feature-Based Quality Assessment Model for Screen Content Images", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
邢露等: "针对对比度变化的图像质量评价方法", 《信号处理》 *

Also Published As

Publication number Publication date
CN113014916B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN112541422B (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
JP4414401B2 (ja) 顔特徴点検出方法および装置並びにプログラム
US8131013B2 (en) Method and detecting system for positions of facial parts
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN1450796A (zh) 检测和/或追踪图像或图像序列中颜色区域的方法和装置
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN101729911A (zh) 一种基于视觉感知的多视点图像颜色校正方法
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
CN112839167A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN115482529A (zh) 近景色水果图像识别方法、设备、存储介质及装置
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
CN116342519A (zh) 一种基于机器学习的图像处理方法
CN111986117A (zh) 一种算术作业批改系统及方法
CN111047618A (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN111510707B (zh) 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN110399886B (zh) 一种屏幕图像jnd模型构建方法
CN113014916B (zh) 一种基于局部视频活动度的屏幕视频质量识别方法
CN114584832B (zh) 视频自适应多尺寸动态播放方法及装置
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN112070048B (zh) 基于RDSNet的车辆属性识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant