CN114885168B - 屏幕内容视频最优帧率的选择方法 - Google Patents

Abstract

一种屏幕内容视频最优帧率的选择方法，由确定视频帧像素的平均背景亮度、确定视频帧的背景帧差、确定视频的运动强度、确定视频运动强度的阈值、确定视频帧的运动变化平滑度、确定视频的运动变化平滑度、选择视频的最优帧率步骤组成。本发明解决了现有技术没有考虑屏幕内容视频的内容特性和运动变化平滑度影响的问题。本发明具有选择最优帧率准确度高等优点，可用于屏幕内容视频采集、编码、通信技术领域。

Description

屏幕内容视频最优帧率的选择方法

技术领域

本发明属于视频处理技术领域，具体涉及到屏幕内容视频的最优帧率选择。

背景技术

随着网络通信技术、多媒体技术、计算机技术等的飞速发展，屏幕内容视频被广泛应用于远程教育、屏幕共享、远程桌面等领域。屏幕内容视频是由计算机生成的视频类型，其主要包括文字、图表、图标、图形等内容。帧率是屏幕内容视频的一个重要属性。受人类视觉系统时间暂留原理影响，当视频的帧率低于某个阈值时，人眼就会感知到视频中的运动目标运动不连续，不平滑，出现卡顿，显著影响视频的感知质量。最优帧率即对应视频中物体平滑运动的最低帧率，此时感知到视频中物体运动是平滑的，且视频数据量也最低。最优帧率选择方法可以应用于屏幕内容视频采集、编码、通信等领域，为屏幕内容视频在通信系统中更加有效的传输与存储提供了基本保障。

目前的最优帧率选择方法主要面向自然视频，相比于由摄像机拍摄的自然视频，屏幕内容视频在内容特性上存在很大区别。另一方面，当前的最优帧率选择方法主要考虑了运动强度对视频最优帧率的影响，并没有考虑运动变化平滑度对视频最优帧率的影响。运动变化平滑度是视频运动信息的一个重要属性，其表征视频中物体运动强度的变化情况。匀速运动物体对应的运动变化最平滑，运动变化平滑度值最低。运动变化平滑度对视频最优帧率的选择有显著影响，即视频运动变化越平滑，其对应要保证人眼感知平滑运动的最优帧率值越大。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种适用于屏幕内容视频，同时考虑视频运动强度与运动变化平滑度，最优帧率选择准确的屏幕内容视频最优帧率的选择方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)确定视频帧像素的平均背景亮度

按式(1)确定视频第i帧第x列第y行像素的平均背景亮度I_bg(x,y,i)：

其中，x表示列、y表示行，x∈{1,2..,w}，y∈{1,2..,h}，i∈{2,3..,N}，w、h分别表示帧的宽、高，N表示视频的总帧数，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，m∈{1,2..,5}，n∈{1,2..,5}，I(x-3+m,y-3+n,i)表示第i帧第x-3+m列第y-3+n行像素的亮度。

(2)确定视频帧的背景帧差

按式(2)确定视频第i帧的背景帧差f(i)：

其中，I(x,y,i)、I(x,y,i-1)分别表示第i帧和第i-1帧的第x列第y行像素的亮度值，I_bg(x,y,i-1)表示第i-1帧第x列第y行像素的平均背景亮度。

(3)确定视频的运动强度

按式(3)确定视频的运动强度f_v：

(4)确定视频运动强度的阈值

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数；p₁∈[-0.001,1]，p₂∈[-0.07,0.01]，p₃∈[0,0.05]，p₄∈[-0.01,1]，p₅∈[-0.05,0.1]。

(5)确定视频帧的运动变化平滑度

按式(5)确定第i帧的运动变化平滑度s(i)：

其中，i∈{2,3..,N}，poc(i)、poc(i-1)分别表示第i帧和第i-1帧的图像序列号，表示当前帧在视频中的显示顺序。

(6)确定视频的运动变化平滑度

按式(6)确定视频的运动变化平滑度s_v：

(7)选择视频的最优帧率

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，取值范围分别为：α₁∈[-0.1,1]，α₂∈[-0.01,1.5]，α₃∈[0.05,0.1]，β₁∈[0.01,0.5]，β₂∈[-1.5,0.1]，β₃∈[-7,-2]，γ₁∈[-1,-0.4]，γ₂∈[4,20]，γ₃∈[35,81]。

本发明的(4)确定视频运动强度的阈值步骤为：

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁最佳取值为-0.0002279，p₂最佳取值为0.00301，p₃最佳取值为0.0003652，p₄最佳取值为-0.0003902，p₅最佳取值为0.01092。

本发明的(7)选择视频的最优帧率步骤为：

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，α₁最佳取值为-0.0007203，α₂最佳取值为0.008759，α₃最佳取值为0.08766，β₁最佳取值为0.04438，β₂最佳取值为-0.6145，β₃最佳取值为-4.876，γ₁最佳取值为-0.7737，γ₂最佳取值为13.77，γ₃最佳取值为58.32。

由于本发明采用了确定视频帧像素的平均背景亮度步骤、确定视频帧的背景帧差步骤、确定视频的运动强度步骤、确定视频运动强度的阈值步骤、确定视频帧的运动变化平滑度步骤、确定视频的运动变化平滑度步骤、选择视频的最优帧率步骤，解决了现有技术没有考虑屏幕内容视频的内容特性和运动变化平滑度影响的问题。本发明具有选择最优帧率准确度高等优点，可用于屏幕内容视频采集、编码、通信技术领域。

附图说明

图1是本发明实施例1的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下面的实施例。

实施例1

在图1中，本实施例的屏幕内容视频最优帧率的选择方法由下述步骤组成：

(1)确定视频帧像素的平均背景亮度

按式(1)确定视频第i帧第x列第y行像素的平均背景亮度I_bg(x,y,i)：

其中，x表示列、y表示行，x∈{1,2..,w}，y∈{1,2..,h}，i∈{2,3..,N}，w、h分别表示帧的宽、高，N表示视频的总帧数，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，m∈{1,2..,5}，n∈{1,2..,5}，I(x-3+m,y-3+n,i)表示第i帧第x-3+m列第y-3+n行像素的亮度。

(2)确定视频帧的背景帧差

按式(2)确定视频第i帧的背景帧差f(i)：

其中，I(x,y,i)、I(x,y,i-1)分别表示第i帧和第i-1帧的第x列第y行像素的亮度值，I_bg(x,y,i-1)表示第i-1帧第x列第y行像素的平均背景亮度。

(3)确定视频的运动强度

按式(3)确定视频的运动强度f_v：

(4)确定视频运动强度的阈值

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁∈[-0.001,1]、p₂∈[-0.07,0.01]、p₃∈[0,0.05]、p₄∈[-0.01,1]、p₅∈[-0.05,0.1]；本实施例的p₁取值为-0.0002279、p₂取值为0.00301、p₃取值为0.0003652、p₄取值为-0.0003902、p₅取值为0.01092。

(5)确定视频帧的运动变化平滑度

按式(5)确定第i帧的运动变化平滑度s(i)：

其中，i∈{2,3..,N}，poc(i)、poc(i-1)分别表示第i帧和第i-1帧的图像序列号，表示当前帧在视频中的显示顺序。

(6)确定视频的运动变化平滑度

按式(6)确定视频的运动变化平滑度s_v：

(7)选择视频的最优帧率

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，取值范围分别为：α₁∈[-0.1,1]、α₂∈[-0.01,1.5]、α₃∈[0.05,0.1]、β₁∈[0.01,0.5]、β₂∈[-1.5,0.1]、β₃∈[-7,-2]、γ₁∈[-1,-0.4]、γ₂∈[4,20]、γ₃∈[35,81]；本实施例的α₁取值为-0.0007203、α₂取值为0.008759、α₃取值为0.08766、β₁取值为0.04438、β₂取值为-0.6145、β₃取值为-4.876、γ₁取值为-0.7737、γ₂取值为13.77、γ₃取值为58.32。

完成屏幕内容视频最优帧率的选择方法。

实施例2

本实施例的屏幕内容视频最优帧率的选择方法由下述步骤组成：

(1)确定视频帧像素的平均背景亮度

该步骤与实施例1相同。

(2)确定视频帧的背景帧差

该步骤与实施例1相同。

(3)确定视频的运动强度

该步骤与实施例1相同。

(4)确定视频运动强度的阈值

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁∈[-0.001,1]、p₂∈[-0.07,0.01]、p₃∈[0,0.05]、p₄∈[-0.01,1]、p₅∈[-0.05,0.1]；本实施例的p₁取值为-0.001、p₂取值为-0.07、p₃取值为0、p₄取值为-0.01、p₅取值为-0.05。

(5)确定视频帧的运动变化平滑度

该步骤与实施例1相同。

(6)确定视频的运动变化平滑度

该步骤与实施例1相同。

(7)选择视频的最优帧率

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，取值范围分别为：α₁∈[-0.1,1]、α₂∈[-0.01,1.5]、α₃∈[0.05,0.1]、β₁∈[0.01,0.5]、β₂∈[-1.5,0.1]、β₃∈[-7,-2]、γ₁∈[-1,-0.4]、γ₂∈[4,20]、γ₃∈[35,81]；本实施例的α₁取值为-0.1、α₂取值为-0.01、α₃取值为0.05、β₁取值为0.01、β₂取值为-1.5、β₃取值为-7、γ₁取值为-1、γ₂取值为4、γ₃取值为35。

完成屏幕内容视频最优帧率的选择方法。

实施例3

本实施例的屏幕内容视频最优帧率的选择方法由下述步骤组成：

(1)确定视频帧像素的平均背景亮度

该步骤与实施例1相同。

(2)确定视频帧的背景帧差

该步骤与实施例1相同。

(3)确定视频的运动强度

该步骤与实施例1相同。

(4)确定视频运动强度的阈值

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁∈[-0.001,1]、p₂∈[-0.07,0.01]、p₃∈[0,0.05]、p₄∈[-0.01,1]、p₅∈[-0.05,0.1]；本实施例的p₁取值为1、p₂取值为0.01、p₃取值为0.05、p₄取值为1、p₅取值为0.1。

(5)确定视频帧的运动变化平滑度

该步骤与实施例1相同。

(6)确定视频的运动变化平滑度

该步骤与实施例1相同。

(7)选择视频的最优帧率

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，取值范围分别为：α₁∈[-0.1,1]、α₂∈[-0.01,1.5]、α₃∈[0.05,0.1]、β₁∈[0.01,0.5]、β₂∈[-1.5,0.1]、β₃∈[-7,-2]、γ₁∈[-1,-0.4]、γ₂∈[4,20]、γ₃∈[35,81]；本实施例的α₁取值为1、α₂取值为1.5、α₃取值为0.1、β₁取值为0.5、β₂取值为0.1、β₃取值为-2、γ₁取值为-0.4、γ₂取值为20、γ₃取值为81。

完成屏幕内容视频最优帧率的选择方法。

为了验证本发明的有益效果，发明人采用本发明实施例1的方法对测试视频进行了实验，实验情况如下：

选择编码标准制定组织推荐的10个屏幕内容视频作为测试视频，10个视频的名称分别为：SlideEditing、sc_map、sc_video_conferencing、sc_ppt_doc、sc_web_browsing、sc_console、sc_desktop、PeopleInVehicle_Spreadsheet、CircuitLayoutPresentation、EnglishDocumentEditing，将测试视频采用时域下采样操作得到不同帧率的视频。按照ITU-R BT.500-13国际标准中的要求设计视频主观评价实验(Methodology forthesubjective assessment of the quality of television pictures:ITU-RRecommendations BT.500-13[S].Jan:ITU-T，2012)，选择20名非专家的测试者参与实验。由20名测试者观测得到的每一个测试视频对应的最优帧率值如表1中第2列所示。按照本发明实施例1方法得到的最优帧率值如表1第3列所示。

表1本发明实施例1方法与主观实验对比结果

由表1可见，本发明实施例1方法的最优帧率选择结果与视频主观评价实验获得的最优帧率值接近，说明本发明实施例1方法选择的最优帧率值准确。

采用均方根误差(RMSE)、皮尔逊线性相关系数(PLCC)衡量本发明实施例1方法选择最优帧率的准确度。RMSE、PLCC为被普遍使用的公知技术，RMSE衡量两组数据间的取值差别，其值越小，说明两组数据的取值越接近。PLCC衡量两组数据间的相关性，其值越接近于1，说明两组数据间相关性越大。

表2本发明实施例1方法的最优帧率选择结果对应的测度值

由表2可见，本发明实施例1方法对应的RMSE值很小，PLCC的值接近于1，说明，本发明实施例1方法的最优帧率选择结果与视频主观评价实验获得的最优帧率值很接近、相关性很大。

Claims (3)

1.一种屏幕内容视频最优帧率的选择方法，其特征在于由下述步骤组成：

(1)确定视频帧像素的平均背景亮度

按式(1)确定视频第i帧第x列第y行像素的平均背景亮度I_bg(x,y,i)：

其中，x表示列、y表示行，x∈{1,2..,w}，y∈{1,2..,h}，i∈{2,3..,N}，w、h分别表示帧的宽、高，N表示视频的总帧数，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，m∈{1,2..,5}，n∈{1,2..,5}，I(x-3+m,y-3+n,i)表示第i帧第x-3+m列第y-3+n行像素的亮度值；

(2)确定视频帧的背景帧差

按式(2)确定视频第i帧的背景帧差f(i)：

其中，I(x,y,i)、I(x,y,i-1)分别表示第i帧和第i-1帧的第x列第y行像素的亮度值，I_bg(x,y,i-1)表示第i-1帧第x列第y行像素的平均背景亮度；

(3)确定视频的运动强度

按式(3)确定视频的运动强度f_v：

(4)确定视频运动强度的阈值

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁∈[-0.001,1]，p₂∈[-0.07,0.01]，p₃∈[0,0.05]，p₄∈[-0.01,1]，p₅∈[-0.05,0.1]；

(5)确定视频帧的运动变化平滑度

按式(5)确定第i帧的运动变化平滑度s(i)：

其中，i∈{2,3..,N}，poc(i)、poc(i-1)分别表示第i帧和第i-1帧的图像序列号，表示当前帧在视频中的显示顺序；

(6)确定视频的运动变化平滑度

按式(6)确定视频的运动变化平滑度s_v：

(7)选择视频的最优帧率

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，取值范围分别为：α₁∈[-0.1,1]，α₂∈[-0.01,1.5]，α₃∈[0.05,0.1]，β₁∈[0.01,0.5]，β₂∈[-1.5,0.1]，β₃∈[-7,-2]，γ₁∈[-1,-0.4]，γ₂∈[4,20]，γ₃∈[35,81]。

2.根据权利要求1所述的屏幕内容视频最优帧率的选择方法，其特征在于所述的(4)确定视频运动强度的阈值步骤为：

按式(4)确定视频运动强度的阈值λ：

λ＝p₁max(f(i))+p₂f_v+p₃f_vmax(f(i))+p₄f_v ²+p₅ (4)

其中，p₁、p₂、p₃、p₄、p₅是模型参数，p₁取值为-0.0002279，p₂取值为0.00301，p₃取值为0.0003652，p₄取值为-0.0003902，p₅取值为0.01092。

3.根据权利要求1所述的屏幕内容视频最优帧率的选择方法，其特征在于所述的(7)选择视频的最优帧率步骤为：

按式(7)选择视频的最优帧率值r：

r＝a₁f_v ²+a₂f_v+a₃ (7)

a₁＝α₁s_v ²+β₁s_v+γ₁

a₂＝α₂s_v ²+β₂s_v+γ₂

a₃＝α₃s_v ²+β₃s_v+γ₃

其中α₁、α₂、α₃、β₁、β₂、β₃、γ₁、γ₂、γ₃为模型参数，α₁取值为-0.0007203，α₂取值为0.008759，α₃取值为0.08766，β₁取值为0.04438，β₂取值为-0.6145，β₃取值为-4.876，γ₁取值为-0.7737，γ₂取值为13.77，γ₃取值为58.32。

Images