CN116016904A - 视频数据网络传输质量测试方法和系统 - Google Patents
视频数据网络传输质量测试方法和系统 Download PDFInfo
- Publication number
- CN116016904A CN116016904A CN202211688816.9A CN202211688816A CN116016904A CN 116016904 A CN116016904 A CN 116016904A CN 202211688816 A CN202211688816 A CN 202211688816A CN 116016904 A CN116016904 A CN 116016904A
- Authority
- CN
- China
- Prior art keywords
- sub
- blocks
- value
- block
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种视频数据网络传输质量测试方法和系统,所述方法包括:采集视频数据,将视频数据分帧形成预处理图像,并得到每一预处理图像对应的帧号和时间戳数据;将预处理图像分割形成T个子块,并抽取b个子块;基于每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至子块的原始色彩参数中,生成子块的待传输色彩变化参数;对待传输图像进行二次拍摄并发送;接收传输后图像并进行二次拍摄,得到传输后分析图像,基于传输后分析图像传输后色彩变化参数和传输后原始色彩参数;对子块的传输后色彩变化参数进行解析,得到帧号和时间戳的传输后数据;基于解析得到的帧号和时间戳的传输后数据计算视频数据网络传输质量参数。
Description
技术领域
本发明主要涉及信息技术领域,尤其涉及一种视频数据网络传输质量测试方法和系统。
背景技术
随着移动通信技术的发展,流媒体、视频电话等视频业务逐渐成为移动设备的重要功能之一,在无线通信环境下如何来评价传输后的视频质量也成为性能测试环节中的重点。图1是一种视频数据传输过程的示意图。参考图1,通常视频传输、处理系统包含以下环节:步骤101,摄像装置采集;步骤102,视频数据编码;步骤103,编码数据打包;步骤104,网络传输;步骤105,编码数据解析;步骤106,视频数据解码;步骤107,视频播放显示。图1描述一个方向传输的过程,反方向传输的原理与相同,其中,发送端实现摄像头采集、视频编码、数据打包功能,接收端实现数据解析、视频解码、播放显示功能。这一系列处理过程会在不同程度上影响视频质量,因此需要客观的评测方法来描述最终所显示视频的质量。通常,网络传输部分是造成视频质量下降的主要环节,除此之外,视频采集、视频数据压缩编码、解码显示环节也会影响图像的清晰度、亮度色彩等方面,但对视频质量影响程度小于网络传输的影响。因此,如何实现对视频数据网络传输质量进行测试是需要应对的课题。
发明内容
本发明要解决的技术问题是提供一种视频数据网络传输质量测试方法和系统,实现对视频数据网络传输质量的便捷和准确测试。
为解决上述技术问题,本发明提供了一种视频数据网络传输质量测试方法,包括:采集视频数据,将视频数据分帧形成预处理图像,并得到每一所述预处理图像对应的帧号和时间戳数据;将所述预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数;r为自然数,或将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中;所述b个子块和其余(T-b)个子块形成待传输图像,对所述待传输图像进行二次拍摄并发送;接收传输后图像并进行二次拍摄,得到传输后分析图像,当所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中时,基于所述传输后分析图像获取所述b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;当所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中时,基于所述传输后分析图像获取所述T个子块的传输后色彩变化参数;基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,或对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据;基于解析得到的所述帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。
在本发明的一实施例中,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1,k为正整数;将所述帧号和时间戳数据转换为长度为k*b比特位的编码数据;根据所述k*b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;计算所述b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值;所述b个子块中每一子块周围相邻的r个子块的像素点的像素值保持不变;根据所述b个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述b个子块中每一子块的每个像素点的偏移像素值;计算所述b个子块中每一子块的偏移像素值的平均值;根据所述b个子块中每一子块的偏移像素值的平均值与所述变化基准值的差值,对每个像素点的像素值乘以第一比例系数Sc1,使所述b个子块中每一子块的偏移像素值的平均值等于所述变化基准值;根据所述b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1和增量△1的乘积之和,得到所述b个子块中每一子块的每个像素点的标志像素值,从而生成所述b个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
在本发明的一实施例中,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:计算所述每一传输后图像的b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值的更新值;计算所述每一传输后图像的b个子块中每一子块的像素值的更新值的平均值;根据所述每一传输后图像的b个子块中每一子块的像素值的平均值与第一阈值的比较,还原出所述第一标志值;所述b个子块中每一子块对应的第一阈值为所述变化基准值的更新值与{[(m1+n1)/d]*△1}之和;d为正整数;基于所述第一标志值得出所述b个子块中每一子块对应的k*b比特位的编码数据,并基于解析出的所述k*b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
在本发明的一实施例中,视频数据网络传输质量测试方法还包括在视频数据传输开始的时刻,将起始时间数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数。
在本发明的一实施例中,视频数据网络传输质量测试方法还包括将校验码与所述帧号和时间戳数据共同叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数。
在本发明的一实施例中,所述网络传输质量参数包括丢帧率和延时值。
在本发明的一实施例中,所述网络传输质量参数包括图像破损率。
在本发明的一实施例中,所述色彩空间包括YUV格式、YCbCr格式、HSI格式或RGB格式的色彩空间。
在本发明的一实施例中,当k=2,且色彩空间为YUV格式的色彩空间时,采用YUV格式的色彩空间中U通道和V通道两个分量的值作为原始色彩参数;当k=2,且色彩空间为RGB格式的色彩空间时,采用RGB格式的色彩空间中R分量和B分量两个分量的值作为原始色彩参数。
在本发明的一实施例中,将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中包括:获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1,k为正整数;将所述帧号和时间戳数据转换为长度为k*T比特位的编码数据;根据所述k*T比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;基于所述T个子块的像素值表征区间范围和像素值比例系数p1得到像素变化参考值;根据所述T个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述T个子块中每一子块的每个像素点的偏移像素值;计算所述T个子块中每一子块的偏移像素值的平均值;根据所述T个子块中每一子块的偏移像素值的平均值与所述像素变化参考值的差值,对每个像素点的像素值乘以第二比例系数Sc2,使所述T个子块中每一子块的偏移像素值的平均值等于所述像素变化参考值;根据所述b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1和增量△1的乘积之和,得到所述b个子块中每一子块的每个像素点的标志像素值,从而生成所述b个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
在本发明的一实施例中,对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:计算所述每一传输后图像的T个子块中每一子块的像素值的平均值;根据所述每一传输后图像的T个子块中每一子块的像素值的平均值与第二阈值的比较,还原出所述第一标志值;所述T个子块中每一子块对应的第二阈值为所述像素变化参考值与{[(m1+n1)/d]*△1}之和;d为正整数;基于所述第一标志值得出所述b个子块中每一子块对应的k*T比特位的编码数据,并基于解析出的所述k*T比特位的编码数据还原每一帧图像的帧号的时间戳数据。
在本发明的一实施例中,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:将所述帧号和时间戳数据转换为长度为b比特位的编码数据;根据所述b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块分别对应的标志值;当所述比特位的数值为1时,第二标志值fg2为m2,当所述比特位的数值为0时,第二标志值fg2为n2;将所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值,以及所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;计算b个子块中每一子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱得到低频段能量值;根据所述b个子块中每一子块的低频段能量值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的差值,生成所述b个子块中每一子块的低频段能量值的增益或衰减系数,生成所述b个子块中每一子块的低频段能量值的第一变化值等于所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;根据所述b个子块中每一子块的低频段能量值的第一变化值与第二标志值fg2和频谱能量增量△2的乘积之和,得到所述b个子块中每一子块的低频段能量值的第二变化值;所述频谱能量增量△2>0;基于所述b个子块中每一子块的低频段能量值的第二变化值进行频域反变换,得到所述b个子块中每一子块的像素值作为待传输色彩变化参数。
在本发明的一实施例中,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:获取所述每一传输后图像的b个子块中每一子块的像素值;对所述b个子块中每一子块的像素值进行频率变换,得到所述b个子块中每一子块的低频段能量值的第二变化值的更新值;对接收到的与所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值和所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;根据所述b个子块中每一子块的低频段能量值的第二变化值的更新值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的比较,还原出所述第二标志值;基于所述第二标志值得出所述b个子块中每一子块对应的b比特位的编码数据,并基于解析出的所述b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
在本发明的一实施例中,所述频域变换包括离散傅里叶变换。
本发明还提供一种视频数据网络传输质量测试系统,包括位于发送端的工具机和第一被测试终端、位于接收端的检测机和第二被测试终端;所述工具机被配置为:采集视频数据,将视频数据分帧形成预处理图像,并得到每一所述预处理图像对应的帧号和时间戳数据;将所述预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数;基于所述b个子块和其余(T-b)个子块形成待传输图像并呈现于显示装置;所述第一被测试终端被配置为,对所述工具机的显示装置呈现的待传输图像进行二次拍摄并发送;所述第二被测试终端被配置为,接收传输后图像;所述检测机被配置为:对所述传输后图像进行二次拍摄,得到传输后分析图像,基于所述传输后分析图像获取所述b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据;基于解析得到的所述帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。
在本发明的一实施例中,所述工具机还被配置为:对所述第一被测试终端的显示装置进行拍摄,得到监测图像;对所述监测图像进行解析,并判断是否得到所述帧号和时间戳数据;当判断基于所述监测图像得到所述帧号和时间戳数据时,继续采集视频数据。
与现有技术相比,本发明具有以下优点:本申请方案能够实时生成嵌入标识的测试图像,不需要预先制作数据,不限制拍摄内容,嵌入信息后对原始编码数据改变极少,便于传输,更接近实际使用环境;嵌入信息抗干扰能力强,在经过图像翻拍、压缩编码后依然能够有效解读,保证测试结果的准确性;此外,本申请方案的应用场景灵活,从而实现对视频数据网络传输质量的便捷和准确测试。
附图说明
附图是为提供对本申请进一步的理解,它们被收录并构成本申请的一部分,附图示出了本申请的实施例,并与本说明书一起起到解释本申请原理的作用。
附图中:
图1是一种视频数据传输过程的示意图。
图2是本申请一实施例的视频数据网络传输质量测试方法流程图。
图3是本申请一实施例的基于视频数据形成的预处理图像的示意图。
图4是本申请一实施例的预处理图像形成子块和抽取部分子块的示意图。
图5是本申请一实施例的将帧号和时间戳数据叠加至预处理图像的色彩参数的过程流程图。
图6是本申请一实施例的对传输后色彩变化参数进行解析得到所述帧号和时间戳数据的传输后数据的过程流程图。
图7是本申请另一实施例的将帧号和时间戳数据叠加至预处理图像的色彩参数的过程流程图。
图8是本申请另一实施例的对传输后色彩变化参数进行解析得到所述帧号和时间戳数据的传输后数据的过程流程图。
图9是本申请一实施例的视频数据网络传输质量测试系统的组成示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请的实施例描述一种视频数据网络传输质量测试方法和系统。
图2是本申请一实施例的视频数据网络传输质量测试方法流程图。参考图2,本申请的视频数据网络传输质量测试方法包括,步骤201,采集视频数据,将视频数据分帧形成预处理图像,并得到每一预处理图像对应的帧号和时间戳数据;步骤202,将预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;步骤203,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数,r为自然数,或将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中;步骤204,b个子块和其余(T-b)个子块形成待传输图像,对待传输图像进行二次拍摄并发送;步骤205,接收传输后图像并进行二次拍摄,得到传输后分析图像,当所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中时,基于传输后分析图像获取b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;当所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中时,基于所述传输后分析图像获取所述T个子块的传输后色彩变化参数;步骤206,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数对b个子块的传输后色彩变化参数进行解析,或对所述T个子块的传输后色彩变化参数进行解析,得到帧号和时间戳数据的传输后数据;步骤207,基于解析得到的帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。
具体地,在步骤201,采集视频数据,视频数据例如为拍摄位于发送端周围的实景所得到的数据,将视频数据分为多帧形成预处理图像,并得到每一帧预处理图像对应的帧号和时间戳数据。
在步骤102,将预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T。当预处理图像为矩形形状(像素点数为s*t)的图像时,例如按行和列将预处理图像分为M行N列,形成T=M*N个子块(每个子块的像素点数为(s/N)*(t/M))。抽取其中b个子块,其中T、b为正整数,b≤T。预处理图像也可为其他形状,例如圆形图像、菱形图像等。图像、菱形图像也可分为M行N列,形成T=M*N个子块,只是每一子块的形状并不完全相同。为便于阐述,以下仍以矩形图像为例进行说明。
图3是本申请一实施例的基于视频数据形成的预处理图像的示意图。预处理图像301的尺寸为s*t(具体例如为1920*1080、1280*768等数值),分为4行6列(M取值为4,N取值为6),得到24个子块(Block),如图3中的Block0、Block1、Block2、Block3、…、Block21、Block22、Block23所例示。当s*t取值为1920*1080时,当每一子块的像素点数为(s/N)*(t/M)=320*270。抽取b个子块,例如b取为2,即抽取T/2个子块,T为24,即抽取12个子块。当b为3时,即抽取T/3=8个子块。图4是本申请一实施例的预处理图像形成子块和抽取部分子块的示意图。如图4所例示,在形成24个子块(即Block0、Block1、Block2、Block3、…、Block21、Block22、Block23)的基础上,以等间隔方式抽取12个子块(即Block1、Block3、Block5、Block6、Block8、Block10、Block12、Block14、Block16、Block18、Block20、Block22)。
在步骤103,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数。r为自然数,具体例如为2、3或4,也可根据图像形状取为其他数值。例如,图4中,子块Block1周围相邻的3个子块为Block0、Block2和Block7,子块Block5周围相邻的2个子块为Block4和Block11,子块Block8周围相邻的4个子块为Block2、Block7、Block9和Block14。
图5是本申请一实施例的将帧号和时间戳数据叠加至预处理图像的色彩参数的过程流程图。在一些实施例中,如图5所示,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数包括:步骤501,获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1;步骤502,将帧号和时间戳数据转换为长度为k*b比特位的编码数据;步骤503,根据k*b比特位的编码数据中每一比特位的数值确定与b个子块中每一子块的像素点的k个分量分别对应的标志值;当比特位的数值为1时,第一标志值fg1为m1,当比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;步骤504,计算b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于r个子块的像素值的平均值和偏移量Bi得到变化基准值;b个子块中每一子块周围相邻的r个子块的像素点的像素值保持不变;步骤505,根据b个子块中每一子块的每个像素点的像素值和偏移量Bi,得到b个子块中每一子块的每个像素点的偏移像素值;步骤506,计算b个子块中每一子块的偏移像素值的平均值;步骤507,根据b个子块中每一子块的偏移像素值的平均值与变化基准值的差值,对每个像素点的像素值乘以第一比例系数Sc1,使b个子块中每一子块的偏移像素值的平均值等于变化基准值;步骤508,根据b个子块中每一子块的每个像素点的偏移像素值(即原始像素值pv乘以第二比例系数Sc1,再加上偏移量Bi,即pv*Sc1+Bi)与第一标志值fg1和增量△1的乘积之和,得到b个子块中每一子块的每个像素点的标志像素值,从而生成b个子块的待传输色彩变化参数;增量△1>0且为有理数。
在一些实施例中,步骤501中的色彩空间包括YUV格式、YCbCr格式、HSI格式或RGB格式的色彩空间。当k=2,且色彩空间为YUV格式的色彩空间时,采用YUV格式的色彩空间中U通道和V通道两个分量的值作为原始色彩参数,此时可传输48比特位(bit)数据。当k=2,且色彩空间为RGB格式的色彩空间时,采用RGB格式的色彩空间中R分量和B分量两个分量的值作为原始色彩参数。
接下来,在步骤204,b个子块和其余(T-b)个子块形成待传输图像,对待传输图像进行二次拍摄并发送。在步骤205,接收传输后图像并进行二次拍摄,得到传输后分析图像,基于传输后分析图像获取b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数。对于图4例示的预处理图像,即为基于传输后分析图像获取12个子块的传输后色彩变化参数和其余12个子块的传输后原始色彩参数。
在步骤206,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数对b个子块的传输后色彩变化参数进行解析,得到帧号和时间戳数据的传输后数据。图6是本申请一实施例的对传输后色彩变化参数进行解析得到帧号和时间戳数据的传输后数据的过程流程图。在一些实施例中,参考图6,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数对b个子块的传输后色彩变化参数进行解析,得到帧号和时间戳数据的传输后数据包括:步骤601,计算每一传输后图像的b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于r个子块的像素值的平均值和偏移量Bi得到变化基准值的更新值;步骤602,计算每一传输后图像的b个子块中每一子块的像素值的更新值的平均值;步骤603,根据每一传输后图像的b个子块中每一子块的像素值的平均值与第一阈值的比较,还原出第一标志值;b个子块中每一子块对应的第一阈值为变化基准值的更新值与{[(m1+n1)/d]*△1}之和;d为正整数;例如,m1取值为1,n1取值为-1,d取值为2,b个子块中每一子块对应的第一阈值为变化基准值的更新值,此时,如果每一传输后图像的b个子块中每一子块的像素值的平均值大于第一阈值,则标示该子块对应的比特位数据为1;如果每一传输后图像的b个子块中每一子块的像素值的平均值小于第一阈值,则标示该子块对应的比特位数据为0;例如m1取值为1,n1取值为0,d取值为2,b个子块中每一子块对应的第一阈值为变化基准值的更新值与{(1/2)*△1}之和,每一传输后图像的b个子块中每一子块的像素值的平均值大于b个子块中每一子块对应的第一阈值(第一阈值为变化基准值的更新值与{(1/2)*△1}之和)时,则标示该子块对应的比特位数据为1,该子块在发送端时,根据b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1(即为m1=1)和增量△1的乘积之和,得到b个子块中每一子块的每个像素点的标志像素值,从而生成b个子块的待传输色彩变化参数,故如果子块图像被正确传输,可判定出该子块的像素值的平均值(与发送端的该子块的每个像素点的偏移像素值与1*△1之和对应,如果子块为正确传输,传输后该子块的像素值的平均值应与发送端的该子块的每个像素点的偏移像素值与1*△1之和相等)大于该子块对应的第一阈值(第一阈值为变化基准值的更新值与{(1/2)*△1}之和);而如果每一传输后图像的b个子块中每一子块的像素值的平均值小于b个子块中每一子块对应的第一阈值(第一阈值为变化基准值的更新值与{(1/2)*△1}之和)时,则标示该子块对应的比特位数据为0,该子块在发送端时,根据b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1(即为n1=0)和增量△1的乘积之和,得到b个子块中每一子块的每个像素点的标志像素值,从而生成b个子块的待传输色彩变化参数,故如果子块图像被正确传输,可判定出该子块的像素值的平均值(与发送端的该子块的每个像素点的偏移像素值与0*△1=0之和对应,如果子块为正确传输,传输后该子块的像素值的平均值应与发送端的该子块的每个像素点的偏移像素值与0*△1=0之和相等)小于该子块对应的第一阈值(第一阈值为变化基准值的更新值与{(1/2)*△1}之和);步骤604,基于第一标志值得出b个子块中每一子块对应的k*b比特位的编码数据,并基于解析出的k*b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
接下来,在步骤207,基于解析得到的帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。在一些实施例中,网络传输质量参数包括丢帧率和延时值。
在一些实施例中,将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中包括:步骤521,获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1,k为正整数;步骤522,将所述帧号和时间戳数据转换为长度为k*T比特位的编码数据;步骤523,根据所述k*T比特位的编码数据中每一比特位的数值确定与所述T个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;步骤524,基于所述T个子块的像素值表征区间范围和像素值比例系数p1得到像素变化参考值,例如像素值表征区间范围为[0,255],p1取为1/2,则像素变化参考值可为128,如果p1取为1/4,则像素变化参考值可为64,如果p1取为3/4,则像素变化参考值可为192;步骤525,根据所述T个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述T个子块中每一子块的每个像素点的偏移像素值;步骤526,计算所述T个子块中每一子块的偏移像素值的平均值;步骤527,根据所述T个子块中每一子块的偏移像素值的平均值与所述像素变化参考值的差值,对每个像素点的像素值(即原始像素值)pv乘以第二比例系数Sc2,使所述T个子块中每一子块的偏移像素值的平均值等于所述像素变化参考值;步骤528,根据所述b个子块中每一子块的每个像素点的偏移像素值(即原始像素值pv乘以第二比例系数Sc2,再加上偏移量Bi,即pv*Sc2+Bi)与第一标志值fg1和增量△1的乘积之和,得到所述T个子块中每一子块的每个像素点的标志像素值,从而生成所述T个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
在一些实施例中,对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:步骤621,计算所述每一传输后图像的T个子块中每一子块的像素值的平均值;步骤622,根据所述每一传输后图像的T个子块中每一子块的像素值的平均值与第二阈值的比较,还原出所述第一标志值;所述T个子块中每一子块对应的第二阈值为所述像素变化参考值与{[(m1+n1)/d]*△1}之和;d为正整数;步骤623,基于所述第一标志值得出所述b个子块中每一子块对应的k*T比特位的编码数据,并基于解析出的所述k*T比特位的编码数据还原每一帧图像的帧号的时间戳数据。
前述实施例通过将第二阈值设定为一个具体数值,使得每一次网络传输能够携带的数据位数增加,在该些实施例中,判决门限(即第二阈值)是相对固定的,如果视频数据的图像在传输过程中色彩、亮度等发生变化(例如二次拍摄过程引起的变化),则子块的像素均值会出现偏移,此时通过相对固定的判决门限进行计算可能会出现误码,对此,可通过适当增大增量△1的数值的方式进行抗干扰,同时保留此实施例中能够携带的数据量较大的优点。
在一些实施例中,本申请的视频数据网络传输质量测试方法还包括,在视频数据传输开始的时刻,将起始时间数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数。此外,还可将校验码与帧号和时间戳数据共同叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数。例如,视频电话开始阶段,数据格式为:起始时间(40比特),校验码(8比特)。其中起始时间为电话开始的绝对时间,用于双方时钟同步。校验码用于提高抗误码能力。视频电话持续阶段,数据格式例如为:帧序号(16比特),相对时间戳(24比特),校验码(8比特),其中,帧序号为每个视频帧的编号(从0开始连续计数),这里可仅传输低侧的16位(bit)。相对时间戳是每个视频帧相对于起始时间的时间戳,这里可仅传输低侧的24位(bit)。校验码可用于提高抗误码能力。接收端在电话开始阶段首先同步起始时间,校验通过后保存该时间值作为时间基准。在电话持续阶段接收帧序号和相对时间戳,虽然帧序号和时间戳只传输了低位,但通常情况下该计数值经过数十分钟才会循环一次,可以通过记录循环次数还原高位数值。还原后的时间戳加上起始时间即为该帧图像的绝对时间戳。通过比较帧序号的连续性可以得出丢帧分布,而图像发送时间与实际接收时间的差值即为每帧的传输延时,基于这些可以分析得到其他测试结果。此外,还可以利用校验码检测图像完整性,如果图像解码完成但校验失败,则说明图像画面破损,原因可能是视频帧数据误码或解码器运行错误导致图像错误,那么就可以根据校验的错误位确定哪些子块图像错误,从而可以进一步分析得到图像画面的破损率。
图7是本申请另一实施例的将帧号和时间戳数据叠加至预处理图像的色彩参数的过程流程图。在一些实施例中,参考图7,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数包括:步骤701,将帧号和时间戳数据转换为长度为b比特位的编码数据;步骤702,根据b比特位的编码数据中每一比特位的数值确定与b个子块中每一子块分别对应的标志值;当比特位的数值为1时,第二标志值fg2为m2,当比特位的数值为0时,第二标志值fg2为n2;步骤703,将b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值,以及b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;步骤704,计算b个子块中每一子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱得到低频段能量值;步骤705,根据b个子块中每一子块的低频段能量值与b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的差值,生成b个子块中每一子块的低频段能量值的增益或衰减系数,生成b个子块中每一子块的低频段能量值的第一变化值等于b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;步骤706,根据b个子块中每一子块的低频段能量值的第一变化值与第二标志值fg2和频谱能量增量△2的乘积之和,得到b个子块中每一子块的低频段能量值的第二变化值;频谱能量增量△2>0;步骤707,基于b个子块中每一子块的低频段能量值的第二变化值进行频域反变换,得到b个子块中每一子块的像素值作为待传输色彩变化参数。
图8是本申请另一实施例的对传输后色彩变化参数进行解析得到帧号和时间戳数据的传输后数据的过程流程图。在一些实施例中,参考图8,基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数对b个子块的传输后色彩变化参数进行解析,得到帧号和时间戳数据的传输后数据包括:步骤801,获取每一传输后图像的b个子块中每一子块的像素值;步骤802,对b个子块中每一子块的像素值进行频率变换,得到b个子块中每一子块的低频段能量值的第二变化值的更新值;步骤803,对接收到的与b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值和b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;步骤804,根据b个子块中每一子块的低频段能量值的第二变化值的更新值与b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的比较,还原出第二标志值;步骤805,基于第二标志值得出b个子块中每一子块对应的b比特位的编码数据,并基于解析出的b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
在一些实施例中,频域变换包括离散傅里叶变换。以图4中的子块Block8为例,将周围子块Block2、Block7、Block9、Block14进行频域变换,然后计算低频段能量,包括直流和低频分量的能量(通常视频编码后低频能量损失较小),记为Eng2、Eng7、Eng9、Eng14。以Block2为例,像素值f(x,y)(x,y为像素点坐标)的频域变换后F(u,v)=∑M∑N f(x,y)exp[-j2π(ux/M+vy/N)],M=320,N=270,x取值范围0~(M-1),y取值范围0~(N-1)。取频谱低频段谱线作为Block2的低频段能量,Eng2=|F(0,0)|2+|F(0,1)|2+|F(1,0)|2+|F(1,1)|2。将子块Block8的频谱进行增益或衰减,例如使用高斯低通率滤波器提升低频端能量,F(u,v)=K*exp[-(u2+v2)/2σ2],K为增益系数,以及使用高斯高通滤波器降低低频端能量,F(u,v)=1–K*exp[-(u2+v2)/2σ2],K为衰减系数,σ为滤波器的标准差。
本申请的视频数据网络传输质量测试方法具有较强的网络传输抗干扰能力。在测试过程中,测试图像先由发送端被测设备翻拍后再进行压缩编码,这两个过程都会对图像信息造成损伤。一方面翻拍过程后图像色彩、亮度、清晰度都会下降,而且由于显示和拍摄的扫描速度不同还会造成图像拖影、模糊等现象。拖影相当于在曝光时间内叠加了不断位移的多幅图像,即f(x,y)、f(x-a0,y-b0)、f(x-a1,y-b1)…,在频域上相当于F(ωx,ωy)、F(ωx,ωy)*exp[-j2π(ωxa0+ωyb0)]、F(ωx,ωy)*exp[-j2π(ωxa1+ωyb1)]…叠加在一起,a0、b0为位移值。因此拖影对直流分量基本无影响,对低频分量影响较小,对高频分量影响大。而模糊相当于对图像进行低通滤波,同样是高频影响大低频影响小。本方案中可利用大面积子块来表示数据,即使用图像直流和低频段作为信息载体,翻拍后色彩辨识度高抗干扰能力强,不受图像清晰度下降的影响。
本申请还提供一种视频数据网络传输质量测试系统,图9是本申请一实施例的视频数据网络传输质量测试系统的组成示意图。参考图9,本申请的视频数据网络传输质量测试系统901包括位于发送端TX的工具机911和第一被测试终端912、位于接收端RX的检测机921和第二被测试终端922。工具机911例如具有第一摄像装置931和第二摄像装置932。检测机921例如具有第三摄像装置941。
在一些实施例中,工具机911被配置为:通过第一摄像装置931对周边景物或测试用例910采集视频数据,将视频数据分帧形成预处理图像,并得到每一预处理图像对应的帧号和时间戳数据;将预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数,将帧号和时间戳数据叠加至T个子块中b个子块的原始色彩参数中,生成b个子块的待传输色彩变化参数,r为自然数,或将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中;基于b个子块和其余(T-b)个子块形成待传输图像并呈现于显示装置。第一被测试终端912被配置为对工具机的显示装置呈现的待传输图像进行二次拍摄(或称为翻拍)并发送。
第二被测试终端922被配置为接收传输后图像。检测机921被配置为:通过第三摄像装置941对传输后图像进行二次拍摄(或称为翻拍),得到传输后分析图像,当所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中时,基于传输后分析图像获取b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;当所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中时,基于所述传输后分析图像获取所述T个子块的传输后色彩变化参数;基于与b个子块中每一子块周围相邻的r个子块的原始色彩参数对b个子块的传输后色彩变化参数进行解析,或对所述T个子块的传输后色彩变化参数进行解析,得到帧号和时间戳数据的传输后数据;基于解析得到的帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。工具机911和检测机921的具体操作的实现步骤参见前文所阐述。
在一些实施例中,工具机还被配置为:通过第二摄像装置932对第一被测试终端的显示装置进行拍摄,得到监测图像;对监测图像进行解析,并判断是否得到帧号和时间戳数据;当判断基于监测图像得到帧号和时间戳数据时,继续采集视频数据。对该监测图像进行解析的步骤例如可参考步骤601至步骤604或步骤801至步骤805的过程。
本申请的视频数据网络传输质量测试方法和系统,不需要介入发送端和接收端的被测试设备,通过摄像装置采集视频图像,可以用于黑盒设备测试。在此基础上通过方案的实现过程在发送图像中嵌入标识信息,避免了标识信息直接覆盖图像画面,也减少了使用限制条件,接收端识别视频图像信息后可直接得出丢包率、延时和图像完整性等测试指标。具体地,本申请方案能够实时生成嵌入标识的测试图像,不需要预先制作数据,不限制拍摄内容,嵌入信息后对原始编码数据改变极少,更接近实际使用环境;本申请方案产生的嵌入信息抗干扰能力强,在经过图像翻拍、压缩编码后依然能够有效解读,保证测试结果的准确性;此外,本申请方案可从接收图像中直接提取分析测试结果,不需要参考发送端数据或存储其他额外数据,不限制发送端和接收端两端的被测设备是否处于同一地点(对应于同样的周围环境),应用场景灵活。
关于嵌入信息后对原始编码数据改变极少,例如测试图像在原图的基础上修改了YUV色彩空间中U、V分量的像素均值(以及通过比例系数压缩像素值动态范围,以避免待传输色彩变化参数超过像素表征数值的上限),在画面上修改之后两者是有差异的,从图像频域参数看(编码器一般使用图像频域参数进行编码),该过程相当于将频域系数乘以固定比例(压缩动态范围时),然后增加直流系数偏移量,但频谱结构与原始形态基本仍保持一致,对编码后的数据影响极小。另一方面,编码器以宏块为单位进行处理,而本申请方案中的子块尺寸可远大于编码宏块尺寸,且子块内的宏块所叠加的增量和压缩系数都是相同的。在图像压缩时每个宏块都会参考周围数据进行预测,那么上述这种像素均值和动态范围的变化可以通过预测来抵消,即可近似理解为子块内第一个宏块的编码数据受到了改变,后续宏块通过预测来传递像素变化而不必改变编码数据。所以测试图像与原图虽然在像素数值上有差异,但是经过编码后的视频帧数据与原图却差异极小。此外,视频编码中通常U、V分量只有Y分量的四分之一,选用U、V分量来传输信息能够进一步降低对编码数据的改变,以达到真实环境测试的目标。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述发明披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。例如,计算机可读介质可包括,但不限于,磁性存储设备(例如,硬盘、软盘、磁带……)、光盘(例如,压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如,卡、棒、键驱动器……)。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本申请,在没有脱离本申请精神的情况下还可作出各种等效的变化或替换,因此,只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (20)
1.一种视频数据网络传输质量测试方法,包括:
采集视频数据,将视频数据分帧形成预处理图像,并得到每一所述预处理图像对应的帧号和时间戳数据;
将所述预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;
基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数,r为自然数,或将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中;
所述b个子块和其余(T-b)个子块形成待传输图像,对所述待传输图像进行二次拍摄并发送;
接收传输后图像并进行二次拍摄,得到传输后分析图像,当所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中时,基于所述传输后分析图像获取所述b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;当所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中时,基于所述传输后分析图像获取所述T个子块的传输后色彩变化参数;
基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,或对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据;
基于解析得到的所述帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。
2.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:
获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1,k为正整数;
将所述帧号和时间戳数据转换为长度为k*b比特位的编码数据;
根据所述k*b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;
计算所述b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值;所述b个子块中每一子块周围相邻的r个子块的像素点的像素值保持不变;
根据所述b个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述b个子块中每一子块的每个像素点的偏移像素值;
计算所述b个子块中每一子块的偏移像素值的平均值;
根据所述b个子块中每一子块的偏移像素值的平均值与所述变化基准值的差值,对每个像素点的像素值乘以第一比例系数Sc1,使所述b个子块中每一子块的偏移像素值的平均值等于所述变化基准值;
根据所述b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1和增量△1的乘积之和,得到所述b个子块中每一子块的每个像素点的标志像素值,从而生成所述b个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
3.根据权利要求2所述的视频数据网络传输质量测试方法,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:
计算所述每一传输后图像的b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值的更新值;
计算所述每一传输后图像的b个子块中每一子块的像素值的更新值的平均值;
根据所述每一传输后图像的b个子块中每一子块的像素值的平均值与第一阈值的比较,还原出所述第一标志值;所述b个子块中每一子块对应的第一阈值为所述变化基准值的更新值与{[(m1+n1)/d]*△1}之和;d为正整数;
基于所述第一标志值得出所述b个子块中每一子块对应的k*b比特位的编码数据,并基于解析出的所述k*b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
4.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,还包括,在视频数据传输开始的时刻,将起始时间数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数。
5.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,还包括,将校验码与所述帧号和时间戳数据共同叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数。
6.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,所述网络传输质量参数包括丢帧率和延时值。
7.根据权利要求5所述的视频数据网络传输质量测试方法,其特征在于,所述网络传输质量参数包括图像破损率。
8.根据权利要求2所述的视频数据网络传输质量测试方法,其特征在于,所述色彩空间包括YUV格式、YCbCr格式、HSI格式或RGB格式的色彩空间。
9.根据权利要求8所述的视频数据网络传输质量测试方法,其特征在于,当k=2,且色彩空间为YUV格式的色彩空间时,采用YUV格式的色彩空间中U通道和V通道两个分量的值作为原始色彩参数;
当k=2,且色彩空间为RGB格式的色彩空间时,采用RGB格式的色彩空间中R分量和B分量两个分量的值作为原始色彩参数。
10.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中包括:
获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1,k为正整数;
将所述帧号和时间戳数据转换为长度为k*T比特位的编码数据;
根据所述k*T比特位的编码数据中每一比特位的数值确定与所述T个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;m1、n1为有理数,且m1≠n1;
基于所述T个子块的像素值表征区间范围和像素值比例系数p1得到像素变化参考值;
根据所述T个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述T个子块中每一子块的每个像素点的偏移像素值;
计算所述T个子块中每一子块的偏移像素值的平均值;
根据所述T个子块中每一子块的偏移像素值的平均值与所述像素变化参考值的差值,对每个像素点的像素值乘以第二比例系数Sc2,使所述T个子块中每一子块的偏移像素值的平均值等于所述像素变化参考值;
根据所述b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1和增量△1的乘积之和,得到所述T个子块中每一子块的每个像素点的标志像素值,从而生成所述T个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
11.根据权利要求10所述的视频数据网络传输质量测试方法,其特征在于,对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:
计算所述每一传输后图像的T个子块中每一子块的像素值的平均值;
根据所述每一传输后图像的T个子块中每一子块的像素值的平均值与第二阈值的比较,还原出所述第一标志值;所述T个子块中每一子块对应的第二阈值为所述像素变化参考值与{[(m1+n1)/d]*△1}之和;d为正整数;
基于所述第一标志值得出所述b个子块中每一子块对应的k*T比特位的编码数据,并基于解析出的所述k*T比特位的编码数据还原每一帧图像的帧号的时间戳数据。
12.根据权利要求1所述的视频数据网络传输质量测试方法,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:
将所述帧号和时间戳数据转换为长度为b比特位的编码数据;
根据所述b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块分别对应的标志值;当所述比特位的数值为1时,第二标志值fg2为m2,当所述比特位的数值为0时,第二标志值fg2为n2;
将所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值,以及所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
计算b个子块中每一子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱得到低频段能量值;
根据所述b个子块中每一子块的低频段能量值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的差值,生成所述b个子块中每一子块的低频段能量值的增益或衰减系数,生成所述b个子块中每一子块的低频段能量值的第一变化值等于所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
根据所述b个子块中每一子块的低频段能量值的第一变化值与第二标志值fg2和频谱能量增量△2的乘积之和,得到所述b个子块中每一子块的低频段能量值的第二变化值;所述频谱能量增量△2>0;
基于所述b个子块中每一子块的低频段能量值的第二变化值进行频域反变换,得到所述b个子块中每一子块的像素值作为待传输色彩变化参数。
13.根据权利要求12所述的视频数据网络传输质量测试方法,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:
获取所述每一传输后图像的b个子块中每一子块的像素值;
对所述b个子块中每一子块的像素值进行频率变换,得到所述b个子块中每一子块的低频段能量值的第二变化值的更新值;
对接收到的与所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值和所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
根据所述b个子块中每一子块的低频段能量值的第二变化值的更新值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的比较,还原出所述第二标志值;
基于所述第二标志值得出所述b个子块中每一子块对应的b比特位的编码数据,并基于解析出的所述b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
14.根据权利要求12所述的视频数据网络传输质量测试方法,其特征在于,所述频域变换包括离散傅里叶变换。
15.一种视频数据网络传输质量测试系统,包括位于发送端的工具机和第一被测试终端、位于接收端的检测机和第二被测试终端;
所述工具机被配置为:
采集视频数据,将视频数据分帧形成预处理图像,并得到每一所述预处理图像对应的帧号和时间戳数据;
将所述预处理图像分割形成T个子块,并抽取b个子块;T、b为正整数,b≤T;
基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数,r为自然数,或将所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中;
基于所述b个子块和其余(T-b)个子块形成待传输图像并呈现于显示装置;
所述第一被测试终端被配置为,对所述工具机的显示装置呈现的待传输图像进行二次拍摄并发送;
所述第二被测试终端被配置为,接收传输后图像;
所述检测机被配置为:
对所述传输后图像进行二次拍摄,得到传输后分析图像,当所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中时,基于所述传输后分析图像获取所述b个子块的传输后色彩变化参数和其余(T-b)个子块的传输后原始色彩参数;当所述帧号和时间戳数据直接叠加至所述T个子块的原始色彩参数中时,基于所述传输后分析图像获取所述T个子块的传输后色彩变化参数;
基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,或对所述T个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据;
基于解析得到的所述帧号和时间戳数据的传输后数据计算视频数据网络传输质量参数。
16.根据权利要求15所述的视频数据网络传输质量测试系统,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:
获取每一预处理图像中每个像素点的像素值在对应的色彩空间中的各个分量中k个分量的值;k≥1;
将所述帧号和时间戳数据转换为长度为k*b比特位的编码数据;
根据所述k*b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块的像素点的k个分量分别对应的标志值;当所述比特位的数值为1时,第一标志值fg1为m1,当所述比特位的数值为0时,第一标志值fg1为n1;
计算所述b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值;所述b个子块中每一子块周围相邻的r个子块的像素点的像素值保持不变;
根据所述b个子块中每一子块的每个像素点的像素值和偏移量Bi,得到所述b个子块中每一子块的每个像素点的偏移像素值;
计算所述b个子块中每一子块的偏移像素值的平均值;
根据所述b个子块中每一子块的偏移像素值的平均值与所述变化基准值的差值,对每个像素点的像素值乘以第一比例系数Sc1,使所述b个子块中每一子块的偏移像素值的平均值等于所述变化基准值;
根据所述b个子块中每一子块的每个像素点的偏移像素值与第一标志值fg1和增量△1的乘积之和,得到所述b个子块中每一子块的每个像素点的标志像素值,从而生成所述b个子块的待传输色彩变化参数;所述增量△1>0且为有理数。
17.根据权利要求16所述的视频数据网络传输质量测试系统,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:
计算所述每一传输后图像的b个子块中每一子块周围相邻的r个子块的像素值的平均值,并基于所述r个子块的像素值的平均值和偏移量Bi得到变化基准值的更新值;
计算所述每一传输后图像的b个子块中每一子块的像素值的更新值的平均值;
根据所述每一传输后图像的b个子块中每一子块的像素值的平均值与第一阈值的比较,还原出所述第一标志值;所述b个子块中每一子块对应的第一阈值为所述变化基准值的更新值与{[(m1+n1)/d]*△1}之和;d为正整数;
基于所述第一标志值得出所述b个子块中每一子块对应的k*b比特位的编码数据,并基于解析出的所述k*b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
18.根据权利要求15所述的视频数据网络传输质量测试系统,其特征在于,基于与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数,将所述帧号和时间戳数据叠加至所述T个子块中b个子块的原始色彩参数中,生成所述b个子块的待传输色彩变化参数包括:
将所述帧号和时间戳数据转换为长度为b比特位的编码数据;
根据所述b比特位的编码数据中每一比特位的数值确定与所述b个子块中每一子块分别对应的标志值;当所述比特位的数值为1时,第二标志值fg2为m2,当所述比特位的数值为0时,第二标志值fg2为n2;
将所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值,以及所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
计算b个子块中每一子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱得到低频段能量值;
根据所述b个子块中每一子块的低频段能量值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的差值,生成所述b个子块中每一子块的低频段能量值的增益或衰减系数,生成所述b个子块中每一子块的低频段能量值的第一变化值等于所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
根据所述b个子块中每一子块的低频段能量值的第一变化值与第二标志值fg2和频谱能量增量△2的乘积之和,得到所述b个子块中每一子块的低频段能量值的第二变化值;所述频谱能量增量△2>0;
基于所述b个子块中每一子块的低频段能量值的第二变化值进行频域反变换,得到所述b个子块中每一子块的像素值作为待传输色彩变化参数。
19.根据权利要求18所述的视频数据网络传输质量测试系统,其特征在于,基于接收到的与所述b个子块中每一子块周围相邻的r个子块的原始色彩参数对所述b个子块的传输后色彩变化参数进行解析,得到所述帧号和时间戳数据的传输后数据包括:
获取所述每一传输后图像的b个子块中每一子块的像素值;
对所述b个子块中每一子块的像素值进行频率变换,得到所述b个子块中每一子块的低频段能量值的第二变化值的更新值;
对接收到的与所述b个子块中每一子块周围相邻的r个子块的像素点的像素值进行频率变换,并基于频率变换得到的频谱计算低频段能量值和所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值;
根据所述b个子块中每一子块的低频段能量值的第二变化值的更新值与所述b个子块中每一子块周围相邻的r个子块的低频段能量值的平均值的比较,还原出所述第二标志值;
基于所述第二标志值得出所述b个子块中每一子块对应的b比特位的编码数据,并基于解析出的所述b比特位的编码数据还原每一帧图像的帧号的时间戳数据。
20.根据权利要求15所述的视频数据网络传输质量测试系统,其特征在于,所述工具机还被配置为:
对所述第一被测试终端的显示装置进行拍摄,得到监测图像;
对所述监测图像进行解析,并判断是否得到所述帧号和时间戳数据;
当判断基于所述监测图像得到所述帧号和时间戳数据时,继续采集视频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211688816.9A CN116016904A (zh) | 2022-12-27 | 2022-12-27 | 视频数据网络传输质量测试方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211688816.9A CN116016904A (zh) | 2022-12-27 | 2022-12-27 | 视频数据网络传输质量测试方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116016904A true CN116016904A (zh) | 2023-04-25 |
Family
ID=86029245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211688816.9A Pending CN116016904A (zh) | 2022-12-27 | 2022-12-27 | 视频数据网络传输质量测试方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116016904A (zh) |
-
2022
- 2022-12-27 CN CN202211688816.9A patent/CN116016904A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423942B2 (en) | Reference and non-reference video quality evaluation | |
CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
US8184164B2 (en) | Method for measuring multimedia video communication quality | |
CN108933935B (zh) | 视频通信系统的检测方法、装置、存储介质和计算机设备 | |
US7231587B2 (en) | Embedded picture PSNR/CRC data in compressed video bitstream | |
KR100690784B1 (ko) | 화질 평가를 위한 압축 영상 품질 검사 방법 | |
US10223811B2 (en) | Image encoding method, image decoding method, image encoding device and image decoding device | |
CN104661021A (zh) | 一种视频流的质量评估方法和装置 | |
EP3143765B1 (en) | Video processing system with high dynamic range sensor mechanism and method of operation thereof | |
US8433143B1 (en) | Automated detection of video artifacts in an information signal | |
US10063891B2 (en) | Image compression method with negligible and quantifiable information loss and high compression ratio | |
CN117640925A (zh) | 一种多路视频画面一致性检测方法、系统及电子设备 | |
CN111243046B (zh) | 图像质量检测方法、装置、电子设备及存储介质 | |
CN112887587A (zh) | 一种可进行无线连接的自适应图像数据快速传输方法 | |
CN108307191B (zh) | 图像数据的对齐方法及装置 | |
CN116016904A (zh) | 视频数据网络传输质量测试方法和系统 | |
EP0921695B1 (en) | Video alignement using a selected partial picture | |
Dosselmann et al. | A prototype no-reference video quality system | |
Feng et al. | BVI-Artefact: An artefact detection benchmark dataset for streamed videos | |
CN111491171B (zh) | 水印嵌入、水印提取、数据处理及视频帧检测方法 | |
Wan et al. | A video forensic technique for detecting frame integrity using human visual system-inspired measure | |
Ong et al. | Video quality monitoring of streamed videos | |
CN113038139B (zh) | 一种应用于机巡图片上传的图像压缩方法 | |
KR101461513B1 (ko) | 디지털 시네마의 이미지 품질 검사 자동화 장치 및 방법 | |
Tian et al. | Analysis and modelling of no-reference video quality assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |