CN114071131B - 用于视频编解码设备的测试装置、方法、电子设备和介质 - Google Patents

用于视频编解码设备的测试装置、方法、电子设备和介质 Download PDF

Info

Publication number
CN114071131B
CN114071131B CN202210011803.1A CN202210011803A CN114071131B CN 114071131 B CN114071131 B CN 114071131B CN 202210011803 A CN202210011803 A CN 202210011803A CN 114071131 B CN114071131 B CN 114071131B
Authority
CN
China
Prior art keywords
test
video
signaling
coding
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210011803.1A
Other languages
English (en)
Other versions
CN114071131A (zh
Inventor
谢永强
李忠博
齐锦
苏鹏
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Original Assignee
Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences filed Critical Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Priority to CN202210011803.1A priority Critical patent/CN114071131B/zh
Publication of CN114071131A publication Critical patent/CN114071131A/zh
Application granted granted Critical
Publication of CN114071131B publication Critical patent/CN114071131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提出一种用于视频编解码器的测试装置、方法、电子设备和介质。其中,用于视频编解码器的测试装置包括:信令评测层,用于对视频编解码器进行信令测试,所述信令测试包括标准符合性测试和服务质量测试;媒体评测层,用于对所述视频编解码器进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试。该测试装置能够对视频编码器信令和媒体的标准符合性进行检测,对媒体编码质量和编码器性能给出客观评价,能够极大提高视频编码器测试效率及检测的客观性与公正性。

Description

用于视频编解码设备的测试装置、方法、电子设备和介质
技术领域
本发明属于视频技术领域,尤其涉及一种用于视频编解码设备的测试装置、方法、电子设备和介质。
背景技术
视频编解码设备是视频系统的重要组成部分,在视频系统建设中部署范围广,规模大,功能复杂。由于视频系统建设规模较大,通常会选择多个厂家的视频编解码设备构建。不同厂家可以采取不同的信令交互机制、不同的媒体编解码协议算法以及不同的媒体处理平台实现视频编解码功能,导致视频编解码设备异构多样。CN113824953A提出了一种对视频系统进行标准化测试的方案,该方案对复杂音视频系统进行检验,通过提高检验过程中的自动化程度,减少人工干预,同时设计合理的检验流程,全面覆盖检验要素和检验场景,以提高音视频系统标准化检验的效率和准确率。可见,在视频系统建设中,通常对信令控制和视音频编码协议提出统一技术规范,保证互联互通,但是缺乏对视频编解码设备互联互通条件下的媒体质量和性能进行测试的进一步精化。
传统的视频编码器标准符合性检测,主要集中在信令和媒体互联互通测试以及媒体质量分析方面。(1)信令和媒体互联互通测试,通常采取网络抓包比对方式进行,获取设备与服务之间交互的数据流,再进行人为分析,判断被测设备是否符合标准。这种方法检测效率低下,而且需要具备相关专业知识和操作技能,对测试人员要求较高。(2)在媒体编码质量评估方面,主要有主观和客观两种方式,其中主观方法是多人在相同条件下共同为被测媒体打MOS分,再计算均值,这种方法需要多人参与难以组织,而且由于人的个体存在差异,对媒体质量的感受也不尽相同,导致测试结果缺乏客观性;客观方式是通过抓包或固定端口接收等方式获取设备的编码码流,手动解码后将解码后的YUV图像和PCM音频输入专用的媒体质量分析工具中进行评估,如美国Video Clarity公司ClearView视频分析系统,Tektroni公司应用PSNR等客观评价方法的PQA系列视频图像质量监测仪等可以为编解码设备进行图像质量分析,实现视频质量主客观评价指标的计算,但是这种方式操作繁琐,同样效率低下,测试人员的要求较高。上述测试手段功能单一,独立分散,难以对视频编解码设备进行全面的互联互通能力测试。
发明内容
为解决上述技术问题,本发明提出一种用于视频编解码设备的测试的技术方案,以解决上述技术问题。
本发明第一方面公开了一种用于视频编解码设备的测试装置,包括:
信令评测层,用于对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试;
媒体评测层,用于对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试。
根据本发明第一方面的测试装置,所述信令评测层包括:
呼叫信令标准符合性评测模块,用于对编解码设备的呼叫信令的格式及交互流程进行标准符合性检测;
控制信令标准符合性评测模块,用于对编解码设备的控制信令的格式及交互流程进行标准符合性测试。
根据本发明第一方面的测试装置,所述媒体评测层包括:
媒体编码质量评测模块,用于计算视频SSIM值、PSNR值和音频PESQ值,从而对视音频编码质量进行评价;
媒体编解码性能评测模块,用于通过性能评测方式对视音频解码质量进行评测;
编码标准符合性评测模块,用于对视频、音频编码语法语义符合性、一致性匹配进行分析,获取评测得分;
封装及传输标准符合性评测模块,用于对视频、音频数据包的封装标准符合性、端口复用功能符合性、单播\组播功能符合性进行分析,获取评测得分。
根据本发明第一方面的测试装置,还包括:系统服务层,所述系统服务层包括:
信令发生模块,用于组织和编排信令发生流程,生成不同场景的测试序列,并据此生成信令服务工单;
呼叫发生模块,用于根据所述信令服务工单,采用标准信令格式和交互流程与编解码器进行媒体协商,建立视音频通道;
服务质量评估模块,用于对编解码设备的信令服务质量进行测试;
网络传输模块,用于接收和发送各类信令、视音频数据包和信令数据包。
根据本发明第一方面的测试装置,还包括播放控制层,所述播放控制层包括:
标准测试序列库,用于存储包括各种视频、音频场景和特征的原始序列;
标准测试码流库,用于存储包括各种参数集合和编码工具的视频、音频编码码流;
媒体序列播控模块,用于按照协商帧率发送原始视频序列。
根据本发明第一方面的测试装置,还包括:应用控制层,所述应用控制层包括:
界面控制模块,用于与上位机交互,完成设备控制;
配置模块,用于设备工作参数和网络参数的配置;
测试统计模块,用于记录各个测试项产生的测试结果,用于统计、管理测试数据;
日志模块,用于存储设备操作事件、统计各模块运行状况;
报告生成模块,用于收集测试数据,并生成测试报告。
根据本发明第一方面的测试装置,该测试装置与被测试的所述视频编解码设备通信连接。
据本发明第一方面的测试装置,每项测试包含至少一个测试场景;同一场景的测试,分别进行不同协议、分辨率、带宽的测试。
本发明第二方面公开了一种用于视频编解码设备的测试方法,所述方法包括:
步骤S1、对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试;
步骤S2、对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试。
根据本发明第二方面的测试方法,在所述步骤S1和步骤S2中的每项测试包含至少一个测试场景;同一测试场景的测试,分别进行不同协议、分辨率、带宽的测试。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本公开第一方面中任一项的一种用于视频编解码设备的测试方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本公开第一方面中任一项的一种用于视频编解码设备的测试方法中的步骤。
本发明提供了一种对视频编解码设备进行测试的综合性测试装置,能够对视频编码器信令和媒体的标准符合性进行检测,对媒体编码质量和编码器性能给出客观评价,能够极大提高视频编码器测试效率及检测的客观性与公正性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种用于视频编解码设备的测试装置的模块组成示意图。
图2为根据本发明实施例提供的根据图1所示的一种用于视频编解码设备的测试装置的模块接口关系示意图。
图3为根据本发明实施例的一种客观媒体质量分析的计算流程示意图。
图4为根据本发明实施例的一种用于视频编解码设备的测试装置的测试流程示意图。
图5(a)为本发明实施例的信令测试时序图。
图 5(b)为本发明实施例的媒体测试时序图。
图6为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为根据本发明实施例的一种用于视频编解码设备的测试装置的模块组成示意图。
本发明第一方面公开了一种用于视频编解码设备的测试装置,参照图1所示,该测试装置包括:
信令评测层,用于对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试和服务质量测试;
媒体评测层,用于对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试。
根据本发明第一方面的测试装置,所述信令评测层包括:
呼叫信令标准符合性评测模块,用于对编解码设备的呼叫信令的格式及交互流程进行标准符合性检测;
控制信令标准符合性评测模块,用于对编解码设备的控制信令的格式及交互流程进行标准符合性测试。
根据本发明第一方面的测试装置,所述媒体评测层包括:
媒体编码质量评测模块,用于用于根据原始音频及对所述原始音频解码后生成的音频,计算视频SSIM值、PSNR值和音频PESQ值,从而对视音频编码质量进行客观评价;
媒体编解码性能评测模块,用于通过性能评测方式对视音频解码质量进行客观表述;
编码标准符合性评测模块,用于对视频、音频编码语法语义符合性、一致性匹配进行分析,获取评测得分;
封装及传输标准符合性评测模块,用于对视频、音频数据包的封装标准符合性、端口复用功能符合性、单播\组播功能符合性进行分析,获取评测得分。
根据本发明第一方面的测试装置,还包括:系统服务层,所述系统服务层包括:
信令发生模块,用于组织和编排信令发生流程,生成不同场景的测试序列;
呼叫发生模块,用于采用标准信令格式和交互流程与编解码器进行媒体协商,建立视音频通道;
服务质量评估模块,用于对编解码设备的信令服务质量进行测试;
网络传输模块,用于接收和发送各类信令、视音频数据包和信令数据包。
根据本发明第一方面的测试装置,还包括播放控制层,所述播放控制层包括:
标准测试序列库,用于存储包括各种视频、音频场景和特征的原始序列;
标准测试码流库,用于存储包括各种参数集合和编码工具的视频、音频编码码流;
媒体序列播控模块,用于按照协商帧率发送原始视频序列。
根据本发明第一方面的测试装置,还包括:应用控制层,所述应用控制层包括:
界面控制模块,用于与上位机交互,完成设备控制;
配置模块,用于设备工作参数和网络参数的配置;
测试统计模块,用于记录各个测试项产生的测试结果,用于统计、管理测试数据;
日志模块,用于存储设备操作事件、统计各软件模块运行状况;
报告生成模块,用于收集测试数据,并生成测试报告。
根据本发明第一方面的测试装置,该装置与被测试的所述视频编解码设备通信连接。
据本发明第一方面的测试装置,每项测试包含至少一个测试场景;同一场景的测试,分别进行不同协议、分辨率、带宽的测试。
综上,本发明设计了一个对视频编解码设备进行标准符合性测试的综合装置,建立了信令互联互通测试、媒体互联互通测试以及互联互通条件下的媒体质量和编解码性能测试方法,能测试验证编解码设备高质量高性能的互联互通本发明方案提供了一种视频编码器标准符合性检测综合装置,能够对视频编码器信令和媒体的标准符合性进行检测,对媒体编码质量和编码器性能给出客观评价,并自动的生成测试评估报告,能够极大提高视频编码器测试效率及检测的客观性与公正性。
本发明第二方面公开了一种用于视频编解码设备的测试方法,所述方法包括:
步骤S1、对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试和服务质量测试;
步骤S2、对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试。
下面结合具体实施例和附图,对本发明的技术方案进行详细说明。
本发明方案对用于视频编解码设备的测试装置包括综合装置的模块组成、模块接口、测试流程和测试组件时序交互关系进行介绍。
整个测试装置以信令和媒体分析系统为核心,该系统分为应用控制层、系统服务层、信令评测层、媒体评测层和播放控制层,各个模块的描述如下:
1)UI控制模块(界面控制模块)用于和上位机交互,完成设备控制;
2)配置模块主要用于设备工作参数和网络参数的配置;
3)测试统计模块主要用于记录各个测试项产生的测试结果,用于统计、管理测试数据;
4)日志模块主要用于存储设备操作事件、统计各软件模块运行状况;
5)报告生成模块用于收集测试数据,并生成测试报告。
6)信令发生模块主要用于组织和编排信令发生流程,生成不同场景的测试序列;
7)呼叫发生模块采用标准信令格式和交互流程与编解码器进行媒体协商,建立视音频通道;
8)服务质量评估模块主要用于对编解码设备的信令响应时延、呼叫建链时间等信令服务质量进行测试,统计精度达到毫秒级;
9)网络传输模块主要用于接收和发送各类信令、视音频数据包和信令数据包;
10)呼叫信令标准符合性评测模块主要用于对编解码设备的注册/注销、呼叫/挂断、会话保链等呼叫信令的格式及交互流程进行标准符合性检测;
11)控制信令标准符合性评测模块主要用于对编解码设备云台、镜头、预置位、字幕等控制信令的格式及交互流程进行标准符合性测试;
12)媒体编码质量评测模块主要用于计算视频SSIM值(结构相似性)、PSNR(峰值信噪比)值和音频PESQ值(Perceptual evaluation of speech quality,客观语音质量评估),对视音频编码质量进行客观评价;
13)媒体编解码性能评测模块主要通过编解码时延检测、编解码抗丢包检测、编码带宽检测、码率波动检测等几种性能评测方式对质量进行客观全面的表述;
14)编码标准符合性评测模块主要用于对视频、音频编码语法语义符合性、一致性匹配进行分析;
15)封装及传输标准符合性评测模块主要用于对视频、音频数据包的RTP封装标准符合性、端口复用功能符合性、单播\组播功能符合性进行分析;
16)标准测试序列库主要用于存储覆盖各种视频、音频场景和特征的原始序列;
17)标准测试码流库主要用于存储覆盖各种参数集合和编码工具的视频、音频编码码流。
18)媒体序列播控模块主要用于按照协商帧率发送原始视频序列;
该装置与被测试视频编解码器通过物理信号传输和网络数据传输两种方式连接,可实现与现网视频会议系统及多种多媒体平台联通,业务功能丰富。
模块接口
该装置模块接口关系如图2所示:
1)A接口:用于用户通过UI读取设备配置参数,并可以完成增删改操作。
2)B接口:用于配置统计范围,读入多次测试结果进行分析。
3)C接口:用于发生和编排各种模拟信令流程,并进行呼叫。
4)D接口:用于产生虚拟测试呼叫。
5)E接口:用于信令测试系列工作,信令测试工作原理分为发起呼叫E1、信令服务质量检测E2、呼叫信令标准符合性检测E3和控制信令标准符合性检测E4四个部分:
a) 发起呼叫E1接口:呼叫发生模块将生成测试信令流发送给被测视频编解码器,同时对接收的信令进行分析检测。
b)信令服务质量检测E2接口:根据编解码器的信令测试过程,对编解码器的信令响应时延、呼叫建链时间等进行毫秒级统计,测试编解码器的信令服务质量。
c)呼叫信令标准符合性检测E3接口: 判断对编解码设备的注册/注销、呼叫/挂断、会话保链等呼叫信令的格式及交互流程是否符合标准规范,若不符合需提供不符合的原因并定位不符合的位置。
d)控制信令标准符合性检测E4接口: 判断对编解码设备云台、镜头、预置位、字幕等控制信令的格式及交互流程是否符合标准规范,若不符合需提供不符合的原因并定位不符合的位置。
6)F接口:通过配置完成对呼叫模块中,呼叫场景、呼叫次数等参数的配置,同时可以读取现有配置。
7)G接口:用于获取信令和媒体的测试报告。
8)H接口:若信令分析符合要求,开启媒体标准符合性和质量分析流程,并设置媒体参数。
9)I接口:用于媒体测试系列工作,媒体测试工作原理分为发送参考媒体流I1、接收测试媒体序列I2、接收测试媒体流I3、封装及传输符合性检测I4、编码标准符合性检测I5、媒体编解码性能检测I6、媒体质量对比评测I7七个部分:
a)发送参考媒体流I1接口:该装置将标准参考测试序列发送给被测视频编解码器。
b)接收测试媒体序列I2接口:接收经过被测视频编解码器解码后输出的测试媒体序列。
c)接收测试媒体流I3接口:视频编解码器对参考序列进行编码,并将压缩后的失真信号发回到媒体分析模块。
d)封装及传输符合性检测I4接口:接收媒体码流,判断输入的视频码流(RTP封装)语法语义、工具集选用、RTP封装格式等是否符合标准规范。
e)编码标准符合性检测I5接口:接收NAL裸流,提供解码后YUV或PCM序列的编解码关键参数,若不符合需提供不符合的原因并定位错误发生位置。
f)媒体编解码性能检测I6接口:接收媒体码流,统计网络数据包、获取RTP码流序列号发送请求重传的RTCP包、检测是否收到请求重发的RTCP包、计算解码后的序列与原始序列延时差值检测编码带宽、波动、编解码抗丢包以及编码时延;通过I2接口接收测试媒体序列,对比标准参考测试序列计算解码时延。
g)媒体质量对比评测I7接口:接收参考信号,将参考信号和测试信号进行音视频客观质量计算。视频客观质量计算:根据输入的原始YUV图像及解码后YUV图像计算PSNR、DMOS、SSIM等图像质量评价指标,能够进行图像帧的自动对齐;音频客观质量计算:根据输入的原始PCM音频及解码后PCM音频计算PESQ等音频质量评价指标,能够进行音频的自动对齐。客观媒体质量分析的计算流程如图3所示。图3为媒体质量客观评价图。
其中空间和时间对齐采用自动相结合的方式进行,客观指标为原始信号与测试信号的差值或者商值,用来衡量两个信号总体或者像素点之间的差异。
测试流程
该装置先对视频编解码器进行信令测试,然后进行媒体测试。其中,信令测试包括注册、呼叫、控制等标准符合性测试和服务质量测试。媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试,各项测试依次进行。
在同一场景的测试序列下,分别进行不同协议、分辨率、带宽的测试。完成一个场景测试后,切换测试场景再进行同样流程的测试,视频测试场景涵盖动态切换、静态会场、监控等;音频测试场景包括男女语音、音乐等。最后通过主客观指标的计算,给出综合评价。
装置加电启动后,用户通过UI控制模块读取设备配置参数,使用配置模块设置工作、网络等参数,启用日志模块存储设备操作事件、统计各软件模块运行状况,各项初始任务结束后装置进入工作状态。
信令测试中,根据视频编解码器具体测试要求,在UI控制模块选择待测协议及参数生成任务列表,并作为输入在信令发生模块中产生和编排信令服务;呼叫发生模块接收到服务工单后,根据要求采用标准信令格式和交互流程通过网络传输模块向视频编解码器发送信令进行媒体协商,建立视音频通道;服务质量评估模块接收视频编解码器的应答信令,根据视频编解码器的信令测试过程,对编解码器的信令响应时延、呼叫建链时间等进行毫秒级统计,测试编解码器的信令服务质量;呼叫信令标准符合性评测模块深入分析视频编解码器发出的信令,对编解码器的注册/注销、呼叫/挂断、会话保链等呼叫信令的格式及交互流程进行标准符合性检测;控制信令标准符合性评测模块接收视频编解码器云台、镜头、预置位、字幕等控制信令,判断信令格式及交互流程是否符合标准规范;服务质量评估模块、呼叫信令标准符合性评测模块、控制信令标准符合性评测模块产生的测试结果保存在测试统计模块中用于统计、管理测试数据;同时,测试数据可通过报告生成模块生成测试报告。
媒体测试中,根据视频编解码器具体测试要求,在UI控制模块选择待测协议、分辨率、帧率等内容生成任务列表。根据任务列表从标准测试序列库选择符合要求的原始序列,通过媒体序列播控模块向视频编解码器输入原始信号源,封装及传输符合性评测模块通过网络传输模块接收视频编解码器的媒体码流,判断输入的视频码流(RTP封装)语法语义、工具集选用、RTP封装格式等是否符合标准规范;编码标准符合性评测模块接收视频编解码器的NAL裸流,提取解码后YUV或PCM序列的编解码关键参数,判断是否符合标准;媒体编码质量评测模块接收解码后的YUV或PCM序列,经过自动对齐算法处理后,进行客观质量计算,其中,视频客观质量计算:根据输入的原始YUV图像及解码后YUV图像计算PSNR、DMOS、SSIM等图像质量评价指标,音频客观质量计算:根据输入的原始PCM音频及解码后PCM音频计算PESQ等音频质量评价指标;媒体编解码性能评测模块包含编解码时延检测、编解码抗丢包检测、编码带宽检测、码率波动检测等几种性能评测方法,标准测试序列库、媒体序列播控模块向视频编解码器输入原始信号源,通过网络传输模块接收视频编解码器编码后的媒体码流,统计网络数据包大小、计算开始解码的时间戳与发出原始序列的时间戳的延时差值检测编码带宽、波动及编码时延,通过网络传输模块向视频编解码器发送请求重传的RTCP包,以及检测是否收到视频编解码器请求重发的RTCP包检测是否支持编解码抗丢包,标准测试码流库通过网络传输模块向视频编解码器发送标准媒体码流,装置接收视频编解码器的测试媒体序列,与标准测试序列对比计算解码时延;封装及传输符合性评测模块、编码标准符合性评测模块、媒体编解码性能评测模块、媒体编码质量评测模块产生的测试结果保存在测试统计模块中用于统计、管理测试数据;同时,测试数据可通过报告生成模块生成测试报告。测试流程如图4所示。
测试组件时序交互关系
信令测试中,装置配置好工作参数和网络参数后,等待视频编解码器向装置发送注册信令,当收到注册消息后,向对端反馈注册状态码,当视频编解码器向装置注册成功后,该装置向对端发送呼叫/挂断、会话保链等呼叫信令,对端根据具体的信令内容反馈状态码,服务质量评估模块根据视频编解码器的信令测试过程,对视频编解码器的信令响应时延、呼叫建链时间,检测视频编解码器的信令服务质量,呼叫信令标准符合性评测模块检测视频编解码器的注册/注销、呼叫/挂断、会话保链等呼叫信令的格式及交互流程;装置向视频编解码器发送控制信令,对端接收到信令消息后反馈状态码,控制信令标准符合性评测模块检测云台、镜头、预置位、字幕等控制信令的格式及交互流程是否符合标准规范。重复上述测试流程,完成所有待测参数的测试,生成测试报告。
媒体测试中,进行编码标准符合性测试时,向视频编解码器输入原始标准音视频序列,本端接收对端对该序列编码后的码流并解码,检测音视频编码语法语义符合性;封装及传输标准符合性测试时,向视频编解码器输入原始标准音视频序列,本端接收对端对该序列编码后的码流,检测RTP封装标准符合性、端口复用功能符合性、单播\组播功能符合性;编解码性能测试时,向视频编解码器输入原始标准音视频序列,本端接收编码后的码流,统计网络数据包,计算输出原始序列时间戳和解码码流时间戳差值,检测带宽、码率波动和音视频编码时延,向视频编解码器发送标准音视频码流,对端解码后输出音视频测试序列,通过计算发送标准码流时间戳和接收测试序列时间戳差值,检测解码时延,向视频编解码器输入原始标准音视频序列,本端接收编码后的码流,获取RTP码流序列号,随机抽取若干RTP序列号向对端发送请求重发的RTCP包,通过判断是否收到重发的对应序列号的RTP包检测是否支持编码抗丢包,同理,向视频编解码器发送序列号不连续的标准音视频码流,通过判断是否收到对端请求重发的RTCP包检测是否支持解码抗丢包;编码质量评测时,向视频编解码器输入原始标准音视频序列,接收对端对该序列编码后的码流,本端解码后,通过对比标准序列与测试序列,计算PSNR、SSIM、DMOS或PESQ量化参数值检测编码质量;完成一个场景的测试后,可选择输出不同场景的音视频序列、发送不同协议、分辨率、带宽的压缩码流,重复上述测试流程,完成所有待检测协议、分辨率、带宽、帧率以及场景的测试,生成测试报告。图 5(a)为信令测试时序图,图 5(b)为媒体测试时序图。
综上,本发明提供的测试装置将视频编解码器测试分为信令互联互通、媒体互联互通以及媒体质量评测三个方面;并基于应用控制层、系统服务层、信令评测层、媒体评测层、播放控制层的多层级模块划分方法、接口关系及模块间的协同工作方法;该装置对视频编解码器标准符合性的综合测试流程,其中包括基于服务质量、呼叫信令标准符合性、控制信令标准符合性的信令测试方法和基于编码标准符合性、封装及传输标准符合性、编解码性能、编码质量的媒体测试。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本公开第一方面中任一项的一种用于视频编解码器的测试方法中的步骤。
图6为根据本发明实施例的一种电子设备的结构图,如图6所示,电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本公开的技术方案相关的部分的结构图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本公开第一方面中任一项的一种用于视频编解码器的测试方法中的步骤。
综上,本发明提出的方案能够能够对视频编码器信令和媒体的标准符合性进行检测,对媒体编码质量和编码器性能给出客观评价,并自动的生成测试评估报告,能够极大提高视频编码器测试效率及检测的客观性与公正性。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种用于视频编解码设备的测试装置,其特征在于,包括:
信令评测层,用于对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试;
媒体评测层,用于对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试和音视频质量测试;
其中,所述信令评测层包括:
呼叫信令标准符合性评测模块,用于对编解码设备的呼叫信令的格式及交互流程进行标准符合性检测;
控制信令标准符合性评测模块,用于对编解码设备的控制信令的格式及交互流程进行标准符合性测试;
其中,所述媒体评测层包括:
媒体编码质量评测模块,用于根据原始音频及对所述原始音频解码后生成的音频,计算视频SSIM值、PSNR值和音频PESQ值,从而对视音频编码质量进行客观评价;
媒体编解码性能评测模块,用于通过性能评测方式对视音频解码质量进行评测;
编码标准符合性评测模块,用于对视频、音频编码语法语义符合性、一致性匹配进行分析,获取评测得分;
封装及传输标准符合性评测模块,用于对视频、音频数据包的封装标准符合性、端口复用功能符合性、单播\组播功能符合性进行分析,获取评测得分。
2.根据权利要求1所述的一种用于视频编解码设备的测试装置,其特征在于,还包括:系统服务层,所述系统服务层包括:
信令发生模块,用于组织和编排信令发生流程,生成不同场景的测试序列,并据此生成信令服务工单;
呼叫发生模块,用于根据所述信令服务工单,采用标准信令格式和交互流程与视频编解码设备进行媒体协商,建立视音频通道;
服务质量评估模块,用于在所述视音频通道建立后,对编解码设备的信令服务质量进行测试;
网络传输模块,用于接收和发送各类信令、视音频数据包和信令数据包。
3.根据权利要求2所述的一种用于视频编解码设备的测试装置,其特征在于,还包括播放控制层,所述播放控制层包括:
标准测试序列库,用于存储包括各种视频、音频场景和特征的原始序列;
标准测试码流库,用于存储包括各种参数集合和编码工具的视频、音频编码码流;
媒体序列播控模块,用于按照协商帧率发送原始视频序列。
4.根据权利要求3所述的一种用于视频编解码设备的测试装置,其特征在于,还包括:应用控制层,所述应用控制层包括:
界面控制模块,用于与上位机交互,完成设备控制;
配置模块,用于设备工作参数和网络参数的配置;
测试统计模块,用于记录各个测试项产生的测试结果,用于统计、管理测试数据;
日志模块,用于存储设备操作事件、统计各模块运行状况;
报告生成模块,用于收集测试数据,并生成测试报告。
5.根据权利要求4所述的一种用于视频编解码设备的测试装置,其特征在于,该测试装置与被测试的所述视频编解码设备通信连接。
6.一种用于视频编解码设备的测试方法,其特征在于,所述方法基于权利要求1-5任一项所述的一种用于视频编解码设备的测试装置来实现,所述方法具体包括:
步骤S1、对视频编解码设备进行信令测试,所述信令测试包括标准符合性测试;
步骤S2、对所述视频编解码设备进行媒体测试,所述媒体测试包括网络封装符合性测试、媒体封装符合性测试、媒体编解码性能测试、音视频质量测试;
其中,在所述步骤S1和所述步骤S2中的每项测试包含至少一个测试场景;同一测试场景的测试,分别进行不同协议、分辨率、带宽的测试;
其中,所述信令评测层包括:
呼叫信令标准符合性评测模块,用于对编解码设备的呼叫信令的格式及交互流程进行标准符合性检测;
控制信令标准符合性评测模块,用于对编解码设备的控制信令的格式及交互流程进行标准符合性测试;
其中,所述媒体评测层包括:
媒体编码质量评测模块,用于根据原始音频及对所述原始音频解码后生成的音频,计算视频SSIM值、PSNR值和音频PESQ值,从而对视音频编码质量进行客观评价;
媒体编解码性能评测模块,用于通过性能评测方式对视音频解码质量进行评测;
编码标准符合性评测模块,用于对视频、音频编码语法语义符合性、一致性匹配进行分析,获取评测得分;
封装及传输标准符合性评测模块,用于对视频、音频数据包的封装标准符合性、端口复用功能符合性、单播\组播功能符合性进行分析,获取评测得分。
7.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求6所述的一种用于视频编解码设备的测试方法中的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求6所述的一种用于视频编解码设备的测试方法中的步骤。
CN202210011803.1A 2022-01-07 2022-01-07 用于视频编解码设备的测试装置、方法、电子设备和介质 Active CN114071131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210011803.1A CN114071131B (zh) 2022-01-07 2022-01-07 用于视频编解码设备的测试装置、方法、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210011803.1A CN114071131B (zh) 2022-01-07 2022-01-07 用于视频编解码设备的测试装置、方法、电子设备和介质

Publications (2)

Publication Number Publication Date
CN114071131A CN114071131A (zh) 2022-02-18
CN114071131B true CN114071131B (zh) 2022-04-15

Family

ID=80230682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210011803.1A Active CN114071131B (zh) 2022-01-07 2022-01-07 用于视频编解码设备的测试装置、方法、电子设备和介质

Country Status (1)

Country Link
CN (1) CN114071131B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379209A (zh) * 2022-09-14 2022-11-22 北京睿芯高通量科技有限公司 一种视频编解码器自动化测试系统
CN116437070B (zh) * 2023-03-29 2023-12-29 东方空间技术(山东)有限公司 一种终端状态检测系统、方法、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883665A (en) * 1997-09-26 1999-03-16 Lucent Technologies Inc. Testing system for simulating human faculties in the operation of video equipment
CN102170582A (zh) * 2011-05-20 2011-08-31 同济大学 基于QoS的视音频体验质量评测平台及评测方法
CN110691238A (zh) * 2019-11-06 2020-01-14 苏州科达科技股份有限公司 一种视频重建质量测试方法、装置、设备及可读存储介质
CN110768973A (zh) * 2019-10-17 2020-02-07 公安部第一研究所 一种基于gb35114标准的信令安全测评系统及方法
CN113824953A (zh) * 2021-11-19 2021-12-21 军事科学院系统工程研究院网络信息研究所 一种对视频系统进行标准化测试的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116732B1 (ko) * 2019-05-17 2020-05-29 주식회사 로와시스 Atsc 3.0 표준적합성 평가 시험 장치
CN110719461B (zh) * 2019-10-24 2021-06-15 深圳创维-Rgb电子有限公司 音视频设备测试方法、装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883665A (en) * 1997-09-26 1999-03-16 Lucent Technologies Inc. Testing system for simulating human faculties in the operation of video equipment
CN102170582A (zh) * 2011-05-20 2011-08-31 同济大学 基于QoS的视音频体验质量评测平台及评测方法
CN110768973A (zh) * 2019-10-17 2020-02-07 公安部第一研究所 一种基于gb35114标准的信令安全测评系统及方法
CN110691238A (zh) * 2019-11-06 2020-01-14 苏州科达科技股份有限公司 一种视频重建质量测试方法、装置、设备及可读存储介质
CN113824953A (zh) * 2021-11-19 2021-12-21 军事科学院系统工程研究院网络信息研究所 一种对视频系统进行标准化测试的方法和系统

Also Published As

Publication number Publication date
CN114071131A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN114071131B (zh) 用于视频编解码设备的测试装置、方法、电子设备和介质
US20050208979A1 (en) System and method for verifying delay time using mobile image terminal
US8942109B2 (en) Impairment simulation for network communication to enable voice quality degradation estimation
CN100459711C (zh) 一种视频压缩方法及使用该方法的视频系统
CN101601266A (zh) 用于视频电话质量评估的方法和设备
US9160551B2 (en) Analytic recording of conference sessions
CN110070878B (zh) 音频码流的解码方法及电子设备
JP2020184805A (ja) ビデオサービス品質の評価方法及び装置
CN112565224B (zh) 一种视频处理方法及装置
CN112073543B (zh) 一种云视频录制方法、系统和可读存储介质
JP2004297803A (ja) ネットワーク内の音質を評価する方法
WO2009155814A1 (zh) 一种视频质量评价方法、装置和系统
CN110691238A (zh) 一种视频重建质量测试方法、装置、设备及可读存储介质
EP2405649B1 (en) Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone
US8345080B2 (en) Method of monitoring 3G video telephony through DM port
CN109087656B (zh) 一种基于mcu的多媒体会议混音方法及装置
García et al. Testing framework for WebRTC services
CN112584134B (zh) 视频会议码流的测试方法、装置、计算机设备和存储介质
CN108574840B (zh) 一种评估视频体验质量的方法及装置
CN113824953A (zh) 一种对视频系统进行标准化测试的方法和系统
CN114470745A (zh) 一种基于srt的云游戏实现方法、装置及系统
CN114258069B (zh) 语音通话质量评估方法、装置、计算设备及存储介质
Exarchakos et al. Can Skype be used beyond video calling?
CN117119223B (zh) 基于多通道传输的视频流播放控制方法及系统
CN118018716B (zh) 一种跨平台的楼宇对讲音视频测试方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant