CN115379209A - 一种视频编解码器自动化测试系统 - Google Patents
一种视频编解码器自动化测试系统 Download PDFInfo
- Publication number
- CN115379209A CN115379209A CN202211114025.5A CN202211114025A CN115379209A CN 115379209 A CN115379209 A CN 115379209A CN 202211114025 A CN202211114025 A CN 202211114025A CN 115379209 A CN115379209 A CN 115379209A
- Authority
- CN
- China
- Prior art keywords
- test
- decoding
- module
- configuration
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Abstract
一种视频编解码器自动化测试系统，其包括：文件配置模块；配置解析模块；日志记录模块；测试报告生成模块：当测试完成时，分析测试数据、汇总测试信息以形成测试报告；编码适配器：为编码测试统一编码调用接口，屏蔽底层编码器接口差异；编码测试模块：调用编码适配器，执行编码配置测试用例并支持多路编码测试用例；解码适配器：为解码测试统一解码调用接口，屏蔽底层解码器接口差异；解码测试模块：调用解码适配器，执行解码配置测试用例并支持多路解码测试用例；主控模块：解析系统启动参数，协调调用配置解析模块、日志记录模块、编码测试模块、解码测试模块、测试报告生成模块，完成配置文件解析、编码或解码、日志记录和测试报告生成。
Description
技术领域
本发明涉及视频编解码器测试领域，具体而言，涉及一种视频编解码器自动化测试系统。
背景技术
随着技术进步和时代发展，人们对视频的要求越来越多，也越来越高。人们对视频画面质量不断提升要求，提升了视频编解码器研发能力。新一代视频编解码器研发过程中，不可避免要对其进行调试和测试，验证其设计是否符合要求。
目前，视频编解码器测试技术方案主要集中在视频编解码一致性、视频编码质量评价等多个单方面。测试时一般很少采用自动化进行测试。
现有的视频编解码一致性测试方法是对所有研发出的视频编解码器都进行测试验证，以检验研发的视频编码器的效果，方法包括以下步骤：
1.获取待编码视频帧，基于设定丢包率确定是否丢弃所述待编码视频帧；
2.在不丢弃所述待编码视频帧时，对所述待编码视频帧进行编码；
3.获取编码过程中获得的重建图像的MD5值；
4.所述重建图像的MD5值和编码后的视频帧生成视频流。
在编码过程中，根据设定的丢包率来确定是否丢弃待编码视频帧，模拟实际网络状态下的视频编解码情况，进而在不经过网络传输的情况下，使得解码端接收到的视频流中包含的视频帧，与实际网络在设定丢包率下接收到的相近，从而可以在模拟的网络状况下对于编解码一致性的检测。
但是，以上视频编解码一致性测试方法存在以下缺点：
1.网络丢包率是假设设定，如与实际值相差较大，则测试结论不可靠；
2.测试方案未规定测试用例相关参数，测试覆盖率不足；
3.测试方案仅能测试编解码一致性。
现有的视频编码质量评价方法有PSNR、SSIM和VMAF，这些方法存在的缺点如下：
1.PSNR的分数无法与人的视觉保持一致；
2.评价标准和人眼感知非完全正相关性；
3.不同频率、不同分辨率的视频无法直接比对；
4.仅能测试编码质量。
发明内容
本发明提供一种视频编解码器自动化测试系统，用以解决上述现有技术存在的问题。
为达到上述目的，本发明提供了一种视频编解码器自动化测试系统，其包括：
文件配置模块：对编码和解码过程的配置参数进行配置并生成配置文件；
配置解析模块：对配置文件进行解析，将配置文件转化为编码实例测试和解码实例测试所对应的配置参数；
日志记录模块：记录整个系统运行日志；
测试报告生成模块：当测试完成时，分析测试数据、汇总测试信息以形成测试报告；
编码适配器：为编码测试统一编码调用接口，屏蔽底层编码器接口差异；
编码测试模块：调用编码适配器，执行编码配置测试用例并支持多路编码测试用例；
解码适配器：为解码测试统一解码调用接口，屏蔽底层解码器接口差异；
解码测试模块：调用解码适配器，执行解码配置测试用例并支持多路解码测试用例；
主控模块：解析系统启动参数，协调调用配置解析模块、日志记录模块、编码测试模块、解码测试模块、测试报告生成模块，完成配置文件解析、编码或解码、日志记录和测试报告生成，
其中，所述编码适配器和所述解码适配器分别与外部的待测编码器和对标编解码器连接。
在本发明的一实施例中，配置参数包括编码类型、视频分辨率、视频帧率以及视频码率。
在本发明的一实施例中，配置解析模块对每个测试用例形成一个配置文件，多个配置文件构成测试实例配置库。
在本发明的一实施例中，所述编码适配器和所述解码适配器中针对不同待测视频编解码接口进行适配并形成接口适配器库以及接口配置文件，所述接口适配器库中包括多个视频编解码器接口，所述接口配置文件用于设定配置参数与视频编解码器接口之间的调用关系。
本发明提供的视频编解码器自动化测试系统具有以下有益技术效果：
1.自动化测试模式，可以减少测试过程中人工干预，减少测试人员，减少人为因素干预导致测试问题，提高测试效率；
2.配置文件构成测试实例配置库，形成测试资产，可反复利用，做到一次配置，多次多处使用，减少人工成本，提高测试效率；
3.接口适配器库、接口配置文件可对不同视频编解码器进行兼容，从而形成配置资源库，可以一次构建，多次多处使用，减少人工成本，提高生产效率；
4.根据业务需求，可以非常方便的对测试系统进行扩展；
5.整个系统易于维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的视频编解码器自动化测试系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一个实施例的视频编解码器自动化测试系统的示意图，如图1所示，本发明提供的视频编解码器自动化测试系统，其包括：
文件配置模块：对编码和解码过程的配置参数进行配置并生成配置文件；
配置解析模块：对配置文件进行解析，将配置文件转化为编码实例测试和解码实例测试所对应的配置参数；
日志记录模块：记录整个系统运行日志；
测试报告生成模块：当测试完成时，分析测试数据、汇总测试信息以形成测试报告；
编码适配器：为编码测试统一编码调用接口，屏蔽底层编码器接口差异；
编码测试模块：调用编码适配器，执行编码配置测试用例并支持多路编码测试用例；
解码适配器：为解码测试统一解码调用接口，屏蔽底层解码器接口差异；
解码测试模块：调用解码适配器，执行解码配置测试用例并支持多路解码测试用例；
主控模块：解析系统启动参数，协调调用配置解析模块、日志记录模块、编码测试模块、解码测试模块、测试报告生成模块，完成配置文件解析、编码或解码、日志记录和测试报告生成，
其中，所述编码适配器和所述解码适配器分别与外部的待测编码器和对标编解码器连接，其中，对标编解码器例如为FFMPEG。
本实施例中，配置参数包括编码类型、视频分辨率、视频帧率以及视频码率。例如，生成的配置文件后缀名为.json，即配置文件采用json文本存储配置参数。编码类型例如为h264/h265，视频分辨率、视频帧率以及视频码率等参数可以按照实际需求设定对应的数值。
在其他实施例中，配置参数可以进一步增加，以增加更多的测试功能项，例如：解码downscaler、10bit编解码、转码、帧模式(I\IPPP\IBPBPBP\IBBBP等)、多实例编解码、小分辨率编解码、4k、8k大分辨率编解码等，根据实际需要进行增减。
本实施例中，配置解析模块对每个测试用例形成一个配置文件，多个配置文件构成测试实例配置库。测试时，系统自动调用测试实例配置库中的全部或部分测试实例进行测试。
本实施例中，所述编码适配器和所述解码适配器中针对不同待测视频编解码接口进行适配并形成接口适配器库以及接口配置文件，所述接口适配器库中包括多个视频编解码器接口，所述接口配置文件用于设定配置参数与视频编解码器接口之间的调用关系。
本发明系统内部的调用关系如图1中的数字标示：
1.读取配置文件：主控模块与文件配置模块之间；
2.调用解析配置：主控模块与配置解析模块之间；
3.调用编码测试：主控模块与编码测试模块之间；
4.调用解码测试：主控模块与解码测试模块之间；
5.调用编码适配器：编码测试模块与编码适配器之间；
6.调用解码适配器：解码测试模块与解码适配器之间；
7.调用待测编解码器：编码适配器与待测编解码器之间；
8.调用对标编解码器：编码适配器与对标编解码器之间；
9.调用待测编解码器：解码适配器与待测编解码器之间；
10.调用对标编解码器：解码适配器与对标编解码器之间；
11.调用生成测试报告：主控模块与测试报告生成模块之间；
12.调用日志记录：主控模块与日志记录模块之间。
本发明提供的视频编解码器自动化测试系统具有以下有益技术效果：
1.自动化测试模式，可以减少测试过程中人工干预，减少测试人员，减少人为因素干预导致测试问题，提高测试效率；
2.配置文件构成测试实例配置库，形成测试资产，可反复利用，做到一次配置，多次多处使用，减少人工成本，提高测试效率；
3.接口适配器库、接口配置文件可对不同视频编解码器进行兼容，从而形成配置资源库，可以一次构建，多次多处使用，减少人工成本，提高生产效率；
4.根据业务需求，可以非常方便的对测试系统进行扩展；
5.整个系统易于维护。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (4)
1.一种视频编解码器自动化测试系统，其特征在于，包括：
文件配置模块：对编码和解码过程的配置参数进行配置并生成配置文件；
配置解析模块：对配置文件进行解析，将配置文件转化为编码实例测试和解码实例测试所对应的配置参数；
日志记录模块：记录整个系统运行日志；
测试报告生成模块：当测试完成时，分析测试数据、汇总测试信息以形成测试报告；
编码适配器：为编码测试统一编码调用接口，屏蔽底层编码器接口差异；
编码测试模块：调用编码适配器，执行编码配置测试用例并支持多路编码测试用例；
解码适配器：为解码测试统一解码调用接口，屏蔽底层解码器接口差异；
解码测试模块：调用解码适配器，执行解码配置测试用例并支持多路解码测试用例；
主控模块：解析系统启动参数，协调调用配置解析模块、日志记录模块、编码测试模块、解码测试模块、测试报告生成模块，完成配置文件解析、编码或解码、日志记录和测试报告生成，
其中，所述编码适配器和所述解码适配器分别与外部的待测编码器和对标编解码器连接。
2.根据权利要求1所述的视频编解码器自动化测试系统，其特征在于，配置参数包括编码类型、视频分辨率、视频帧率以及视频码率。
3.根据权利要求1所述的视频编解码器自动化测试系统，其特征在于，配置解析模块对每个测试用例形成一个配置文件，多个配置文件构成测试实例配置库。
4.根据权利要求3所述的视频编解码器自动化测试系统，其特征在于，所述编码适配器和所述解码适配器中针对不同待测视频编解码接口进行适配并形成接口适配器库以及接口配置文件，所述接口适配器库中包括多个视频编解码器接口，所述接口配置文件用于设定配置参数与视频编解码器接口之间的调用关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211114025.5A CN115379209A (zh) | 2022-09-14 | 2022-09-14 | 一种视频编解码器自动化测试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211114025.5A CN115379209A (zh) | 2022-09-14 | 2022-09-14 | 一种视频编解码器自动化测试系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115379209A true CN115379209A (zh) | 2022-11-22 |
Family
ID=84071444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211114025.5A Pending CN115379209A (zh) | 2022-09-14 | 2022-09-14 | 一种视频编解码器自动化测试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115379209A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060212769A1 (en) * | 2005-03-08 | 2006-09-21 | Fujitsu Limited | Apparatus and method for testing codec software by utilizing parallel processes |
| CN102289406A (zh) * | 2011-08-24 | 2011-12-21 | 深圳市万兴软件有限公司 | 一种参数测试方法和装置 |
| CN104023266A (zh) * | 2014-05-27 | 2014-09-03 | 烽火通信科技股份有限公司 | 一种android系统的通信编解码组件的使用方法 |
| CN110362497A (zh) * | 2019-07-23 | 2019-10-22 | 上海金融期货信息技术有限公司 | 覆盖全异常字符的自动化api接口测试方法和系统 |
| CN211128028U (zh) * | 2019-11-22 | 2020-07-28 | 科大讯飞股份有限公司 | 音频编解码芯片测试工装和音频编解码芯片测试装置 |
| CN112162914A (zh) * | 2020-07-27 | 2021-01-01 | 上海金融期货信息技术有限公司 | 一种测试用例自动生成的方法和装置 |
| CN112804530A (zh) * | 2020-12-31 | 2021-05-14 | 北京睿芯高通量科技有限公司 | 一种视频编码质量的评价系统及其方法 |
| CN113066140A (zh) * | 2021-03-29 | 2021-07-02 | 广州虎牙科技有限公司 | 图像编码方法、装置、计算机设备及存储介质 |
| CN113766212A (zh) * | 2021-08-30 | 2021-12-07 | 浪潮电子信息产业股份有限公司 | 一种视频解码功能的测试方法、测试装置及测试设备 |
| CN114009034A (zh) * | 2019-06-24 | 2022-02-01 | 高通股份有限公司 | 视频译码中的渐进随机存取(gra)信令 |
| CN114071131A (zh) * | 2022-01-07 | 2022-02-18 | 军事科学院系统工程研究院网络信息研究所 | 用于视频编解码设备的测试装置、方法、电子设备和介质 |
-
2022
- 2022-09-14 CN CN202211114025.5A patent/CN115379209A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060212769A1 (en) * | 2005-03-08 | 2006-09-21 | Fujitsu Limited | Apparatus and method for testing codec software by utilizing parallel processes |
| CN102289406A (zh) * | 2011-08-24 | 2011-12-21 | 深圳市万兴软件有限公司 | 一种参数测试方法和装置 |
| CN104023266A (zh) * | 2014-05-27 | 2014-09-03 | 烽火通信科技股份有限公司 | 一种android系统的通信编解码组件的使用方法 |
| CN114009034A (zh) * | 2019-06-24 | 2022-02-01 | 高通股份有限公司 | 视频译码中的渐进随机存取(gra)信令 |
| CN110362497A (zh) * | 2019-07-23 | 2019-10-22 | 上海金融期货信息技术有限公司 | 覆盖全异常字符的自动化api接口测试方法和系统 |
| CN211128028U (zh) * | 2019-11-22 | 2020-07-28 | 科大讯飞股份有限公司 | 音频编解码芯片测试工装和音频编解码芯片测试装置 |
| CN112162914A (zh) * | 2020-07-27 | 2021-01-01 | 上海金融期货信息技术有限公司 | 一种测试用例自动生成的方法和装置 |
| CN112804530A (zh) * | 2020-12-31 | 2021-05-14 | 北京睿芯高通量科技有限公司 | 一种视频编码质量的评价系统及其方法 |
| CN113066140A (zh) * | 2021-03-29 | 2021-07-02 | 广州虎牙科技有限公司 | 图像编码方法、装置、计算机设备及存储介质 |
| CN113766212A (zh) * | 2021-08-30 | 2021-12-07 | 浪潮电子信息产业股份有限公司 | 一种视频解码功能的测试方法、测试装置及测试设备 |
| CN114071131A (zh) * | 2022-01-07 | 2022-02-18 | 军事科学院系统工程研究院网络信息研究所 | 用于视频编解码设备的测试装置、方法、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050208979A1 (en) | System and method for verifying delay time using mobile image terminal | |
| US9460503B2 (en) | Automated video testing using QR codes embedded in a video stream | |
| CN113190388B (zh) | Tcp接口测试方法、介质、设备及装置 | |
| US9215471B2 (en) | Bitstream manipulation and verification of encoded digital media data | |
| WO2021037041A1 (zh) | 数据解码方法、装置和数据编码方法、装置 | |
| CN111953966A (zh) | 一种编码测试的方法、装置、服务器和存储介质 | |
| Zhao et al. | AOM common test conditions v2. 0 | |
| CN114071131B (zh) | 用于视频编解码设备的测试装置、方法、电子设备和介质 | |
| Staelens et al. | Standardized toolchain and model development for video quality assessment—the mission of the Joint Effort Group in VQEG | |
| CN110572673B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN114513655A (zh) | 直播视频质量评价方法、视频质量的调整方法及相关装置 | |
| CN115379209A (zh) | 一种视频编解码器自动化测试系统 | |
| CN106789209B (zh) | 异常处理方法和装置 | |
| CN112822488B (zh) | 基于块重组的视频编解码系统、方法、装置、终端及介质 | |
| Katsenou et al. | BVI-CC: A dataset for research on video compression and quality assessment | |
| US20120114046A1 (en) | Transcode video verifier device and method for verifying a quality of a transcoded video file | |
| CN112188285A (zh) | 视频转码方法、装置、系统及存储介质 | |
| CN110958468A (zh) | 编解码器的适配方法、装置、计算机可读介质及设备 | |
| CN111263184B (zh) | 编解码一致性检测方法、装置、设备 | |
| CN112804530A (zh) | 一种视频编码质量的评价系统及其方法 | |
| CN115145826A (zh) | 一种全流程自动化测试方法和系统 | |
| US20170078705A1 (en) | Verification of error recovery with long term reference pictures for video coding | |
| CN113824953A (zh) | 一种对视频系统进行标准化测试的方法和系统 | |
| CN113676783A (zh) | 链路节点评估方法及装置 | |
| CN109921937B (zh) | 一种对流协议长时间任务进行自动验证的测试系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600 Applicant after: Beijing Zhongke Flux Technology Co.,Ltd. Address before: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600 Applicant before: Beijing Ruixin high throughput technology Co.,Ltd. |
|
| CB02 | Change of applicant information |