CN115086649A - 一种编解码算法性能测试方法、装置、电子设备及介质 - Google Patents

Abstract

本公开实施例提供了一种编解码算法性能测试方法、装置、电子设备及介质，涉及图像编码与机器视觉技术领域。本公开实施例的技术方案包括：获取测试图像，利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像。之后对重建图像进行机器视觉检测，得到检测结果，并确定检测结果的检测精度，再将检测精度作为对待测试编码算法和待测试解码算法的性能测试结果。从而实现了提高对编解码算法性能的测试结果的准确性。

Description

一种编解码算法性能测试方法、装置、电子设备及介质

技术领域

本公开涉及图像编码与机器视觉技术领域，特别是涉及一种编解码算法性能测试方法、装置、电子设备及介质。

背景技术

在图像传输过程中，为了减少传输时间，提高传输效率，通常由发射端将图像经过编码压缩后传输至接收端，接收端再通过解码重建出图像。而图像经过编解码后，图像质量存在一定程度的下降，图像质量下降的越小，编解码算法的性能越好。

目前对于编解码算法性能的测试方法为：使用待测试的编解码算法对图像进行编解码，并通过对比原始图像与重建出的图像，得到峰值信噪比(Peak Signal to NoiseRatio，PSNR)和结构相似性(Structural Similarity，SSIM)等图像质量评价指标，从而评价编解码算法的性能。但该测试方式只能评价原始图像与重建出的图像之间的相似性，而二者之间的相似性不能准确地体现重建出的图像本身的图像质量，因此该方法不能基于重建出的图像本身的图像质量，评价编解码算法的性能，导致对编解码算法性能的测试结果不准确。

发明内容

本公开实施例的目的在于提供一种编解码算法性能测试方法、装置、电子设备及介质，以提高对编解码算法性能的测试结果的准确性。具体技术方案如下：

第一方面，本公开实施例提供了一种编解码算法性能测试方法，所述方法包括：

获取测试图像；

利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像；

对所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；

将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

在本公开的一些实施例中，在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

获取用户选择的指定编解码算法标识和指定版本标识；

获取所述指定编解码算法标识所标识的指定编解码算法中，所述指定版本标识所标识版本的编解码算法，作为待测试编解码算法，所述待测试编解码算法包括所述待测试编码算法和所述待测试解码算法。

在本公开的一些实施例中，在将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果之后，所述方法还包括：

获取所述指定编解码算法的其他版本的性能测试结果；

对所述待测试编解码算法的性能测试结果与所述其他版本的性能测试结果进行对比，得到对比结果；

展示所述对比结果。

在本公开的一些实施例中，所述性能测试结果还包括：每像素比特数、编码时长和解码时长；在利用待测试编码算法对所述测试图像进行编码之后，所述方法还包括：

基于编码后的图像生成码流文件，并确定所述码流文件的每像素比特数；

统计对所述测试图像进行编码所消耗的编码时长；

在利用待测试解码算法对编码后的图像进行解码之后，所述方法还包括：

统计对所述码流文件进行解码所消耗的解码时长。

在本公开的一些实施例中，在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

判断是否已存在利用所述待测试解码算法对编码后的图像进行解码，得到的重建图像；

若存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，将确定的检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果；

若不存在，则执行所述利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

在本公开的一些实施例中，所述对所述重建图像进行机器视觉检测，得到检测结果，包括：

查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型；

将所述重建图像输入所述机器视觉检测模型，得到所述检测结果。

在本公开的一些实施例中，所述重建图像的格式为指定图像格式；在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

将所述测试图像的格式转换为所述指定图像格式。

第二方面，本公开实施例提供了一种编解码算法性能测试装置，所述装置包括：

获取模块，用于获取测试图像；

编解码模块，用于利用待测试编码算法对所述获取模块获取的所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像；

机器视觉检测模块，用于对所述编解码模块得到的所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；

结果输出模块，用于将所述机器视觉检测模块得到的所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

在本公开的一些实施例中，所述获取模块，还用于：

在利用待测试编码算法对所述测试图像进行编码之前，获取用户选择的指定编解码算法标识和指定版本标识；

获取所述指定编解码算法标识所标识的指定编解码算法中，所述指定版本标识所标识版本的编解码算法，作为待测试编解码算法，所述待测试编解码算法包括所述待测试编码算法和所述待测试解码算法。

在本公开的一些实施例中，所述装置还包括：

所述获取模块，还用于在将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果之后，获取所述指定编解码算法的其他版本的性能测试结果；

对比模块，用于对所述待测试编解码算法的性能测试结果与所述其他版本的性能测试结果进行对比，得到对比结果；

展示模块，用于展示所述对比模块得到的所述对比结果。

在本公开的一些实施例中，所述性能测试结果还包括：每像素比特数、编码时长和解码时长；所述装置还包括：

确定模块，用于在利用待测试编码算法对所述测试图像进行编码之后，基于编码后的图像生成码流文件，并确定所述码流文件的每像素比特数；

统计模块，用于统计对所述测试图像进行编码所消耗的编码时长；

所述统计模块，还用于在利用待测试解码算法对编码后的图像进行解码之后，统计对所述码流文件进行解码所消耗的解码时长。

在本公开的一些实施例中，所述装置还包括：

判断模块，用于在利用待测试编码算法对所述测试图像进行编码之前，判断是否已存在利用所述待测试解码算法对编码后的图像进行解码，得到的重建图像；

确定模块，用于若所述判断模块的判断结果为存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，将确定的检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果；

调用模块，用于若所述判断模块的判断结果为不存在，则调用所述编解码模块执行所述利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

在本公开的一些实施例中，所述机器视觉检测模块，具体用于：

查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型；

将所述重建图像输入所述机器视觉检测模型，得到所述检测结果。

在本公开的一些实施例中，所述重建图像的格式为指定图像格式；所述装置还包括：

转换模块，用于在利用待测试编码算法对所述测试图像进行编码之前，将所述测试图像的格式转换为所述指定图像格式。

第三方面，本公开实施例提供了一种测试平台，包括：编码库、解码库、模型库以及电子设备；其中，所述编码库用于存储多种编码算法，所述解码库用于存储多种解码算法，所述模型库用于存储多种机器视觉检测模型；

所述电子设备，用于获取测试图像；并利用从所述编码库中选择的待测试编码算法对所述测试图像进行编码，并利用从所述解码库中选择的待测试解码算法对编码后的图像进行解码，得到重建图像；并利用从所述模型库中选择的机器视觉检测模型，对所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；以及将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

第四方面，本公开实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的编解码算法性能测试方法步骤。

第五方面，本公开实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的编解码算法性能测试方法步骤。

第六方面，本公开实施例提供了本公开实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一项所述的编解码算法性能测试方法。

本公开实施例有益效果：

本公开实施例提供的编解码算法性能测试方法、装置、电子设备及介质，利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像，并对重建图像进行机器视觉检测，从而得到对重建图像进行机器视觉检测的精度，并将检测精度作为对待测试编解码算法的性能测试结果。由于对重建图像进行机器视觉检测的精度，能够表示对重建图像中的目标的检测准确度，而检测准确度越高，说明重建图像中目标越清晰，因此检测精度能够体现出重建图像中目标的清晰度，即能够体现出重建图像的图像质量。因此，本公开实施例能够基于重建图像本身的图像质量，确定待测试编解码算法的性能，从而提高了对编解码算法性能的测试结果的准确性。

当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本公开实施例提供的一种编解码算法性能测试方法的流程图；

图2为本公开实施例提供的一种测试平台界面的示例性示意图；

图3为本公开实施例提供的一种多个性能测试结果的对比图；

图4为本公开实施例提供的一种解码算法性能测试过程示例性示意图；

图5为本公开实施例提供的另一种解码算法性能测试过程示例性示意图；

图6为本公开实施例提供的另一种编解码算法性能测试方法的流程图；

图7为本公开实施例提供的一种编解码算法性能测试装置的结构示意图；

图8为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员基于本公开所获得的所有其他实施例，都属于本公开保护的范围。

为了提高对编解码算法性能的测试结果的准确性，本公开实施例提供的一种编解码算法性能测试方法，该方法应用于电子设备，其中电子设备可以是服务器、计算机或者手机等具备图像处理能力的设备。如图1所示，该方法包括如下步骤：

S101、获取测试图像。

在本公开实施例中，用户可以选择指定的图像集，电子设备将指定的图像集中的图像作为测试图像，或者测试图像可以是用户选择的视频中包括的视频帧。或者，测试图像可以是随机选择的图像或视频帧等，本公开实施例对此不作具体限定。

其中，测试图像中包括目标对象，以便后续对测试图像进行机器视觉检测。例如，目标对象可以是人、动物或者车辆等。

S102、利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像。

其中，待测试解码算法是待测试编码算法的逆过程。

S103、对重建图像进行机器视觉检测，得到检测结果，并确定检测结果的检测精度。

其中，机器视觉检测可以为目标检测、实例分割或者姿态估计等。机器视觉检测结果包括：图像中是否包括目标对象以及图像中目标对象的类别。当机器视觉检测为目标检测时，检测结果还包括包含目标对象的检测框在图像中位置；当机器视觉检测为实例分割时，检测结果还包括目标对象在图像中的轮廓位置；当机器视觉检测为姿态估计时，检测结果还包括目标对象的特征点在图像中的位置，例如目标对象的骨架点在图像中的位置。

本公开实施例中，可以将检测结果与测试图像的标准检测结果进行对比，从而得到检测结果的检测精度，即对重建图像进行机器视觉检测的准确度。其中，标准检测结果可以是通过人工，或者通过S103中对重建图像进行的机器视觉检测算法，或者通过其他高精度机器视觉检测方法得到的检测结果。

在实际应用中，获取的测试图像存在多张，分别针对每张测试图像进行编解码和机器视觉检测。在各测试图像中包括的目标对象类别相同的情况下，可以根据各重建图像的检测结果，计算对该类别目标对象的平均正确率(Average Precision，AP)，并作为检测精度。在各测试图像中包括的目标对象类别不同的情况下，可以计算每一类目标对象对应的AP的平均值，得到平均准确度均值(mean average precision，mAP)，也可称为平均检测精度，并将mAP作为检测精度。

根据目标检测、实例分割以及姿态估计的检测结果，计算AP和mAP的方式相似，以下以基于目标检测的检测结果计算AP为例，AP的计算方式可以为：针对每张重建图像，从重建图像中获取被识别为包括该类别目标对象的检测框，计算该检测框的坐标以及该重建图像对应的测试图像中该类别对象的标准检测框的交并比(Intersection over union，IoU)。在IoU大于阈值时，确定识别准确，否则确定识别不准确。之后根据包括该类别目标对象的检测框中，识别准确的检测框数量和识别不准确的检测框数量，计算精确率(Precision，P)和召回率(Recall，R)，从而得到P-R曲线，计算P-R曲线下方面积，得到该类别目标对象的AP。例如，测试图像的标准检测结果为图像中包含车辆，且包含车辆的检测框位置为A，对重建图像的目标检测结果为图像中包含鼠标，且包含鼠标的检测框位置为B，假设A与B无交集，则通过对比得到识别该检测框不准确。

可选的，本公开实施例中的检测精度包括上述AP或者mAP。而且，检测精度还可以包括根据AP或者mAP得到的精度等级。例如，当mAP大于第一预设值时，确定精度等级为准确；当mAP大于第二预设值且小于等于第一预设值时，确定精度等级为较为准确；当mAP小于等于第二预设值时，确定精度等级为不准确。其中，第一预设值大于第二预设值。

可选的，本公开实施例根据机器视觉的检测结果确定的检测精度还可以包括其他评价指标。例如，根据重建图像中包括的目标对象大小的不同，可以将目标对象划分为大目标、中目标和小目标，并进一步针对包括大目标的检测框确定大目标检测精度，大目标检测精度也可称为大目标识别度(AP for large objects，APl)。同样的，还可以确定中目标识别度(AP for medium objects，APm)和小目标识别度(AP for small objects，APs)。

S104、将检测精度作为对待测试编码算法和待测试解码算法的性能测试结果。

在本公开实施例中，可以根据平均检测精度、大目标识别度、中目标识别度、小目标识别度和待测试编解码算法的标识，生成测试报告，作为性能测试结果。

可选的，测试报告中还可以包括一定数量的测试图像以及对应的重建图像等。

本公开实施例提供的编解码算法性能测试方法，利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像，并对重建图像进行机器视觉检测，从而得到对重建图像进行机器视觉检测的精度，并将检测精度作为对待测试编解码算法的性能测试结果。由于对重建图像进行机器视觉检测的精度，能够表示对重建图像中的目标的识别准确度，而识别准确度越高，说明重建图像中目标越清晰，因此检测精度能够体现出重建图像中目标的清晰度，即能够体现出重建图像的图像质量。因此，本公开实施例能够基于重建图像本身的图像质量，确定待测试编解码算法的性能，从而提高了对编解码算法性能的测试结果的准确性。

在本公开的一些实施例中，在上述S102进行编解码之前，还可以确定待测试编解码算法，其中待测试编解码算法包括待测试编码算法和待测试解码算法。确定待测试编解码算法的方式为：获取用户选择的指定编解码算法标识和指定版本标识，然后获取指定编解码算法标识所标识的指定编解码算法中，指定版本标识所标识版本的编解码算法，作为待测试编解码算法。

电子设备还可以提供测试平台界面，例如，测试平台界面如图2所示。参见图2，用户可以在网页端登录测试平台界面，并在测试平台界面内选择待测试编解码算法标识，选择质量参数或量化参数，即指定版本标识，选择用于进行机器视觉检测的机器视觉检测模型的标识，选择在中央处理器(central processing unit，CPU)还是在图形处理器(graphics processing unit，GPU)内完成编解码，选择对机器视觉检测结果的评价指标以及选择测试图像集。图2仅为本公开实施例提供的一种测试平台界面的示例性示意图，本公开实施例对测试平台界面包括的内容和展示形式不作具体限定。

本公开实施例中，在用户在测试平台界面提交测试相关参数后，网页端向电子设备发送测试相关参数，例如测试相关参数包括指定编解码算法标识和指定版本标识，之后电子设备可从编码库中根据指定编解码算法标识和指定版本标识查找待测试编码算法，从解码库中根据指定编解码算法标识和指定版本标识查找待测试解码算法，并从模型库中根据机器视觉检测模型的标识查找机器视觉检测模型。进而直接使用待测试编解码算法对测试图像进行编解码，得到重建图像，并使用机器视觉检测模型对重建图像进行机器视觉检测，而不需要将编解码和机器视觉检测分开测试，从而节约了测试时间。而且，如果分开测试，那么必须保存测试过程产生的中间结果，而本公开实施例避免了分开测试，因此测试过程中产生的中间结果可以不保存，从而节约了电子设备的存储压力。

对于同一种编解码算法，不同的版本对图像的压缩程度不同，相应的还原出的重建图像的质量不同。对于同一种编解码算法，设置不同的量化参数(QuantizerParameter)，能够得到不同质量的重建图像，因此可通过量化参数来区分编解码算法的不同版本。或者，还可以通过质量参数区分编解码算法不同的版本。

例如，指定编解码算法标识为mbt2018-mean，指定版本标识，即质量参数，为1。或者，指定编解码算法标识为VTM10.2，指定版本标识，即质量参数，为42。

本公开实施例中，用户可以选择指定编解码算法的一个版本，作为待测试编解码算法，使得电子设备可以对用户选择的待测试编码算法进行测试。

本公开的一些实施例中，在本次对待测试编解码算法进行性能测试之前，历史上可能已经对待测试编解码算法进行过性能测试。例如，之前测试过程中，使用待测试编解码算法得到重建图像后，将重建图像和测试图像的峰值信噪比(Peak Signal to NoiseRatio，PSNR)和结构相似性(Structural Similarity，SSIM)作为性能测试结果，该测试过程得到的重建图像被保存。或者，之前测试过程中，在使用待测试编解码算法进行编解码得到重建图像之后，使用与当前的机器视觉检测方式不同的其他机器视觉检测方式进行机器视觉检测，该测试过程得到的重建图像被保存。

因此，历史上可能存在利用待测试编解码算法得到的重建图像，此时可以直接获取历史上得到的重建图像进行机器视觉检测，从而提高性能测试的效率。即在上述S102之前，电子设备还可以判断是否已存在利用待测试解码算法对编码后的图像进行解码，得到的重建图像。若存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，基于将确定的检测精度作为对待测试编码算法和待测试解码算法的性能测试结果。若不存在，则执行S102利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

电子设备可以在每次对一个编解码算法进行性能测试的过程中，将被测试的编解码算法还原得到的重建图像与被测试的编解码算法的标识以及版本标识对应存储。使得后续电子设备可以查找是否存在待测试编解码算法的标识和版本标识对应的重建图像。

由于本公开实施例能够在已存在使用待测试编解码算法得到的重建图像的情况下，直接对已存在的重建图像进行机器视觉检测，从而减少利用待测试编解码算法对测试图像进行编码和解码消耗的时间，进而提高了性能测试效率。

在本公开的一些实施例中，用户在网页端登录测试平台界面之后，在登录测试平台界面除了可以选择待测试编解码算法以及测试图像之外，还可以选择机器视觉检测模型的标识，以便在测试过程中使用机器视觉检测模型进行机器视觉检测。例如，机器视觉检测模型标识为Faster-RCNN X101 FPN。

因此上述S103中电子设备对重建图像进行机器视觉检测得到检测结果的方式，可以实现为：查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型，然后将重建图像输入机器视觉检测模型，得到检测结果。其中，电子设备可以从模型库中查找指定机器视觉检测模型标识对应的机器视觉检测模型，模型库中存储有各模型标识与模型的对应关系，模型库中的各模型均用于对图像进行机器视觉检测，且各模型采用的检测算法不同。例如，用户可以在登录测试平台界面选择用于进行目标检测的机器视觉检测模型，或者用于进行目标分割的机器视觉检测模型，或者用于进行目标跟踪的机器视觉检测模型等。

本公开实施例中，能够利用用户选择的机器视觉检测模型对重建图像进行机器视觉检测，从而使得测试结果更符合测试需求。

一种实现方式中，性能测试结果除了包括检测精度以外，还可以包括：每像素比特数(Bits Per Pixel，bpp)、编码时长和解码时长。因此电子设备在上述S102中利用待测试编码算法对测试图像进行编码之后，还可以基于编码后的图像生成码流文件，并确定码流文件的每像素比特数，并统计对测试图像进行编码所消耗的编码时长。而且，电子设备在上述S102利用待测试解码算法对编码后的图像进行解码之后，还可以统计对码流文件进行解码所消耗的解码时长。

可选的，在得到性能测试结果之后，还可以将性能测试结果的各项参数填入报告模板，并将测试图像标识、待测试编解码算法的标识、版本标识以及机器视觉检测模型标识填入报告模板，从而生成针对待测试编解码算法的性能测试报告。

可选的，性能测试结果除了包括上述参数之外，还可以包括其他性能评价指标，例如PSNR和SSIM，本公开实施例对此不作具体限定。

另一种实现方式中，除了检测精度以外，用户还可以在测试平台界面选择其他的性能评价指标，以使得电子设备可以按照用户选择的性能评价指标，获取性能评价参数。例如，当用户选择的性能评价指标包括每像素比特数和编码时长时，电子设备在上述S102中利用待测试编码算法对测试图像进行编码之后，基于编码后的图像生成码流文件，并确定码流文件的每像素比特数，并统计对测试图像进行编码所消耗的编码时长。

通过上述方法，本公开实施例还能够将每像素比特数、编码时长和解码时长等性能测试参数作为性能测试结果，使得性能测试结果能够更全面地反映待测试编解码算法的性能。而且用户可以选择性能评价指标，使得性能测试结果更能满足测试需求。

在本公开实施例中，获取每像素比特数、编码时长和解码时长之后，电子设备还可以将每像素比特数、编码时长和解码时长与待测试编解码算法的标识以及版本标识对应存储，以使得后续完成机器视觉检测后，可以根据待测试编解码算法的标识以及版本标识，查找到对应的每像素比特数、编码时长和解码时长，并将查找到的参数与检测精度一同作为性能测试结果。

在本公开的一些实施例中，由于同一种编解码算法存在不同的版本，且不同的版本对测试图像进行编解码之后，得到的重建图像的图像质量不同，因此本公开实施例可以对比同一种编解码算法的不同版本的性能测试结果。

即电子设备在上述S104在将检测精度作为对待测试编码算法和待测试解码算法的性能测试结果之后，还可以获取指定编解码算法的其他版本的性能测试结果，然后对待测试编解码算法的性能测试结果与其他版本的性能测试结果进行对比，得到对比结果，并展示对比结果。

电子设备可以将编解码算法的标识和版本标识与性能测试结果对应存储，以使得后续可以查找指定编解码算法的标识以及其他版本标识对应的性能测试结果。

可选的，对比结果可以是基于各性能测试结果生成的对比表格。例如，对比表格如表一所示：

表一

	mbt2018-mean，质量参数为1	mbt2018-mean，质量参数为2
			检测精度	x	y
每像素比特数	xx	yy
			编码时长	xxx	yyy
解码时长	xxxx	yyyy

其中，mbt2018-mean为待测试编解码算法的算法标识。

或者，对比结果可以是基于各性能测试结果生成的对比图。例如，如图3所示，图3的纵坐标表示平均检测精度(mean average precision，mAP)，横坐标表示每像素比特数，每像素比特数也可以称为码率点。编解码算法的一个版本对各图像进行编码后得到的码流文件的每像素比特数相同，且编解码算法的不同版本对图像进行编码后得到的码流文件的每像素比特数不同，所以编解码算法的每种版本对应一种每像素比特数，因此图3中实线折线中每个圆点表示待测试编解码算法的一个版本对测试图像进行编码得到重建图像后，对重建图像进行机器视觉检测的平均检测精度。从图3中可以看出，待测试编解码算法的每像素比特数越小，平均检测精度越低。

可选的，对比结果还可以包括其他性能测试结果。其中，其他性能测试结果包括其他编解码算法的性能测试结果，以及对未经编解码的测试图像进行机器视觉检测的检测精度。例如，图3中实线直线表示直接对测试图像进行机器视觉检测的平均检测精度，图3中虚线折线中每个圆点表示其他编解码算法的一个版本对测试图像进行编码得到重建图像后，对重建图像进行机器视觉检测的平均检测精度。一般来说，编解码算法对图像进行编解码处理会为图像质量带来一定的损失，因此从图3中可以看出，待测试编解码算法的平均检测精度和其他编解码算法的平均检测精度均小于直接对测试图像进行机器视觉检测的平均检测精度。而且，在每像素比特数小于0.4的情况下，其他编解码算法的平均检测精度高于待测试编解码算法的平均检测精度，在每像素比特数大于0.4的情况下，待测试编解码算法的平均检测精度高于其他编解码算法的平均检测精度。

可选的，性能测试结果还可以包括失真率(Bjontegaard Delta-Rate，BD rate)，其中BD rate可以通过对图3中的实线折线和虚线折线分别算积分，并计算积分差，将积分差除以积分区间，得到BD rate。当BD rate大于30％时，确定待测试编解码算法的性能测试结果为等级1；当BD rate大于10％且小于等于30％时，确定待测试编解码算法的性能测试结果为等级2；当BD rate大于0％且小于等于10％时，确定待测试编解码算法的性能测试结果为等级3；当BD rate大于-10且小于等于0％时，确定性能测试结果为等级4；当BD rate小于等于-10％时，确定待测试编解码算法的性能测试结果为等级5。等级越高，表示待测试编解码算法的性能越优于其他编解码算法。

本公开实施例中，由于重建图像直接服务于机器智能任务，包含目标检测、实例分割、姿态估计等。在统一的测试环境下，利用检测精度以及每像素比特数等评价指标，通过计算BD-mAP可以衡量待测试编解码算法的性能，从而提高了对待测试编解码算法性能的测试结果的准确性。

本公开的一些实施例中，为提高确定性能测试结果的效率，可以统一各处理过程中数据的输入输出格式。在本公开实施例中，重建图像的格式为指定图像格式。例如，指定图像格式为便携式网络图形(Portable Network Graphics，png)、联合图像专家组(JointPhotographic Experts Group，jpg)或者明亮度色度(Luminance Chrominance，yuv)等图像格式。

因此，电子设备在上述S102利用待测试编码算法对测试图像进行编码之前，还可以将测试图像的格式转换为指定图像格式。以便待测试编解码算法对统一格式的测试图像进行编解码，能够减少图像格式不同对于性能测试的影响。

此外，本公开实施例中，待测试编码算法对测试图像进行编解码后，生成的码流文件的格式可以为指定文件格式，例如指定文件格式为二进制(binary，bin)格式。而且，S104获得的性能测试结果的格式可以为指定参数格式，例如指定参数格式为JS对象简谱(JavaScript Object Notation，json)格式。

例如，如图4所示，将测试图像的格式转换为png格式，测试图像经过编码后生成的码流文件为bin格式，码流文件经解码后得到的重建图像为png格式，重建图像经过机器视觉检测后得到的性能测试结果为json格式。

通过上述方法，本公开实施例能够统一各处理过程中数据的输入输出格式，从而对每张测试图像的处理过程提供一个完全相同的测试环境，消除数据格式不同对测试结果的影响，从而得到更准确的测试结果。

参见图5，以下对本公开实施例提供的编解码算法性能测试过程进行说明：

电子设备预先使用加载工具获取多张图像形成图像集，以及加载待测试编码算法至编码算法库，加载待测试解码算法至解码算法库。之后使用模型管理工具根据测试图像集的地址访问测试图像集，从而从测试图像集中获取到测试图像，并从编码算法库中调用待测试编码算法，对测试图像进行编码，从解码库中调用待测试解码算法对编码后的图像进行解码，得到重建图像。之后在检测过程中使用模型管理工具从模型库中调用机器视觉检测模型，使用机器视觉检测模型对重建图像进行机器视觉检测，得到检测结果。之后在评价过程中，通过评价模块根据测试图像对应的标准检测结果和机器视觉检测模型输出的检测结果，得到检测精度，将检测精度存入结果数据库。之后可从结果数据库中获取检测精度作为性能测试结果。

参见图6，以下以测试图像集为coco2017val、待测试编解码算法为mbt2018-mean，质量参数为1，机器视觉检测模型为Faster-RCNN X101 FPN，性能评价指标为每像素比特数、编码时间、解码时间、平均识别精度、大目标识别度、中目标识别度和小目标识别度指标为例，对本公开实施例提供的编解码算法性能测试方法整体流程进行说明：

S601、访问coco2017val的地址以获取测试图像。

S602、从编解码模型库中获取mbt2018-mean所标识的指定编解码算法。

S603、将指定编解码算法中质量参数为1的编解码算法，作为待测试编解码算法。

S604、判断是否已存在利用待测试编解码算法对编码后的图像进行解码得到的重建图像。若是，则执行S612；若否则执行S605。

S605、调用待测试编码算法对测试图像进行编码并生成码流文件，得到码流文件的每像素比特数，并统计消耗的编码时长。

S606、调用待测试解码算法对码流文件进行解码，得到重建图像，并统计消耗的解码时长。

S607、创建一个唯一的身份标识号(Identity document，ID)，将重建图像与ID对应存储，并将每像素比特数、编码时长和解码时长对应存储在编解码数据库。

可选的，唯一的ID可以是对编解码算法标识、版本标识和指定数值进行拼接，或者进行哈希运算得到的结果。其中，指定数值可以是随机数或者当前时刻等。例如，ID为：mbt2018-mean 1aaa。本公开实施例对ID的创建方式不作具体限定。

重建图像与ID可以对应存储在重建图像数据库。

S608、从模型库中获取机器视觉检测模型，将重建图像输入机器视觉检测模型，得到检测结果，并确定检测结果的平均检测精度、大目标识别度、中目标识别度和小目标识别度。

S609、将平均检测精度、大目标识别度、中目标识别度和小目标识别度对应存储在结果数据库。

S610、从编解码数据库中获取每像素比特数、编码时长和解码时长，从结果数据库中获取平均检测精度、大目标识别度、中目标识别度和小目标识别度，将每像素比特数、编码时长、解码时长、平均识别精度、大目标识别度、中目标识别度和小目标识别度作为性能测试结果，并填写到报告模板中，生成针对待测试编解码算法的测试报告。

S611、获取质量参数不为1的mbt2018-mean的性能测试结果，对比质量参数不为1的mbt2018-mean的性能测试结果以及质量参数为1的mbt2018-mean的性能测试结果，并展示对比结果。

例如：获取质量参数为2的mbt2018-mean的性能测试结果。

S612、从模型库中获取机器视觉检测模型，将已存在的重建图像输入机器视觉检测模型，得到检测结果，并确定检测结果的平均检测精度、大目标识别度、中目标识别度和小目标识别度。

S613、将平均检测精度、大目标识别度、中目标识别度和小目标识别度对应存储在结果数据库。

S614、从编解码数据库中获取已存在的重建图像对应的每像素比特数、编码时长和解码时长，从结果数据库中获取平均检测精度、大目标识别度、中目标识别度和小目标识别度，将获取的每像素比特数、编码时长、解码时长、平均识别精度、大目标识别度、中目标识别度和小目标识别度作为性能测试结果，并填写到报告模板中，生成针对待测试编解码算法的测试报告。

S615、获取质量参数不为1的mbt2018-mean的性能测试结果，对比质量参数不为1的mbt2018-mean的性能测试结果以及质量参数为1的mbt2018-mean的性能测试结果，并展示对比结果。

图6中各步骤的具体实现方式可参考上述描述，此处不再赘述。

由于图像经过编解码处理后，图像质量会得到一定程度的压缩，导致对后续进行机器视觉智能任务的精度，即机器视觉检测的检测精度带来一定的下降。而检测精度越高，表示编解码处理所使用的编解码算法的性能越好，因此本公开实施例联合编解码以及机器视觉智能任务，得到的编解码算法的性能测试结果，能够为视频监控和智慧工业等场景评测机器视觉编解码器性能提高参考。

基于相同的发明构思，对应于上述方法实施例，本公开实施例提供了一种编解码算法性能测试装置，如图7所示，该装置包括：获取模块701、编解码模块702、机器视觉检测模块703和结果输出模块704；

获取模块701，用于获取测试图像；

编解码模块702，用于利用待测试编码算法对获取模块701获取的测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像；

机器视觉检测模块703，用于对编解码模块702得到的重建图像进行机器视觉检测，得到检测结果，并确定检测结果的检测精度；

结果输出模块704，用于将所述机器视觉检测模块703得到的检测精度作为对待测试编码算法和待测试解码算法的性能测试结果。

在本公开的一些实施例中，获取模块701，还用于：

在利用待测试编码算法对测试图像进行编码之前，获取用户选择的指定编解码算法标识和指定版本标识；

获取指定编解码算法标识所标识的指定编解码算法中，指定版本标识所标识版本的编解码算法，作为待测试编解码算法，待测试编解码算法包括待测试编码算法和待测试解码算法。

在本公开的一些实施例中，该装置还包括：

获取模块701，还用于在将检测精度作为对待测试编码算法和待测试解码算法的性能测试结果之后，获取指定编解码算法的其他版本的性能测试结果；

对比模块，用于对待测试编解码算法的性能测试结果与其他版本的性能测试结果进行对比，得到对比结果；

展示模块，用于展示对比模块得到的对比结果。

在本公开的一些实施例中，性能测试结果还包括：每像素比特数、编码时长和解码时长；该装置还包括：

确定模块，用于在利用待测试编码算法对测试图像进行编码之后，基于编码后的图像生成码流文件，并确定码流文件的每像素比特数；

统计模块，用于统计对测试图像进行编码所消耗的编码时长；

统计模块，还用于在利用待测试解码算法对编码后的图像进行解码之后，统计对码流文件进行解码所消耗的解码时长。

在本公开的一些实施例中，该装置还包括：

判断模块，用于在利用待测试编码算法对测试图像进行编码之前，判断是否已存在利用待测试解码算法对编码后的图像进行解码，得到的重建图像；

确定模块，用于若判断模块的判断结果为存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，将确定的检测精度作为对待测试编码算法和待测试解码算法的性能测试结果；

调用模块，用于若判断模块的判断结果为不存在，则调用编解码模块702执行利用待测试编码算法对测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

在本公开的一些实施例中，机器视觉检测模块703，具体用于：

查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型；

将重建图像输入机器视觉检测模型，得到检测结果。

在本公开的一些实施例中，重建图像的格式为指定图像格式；该装置还包括：

转换模块，用于在利用待测试编码算法对测试图像进行编码之前，将测试图像的格式转换为指定图像格式。

基于相同的发明构思，本公开实施例还提供了一种测试平台，包括：编码库、解码库、模型库以及电子设备；其中，编码库用于存储多种编码算法，解码库用于存储多种解码算法，模型库用于存储多种机器视觉检测模型；

电子设备，用于获取测试图像；并利用从编码库中选择的待测试编码算法对测试图像进行编码，并利用从解码库中选择的待测试解码算法对编码后的图像进行解码，得到重建图像；并利用从模型库中选择的机器视觉检测模型，对重建图像进行机器视觉检测，得到检测结果，并确定检测结果的检测精度；以及将检测精度作为对待测试编码算法和待测试解码算法的性能测试结果。

本公开实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现上述方法实施例中的方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本公开提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一编解码算法性能测试方法的步骤。

在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一编解码算法性能测试方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本公开的较佳实施例，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本公开的保护范围内。

Claims (17)

1.一种编解码算法性能测试方法，其特征在于，所述方法包括：

获取测试图像；

利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像；

对所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；

将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

2.根据权利要求1所述的方法，其特征在于，在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

获取用户选择的指定编解码算法标识和指定版本标识；

获取所述指定编解码算法标识所标识的指定编解码算法中，所述指定版本标识所标识版本的编解码算法，作为待测试编解码算法，所述待测试编解码算法包括所述待测试编码算法和所述待测试解码算法。

3.根据权利要求2所述的方法，其特征在于，在将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果之后，所述方法还包括：

获取所述指定编解码算法的其他版本的性能测试结果；

对所述待测试编解码算法的性能测试结果与所述其他版本的性能测试结果进行对比，得到对比结果；

展示所述对比结果。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述性能测试结果还包括：每像素比特数、编码时长和解码时长；在利用待测试编码算法对所述测试图像进行编码之后，所述方法还包括：

基于编码后的图像生成码流文件，并确定所述码流文件的每像素比特数；

统计对所述测试图像进行编码所消耗的编码时长；

在利用待测试解码算法对编码后的图像进行解码之后，所述方法还包括：

统计对所述码流文件进行解码所消耗的解码时长。

5.根据权利要求1-3任一项所述的方法，其特征在于，在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

判断是否已存在利用所述待测试解码算法对编码后的图像进行解码，得到的重建图像；

若存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，将确定的检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果；

若不存在，则执行所述利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述重建图像进行机器视觉检测，得到检测结果，包括：

查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型；

将所述重建图像输入所述机器视觉检测模型，得到所述检测结果。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述重建图像的格式为指定图像格式；在利用待测试编码算法对所述测试图像进行编码之前，所述方法还包括：

将所述测试图像的格式转换为所述指定图像格式。

8.一种编解码算法性能测试装置，其特征在于，所述装置包括：

获取模块，用于获取测试图像；

编解码模块，用于利用待测试编码算法对所述获取模块获取的所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码，得到重建图像；

机器视觉检测模块，用于对所述编解码模块得到的所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；

结果输出模块，用于将所述机器视觉检测模块得到的所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

9.根据权利要求8所述的装置，其特征在于，所述获取模块，还用于：

在利用待测试编码算法对所述测试图像进行编码之前，获取用户选择的指定编解码算法标识和指定版本标识；

获取所述指定编解码算法标识所标识的指定编解码算法中，所述指定版本标识所标识版本的编解码算法，作为待测试编解码算法，所述待测试编解码算法包括所述待测试编码算法和所述待测试解码算法。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

所述获取模块，还用于在将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果之后，获取所述指定编解码算法的其他版本的性能测试结果；

对比模块，用于对所述待测试编解码算法的性能测试结果与所述其他版本的性能测试结果进行对比，得到对比结果；

展示模块，用于展示所述对比模块得到的所述对比结果。

11.根据权利要求8-10任一项所述的装置，其特征在于，所述性能测试结果还包括：每像素比特数、编码时长和解码时长；所述装置还包括：

确定模块，用于在利用待测试编码算法对所述测试图像进行编码之后，基于编码后的图像生成码流文件，并确定所述码流文件的每像素比特数；

统计模块，用于统计对所述测试图像进行编码所消耗的编码时长；

所述统计模块，还用于在利用待测试解码算法对编码后的图像进行解码之后，统计对所述码流文件进行解码所消耗的解码时长。

12.根据权利要求8-10任一项所述的装置，其特征在于，所述装置还包括：

判断模块，用于在利用待测试编码算法对所述测试图像进行编码之前，判断是否已存在利用所述待测试解码算法对编码后的图像进行解码，得到的重建图像；

确定模块，用于若所述判断模块的判断结果为存在，则对已存在的重建图像进行机器视觉检测，得到检测结果，并确定得到的检测结果的检测精度，将确定的检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果；

调用模块，用于若所述判断模块的判断结果为不存在，则调用所述编解码模块执行所述利用待测试编码算法对所述测试图像进行编码，并利用待测试解码算法对编码后的图像进行解码的步骤。

13.根据权利要求8-10任一项所述的装置，其特征在于，所述机器视觉检测模块，具体用于：

查找用户选择的机器视觉检测模型标识对应的机器视觉检测模型；

将所述重建图像输入所述机器视觉检测模型，得到所述检测结果。

14.根据权利要求8-10任一项所述的装置，其特征在于，所述重建图像的格式为指定图像格式；所述装置还包括：

转换模块，用于在利用待测试编码算法对所述测试图像进行编码之前，将所述测试图像的格式转换为所述指定图像格式。

15.一种测试平台，其特征在于，包括：编码库、解码库、模型库以及电子设备；其中，所述编码库用于存储多种编码算法，所述解码库用于存储多种解码算法，所述模型库用于存储多种机器视觉检测模型；

所述电子设备，用于获取测试图像；并利用从所述编码库中选择的待测试编码算法对所述测试图像进行编码，并利用从所述解码库中选择的待测试解码算法对编码后的图像进行解码，得到重建图像；并利用从所述模型库中选择的机器视觉检测模型，对所述重建图像进行机器视觉检测，得到检测结果，并确定所述检测结果的检测精度；以及将所述检测精度作为对所述待测试编码算法和所述待测试解码算法的性能测试结果。

16.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

Images