CN111144493A - 一种自动识别算法指标测试的方法、存储介质及电子终端 - Google Patents

Abstract

本发明提供一种自动识别算法指标测试的方法、存储介质及电子终端，方法包括：采集算法指标的测试序列集；对所述测试序列集进行标记，根据标记后的测试序列集，建立表结构，获取被测算法执行测试所需的指标测试参数，将所述测试序列集输入至所述被测算法，执行测试并获取算法结果；通过将所述算法结果和表结构进行比对，获取算法指标测试结果；本发明可在算法测试时，快速准确的输出指标比对结果，可以缩短测试周期，满足快速优化算法、提高算法指标的需求，避免采集测试用例集时未充分考虑影响因素从而导致算法适用场景有限等情况的发生，提高了测试效率，避免了人工校对过程因测试集中被识别对象和识别属性数据量大导致的结果错误。

Description

一种自动识别算法指标测试的方法、存储介质及电子终端

技术领域

本发明涉及电子领域，尤其涉及一种自动识别算法指标测试的方法、存储介质及电子终端。

背景技术

计算机算法在多个领域展开研究和应用，其中，计算机算法测试也成为各种计算机算法在应用前的一项关键环节，视频算法处理中算法测试，尤其是识别属性指标的测试方法一般是测试人员将测试序列集输入算法中，之后通过算法输出的识别结果和对应的抓图，人工进行校对。在实际的算法应用中，测试结果会受测试序列集中的图像质量、光线、拍摄被识别对象的角度、空间和时间复杂度等因素的影响。在这种情况下，算法指标测试可能需要跟随不断迭代的算法版本对相同的测试序列集进行多次测试。

但是，传统的人工进行校对的方法，具有工作量大、效率低、耗时长等缺点。且在相同算法相同测试序列集的识别结果下，不同测试人员的测试结果或相同测试人员不同时间的测试结果都有可能不同。这些因素给算法指标的测试工作带来不少困扰。通常，对于算法测试，开发人员需要测试人员快速输出测试结果，反馈算法的不足，并给出识别错误对象的属性数据和对应的抓图。测试人员则可能因为测试用例集中识别对象的空间/时间复杂性高、属性多等问题，很难快速的给出正确可信的测试结果。这种情况无法满足企业内部快速优化算法、提高算法指标的需求。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种自动识别算法指标测试的方法、存储介质及电子终端，以解决上述技术问题。

本发明提供的自动识别算法指标测试的方法，包括：

采集算法指标的测试序列集；

对所述测试序列集进行标记；

根据标记后的测试序列集，建立表结构，所述表结构包括对象ID、对象类别、对象空间位置和属性值；

获取被测算法执行测试所需的指标测试参数；

将所述测试序列集输入至所述被测算法，执行测试并获取算法结果；

通过将所述算法结果和表结构进行比对，获取算法指标测试结果。

可选的，所述指标测试参数包括校对的对象类别、校对的属性和校对置信度。

可选的，所述测试序列集包括若干视频序列，对所述视频序列逐帧进行标记，记录当前帧在整个视频序列中的位置。

可选的，所述算法结果包括包含对象空间位置的图片信息和对应对象的各属性值，

当一算法结果与表结构数据的关系满足所述对象类别和校对置信度时，则执行将所述算法结果和表结构进行比对；

当一算法结果与表结构数据的关系不满足所述对象类别和校对置信度时，则将所述算法结果输出到错误结果集中。

可选的，将被测算法输出的各属性值与对应表结构中对象的属性值进行对比，将对比结果作为算法指标测试结果进行输出。

可选的，根据所述包含对象空间位置的图片信息对应的测试序列标记值和表结构中的对象空间位置值对当前抓图进行命名。

可选的，对视频序列进行解码，获取视频序列对应的原始颜色编码数据，对所述原始颜色编码数据逐帧进行标记，记录每帧在整个测试序列中的位置。

可选的，将测试序列输入一测试算法中，先对测试算法的测试结果中错误信息进行标注，再输出正确结果。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中的任一项所述方法。

本发明的有益效果：本发明中的自动识别算法指标测试的方法，可在算法测试时，快速准确的输出指标比对结果，可以在开发不断的算法版本迭代中，缩短测试周期，快速给出算法测试结果，满足快速优化算法、提高算法指标的需求，另一方面，可以避免由于测试人员对算法的理解存在偏差，导致采集测试用例集时未充分考虑影响因素从而导致算法适用场景有限等情况的发生，同时避免了由于环境搭建和测试集采集影响测试进展，在算法开发完后的测试验收阶段，测试人员可以根据标记的测试序列集快速自动分析校对算法结果，并根据测试结果，给出优化意见，不仅提高了测试效率，也避免了人工校对过程因测试集中被识别对象和识别属性数据量大导致的结果错误。

附图说明

图1是本发明实施例中自动识别算法指标测试的方法的流程示意图。

图2是本发明实施例中自动识别算法指标测试的方法中标记和建立表结构示意图。

图3是本发明实施例中自动识别算法指标测试的电子终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的自动识别算法指标测试的方法，包括：

S1、采集算法指标的测试序列集；

S2、对所述测试序列集进行标记；

S3、根据标记后的测试序列集，建立表结构，所述表结构包括对象ID、对象类别、对象空间位置和属性值；

S4、获取被测算法执行测试所需的指标测试参数；

S5、将所述测试序列集输入至所述被测算法，执行测试并获取算法结果；

S6、通过将所述算法结果和表结构进行比对，获取算法指标测试结果。

在本实施例中，本实施例中步骤S1中采集的测试序列集在满足实际应用场景的前提下，尽量包含影响算法识别的因素和被识别对象的所有属性。例如空间复杂度、时间复杂度、光照、角度等。还要包含算法支持的被识别对象的所有属性，如人体结构化算法中头发长短、是否带眼镜、上衣款式及颜色、年龄段等属性特征。采集的测试序列应为高清的视频序列，播放时不应有花屏、灰屏等问题。

在本实施例中，步骤S2中逐帧标记测试序列集，标记内容包含该帧所属的测试序列和在该测试序列中的位置(时间)参数。可选的，本实施例是通过对视频序列进行解码，获取视频序列对应的原始颜色编码数据，对原始颜色编码数据逐帧进行标记，记录每帧在整个测试序列中的位置，例如，可以将视频序列解码为原始yuv数据，在yuv数据的边角位置，打上一个标记用来记录该帧在整个测试序列中的位置。标记的方法有很多，如二维码。步骤S2的目的是，读取这个标记即可知道该帧属于的测试序列名及其在这个测试序列集的位置，可选的，也可以转换为时间参数。

在本实施例中，步骤S3中对标记的测试序列帧建立对象ID，及其对应的空间区域与各属性值的表结构。测试人员还可对帧内对象的类别进行划分，通过本实施例可实现只校对测试序列集中的指定对象来提高算法指标测试的灵活性。在步骤S2完成后，需要在对每一帧视频中的对象建议数据表，记录这帧包含对象的空间区域信息和所有属性值。同时还需要将对象进行分类。同样以将视频序列解码为原始yuv数据为例，如图2所示，取一帧标记为01的yuv数据，该帧包含3个类别，共有4个对象。则可分别标记这4个对象的ID为01001、01002、01003、01004。则ID为01001就表示为标记为01的yuv数据上的001对象。再分别建立这4个对象的表结构。表结构信息包含对象ID(01001)、该对象在该帧的位置区域信息、该对象所有属性的正确取值。步骤S3是本实施例中最为关键的一步，需要保证数据的准确性。可选的，实际标记过程中，可以先输入测试序列到一个版本的算法中，然后对算法测试结果中错误的信息进行手动标注，最后再输出正确的结果。这样标记过程中就只需要修改错误的内容就行了，大大减少工作量。针对本实施例中的步骤S1-S3，测试人员可以和算法开发工作同步进行。

在本实施例中，步骤S4中测试人员可根据被测算法的能力，自定义比较对象的类别、属性和置信度等。根据实际的被测算法，预先定义需要校对的对象类别、属性和校对置信度后，再将测试序列集输入算法，运行后输出算法结果。算法结果输出后，通过本实施例中的方法自动根据配置的参数，在每个输出值与表结构数据的关系满足置信度的条件下，对比指定类别的对象和属性值。

在本实施例中，根据算法结果抓图的位置参数和识别对象的空间位置参数，在抓图所属帧的表结构中进行查找对比。本实施例中通过运行被测算法，算法运行结束后输出算法结果。算法结果应包括两个：一是包含对象空间位置的图片信息，即抓图，可选的，抓图的命名可以包含测试序列标记信息和该抓图在yuv数据中的位置信息。二是对应对象的各属性值。根据这两个信息，就可自动根据抓图的命名确定其yuv标记，如01。然后根据抓图中的位置信息，结合配置的对象类型和置信度值在表结构中查找对应的对象。若匹配则自动找到对应的对象ID，继续对比算法结果中识别对象的各属性值与表结构中的值是否一致，输出测试结果。若不匹配则将该条算法结果输出到错误结果的文件夹中，方便开发定位。

在本实施例中，将算法结果全部比对后，输出算法指标测试结果，并给出识别错误对象的属性数据和对应的抓图。相关数据可自动输出到表格中，方便后续的数据分析和可视化展示。本实施例中的方法在正式测试时，只需要根据实际测试算法配置流程S4的内容，后续对比的工作均可自动进行。测试人员可不断根据实际应用场景和业内需求添加测试序列至测试序列集中，逐渐形成完善、权威的测试序列集。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图3所示，本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，说明书对“本实施例”、“一实施例”、的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种自动识别算法指标测试的方法，其特征在于，包括：

采集算法指标的测试序列集；

对所述测试序列集进行标记；

根据标记后的测试序列集，建立表结构，所述表结构包括对象ID、对象类别、对象空间位置和属性值；

获取被测算法执行测试所需的指标测试参数；

将所述测试序列集输入至所述被测算法，执行测试并获取算法结果；

通过将所述算法结果和表结构进行比对，获取算法指标测试结果。

2.根据权利要求1所述的自动识别算法指标测试的方法，其特征在于，所述指标测试参数包括校对的对象类别、校对的属性和校对置信度。

3.根据权利要求1所述的自动识别算法指标测试的方法，其特征在于，所述测试序列集包括若干视频序列，对所述视频序列逐帧进行标记，记录当前帧在整个视频序列中的位置。

4.根据权利要求3所述的自动识别算法指标测试的方法，其特征在于，所述算法结果包括包含对象空间位置的图片信息和对应对象的各属性值，

当一算法结果与表结构数据的关系满足所述对象类别和校对置信度时，则执行将所述算法结果和表结构进行比对；

当一算法结果与表结构数据的关系不满足所述对象类别和校对置信度时，则将所述算法结果输出到错误结果集中。

5.根据权利要求4所述的自动识别算法指标测试的方法，其特征在于，将被测算法输出的各属性值与对应表结构中对象的属性值进行对比，将对比结果作为算法指标测试结果进行输出。

6.根据权利要求4所述的自动识别算法指标测试的方法，其特征在于，根据所述包含对象空间位置的图片信息对应的测试序列标记值和表结构中的对象空间位置值对当前算法结果中的图片进行命名。

7.根据权利要求3所述的自动识别算法指标测试的方法，其特征在于，对视频序列进行解码，获取视频序列对应的原始颜色编码数据，对所述原始颜色编码数据逐帧进行标记，记录每帧在整个测试序列中的位置。

8.根据权利要求3所述的自动识别算法指标测试的方法，其特征在于，将测试序列输入一测试算法中，先对测试算法的测试结果中错误信息进行标注，再输出正确结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至8中任一项所述方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述方法。

Images