CN112733948A

CN112733948A - 一种全目标关联指标自动化测试方法、系统、介质及终端

Info

Publication number: CN112733948A
Application number: CN202110056212.1A
Authority: CN
Inventors: 夏伟; 彭豪杨; 陈婉婉; 黄超; 胡舒瀚
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2021-01-15
Filing date: 2021-01-15
Publication date: 2021-04-30
Anticipated expiration: 2041-01-15
Also published as: CN112733948B

Abstract

本发明提供一种全目标关联指标自动化测试方法、系统、介质及终端，方法包括：获取图像数据，以及图像数据的第一检测结果，对图像数据中的目标对象进行预标注；对第一检测结果进行目标赋值，并通过目标赋值表示人脸目标与关联目标之间的映射关系；获取第二检测结果，将目标对象的人脸图像的特征向量，与第一检测结果中的人脸图像的特征向量进行对比，获取全目标关联率和全目标关联精确率；本发明可以有效实现全目标关联指标各泛化场景下的自动化测试，能高效、精确地评测全目标关联指标，发现算法缺陷，有效指导全目标关联算法优化方向；自动化测试流程清晰，结果可靠性高；针对不同场景测试集特征向量比对相似度差异，预设相似度阈值可单独配置。

Description

一种全目标关联指标自动化测试方法、系统、介质及终端

技术领域

本发明涉及电子领域，尤其涉及一种全目标关联指标自动化测试方法、系统、介质及终端。

背景技术

随着GPU等硬件设备的研发和人工智能相关软件算法的成熟，人工智能逐渐被大规模应用各个领域，目标检测是其中的重要功能，识别对象一般包含人脸、人体、机动车、非机动车，在目标检测中，单一目标往往价值不够高，关联结合全目标是未来人工智能的一个发展方向，为智慧城市的建设可以提供巨大的帮助，其在相关技战法方面的应用意义非凡。

目前，对于全目标关联算法开发，主要包括人脸与人体关联，人脸与机动车关联，人脸、人体与非机动车之间关联等。但是，存在诸多原因导致全目标关联算法指标较差，如：

不同目标检测算法模型效果不一，导致关联率不高，如人脸检测算法较为成熟，而人体或非机动车检出率相对低，部分目标未抓拍；

实际应用场景不一，目标跟踪算法场景泛化能力有限，导致关联精确率不高，如场景存在遮挡，视频中人群密集，目标人体与其他人体存在交错位置等。

而算法指标的优化提升离不开测试数据分析，目前主流测试方法为手工测试，效率低下、测试集较少，且存在主观误差。缺乏一种系统性的自动化测试方法可以方便、准确地评测出关联算法长处、短处，指导分析优化方向以提高关联率、关联精确率。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种全目标关联指标自动化测试方法、系统、介质及终端，以解决上述技术问题。

第一方面，本发明实施例提供一种全目标关联指标自动化测试方法，包括：

获取图像数据，以及图像数据的第一检测结果，所述第一检测结果至少包括抓拍的人脸图像和关联图像，所述关联图像包括人体图像、关联的机动车目标图像和非机动车目标图像；

对所述第一检测结果中的目标对象进行预标注，获取标注结果，所述标注结果包括N组人脸目标、与其对应关联的N组关联目标，以及全目标关联关系，所述关联目标包括人体目标、关联的机动车目标和非机动车目标；

对所述第一检测结果进行目标赋值，并通过目标赋值表示人脸目标与关联目标之间的映射关系；

获取第二检测结果，所述第二检测结果包括图像的特征向量，所述图像的特征向量包括人脸图像的特征向量和关联图像的特征向量，将目标对象的特征向量，与第一检测结果中的特征向量进行对比，根据对比结果、所述全目标关联关系和映射关系，获取全目标关联率和全目标关联精确率，完成全目标关联测试。

第二方面，本发明实施例提供一种全目标关联指标自动化测试系统，包括：

图像采集模块，用于获取图像数据；

图像检测模块，用于获取图像数据的第一检测结果，所述第一检测结果至少包括抓拍的人脸图像和人体图像；

预标注模块，用于对所述第一检测结果中的目标对象进行预标注，获取标注结果，所述标注结果包括N组人脸目标、与其对应关联的N组关联目标，以及全目标关联关系，所述关联目标包括人体目标、机动车目标和非机动车目标；

存储模块，用于信息存储；

关联指标测试模块，用于对所述第一检测结果进行目标赋值，并通过目标赋值表示人脸目标与关联目标之间的映射关系；获取第二检测结果，所述第二检测结果包括图像的特征向量，所述图像的特征向量包括人脸图像的特征向量和关联图像的特征向量，将目标对象的特征向量，与第一检测结果中的特征向量进行对比，根据对比结果、所述全目标关联关系和映射关系，获取全目标关联率和全目标关联精确率，完成全目标关联测试。

第三方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述中任一项所述方法。

第四方面，本发明实施例还提供一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求上述中任一项所述方法。

本发明实施例的有益效果：本发明实施例中的全目标关联指标自动化测试方法、系统、介质及终端，可以有效实现全目标关联指标各泛化场景下的自动化测试，能高效、精确地评测全目标关联指标，发现算法缺陷，以及泛化能力相对薄弱场景，有效指导全目标关联算法优化方向；本发明自动化测试流程清晰，结果可靠性高；本发明实施例中的测试场景可泛化，针对不同场景测试集特征向量比对相似度差异，预设相似度阈值可单独配置。

附图说明

图1是本发明实施例中全目标关联指标自动化测试方法的自动化测试流程示意图。

图2是本发明实施例中全目标关联指标自动化测试方法的预标注关系示意图。

图3是本发明实施例中全目标关联指标自动化测试方法的整体流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图3所示，本实施例中的全目标关联指标自动化测试方法，包括：

S1.获取图像数据，以及图像数据的第一检测结果，第一检测结果至少包括抓拍的人脸图像和关联图像，关联图像包括人体图像、关联的机动车目标图像和非机动车目标图像；

S2.对图像数据中的目标对象进行预标注，获取标注结果，标注结果包括N组人脸目标、与其对应关联的N组关联目标，以及全目标关联关系，关联目标包括人体目标、关联的机动车目标和非机动车目标；

S3.对第一检测结果进行目标赋值，并通过目标赋值表示人脸目标与关联目标之间的映射关系；

S4.获取第二检测结果，第二检测结果包括图像的特征向量，图像的特征向量包括人脸图像的特征向量和关联图像的特征向量，将目标对象的特征向量，与第一检测结果中的特征向量进行对比，根据对比结果、全目标关联关系和映射关系，获取全目标关联率和全目标关联精确率，完成全目标关联测试。

在本实施例的步骤S1中，图像数据包括视频数据，视频数据可以为多段，在本实施例的步骤S2中，对视频进行预标注，本实施例中的标注方法可以包含人工标注方法，或可选的通过自动化标注方法，本实施例中以半自动化标注方法进行举例说明，通过使用放宽抓拍阈值的目标跟踪检测算法，保证所有目标都能跟踪并抓拍。通过对目标人脸在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取侧脸、正脸质量分数最高的图像，以及对目标人体在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取正面、侧面、背面质量分数最高的图像，获取标注结果，并进行存储(所有帧中人脸只有一个角度，则只抓拍存储该角度质量分数最高的图像)。同样的，对目标人体在视频所有帧中的运动轨迹进行跟踪和质量打分，分别选取正面、侧面、背面质量分数最高的图像进行存储(所有帧中都不存在的角度，则无需进行抓拍)。

在本实施例中，标注结果包括N组人脸目标、与其对应关联的N组关联目标，以及全目标关联关系，关联目标包括人体目标、关联的机动车目标和非机动车目标，最后确认全目标关联关系，关联对象间可通过文件名称唯一识别，例如：faceAnswer_001_a、faceAnswer_001_b与personAnswer_001_a、personAnswer_001_b、personAnswer_001_c,faceAnswer_002_a、faceAnswer_002_b与personAnswer_002_a、personAnswer_002_b、personAnswer_002_c......faceAnswer_N_a、faceAnswer_N_b与personAnswer_N_a、personAnswer_N_b、personAnswer_N_c，本实施例中以人脸与人体关联举例，人体与非机动车关联类似，将分数最高的人脸图像和人体图像进行存储，并通过文件名对不同的关联对象进行识别，将标注结果保存归档到文件夹“全目标关联答案”，若为多段待测视频，则为多个预标注文件夹。预标注关系示意附图2所示。

在本实施例中，对源视频进行全目标跟踪、优选检测抓拍，将所有检出抓拍的人脸小图、人体小图、场景大图存储在云存储中；对所有检出的人脸小图、人体小图提取特征向量，并存储在内存中或硬盘等存储器件中。对第一检测结果进行目标赋值“抓拍ID”和“关联ID”，本实施例中的关联ID内容可自定义，其中“抓拍ID”和“关联ID”为一一交叉对应关系，例如：对第一张抓拍人脸faceCapture001，“抓拍ID”赋值“202010105001”，与之关联的抓拍人体personCapture005，“抓拍ID”为“202010101005”，则人脸faceCapture001的“关联ID”为“202010101005”，反之人体personCapture005的“关联ID”为“202010105001”，将所有键值信息存储在数据库中。

在本实施例中，依次读取标注归档的人脸小图faceAnswer_001_a、faceAnswer_001_b，并提取特征向量Q1、Q2，与检出抓拍的所有人脸小图进行特征向量比对，本实施例中的人脸图像的特征向量包括正脸特征向量和/或侧脸特征向量，由于目标对象的人脸可能是正脸、侧脸中的1张或2张，因此对应的特征向量可能有1个或2个，任意一张角度标注人脸和算法检出抓拍人脸小图特征向量比对结果存在相似度达到预设阈值时(如95％，可配置)，假设该检出抓拍人脸为faceCaptureX，则进行后续判断；如果所有角度标注人脸的比对结果都不存在相似度达到预设阈值时，则认为算法未检出抓拍该目标人脸，将faceAnswer001及其关联的personAnswer001所有图片保存到文件夹“目标未检出&未关联”。在本实施中，图像的特征向量包括人脸图像的特征向量和关联图像的特征向量，因此，除了使用人脸特征向量对比，还需要进行第一检测结果和预标注各自关联的人体/非机动车/机动车特征向量对比，进而根据对比结果、全目标关联关系和映射关系，获取全目标关联率和全目标关联精确率，完成全目标关联测试。

在本实施例中，假设该检出抓拍人脸为faceCaptureX，后续判断为依次读取faceAnswer001关联的personAnswer001三张标注图像(personAnswer_001_a、personAnswer_001_b、personAnswer_001_c)并提取特征向量Q3、Q4、Q5，根据抓拍人脸faceCaptureX的“关联ID”(例如为“202010101X”)，可知该抓拍人脸faceCaptureX关联的抓拍人体personCaptureX“抓拍ID”也为“202010101X”，对标注对象personAnswer001的特征向量Q3、Q4、Q5依次与算法识别的personCaptureX的特征向量Q6进行特征比对，任意一组特征向量比对相似度达到预设阈值(如95％，可配置)，则认为该抓拍人脸与抓拍人体关联正确，将faceCaptureX及其关联的personCaptureX图片保存到文件夹“人脸与人体关联正确”；反之，比对相似度未达到预设阈值(如95％，可配置)，则认为该抓拍人脸与抓拍人体关联错误，将faceCaptureX及其关联的personCaptureX图片保存到文件夹“人脸与人体关联错误”，如图1所示，通过重复上述步骤，直到读取并测试完所有标注归档的人脸小图，然后进行统计。

在本实施例中，根据预标注文件夹“全目标关联答案”、“目标未检出&未关联”、“人脸与人体关联错误”、“人脸与人体关联正确”，

通过公式：

全目标关联率＝算法实际关联数量/应关联总数

全目标关联精确率＝算法实际关联正确数量/算法实际关联数量

自动计算人脸与人体关联率，人脸与人体关联精确率，并生成测试报告，展示每段测试视频的全目标关联算法指标结果明细，以及汇总结果。如表1所示。

表1

下面以两个具体实施例进行说明：

实施例1

上传待测试视频文件进行全结构化解析，全目标关联算法对源视频进行全目标跟踪优选检测，将抓拍图片存储在云存储中；对人脸提取A类特征向量，对人体提取B类特征向量，并将特征向量进行存储；对全目标进行关联并赋值唯一关联字段，抓拍人脸赋值“关联ID”为抓拍人体的“抓拍ID”，抓拍人体赋值“关联ID”为抓拍人脸的“抓拍ID”，关联信息存储在数据库中；读取预标注的人脸与人体关联答案，与全目标关联算法解析出的关联结果分别进行人脸1比N和人体1比1，最终得到全目标关联算法的评测指标结果“人脸与人体关联率”，“人脸与人体关联精确率”。

实施例2

上传待测试视频文件进行全结构化解析，全目标关联算法对源视频进行全目标跟踪优选检测，将抓拍图片存储在云存储中；对人体提取B类特征向量，对非机动车提取C类特征向量，并将特征向量存储于内存(或硬盘等)中；对全目标进行关联并赋值唯一关联字段，抓拍人体赋值“关联ID”为抓拍非机动车的“抓拍ID”，抓拍非机动车赋值“关联ID”为抓拍人体的“抓拍ID”，关联信息存储在数据库中；读取预标注的人体与非机动车关联答案，与全目标关联算法解析出的关联结果分别进行人体1比N和非机动车1比1，最终得到全目标关联算法的评测指标结果“人体与非机动车关联率”，“人体与非机动车关联精确率”。

相应的，本实施例还提供一种全目标关联指标自动化测试系统，包括：

图像采集模块，用于获取图像数据；

图像检测模块，用于获取图像数据的第一检测结果，第一检测结果至少包括抓拍的人脸图像和人体图像；

预标注模块，用于对第一检测结果中的目标对象进行预标注，获取标注结果，标注结果包括N组人脸目标、与其对应关联的N组关联目标，以及全目标关联关系，关联目标包括人体目标、机动车目标和非机动车目标；

存储模块，用于信息存储；

关联指标测试模块，用于对第一检测结果进行目标赋值，并通过目标赋值表示人脸目标与关联目标之间的映射关系；获取第二检测结果，第二检测结果包括图像的特征向量，将目标对象的人脸图像的特征向量，与第一检测结果中的人脸图像的特征向量进行对比，根据对比结果、全目标关联关系和映射关系，获取全目标关联率和全目标关联精确率，完成全目标关联测试。

在本实施例中，图像检测模块至少包括图像评价单元，用于通过对目标人脸在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取侧脸、正脸质量分数最高的图像，以及对目标人体在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取正面、侧面、背面质量分数最高的图像，获取标注结果。本实施中的测试系统，通过上述测试方法，实现全目标关联算法指标各泛化场景下的自动化测试。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。在上述实施例中，说明书对“本实施例”、的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种全目标关联指标自动化测试方法，其特征在于，包括：

2.根据权利要求1所述的全目标关联指标自动化测试方法，其特征在于，所述图像数据包括视频数据，通过对目标人脸在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取侧脸、正脸质量分数最高的图像，以及对目标人体在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取正面、侧面、背面质量分数最高的图像，获取所述标注结果。

3.根据权利要求2所述的全目标关联指标自动化测试方法，其特征在于，将分数最高的人脸图像和人体图像进行存储，并通过文件名对不同的关联对象进行识别。

4.根据权利要求3所述的全目标关联指标自动化测试方法，其特征在于，对所述第一检测结果进行目标赋值包括对人脸目标和关联目标分别赋值抓拍ID和关联ID，所述抓拍ID和关联ID为一一交叉对应关系。

5.根据权利要求4所述的全目标关联指标自动化测试方法，其特征在于，获取目标对象的人脸图像的特征向量，与第一检测结果中的人脸图像的特征向量进行对比，所述人脸图像的特征向量包括正脸特征向量和/或侧脸特征向量，

当对比结果的相似度未达到预设阈值时，则判定未检出抓拍该目标人脸，并将目标对象的人脸图像和所有关联图像进行存储；

当对比结果的相似度达到预设阈值时，则获取标注结果中与所述目标人脸关联的目标人体的正面、侧面、背面特征向量，并分别与第一检测结果中人体图像的特征向量进行比较，若任意一组的比较结果近似度达到预设的比较阈值时，则判定抓拍人脸与抓拍人体关联正确，否则，则判定抓拍人脸与抓拍人体关联错误，将所有判定结果的目标对象的人脸图像和所有关联图像进行存储。

6.根据权利要求5所述的全目标关联指标自动化测试方法，其特征在于，依次对所有标注结果进行测试，获取统计数据，所述获取统计数据包括：

将所述标注结果获取进行归档，获取全目标关联答案数据；根据所有对比结果，获取目标未检出或未关联数据，根据所有比较结果，获取人脸与人体关联正确数据和人脸与人体关联错误数据；

根据所述统计数据，获取全目标关联率和全目标关联精确率。

7.一种全目标关联指标自动化测试系统，其特征在于，包括：

图像采集模块，用于获取图像数据；

存储模块，用于信息存储；

8.根据权利要求7所述的全目标关联指标自动化测试系统，其特征在于，所述图像检测模块至少包括图像评价单元，用于通过对目标人脸在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取侧脸、正脸质量分数最高的图像，以及对目标人体在视频数据所有帧中的运动轨迹进行跟踪和质量打分，分别选取正面、侧面、背面质量分数最高的图像，获取所述标注结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至6中任一项所述方法。