CN107679578A - 目标识别算法的测试方法、装置及系统 - Google Patents

Abstract

本发明提供了一种目标识别算法的测试方法、装置及系统，涉及图像识别技术领域，该方法包括：获取待测视频的帧图像，待测视频中包含有目标对象；确定目标对象的基准识别参数，基准识别参数包括目标对象对应的帧位置信息；应用目标识别算法对待测视频进行目标对象的识别，得到目标对象的算法识别参数，算法识别参数包括目标识别算法识别过程中记录的帧位置信息；根据基准识别参数和算法识别参数确定目标识别算法的性能，该性能包括识别延迟时长。本发明考虑了算法的识别延迟时长，对人脸识别算法效果的测评更加准确可靠。

Description

目标识别算法的测试方法、装置及系统

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种目标识别算法的测试方法、装置及系统。

背景技术

在人脸识别业务中，识别人脸的速度与用户体验有着重要关联，识别时间越长，用户体验度越低。而人脸跟踪算法是人脸识别业务中所采用的关键手段，较大程度上决定着人脸识别的速度，因此，对人脸跟踪算法的效果的测评至关重要。

发明人在研究过程中发现，现有技术中仅仅计算人脸跟踪算法识别出人脸的识别时长，通过计算所得的识别时长评估人脸识别的速度，然而实际应用中，人脸识别的真实用时往往长于算法所用的识别时长。

发明内容

有鉴于此，本发明的目的在于提供一种目标识别算法的测试方法、装置及系统，考虑了算法的识别延迟时长，对人脸识别算法效果的测评更加准确可靠。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种目标识别算法的测试方法，包括：获取待测视频的帧图像，所述待测视频中包含有目标对象；确定所述目标对象的基准识别参数，所述基准识别参数包括所述目标对象对应的帧位置信息；应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数，所述算法识别参数包括所述目标识别算法识别过程中记录的帧位置信息；根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能，所述性能包括识别延迟时长。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能的步骤，包括：比对所述基准识别参数和所述算法识别参数确定差异值；根据所述差异值确定所述目标识别算法的性能。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述确定所述目标对象的基准识别参数的步骤，包括：确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号；将所述第一帧号和所述第二帧号作为所述目标对象对应的帧位置信息。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号的步骤，包括：接收用户对所述待测视频的标注信息；根据所述标注信息，确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数的步骤，包括：将所述待测视频输入至目标识别算法，以使所述目标识别算法对所述待测视频中的目标对象进行检测识别；接收所述目标识别算法对所述目标对象进行检测识别后输出的在所述目标识别算法识别过程中记录的帧位置信息；所述目标识别算法识别过程中记录的帧位置信息包括：所述目标识别算法检测到的所述目标对象首次出现的帧图像的第三帧号，以及对所述目标对象进行识别所采用的帧图像的第四帧号。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述比对所述基准识别参数和所述算法识别参数确定差异值的步骤，包括：比对所述第三帧号和所述第一帧号得到第一差值，以及比对所述第四帧号和所述第二帧号得到第二差值。所述根据所述差异值确定所述目标识别算法的性能的步骤，包括：根据所述第一差值和第二差值，以及相邻帧图像的间隔时长，确定所述目标识别算法的识别延迟时长。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述算法识别结果确定所述目标识别算法的性能的步骤，包括：按照以下公式确定识别延迟时长：t＝((a-b)-(f(x)-x))*T；其中，a为第四帧号；b为第二帧号；f(x)为第三帧号；x为第一帧号；T为相邻帧图像的间隔时长。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，所述目标识别算法的性能还包括所述算法识别时间，所述方法还包括：根据所述算法识别参数确定所述目标识别算法的算法识别时间。

进一步，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述根据所述算法识别参数确定所述目标识别算法的算法识别时间的步骤，包括：按照以下公式确定所述目标识别算法的算法识别时间t₂＝(a-f(x))*T；其中，a为所述目标识别算法对所述目标对象进行识别所采用的帧图像的帧号，f(x)为所述目标识别算法首次检测到所述目标对象的帧图像的帧号，T为相邻帧图像的间隔时长。

进一步，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述方法还包括：当所述待测视频包括多个目标对象时，确定多个待测视频分别对应的算法识别时间和识别延迟时长；对多个所述算法识别时间求平均得到算法识别平均时间，以及对多个所述识别延迟时长求平均得到识别延迟平均时长；根据所述算法识别平均时间和/或所述识别延迟平均时长确定所述目标识别算法的综合性能。

进一步，本发明实施例提供了第一方面的第十种可能的实施方式，其中，所述获取待测视频的帧图像的步骤包括：获取包含有目标对象的待测视频；解码所述待测视频得到各帧图像；按照时序排列所述帧图像。

第二方面，本发明实施例还提供一种目标识别算法的测试装置，包括：帧图像获取模块，用于获取待测视频的帧图像，所述待测视频中包含有目标对象；基准确定模块，用于确定所述目标对象的基准识别参数，所述基准识别参数包括所述目标对象对应的帧位置信息；算法识别模块，用于应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数，所述算法识别参数包括所述目标识别算法识别过程中记录的帧位置信息；性能确定模块，用于根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能，所述性能包括识别延迟时长。

第三方面，本发明实施例提供了一种目标识别算法的测试系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集待测视频；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种目标识别算法的测试方法、装置及系统，首先确定待测视频中的目标对象的基准识别参数(包括目标对象对应的帧位置信息)，再应用目标识别算法识别该待测视频的目标对象，得到算法识别参数(包括目标识别算法识别过程中记录的帧位置信息)，从而根据基准识别参数和算法识别参数确定目标识别算法的性能，该性能包括识别延迟时长。也即，可以根据目标对象实际对应的帧位置信息和目标识别算法记录的帧位置信息而计算识别延迟时长。这种方式充分考虑到了目标识别算法的识别延迟时长，使对人脸识别算法效果的测评更加准确可靠。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种目标识别算法的测试方法的流程图；

图3示出了本发明实施例所提供的一种目标识别算法的测试装置的结构示意图；

图4示出了本发明实施例所提供的另一种目标识别算法的测试装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

出于多种原因，诸如人脸跟踪算法等目标识别算法在对目标对象进行识别时，可能会有延迟。诸如，与本地识别相比，网络识别由于网络因素导致算法识别较慢等。因此仅基于对目标识别算法的识别时长进行测评，可靠性不高。为了提高对目标识别算法的效果进行测评的准确性，本发明实施例提供的一种目标识别算法的测试方法、装置及系统，可以应用于对目标识别算法的效果进行测评的场合，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的目标识别算法的测试方法、装置及系统的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的目标识别算法的测试方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

实施例二：

参照图2所示的一种目标识别算法的测试方法的流程图，该方法包括如下步骤：

步骤S202，获取待测视频的帧图像，待测视频中包含有目标对象。

在本发明实施例中，给出一种获取待测视频的帧图像的实施方式：(1)获取包含有目标对象的待测视频。实际应用中可以通过摄像装置采集待测视频。(2)解码待测视频得到各帧图像。诸如，可以采用FFmpeg工具逐帧解码视频，以预设周期为单位，切割视频流中各帧的画面并保存。预设周期可以为每秒25帧，当然也可以设定其它数值。(3)按照时序排列帧图像。各帧图像可以按照时序顺序而编排帧号。

上述目标对象可以为行人，当然也可以为其它对象。待测视频中目标对象的身份可以通过包含目标对象身份信息的底库而确定。

步骤S204，确定目标对象的基准识别参数，基准识别参数包括目标对象对应的帧位置信息。该帧位置信息为目标对象的实际帧位置信息，具体可以包括目标对象首次出现的帧位置信息以及首次可识别的帧位置信息。首次可识别的意思是第一次能看清该目标对象，以目标对象是人脸为例，首次可识别表示第一次能正脸看清，五官可完整识别、无其它遮挡等。

以下为一种确定基准识别参数的实施方式：

(1)确定目标对象在待测视频中首次出现时的帧图像的第一帧号，以及目标对象在待测视频中首次可识别的帧图像的第二帧号。

(2)将第一帧号和第二帧号作为目标对象对应的帧位置信息。

在实际应用中，也可以将基准识别参数记录为序列形式。诸如，目标对象-第一帧号-第二帧号。

步骤S206，应用目标识别算法对待测视频进行目标对象的识别，得到目标对象的算法识别参数。该算法识别参数包括目标识别算法识别过程中记录的帧位置信息。

以下为一种确定算法识别参数的实施方式：

(1)将待测视频输入至目标识别算法，以使目标识别算法对待测视频中的目标对象进行检测识别。当目标对象为行人时，该目标识别算法可以为人脸跟踪算法、人脸识别算法或人脸检测算法等。

(2)接收目标识别算法对目标对象进行检测识别后输出的在目标识别算法识别过程中记录的帧位置信息；目标识别算法识别过程中记录的帧位置信息包括：目标识别算法检测到的目标对象首次出现的帧图像的第三帧号，以及目标识别算法对该目标对象进行识别所采用的帧图像的第四帧号。

在实际应用中，也可以将算法识别参数记录为序列形式。诸如，目标识别对象-第三帧号-第四帧号。

步骤S208，根据基准识别参数和算法识别参数确定目标识别算法的性能，该性能包括识别延迟时长。

具体的，可以比对基准识别参数和算法识别参数确定差异值；根据差异值确定目标识别算法的性能。也即，可以比对第三帧号和第一帧号得到第一差值，以及比对第四帧号和第二帧号得到第二差值。基于第一差值和第二差值，以及各帧图像相邻的时间值，确定识别延迟时长。

本发明实施例提供的上述目标识别算法的测试方法，首先确定待测视频中的目标对象的基准识别参数(包括目标对象对应的帧位置信息)，再应用目标识别算法识别该待测视频的目标对象，得到算法识别参数(包括目标识别算法识别过程中记录的帧位置信息)，从而根据基准识别参数和算法识别参数确定目标识别算法的性能，该性能包括识别延迟时长。也即，可以根据目标对象实际对应的帧位置信息和目标识别算法记录的帧位置信息而计算识别延迟时长。这种方式充分考虑到了目标识别算法的识别延迟时长，使对人脸识别算法效果的测评更加准确可靠。

应当说明的是，本发明实施例提供目标识别算法的测试方法并不以图1以及以下所述的具体顺序为限制。诸如步骤S204和步骤S206可以根据实际需要相互交换。

为了使目标图像对应的实际帧位置信息更加精确，确定第一帧号和第二帧号的方式可以为：接收用户对待测视频的标注信息；根据标注信息，确定目标对象在待测视频中首次出现时的帧图像的第一帧号，以及目标对象在待测视频中首次可识别的帧图像的第二帧号。这种通过人工标注的方式可以较好地确保目标图像对应的实际帧位置信息的可靠性，从而成为后续评测目标识别算法的基准。

为了便于理解，给出了一种按照以下公式确定识别延迟时长：

t＝((a-b)-(f(x)-x))*T

其中，a为第四帧号；b为第二帧号；f(x)为第三帧号；x为第一帧号；T为相邻帧图像的间隔时长。诸如，待测视频在切割时为每秒25帧，也即帧率为25时，相邻帧图像的间隔时长T＝1/25s。

考虑到算法识别时间也是评测目标识别算法的评测因素，上述方法还包括：根据算法识别参数确定目标识别算法的算法识别时间；目标识别算法的性能还包括算法识别时间。该算法识别时间为目标识别算法从算法首次检测到的目标对象首次出现在待测视频中的帧图像，至算法首次识别出目标对象的帧图像之间的所用时长。

本实施例给出一种根据算法识别参数确定目标识别算法的算法识别时间的步骤，包括：

按照以下公式确定目标识别算法的算法识别时间：

t₂＝(a-f(x))*T

其中，a为目标识别算法对目标对象进行识别所采用的帧图像的帧号，f(x)为目标识别算法首次检测到目标对象的帧图像的帧号，T为相邻帧图像的间隔时长。

本实施例中，也可以根据识别延迟时长和算法识别时间对目标识别算法的效果进行较为全面准确的评测。

进一步，为了使目标识别算法的测评更加准确，上述方法还可以执行如下步骤：

(1)当所述待测视频包括多个目标对象时，确定多个目标对象分别对应的算法识别时间和识别延迟时长；

(2)对多个算法识别时间求平均得到算法识别平均时间，以及对多个识别延迟时长求平均得到识别延迟平均时长；

(3)根据算法识别平均时间和/或识别延迟平均时长确定目标识别算法的综合性能。

通过对待测视频中的多个目标对象分别测试并取平均值，可以较客观准确地评测目标识别算法对于该待测视频下的识别效果。

对于一个场景，可以拍摄多段待测视频，对多段待测视频分别进行测试，确定各自的算法识别时间和/或识别延迟时长，对所得的多段待测视频的算法识别时间求平均，以及多段待测视频的识别延迟时长求平均，可以将平均值作为该待测视频在该场景下的测评指标，这种一个场景下通过多段视频对目标识别算法进行测评，进一步提升了测评的准确性和可靠性。

通过本实施例提供的测评方法，可以分别测评目标识别算法在不同场合下(诸如不同的场景、不同的视频路数等)的识别效果，以便于后续根据测评结果改进目标识别算法，较好地优化目标识别算法。

实施例三：

对于实施例二中所提供的目标识别算法的测试方法，本发明实施例提供了一种该方法的应用示例，在该方法中，以目标对象是人为例进行说明，目标识别算法采用人脸跟踪算法。当然，也可以采用本方法对人脸识别算法或人脸检测算法进行测试。具体可以参照如下步骤执行：

a，准备一段多人次可读取的视频流，其中，多人次是指视频流中的画面总共出现的人次至少为一人；该视频流即为前述实施例中的待测视频。

b，准备一个包含上述人次信息的底库，其中，底库指的是一批人的图像或者图像特征值的集合，用作识别各个人的身份。通过该底库，则可以确知每个人的身份，也即确知目标对象。

c，利用FFmpeg工具逐帧解码视频，以视频每秒帧数(诸如每秒25帧)为单位，切割该段视频流中的所有帧的画面(也即帧图像)并保存下来。

d，以track(跟踪)为单位，记录待测视频中每个人出现的情况。其中track的定义为：从人脸刚刚出现开始，到该人脸完全离开画面为止，叫做一个track。

e，标注并将所有的track归并成识别序列。例如，张三在底库中的ID为10001，张三的一个track在首次出现在画面中的帧号(也即，前述实施例中的第一帧号)是100，离开画面的帧号是175，标注时第一次能看清正脸的帧号(也即，前述实施例中的第二帧号)是120，那么我们记为“10001-100-120-175”。

f，将这段视频送入人脸识别算法，人脸识别算法处理后返回类似于步骤e中格式的结果，假设算法返回值为“10001-110-135”，110表示算法首次检测到人脸的帧号(也即，前述实施例中的第三帧号)，135为算法做人脸识别用的帧号(也即，前述实施例中的第四帧号)。

g，确定算法识别时间和识别延迟时长。算法识别时间为：(135-110)/25＝1秒。设算法读入视频流的网络延迟为一个函数f(x)，x为人工标注的用户人脸首次出现在画面的帧号，f(x)为算法实际检测到的用户人脸首次出现的帧号，根据人脸识别算法返回的结果，上述即为f(100)＝110，识别延迟时长为：[(135-120)-(110-100)]/25秒，用公式可以表达为：

识别延迟时长：t＝(((a-b)-(f(x)-x)))/25；

其中a表示算法做人脸识别用的帧号，b表示人工标注的第一次能看清正脸的帧号。

h，对不同场景下的视频流或者不同路数的视频流可以分别测评人脸识别算法的效果；对于每种情况都可以重复多次，以得到每种情况下的识别延迟平均时长和算法识别平均时间，从而依据平均值而对人脸识别算法在各情况下的效果进行综合评估。

诸如，以场景划分为例，可以有较为空旷、人流较少的场景，或者较为拥堵、人流较多的场景，在不同场景下可以重复多次检测人脸识别算法的效果。人脸识别算法也可以同时识别多路视频，以3路视频为例，诸如办公场所在不同位置分设有3个摄像头采集视频流，当然，也可以为其它场合下设置的不同路数的视频流，均可以利用上述方式分别检测人脸识别算法对不同路数视频流的识别效果。

此外，在实际应用中，通过多次测试，也可以根据大量数据拟合得到f(x)的函数表达式。在之后对场合进行测试时，可以直接应用上述公式确定识别延迟时长。

综上所述，本实施例提供的目标识别算法的测试方法，通过算法识别得到的结果与人工标定的实际结果相比较，确定算法的识别延迟时长。将识别延迟时长作为评测算法效果的因素，更加切合实际，使得对算法的评测更加准确可靠。

实施例四：

对应于前述方法实施例，本实施例提供了一种目标识别算法的测试装置，参见图3所示的一种目标识别算法的测试装置的结构示意图，包括：

帧图像获取模块302，用于获取待测视频的帧图像，该待测视频中包含有目标对象。

具体的，可以包括如下单元：视频获取单元，用于获取包含有目标对象的待测视频；帧图像获取单元，用于解码待测视频得到各帧图像；排列单元，用于按照时序排列帧图像。

基准确定模块304，用于确定目标对象的基准识别参数，基准识别参数包括目标对象对应的帧位置信息。

具体的，可以包括：帧号确定单元，用于确定目标对象在待测视频中首次出现时的帧图像的第一帧号，以及目标对象在待测视频中首次可识别的帧图像的第二帧号；基准设定单元，用于将第一帧号和第二帧号作为目标对象对应的帧位置信息。此外，帧号确定单元还用于：接收用户对待测视频的标注信息；根据标注信息，确定目标对象在待测视频中首次出现时的帧图像的第一帧号，以及目标对象在待测视频中首次可识别的帧图像的第二帧号。

算法识别模块306，用于应用目标识别算法对待测视频进行目标对象的识别，得到目标对象的算法识别参数，算法识别参数包括目标识别算法识别过程中记录的帧位置信息。

具体的，可以包括如下单元：算法检测单元，用于将待测视频输入至目标识别算法，以使目标识别算法对待测视频中的目标对象进行检测识别；算法参数获取单元，用于接收目标识别算法对目标对象进行检测识别后输出的在目标识别算法识别过程中记录的帧位置信息；目标识别算法识别过程中记录的帧位置信息包括：目标识别算法检测到的目标对象首次出现的帧图像的第三帧号，以及对目标对象进行识别所采用的帧图像的第四帧号。

性能确定模块308，用于根据基准识别参数和算法识别参数确定目标识别算法的性能，性能包括识别延迟时长。

具体的，包括：差异确定单元，用于比对基准识别参数和算法识别参数确定差异值；性能确定单元，用于根据差异值确定目标识别算法的性能。进一步，差异确定单元还用于：比对第三帧号和第一帧号得到第一差值，以及比对第四帧号和第二帧号得到第二差值。

本发明实施例提供的上述目标识别算法的测试装置，首先确定待测视频中的目标对象的基准识别参数(包括目标对象对应的帧位置信息)，再应用目标识别算法识别该待测视频的目标对象，得到算法识别参数(包括目标识别算法识别过程中记录的帧位置信息)，从而根据基准识别参数和算法识别参数确定目标识别算法的性能，该性能包括识别延迟时长。也即，可以根据目标对象实际对应的帧位置信息和目标识别算法记录的帧位置信息而计算识别延迟时长。这种方式充分考虑到了目标识别算法的识别延迟时长，使对人脸识别算法效果的测评更加准确可靠。

参见图4所示的另一种目标识别算法的测试装置的结构示意图，在图3的基础上，还示意出性能确定模块308包括：延迟时长确定单元3082和识别时间确定单元3084。

具体的，延迟时长确定单元3082，用于按照以下公式确定识别延迟时长：

t＝((a-b)-(f(x)-x))*T

其中，a为第四帧号；b为第二帧号；f(x)为第三帧号；x为第一帧号；T为相邻帧图像的间隔时长。

识别时间确定单元3084，用于根据算法识别参数确定目标识别算法的算法识别时间；目标识别算法的性能还包括算法识别时间。另一种实施方式中，识别时间确定单元用于按照以下公式确定目标识别算法的算法识别时间：

t₂＝(a-f(x))*T；

其中，a为目标识别算法对目标对象进行识别所采用的帧图像的帧号，f(x)为目标识别算法首次检测到目标对象的帧图像的帧号，T为相邻帧图像的间隔时长。

在实际应用中，装置还可以包括：多对象确定模块，用于分别确定多个待测视频分别对应的算法识别时间和识别延迟时长；平均值获取模块，用于对多个算法识别时间求平均得到算法识别平均时间，以及对多个识别延迟时长求平均得到识别延迟平均时长；综合性能确定模块，用于根据算法识别平均时间和/或识别延迟平均时长确定目标识别算法的综合性能。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

本发明实施例提供了一种目标识别算法的测试系统，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集待测视频；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如前述方法实施例所提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的一种目标识别算法的测试方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种目标识别算法的测试方法，其特征在于，包括：

获取待测视频的帧图像，所述待测视频中包含有目标对象；

确定所述目标对象的基准识别参数，所述基准识别参数包括所述目标对象对应的帧位置信息；

应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数，所述算法识别参数包括所述目标识别算法识别过程中记录的帧位置信息；

根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能，所述性能包括识别延迟时长。

2.根据权利要求1所述的测试方法，其特征在于，所述根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能的步骤，包括：

比对所述基准识别参数和所述算法识别参数确定差异值；

根据所述差异值确定所述目标识别算法的性能。

3.根据权利要求2所述的测试方法，其特征在于，所述确定所述目标对象的基准识别参数的步骤，包括：

确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号；

将所述第一帧号和所述第二帧号作为所述目标对象对应的帧位置信息。

4.根据权利要求3所述的测试方法，其特征在于，所述确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号的步骤，包括：

接收用户对所述待测视频的标注信息；

根据所述标注信息，确定所述目标对象在所述待测视频中首次出现时的帧图像的第一帧号，以及所述目标对象在所述待测视频中首次可识别的帧图像的第二帧号。

5.根据权利要求3所述的测试方法，其特征在于，所述应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数的步骤，包括：

将所述待测视频输入至目标识别算法，以使所述目标识别算法对所述待测视频中的目标对象进行检测识别；

接收所述目标识别算法对所述目标对象进行检测识别后输出的在所述目标识别算法识别过程中记录的帧位置信息；所述目标识别算法识别过程中记录的帧位置信息包括：所述目标识别算法检测到的所述目标对象首次出现的帧图像的第三帧号，以及对所述目标对象进行识别所采用的帧图像的第四帧号。

6.根据权利要求5所述的测试方法，其特征在于，

所述比对所述基准识别参数和所述算法识别参数确定差异值的步骤，包括：

比对所述第三帧号和所述第一帧号得到第一差值，以及比对所述第四帧号和所述第二帧号得到第二差值；

所述根据所述差异值确定所述目标识别算法的性能的步骤，包括：

根据所述第一差值和第二差值，以及相邻帧图像的间隔时长，确定所述目标识别算法的识别延迟时长。

7.根据权利要求5或6所述的测试方法，其特征在于，所述根据所述算法识别结果确定所述目标识别算法的性能的步骤，包括：

按照以下公式确定识别延迟时长：

t＝((a-b)-(f(x)-x))*T

其中，a为第四帧号；b为第二帧号；f(x)为第三帧号；x为第一帧号；T为相邻帧图像的间隔时长。

8.根据权利要求1所述的测试方法，其特征在于，所述目标识别算法的性能还包括所述目标识别算法的算法识别时间，所述方法还包括：根据所述算法识别参数确定所述目标识别算法的算法识别时间。

9.根据权利要求8所述的测试方法，其特征在于，所述根据所述算法识别参数确定所述目标识别算法的算法识别时间的步骤，包括：

按照以下公式确定所述目标识别算法的算法识别时间：

t₂＝(a-f(x))*T

其中，a为所述目标识别算法对所述目标对象进行识别所采用的帧图像的帧号，f(x)为所述目标识别算法首次检测到所述目标对象的帧图像的帧号，T为相邻帧图像的间隔时长。

10.根据权利要求8所述的测试方法，其特征在于，所述方法还包括：

当所述待测视频包括多个目标对象时，确定多个所述目标对象分别对应的算法识别时间和识别延迟时长；

对多个所述算法识别时间求平均得到算法识别平均时间，以及对多个所述识别延迟时长求平均得到识别延迟平均时长；

根据所述算法识别平均时间和/或所述识别延迟平均时长确定所述目标识别算法的综合性能。

11.根据权利要求1所述的测试方法，其特征在于，所述获取待测视频的帧图像的步骤包括：

获取包含有目标对象的待测视频；

解码所述待测视频得到各帧图像；

按照时序排列所述帧图像。

12.一种目标识别算法的测试装置，其特征在于，包括：

帧图像获取模块，用于获取待测视频的帧图像，所述待测视频中包含有目标对象；

基准确定模块，用于确定所述目标对象的基准识别参数，所述基准识别参数包括所述目标对象对应的帧位置信息；

算法识别模块，用于应用目标识别算法对所述待测视频进行所述目标对象的识别，得到所述目标对象的算法识别参数，所述算法识别参数包括所述目标识别算法识别过程中记录的帧位置信息；

性能确定模块，用于根据所述基准识别参数和所述算法识别参数确定所述目标识别算法的性能，所述性能包括识别延迟时长。

13.一种目标识别算法的测试系统，其特征在于，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集待测视频；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至11任一项所述的方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至11任一项所述的方法的步骤。