CN112286780A - 识别算法的测试方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种识别算法的测试方法、装置、设备及存储介质。其中方法包括：采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数；其中，特征信息根据对视频测试序列中目标对象的标注参数生成；采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验；根据校验结果，确定待识别算法的测试结果。本发明实施例实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。

Description

识别算法的测试方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像识别技术领域，尤其涉及一种识别算法的测试方法、装置、设备及存储介质。

背景技术

目前，对图像进行识别时可通过不同的识别算法实现。例如，利用神经网络模型对图像进行识别，或者利用人脸跟踪算法对图像中的人脸进行识别等等。而识别算法的性能好坏影响着图像识别效果，因此对识别算法的性能进行测试尤为重要。

相关技术中，对识别算法进行测试时，通常是将测试序列输入至待识别算法中，以使待识别算法将测试序列中的每帧图像与底库中的图像进行相似度计算，并当相似度大于相似度阈值时，上报图像帧及图像帧中目标对象的小图及小图位置，直至对整个测试序列中的所有图像帧识别完毕，得到识别结果。然后通过人工对待识别算法的识别结果进行校验和统计，得出待识别算法的测试结果。

然而，通过人工方式对待识别算法的识别结果进行校验和统计，比较耗费人力和物力，且人工识别受主观因素影响较大，从而影响识别算法的测试准确度。

发明内容

本发明实施例提供一种识别算法的测试方法、装置、设备及存储介质，实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。

第一方面，本发明实施例提供了一种识别算法的测试方法，该方法包括：采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；根据校验结果，确定所述待识别算法的测试结果。

第二方面，本发明实施例还提供了一种识别算法的测试装置，该装置包括：第一确定模块，用于采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；校验模块，用于采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；第二确定模块，用于根据校验结果，确定所述待识别算法的测试结果。

第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一实施例所述的识别算法的测试方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时以实现如上任一实施例所述的识别算法的测试方法。

本发明实施例公开的技术方案，具有如下有益效果：

通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，并采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验，然后根据校验结果，确定待识别算法的测试结果。由此，通过视频测试序列中添加的特征信息，对识别算法的识别参数进行自动校验，以根据校验结果确定识别算法的测试结果，从而实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。

附图说明

图1是本发明实施例一提供的一种识别算法的测试方法的流程示意图；

图2是本发明实施例一提供的生成添加有特征信息的视频测试序列的流程示意图；

图3是本发明实施例一提供的在第i帧视频测试图像上标注的底图人物示意图；

图4是本发明实施例一提供的生成特征信息的示意图；

图5是本发明实施例一提供的将特征信息添加至视频测试图像上的示意图；

图6是本发明实施例二提供的一种识别算法的测试方法的流程示意图；

图7是本发明实施例二提供的标注区域和识别区域之间关系的示意图；

图8是本发明实施例二提供的确定标注区域和识别区域之间相交区域的示意图；

图9是本发明实施例三提供的一种识别算法的测试方法的流程示意图；

图10是本发明实施例四提供的一种识别算法的测试装置的结构示意图；

图11是本发明实施例五提供的一种识别算法的测试装置的结构示意图；

图12是本发明实施例六提供的一种识别算法的测试装置的结构示意图；

图13是本发明实施例七提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

本发明实施例针对相关技术中，通过人工方式对待识别算法的识别结果进行校验和统计，比较耗费人力和物力，且人工识别受主观因素影响较大，从而影响识别算法的测试准确度的问题，提出一种识别算法的测试方法。

本发明实施例，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，其中特征信息根据对视频测试序列中目标对象的标注参数生成，并采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验，然后根据校验结果确定待识别算法的测试结果。由此，通过视频测试序列中添加的特征信息，对识别算法的识别参数进行自动校验，以根据校验结果确定识别算法的测试结果，从而实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。

下面参考附图描述本发明实施例的识别算法的测试方法、装置、设备及存储介质进行详细说明。

实施例一

图1是本发明实施例一提供的一种识别算法的测试方法的流程示意图，本实施例可适用于对识别算法测试的情况，该方法可以由识别算法的测试装置来执行，以实现对识别算法测试过程进行控制，该识别算法的测试装置可由硬件和/或软件组成，并一般可集成于计算机设备中，该计算机设备可以是任意具有数据处理功能的设备，比如智能手机、平板电脑等。该识别算法的测试方法具体包括如下：

S101，采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成。

其中标注参数是通过人工操作对视频测试序列中目标对象进行标注的参数。

在本实施例中，特征信息为条形码或字符串。其中，条形码可以为一维码，也可以为二维码。

需要说明的是，本实施例中目标对象可为人，也可以为其它对象，比如车辆、动物等。

相应的，当目标对象为行人时，则待识别算法可为人脸跟踪算法、人脸识别算法等；当目标对象为车辆时，则待识别算法可为车牌识别算法、车型识别算法等。

为了更清楚的解释本发明实施例，下面以目标对象为行人为例进行具体说明。

可选的，在执行S101之前，对本实施例添加有特征信息的视频测试序列的生成过程进行说明。如图2所示，生成添加有特征信息的视频测试序列，可通过如下操作实现：

S201，获取用户在所述视频测试序列中每一帧视频测试图像上标注的底图人物。

由于采用自动标注方式，对视频测试序列中目标对象进行标注时存在标注不准确的问题。为此，本实施例通过人工方式，对视频测试序列中的目标对象进行人工标注，使得对目标对象的标注准确度更高，避免自动标注时存在的标注错误的情况，并且为后续根据标注参数对目标对象的识别参数进行准确校验提供了条件。

在本实施例中，通过用户将每一帧视频测试图像中的目标对象与底库中的人物图像进行比对。若任意帧视频测试图像中的目标对象与底库中的人物图像匹配时，则将该帧视频测试图像上的目标对象标注为匹配的底图人物。

例如，如图3所示，若用户确认视频测试序列中第i帧视频测试图像上的目标对象R1与底库人物A匹配，目标对象R2与底库人物B匹配，则在第i帧视频测试图像上将目标对象R1标注为底图人物A，目标对象R2标注为底图人物B。其中，i为大于1的正整数。

S202，根据所述标注的底图人物标识信息和所述底图人物在该帧视频测试图像中的位置，生成特征信息。

其中，底图人物标识信息是指能够唯一标识人物身份的信息，例如：图像编号、序列号等等，此处对其不做具体限定。

在本实施例中，该帧视频测试图像是指标注的底图人物所在的图像帧。

继续以图3举例，识别算法的测试装置根据第i帧视频测试图像上标注的底图人物，从底库中获取底图人物A的标识信息为：13549962，底图人物B的标识信息为：13549951，以及从第i帧视频测试图像上获取底图人物A的位置为：(x1，y1)，(x2，y1)，(x1，y2)，(x2，y2)，底图人物B的位置为：(x3，y3)，(x4，y3)，(x3，y4),(x4，y4)。即，获取的信息为：A：13549962，{(x1，y1)，(x2，y1)，(x1，y2)，(x2，y2)}；B：13549951，{(x3，y3)，(x4，y3),(x3，y4),(x4，y4)}，从而可根据上述底图人物A和人物B的标识信息和在第i帧视频测试图像中的位置进行编码，生成特征信息。

进一步的，为了便于后续对视频测试序列进行解码识别，本实施例可按照预设的数据格式，对底图人物标识信息和底图人物在该帧视频测试图像中的位置进行格式化处理。然后，再对处理后的底图人物标识信息和底图人物在该帧视频测试图像中的位置进行编码，生成特征信息。

需要说明的是，本实施例中特征信息可为一维码、二维码或者字符串，对此在对底图人物标识信息和底图人物在该帧视频测试图像中的位置进行编码时，可根据特征信息的形式采用不同的编码方式进行编码。

例如，若特征信息为二维码，则采用二维码编码方式进行编码。

继续以上述示例进行说明，假设编码方式为二维码编码方式，则先按照预设的数据格式，对A：13549962，{(x1，y1)，(x2，y1),(x1，y2),(x2，y2)}；B：13549951，{(x3，y3)，(x4，y3),(x3，y4),(x4，y4)}进行格式化处理后，得到13549962:(x1，y1)，(x2，y1),(x1，y2),(x2，y2)),13549951:((x3，y3)，(x4，y3),(x3，y4),(x4，y4)})，然后按照二维码编码方式进行编码生成二维码，具体生成过程参见图4。

S203，将生成的特征信息添加到该帧视频测试图像上。

由于视频测试序列中每一帧视频测试图像上都可能存在目标对象，且目标对象的数量为至少一个。因此，为了避免将生成的特征信息添加到该帧视频测试图像时，遮挡该帧视频测试图像上的目标对象。本实施例可确定该帧视频测试图像上除目标对象之外的区域，并将该区域作为特征区域，以将特征信息添加到该帧视频测试图像的特征区域，依次类推，直至对视频测试序列中每一帧视频测试图像均添加生成的特征信息位置。

也就是说，本实施例将生成的特征信息添加到该帧视频测试图像上，包括：

将该帧视频测试图像中除目标对象以外的区域作为特征区域；

将生成的特征信息添加到所述特征区域上。

其中，本实施例确定该帧视频测试图像上除目标对象之外的特征区域，可以是将该帧视频测试图像上的任一区域作为起点，对该视频测试图像进行遍历，确定该帧视频测试图像上除目标对象之外的特征区域。

其中，若该帧视频测试图像上存在多个特征区域，则将特征信息添加至多个特征区域中的任一区域。作为一种可选的实现方式，将特征信息添加至该帧视频测试图像的边缘区域。例如，如图5所示，将特征信息添加至第i帧视频测试图像的左下角边缘区域。

在生成添加有特征信息的视频测试序列之后，可将添加有特征信息的视频测试序列输入至待识别算法中，以通过待识别算法对添加有特征信息的视频测试序列中的目标对象进行识别，以得到目标对象的识别参数。

在本实施例中，待识别算法对添加有特征信息的视频测试序列中的目标对象进行识别的方式，与现有识别方式相同，此处对其不做过多赘述。

S102，采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验。

S103，根据校验结果，确定所述待识别算法的测试结果。

其中，待识别算法的测试结果可包括识别率和误识率。

可选的，当确定视频测试序列中目标对象的识别参数之后，识别算法的测试装置可根据标注参数对识别参数进行自动校验，得到校验结果。然后根据校验结果，确定待识别算法的测试结果。

本实施例中，确定待识别算法的测试结果，可根据校验结果，确定待识别算法对目标对象的正确识别次数和错误识别次数，然后根据视频测试序列中目标对象出现次数、正确识别次数及错误识别次数，确定待识别算法识别率和误识率。

可以理解的是，本实施例中仅需人工对视频测试序列进行一次标注，即可满足待识别算法的再次测试，及待识别算法改进后的测试，使得对待识别算法进行测试时能够避免人工对视频测试序列进行重复标注，并且基于上述标注生成的特征信息还能对待识别算法的识别结果进行自动校验和统计，节省了人力和物力。

本发明实施例提供的识别算法的测试方法，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，并采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验，然后根据校验结果，确定待识别算法的测试结果。由此，通过视频测试序列中添加的特征信息，对识别算法的识别参数进行自动校验，以根据校验结果确定识别算法的测试结果，从而实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。此外，通过对视频测试序列进行一次标注之后，对识别算法进行再次测试，或者改进后的测试，均无需对视频测试序列进行二次标注，并且也无需投入人力进行校验和统计，从而进一步节省人力和物力，且具有高可靠性和准确度。

实施例二

通过上述分析可知，本发明实施例通过目标对象的标注参数，对目标对象的识别参数进行校验，以根据校验结果，确定待识别算法的测试结果。

在本发明的一个实现场景中，本实施例中标注参数包括标注标识和标识位置，识别参数包括识别标识和识别位置，因此采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验可包括：将视频测试序列中目标对象的标注标识和识别标识进行匹配确定第一校验结果，将视频测试序列中目标对象的标注位置和识别位置进行匹配，确定第二校验位置，以根据第一校验结果和第二校验结果，确定对目标对象的识别参数的校验结果。下面结合图6，对本发明实施例识别算法的测试方法中对目标对象的识别参数进行校验的过程进行说明。

图6是本发明实施例二提供的一种识别算法的测试方法的流程示意图。如图6所示，本发明实施例的识别算法的测试方法具体包括如下：

S301，采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成。

S302，将所述视频测试序列中目标对象的标注标识和识别标识进行匹配，确定第一校验结果。

其中，第一校验结果包括：待识别算法识别正确和待识别算法识别错误。

其中，标注标识和识别标识，均是指目标对象在底库中的标识信息，例如编号、序列号等。

例如，若目标对象的标注标识为：13549962，识别标识为：13549962，则说明该目标对象的标注标识和识别标识匹配，对应第一校验结果为待识别算法识别正确。

又如，若目标对象的标注标识为：13549962，识别标识为：13549961，则说明该目标对象的标注标识和识别标识不匹配，对应第一校验结果为待识别算法识别错误。

再如，若目标对象为A和B，A的标注标识为：13549951，识别标识为：13549951；B的标注标识为：13549962，识别标识为：13549963，则确定目标对象A的标注标识和识别标识匹配，目标对象B的标注标识和识别标识不匹配，对应的目标对象A的第一校验结果为待识别算法识别错误；目标对象B的第一校验结果为待识别算法错误。

S303，将所述视频测试序列中目标对象的标注位置和识别位置进行匹配，确定第二校验结果。

在本实施例中，第二校验结果包括待识别算法识别正确和待识别算法识别错误。

当确定视频测试序列中目标对象的标注标识和识别标识匹配之后，还可进一步确定目标对象的标注位置和识别位置是否匹配；否则得出校验结果。

作为一种可选的实现方式，可根据目标对象的标注位置确定标注区域，根据目标对象的识别位置确定识别区域，然后确定标注区域与识别区域之间的关系，确定第二校验结果。

其中，若由目标对象的标注位置确定的标注区域，与识别位置确定的识别区域完全重叠，则确定第二校验结果为待识别算法识别正常；

若由目标对象的标注位置确定的标注区域，与识别位置确定的识别区域不相交，则确定第二校验结果为待识别算法识别错误；

若由所述目标对象的标注位置确定的标注区域，与识别位置确定的识别区域相交，则确定所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积；并且，根据所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积，确定第二校验结果。

具体的，根据所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积，确定第二校验结果，包括：

根据所述标注区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述标注区域的有效面积占比；

根据所述识别区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述识别区域的有效面积占比；

从所述标注区域的有效面积占比和所述识别区域的有效面积占比中取最小值，并确定所述最小值是否小于校验阈值；

若所述最小值小于所述校验阈值，则确定所述待识别算法识别错误；

若所述最小值大于或者等于所述校验阈值，则确定所述待识别算法识别正确。

在本实施例中，校验阈值可根据实际应用需求进行设置，例如61.8％、75％。此处对其不做具体限定。

举例来说，若由目标对象的标注位置(x1，y1)，(x2，y1),(x1，y2),(x2，y2)确定的标注区域为区域1，由识别位置(x1',y1'),(x2’,y1'),(x1’,y2'),(x2’,y2')确定的识别区域为区域2，则确定区域1和区域2之间的关系可为三种，具体如图7所示。

其中，当区域1和区域2的关系为第一种(完全重叠)，则确定待识别算法识别正确；当区域1和区域2的关系为第二种(不相交)，则确定待识别算法识别错误；当区域1和区域2的关系为第三种(相交)，则根据区域1和区域2确定相交位置(通常两点即可确定一个区域，因此本实施例可根据识别位置中两个对角位置，确定相交位置)：xa＝MAX(x1,x1'),ya＝MIN(y1,y1')->(xa,ya)；xb＝MIN(x2,x2'),yb＝MAX(y2,y2')->(xb,yb)。根据相交位置确定相交区域(如图8所示的灰色区域)，及相交区域的面积为：s0＝|(xb-xa)*(ya-yb)|，并确定区域1的面积为：s1＝|(x1-x2)*(y1-y2)|，区域2的面积为：s2＝|(x1'-x2')*(y1'-y2')|，然后根据区域1面积和相交区域面积，确定区域1的有效面积占比为：r1＝s0/s1；根据区域2面积和相交区域面积，确定区域2的有效面积占比为：r2＝s0/s2。若MIN(r1，r2)>＝61.8％，则确定待识别算法识别正确，否则待识别算法识别错误。

S304，根据所述第一校验结果和所述第二校验结果，确定对所述目标对象的识别参数的校验结果。

本实施例中，确定对目标对象的识别参数的校验结果包括如下：

当第一校验结果为待识别算法识别错误，则确定目标对象的识别参数的校验结果为识别错误；

当第一校验结果为待识别算法识别正确，第二校验结果为待识别算法识别错误，则确定目标对象的识别参数的校验结果为识别错误；

当第一校验结果为待识别算法识别正确，第二校验结果为待识别算法识别正确，则确定目标对象的识别参数的校验结果为识别正确。

S305，根据校验结果，确定所述待识别算法的测试结果。

本发明实施例提供的识别算法的测试方法，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，以将视频测试序列中目标对象的标注参数中标注标识和识别参数中识别标识，确定第一校验结果，并将视频测试序列中目标对象的标注参数中标注位置和识别参数中识别位置进行匹配，确定第二校验结果，以根据第一校验结果和第二校验结果，确定对目标对象的识别参数的校验结果，然后根据校验结果确定待识别算法的测试结果。由此，根据标注参数中的标注标识和标注位置，对识别参数中的识别标识和识别位置分别进行校验，实现了对识别算法的通过双重校验，提高了测试可靠性。

实施例三

在另一实现情景中，本实施例确定待识别算法的测试结果时，通过根据目标对象的正确识别次数、错误识别次数及出现次数，确定待识别算法的识别率和误识率。下面结合图9，对本发明实施例识别算法的测试方法上述情况说明。

图9是本发明实施例三提供的一种识别算法的测试方法的流程示意图。如图9所示，该识别算法的测试方法具体包括如下：

S401，采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成。

S402,采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验。

S403,确定所述目标对象在所述视频测试序列中的出现次数。

在本实施例中，可预先建立一个数据统计表，以将目标对象在视频测试序列中的出现次数，以及待识别算法的识别结果自动存储至该数据统计表中，从而为后续确定待识别算法的测试结果提供条件。

其中，预先建立的数据统计表中包括：目标对象的标识字段、信息字段、出现次数字段及识别结果字段。其中，识别结果字段可包括：正常识别次数和错误识别次数。具体如下表1所示：

表1：

也就是说，本实施例通过读取表1中出现次数字段，即可确定目标对象的出现次数。

在本实施例中，当目标对象在视频测试序列中每出现一次，则自动在出现次数字段增加1。

需要说明的是，可预设一时间阈值，比如1秒(s)，当目标对象从视频测试序列中的某一帧视频测试图像上消失大于或等于1s后再次出现时，则触发对表1中该目标对象的出现次数字段自加1；若目标对象在视频测试序列的视频测试图像上一直未消失，则该目标对象在表1中的出现次数字段不发生变化，从而实现对目标对象出现次数的自动统计。

S404,根据校验结果，确定所述待识别算法对所述目标对象的正确识别次数和错误识别次数。

通过读取表1中结果字段即可确定目标对象的正确识别次数和错误识别次数。

S405,根据所述目标对象的正确识别次数、错误识别次数及出现次数，确定所述待识别算法的识别率和误识率。

在本实施例中，可根据目标对象的正确识别次数和出现次数，确定待识别算法的识别率；根据目标对象的错误识别次数和出现次数，确定待识别算法的误识率，从而根据识别率和误识率，确定待识别算法的识别性能。

本发明实施例提供的识别算法的测试方法，通过确定目标对象在视频测试序列中出现次数，并根据校验结果，确定待识别算法对目标对象的正确识别次数和错误识别次数，然后根据目标对象的正确识别次数、错误识别次数及出现次数，确定待识别算法的识别率和误识率。由此，实现对识别算法的自动化测试，从而避免了人工对识别算法的人工识别和统计，减少了人为因素导致对识别算法的测试不准确问题，为识别算法的高准确度测试提供了条件。

实施例四

为了实现上述目的，本发明实施例四还提出了一种识别算法的测试装置。

图10是本发明实施例四提供的一种识别算法的测试装置的结构示意图。如图10所示，本发明实施例识别算法的测试装置包括：第一确定模块11、校验模块12及第二确定模块13。

其中，第一确定模块11用于采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

校验模块12用于采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

第二确定模块13用于根据校验结果，确定所述待识别算法的测试结果。

作为本发明实施例的一种可选的实现方式，所述装置还包括：视频测试序列生成模块。

其中，视频测试序列生成模块，具体用于：

获取用户在所述视频测试序列中每一帧视频测试图像上标注的底图人物；

根据所述标注的底图人物标识信息和所述底图人物在该帧视频测试图像中的位置，生成特征信息；

将生成的特征信息添加到该帧视频测试图像上。

作为本发明实施例的一种可选的实现方式，生成的特征信息为条形码或字符串。

作为本发明实施例的一种可选的实现方式，视频测试序列生成模块，还用于：

将该帧视频测试图像中除目标对象以外的区域作为特征区域；

将生成的特征信息添加到所述特征区域上。

需要说明的是，前述对识别算法的测试方法实施例的解释说明也适用于该实施例的识别算法的测试装置，其实现原理类似，此处不再赘述。

本发明实施例提供的识别算法的测试装置，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，并采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验，然后根据校验结果，确定待识别算法的测试结果。由此，通过视频测试序列中添加的特征信息，对识别算法的识别参数进行自动校验，以根据校验结果确定识别算法的测试结果，从而实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。此外，通过对视频测试序列进行一次标注之后，对识别算法进行再次测试，或者改进后的测试，均无需对视频测试序列进行二次标注，并且也无需投入人力进行校验和统计，从而进一步节省人力和物力，且具有高可靠性和准确度。

实施例五

图11是本发明实施例五提供的一种基于分布式平台的BIRCH算法改进装置的结构示意图。

如图11所示，本发明实施例识别算法的测试装置包括：第一确定模块11、校验模块12及第二确定模块13。

其中，第一确定模块11用于采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

校验模块12用于采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

第二确定模块13用于根据校验结果，确定所述待识别算法的测试结果。

作为本发明实施例的一种可选的实现方式，所述标注参数包括标注标识和标识位置；所述识别参数包括识别标识和识别位置；

所述校验模块12包括：第一确定单元121、第二确定单元122及第三确定单元123。

其中，第一确定单元121用于将所述视频测试序列中目标对象的标注标识和识别标识进行匹配，确定第一校验结果；

第二确定单元122用于将所述视频测试序列中目标对象的标注位置和识别位置进行匹配，确定第二校验结果；

第三确定单元123用于根据所述第一校验结果和所述第二校验结果，确定对所述目标对象的识别参数的校验结果。

作为本发明实施例的一种可选的实现方式，第二确定单元122还用于：

若由所述目标对象的标注位置确定的标注区域，与识别位置确定的识别区域相交，则确定所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积；并且，根据所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积，确定第二校验结果。

作为本发明实施例的一种可选的实现方式，第二确定单元122还用于：

根据所述标注区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述标注区域的有效面积占比；

根据所述识别区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述识别区域的有效面积占比；

从所述标注区域的有效面积占比和所述识别区域的有效面积占比中取最小值，并确定所述最小值是否小于校验阈值；

若所述最小值小于所述校验阈值，则确定所述待识别算法识别错误；

若所述最小值大于或者等于所述校验阈值，则确定所述待识别算法识别正确。

需要说明的是，前述对识别算法的测试方法实施例的解释说明也适用于该实施例的识别算法的测试装置，其实现原理类似，此处不再赘述。

本发明实施例提供的识别算法的测试装置，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，以将视频测试序列中目标对象的标注参数中标注标识和识别参数中识别标识，确定第一校验结果，并将视频测试序列中目标对象的标注参数中标注位置和识别参数中识别位置进行匹配，确定第二校验结果，以根据第一校验结果和第二校验结果，确定对目标对象的识别参数的校验结果，然后根据校验结果确定待识别算法的测试结果。由此，根据标注参数中的标注标识和标注位置，对识别参数中的识别标识和识别位置分别进行校验，实现了对识别算法的通过双重校验，提高了测试可靠性。

实施例六

图12是本发明实施例六提供的一种识别算法的测试装置的结构示意图。

如图12所示，本发明实施例识别算法的测试装置包括：第一确定模块11、校验模块12及第二确定模块13。

其中，第一确定模块11用于采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

校验模块12用于采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

第二确定模块13用于根据校验结果，确定所述待识别算法的测试结果。

作为本发明实施例的一种可选的实现方式，第三确定模块13包括：第四确定单元131、第五确认单元132及第六确定单元133。

第四确定单元131用于确定所述目标对象在所述视频测试序列中的出现次数；

第五确认单元132用于根据校验结果，确定所述待识别算法对所述目标对象的正确识别次数和错误识别次数；

第六确定单元133用于根据所述目标对象的正确识别次数、错误识别次数及出现次数，确定所述待识别算法的识别率和误识率。

需要说明的是，前述对识别算法的测试方法实施例的解释说明也适用于该实施例的识别算法的测试装置，其实现原理类似，此处不再赘述。

本发明实施例提供的识别算法的测试装置，实现对识别算法的自动化测试，从而避免了人工对识别算法的人工识别和统计，减少了人为因素导致对识别算法的测试不准确问题，为识别算法的高准确度测试提供了条件。

实施例七

为了实现上述目的，本发明实施例七还提出了一种计算机设备。

图13是本发明实施例七提供的一种计算机设备的结构示意图，如图13所示，该计算机设备包括处理器1000、存储器1001、输入装置1002和输出装置1003；计算机设备中处理器1000的数量可以是一个或多个，图13中以一个处理器1000为例；计算机设备中的处理器1000、存储器1001、输入装置1002和输出装置1003可以通过总线或其他方式连接，图13中以通过总线连接为例。

存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的识别算法的测试方法对应的程序指令/模块(例如，识别算法的测试装置中的第一确定模块11、校验模块12及第二确定模块13)。处理器1000通过运行存储在存储器1002中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的识别算法的测试方法。

存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1001可进一步包括相对于处理器1000远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置1002可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置1003可包括显示屏等显示设备。

需要说明的是，前述对识别算法的测试方法实施例的解释说明也适用于该实施例的计算机设备，其实现原理类似，此处不再赘述。

本发明实施例提供的计算机设备，通过采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定目标对象的识别参数，并采用视频测试序列中目标对象的标注参数，对目标对象的识别参数进行校验，然后根据校验结果，确定待识别算法的测试结果。由此，通过视频测试序列中添加的特征信息，对识别算法的识别参数进行自动校验，以根据校验结果确定识别算法的测试结果，从而实现了对识别算法的自动化测试，不仅节省了人力物力，还能提高对识别算法的测试可靠性和准确度。此外，通过对视频测试序列进行一次标注之后，对识别算法进行再次测试，或者改进后的测试，均无需对视频测试序列进行二次标注，并且也无需投入人力进行校验和统计，从而进一步节省人力和物力，且具有高可靠性和准确度。

实施例八

为了实现上述目的，本发明实施例八还提出了一种计算机可读存储介质。

本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述的识别算法的测试方法，该方法包括：

采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

根据校验结果，确定所述待识别算法的测试结果。

当然,本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的识别算法的测试方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。

值得注意的是，上述识别算法的测试装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (10)

1.一种识别算法的测试方法，其特征在于，所述方法包括：

采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

根据校验结果，确定所述待识别算法的测试结果。

2.根据权利要求1所述的方法，其特征在于，通过如下操作生成添加有特征信息的视频测试序列：

获取用户在所述视频测试序列中每一帧视频测试图像上标注的底图人物；

根据所述标注的底图人物标识信息和所述底图人物在该帧视频测试图像中的位置，生成特征信息；

将生成的特征信息添加到该帧视频测试图像上。

3.根据权利要求2所述的方法，其特征在于，将生成的特征信息添加到该帧视频测试图像上，包括：

将该帧视频测试图像中除目标对象以外的区域作为特征区域；

将生成的特征信息添加到所述特征区域上。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述标注参数包括标注标识和标识位置；所述识别参数包括识别标识和识别位置；

相应地，采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验，包括：

将所述视频测试序列中目标对象的标注标识和识别标识进行匹配，确定第一校验结果；

将所述视频测试序列中目标对象的标注位置和识别位置进行匹配，确定第二校验结果；

根据所述第一校验结果和所述第二校验结果，确定对所述目标对象的识别参数的校验结果。

5.根据权利要求4所述的方法，其特征在于，将所述视频测试序列中目标对象的标注位置和识别位置进行匹配，确定第二校验结果，包括：

若由所述目标对象的标注位置确定的标注区域，与识别位置确定的识别区域相交，则确定所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积；

根据所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积，确定第二校验结果。

6.根据权利要求5所述的方法，其特征在于，根据所述标注区域和所述识别区域的面积，以及所述标注区域与所述识别区域之间的相交区域面积，确定第二校验结果，包括：

根据所述标注区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述标注区域的有效面积占比；

根据所述识别区域的面积和所述标注区域与所述识别区域之间的相交区域面积，确定所述识别区域的有效面积占比；

从所述标注区域的有效面积占比和所述识别区域的有效面积占比中取最小值，并确定所述最小值是否小于校验阈值；

若所述最小值小于所述校验阈值，则确定所述待识别算法识别错误；

若所述最小值大于或者等于所述校验阈值，则确定所述待识别算法识别正确。

7.根据权利要求1所述的方法，其特征在于，根据校验结果，确定待识别算法的测试结果，包括：

确定所述目标对象在所述视频测试序列中的出现次数；

根据校验结果，确定所述待识别算法对所述目标对象的正确识别次数和错误识别次数；

根据所述目标对象的正确识别次数、错误识别次数及出现次数，确定所述待识别算法的识别率和误识率。

8.一种识别算法的测试装置，其特征在于，包括：

第一确定模块，用于采用待识别算法对添加有特征信息的视频测试序列进行目标对象识别，确定所述目标对象的识别参数；其中，所述特征信息根据对所述视频测试序列中目标对象的标注参数生成；

校验模块，用于采用所述视频测试序列中目标对象的标注参数，对所述目标对象的识别参数进行校验；

第二确定模块，用于根据校验结果，确定所述待识别算法的测试结果。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的识别算法的测试方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的识别算法的测试方法。

Images