CN111277816A - 一种视频检测系统的测试方法和装置 - Google Patents

Abstract

本发明公开了一种视频检测系统的测试方法、装置、电子设备和计算机可读存储介质。该方法包括：获取包含待检测视频的测试集；利用待测试的视频检测系统检测待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确。可见，本技术方案中，通过视频检测系统对测试集中的视频进行检测，并将检测结果进行保存，通过保存的测试结果可以判断视频测试系统对指定对象的检测是否准确，这样就无需人工进行检测，提高视频检测系统的测试效率的同时，降低人力成本。

Description

一种视频检测系统的测试方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种视频检测系统的测试方法、装置、电子设备和计算机可读存储介质。

背景技术

随着社会经济的飞速发展，越来越多的安防设备也出现在我们的生活之中，用来维护人们的生命财产安全，例如，监控摄像头。现有采用监控摄像头进行安防的应用中，通常基于对摄像头拍摄到的视频图像中的人进行检测。例如，用户在上班，如果在上班期间，从安装在家里的摄像头拍摄的视频图像中检测到人，则确定家里进入了陌生人，需要对用户进行报警提示。由此看来，能否准确检测出视频图像中的人成为安防的关键点之一。

现有技术中，为了对视频检测系统进行测试，通常是采用人工的方式进行，影响视频检测系统的测试效率，人力成本较高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频检测系统的测试方法、装置、电子设备和计算机可读存储介质。

根据本发明的一个方面，提供了一种视频检测系统的测试方法，其中，该方法包括：

获取包含待检测视频的测试集；

利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

可选地，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

每当检测到指定对象时，进行截图，获取包含指定对象的图像；

标记所述图像中的指定对象；

将标记后的图像保存至指定位置。

可选地，所述获取包含待检测视频的测试集包括：

获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，

获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

可选地，所述获取包含待检测视频的测试集包括：

获取一个或多个视频；

根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；

将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

可选地，所述视频的来源包括如下一种或多种：

网络中的影视剧视频；

网络中的监控视频；

测试方根据场景自行拍摄的视频；

用户上传的视频。

可选地，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

对于所述第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，

对于所述第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

可选地，所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

判断所述第一文件夹中是否保存有检测结果，若判断为是，则确定所述视频检测系统存在误报；以及，

获取所述第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与所述第二测试集包含的视频的帧数一致，若判断为否，则确定所述视频检测系统存在漏报。

可选地，该方法还包括：

根据所述第一文件夹保存的检测结果的个数，计算所述视频检测系统的误报率；以及，

根据所述第二文件夹保存的检测结果的个数，计算所述视频检测系统的漏报率。

可选地，

所述获取包含待检测视频的测试集包括：获取部分帧图像包含指定对象的视频，放入测试集中；

所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断所述测试集包含的视频中相应的时间点的图像是否包含指定对象。

可选地，

所述获取包含待检测视频的测试集包括：获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征；

所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

判断指定位置保存的具有某一特征的检测结果的个数，是否符合所述测试集包含的视频中具有该特征的指定对象出现的次数。

可选地，该方法还包括：

获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

根据本发明的另一方面，提供了一种视频检测系统的测试装置，其中，该装置包括：

获取单元，适于获取包含待检测视频的测试集；

检测单元，适于利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

判断单元，适于根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

可选地，

所述检测单元，适于每当检测到指定对象时，进行截图，获取包含指定对象的图像；标记所述图像中的指定对象；将标记后的图像保存至指定位置。

可选地，

所述获取单元，适于获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

可选地，

所述获取单元，适于获取一个或多个视频；根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

可选地，所述视频的来源包括如下一种或多种：

网络中的影视剧视频；

网络中的监控视频；

测试方根据场景自行拍摄的视频；

用户上传的视频。

可选地，

所述检测单元，适于对于所述第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，对于所述第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

可选地，

所述判断单元，适于判断所述第一文件夹中是否保存有检测结果，若判断为是，则确定所述视频检测系统存在误报；以及，获取所述第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与所述第二测试集包含的视频的帧数一致，若判断为否，则确定所述视频检测系统存在漏报。

可选地，该装置还包括：

计算单元，适于根据所述第一文件夹保存的检测结果的个数，计算所述视频检测系统的误报率；以及，根据所述第二文件夹保存的检测结果的个数，计算所述视频检测系统的漏报率。

可选地，

所述获取单元，适于获取部分帧图像包含指定对象的视频，放入测试集中；

所述判断单元，适于获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断所述测试集包含的视频中相应的时间点的图像是否包含指定对象。

可选地，

所述获取单元，适于获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征；

所述判断单元，适于判断指定位置保存的具有某一特征的检测结果的个数，是否符合所述测试集包含的视频中具有该特征的指定对象出现的次数。

可选地，该装置还包括：

输出单元，适于获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

根据本发明的又一方面，提供了一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据前述的方法。

根据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。

根据本发明的技术方案，获取包含待检测视频的测试集；利用待测试的视频检测系统检测待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确。可见，本技术方案中，通过视频检测系统对测试集中的视频进行检测，并将检测结果进行保存，通过保存的测试结果可以判断视频测试系统对指定对象的检测是否准确，这样就无需人工进行检测，提高视频检测系统的测试效率的同时，降低人力成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的视频检测系统的测试方法的流程示意图；

图2示出了根据本发明一个实施例的视频检测系统的测试装置的流程示意图；

图3示出了根据本发明一个实施例的电子设备的结构示意图；

图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的视频检测系统的测试方法的流程示意图。如图1所示，该方法包括：

步骤S110，获取包含待检测视频的测试集。

步骤S120，利用待测试的视频检测系统检测待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置。

这里的指定对象是视频检测系统的检测对象，例如，人、动物等。在本实施例中，视频检测系统每次检测到指定对象，检测结果就会保存一次，如果视频检测系统两次检测到待检测视频中的指定对象，则指定位置中会保存有两个检测结果。

步骤S130，根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确。

考虑到现有技术中，人工测试视频检测系统时，需要时刻监控视频检测系统，确定视频检测系统可以准确对视频中的指定对象进行检测。本实施例中，将检测结果进行了保存，不需要人工时刻监控，而且可以通过保存的检测结果直接判断视频检测系统对指定对象的检测是否准确。例如，通过检测结果的个数判断视频检测系统对指定对象的检测是否准确。

可见，本实施例中，通过视频检测系统对测试集中的视频进行检测，并将检测结果进行保存，通过保存的测试结果可以判断视频测试系统对指定对象的检测是否准确，这样就无需人工进行检测，提高视频检测系统的测试效率的同时，降低人力成本。

在本发明的一个实施例中，图1所示的方法的步骤S120中的每当检测到指定对象时，将检测结果保存至指定位置包括：每当检测到指定对象时，进行截图，获取包含指定对象的图像；标记图像中的指定对象；将标记后的图像保存至指定位置。

本实施例中，在对监测结果进行保存时，保存的是截图，具体是通过截图并标注的方式实现的。例如，指定对象是人，当视频检测系统对待检测视频进行检测时，在视频的第3帧监测到人，则将第3帧视频图像进行截图，并在截图中标注出检测到的人(例如，将人的轮廓标记出)，然后将标注后的截图图像进行保存；在视频的第10帧监测到人，则将第10帧视频图像进行截图，并在截图中标注出检测到的人(例如，将人的轮廓标记出)，然后将标注后的截图图像进行保存。检测到几次人，则保存几个检测结果。

另外，通过对截图中的指定对象进行标注，也可以进一步判断视频检测系统对指定对象的检测是否准确，如果检测结果的图像汇总确实包括指定对象，但是标注的却不是指定对象，则也可以确定视频检测系统对指定对象的检测是不准确的。

在本发明的一个实施例中，图1所示的方法中的测试集包括一个或多个，各测试集中的待检测视频可以针对视频检测系统的测试指标的不同而不同。这样，就可以对视频检测系统的不同指标进行测试。

下面将从两个测试集对本技术方案进行具体说明。第一测试集用于测试视频检测系统的误报指标，第一测试集中的待检测视频是不包含指定对象的，如果视频检测系统检测到指定对象，则说明该视频检测系统存在误报；第二测试集是用于测试视频检测系统的漏报指标，第一测试集中的待检测视频是包含指定对象的，如果视频检测系统存在未检测到指定对象的情况，则说明该视频检测系统存在漏报。

其中，测试集的获取包括两种方式。

在本发明的一个实施例中，图1所示的方法的步骤S110中的获取包含待检测视频的测试集包括：获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

本实施例中，是通过分别获取不包含指定对象的视频和包含指定对象的视频的方式，以获取到第一测试集和第二测试集。

在本发明的一个实施例中，图1所示的方法的步骤S110中的获取包含待检测视频的测试集包括：获取一个或多个视频；根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

本实施例中，是将一个或多个视频进行剪切和拼接的方式，以获取到第一测试集和第二测试集。在进行剪切的时候，根据视频中是否包含指定对象的方式进行剪切。例如，对于获取的一个视频，在第1-20帧的图像中不包含指定对象，第21-50帧的图像中包含指定对象，第51-60帧的图像中不包含指定对象，第61-80帧的图像包含指定对象，则在视频的第20帧、50帧、60帧处进行剪切；将第1-20帧的图像和第51-60帧的图像进行拼接，放入第一测试集中；将第21-50帧的图像和第61-80帧的图像进行拼接，放入第二测试集中。

优选地，当获取的是多个视频时，将各视频剪切后的不包含指定对象的视频段进行拼接成一个视频或者多个视频，放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接成一个视频或者多个视频；放入第二测试集。

具体地，上述的视频的来源包括如下一种或多种：网络中的影视剧视频；网络中的监控视频；测试方根据场景自行拍摄的视频；用户上传的视频。

这里用户上传的视频包括用户上传到网络中的视频，如短视频、直播视频等。

进一步地，在上述实施例的基础上，图1所示的方法的步骤S120中的每当检测到指定对象时，将检测结果保存至指定位置包括：对于第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，对于第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

对不同测试集中的待检测视频的检测结果进行分别保存，以便获得视频检测系统的不同指标的测试结果。

再进一步地，在上述实施例的基础上，图1所示的方法的步骤S130中的根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确包括：判断第一文件夹中是否保存有检测结果，若判断为是，则确定视频检测系统存在误报；以及，获取第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与第二测试集包含的视频的帧数一致，若判断为否，则确定视频检测系统存在漏报。

如上述说明中，第一测试集用于测试视频检测系统的误报指标，第二测试集是用于测试视频检测系统的漏报指标。那么对于第一文件夹中的检测结果，如果有检测结果，说明视频检测系统检测到第一测试集中的待检测视频图像中包含指定对象，但是第一测试集中的待检测视频的各帧图像是不包含指定对象的，因此，第一文件夹中如果有检测结果，说明视频检测系统出现误报的情况。据此，本实施例中，判断第一文件夹中是否保存有检测结果，若判断为是，则确定视频检测系统存在误报。例如，测试时，第一文件夹中的检测结果是0，则确定该视频检测系统没有误报；如果第一文件夹中的检测结果不是0，则确定该视频检测系统存在误报。

因为第二测试集中的待检测视频的各帧图像均是包含指定对象的，那么视频检测系统检测到的第二测试集中的视频包含的指定对象的个数(即检测结果的个数)应该是与视频的总帧数一致的，如果不一致，说明有的帧的图像中的指定对象没有被检测到，说明视频检测系统出现漏报的情况。据此，本实施例中，判断获取的检测结果的个数是否与第二测试集包含的视频的帧数一致，若判断为否，则确定视频检测系统存在漏报。例如，第二测试集中的待检测视频的帧数是100，第二文件夹中的检测结果的个数是100，则确定视频检测系统没有漏报，如果第二文件夹中的检测结果的个数不是100，则确定视频检测系统存在漏报。

这里待检测视频的帧数可以根据视频的帧率和时间确定。

进一步地，在上述实施例的基础上，图1所示的方法还包括：根据第一文件夹保存的检测结果的个数，计算视频检测系统的误报率；以及，根据第二文件夹保存的检测结果的个数，计算视频检测系统的漏报率。

本实施例中，还可以根据检测结果计算视频检测系统的误报率和漏报率。例如，第一测试集中的待检测视频的帧数是100帧，第一文件夹的检测结果是1个，则误报率是1％；第二测试集中的待检测视频的帧数是100帧，第一文件夹的检测结果是95个，则漏报率是5％。

优选地，在上述实施例的基础上，图1所示的方法还包括：判断计算的误报率是否小于第一阈值，若判断为是，则确定视频检测系统合格；以及，判断计算的漏报率是否小于第二阈值，若判断为是，则确定视频检测系统合格。

在本发明的一个实施例中，图1所示的方法的步骤S110中的获取包含待检测视频的测试集包括：获取部分帧图像包含指定对象的视频，放入测试集中；根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确包括：获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断测试集包含的视频中相应的时间点的图像是否包含指定对象。

考虑到视频检测系统的实际应用中并非是对均不包含指定对象的视频或者均包含指定对象的视频记性检测，实际应用中检测的视频是多样性的。因此，在本实施例中，当对视频检测系统的各项指标测试完成后，还可以对视频检测系统进行回归测试。获取部分帧图像包含指定对象的视频，其余帧图像不包含指定对象的视频，放入测试集中。在判断视频检测系统对指定对象的检测是否准确时，可以根据时间戳信息进行判断，即在保存检测结果时，将该检测结果的时间戳信息也一起保存。例如，一个检测结果是在视频的第10s时检测到指定对象，那么在判断时，判断待检测视频的第10s的图像中是否包含指定对象，如果包含，则视频检测系统对指定对象的检测准确，如果不包含，则视频检测系统对指定对象的检测不准确。

在本发明的一个实施例中，图1所示的方法的步骤S110中的获取包含待检测视频的测试集包括：获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征。

步骤S130中的根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确包括：判断指定位置保存的具有某一特征的检测结果的个数，是否符合测试集包含的视频中具有该特征的指定对象出现的次数。

随着视频检测的功能越来越完善，对特定对象的检测已经成为视频检测的趋势。例如，对某一个特定的人脸的检测。所以，本实施例中，还可以判断视频检测系统对具有特定特征的指定对象的检测是否准确。具体，是通过检测检测的个数与视频中具有该特征的指定对象出现的次数是否一致的方式进行判断。

例如，一个视频中包含人脸1和人脸2，人脸1出现的次数是10次，人脸2出现的次数是15次，如果该视频检测系统是对人脸1进行检测，获取检测结果，统计检测结果的个数，判断检测结果的个数是否是10个，如果是，则视频检测系统对人脸1的检测准确，如果不是，则视频检测系统对人脸1的检测不准确。

又如，一个视频中包含人脸1和人脸2，人脸1出现的次数是10次，人脸2出现的次数是15次，如果该视频检测系统是对人脸1进行检测，获取检测结果，统计对于人脸1的检测结果的第一个数，判断第一个数是否是10个，如果是，则视频检测系统对人脸1的检测准确，如果不是，则视频检测系统对人脸1的检测不准确；统计对于人脸2的检测结果的第二个数，判断第二个数是否是15个，如果是，则视频检测系统对人脸2的检测准确，如果不是，则视频检测系统对人脸2的检测不准确。

在本发明的一个实施例中，图1所示的方法还包括：获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

在对视频检测系统进行测试后，为了使得测试人员及时获得测试结果，将测试结果生成报告并输出给测试人员。具体地，可以通过指定途径输出，例如邮件、短消息等途径。

优选地，还可以将指定位置保存的检测结果进行输出，测试人员可以通过检测结果，对视频检测系统进行更具体的测试判断。

图2示出了根据本发明一个实施例的视频检测系统的测试装置的流程示意图。如图2所示，该视频检测系统的测试装置200包括：

获取单元210，适于获取包含待检测视频的测试集。

检测单元220，适于利用待测试的视频检测系统检测待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置。

这里的指定对象是视频检测系统的检测对象，例如，人、动物等。在本实施例中，视频检测系统每次检测到指定对象，检测结果就会保存一次，如果视频检测系统两次检测到待检测视频中的指定对象，则指定位置中会保存有两个检测结果。

判断单元230，适于根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确。

考虑到现有技术中，人工测试视频检测系统时，需要时刻监控视频检测系统，确定视频检测系统可以准确对视频中的指定对象进行检测。本实施例中，将检测结果进行了保存，不需要人工时刻监控，而且可以通过保存的检测结果直接判断视频检测系统对指定对象的检测是否准确。例如，通过检测结果的个数判断视频检测系统对指定对象的检测是否准确。

可见，本实施例中，通过视频检测系统对测试集中的视频进行检测，并将检测结果进行保存，通过保存的测试结果可以判断视频测试系统对指定对象的检测是否准确，这样就无需人工进行检测，提高视频检测系统的测试效率的同时，降低人力成本。

在本发明的一个实施例中，图1所示的检测单元220，适于每当检测到指定对象时，进行截图，获取包含指定对象的图像；标记图像中的指定对象；将标记后的图像保存至指定位置。

本实施例中，在对监测结果进行保存时，保存的是截图，具体是通过截图并标注的方式实现的。例如，指定对象是人，当视频检测系统对待检测视频进行检测时，在视频的第3帧监测到人，则将第3帧视频图像进行截图，并在截图中标注出检测到的人(例如，将人的轮廓标记出)，然后将标注后的截图图像进行保存；在视频的第10帧监测到人，则将第10帧视频图像进行截图，并在截图中标注出检测到的人(例如，将人的轮廓标记出)，然后将标注后的截图图像进行保存。检测到几次人，则保存几个检测结果。

另外，通过对截图中的指定对象进行标注，也可以进一步判断视频检测系统对指定对象的检测是否准确，如果检测结果的图像汇总确实包括指定对象，但是标注的却不是指定对象，则也可以确定视频检测系统对指定对象的检测是不准确的。

在本发明的一个实施例中，图2所示的获取单元210获取的测试集包括一个或多个，各测试集中的待检测视频可以针对视频检测系统的测试指标的不同而不同。这样，就可以对视频检测系统的不同指标进行测试。

下面将从两个测试集对本技术方案进行具体说明。第一测试集用于测试视频检测系统的误报指标，第一测试集中的待检测视频是不包含指定对象的，如果视频检测系统检测到指定对象，则说明该视频检测系统存在误报；第二测试集是用于测试视频检测系统的漏报指标，第一测试集中的待检测视频是包含指定对象的，如果视频检测系统存在未检测到指定对象的情况，则说明该视频检测系统存在漏报。

其中，测试集的获取包括两种方式。

在本发明的一个实施例中，图2所示的获取单元210，适于获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

本实施例中，是通过分别获取不包含指定对象的视频和包含指定对象的视频的方式，以获取到第一测试集和第二测试集。

在本发明的一个实施例中，图2所示的获取单元210，适于获取一个或多个视频；根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

本实施例中，是将一个或多个视频进行剪切和拼接的方式，以获取到第一测试集和第二测试集。在进行剪切的时候，根据视频中是否包含指定对象的方式进行剪切。例如，对于获取的一个视频，在第1-20帧的图像中不包含指定对象，第21-50帧的图像中包含指定对象，第51-60帧的图像中不包含指定对象，第61-80帧的图像包含指定对象，则在视频的第20帧、50帧、60帧处进行剪切；将第1-20帧的图像和第51-60帧的图像进行拼接，放入第一测试集中；将第21-50帧的图像和第61-80帧的图像进行拼接，放入第二测试集中。

优选地，当获取的是多个视频时，将各视频剪切后的不包含指定对象的视频段进行拼接成一个视频或者多个视频，放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接成一个视频或者多个视频；放入第二测试集。

具体地，上述的视频的来源包括如下一种或多种：网络中的影视剧视频；网络中的监控视频；测试方根据场景自行拍摄的视频；用户上传的视频。

这里用户上传的视频包括用户上传到网络中的视频，如短视频、直播视频等。

进一步地，在上述实施例的基础上，图2所示的检测单元220，适于对于第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，对于第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

对不同测试集中的待检测视频的检测结果进行分别保存，以便获得视频检测系统的不同指标的测试结果。

再进一步地，在上述实施例的基础上，图2所示的判断单元230，适于判断第一文件夹中是否保存有检测结果，若判断为是，则确定视频检测系统存在误报；以及，获取第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与第二测试集包含的视频的帧数一致，若判断为否，则确定视频检测系统存在漏报。

如上述说明中，第一测试集用于测试视频检测系统的误报指标，第二测试集是用于测试视频检测系统的漏报指标。那么对于第一文件夹中的检测结果，如果有检测结果，说明视频检测系统检测到第一测试集中的待检测视频图像中包含指定对象，但是第一测试集中的待检测视频的各帧图像是不包含指定对象的，因此，第一文件夹中如果有检测结果，说明视频检测系统出现误报的情况。据此，本实施例中，判断第一文件夹中是否保存有检测结果，若判断为是，则确定视频检测系统存在误报。例如，测试时，第一文件夹中的检测结果是0，则确定该视频检测系统没有误报；如果第一文件夹中的检测结果不是0，则确定该视频检测系统存在误报。

因为第二测试集中的待检测视频的各帧图像均是包含指定对象的，那么视频检测系统检测到的第二测试集中的视频包含的指定对象的个数(即检测结果的个数)应该是与视频的总帧数一致的，如果不一致，说明有的帧的图像中的指定对象没有被检测到，说明视频检测系统出现漏报的情况。据此，本实施例中，判断获取的检测结果的个数是否与第二测试集包含的视频的帧数一致，若判断为否，则确定视频检测系统存在漏报。例如，第二测试集中的待检测视频的帧数是100，第二文件夹中的检测结果的个数是100，则确定视频检测系统没有漏报，如果第二文件夹中的检测结果的个数不是100，则确定视频检测系统存在漏报。

这里待检测视频的帧数可以根据视频的帧率和时间确定。

进一步地，在上述实施例的基础上，图2所示的装置还包括：

计算单元，适于根据第一文件夹保存的检测结果的个数，计算视频检测系统的误报率；以及，根据第二文件夹保存的检测结果的个数，计算视频检测系统的漏报率。

本实施例中，还可以根据检测结果计算视频检测系统的误报率和漏报率。例如，第一测试集中的待检测视频的帧数是100帧，第一文件夹的检测结果是1个，则误报率是1％；第二测试集中的待检测视频的帧数是100帧，第一文件夹的检测结果是95个，则漏报率是5％。

优选地，在上述实施例的基础上，图2所示的判断单元230，还适于判断计算的误报率是否小于第一阈值，若判断为是，则确定视频检测系统合格；以及，判断计算的漏报率是否小于第二阈值，若判断为是，则确定视频检测系统合格。

在本发明的一个实施例中，图2所示的获取单元210，适于获取部分帧图像包含指定对象的视频，放入测试集中。

判断单元230，适于获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断测试集包含的视频中相应的时间点的图像是否包含指定对象。

考虑到视频检测系统的实际应用中并非是对均不包含指定对象的视频或者均包含指定对象的视频记性检测，实际应用中检测的视频是多样性的。因此，在本实施例中，当对视频检测系统的各项指标测试完成后，还可以对视频检测系统进行回归测试。获取部分帧图像包含指定对象的视频，其余帧图像不包含指定对象的视频，放入测试集中。在判断视频检测系统对指定对象的检测是否准确时，可以根据时间戳信息进行判断，即在保存检测结果时，将该检测结果的时间戳信息也一起保存。例如，一个检测结果是在视频的第10s时检测到指定对象，那么在判断时，判断待检测视频的第10s的图像中是否包含指定对象，如果包含，则视频检测系统对指定对象的检测准确，如果不包含，则视频检测系统对指定对象的检测不准确。

在本发明的一个实施例中，图2所示的获取单元210，适于获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征。

判断单元230，适于判断指定位置保存的具有某一特征的检测结果的个数，是否符合测试集包含的视频中具有该特征的指定对象出现的次数。

随着视频检测的功能越来越完善，对特定对象的检测已经成为视频检测的趋势。例如，对某一个特定的人脸的检测。所以，本实施例中，还可以判断视频检测系统对具有特定特征的指定对象的检测是否准确。具体，是通过检测检测的个数与视频中具有该特征的指定对象出现的次数是否一致的方式进行判断。

例如，一个视频中包含人脸1和人脸2，人脸1出现的次数是10次，人脸2出现的次数是15次，如果该视频检测系统是对人脸1进行检测，获取检测结果，统计检测结果的个数，判断检测结果的个数是否是10个，如果是，则视频检测系统对人脸1的检测准确，如果不是，则视频检测系统对人脸1的检测不准确。

又如，一个视频中包含人脸1和人脸2，人脸1出现的次数是10次，人脸2出现的次数是15次，如果该视频检测系统是对人脸1进行检测，获取检测结果，统计对于人脸1的检测结果的第一个数，判断第一个数是否是10个，如果是，则视频检测系统对人脸1的检测准确，如果不是，则视频检测系统对人脸1的检测不准确；统计对于人脸2的检测结果的第二个数，判断第二个数是否是15个，如果是，则视频检测系统对人脸2的检测准确，如果不是，则视频检测系统对人脸2的检测不准确。

在本发明的一个实施例中，图2所示的装置还包括：

输出单元，适于获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

在对视频检测系统进行测试后，为了使得测试人员及时获得测试结果，将测试结果生成报告并输出给测试人员。具体地，可以通过指定途径输出，例如邮件、短消息等途径。

优选地，还可以将指定位置保存的检测结果进行输出，测试人员可以通过检测结果，对视频检测系统进行更具体的测试判断。

综上所述，根据本发明的技术方案，获取包含待检测视频的测试集；利用待测试的视频检测系统检测待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；根据指定位置保存的检测结果，判断视频检测系统对指定对象的检测是否准确。可见，本技术方案中，通过视频检测系统对测试集中的视频进行检测，并将检测结果进行保存，通过保存的测试结果可以判断视频测试系统对指定对象的检测是否准确，这样就无需人工进行检测，提高视频检测系统的测试效率的同时，降低人力成本。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频检测系统的测试装置、电子设备和计算机可读存储介质中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备300传统上包括处理器310和被安排成存储计算机可执行指令(程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码340的存储空间330。例如，用于程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个程序代码340。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质400。该计算机可读存储介质400可以具有与图3的电子设备中的存储器320类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码410，即可以由诸如310之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种视频检测系统的测试方法，其中，该方法包括：

获取包含待检测视频的测试集；

利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

A2、如A1所述的方法，其中，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

每当检测到指定对象时，进行截图，获取包含指定对象的图像；

标记所述图像中的指定对象；

将标记后的图像保存至指定位置。

A3、如A1所述的方法，其中，所述获取包含待检测视频的测试集包括：

获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，

获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

A4、如A1所述的方法，其中，所述获取包含待检测视频的测试集包括：

获取一个或多个视频；

根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；

将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

A5、如A3或A4所述的方法，其中，所述视频的来源包括如下一种或多种：

网络中的影视剧视频；

网络中的监控视频；

测试方根据场景自行拍摄的视频；

用户上传的视频。

A6、如A3或A4所述的方法，其中，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

对于所述第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，

对于所述第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

A7、如A6所述的方法，其中，所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

判断所述第一文件夹中是否保存有检测结果，若判断为是，则确定所述视频检测系统存在误报；以及，

获取所述第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与所述第二测试集包含的视频的帧数一致，若判断为否，则确定所述视频检测系统存在漏报。

A8、如A7所述的方法，其中，该方法还包括：

根据所述第一文件夹保存的检测结果的个数，计算所述视频检测系统的误报率；以及，

根据所述第二文件夹保存的检测结果的个数，计算所述视频检测系统的漏报率。

A9、如A1所述的方法，其中，

所述获取包含待检测视频的测试集包括：获取部分帧图像包含指定对象的视频，放入测试集中；

所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断所述测试集包含的视频中相应的时间点的图像是否包含指定对象。

A10、如A1所述的方法，其中，

所述获取包含待检测视频的测试集包括：获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征；

所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

判断指定位置保存的具有某一特征的检测结果的个数，是否符合所述测试集包含的视频中具有该特征的指定对象出现的次数。

A11、如A1所述的方法，其中，该方法还包括：

获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

本发明还提供了B12、一种视频检测系统的测试装置，其中，该装置包括：

获取单元，适于获取包含待检测视频的测试集；

检测单元，适于利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

判断单元，适于根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

B13、如B12所述的装置，其中，

所述检测单元，适于每当检测到指定对象时，进行截图，获取包含指定对象的图像；标记所述图像中的指定对象；将标记后的图像保存至指定位置。

B14、如B12所述的装置，其中，

所述获取单元，适于获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

B15、如B12所述的装置，其中，

所述获取单元，适于获取一个或多个视频；根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像均包含指定对象的视频段；将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像均包含指定对象的视频段进行拼接后放入第二测试集。

B16、如B14或B15所述的装置，其中，所述视频的来源包括如下一种或多种：

网络中的影视剧视频；

网络中的监控视频；

测试方根据场景自行拍摄的视频；

用户上传的视频。

B17、如B14或B15所述的装置，其中，

所述检测单元，适于对于所述第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，对于所述第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

B18、如B17所述的装置，其中，

所述判断单元，适于判断所述第一文件夹中是否保存有检测结果，若判断为是，则确定所述视频检测系统存在误报；以及，获取所述第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与所述第二测试集包含的视频的帧数一致，若判断为否，则确定所述视频检测系统存在漏报。

B19、如B18所述的装置，其中，该装置还包括：

计算单元，适于根据所述第一文件夹保存的检测结果的个数，计算所述视频检测系统的误报率；以及，根据所述第二文件夹保存的检测结果的个数，计算所述视频检测系统的漏报率。

B20、如B12所述的装置，其中，

所述获取单元，适于获取部分帧图像包含指定对象的视频，放入测试集中；

所述判断单元，适于获取指定位置保存的检测结果的时间戳信息，根据获取的时间戳信息，判断所述测试集包含的视频中相应的时间点的图像是否包含指定对象。

B21、如B12所述的装置，其中，

所述获取单元，适于获取包含多个指定对象的视频，放入测试集中，该多个指定对象具有不同的特征；

所述判断单元，适于判断指定位置保存的具有某一特征的检测结果的个数，是否符合所述测试集包含的视频中具有该特征的指定对象出现的次数。

B22、如B12所述的装置，其中，该装置还包括：

输出单元，适于获取对待测试的视频检测系统的测试结果，将获取的测试结果通过指定途径输出。

本发明还公开了C23、一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据A1～A11中任一项所述的方法。

本发明还公开了D24、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现A1～A11中任一项所述的方法。

Claims (10)

1.一种视频检测系统的测试方法，其中，该方法包括：

获取包含待检测视频的测试集；

利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

2.如权利要求1所述的方法，其中，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

每当检测到指定对象时，进行截图，获取包含指定对象的图像；

标记所述图像中的指定对象；

将标记后的图像保存至指定位置。

3.如权利要求1所述的方法，其中，所述获取包含待检测视频的测试集包括：

获取每帧图像中均不包含指定对象的视频，将该视频放入第一测试集；以及，

获取每帧图像中均包含指定对象的视频，将该视频放入第二测试集。

4.如权利要求1所述的方法，其中，所述获取包含待检测视频的测试集包括：

获取一个或多个视频；

根据获取的视频中的各帧图像是否包含指定对象，对获取的视频进行剪切，得到不包含指定对象的视频段和每帧图像中均包含指定对象的视频段；

将得到的不包含指定对象的视频段进行拼接后放入第一测试集；将得到的每帧图像中均包含指定对象的视频段进行拼接后放入第二测试集。

5.如权利要求3或4所述的方法，其中，所述视频的来源包括如下一种或多种：

网络中的影视剧视频；

网络中的监控视频；

测试方根据场景自行拍摄的视频；

用户上传的视频。

6.如权利要求3或4所述的方法，其中，所述每当检测到指定对象时，将检测结果保存至指定位置包括：

对于所述第一测试集，每当检测到指定对象时，将检测结果保存至第一文件夹；以及，

对于所述第二测试集，每当检测到指定对象时，将检测结果保存至第二文件夹。

7.如权利要求6所述的方法，其中，所述根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确包括：

判断所述第一文件夹中是否保存有检测结果，若判断为是，则确定所述视频检测系统存在误报；以及，

获取所述第二文件夹中保存的检测结果，判断获取的检测结果的个数是否与所述第二测试集包含的视频的帧数一致，若判断为否，则确定所述视频检测系统存在漏报。

8.一种视频检测系统的测试装置，其中，该装置包括：

获取单元，适于获取包含待检测视频的测试集；

检测单元，适于利用待测试的视频检测系统检测所述待检测视频中的指定对象，每当检测到指定对象时，将检测结果保存至指定位置；

判断单元，适于根据所述指定位置保存的检测结果，判断所述视频检测系统对指定对象的检测是否准确。

9.一种电子设备，其中，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1～7中任一项所述的方法。

Images