CN114743132A - 一种目标算法的选取方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及互联网技术领域，尤其涉及一种目标算法的选取方法、装置、电子设备及存储介质，其方法包括：获取算法仓中多个候选算法分别对测试集进行识别后得到各候选算法对应的识别数据；将候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量与测试集的每个测试样本的标注文件中的目标坐标信息和目标事件数量分别对应进行比较，计算坐标准确率以及事件识别率；读取候选算法对每个测试样本进行识别的响应时间；基于坐标准确率、事件识别率和响应时间，从多个候选算法中选取目标算法。本发明申请结合多个维度对候选算法进行筛选，选出的目标算法在执行视频识别任务时，能提高视频任务的识别率与准确率。

Description

一种目标算法的选取方法、装置、电子设备及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种目标算法的选取方法、装置、电子设备及存储介质。

背景技术

算法仓库兼容了包括内部算法或外部各厂家提供的算法，同一需求的不同算法之间存在性能或者准确率上的差异。因此，当需要执行时视频检测任务的情况下，通过不同的算法进行识别得到的结果在不同的性能指标存在的差异，会影响到计算结果的准确性与识别效率。可见，现有技术中，存在算法仓中算法的选择不佳导致视频任务的识别率和准确率低的问题。

发明内容

本发明实施例提供一种目标算法的选取方法，旨在解决现有中，存在算法仓中算法的选择不佳导致视频任务的识别率和准确率低的问题。

第一方面，本发明实施例提供一种目标算法的选取方法，所述方法包括以下步骤：

获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，所述测试集包括多个测试样本，所述识别数据中包括所述候选算法分别对每个所述测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

将所述已识别事件数量与所述测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取所述候选算法对测试集中的每个所述测试样本进行识别时的响应时间；

基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法。

第二方面，本发明实施例还提供一种目标算法的选取装置，包括：

获取模块，用于获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，所述测试集包括多个测试样本，所述识别数据中包括所述候选算法分别对每个所述测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

第一计算模块，用于将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

第二计算模块，用于将所述已识别事件数量与所述测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取模块，用于读取所述候选算法对测试集中的每个所述测试样本进行识别时的响应时间；

算法选取模块，用于基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的目标算法的选取方法中的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的目标算法的选取方法中的步骤。

在本发明实施例中，通过获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，所述测试集包括多个测试样本，所述识别数据中包括所述候选算法分别对每个所述测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；将所述已识别事件数量与所述测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；读取所述候选算法对测试集中的每个所述测试样本进行识别时的响应时间；基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法。可见，本发明实施例通过将算法仓候选算法所计算出的识别数据与测试集中的数据进行计算，得到每个候选算法的多维度(坐标准确率、事件识别率和响应时间)数据，并根据多维度数据选取目标算法，选取得到的目标算法具备最高的识别率与准确率，这样，当运用在视频识别任务中时，选出的目标算法能提高视频任务的识别率与准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标算法的选取方法的流程图；

图2是本发明实施例提供的图1中步骤S102的流程图；

图3是本发明实施例提供的图1中步骤S103的流程图；

图4是本发明实施例提供的图1中步骤S105的流程图；

图5是本发明实施例提供的另一种目标算法的选取方法的流程图；

图6是本发明实施例提供的一种目标算法的选取装置的模块结构图；

图7是本发明实施例提供的图6中第一计算模块的模块结构图；

图8是本发明实施例提供的图6中第二计算模块的模块结构图；

图9是本发明实施例提供的图6中算法选取模块的模块结构图；

图10是本发明实施例提供的另一种目标算法的选取装置的部分模块结构图；

图11是本发明实施例提供的另一种目标算法的选取装置的部分模块结构图；

图12是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1是本发明实施例提供的一种目标算法的选取方法的流程图，如图1所示，包括以下步骤：

S101、获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，测试集包括多个测试样本，识别数据中包括候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量。

其中，本实施例提供的一种目标算法的选取方法所运用的电子设备使用的场景包括但不限于城市治理，例如通过摄像头进行道路监测、人脸识别、环境监测等。且上述目标算法的选取方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取识别数据以及进行数据传输等。其中，无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability forMicrowave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。

其中，上述算法仓中可以包括有内部提供的算法以及外部各供应商提供的算方法，且不同的算法可以针对同一需求进行计算处理。上述的候选算法可以包括针对人脸进行识别的算法，也可以包括进行车辆识别的算法，还可以包括对垃圾检测识别的算法等等。上述识别对象可以包括人脸、人体特征、车辆信息、垃圾种类等等。上述测试集为现有数据集，在测试集中包括多个测试样本，测试样本中包括识别对象。首先可以先确定需要检测的识别对象，根据识别对象从算法仓中选取可以对识别对象进行计算处理的多个候选算法，然后基于每个候选算法输出一个对应的识别数据，因此有n个候选算法进行计算，则会输出n个识别数据，每个识别数据计算的结果可以不同。在每个识别数据中都包括有通过对应候选算法计算出的已识别坐标信息以及已识别事件数量，已识别坐标信息可以是指通过算法识别出的识别对象的位置，已识别事件数量可以指通过算法识别上述识别对象的事件数量。因此，在算法仓，针对同一识别对象通过多个候选算法进行识别后，可以获取到每个候选算法返回的识别对象的已识别坐标信息以及已识别事件数量。

S102、将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率。

其中，上述的测试集可以是通过各个厂商提供，在测试集中还包括有标注文件，测试样本可以是通过摄像头采集到的不同类型的图片，标注文件会标注出识别对象的目标坐标信息与目标事件数量。可以将多个候选算法分别计算得到的识别数据与测试集中每个测试样本的数据进行对应比较。具体的，可以将每个候选算法返回的已识别坐标信息与多个测试样本对应的目标坐标信息进行比较，根据坐标信息的重合度确定坐标准确率。其中，坐标准确率可以是指坐标符合预期的结果数量占返回结果总数的比例，具体为：

坐标准确率＝符合预期的坐标总数/检出坐标的总数×100％

其中，检出坐标的总数为算法厂商提供的算法仓中多个候选算法返回的已识别坐标信息的总数，符合预期的坐标总数为每个候选算法返回的已识别坐标信息达到预设坐标阈值的总数。

S103、将已识别事件数量与测试样本的标注文件中的目标事件数量进行比较，计算事件识别率。

其中，同样可以将候选算法返回的已识别事件数量与测试集中测试样本的标注文件中的目标事件数量进行比较，计算事件识别率，事件识别率可以为候选算法的识别数据中符合预期的事件数量占所有事件数量总数的比例，具体如下所示：

事件识别率＝检出事件数量符合预期的总数/事件总数×100％

其中，检出事件数量符合预期的总数为算法厂商返回的事件总数，事件总数为所有测试样本条目中目标对象个数总和。

S104、读取候选算法对测试集中的每个测试样本进行识别时的响应时间。

其中，测试集中的每个测试样本都对应一个响应时间，响应时间越短可以表示响应速度越快，反之越慢。对所有的测试样本进行统计得到每个测试样本的响应时间。

S105、基于坐标准确率、事件识别率和响应时间，从算法仓中的多个候选算法中选取目标算法。

具体的，在计算得到上述坐标准确率、事件识别率以及候选宣达对每个测试样本进行识别时的响应时间之后，便可以综合上述多个维度从算法仓中的多个候选算法中选取出坐标准确率最高、事件识别率最高以及响应时间快的的候选算法作为目标算法。

在本发明实施例中，通过获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，测试集包括多个测试样本，识别数据中包括候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；将已识别事件数量与测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；读取候选算法对测试集中的每个测试样本进行识别时的响应时间；基于坐标准确率、事件识别率和响应时间，从算法仓中的多个候选算法中选取目标算法。本发明实施例通过将算法仓多个候选算法所计算出的识别数据与测试集中的数据进行计算，得到每个算法的多维度(坐标准确率、事件识别率和响应时间)指标数据，并根据多维度数据选取目标算法，选取得到的目标算法具备最高的识别率与准确率。这样，当运用在视频识别任务中时，筛选出的目标算法能提高视频任务的识别率与准确率。

如图2所示，图2是本发明实施例提供的图1中步骤S102的流程图，如图2所示，包括以下步骤：

S201、基于已识别坐标信息与每个测试样本的标注文件中的目标坐标信息，计算候选算法对单个测试样本进行识别的准确率。

其中，因测试集中包括有多个测试样本，因此可以将已识别坐标信息与每个测试样本的目标坐标信息进行计算，得到每个候选算法对每个测试样本进行识别的准确率。

S202、根据候选算法对各个测试样本进行识别的准确率，确定候选算法对测试集进行识别处理时的坐标准确率。

其中，得到每个候选算法对每个测试样本进行识别的准确率之后，便可以计算出每个候选算法对测试集进行识别处理的坐标准确率，例如可以通过求均值的方式计算上述坐标准确率。

作为一种具体的实施方式，上述步骤S202具体可以包括：

判断每个候选算法进行识别时的识别对象所属的对象类型，其中，对应每种对象类型的候选算法分配有重合度阈值。

其中，候选算法针对不同对象类型的识别对象可以分别对应不同的重合度阈值，例如：人脸识别算法要求准确较高，重合度阈值的比例设置为90％，垃圾检测算法要求低一些，重合度阈值的比例设置为50％。

将每个已识别坐标信息分别与每个测试样本的标注文件中目标坐标信息进行比较，基于重合度阈值对已识别坐标信息进行标记，选取出已识别坐标信息满足重合度阈值的总数。

基于上述重合度阈值，可以对候选算法返回的已识别坐标信息进行筛选，将满足重合度阈值的已识别坐标信息进行标记，不满足的将不进行标记，例如：通过算法A进行人脸识别，识别到人脸a的已识别坐标信息与目标坐标信息的重合度为98％，重合度阈值为95％，则对候选算法A识别的人脸a的已识别坐标信息进行标记。因测试集中包括多个测试样本，因此针对同一候选算法会进行多次重合度的比较，全部比较完成之后，可以统计出每个候选算法下对应的已识别坐标信息满足重合度阈值的总数。

基于已识别坐标信息的总数和已识别坐标信息满足重合度阈值的总数，计算对应算法的坐标准确率，其中，坐标准确率包括同一候选算法对不同测试样本计算得到的准确率进行加权。

其中，统计出上述已识别坐标信息的总数，以及已识别坐标信息满足重合度阈值的总数之后，便可以计算出上述坐标准确率。具体的，在同一算法计算下，可以是对每个测试样本的准确率之间的加权和，当然也可以是单个测试样本的准确率以及所有测试样本条目总的准确率之间的加权和。

在本发明实施例中，通过预先计算出每个候选算法对每个测试样本进行识别的准确率，然后计算出每个候选算法对测试集进行识别处理的坐标准确率，具体通过判断算法的识别对象的对象类型，根据对象类型的不同分别匹配不同的重合度阈值，这样可以针对不同的对象类型在检测时提高准确率，且最终标记筛选并计算出的坐标准确率也会越高，有利于选取出目标算法。

如图3所示，图3是本发明实施例提供的图1中步骤S103的流程图，如图3所示，包括以下步骤：

S301、基于已识别事件数量与每个测试样本的标注文件中的目标事件数量，计算候选算法对单个测试样本进行识别的识别率。

其中，可以基于识别数据中的已识别事件数量与每个测试样本的目标事件数量进行准确率计算，得到每个候选算法对每个测试样本进行识别的识别率。

S302、根据候选算法对各个测试样本进行识别的识别率，确定候选算法对测试集进行识别处理时的事件识别率。

其中，得到每个候选算法对每个测试样本进行识别的识别率之后，便可以计算出每个候选算法对测试集进行识别处理的事件识别率，同样可以通过求均值的方式计算上述事件识别率。

作为一种具体的实施方式，上述步骤S302具体可以包括：

基于预设的事件数量阈值，选取满足预设的事件数量阈值的已识别事件数量。

其中，可以预先设置事件数量阈值，基于事件数量阈值对已识别事件数量进行筛选，将满足事件数量阈值的已识别事件数量筛选出来。

根据满足预设的事件数量阈值的已识别事件数量的总数和测试集的标注文件中目标事件数量的总数，计算事件识别率，其中，事件识别率包括同一算法对不同测试样本计算得到的识别率进行加权。

其中，筛选出满足事件数量阈值的已识别事件数量后可以统计总数，然后基于满足事件数量阈值的已识别事件数量的总数，以及标注文件中目标事件数量的总数计算事件识别率。同样，在同一候选算法计算事件识别率时，可以是计算识别率之间的加权和得到最终的事件识别率，当然也可以是单个测试样本的识别率以及所有准确率之间的加权和。

在本发明实施例中，通过计算每个候选算法对每个测试样本进行识别的识别率，然后计算出每个候选算法对测试集进行识别处理的事件识别率，具体通过预设事件数量阈值，筛选出已识别事件数量满足事件数量阈值的数据，并统计总数，然后结合标注文件中目标事件数量的总数，计算事件识别率。这样可以提高事件识别率，有利于选取目标算法。

如图4所示，图4是本发明实施例提供的图1中步骤S105的具体流程图。如图4所示，包括以下步骤：

401、基于坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第一权重比例。

其中，对各个厂商提供的算法跑完测评之后，便可以基于算法与测试集比较之后得到的结果生成指令库，指令库可以用于筛选满足要求的算法。在指令库中，可以包括有多个维度，具体的，维度包括坐标准确率、事件识别率、响应时间等，并且对应每个维度分别分配有对应的第一权重比例，例如：当维度包括坐标准确率、事件识别率以及响应时间时，分别对应的第一权重比例可以是4：4：2。

402、创建算法选取任务并下发至算法仓，基于指令库从算法仓中的多个候选算法中选取目标算法。

其中，当需要进行算法选取时，通过预先创建算法选取任务，并将该算法选取任务下发至算法仓，在算法仓中基于生成的指令库执行算法选取，最终选取出目标算法。

在本实施例中，通过创建指令库之后为指令库中的维度分配第一权重比例，分配比例可以区分侧重点，这样，在选取目标算法时会更准确。

如图5所示，图5是本发明实施例提供的另一种目标算法的选取方法的流程图，如图5所示，包括以下步骤：

S501、获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，测试集包括多个测试样本，识别数据中包括候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量。

S502、将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率。

S503、将已识别事件数量与测试样本的标注文件中的目标事件数量进行比较，计算事件识别率。

S504、读取候选算法对测试集中的每个测试样本进行识别时的响应时间。

S505、筛选坐标准确率与事件识别率均为最大的候选算法。

其中，当每个候选算法计算出坐标准确率与事件识别率之后，可以对所有的坐标准确率与事件识别率进行筛选，找出最大的坐标准确率与最大的事件识别率。

S506、识别坐标准确率与事件识别率均为最大的候选算法对应的测试样本的场景信息并进行标记。

其中，然后确定坐标准确率与事件识别率均为最大的候选算法对应的测试样本，并对该测试样本的场景信息进行标记。其中，测试样本中可以是大量的图片，基于图片可以人工预先将测试样本进行场景分类，例如：将测试样本分为白天的测试样本和夜晚的测试样本，区分白天与夜晚可以通过设定一个时间值区分，如时间为18：00之后，则认为任务对应场景是晚上。当然，场景还可以包括地下层、城区主干道、高速、国道等。

S507、基于已标记的测试样本的场景信息、坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第二权重比例，基于指令库从算法仓中的多个候选算法中选取目标算法。

其中，当增加场景信息维度时，便可以基于场景信息、坐标准确率、事件识别率以及响应时间一起生成指令库，且可以对每个维度的权重进行调整，分配后的权重为上述第二权重比例。当增加场景维度时，场景维度的权重最高，场景、坐标准确率、事件识别率以及响应时间的第二权重比例分别对应为4：2：2：2。

生成指令库后，可以创建算法选取任务并下发到算法仓，然后根据评测中的指令库去匹配最优算法(目标算法)。具体的，可以优先根据算法选取任务的摄像头信息查询到设备是在什么场景，例如：场景为地下层，或者晚上。优先根据场景筛选可以排除更多的选项，然后基于上述第二权重比例去计算得出目标算法。

作为一种可能的实施例方式，目标算法的选取方法还可以包括以下步骤：

创建算法选取优先级。

其中，算法选取优先级可以表示根据优先级更高的条件进行选取，在算法选取优先级中，第二权重比例高于第一权重比例。

判断是否对测试样本进行场景分类。

若已对测试样本进行场景分类，则基于第二权重比例，根据测试样本的场景、坐标准确率、事件识别率和响应时间生成指令库例。

其中，若判断出要对测试样本进行场景分类，即在存在维度为场景的情况下，则当执行算法选取任务时，会根据测试样本的场景、坐标准确率、事件识别率和响应时间生成指令库例，优先选取第二权重比例进行计算选取出目标算法。

若没有对测试样本进行场景分类，则基于第一权重比例，根据坐标准确率、事件识别率和响应时间生成指令库。

其中，当不存在维度为场景时，则基于第一权重比例，根据坐标准确率、事件识别率和响应时间生成指令库，执行算法选取任务时，在算法仓中根据第一权重比例选取出目标算法。

在本发明实施例中，通过增加场景信息维度，结合坐标准确率、事件识别率以及响应时间生成指令库，并对上述四个维度重新分配第二权重比例，在执行算法选取任务时，便可以在算法仓中根据上述四个维度和对应的第二权重比例选取出目标算法，同时增加场景维度之后，会将场景维度的权重调到最大，优先选取场景。选取得到的目标算法具备最高的识别率与准确率，当运用在视频识别任务中时，筛选出的目标算法能提高视频任务的识别率与准确率。

如图6所示，图6是本发明实施例提供的一种目标算法的选取装置的模块结构图，装置600包括：

获取模块601，用于获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，测试集包括多个测试样本，识别数据中包括候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

第一计算模块602，用于将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

第二计算模块603，用于将已识别事件数量与测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取模块604，用于读取候选算法对测试集中的每个测试样本进行识别时的响应时间；

算法选取模块605，用于基于坐标准确率、事件识别率和响应时间，从算法仓中的多个候选算法中选取目标算法。

可选的，如图7所示，图7是本发明实施例提供的图6中第一计算模块的模块结构图，其中，第一计算模块602包括：

第一计算子模块6021，用于基于已识别坐标信息与每个测试样本的标注文件中的目标坐标信息，计算候选算法对单个测试样本进行识别的准确率；

第二计算子模块6022，用于根据候选算法对各个测试样本进行识别的准确率，确定候选算法对测试集进行识别处理时的坐标准确率。

可选的，如图8所示，图8是本发明实施例提供的图6中第二计算模块的模块结构图，其中，第二计算模块603包括：

第三计算子模块6031，用于基于已识别事件数量与每个测试样本的标注文件中的目标事件数量，计算候选算法对单个测试样本进行识别的识别率；

第四计算子模块6032，用于根据候选算法对各个测试样本进行识别的识别率，确定候选算法对测试集进行识别处理时的事件识别率。

可选的，如图9所示，图9是本发明实施例提供的另一种目标算法的选取装置的模块结构图，算法选取模块605包括：

生成子模块6051，用于基于坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第一权重比例；

选取子模块6052，用于创建算法选取任务并下发至算法仓，基于指令库从算法仓中的多个候选算法中选取目标算法。

可选的，测试样本还包括场景信息，如图10所示，图10是本发明实施例提供的另一种目标算法的选取装置的部分模块结构图，装置600还包括：

筛选模块606，用于筛选坐标准确率与事件识别率均为最大的候选算法；

识别模块607，用于识别坐标准确率与事件识别率均为最大的候选算法对应的测试样本的场景信息并进行标记。

可选的，算法选取模块605还用于基于已标记的测试样本的场景信息、坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第二权重比例，基于指令库从算法仓中的多个候选算法中选取目标算法。

可选的，如图11所示，图11是本发明实施例提供的另一种目标算法的选取装置的模块结构图，装置600还包括：

创建模块608，用于创建算法选取优先级，算法选取优先级中，第二权重比例高于第一权重比例；

判断模块609，用于判断是否对测试样本进行场景分类；

算法选取模块605还用于若已对测试样本进行场景分类，则基于第二权重比例，根据测试样本的场景、坐标准确率、事件识别率和响应时间生成指令库；

算法选取模块605还用于若没有对测试样本进行场景分类，则基于第一权重比例，根据坐标准确率、事件识别率和响应时间生成指令库。

本发明实施例提供的一种目标算法的选取装置能够实现上述的目标算法的选取方法各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

如图12所示，图12为本发明实施例提供的一种电子设备的结构图。如图12所示，包括：处理器1201、存储器1202、网络接口1203及存储在存储器1202上并可在处理器1201上运行的计算机程序，其中：

处理器1201用于调用存储器1202存储的计算机程序，执行如下步骤：

获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，测试集包括多个测试样本，识别数据中包括候选算法分别对每个测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

将已识别事件数量与测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取候选算法对测试集中的每个测试样本进行识别时的响应时间。

可选的，处理器1201执行的将已识别坐标信息与测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率，包括：

基于已识别坐标信息与每个测试样本的标注文件中的目标坐标信息，计算候选算法对单个测试样本进行识别的准确率；

根据候选算法对各个测试样本进行识别的准确率，确定候选算法对测试集进行识别处理时的坐标准确率。

可选的，处理器1201执行的将已识别事件数量与测试集的每个测试样本的标注文件中的目标事件数量进行比较，计算事件识别率，包括：

基于已识别事件数量与每个测试样本的标注文件中的目标事件数量，计算候选算法对单个测试样本进行识别的识别率；

根据候选算法对各个测试样本进行识别的识别率，确定候选算法对测试集进行识别处理时的事件识别率。

可选的，处理器1201执行的基于坐标准确率、事件识别率和响应时间，从算法仓中的多个候选算法中选取目标算法，包括：

基于坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第一权重比例；

创建算法选取任务并下发至算法仓，基于指令库从算法仓中的多个候选算法中选取目标算法。

可选的，测试样本还包括场景信息，处理器1201还用于执行：

筛选坐标准确率与事件识别率均为最大的候选算法；

识别坐标准确率与事件识别率均为最大的候选算法对应的测试样本的场景信息并进行标记。

可选的，处理器1201还用于执行：

基于已标记的测试样本的场景信息、坐标准确率、事件识别率和响应时间生成指令库，并对每个维度分配第二权重比例，基于指令库从算法仓中的多个候选算法中选取目标算法。

可选的，处理器1201还用于执行：

创建算法选取优先级，算法选取优先级中，第二权重比例高于第一权重比例；

判断是否对测试样本进行场景分类；

若已对测试样本进行场景分类，则基于第二权重比例，根据已标记的测试样本的场景信息、坐标准确率、事件识别率和响应时间生成指令库；

若没有对测试样本进行场景分类，则基于第一权重比例，根据坐标准确率、事件识别率和响应时间生成指令库。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的目标算法的选取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要指出的是，图中仅示出了具有组件的1201-1203，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备1200可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备1200可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

存储器1202至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1202可以是电子设备的内部存储单元，例如该电子设备的硬盘或内存。在另一些实施例中，存储器1202也可以是电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器1202还可以既包括电子设备的内部存储单元也包括其外部存储设备。本实施例中，存储器1202通常用于存储安装于电子设备的操作系统和各类应用软件，例如目标算法的选取方法的程序代码等。此外，存储器1202还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器1201在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1201通常用于控制电子设备的总体操作。本实施例中，处理器1201用于运行存储器1201中存储的程序代码或者处理数据，例如运行目标算法的选取方法的程序代码。

网络接口1203可包括无线网络接口或有线网络接口，该网络接口1203通常用于在电子设备1200与其他电子设备之间建立通信连接。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器1201执行时实现本发明实施例提供的目标算法的选取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现实施例目标算法的选取方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器1202(Random AccessMemory，简称RAM)等。

本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种目标算法的选取方法，其特征在于，所述方法包括以下步骤：

获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，所述测试集包括多个测试样本，所述识别数据中包括所述候选算法分别对每个所述测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

将所述已识别事件数量与所述测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取所述候选算法对测试集中的每个所述测试样本进行识别时的响应时间；

基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法。

2.如权利要求1所述的方法，其特征在于，所述将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率，包括：

基于所述已识别坐标信息与每个所述测试样本的标注文件中的所述目标坐标信息，计算所述候选算法对单个所述测试样本进行识别的准确率；

根据所述候选算法对各个所述测试样本进行识别的准确率，确定所述候选算法对所述测试集进行识别处理时的坐标准确率。

3.如权利要求1所述的方法，其特征在于，所述将所述已识别事件数量与所述测试集的每个测试样本的标注文件中的目标事件数量进行比较，计算事件识别率，包括：

基于所述已识别事件数量与每个所述测试样本的标注文件中的所述目标事件数量，计算所述候选算法对单个所述测试样本进行识别的识别率；

根据所述候选算法对各个所述测试样本进行识别的识别率，确定所述候选算法对所述测试集进行识别处理时的事件识别率。

4.如权利要求1所述的方法，其特征在于，所述基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法，包括：

基于所述坐标准确率、所述事件识别率和所述响应时间生成指令库，并对每个维度分配第一权重比例；

创建算法选取任务并下发至所述算法仓，基于所述指令库从所述算法仓中的多个所述候选算法中选取所述目标算法。

5.如权利要求4所述的方法，其特征在于，所述测试样本还包括场景信息，所述方法还包括：

筛选所述坐标准确率与所述事件识别率均为最大的所述候选算法；

识别所述坐标准确率与所述事件识别率均为最大的所述候选算法对应的测试样本的场景信息并进行标记。

6.如权利要求5所述的方法，其特征在于，包括：基于已标记的所述测试样本的场景信息、所述坐标准确率、所述事件识别率和所述响应时间生成所述指令库，并对每个维度分配第二权重比例，基于所述指令库从所述算法仓中的多个所述候选算法中选取所述目标算法。

7.如权利要求6所述的方法，其特征在于，还包括：

创建算法选取优先级，所述算法选取优先级中，所述第二权重比例高于所述第一权重比例；

判断是否对所述测试样本进行场景分类；

若已对所述测试样本进行场景分类，则基于所述第二权重比例，根据已标记的所述测试样本的场景信息、所述坐标准确率、所述事件识别率和所述响应时间生成所述指令库；

若没有对所述测试样本进行场景分类，则基于所述第一权重比例，根据所述坐标准确率、所述事件识别率和所述响应时间生成所述指令库。

8.一种目标算法的选取装置，其特征在于，包括：

获取模块，用于获取算法仓中多个候选算法分别对测试集进行识别处理后得到各候选算法对应的识别数据，所述测试集包括多个测试样本，所述识别数据中包括所述候选算法分别对每个所述测试样本中的识别对象进行识别得到的已识别坐标信息以及已识别事件数量；

第一计算模块，用于将所述已识别坐标信息与所述测试样本的标注文件中的目标坐标信息进行比较，计算坐标准确率；

第二计算模块，用于将所述已识别事件数量与所述测试样本的标注文件中的目标事件数量进行比较，计算事件识别率；

读取模块，用于读取所述候选算法对测试集中的每个所述测试样本进行识别时的响应时间；

算法选取模块，用于基于所述坐标准确率、所述事件识别率和所述响应时间，从所述算法仓中的多个所述候选算法中选取目标算法。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种目标算法的选取方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种目标算法的选取方法中的步骤。

Images