CN110163183B - 目标检测算法的评估方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标检测算法的评估方法、装置、计算机设备和存储介质。方法包括：对待检测图像中的全部n个对象进行标注，得到n个标注框，其中，n为正整数，对待检测图像进行目标检测，得到初始检测结果，其中，若对待检测图像进行目标检测时检测出目标，则的初始检测结果包含检出框，对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果，其中，若对缺失图像进行目标检测时检测出目标，则的缺失检测结果包含检出框，根据初始检测结果和/或缺失检测结果，对目标检测算法进行评估，从而可以对目标检测算法进行准确地评估。

Description

目标检测算法的评估方法、装置、计算机设备和存储介质

技术领域

本申请涉及目标检测技术领域，特别是涉及一种目标检测算法的评估方法、装置、计算机设备和存储介质。

背景技术

目标检测是通过目标检测算法从图像中检测出目标的技术，目标检测算法的准确性直接影响到目标的检测效果，因此，如何智能准确地评估一个目标检测算法的好坏一直是本领域技术人员研究的重点，而对目标检测算法的性能评估即为对目标的检测效果的评估，因此，可以通过评估检测效果来评估目标检测算法。

传统方法中，在进行多目标检测的准确性的评估时，需要先将图像中的多个目标手动标出标注框，之后，利用目标检测算法对标出标注框后的多个目标进行检测，自动标出检出框，计算检出框与任一标注框的重叠面积，若重叠面积大于预设阈值，即认为检出。判断检出框与标注框的对应关系时，目前以重合面积为标准，即认为与某个检出框重合面积最大的标注框为与该检出框对应的标注框。该方法虽然快捷，但存在以下问题：第一，虽然可以通过判断检出框和标注框的数量关系判断是否存在目标漏检或非目标误检(检出框数量大于标注框数量时，出现非目标误检，检出框数量小于标注框数量时，出现目标漏检)，但是无法判断到底是哪个目标被漏检或哪个非目标被误检；第二，检出框并不是总是和与其重合面积最大的标注框对应，用重合面积作为对应的标注并不严谨。

发明内容

基于此，有必要针对上述技术问题，提供一种目标检测算法的评估方法、装置、计算机设备和存储介质。

一种目标检测算法的评估方法，所述方法包括：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

在其中一个实施例中，所述对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果，之前还包括：

使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像。

在其中一个实施例中，所述对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果，之前还包括：

使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

在其中一个实施例中，所述根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

在其中一个实施例中，所述根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

在其中一个实施例中，所述根据所述初始检测结果和所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

在其中一个实施例中，所述根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估，包括：

根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。

一种目标检测算法的评估装置，所述装置包括：

标注模块，用于对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

检测分析模块，用于对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

所述检测分析模块，还用于对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

评估模块，用于根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

上述目标检测算法的评估方法、装置、计算机设备和存储介质，首先记录初始多目标图检测获得的初始检测结果，然后通过逐个减少目标再次送检得到确实检测结果，通过比较初始检测结果和缺失检测结果可以确定每一个检出框对应的哪一个目标，从而可以对目标检测算法进行准确地评估。

附图说明

图1为一个实施例中目标检测算法的评估方法的应用环境图；

图2为一个实施例中目标检测算法的评估方法的流程示意图；

图3为一个实施例中步骤S204的细化步骤的流程示意图；

图4为一个实施例中目标检测的识别结果示意图；

图5为一个实施例中目标检测的识别结果示意图；

图6为一个实施例中目标检测的识别结果示意图；

图7为一个实施例中目标检测的识别结果示意图；

图8为一个实施例中目标检测算法的评估装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的目标检测算法的评估方法，可以应用于如图1所示的应用环境中。其中，图像采集装置10与计算机设备20相连接。其中，图像采集装置10与计算机设备20可以设置为一体式终端，该一体式终端可以包含但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。该图像采集装置10与计算机设备20还可以是分别独立设置的图像采集装置10(例如相机)与服务器，该图像采集装置10通过网络与服务器通信连接，该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

可选地，图像采集装置10获取待检测图像，其中，该待检测图像可以为图像采集装置10本地存储的图像中的其中之一，或者为图像采集装置10从网络或者其他图像采集装置获取到的图像，或者为图像采集装置10从视频画面中截取的图像，或者为图像采集装置10拍摄的图像。

其中，图像采集装置10在获取到待检测图像后，将待检测图像发送至计算机设备20。可选地，该计算机设备20包含至少一个处理器21和存储器22。可选地，该处理器21可以为CPU(Central Processing Unit，中央处理器)，GPU(Graphics Processing Unit，图形处理器)等等，该处理器21可以为多核处理器，例如多核GPU。

其中，该计算机设备20内的存储器22内存储有评估算法，处理器21可以调用并运行存储器22内的评估算法，对待检测图像中的全部n个对象进行标注，得到n个标注框，其中，n为正整数，之后，处理器21对待检测图像进行目标检测，得到初始检测结果，其中，若对待检测图像进行目标检测时检测出目标，则初始检测结果包含检出框，之后，处理器21对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果，其中，若对缺失图像进行目标检测时检测出目标，则缺失检测结果包含检出框，处理器21根据初始检测结果和/或缺失检测结果，对目标检测算法进行评估。

在一个实施例中，如图2所示，提供了一种目标检测算法的评估方法，以该方法应用于图1为例进行说明，包括以下步骤：

步骤S201，对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

其中，对待检测图像中的n个对象进行标注的工作通常由人工完成，作为评估目标检测算法的基准。

在本发明实施例中，对象是待检测图像中的需要进行目标检测的对象。例如，需要进行目标检测的对象是人脸，则待检测图像中的全部人脸为全部对象，待检测图像中的非人脸如树、动物脸等均不作为对象。对每一个对象都进行标注，例如，将每一个对象用一个矩形框住，得到n个标注框，其中，每个标注框上都可设置一个标识，用来区别不同的标注框。

步骤S202，对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

在本发明实施例中，对包含标注框的待检测图像中的对象进行目标检测，得到初始检测结果，其中，该初始检测结果可能包含检出框也可能不包含检出框，若对包含标注框的待检测图像进行目标检测时检测出目标，则初始检测结果包含检出框。

步骤S203，对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

其中，缺失图像可以通过以下方式得到，使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像。可选的，可以使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失；或者，也可以使待检测图像中的每个对象组合缺失或全部缺失，都会得到对应的缺失图像。

在本发明实施例中，对待检测图像进行目标检测，得到初始检测结果，之后，使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像，对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果。。如图4所示，例如，n为3，对待检测图像中的3个对象进行标注，得到3个标注框，分别为标注框1、标注框2和标注框3，首先，对待检测图像中的3个对象不做任何处理，进行目标检测，得到初始检测结果p1，之后，依次使3个对象中的每个对象单独缺失一次，对缺失某对象后的待检测图像进行目标检测，得到缺失检测结果，具体的，单独缺失3个对象中的第1个对象(标注框为1的对象)，对第2个和第3个对象进行目标检测，得到一个缺失检测结果q1(包含检出框B和检出框C)，单独缺失3个对象中的第2个对象(标注框为2的对象)，对第1个和第3个对象进行目标检测，得到一个缺失检测结果q2(包含检出框A和检出框C)，单独缺失3个对象中的第3个对象(标注框为3的对象)，对第1个和第2个对象进行目标检测，得到一个缺失检测结果q3(包含检出框A和检出框B)，则共计可以得到4个检测结果(初始检测结果p1、缺失检测结果q1、缺失检测结果q2和缺失检测结果q3)。

其中，使待检测图像中的每个对象至少缺失一次可以是对对象的遮挡处理，PS处理、删除等。可选的，也可以在样本采集阶段使每个对象缺失，则在检测阶段，可以直接进行检测。

步骤S204，根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

对缺失了某些对象的缺失图像进行目标检测时，实际上是对缺失图像中未缺失的对象进行目标检测。理论上，这些未缺失的对象在缺失检测结果中所对应的检出框和在初始检测结果中所对应的检出框是相同的，不受缺失对象的影响。缺失检测结果和初始检测结果的差异是由缺失的对象带来的，因此，比较初始检测结果和缺失检测结果，可对所述目标检测算法进行评估。

在本发明实施例中，可选的，若初始检测结果中的检出框的数量大于n，则存在误检；若初始检测结果中的检出框的数量小于n，则存在漏检；若初始检测结果中的检出框的数量等于n，则可能不存在误检和漏检，或者，同时存在误检和漏检。

其中，相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检；相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

上述目标检测算法的评估方法，首先记录初始多目标图检测获得的初始检测结果，然后通过逐个减少目标再次送检得到缺失检测结果，通过比较初始检测结果和缺失检测结果可以确定每一个检出框对应的哪一个对象，从而可以对目标检测算法进行准确地评估。

在一个实施例中，如图3所示，为步骤S204的细化步骤的流程示意图，包括：

步骤S2041，相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

步骤S2042，根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

在本发明实施例中，例如，如图4所示，检测结果p1为初始检测结果，检测结果q1、检测结果q2和检测结果q3构成了检测结果集，将检测结果q1和检测结果p1结合进行分析，得到标注框1与检出框A相对应，将检测结果q2和检测结果P1结合进行分析，得到标注框2与检出框B相对应，将检测结果q3和检测结果P1结合进行分析，得到标注框3与检出框C相对应。

另一种情况，如图5所示，例如，n为3，对待检测图像中的3个对象进行标注，得到3个标注框，分别为标注框1、标注框2和标注框3，首先，对待检测图像中的3个对象不做任何处理，进行目标检测，得到初始检测结果P2，之后，依次使3个对象中的每个对象单独缺失，并对单独缺失后剩余的2个对象进行目标检测，得到检测结果集，具体的，单独缺失3个对象中的第1个对象(标注框为1的对象)，对第2个和第3个对象进行目标检测，得到一个检测结果q4(包含检出框B和检出框C)，单独缺失3个对象中的第2个对象(标注框为2的对象)，对第1个和第3个对象进行目标检测，得到一个检测结果q5(包含检出框A和检出框B)，单独缺失3个对象中的第3个对象(标注框为3的对象)，对第1个和第2个对象进行目标检测，得到一个检测结果q6(包含检出框A和检出框C)，则共计可以得到4个检测结果。将检测结果q4和检测结果P2结合进行分析，得到标注框1与检出框A相对应，将检测结果q5和检测结果P2结合进行分析，得到标注框2与检出框C相对应，将检测结果q6和检测结果P2结合进行分析，得到标注框3与检出框B相对应。

另一种情况，如图6所示，n为3，对待检测图像中的3个对象进行标注，得到3个标注框，分别为标注框1、标注框2和标注框3，首先，对待检测图像中的3个对象不做任何处理，进行目标检测，得到初始检测结果P3(包括检出框A、检出框B、检出框C、检出框D和检出框E)，之后，依次使3个对象中的每个对象单独缺失，并对单独缺失后剩余的2个对象进行目标检测，得到检测结果集，具体的，单独缺失3个对象中的第1个对象(标注框为1的对象)，对第2个和第3个对象进行目标检测，得到一个检测结果q7(检出框B、检出框C、检出框D和检出框E)，单独缺失3个对象中的第2个对象(标注框为2的对象)，对第1个和第3个对象进行目标检测，得到一个检测结果q8(检出框A、检出框C、检出框D和检出框E)，单独缺失3个对象中的第3个对象(标注框为3的对象)，对第1个和第2个对象进行目标检测，得到一个检测结果q9(检出框A、检出框B、检出框D和检出框E)，则共计可以得到4个检测结果。将检测结果q7和检测结果P3结合进行分析，得到标注框1与检出框A相对应，将检测结果q8和检测结果P3结合进行分析，得到标注框2与检出框B相对应，将检测结果q9和检测结果P3结合进行分析，得到标注框3与检出框C相对应。检出框D和检出框E为误检，将非目标当成目标检测出来了。

另一种情况，如图7所示，n为3，对待检测图像中的3个对象进行标注，得到3个标注框，分别为标注框1、标注框2和标注框3，首先，对待检测图像中的3个对象不做任何处理，进行目标检测，得到初始检测结果P4(包括检出框A和检出框B)，之后，依次使3个对象中的每个对象单独缺失，并对单独缺失后剩余的2个对象进行目标检测，得到检测结果集，具体的，单独缺失3个对象中的第1个对象(标注框为1的对象)，对第2个和第3个对象进行目标检测，得到一个检测结果q10(检出框B)，单独缺失3个对象中的第2个对象(标注框为2的对象)，对第1个和第3个对象进行目标检测，得到一个检测结果q11(检出框A和检出框B)，单独缺失3个对象中的第3个对象(标注框为3的对象)，对第1个和第2个对象进行目标检测，得到一个检测结果q12(检出框A)，则共计可以得到4个检测结果。将检测结果q10和检测结果P4结合进行分析，将检测结果q11和检测结果P4结合进行分析，检测结果q12和检测结果P4结合进行分析，得到标注框1与检出框A相对应，标注框3与检出框B相对应，标识框为2的目标漏检了。

步骤S2043，根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

在本发明实施例中，因为对应关系是标注框与检出框之间的对应关系，则通过对应关系就可以确定与检出框对应的是哪一个目标，进一步的，对初始检测结果中检出框与待检测图像中标注框的对应关系进行分析，实现对目标检测算法的评估。

可选的，根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。例如，当待检测图像中的全部n个对象的检出框和其对应标注框之间的距离的平均值大于一定阈值时，认定为目标检测算法不合格。在一种具体的实施方式中，在漏检的时候，与该漏检的对象的标注框对应的检出框为空，定义初始检测结果中的检出框和其对应的标注框之间的距离为无限大；在误检的时候，与该误检的对象的检出框对应的标注框为空，定义初始检测结果中的检出框和其对应的标注框之间的距离为无限大。在另一种具体的实施方式中，在漏检或误检时，也可以采用以下方式定义距离，例如：对于漏检的对象，所述初始检测结果中的检出框和其对应的标注框之间的距离大于第一预设阈值；对于误检的对象，所述初始检测结果中的检出框和与其对应的标注框之间的距离大于第二预设阈值。其中，第一预设阈值和第二预设阈值可以相同也可以不同，是一个数值较大的值，例如，为100。若每个检出框和其对应的标注框之间的距离小于第三预设阈值，则可以认为标注框以及检出框中是同一个目标。在一个具体的实施方式中，可以认为当待检测图像中的全部n个对象的标注框与其对应的检出框之间的距离均小于第三预设阈值时，目标检测算法合格。

可选的，除了根据距离判断每个检出框和其对应的标注框中的对象是否是同一个，也可以对每个检出框和其对应的标注框中的对象进行图像匹配，图像匹配是分析两个框(每个标注框以及与所述标注框对应的检出框)中的目标的相似度，每个对应关系都存在着两张目标图像，一个是标注框中待检测的目标，一个是检测后的检出框中的目标。其中，匹配结果可以是两张图像的相似度，若匹配结果越大，则相似度越大，则标注框以及与所述标注框对应的检出框中的两张图像越相似，即标注框以及检出框中是同一个目标。或者，匹配结果可以是两张图像的重叠面积，若匹配结果越大，则重叠面积或IOU越大，则标注框以及与所述标注框对应的检出框中的两张图像越相似，即标注框以及检出框中是同一个目标。需要说明的是，除了上述两种方法，和上述两种方法相似的图像匹配方法或者若干变形和改进方法，都属于本申请的保护范围。

在一个实施例中，统计出标注框以及检出框中不是同一个目标的对应关系的数量，根据该数量可以知道目标检测算法的准确性，从而实现对目标检测算法的评估。

可选的，若所述数量大于第四预设阈值，则评估所述目标检测算法不满足预设指标；若所述数量小于或等于所述第四预设阈值，则评估所述目标检测满足所述预设指标。

在本发明实施例中，预设指标是一个预设评价标准，其是根据实际场景或产品需求来决定的，某种意义上代表了算法的可用性，可根据实际需求进行修改。可选的，满足预设指标的目标检测算法的准确性较高，则该目标检测算法可用，不满足预设指标的目标检测算法的准确性较低，则该目标检测算法不可用。

在本发明实施例中，若数量大于第四预设阈值，则表示目标检测中确定的对应关系中存在过多错误的对应关系，则评估目标检测算法不满足预设指标，若数量小于或等于第四预设阈值，则表示目标检测中确定的对应关系中不存在过多错误的对应关系，则评估目标检测满足预设指标。

在一个实施例中，可选的，若根据步骤S2042确定的对应关系的数量为m，则计算n和m的差值之间的绝对值，若所述绝对值不为0，则不存在漏检或误检，或者同时存在相同数量的漏检和误检。其中，若绝对值大于第五预设阈值，则表示漏检或者多检的次数过多，则直接认定该目标检测算法不满足预设指标。可选的，在认定该目标检测算法不满足预设指标的情况下，还可以继续对m个对应关系进行分析，如上述实施例中所述的分析方法，进一步确定出哪些目标漏检和目标误检，提高检测评测的准确性。若绝对值小于或等于第五预设阈值，则表示漏检或者多检的次数较少，不能直接认定该目标检测算法不满足预设指标，但还需要继续对m各对应关系进行分析，确定对应关系中的标注框和检出框对应的对象是否是同一个对象。其中，此处的有关于对应关系的描述如上述实施例中所述，此处不再加以赘述。

在一个实施例中，进一步的，确定所述数量和所述绝对值的和值；若所述和值大于第六预设阈值，则评估所述目标检测算法不满足预设指标；若所述和值小于或等于所述第六预设阈值，则评估所述目标检测满足所述预设指标。

在本发明实施例中，上述数量表示即相对应的标注框以及检出框中的人不是同一个目标的数量，绝对值表示缺少的对应关系，则将上述数量加上绝对值，得到的和值可以统称为目标检测中确定的对应关系中错误的对应关系的数量。若和值大于第六预设阈值，则表示目标检测中确定的对应关系中存在过多错误的对应关系，则评估目标检测算法不满足预设指标，若和值小于或等于第六预设阈值，则表示目标检测中确定的对应关系中不存在过多错误的对应关系，则评估目标检测满足预设指标。

需要说明的是，上述第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值、第五预设阈值、第六预设阈值可根据实际场景需求等进行设置和修改。

应该理解的是，虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种目标检测算法的评估装置，包括：标注模块801、检测分析模块802和评估模块803，其中：

标注模块801，用于对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

检测分析模块802，用于对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

所述检测分析模块802，还用于对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

评估模块803，用于根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

作为一种可选地实施方式，所述装置还包括缺失图像获取模块，用于使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；或，使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

作为一种可选地实施方式，所述评估模块803用于：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

作为一种可选地实施方式，所述评估模块803用于：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

作为一种可选地实施方式，所述评估模块803用于：

相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

作为一种可选地实施方式，所述评估模块803用于：

根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。

关于装置的具体限定可以参见上文中对于目标检测算法的评估方法的限定，在此不再赘述。上述目标检测算法的评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储评估算法、待检测图像等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测算法的评估方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测算法的评估方法，其特征在于，所述方法包括：

对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估；

对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果之前，所述方法还包括：

使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；或者使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

2.根据权利要求1所述的方法，其特征在于，所述根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；

根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；

根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

3.根据权利要求1所述的方法，其特征在于，所述根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

4.根据权利要求1所述的方法，其特征在于，所述根据所述初始检测结果和所述缺失检测结果，对所述目标检测算法进行评估，包括：

相比于所述初始检测结果，所述缺失检测结果中不随任何对象缺失而缺少的检出框为误检的检出框。

5.根据权利要 求2所述的方法，其特征在于，所述根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估，包括：

根据每个检出框和其对应的标注框之间的距离，对所述目标检测算法进行评估。

6.一种目标检测算法的评估装置，其特征在于，所述装置包括：

标注模块，用于对待检测图像中的全部n个对象进行标注，得到n个标注框；其中，所述n为正整数；

检测分析模块，用于对所述待检测图像进行目标检测，得到初始检测结果；其中，若对所述待检测图像进行目标检测时检测出目标，则所述的初始检测结果包含检出框；所述检测分析模块，还用于对缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像进行目标检测，得到缺失检测结果；其中，若对所述缺失图像进行目标检测时检测出目标，则所述的缺失检测结果包含检出框；

评估模块，用于根据所述初始检测结果和/或所述缺失检测结果，对所述目标检测算法进行评估；

还包括缺失图像获取模块，用于使待检测图像中的每个对象至少缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；或者使待检测图像中的每个对象至少单独缺失一次，得到缺失了待检测图像中的n个对象中的部分或全部对象得到的缺失图像；其中，所述单独缺失指该对象缺失但其他对象不缺失。

7.根据权利要求6所述的装置，其特征在于，所述评估模块用于：

相比于所述初始检测结果，将所述缺失检测结果中缺少的检出框确定为与缺失的对象所对应的检出框；根据缺失的对象和缺少的检出框的对应关系，得到所述初始检测结果中检出框与所述待检测图像中标注框的对应关系；根据所述初始检测结果中检出框与所述待检测图像中标注框的对应关系，对所述目标检测算法进行评估。

8.根据权利要求6所述的装置，其特征在于，所述评估模块还用于：

相比于所述初始检测结果，若与缺失图像对应的缺失检测结果中未缺少检出框，则所述缺失图像中缺失的对象在所述初始检测结果中被漏检。

9.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images