CN109325406A - 待评估检测算法检测性能的评估方法、装置和计算机设备 - Google Patents

Abstract

本发明涉及待评估检测算法检测性能的评估方法、装置、计算机设备和存储介质，属于目标检测技术领域。所述方法包括：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个检测节点组合得到检测序列；获取预先确定的标注序列；比对检测节点和标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将检测节点确定为有效检测节点；根据有效检测节点的数量评估待评估检测算法的检测性能。上述技术方案，解决了待评估检测算法检测性能的评估结果不准确的问题，能对待评估检测算法进行准确地评估。

Description

待评估检测算法检测性能的评估方法、装置和计算机设备

技术领域

本发明涉及目标检测技术领域，特别是涉及待评估检测算法检测性能的评估方法、装置、计算机设备和存储介质。

背景技术

目前，有许多对视频中的目标(例如：行人)进行检测的算法。对于这些待评估检测算法，人们往往需要确定它的目标检测准确性，因此需要对待评估检测算法的准确性进行评估。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：传统的对检测算法检测性能的评估往往是直接根据检测算法基于图片集的检测信息来评估的。但是，该检测算法有可能做不到每帧都检测出视频中的目标，这种情况下基于现有方案将误认为检测算法未正确检测出目标，然而实际应用情景中，只要目标停留的时间内能够获取到所需的信息，那么要求每帧都检测出该目标并不是必须的；另外，还有可能出现将前后若干帧的某一背景区域误检为目标的情况，这种情况下误检次数会被多次计入检测算法检测性能的评估中。无论哪种情况，都会导致对检测算法检测性能的评估结果不可靠。

发明内容

基于此，本发明提供了待评估检测算法检测性能的评估方法、装置、计算机设备和存储介质，能准确地确定出待评估检测算法的有效检测节点，进而提高待评估检测算法检测性能的评估准确性。

本发明实施例的内容如下：

一种待评估检测算法检测性能的评估方法，包括以下步骤：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

相应的，本发明实施例提供一种待评估检测算法检测性能的评估装置，包括：目标检测模块，用于获取视频中的多个帧图像，通过待评估检测算法检测视频的多个帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；标注序列确定模块，用于获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；目标判断模块，用于比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；以及，算法评估模块，用于根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

上述待评估检测算法检测性能的评估方法及装置，通过待评估检测算法来检测帧图像中的目标，根据检测目标在多个帧图像中的检测信息构建检测节点，得到检测序列；获取通过类似的方式得到的标注序列；将检测序列中的检测节点和标注序列中的标注节点进行比对，以标注节点为参考从检测节点中确定出有效检测节点，并根据有效检测节点的数量来评估待评估检测算法的检测性能。能准确地确定出待评估检测算法的有效检测节点，进而可以得到待评估检测算法的准确评估结果。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

上述计算机设备，能准确地确定出待评估检测算法的有效检测节点，进而可以得到待评估检测算法的准确评估结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

上述计算机可读存储介质，能准确地确定出待评估检测算法的有效检测节点，进而可以得到待评估检测算法的准确评估结果。

附图说明

图1为一个实施例中待评估检测算法检测性能的评估方法的应用环境图；

图2为一个实施例中待评估检测算法检测性能的评估方法的流程示意图；

图3为一个实施例中标注文件重组前的结构示意图；

图4为一个实施例中标注文件重组后的结构示意图；

图5为一个实施例中目标框重叠的示意图；

图6为一个实施例中计算召回率的流程示意图；

图7为一个实施例中计算精确率的流程示意图；

图8为另一个实施例中待评估检测算法检测性能的评估方法的流程示意图；

图9为一个实施例中待评估检测算法检测性能的评估装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请提供的待评估检测算法检测性能的评估方法可以应用于如图1所示的计算机设备中。该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储检测序列、标注序列等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信，例如与外部的摄像装置连接，获取该摄像装置提供的视频；或者与外部的标注工具连接，获取该标注工具对视频中的目标的标注信息。该计算机程序被处理器执行时实现一种待评估检测算法检测性能的评估方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例提供一种待评估检测算法检测性能的评估方法、装置、计算机设备和存储介质，以下分别进行详细说明。

在一个实施例中，如图2所示，提供了一种待评估检测算法检测性能的评估方法，包括以下步骤：

S201、获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列。

本步骤从某一段视频中提取多个帧图像，通过待评估检测算法来检测帧图像中的目标，所检测出的目标记为检测目标。由于各个帧图像中可能存在多个检测目标，为简化算法检测性能的评估复杂度，本步骤根据同一检测目标在多个帧图像中的检测信息构建检测节点，并根据不同检测目标所构建的检测节点得到检测序列，以检测节点为单元进行后续有效检测节点的确定过程。

其中，视频可以是通过监控摄像头等设备获得的一段视频，视频可以拆分为多个帧图像。该视频中可以包括但不限于行人、动物、车辆、背景区域等类型的目标；这些目标可以是运动的，也可以是静止的。

待评估检测算法(记为AlgorithmTrails)可以是人脸识别技术、计算机视觉技术、图像识别技术等可以对视频中的目标进行检测的技术。根据所检测的目标类型的不同，待评估检测算法可以指行人检测算法、车辆检测算法、动物检测算法等。

检测信息可以包括目标的类型(class)，如：行人、车辆、动物等，也可以包括目标在对应帧图像中的ID、坐标、尺寸信息，还可以包括目标在视频中出现的视频信息，例如：所在帧号等。

S202、获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到。

本步骤获取预先确定的标注序列。该标注序列的确定过程与检测序列类似，不同的是，标注序列中的标注目标是通过标注工具标注得到的。

在一个实施例中，标注工具(记为ObjTrails)是能够对视频中的目标进行标注的工具。可以是能自动检测出视频中的目标并对所检测的目标生成标注信息的工具，也可以是用户能使用它来对视频中的目标进行人工标记的工具。本发明实施例对标注工具的形式以及标注的方式不做限制。

在一个实施例中，每一个被检测或标注出的目标都有标号(ID)，一个目标在其出现的所有帧图像中都可以被标识为同一ID，这样能使目标的标识具有唯一性。例如，通过标注工具标注出某一目标在第一次出现时的ID为101(标注目标101)，则在后续的帧图像中，依旧将该目标标注为101；通过待评估检测算法检测出某一目标在第一次出现时的ID为102(检测目标102)，则在后续的帧图像中，依旧将该目标标注为102。同时，标注目标的标号可以与检测目标的标号相区别。

进一步地，根据ID相同的标注目标的标注信息构建标注节点，即可以将多个帧图像中的标注目标101的标注信息整合为一个标注节点101’。根据ID相同的检测目标的检测信息构建检测节点，即可以将多个帧图像中的检测目标102的检测信息整合为一个检测节点102’。

在一个实施例中，可以根据同一检测目标所出现的所有帧图像中的检测信息构建检测节点，也可以根据其中一部分帧图像的检测信息构建检测节点。

S203、比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点。

假设通过标注工具的方式确定的标注节点准确度较高，可以作为标准与待评估检测算法所检测的检测节点来比较。因此本步骤以标注节点为参考，从检测节点中确定出与之指代同一目标的检测节点，并将对应的检测节点确定为有效检测节点。

在一个实施例中，若标注节点和检测节点为一个以上，则在进行信息比对时，将标注序列中的各个标注节点逐个地与检测序列中的检测节点进行比对。

在一个实施例中，标注节点和检测节点指的可以是视频中的同一目标(例如：视频中的同一个行人)，也可以是不同的目标。例如：在进行信息逐个比对时，所比对的标注节点和检测节点可能是不同的目标。进一步地，若视频中的某一目标被标注出来了，且该标注目标的标注信息被整合为标注节点P，而待评估检测算法未将该目标检测出来，则检测序列中不存在与标注节点P指代同一目标的检测节点；则在将标注节点P与检测节点进行比对的过程中，标注节点和检测节点指的是不同的目标。

S204、根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

在本步骤中，确定了待评估检测算法的有效检测节点以后，根据有效检测节点的数量对待评估检测算法的检测性能进行评估。经过对待评估检测算法检测性能的评估，可以确定出待评估检测算法在进行目标检测时的准确性高低。

在衡量待评估检测算法的优劣的方法中，召回率和精确率是两个基本指标。因此可以通过召回率和精确率等参数来表征待评估检测算法的检测性能。进一步地，可以分别通过召回率和精确率等来评估待评估检测算法；也可以将召回率和精确率进行结合，对待评估检测算法评估得到一个总的结果。

在一个实施例中，根据不同的评估结果，可以将待评估检测算法的检测准确性分为不同的级别，例如：准确性高、准确性一般、准确性低。进一步地，若精确率大于或等于阈值Y1，则认为待评估检测算法准确性高；若精确率大于或等于阈值Y2且小于阈值Y1，则认为待评估检测算法准确性一般；若精确率小于阈值Y2，则认为待评估检测算法准确性低。

本实施例能准确地确定出待评估检测算法的有效检测节点，避免了漏检导致评估结果有偏差的情况，可以得到对待评估检测算法的可靠评估结果。

在一个实施例中，所述获取预先确定的标注序列的步骤之前，还包括：通过标注工具对所述帧图像中的目标进行标注；根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

本实施例实现的是确定标注序列的过程，通过标注工具标注帧图像中的目标，得到标注目标的标注信息后，确定标注序列的过程可以与确定检测序列的过程一致，在此不再赘述。

在一个实施例中，所述根据同一检测目标在多个帧图像中的检测信息构建检测节点的步骤，包括：获取检测文件，所述检测文件中包含多个帧图像的检测信息，各帧图像的检测信息中包含至少一个检测目标的检测信息；由所述检测文件确定同一检测目标的所有检测信息，基于同一检测目标的所有检测信息构建一个检测节点。

在一个实施例中，所述根据同一标注目标在多个帧图像中的标注信息构建标注节点的步骤，包括：获取标注文件，所述标注文件中包含多个帧图像的标注信息，各帧图像的标注信息中包含至少一个标注目标的标注信息；由所述标注文件确定同一标注目标的所有标注信息，基于同一标注目标的所有标注信息构建一个标注节点。

以检测算法是行人检测算法为例。目前，对行人检测算法的测试，测试样本往往是基于图片集的，譬如当前比较有名的数据库INRIA Person Dataset、NICTA行人数据库、CVC行人数据库、USC行人数据库等，仅仅提供了静态图片集。图片集中的图片或许是来源于某段视频流的连续帧图片，但单张图片仅仅记录了某个瞬间静态信息。基于图片的测试方法测试出来的召回率和精确率可以在一定程度上反映待评估检测算法的效能，但同时也存在召回率、精确率计算偏差以及目标停留时间长短不一导致总体指标出现偏差等问题。

在一个实施例中，为便于数据分析，将标注信息以结构化的形式记录在标注文件中，如图3所示(图3中仅示出了两个帧图像中各两个目标的标注信息，其他信息通过省略号表示)。该标注文件是XML(即可扩展标记语言，它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言，通过此种标记，计算机可以处理各种结构化信息)格式的文件。该标注文件中包含有帧号(frameinfo frameNo)以及每个目标(object)的唯一性标识目标ID(objId在视频的帧图像中，该ID可以直接展现在目标所在目标框的右上方)、目标框坐标(左上角坐标xleft/ytop及边框宽高width/height)等信息。其中，目标框可以指用户或工具在判定某一目标后，为该目标绘制的能将整个目标包含在内的矩形框。

本发明实施例中目标的坐标也可以指代对应目标框的坐标。

在一个实施例中，将检测目标的检测信息也按照同样的格式记录在XML格式的检测文件中。将标注信息和检测信息记录在XML格式的文件中，使得用户能根据具体需求对文件进行修改、更正等，使处理结果能更符合用户的预期。

另一方面，标注文件和检测文件中包含的是目标在各个帧图像上的信息，如果直接根据其中的标注信息和检测信息来评估待评估检测算法，可能会存在召回率和精确率计算不准确的问题，进而影响对待评估检测算法检测性能的评估结果。

为解决上述问题，本实施例对标注文件和检测文件进行重组，将同一目标的相关信息整合在一起，作为一个目标节点。如图4所示(图4中仅示出了两个标注节点在两个帧图像中的标注信息，其他信息通过省略号表示)，重组以后的标注文件包括标注序列，该标注序列由多个标注节点组合得到。同理重组以后的检测文件包括检测序列，该检测序列由多个检测节点组合得到。由于标注文件/检测文件中包含有各个标注目标/检测目标所在的帧图像帧号。因此，根据这些帧号信息，重组以后的标注文件/检测文件可以包含标注目标/检测目标的起始帧号(beginFrame)、结束帧号(endFrame)以及持续帧数(obj-length)等视频信息。

以重组后的标注文件为例，重组后的标注文件中包含有标注节点总数(目标总数，objnumber)、标注目标ID(objId)、目标框的坐标尺寸信息(xleft/ytop/width/height)以及视频信息。其中，目标框可以指通过标注工具标注出某一标注目标以后，根据标注目标的尺寸和位置确定出的大于或等于该标注目标尺寸的矩形框。

进一步地，对检测文件进行重组的方式可以与对标注文件进行重组的方式一致。重组后的标注文件记为ObjTrails.xml，重组后的检测文件记为AlgorithmTrails.xml，这两种文件的格式可以一致。

本实施例对标注文件和检测文件进行重组，使以帧图像为单位的标注文件/检测文件变成以标注节点/检测节点为单位的标注序列/检测序列，挖掘利用了目标在前后帧中的关联信息，使得在对待评估检测算法进行评估时，能更真实连贯地反映待评估检测算法对目标的检测情况，提高对待评估检测算法评估结果的准确性。避免了因为漏检导致实际出现却未能被待评估检测算法检出的目标节点的偏差；也避免了在将实际为背景而长期在画面中被误检为目标的情况下，将这些误检次数多次计入到对待评估检测算法检测性能的评估中；同时避免了基于图片测试方法下目标停留时间长短不一而导致的总体指标偏差的问题。

在一个实施例中，所述比对检测序列中的检测节点和标注序列中的标注节点的步骤，包括：获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

在一个实施例中，将同一帧图像上的检测信息与标注信息进行比对，能确定出在该帧图像上对应的检测信息与标注信息是否相似。若相似，则可以认为该检测目标和标注目标在该帧图像上指代同一个目标。根据多个帧图像上的比对结果，可以确定对应的标注节点与检测节点是否指代同一个目标。

本实施例获取重组后的标注文件中的标注信息，获取检测文件中的检测信息，将同一帧图像上的标注信息和检测信息进行比对并根据比对结果来评价待评估检测算法。能简化比对程序，准确地确定出在某一帧图像上的标注信息与检测信息的情况，之后再根据每一帧图像上的比对结果确定检测节点与标注节点是否指代同一目标。

在一个实施例中，所述根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标的步骤，包括：根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件，若满足，将所述同一帧图像确定为候选帧图像；若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标。

其中，重叠特征表征的是在同一帧图像中标注目标与检测目标相互重叠的信息，能确定出对应的标注目标和检测目标在该同一帧图像上是否为同一目标。若存在将标注目标和检测目标确定为同一目标的候选帧图像，则可以认为待评估检测算法所检测出的检测节点为有效检测节点。

在一个实施例中，只要存在重叠特征满足预设条件的帧图像，就可以将对应的检测节点确定为待评估检测算法的有效检测节点；另一方面，也可以是在重叠特征满足预设条件的候选帧图像的数量大于或等于某一阈值时，才将检测节点确定为有效检测节点。

在一个实施例中，重叠特征可以指标注目标和检测目标的相似度；也可以为位置和尺寸等的重叠情况，如：交叠率IOU、欧式距离等。

在一个实施例中，若在某一帧图像中，检测信息和标注信息的交叠率和/或欧式距离满足预设的条件，则判定标注目标和检测目标在对应的帧图像中为同一目标。

本实施例根据重叠特征来确定标注节点和检测节点是否指代同一目标，并在确定两者指代同一目标时，认为待评估检测算法检测出了视频中的实际目标。因此，将对应的检测节点确定为有效检测节点。这样的方式直观、简单，能有效缩短待评估检测算法检测性能的评估时间。

在一个实施例中，所述根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件的步骤，包括：获取所述同一帧图像上的检测区域和标注区域；其中，所述检测区域是根据对应检测目标的检测信息确定的、对应检测目标在帧图像中所处的位置区域，所述标注区域是根据对应标注目标的标注信息确定的、对应标注目标在帧图像中所处的位置区域；计算所述检测区域和标注区域在所述同一帧图像上的交叠率和欧式距离；确定所述交叠率是否大于第一阈值，并确定所述欧式距离是否小于第二阈值；若确定所述交叠率大于第一阈值和/或所述欧式距离小于第二阈值，判定标注目标与检测目标在同一帧图像中的重叠特征满足预设条件。

在一个实施例中，交叠率和欧式距离所需满足的预设条件可以是交叠率大于或等于第一阈值，欧式距离小于或等于第二阈值。本实施例对第一阈值和第二阈值的具体数值不做限制。

在一个实施例中，对于某一帧图像，若标注目标与检测目标的交叠率和欧式距离均满足预设的条件，则认为在该帧图像中，标注目标和检测目标为同一目标。

其中，交叠率又称交并比(Intersection-over-Union，IOU)，是目标检测中使用的一个概念，是产生的候选框(candidate bound，可以指检测目标所在的目标框，如图5所示)与原标记框(ground truth bound，可以指标注目标所在的目标框)的交叠率，即它们的交集与并集的比值。交叠率可以通过以下公式计算得到：

标注目标和检测目标的欧式距离可以指两者的目标框中心点间的欧氏距离，可以通过如下公式计算得到：

其中，x_ObjTrails表示ground truth bound中心点的横坐标，y_ObjTrail表示groundtruth bound中心点的纵坐标，x_{AlgorithmTrails}表示candidate bound中心点的横坐标，y_{AlgorithmTrails}表示candidate bound中心点的纵坐标。

其中，x_ObjTrails＝(gx₁+gx₂)/2；x_{AlgorithmTrails}＝(cx₁+cx₂)/2；

y_objTrails＝(gy₁+gy₂)/2；y_{AlgorithmTrails}＝(cy₁+cy₂)/2。

进一步地，cx₁和cy₁分别表示candidate bound左上角顶点的横、纵坐标，cx₂和cy₂分别表示candidate bound右下角顶点的横、纵坐标，gx₁和gy₁分别表示ground truthbound左上角顶点的横、纵坐标，gx₂和gy₂分别表示ground truth bound右下角顶点的横、纵坐标。

在一个实施例中，根据检测区域所在的候选框以及标注区域所在的原标记框计算检测目标和标注目标在同一帧图像上的交叠率和欧式距离。

在一个实施例中，若在多个帧图像中标注目标和检测目标均为同一目标，则可以认为标注目标和检测目标在对应的多个帧图像中轨迹重合。进一步地，若标注节点和检测节点所在的帧图像不是一一对应(例如：起始帧号和结束帧号不一致)，则只要其中存在交叠率和距离均满足预设条件的候选帧图像，且候选帧图像的个数与标注目标出现的个数的比值满足一定的条件，也认为标注节点和检测节点在视频中轨迹重合。

在一个实施例中，若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标的具体步骤，可以为：

假设待评估检测算法检测出视频中某一检测节点A1在101～200帧中出现，通过标注工具标注出标注节点A2在100～200帧中出现。因此，确定标注目标A2’所在的全部帧图像的数量为100(即为标注节点A2对应的帧图像数量)。计算在各个帧图像中检测节点A1和标注节点A2的交叠率和欧式距离，并判断交叠率和欧式距离是否满足预设条件，若发现A1和A2在102～198帧(共96帧)中的交叠率和欧式距离均满足预设条件，则候选帧图像的数量为96。因此，确定出候选帧图像在对应标注目标的全部帧图像中所占的比例为96％，该比例大于80％。判定所述检测节点A1和标注节点A2指代视频中的同一目标。

本实施例将交叠率和距离结合起来考虑，能使确定的有效检测节点具有更高的准确性，进而更好地对待评估检测算法进行评估。

在一个实施例中，所述根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估的步骤，包括：根据有效检测节点的数量以及标注节点的数量，计算所述待评估检测算法的召回率。

在一个实施例中，由于标注目标较为准确，因此，标注节点的数量可以认为是视频中目标的实际个数；因此，标注节点的数量和有效检测节点的个数之差即为视频中实际出现却未能被算法检出的目标个数。

基于此，在确定标注节点的数量和有效检测节点的个数以后，可以通过以下公式来计算待评估检测算法的召回率：

其中，recall为召回率，tp为有效检测节点的个数，fn为实际出现却未能被待评估检测算法检出的目标个数，tp与fn之和即为视频中目标的实际个数(也即标注节点的数量)。

在一个实施例中，计算待评估检测算法的召回率的示意图如图6所示。各个帧图像中的同一标注目标称为一个标注节点(O链节点)，各个帧图像中的同一检测目标称为一个检测节点(A链节点)。

如图6所示，遍历标注序列中的每一个O链节点，将其与检测序列中的各个A链节点逐个对比。当某一个O链节点与某一A链节点指代视频中的同一目标时，认为该O链节点表示的标注节点被待评估检测算法检出，则tp值(即有效检测节点的个数)加1；如果未能找到，不增加tp值；然后继续处理下一个O链节点，依次类推……处理结束后，O链的节点数即为视频中标注节点的数量(即视频中目标的实际个数)。将tp值和O链的节点数代入召回率的计算公式中计算待评估检测算法的召回率，通过该召回率评价待评估检测算法检测出了视频中多大比例的实际目标。

当目标在若干帧中连续出现时，某些检测算法有可能做不到每帧都检测出该目标。如果根据传统的方法对检测算法进行评估，则中间没有检测出该目标的情况会被认为是该算法的误检，误检会计入fn值中。但是实际上，只需要确保该目标在其检出的前后帧中的连贯性就可以认为该算法是检测出了该目标。按本实施例的这种方法，将检测节点与标注节点进行逐个比较来确定待评估检测算法的有效检测节点，就可以尽量避免由于部分漏检而导致fn值的统计误差，避免召回率的计算偏差，进而提高待评估检测算法检测性能的评估可靠性。

在一个实施例中，所述根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估的步骤，包括：根据有效检测节点的数量以及全部检测节点的数量，计算所述待评估检测算法的精确率。

在一个实施例中，检测节点的数量和有效检测节点的个数之差即为待评估检测算法所错误检测的目标个数。

因此，在一个实施例中，在确定检测节点的数量和有效检测节点的个数以后，可以通过以下公式来计算待评估检测算法的精确率：

其中，precision为准确率，tp为有效检测节点的个数，fp为待评估检测算法错误检测的目标个数，tp与fp之和即为待评估检测算法检测出来的检测节点的数量N。

在一个实施例中，计算待评估检测算法的精确率的示意图如图7所示。如图7所示，遍历检测序列中的每一个A链节点，将其与标注序列中的各个O链节点逐个对比。若某一个A链节点与某一个O链节点指代视频中的同一目标时，即认为待评估检测算法所检测的A链节点是正确的，则tp值加1；如果未能找到，不增加tp值；然后继续处理下一个A链节点，依次类推……处理结束后，A链的节点数即为视频中所有检测节点的数量，将tp值和A链的节点数代入精确率的计算公式中计算待评估检测算法的精确率。按这种方法，就可以避免由于某误检目标长期停留在画面内而导致的fp值的统计误差，使得到的精确率具有较高的准确性，进而提高待评估检测算法检测性能的评估可靠性。

在一个实施例中，如图8所示，提供一种待评估检测算法检测性能的评估方法，包括以下步骤：

S801、获取视频中的多个帧图像，通过标注工具对所述帧图像中的目标进行标注；根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

S802、通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列。

S803、获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

S804、根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件，若满足，将所述同一帧图像确定为候选帧图像。

S805、若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标；将所述检测节点确定为有效检测节点。

S806、根据有效检测节点的数量以及标注节点的数量，计算所述待评估检测算法的召回率。

S807、根据有效检测节点的数量以及全部检测节点的数量，计算所述待评估检测算法的精确率。

S808、根据所述召回率和精确率对所述待评估检测算法的检测准确性进行评估。

本实施例能准确地确定出待评估检测算法的有效检测节点，进而可以确定有效检测节点的个数，并确定出待评估检测算法的召回率和精确率，根据召回率和精确率来对待评估检测算法进行评估，得到的待评估检测算法的评估结果简单直观。

为了更好地理解上述方法，以下详细阐述一个本发明待评估检测算法检测性能的评估方法的应用实例，本应用实例以待评估检测算法为行人检测算法为例。

步骤1、获取视频中的多个帧图像，通过标注工具对各个帧图像中的行人进行标注，标注出来的行人作为标注目标，将各个标注目标的标注信息保存为XML格式的标注文件；根据标注文件中同一标注目标的在各个帧图像中的标注信息构建一个标注节点；视频中的多个标注节点进行组合得到标注序列，即得到重组后的标注文件(记为ObjTrails.xml)。

步骤2、对视频运行行人检测算法，行人检测算法所识别出的行人作为检测目标，获取检出的检测目标的ID、起始帧号、逗留的时长、在每帧中的边框位置及对应的帧号等信息，按照标注文件的数据组织格式保存到XML格式的检测文件中，按照步骤1中的方式对该检测文件进行重组，得到重组后的检测文件(记为AlgorithmTrails.xml)。将ObjTrails.xml和AlgorithmTrails.xml以链表的数据结构存储到内存中

步骤3、编写程序，读取ObjTrails.xml的标注序列中的标注节点(简称O链)和AlgorithmTrails.xml的检测序列中的检测节点(简称A链)，将两者进行逐个比对并计算该行人检测算法的召回率和精确率。具体方法步骤如下：

1)分别读取ObjTrails.xml和AlgorithmTrails.xml中的坐标、尺寸、视频信息等。

2)确定判别同一目标的指标及阈值：

a)根据标注目标的坐标、尺寸信息确定标注区域，根据检测目标的坐标、尺寸信息确定检测区域，计算标注区域和检测区域的交叠率，得到在各个帧图像中标注目标和检测目标的交叠率IOU。当IOU大于80％时，认为在对应的帧图像中标注目标和检测目标是同一目标。

b)计算标注区域和检测区域的欧式距离，得到在各个帧图像中标注目标和检测目标的欧氏距离d。当d小于20％时，认为在该帧图像中标注目标和检测目标是同一目标。

c)确定标注目标和检测目标轨迹相同性累加值比率：确定在同一帧图像中同时满足以上两指标阈值范围的候选帧图像。根据视频信息确定标注目标在视频帧图像中出现的个数，计算该候选帧图像的个数与标注目标在视频帧图像中出现的个数的比率，这个比率作为一个指标。当该比率大于设定阈值80％时，即认为标注节点和检测节点轨迹“重合”，标注节点和检测节点指代视频中的同一目标。

3)计算召回率recall：

遍历标注序列中的每一个O链节点，将其与检测序列中的各个A链节点逐个对比。当某一个O链节点与某一A链节点满足2)中的任意一个判别要求，即认为该O链节点表示的目标节点被待评估检测算法检出，则tp值加1；如果未能找到，不增加tp值；然后继续处理下一个O链节点，依次类推……处理结束后，O链的节点数即为视频中标注节点的数量。根据tp值和O链的节点数计算行人检测算法的召回率。

4)计算精确率precision：

遍历检测序列中的每一个A链节点，将其与标注序列中的各个O链节点逐个对比。若某一个A链节点与某一个O链节点满足2)中的任意一个判别要求，即认为该A链节点表示的目标节点是正确的，则tp值加1；如果未能找到，不增加tp值；然后继续处理下一个A链节点，依次类推……处理结束后，A链的节点数即为视频中检测节点的数量，根据tp值和A链的节点数计算行人检测算法的精确率。

步骤4、对行人检测算法进行评估：

根据上述召回率和精确率对该行人检测算法的检测准确性进行评估，若召回率和精确率满足一定的条件，则认为该行人检测算法对视频中行人的检测具有较高的准确性。

本实施例能准确地确定出行人检测算法的有效检测节点，进而可以得到有效检测节点的个数，并确定出行人检测算法的召回率和精确率，根据召回率和精确率来对行人检测算法进行评估，得到准确的算法评估结果。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的待评估检测算法检测性能的评估方法相同的思想，本发明还提供待评估检测算法检测性能的评估装置，该装置可用于执行上述待评估检测算法检测性能的评估方法。为了便于说明，待评估检测算法检测性能的评估装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图9所述，待评估检测算法检测性能的评估装置包括目标检测模块901、标注序列确定模块902、目标判定模块903和算法评估模块904，详细说明如下：

目标检测模块901，用于获取视频中的多个帧图像，通过待评估检测算法检测视频的多个帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列。

标注序列确定模块902，用于获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到。

目标判断模块903，用于比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点。

以及，算法评估模块904，用于根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

本实施例能准确地确定出待评估检测算法有效检测节点，进而可以得到待评估检测算法的准确评估结果。

在一个实施例中，还包括：目标标注模块，用于通过标注工具对所述帧图像中的目标进行标注；根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

在一个实施例中，所述目标检测模块901，包括：文件获取子模块，用于获取检测文件，所述检测文件中包含多个帧图像的检测信息，各帧图像的检测信息中包含至少一个检测目标的检测信息；检测节点构建子模块，用于由所述检测文件确定同一检测目标的所有检测信息，基于同一检测目标的所有检测信息构建一个检测节点。

在一个实施例中，所述目标判断模块903，还用于获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

在一个实施例中，所述目标判断模块903，包括：帧图像判断子模块，用于根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件，若满足，将所述同一帧图像确定为候选帧图像；节点判断子模块，用于若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标。

在一个实施例中，所述帧图像判断子模块，包括：区域获取单元，用于获取所述同一帧图像上的检测区域和标注区域；其中，所述检测区域是根据对应检测目标的检测信息确定的、对应检测目标在帧图像中所处的位置区域，所述标注区域是根据对应标注目标的标注信息确定的、对应标注目标在帧图像中所处的位置区域；特征计算单元，用于计算所述检测区域和标注区域在所述同一帧图像上的交叠率和欧式距离；重叠特征判断单元，用于确定所述交叠率是否大于第一阈值，并确定所述欧式距离是否小于第二阈值；重叠特征判定单元，用于若确定所述交叠率大于第一阈值和/或所述欧式距离小于第二阈值，判定标注目标与检测目标在同一帧图像中的重叠特征满足预设条件。

在一个实施例中，所述算法评估模块904，包括：召回率计算模块，用于根据有效检测节点的数量以及标注节点的数量，计算所述待评估检测算法的召回率。

在一个实施例中，所述算法评估模块904，包括：精确率计算模块，用于根据有效检测节点的数量以及全部检测节点的数量，计算所述待评估检测算法的精确率。

需要说明的是，本发明的待评估检测算法检测性能的评估装置与本发明的待评估检测算法检测性能的评估方法一一对应，在上述待评估检测算法检测性能的评估方法的实施例阐述的技术特征及其有益效果均适用于待评估检测算法检测性能的评估装置的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述示例的待评估检测算法检测性能的评估装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述待评估检测算法检测性能的评估装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过标注工具对所述帧图像中的目标进行标注；根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取检测文件，所述检测文件中包含多个帧图像的检测信息，各帧图像的检测信息中包含至少一个检测目标的检测信息；由所述检测文件确定同一检测目标的所有检测信息，基于同一检测目标的所有检测信息构建一个检测节点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过标注工具对所述帧图像中的目标进行标注；根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取检测文件，所述检测文件中包含多个帧图像的检测信息，各帧图像的检测信息中包含至少一个检测目标的检测信息；由所述检测文件确定同一检测目标的所有检测信息，基于同一检测目标的所有检测信息构建一个检测节点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件，若满足，将所述同一帧图像确定为候选帧图像；若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述同一帧图像上的检测区域和标注区域；其中，所述检测区域是根据对应检测目标的检测信息确定的、对应检测目标在帧图像中所处的位置区域，所述标注区域是根据对应标注目标的标注信息确定的、对应标注目标在帧图像中所处的位置区域；计算所述检测区域和标注区域在所述同一帧图像上的交叠率和欧式距离；确定所述交叠率是否大于第一阈值，并确定所述欧式距离是否小于第二阈值；若确定所述交叠率大于第一阈值和/或所述欧式距离小于第二阈值，判定标注目标与检测目标在同一帧图像中的重叠特征满足预设条件。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据有效检测节点的数量以及标注节点的数量，计算所述待评估检测算法的召回率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据有效检测节点的数量以及全部检测节点的数量，计算所述待评估检测算法的精确率。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本发明实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种待评估检测算法检测性能的评估方法，其特征在于，包括以下步骤：

获取视频中的多个帧图像，通过待评估检测算法检测帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；

获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；

比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；

根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

2.根据权利要求1所述的评估方法，其特征在于，所述获取预先确定的标注序列的步骤之前，还包括：

通过标注工具对所述帧图像中的目标进行标注；

根据同一标注目标在多个帧图像中的标注信息构建标注节点，将多个所述标注节点组合得到标注序列。

3.根据权利要求1所述的评估方法，其特征在于，所述根据同一检测目标在多个帧图像中的检测信息构建检测节点的步骤，包括：

获取检测文件，所述检测文件中包含多个帧图像的检测信息，各帧图像的检测信息中包含至少一个检测目标的检测信息；

由所述检测文件确定同一检测目标的所有检测信息，基于同一检测目标的所有检测信息构建一个检测节点。

4.根据权利要求3所述的评估方法，其特征在于，所述比对检测序列中的检测节点和标注序列中的标注节点的步骤，包括：

获取所述检测节点对应的检测目标在某一帧图像上的检测信息，获取所述标注节点对应的标注目标在同一帧图像上的标注信息，比对同一帧图像上的所述检测信息和所述标注信息。

5.根据权利要求4所述的评估方法，其特征在于，所述根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标的步骤，包括：

根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件，若满足，将所述同一帧图像确定为候选帧图像；

若确定出的候选帧图像在对应标注目标的全部帧图像中所占的比例满足预设阈值，判定所述标注节点和所述检测节点指代视频中的同一目标。

6.根据权利要求5所述的评估方法，其特征在于，所述根据所述检测信息和标注信息的比对结果，确定对应的标注目标与检测目标在同一帧图像中的重叠特征是否满足预设条件的步骤，包括：

获取所述同一帧图像上的检测区域和标注区域；其中，所述检测区域是根据对应检测目标的检测信息确定的、对应检测目标在帧图像中所处的位置区域，所述标注区域是根据对应标注目标的标注信息确定的、对应标注目标在帧图像中所处的位置区域；

计算所述检测区域和标注区域在所述同一帧图像上的交叠率和欧式距离；

确定所述交叠率是否大于第一阈值，并确定所述欧式距离是否小于第二阈值；

若确定所述交叠率大于第一阈值和/或所述欧式距离小于第二阈值，判定标注目标与检测目标在同一帧图像中的重叠特征满足预设条件。

7.根据权利要求1至6任一项所述的评估方法，其特征在于，所述根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估的步骤，包括：

根据有效检测节点的数量以及标注节点的数量，计算所述待评估检测算法的召回率；

和/或，

根据有效检测节点的数量以及全部检测节点的数量，计算所述待评估检测算法的精确率。

8.一种待评估检测算法检测性能的评估装置，其特征在于，包括：

目标检测模块，用于获取视频中的多个帧图像，通过待评估检测算法检测视频的多个帧图像中的目标，检测出的目标作为检测目标；根据同一检测目标在多个帧图像中的检测信息构建检测节点，将多个所述检测节点组合得到检测序列；

标注序列确定模块，用于获取预先确定的标注序列；所述标注序列包含多个标注节点，所述标注节点是根据同一标注目标在多个帧图像中的标注信息构建，所述标注目标是通过标注工具对所述帧图像中的目标进行标注得到；

目标判断模块，用于比对检测序列中的检测节点和标注序列中的标注节点，根据比对结果判断检测节点是否与某一标注节点指代视频中的同一目标；若是，将所述检测节点确定为有效检测节点；

以及，算法评估模块，用于根据检测序列中有效检测节点的数量，对所述待评估检测算法的检测性能进行评估。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。