CN112465871A - 一种视觉跟踪算法准确性的评价方法及系统 - Google Patents

一种视觉跟踪算法准确性的评价方法及系统 Download PDF

Info

Publication number
CN112465871A
CN112465871A CN202011438421.4A CN202011438421A CN112465871A CN 112465871 A CN112465871 A CN 112465871A CN 202011438421 A CN202011438421 A CN 202011438421A CN 112465871 A CN112465871 A CN 112465871A
Authority
CN
China
Prior art keywords
tracking
frame
target
tracking algorithm
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011438421.4A
Other languages
English (en)
Other versions
CN112465871B (zh
Inventor
范强
张智杰
孙钢波
潘德彬
徐寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
717th Research Institute of CSIC
Original Assignee
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 717th Research Institute of CSIC filed Critical 717th Research Institute of CSIC
Priority to CN202011438421.4A priority Critical patent/CN112465871B/zh
Publication of CN112465871A publication Critical patent/CN112465871A/zh
Application granted granted Critical
Publication of CN112465871B publication Critical patent/CN112465871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视觉跟踪算法准确性的评价方法及系统，首先建立一个包含各类场景的测试数据集，然后，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数。最后，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。本发明可以定性以及定量的对需要测试的视觉跟踪算法准确性进行评测。测试所用数据集，涵盖了视觉跟踪应用中所涉及的大部分场景及目标，并且考虑了导致失败的一些极端情况。通过一次性测试，可以量化的反映视觉跟踪算法准确性情况，多次性测试可以反映在不同初始化条件下，视觉跟踪算法的鲁棒性等性能。

Description

一种视觉跟踪算法准确性的评价方法及系统
技术领域
本发明涉及视觉跟踪技术领域，尤其涉及一种视觉跟踪算法准确性的评价方法及系统。
背景技术
目标跟踪是计算机视觉的基本任务之一，也是交通视频监控，人脸跟踪识别，自动驾驶等应用上需要解决的关键问题。目标跟踪一般是在检测任务之后进行，给出目标初始位置，在后续的视频序列中给出目标位置。一直以来，跟踪的核心问题是如何在具有遮挡、形变、光照变化等情景下准确地检测和定位对象。来自不同帧的特征为目标提供不同的信息，如不同的视角、形变和亮度等，通过聚合这些特征可以增强目标的外观特征。
视觉跟踪作为图像处理领域重要的分支在很多场景有着重要的应用。越来越多的视觉跟踪算法被研究，但是需要一种评价方法对视觉跟踪算法的优劣进行测试分析。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的视觉跟踪算法准确性的评价方法及系统。
第一方面，本发明实施例提供一种视觉跟踪算法准确性的评价方法，包括：
101，获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；
102，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；
103，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
优选的，所述测试数据集中，跟踪目标包括地面目标、空中目标和水面目标，每个类别的跟踪目标对应若干类别的大分类目标，每类大分类目标对应若干类别的小分类目标；
所述地面目标对应的大分类目标包括人、车辆、火车和动物；所述空中目标对应的大分类目标包括飞行器和动物；所述水面目标对应的大分类目标包括船舶。
优选的，步骤102中所述预设的跟踪测试方法包括一次性测试方法和多次性测试方法；
所述一次性测试方法包括：根据预先标注的小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪；
所述多次性测试方法包括：任意指定小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪，重复多次上述操作。
优选的，步骤102具体包括：
采用一次性测试方法或多次性测试方法，对每类小分类目标对应的图像序列进行目标跟踪，获得跟踪算法的跟踪结果参数；其中，每类小分类目标对应的图像序列包含不低于预设数量的图片。
优选的，步骤103中所述预设的评价指标包括：跟踪框中心像素误差、设定像素误差阈值下的中心精度、平均误差、区域重叠率IoU、失败率、相关性和跟踪稳定性。
优选的，步骤103中，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价，包括：
(1)获取人工标注的真实跟踪框的第一中心坐标和通过跟踪算法得到的目标跟踪框的第二中心坐标，计算两个坐标的欧式距离，得到跟踪框中心像素误差PixelError，PixelError越小则所述跟踪算法的准确性越高；
Figure BDA0002821495410000031
其中，xG为人工标注的真实跟踪框中心横坐标，yG为人工标注的真实跟踪框中心纵坐标，x和y分别是目标跟踪框中心的横坐标和纵坐标；
(2)根据跟踪框中心像素误差，得到每一帧的目标跟踪框与真实跟踪框的偏差，小于设定像素误差阈值threshold的记为1，统计小于设定像素误差阈值的图像序列帧数与图像序列总帧数的比值，得到设定像素误差阈值下的中心精度：
Figure BDA0002821495410000032
其中，AveragePrecision表示设定像素误差阈值下的中心精度，length表示图像序列的长度，threshold为设定像素误差阈值，number表示计数；
(3)对跟踪框中心像素误差进行平均计算，得到平均像素误差AverageError，平均像素误差越小，则所述跟踪算法的准确性越高；
Figure BDA0002821495410000033
其中，PixelErrori是第i帧图像序列的跟踪框中心像素误差；
(4)根据所述目标跟踪框与所述真实跟踪框之间的面积交并比，得到区域重叠率IoU：
Figure BDA0002821495410000034
其中，AG:{xG,yG,wG,hG}为人工标记的真实跟踪框，AT:{xT,yT,wT,hT}为跟踪算法计算得到的目标跟踪框；
(5)设定区域重叠率阈值threshold'，根据计算得到的第i帧图像序列的跟踪结果的区域重叠率IoUi，统计区域重叠率阈值的图像序列帧数与图像序列总帧数的比值，得到跟踪算法的失败率FailureRate：
Figure BDA0002821495410000041
(6)分别计算一段图像序列中，人工标注的真实跟踪框中心像素序列与跟踪算法计算得到的目标跟踪框中心像素序列，两者的相关系数，相关系数越大则跟踪算法计算结果越精确；
Figure BDA0002821495410000042
其中，posG表示人工标注的真实跟踪框，pos表示跟踪算法计算得到的目标跟踪框；
(7)分别计算所述中心像素误差与所述区域重叠率的方差，获得所述跟踪算法的跟踪稳定性，跟踪稳定性包括跟踪框中心像素点稳定度Stability_pos和跟踪框交并比稳定度Stability_loU，跟踪稳定性反映了目标跟踪过程中，目标跟踪框的抖动偏移程度；
Figure BDA0002821495410000043
其中，Stability_pos表示跟踪框中心像素点稳定度，Stability_loU表示跟踪框交并比稳定度，PixelErrori表示第i帧图像序列的跟踪框中心像素误差，mean(PixelError)表示跟踪框中心像素误差的均值，IoUi表示第i帧图像序列的跟踪结果的区域重叠率，mean(loU)表示区域重叠率IoU的均值。
第二方面，本发明实施例还提供一种视觉跟踪算法准确性的评价系统，包括：
获取模块，用于获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；
测试模块，用于在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；
跟踪算法评价模块，用于基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面实施例提供的视觉跟踪算法准确性的评价方法。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面实施例提供的视觉跟踪算法准确性的评价方法。
本发明实施例提供的视觉跟踪算法准确性的评价方法及系统，可以定性以及定量的对需要测试的视觉跟踪算法准确性进行评测。测试所用数据集，涵盖了视觉跟踪应用中所涉及的大部分场景及目标，并且考虑了导致失败的一些极端情况。通过一次性测试，可以量化的反映视觉跟踪算法准确性情况，多次性测试可以反映在不同初始化条件下，视觉跟踪算法的鲁棒性等性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视觉跟踪算法准确性的评价方法流程示意图；
图2为本发明实施例提供的视觉跟踪算法准确性的评价系统的结构框图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目标跟踪一般是在检测任务之后进行，给出目标初始位置，在后续的视频序列中给出目标位置。一直以来，跟踪的核心问题是如何在具有遮挡、形变、光照变化等情景下准确地检测和定位对象。来自不同帧的特征为目标提供不同的信息，如不同的视角、形变和亮度等，通过聚合这些特征可以增强目标的外观特征。视觉跟踪作为图像处理领域重要的分支在很多场景有着重要的应用。越来越多的视觉跟踪算法被研究，但是需要一种评价方法对视觉跟踪算法的优劣进行测试分析。
因此，本发明实施例提供一种视觉跟踪算法准确性的评价方法，首先建立一个包含各类场景的测试数据集，设定一些表征跟踪算法准确性的评价指标。依据评价指标，可以直观的对被测试的跟踪算法进行量化评价。以下将结合附图通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供的视觉跟踪算法准确性的评价方法流程示意图，如图1所示，本发明实施例提供的视觉跟踪算法准确性的评价方法包括但不限于以下步骤：
步骤101，获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列。
视觉目标的跟踪评价，首先需要设定一个用于测试的数据集。本实施例中，测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列，保证了测试的完整性。
表1示出了测试数据集目标分类情况。如表1所示，测试数据集中，跟踪目标包括地面目标、空中目标和水面目标，每个类别的跟踪目标对应若干类别的大分类目标，每类大分类目标对应若干类别的小分类目标。地面目标对应的大分类目标包括人、车辆、火车和动物；所述空中目标对应的大分类目标包括飞行器和动物；所述水面目标对应的大分类目标包括船舶。
表1测试数据集目标分类情况
Figure BDA0002821495410000071
Figure BDA0002821495410000081
Figure BDA0002821495410000091
目标的分类为了尽可能的广泛，本实施例参考ImageNet中目标跟踪VID数据集以及近年来最热门的LaSOT数据集的分类，设定目标大分类有：人、车辆、飞机、船舶、火车、动物等。如表1所示。
本实施例中，易导致跟踪失败的复杂场景包括：目标部分遮挡、完全遮挡、目标形态变化、目标快速移动、光照变化、焦距变化、低分辨率等。上述复杂场景容易导致视觉跟踪失败。测试数据集应该包含以上每种复杂场景的图像序列，并在测试数据的属性中标注清楚。一般来说，目标遮挡的情况和目标形态变化是最容易导致目标跟踪丢失的，因此，在整个测试数据集的图像素材中，这两类素材的比重不能低于预设的比重。
此外，测试数据集不易过大，同样的场景反复的测试意义不大，反而浪费测试时间。因此，每类小分类目标对应的图像序列包含不低于预设数量的图片。本实施例中，每类小分类目标对应的图像序列包含不低于200张图片。
步骤102，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数。
其中，预设的跟踪测试方法即是指预先设定的跟踪算法准确性测试方法。跟踪算法即是本发明实施例中需要进行准确性测试评价的跟踪算法。本文中，为描述简洁，将“视觉跟踪算法”简称为“跟踪算法”。
具体地，为了充分测试跟踪算法在各种情况下的表现，本实施例预先设定的跟踪测试方法包括一次性测试方法和多次性测试方法。
其中，一次性测试方法具体为：根据预先标注的小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪。通过一次性测试，可以量化的反映跟踪算法准确性情况。
多次性测试方法具体为：任意指定小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪，重复多次上述操作。多次性测试可以反映在不同初始化条件下，跟踪算法的鲁棒性等性能。
本发明实施例采用一次性测试方法或多次性测试方法，对每类小分类目标对应的图像序列进行目标跟踪，获得跟踪算法的跟踪结果参数。跟踪算法的跟踪结果参数至少包括：人工标注的真实跟踪框，通过跟踪算法得到的目标跟踪框，人工标注的真实跟踪框的第一中心坐标，通过跟踪算法得到的目标跟踪框的第二中心坐标。
步骤103，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
在采用一次性测试方法或多次性测试方法，对每类小分类目标对应的图像序列进行目标跟踪，获得跟踪算法的跟踪结果参数后，本实施例可以采用预设的评价指标对所述跟踪算法进行评价。其中，预设的评价指标包括：跟踪框中心像素误差、设定像素误差阈值下的中心精度、平均误差、区域重叠率IoU、失败率、相关性和跟踪稳定性。
本发明实施例提供的视觉跟踪算法准确性的评价方法，可以定性以及定量的对需要测试的视觉跟踪算法准确性进行评测。测试所用数据集，涵盖了视觉跟踪应用中所涉及的大部分场景及目标，并且考虑了导致失败的一些极端情况。通过一次性测试，可以量化的反映视觉跟踪算法准确性情况，多次性测试可以反映在不同初始化条件下，视觉跟踪算法的鲁棒性等性能。
在上述实施例的基础上，步骤103中，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价，具体包括：
(1)获取人工标注的真实跟踪框的第一中心坐标和通过跟踪算法得到的目标跟踪框的第二中心坐标，计算两个坐标的欧式距离，得到跟踪框中心像素误差PixelError，跟踪框中心像素误差可以直接反映跟踪算法每一帧目标跟踪框与人工标注的真实跟踪框的中心偏差情况。PixelError越小则跟踪算法的准确性越高；
Figure BDA0002821495410000111
其中，xG为人工标注的真实跟踪框中心横坐标，yG为人工标注的真实跟踪框中心纵坐标，x和y分别是目标跟踪框中心的横坐标和纵坐标。
(2)根据跟踪框中心像素误差，得到每一帧的目标跟踪框与真实跟踪框的偏差，小于设定像素误差阈值threshold的记为1，示例性的，为了方便统计，像素误差阈值threshold可以设置为20个像素。统计小于设定像素误差阈值的图像序列帧数与图像序列总帧数的比值，得到设定像素误差阈值下的中心精度：
Figure BDA0002821495410000112
其中，AveragePrecision表示设定像素误差阈值下的中心精度，length表示图像序列的长度，threshold为设定像素误差阈值，number表示计数。
(3)对跟踪框中心像素误差进行平均计算，得到平均像素误差AverageError，平均像素误差越小，则所述跟踪算法的准确性越高；
Figure BDA0002821495410000113
其中，PixelErrori是第i帧图像序列的跟踪框中心像素误差。
(4)根据所述目标跟踪框与所述真实跟踪框之间的面积交并比，得到区域重叠率IoU：
Figure BDA0002821495410000114
其中，AG:{xG,yG,wG,hG}为人工标记的真实跟踪框，AT:{xT,yT,wT,hT}为跟踪算法计算得到的目标跟踪框；
(5)设定区域重叠率阈值threshold'，示例性的，区域重叠率阈值threshold'可以设定为60％。根据计算得到的第i帧图像序列的跟踪结果的区域重叠率IoUi，统计区域重叠率阈值的图像序列帧数与图像序列总帧数的比值，得到跟踪算法的失败率FailureRate：
Figure BDA0002821495410000121
FailureRate表示跟踪算法计算得到的跟踪框与人工标注的真实跟踪框偏差过大，跟踪算法的失败率FailureRate的值越大，则跟踪算法的准确性越低。
(6)分别计算一段图像序列中，人工标注的真实跟踪框中心像素序列与跟踪算法计算得到的目标跟踪框中心像素序列，两者的相关系数，相关系数越大则跟踪算法计算结果越精确；
Figure BDA0002821495410000122
其中，posG表示人工标注的真实跟踪框，pos表示跟踪算法计算得到的目标跟踪框；
(7)分别计算所述中心像素误差与所述区域重叠率的方差，获得所述跟踪算法的跟踪稳定性，跟踪稳定性包括跟踪框中心像素点稳定度Stability_pos和跟踪框交并比稳定度Stability_loU，跟踪稳定性反映了目标跟踪过程中，目标跟踪框的抖动偏移程度；
Figure BDA0002821495410000123
其中，Stability_pos表示跟踪框中心像素点稳定度，Stability_loU表示跟踪框交并比稳定度，PixelErrori表示第i帧图像序列的跟踪框中心像素误差，mean(PixelError)表示跟踪框中心像素误差的均值，IoUi表示第i帧图像序列的跟踪结果的区域重叠率，mean(loU)表示区域重叠率IoU的均值。
根据步骤102得到的跟踪结果参数，分别计算出步骤103中各个评价指标后。根据表2，评估跟踪算法在各个评价指标下的准确性。
表2评价指标
Figure BDA0002821495410000131
在一个实施例中，图2为本发明实施例提供的视觉跟踪算法准确性的评价系统的结构框图，本发明实施例提供的视觉跟踪算法准确性的评价系统用于执行上述方法实施例中的视觉跟踪算法准确性的评价方法。如图2所示，该系统包括：
获取模块201，用于获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；
测试模块202，用于在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；
跟踪算法评价模块203，用于基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
具体的如何利用获取模块201、测试模块202和跟踪算法评价模块203进行跟踪算法准确性的评价，可以参照上述方法实施例，本发明实施例在此不再赘述。
在一个实施例中，本发明实施例提供了本发明实施例提供了一种电子设备，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(CommunicationsInterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行上述各实施例提供的视觉跟踪算法准确性的评价方法的步骤，例如包括：101，获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；102，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；103，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的视觉跟踪算法准确性的评价方法的步骤，例如包括：101，获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；102，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；103，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
综上所述，本发明实施例提供了一种视觉跟踪算法准确性的评价方法及系统，可以定性以及定量的对需要测试的视觉跟踪算法准确性进行评测。测试所用数据集，涵盖了视觉跟踪应用中所涉及的大部分场景及目标，并且考虑了导致失败的一些极端情况。通过一次性测试，可以量化的反映视觉跟踪算法准确性情况，多次性测试可以反映在不同初始化条件下，视觉跟踪算法的鲁棒性等性能。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视觉跟踪算法准确性的评价方法，其特征在于，包括：
101，获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；
102，在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；
103，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
2.根据权利要求1所述的视觉跟踪算法准确性的评价方法，其特征在于，所述测试数据集中，跟踪目标包括地面目标、空中目标和水面目标，每个类别的跟踪目标对应若干类别的大分类目标，每类大分类目标对应若干类别的小分类目标；
所述地面目标对应的大分类目标包括人、车辆、火车和动物；所述空中目标对应的大分类目标包括飞行器和动物；所述水面目标对应的大分类目标包括船舶。
3.根据权利要求2所述的视觉跟踪算法准确性的评价方法，其特征在于，步骤102中所述预设的跟踪测试方法包括一次性测试方法和多次性测试方法；
所述一次性测试方法包括：根据预先标注的小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪；
所述多次性测试方法包括：任意指定小分类目标对应图像序列第一帧的跟踪框，采用跟踪算法对所述图像序列后续帧进行目标跟踪，重复多次上述操作。
4.根据权利要求3所述的视觉跟踪算法准确性的评价方法，其特征在于，步骤102具体包括：
采用一次性测试方法或多次性测试方法，对每类小分类目标对应的图像序列进行目标跟踪，获得跟踪算法的跟踪结果参数；其中，每类小分类目标对应的图像序列包含不低于预设数量的图片。
5.根据权利要求1所述的视觉跟踪算法准确性的评价方法，其特征在于，步骤103中所述预设的评价指标包括：跟踪框中心像素误差、设定像素误差阈值下的中心精度、平均误差、区域重叠率IoU、失败率、相关性和跟踪稳定性。
6.根据权利要求5所述的视觉跟踪算法准确性的评价方法，其特征在于，步骤103中，基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价，包括：
(1)获取人工标注的真实跟踪框的第一中心坐标和通过跟踪算法得到的目标跟踪框的第二中心坐标，计算两个坐标的欧式距离，得到跟踪框中心像素误差PixelError，PixelError越小则所述跟踪算法的准确性越高；
Figure FDA0002821495400000021
其中，xG为人工标注的真实跟踪框中心横坐标，yG为人工标注的真实跟踪框中心纵坐标，x和y分别是目标跟踪框中心的横坐标和纵坐标；
(2)根据跟踪框中心像素误差，得到每一帧的目标跟踪框与真实跟踪框的偏差，小于设定像素误差阈值threshold的记为1，统计小于设定像素误差阈值的图像序列帧数与图像序列总帧数的比值，得到设定像素误差阈值下的中心精度：
Figure FDA0002821495400000031
其中，AveragePrecision表示设定像素误差阈值下的中心精度，length表示图像序列的长度，threshold为设定像素误差阈值，number表示计数；
(3)对跟踪框中心像素误差进行平均计算，得到平均像素误差AverageError，平均像素误差越小，则所述跟踪算法的准确性越高；
Figure FDA0002821495400000032
其中，PixelErrori是第i帧图像序列的跟踪框中心像素误差；
(4)根据所述目标跟踪框与所述真实跟踪框之间的面积交并比，得到区域重叠率IoU：
Figure FDA0002821495400000033
其中，AG:{xG,yG,wG,hG}为人工标记的真实跟踪框，AT:{xT,yT,wT,hT}为跟踪算法计算得到的目标跟踪框；
(5)设定区域重叠率阈值threshold'，根据计算得到的第i帧图像序列的跟踪结果的区域重叠率IoUi，统计区域重叠率阈值的图像序列帧数与图像序列总帧数的比值，得到跟踪算法的失败率FailureRate：
Figure FDA0002821495400000034
(6)分别计算一段图像序列中，人工标注的真实跟踪框中心像素序列与跟踪算法计算得到的目标跟踪框中心像素序列，两者的相关系数，相关系数越大则跟踪算法计算结果越精确；
Figure FDA0002821495400000041
其中，posG表示人工标注的真实跟踪框，pos表示跟踪算法计算得到的目标跟踪框；
(7)分别计算所述中心像素误差与所述区域重叠率的方差，获得所述跟踪算法的跟踪稳定性，跟踪稳定性包括跟踪框中心像素点稳定度Stability_pos和跟踪框交并比稳定度Stability_loU，跟踪稳定性反映了目标跟踪过程中，目标跟踪框的抖动偏移程度；
Figure FDA0002821495400000042
Figure FDA0002821495400000043
其中，Stability_pos表示跟踪框中心像素点稳定度，Stability_loU表示跟踪框交并比稳定度，PixelErrori表示第i帧图像序列的跟踪框中心像素误差，mean(PixelError)表示跟踪框中心像素误差的均值，IoUi表示第i帧图像序列的跟踪结果的区域重叠率，mean(loU)表示区域重叠率IoU的均值。
7.一种视觉跟踪算法准确性的评价系统，其特征在于，包括：
获取模块，用于获取测试数据集；所述测试数据集包括常规场景的图像序列以及易导致跟踪失败的复杂场景的图像序列；
测试模块，用于在测试数据集中，采用预设的跟踪测试方法执行跟踪算法的跟踪测试，获得跟踪算法的跟踪结果参数；
跟踪算法评价模块，用于基于所述跟踪结果参数，采用预设的评价指标对所述跟踪算法进行评价。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视觉跟踪算法准确性的评价方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述视觉跟踪算法准确性的评价方法的步骤。
CN202011438421.4A 2020-12-07 2020-12-07 一种视觉跟踪算法准确性的评价方法及系统 Active CN112465871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011438421.4A CN112465871B (zh) 2020-12-07 2020-12-07 一种视觉跟踪算法准确性的评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011438421.4A CN112465871B (zh) 2020-12-07 2020-12-07 一种视觉跟踪算法准确性的评价方法及系统

Publications (2)

Publication Number Publication Date
CN112465871A true CN112465871A (zh) 2021-03-09
CN112465871B CN112465871B (zh) 2023-10-17

Family

ID=74800586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011438421.4A Active CN112465871B (zh) 2020-12-07 2020-12-07 一种视觉跟踪算法准确性的评价方法及系统

Country Status (1)

Country Link
CN (1) CN112465871B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888583A (zh) * 2021-09-28 2022-01-04 河北汉光重工有限责任公司 一种视觉跟踪准确性的实时判断方法及装置
CN114442808A (zh) * 2022-01-26 2022-05-06 深圳市慧鲤科技有限公司 一种位姿跟踪模块的测试方法、装置、设备、系统和介质
CN114549584A (zh) * 2022-01-28 2022-05-27 北京百度网讯科技有限公司 信息处理的方法、装置、电子设备及存储介质
CN116310954A (zh) * 2023-02-16 2023-06-23 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统
CN117011296A (zh) * 2023-10-07 2023-11-07 长春通视光电技术股份有限公司 一种光电吊舱跟踪精度快速检测方法、设备及存储介质
CN117591847A (zh) * 2024-01-19 2024-02-23 福思(杭州)智能科技有限公司 基于车况数据的模型指向评测方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116896A (zh) * 2013-03-07 2013-05-22 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统
CN107909012A (zh) * 2017-10-30 2018-04-13 北京中科慧眼科技有限公司 一种基于视差图的实时车辆跟踪检测方法与装置
CN108364301A (zh) * 2018-02-12 2018-08-03 中国科学院自动化研究所 基于跨时重叠率的视觉跟踪算法稳定性评估方法及装置
CN110728697A (zh) * 2019-09-30 2020-01-24 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
CN110738683A (zh) * 2018-07-19 2020-01-31 中移（杭州）信息技术有限公司 一种计算机视觉跟踪方法及装置
US20200089967A1 (en) * 2018-09-17 2020-03-19 Syracuse University Low power and privacy preserving sensor platform for occupancy detection
GB202012497D0 (en) * 2020-08-11 2020-09-23 King S College London Method and system for reconstructing the three-dimensional surface of tubular organs

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116896A (zh) * 2013-03-07 2013-05-22 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统
CN107909012A (zh) * 2017-10-30 2018-04-13 北京中科慧眼科技有限公司 一种基于视差图的实时车辆跟踪检测方法与装置
CN108364301A (zh) * 2018-02-12 2018-08-03 中国科学院自动化研究所 基于跨时重叠率的视觉跟踪算法稳定性评估方法及装置
CN110738683A (zh) * 2018-07-19 2020-01-31 中移（杭州）信息技术有限公司 一种计算机视觉跟踪方法及装置
US20200089967A1 (en) * 2018-09-17 2020-03-19 Syracuse University Low power and privacy preserving sensor platform for occupancy detection
CN110728697A (zh) * 2019-09-30 2020-01-24 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
GB202012497D0 (en) * 2020-08-11 2020-09-23 King S College London Method and system for reconstructing the three-dimensional surface of tubular organs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙巧: "基于加权重叠率的 单目标视觉跟踪评价指标", 电子学报, vol. 45, no. 3 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888583A (zh) * 2021-09-28 2022-01-04 河北汉光重工有限责任公司 一种视觉跟踪准确性的实时判断方法及装置
CN114442808A (zh) * 2022-01-26 2022-05-06 深圳市慧鲤科技有限公司 一种位姿跟踪模块的测试方法、装置、设备、系统和介质
CN114549584A (zh) * 2022-01-28 2022-05-27 北京百度网讯科技有限公司 信息处理的方法、装置、电子设备及存储介质
CN116310954A (zh) * 2023-02-16 2023-06-23 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统
CN116310954B (zh) * 2023-02-16 2023-11-07 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统
CN117011296A (zh) * 2023-10-07 2023-11-07 长春通视光电技术股份有限公司 一种光电吊舱跟踪精度快速检测方法、设备及存储介质
CN117591847A (zh) * 2024-01-19 2024-02-23 福思(杭州)智能科技有限公司 基于车况数据的模型指向评测方法和装置
CN117591847B (zh) * 2024-01-19 2024-05-07 福思(杭州)智能科技有限公司 基于车况数据的模型指向评测方法和装置

Also Published As

Publication number Publication date
CN112465871B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112465871A (zh) 一种视觉跟踪算法准确性的评价方法及系统
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
US10740912B2 (en) Detection of humans in images using depth information
CN110879981B (zh) 人脸关键点质量评估方法、装置、计算机设备及存储介质
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
CN108337505B (zh) 信息获取方法和装置
TWI667621B (zh) 人臉辨識方法
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN110909712B (zh) 运动目标检测方法、装置、电子设备及存储介质
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN111368717A (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN115546705B (zh) 目标识别方法、终端设备及存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN113869137A (zh) 事件检测方法、装置、终端设备及存储介质
EP3819815A1 (en) Human body recognition method and device, as well as storage medium
CN113052019B (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN109684953A (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN111901499B (zh) 一种计算视频图像中像素实际距离的方法及设备
CN113435367A (zh) 社交距离评估方法、装置及存储介质
WO2021093744A1 (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN111738085A (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置
CN111598005A (zh) 动捕数据处理方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant