CN111126299A - 面向时序目标检测的优化方法和评估系统 - Google Patents

面向时序目标检测的优化方法和评估系统 Download PDF

Info

Publication number
CN111126299A
CN111126299A CN201911360400.2A CN201911360400A CN111126299A CN 111126299 A CN111126299 A CN 111126299A CN 201911360400 A CN201911360400 A CN 201911360400A CN 111126299 A CN111126299 A CN 111126299A
Authority
CN
China
Prior art keywords
target
frame
preset
track
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911360400.2A
Other languages
English (en)
Inventor
喻俊志
吴正兴
鲁岳
陈星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911360400.2A priority Critical patent/CN111126299A/zh
Publication of CN111126299A publication Critical patent/CN111126299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及一种面向时序目标检测的优化方法和评估系统，旨在解决现有评价体系无法全面描述时序目标检测的性能，及目标检测时序连续性与稳定性低的问题。本系统方法包括获取输入视频中各帧的目标检测结果；基于目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果。本发明基于召回连续性与定位稳定性两方面对时序目标检测的性能进行量化，提高了评估的准确度，并根据评估结果进行优化，提高了时序目标检测的连续性、稳定性。

Description

面向时序目标检测的优化方法和评估系统
技术领域
本发明属于计算机视觉领域，具体涉及一种面向时序目标检测的优化方法和评估系统。
背景技术
2012年至今，基于深度学习的计算机视觉技术快速发展，包括其基础领域目标检测，现已有大量的目标检测方法被提出。例如Ren等人提出了Faster RCNN，将目标检测分为区域建议和基于区域的分类回归两个阶段；Liu等人提出了SSD，采用多尺度特征和卷积预测方式进行一次回归和分类。由于大部分目标检测针对的是静态图像，于是便形成了基于精度的评价体系，即mean Average Precision(mAP)。
近几年来，越来越多的目标检测方法关注视频中的信息，并有大量视频检测方法被提出。例如Han等人提出了SeqNMS来丢弃时序上不连续的预测框；Feichtenhofer等人利用基于相关滤波的跟踪方法来提升时序定位能力；Chen等人采用长短期记忆和注意力机制来在时序上传播视觉特征；Kang等人设计了一种离线检测方法来同时处理多帧视频，以提高预测的时序一致性。大部分视频检测方法均利用时序信息来提升检测性能，但评价体系依然基于静态精度。mAP虽然可以描述目标的丢失、错误召回、基于intersection-over-union(IoU)的定位偏差等检测问题，但时序目标检测所包含的信息和问题远多于召回率、定位精度等静态问题。因此，mAP并不能充分地描述检测器的时序性能。
另外，在目标跟踪领域，已形成了multi-object tracking accuracy(MOTA)andprecision(MOTP)和expect average overlap rate(EAO)等评价体系，但他们依然使用基于IoU的方法来评价定位问题，这种方式的无法描述多次定位之间的关系。并且，这些评价体系仅考虑了目标身份切换，并未全面描述时序目标轨迹的一致性。
由于目标评价体系的不完善，无法分析目标检测器的时序性能，导致目标检测的连续性与稳定性较低。因此，为弥补现有评价体系的空缺，本发明公开一种面向时序目标检测的评估系统，并基于评估结果提出了优化方法，将有效促进面向真实场景的目标检测技术的发展。
发明内容
为了解决现有技术中的上述问题，即为了解决现有评价体系无法全面描述时序目标检测的性能，及目标检测时序连续性与稳定性低的问题，本发明第一方面，提出了一种面向时序目标检测的优化方法，该方法包括：
步骤S100，获取输入视频中各帧的目标检测结果；
步骤S200，基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
步骤S300，基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹终止；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
在一些优选的实施方式中，“根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标”，其方法为：
Figure BDA0002337027690000031
Ω＝ωl
其中，
Figure BDA0002337027690000032
为更新后t帧预测框的中心点坐标，Ω为等比数列，l为等差数列，ω为预设的融合权重因子，
Figure BDA0002337027690000033
为归一化的等比数列，pf-i为t-i帧预测框的中心点坐标，i为自然数，表示下标。
本发明的第二方面，提出了一种面向时序目标检测的优化系统，该系统包括检测模块、跟踪模块、优化模块；
所述检测模块，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述优化模块，配置为基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹终止；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
本发明的第三方面，提出了一种面向时序目标检测的评估系统，该系统包括检测模块、跟踪模块、评估模块、输出模块；
所述检测模块，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述评估模块，配置为基于所述目标轨迹，获取极短轨迹指数ESTE、短轨迹指数STE、片段指数FE、片段目标轨迹比例FTR、中心点抖动指数CJE、尺寸抖动指数SJE，其中，
ESTE、STE分别基于获取的输入视频长度、各目标轨迹长度t及设定的轨迹长度阈值，通过预设的轨迹指数算法获取；
FE基于Slost、预设的丢失时长阈值，获取各目标轨迹对应的目标丢失次数om，并结合tn获取；
FTR基于om，通过预设的轨迹丢失比例算法获取；
CJE、SJE分别基于时序排列的各目标所有预测框的中心点坐标和宽高，通过傅里叶变换生成频域信号，并提取该信号其频率的幅值；根据所述幅值、tn，通过预设的抖动指数算法获取；
所述输出模块，配置为将ESTE、STE、FE、FTR、CJE、SJE作为评估结果输出。
在一些优选的实施方式中，“通过预设的轨迹指数算法获取”，其方法为：
Figure BDA0002337027690000051
其中，tv为输入视频的长度，N为目标轨迹的数量，S为轨迹长度阈值，包括极短轨迹长度阈值SESTE、短轨迹长度阈值SSTE，n为自然数，表示下标，(Aa if Bb else Cc)为三目运算，表示如果Bb为真，则值为Aa，否则为Cc。
在一些优选的实施方式中，“FE基于Slost、预设的丢失时长阈值，获取各目标轨迹对应的目标丢失次数om，并结合tn获取”，其方法为：
Figure BDA0002337027690000052
在一些优选的实施方式中，“FTR基于om，通过预设的轨迹丢失比例算法获取”，其方法为：
Figure BDA0002337027690000053
在一些优选的实施方式中，“通过预设的抖动指数算法获取”，其方法为：
Figure BDA0002337027690000054
Figure BDA0002337027690000055
其中，p代表预测框的中心点坐标或宽高，(cx,cy)为预测框的中心点坐标，w,h为预测框的宽高，A为频率幅值的集合，q为频率集，k为表示下标。
本发明的第四方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的面向时序目标检测的优化方法。
本发明的第五方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的面向时序目标检测的优化方法。
本发明的有益效果：
本发明基于召回连续性与定位稳定性两方面对时序目标检测的性能进行量化，提高了评估的准确度，并根据评估结果进行优化，提高了时序目标检测的连续性、稳定性。本发明首先定义目标检测时序性能为召回连续性问题与定位稳定性问题，即分别描述了对目标分类和坐标回归的时序一致性。这两个问题与时序目标检测精度关联较小，但它们可以结合起来从不同角度描述时序目标检测，能有效地量化时序目标检测的性能，获取评估结果。
同时，基于评估结果，本发明设计了三种不同的策略针对时序目标检测过程中出现的问题进行优化，从而提升可时序目标检测的连续性、定位稳定性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的面向时序目标检测的优化方法的流程示意图；
图2是本发明一种实施例的面向时序目标检测的优化系统的框架示意图；
图3是本发明一种实施例的面向时序目标检测的评估系统的框架示意图；
图4是本发明一种实施例的有缺陷的目标检测的示意图；
图5是本发明一种实施例的正常目标轨迹和有缺陷的目标轨迹对比的示意图；
图6是本发明一种实施例的优化前后的对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
由于本发明中的面向时序目标检测的优化方法是基于面向时序目标检测的评估系统获取的评估结果作为参考依据而进行优化的，所以下文的实施例中，先对面向时序目标检测的评估系统进行详述，再对面向时序目标检测的优化方法进行详述。
本发明第一实施例的一种面向时序目标检测的评估系统，如图3所示，该系统包括检测模块1000、跟踪模块2000、评估模块3000、输出模块4000；
所述检测模块1000，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块2000，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述评估模块3000，配置为基于所述目标轨迹，获取极短轨迹指数ESTE、短轨迹指数STE、片段指数FE、片段目标轨迹比例FTR、中心点抖动指数CJE、尺寸抖动指数SJE，其中，
ESTE、STE分别基于获取的输入视频长度、各目标轨迹长度t及设定的轨迹长度阈值，通过预设的轨迹指数算法获取；
FE基于Slost、预设的丢失时长阈值，获取各目标轨迹对应的目标丢失次数om，并结合tn获取；
FTR基于om，通过预设的轨迹丢失比例算法获取；
CJE、SJE分别基于时序排列的各目标所有预测框的中心点坐标和宽高，通过傅里叶变换生成频域信号，并提取该信号其频率的幅值；根据所述幅值、tn，通过预设的抖动指数算法获取；
所述输出模块4000，配置为将ESTE、STE、FE、FTR、CJE、SJE作为评估结果输出。
为了更清晰地对本发明面向时序目标检测的评估系统进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
检测模块1000，配置为获取输入视频中各帧的目标检测结果。
在本发明，假设视频中的目标运动是平滑的，不包含高频的位置抖动或者存在性的变化。基于该假设，对目标检测器时序性能的评估和提升，可适用于任何时序检测方法。即本发明中的待评估对象之一为目标检测器，其用于分类和定位目标，处理视频每一帧，生成检测结果D。
在本实施例中，先通过目标检测器获取输入视频中各帧的目标检测结果。
跟踪模块2000，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost。
通过多目标跟踪器关联检测结果从而形成N个目标轨迹(或称为目标管道)Tn，其中，Tn＝(Dn,id)，n＝1,2,...N，Dn为目标id的所有预测框的中心点坐标cx,cy和宽高w,h。
在本实施例中，将面向时序目标检测的问题定义为召回连续性问题与定位稳定性问题，其中，召回连续性问题描述了时序分类的一致性，主要由检测管道的长度、目标丢失等因素构成。定位稳定性问题描述了时序定位的一致性，主要描述预测框中心点和形状的抖动。如图4和图5所示，图4为有缺陷的目标检测示意图。图4(a)为短时的目标召回产生长度过短的管道(其中黄色管道的长度为1，绿色管道的长度为2)；图4(b)间歇性的目标丢失导致管道片段；图4(c)预测框中心点抖动；图4(d)预测框尺寸抖动。图5中，x轴表示的是时间(time)，y轴表示的是位置(location)，T1为正常的检测管道，T2为持续时间过短的管道，T3表示管道片段问题；T4表示定位抖动问题，tubelet为管道，time duration为时长，duration threshold为管道持续时间阈值，object missing为目标丢失，t1、t2、t3、t4为管道的持续时长，tv为输入视频的长度。
因此基于上述问题，为了记录管道的长度和目标丢失，本实施例增加了两个管道的属性，所说目标管道Tn＝(Dn,id,Slost,Smatch)，其中，Smatch为目标管道被对应目标匹配的次数，Slost为目标跟踪丢失帧的时长。
其中，id对应于图4中的ID。
所述评估模块3000，配置为基于所述目标轨迹，获取极短轨迹指数ESTE、短轨迹指数STE、片段指数FE、片段目标轨迹比例FTR、中心点抖动指数CJE、尺寸抖动指数SJE。
在本实施例中，针对于目标检测的召回连续性问题与定位稳定性问题，设计了对应的评价指标。具体如下：
首先，检测管道应该有合适的长度，且没有间断。短时或间歇的目标召回/丢失会损害目标检测的连续性，即产生短管道和管道片段。如图4(a)或者图5中的T2所示，短管道在视频检测中很常见，本发明根据不同阈值，设计极短管道指数(extremely shorttubelet error，ESTE)和短管道指数来描述(short tubelet error，STE)，如公式(1)所示：
Figure BDA0002337027690000101
其中，tn为各目标管道的长度，n为自然数，表示下标，S为管道长度阈值，包括极短管道长度阈值SESTE、短管道长度阈值SSTE，(Aa if Bb else Cc)为三目运算，表示如果Bb为真，则值为Aa，否则为Cc。在本实施例中，SESTE优选设置为3，SSTE优选设置为10来描述不同程度的短管道问题。
如图4(b)或者图5中的T3所示，管道片段问题也常见于时序检测中。传统的多目标跟踪方法在目标丢失后立即终止管道，而本发明中
Figure BDA0002337027690000102
的管道将被保留，
Figure BDA0002337027690000103
为设定的丢失时间长度阈值，即如果管道可在目标丢失后的
Figure BDA0002337027690000104
帧内被重新匹配，这样即可记录一个管道的目标丢失次数om，从而构成片段指数(fragment error,FE)和片段管道比例(fragmental tubelet ratio,FTR)，FE描述目标丢失的比例，而FTR给出有丢失片段的管道的比例，计算过程如公式(2)(3)所示：
Figure BDA0002337027690000111
Figure BDA0002337027690000112
FE和FTR两者互相补充，一个好的时序检测应该同时有较低的FE和FTR，即目标丢失的比例较小，且目标丢失集中在少部分管道中。利用对数变换log100(1+99×α)来增加以上评价指数的对比度，其中α为ESTE、STE、FE或者FTR。
如图4(c)和图5中的T4所示，预测框中心点和尺寸的抖动影响定位稳定性。定位稳定性问题由傅里叶分析表达。时域信息p可由傅里叶变换生成频域信号P＝F(p)，其中，p为预测框的中心点坐标或宽高，F(·)为傅里叶变换。因此，P包含了p的频率信息，可以从中提取频率的幅值PA＝Abs(P)，即
Figure BDA0002337027690000113
其中，A为频率幅值的集合，q为频率集，
Figure BDA0002337027690000114
t为管道长度。基于傅里叶分析，中心点抖动指数(centerjitter error,CJE)和尺寸抖动指数(size jitter error,SJE)计算过程如公式(4)(5)所示：
Figure BDA0002337027690000115
Figure BDA0002337027690000116
其中，k为下标。
输出模块4000，配置为将ESTE、STE、FE、FTR、CJE、SJE作为评估结果输出。
在本实施例中，基于上述获取目标检测的过程中各项评价指标，作为评估结果而输出。
本发明第二实施例的一种面向时序目标检测的优化方法，如图1所示，该方法包括：
步骤S100，获取输入视频中各帧的目标检测结果；
步骤S200，基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
步骤S300，基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹终止；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
为了更清晰地对本发明面向时序目标检测的优化方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，获取输入视频中各帧的目标检测结果；
在本发明中，基于上述的评估结果，选择对目标的时序检测进行优化，同理，本实施例中先获取视频中各帧的目标检测结果。
步骤S200，基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost。
在本实施例中，基于目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果。
步骤S300，基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果。
在本实施例中，基于上述的时序检测的召回连续性与定位稳定性问题，本发明提出了三种检测策略进行优化，具体如下：
第一策略为短时管道抑制策略：即针对管道持续过短的问题，本发明在多目标跟踪方法中，为每个管道增加了一个记录其被匹配次数的属性，即Smatch。因此，根据Smatch可对匹配次数较少的管道进行拒识(即将各目标对应的目标管道删除)。
第二策略为管道填充策略：该策略处理管道片段问题。由于本发明的多目标跟踪方法有Slost属性，因此可以记录目标丢失的时间，在
Figure BDA0002337027690000131
帧内，该管道不会终止，且在遭遇目标丢失时预测当前中心点坐标。该策略遵循一个合理假设，即在极短时间内，目标匀速运动。在所述假设下，可利用最近的T个预测框来计算目标运动速度，本实施例中优选设置为5。即
Figure BDA0002337027690000132
pf-i为t-i帧的预测框的中心点坐标，因此预测中心点坐标可表达为p＝pf+1+vp。
第三策略为历史-当前位置融合策略：为缓解定位稳定性问题，本策略利用预设的权重融合权重因子和1生成一个等比数列，即Ω＝{ωl|l＝1,...,0.1}，其中l为一个等差数列，ω为预设的融合权重因子。将生成的等比数列进行归一化后与原始数据相乘，更新当前预测位置。在本发明中，融合最近5帧的预测与当前的预测位置来更新当前的预测位置，其计算过程如公式(6)所示：
Figure BDA0002337027690000141
其中，
Figure BDA0002337027690000142
为归一化的等比数列。
以上三种策略可以根据具体的目标检测方法进行选取。
图6(b)展示了SSD检测器对一段视频(该视频的部分帧由图6(a)所示)的检测结果，有较多时序问题，其中，time(frame)为时间(帧)，Hz为频率，vs表示对比。如视频的10帧左右的片段和120帧左右的片段有大量的召回连续性问题。并且，如图6(c)所示，SSD结果中大多目标管道的高频幅值较大，即存在定位抖动情况。图6(d)展示了管道改良策略的效果，即消除了大量的召回连续性问题。并且，由图6(e)可以看出，时序定位的高频幅值得到了有效的抑制。定量对比：
SSD在所述评价体系下的结果为ESTE＝0.448，STE＝0.715，FE＝0.410，FTR＝0.619，CJE＝0.264，SJE＝0.183；
优化后的结果为ESTE＝0.0，STE＝0.0，FE＝0.0，FTR＝0.0，CJE＝0.219，SJE＝0.142。
通过定量对比可以发现，本方法能对时序目标检测进行改良和优化，而且效果比较突出。
本发明第三实施例的一种面向时序目标检测的优化系统，如图2所示，该系统包括检测模块100、跟踪模块200、优化模块300；
所述检测模块100，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块200，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述优化模块300，配置为基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹删除；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的面向时序目标检测的优化系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的面向时序目标检测的优化系统和面向时序目标检测的评估系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的面向时序目标检测的优化方法。
本发明第五实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的面向时序目标检测的优化方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种面向时序目标检测的优化方法，其特征在于，该方法包括以下步骤：
步骤S100，获取输入视频中各帧的目标检测结果；
步骤S200，基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
步骤S300，基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹终止；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
2.根据权利要求1所述的面向时序目标检测的优化方法，其特征在于，“根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标”，其方法为：
Figure FDA0002337027680000011
Ω＝ωl
其中，
Figure FDA0002337027680000021
为更新后t帧预测框的中心点坐标，Ω为等比数列，l为等差数列，ω为预设的融合权重因子，
Figure FDA0002337027680000022
为归一化的等比数列，pf-i为t-i帧预测框的中心点坐标，i为自然数，表示下标。
3.一种面向时序目标检测的优化系统，其特征在于，该系统包括检测模块、跟踪模块、优化模块；
所述检测模块，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述优化模块，配置为基于预设的第一策略和/或第二策略和/或第三策略对初始时序目标检测结果进行处理，得到优化后的时序目标检测结果；
所述第一策略为：若Smatch少于设定的匹配次数，则将各目标对应的目标轨迹删除；
所述第二策略为：若Slost小于预设的丢失时间长度阈值，则根据t-T帧至t-1帧预测框的中心点坐标，获取目标的运动速度；基于所述运动速度和t-1帧预测框的中心点坐标，获取t帧预测框的中心点坐标，作为目标丢失时刻预测框的中心点坐标；否则，将目标对应的目标轨迹删除；其中，T为预设的帧长；
所述第三策略为：根据t-T帧至t帧预测框的中心点坐标、预设的等比数列，更新t帧预测框的中心点坐标。
4.一种面向时序目标检测的评估系统，其特征在于，该系统包括检测模块、跟踪模块、评估模块、输出模块；
所述检测模块，配置为获取输入视频中各帧的目标检测结果；
所述跟踪模块，配置为基于所述目标检测结果，通过多目标跟踪器获取各目标在整个输入视频中对应的目标轨迹，得到初始时序目标检测结果；所述目标轨迹包括目标id及其对应的所有预测框、目标轨迹被对应目标匹配的次数Smatch、目标跟踪丢失帧的时长Slost；
所述评估模块，配置为基于所述目标轨迹，获取极短轨迹指数ESTE、短轨迹指数STE、片段指数FE、片段目标轨迹比例FTR、中心点抖动指数CJE、尺寸抖动指数SJE，其中，
ESTE、STE分别基于获取的输入视频长度、各目标轨迹长度tn及设定的轨迹长度阈值，通过预设的轨迹指数算法获取；
FE基于Slost、预设的丢失时长阈值，获取各目标轨迹对应的目标丢失次数om，并结合tn获取；
FTR基于om，通过预设的轨迹丢失比例算法获取；
CJE、SJE分别基于时序排列的各目标所有预测框的中心点坐标和宽高，通过傅里叶变换生成频域信号，并提取该信号其频率的幅值；根据所述幅值、tn，通过预设的抖动指数算法获取；
所述输出模块，配置为将ESTE、STE、FE、FTR、CJE、SJE作为评估结果输出。
5.根据权利要求4所述的面向时序目标检测的评估系统，其特征在于，“通过预设的轨迹指数算法获取”，其方法为：
Figure FDA0002337027680000031
其中，tv为输入视频的长度，N为目标轨迹的数量，S为轨迹长度阈值，包括极短轨迹长度阈值SESTE、短轨迹长度阈值SSTE，n为自然数，表示下标，(Aa if Bb else Cc)为三目运算，表示如果Bb为真，则值为Aa，否则为Cc。
6.根据权利要求5所述的面向时序目标检测的评估系统，其特征在于，，“FE基于Slost、预设的丢失时长阈值，获取各目标轨迹对应的目标丢失次数om，并结合tn获取”，其方法为：
Figure FDA0002337027680000041
7.根据权利要求5所述的面向时序目标检测的评估系统，其特征在于，“FTR基于om，通过预设的轨迹丢失比例算法获取”，其方法为：
Figure FDA0002337027680000042
8.根据权利要求5所述的面向时序目标检测的评估系统，其特征在于，“通过预设的抖动指数算法获取”，其方法为：
Figure FDA0002337027680000043
Figure FDA0002337027680000044
其中，p代表预测框的中心点坐标或宽高，(cx,cy)为预测框的中心点坐标，w,h为预测框的宽高，A为频率幅值的集合，q为频率集，k为表示下标。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-2任一项所述的面向时序目标检测的优化方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-2任一项所述的面向时序目标检测的优化方法。
CN201911360400.2A 2019-12-25 2019-12-25 面向时序目标检测的优化方法和评估系统 Pending CN111126299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911360400.2A CN111126299A (zh) 2019-12-25 2019-12-25 面向时序目标检测的优化方法和评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911360400.2A CN111126299A (zh) 2019-12-25 2019-12-25 面向时序目标检测的优化方法和评估系统

Publications (1)

Publication Number Publication Date
CN111126299A true CN111126299A (zh) 2020-05-08

Family

ID=70502477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911360400.2A Pending CN111126299A (zh) 2019-12-25 2019-12-25 面向时序目标检测的优化方法和评估系统

Country Status (1)

Country Link
CN (1) CN111126299A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640103A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像检测方法、装置、设备以及存储介质
CN111860436A (zh) * 2020-07-31 2020-10-30 济南浪潮高新科技投资发展有限公司 一种提高检测系统检测可靠性的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530328A (zh) * 2016-11-04 2017-03-22 深圳维周机器人科技有限公司 一种基于视频图像对运动目标检测和平滑跟随的方法
CN107590821A (zh) * 2017-09-25 2018-01-16 武汉大学 一种基于轨迹优化的目标跟踪方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530328A (zh) * 2016-11-04 2017-03-22 深圳维周机器人科技有限公司 一种基于视频图像对运动目标检测和平滑跟随的方法
CN107590821A (zh) * 2017-09-25 2018-01-16 武汉大学 一种基于轨迹优化的目标跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINGYU CHEN ET AL.: "Continuity, Stability, and Integration: Novel Tracking-Based Perspectives for Temporal Object Detection", 《HTTPS://ARXIV.ORG/ABS/1912.10406V1》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640103A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像检测方法、装置、设备以及存储介质
CN111860436A (zh) * 2020-07-31 2020-10-30 济南浪潮高新科技投资发展有限公司 一种提高检测系统检测可靠性的方法

Similar Documents

Publication Publication Date Title
Yuan et al. Learning adaptive spatial-temporal context-aware correlation filters for UAV tracking
Xu et al. SiamFC++: Towards robust and accurate visual tracking with target estimation guidelines
CN112651995B (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
Cuevas et al. Circle detection by harmony search optimization
CN107424177A (zh) 基于连续相关滤波器的定位修正长程跟踪算法
CN104937638A (zh) 用于跟踪和检测目标对象的系统和方法
CN111126299A (zh) 面向时序目标检测的优化方法和评估系统
WO2021253686A1 (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
WO2018028102A1 (zh) 一种仿记忆引导的模式识别方法
CN111754545A (zh) 一种基于iou匹配的双滤波器视频多目标跟踪方法
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
WO2018072336A1 (zh) 一种线段擦除方法和装置
WO2019033541A1 (en) PRODUCTION OF DATA LABELED FOR DEEP OBJECT TRACKING
CN112541441A (zh) 一种融合相关滤波的gm-phd视频多目标跟踪方法
KR101913648B1 (ko) 다중 객체 추적 방법
CN111142101A (zh) 一种数据关联方法
WO2020061346A1 (en) Methods and apparatuses for tracking weak signal traces
Liu et al. Cell population tracking in a honeycomb structure using an IMM filter based 3D local graph matching model
Yang et al. Accurate visual tracking via reliable patch
KR102076600B1 (ko) 오브젝트 추적 장치 및 그의 오브젝트 추적 방법
CN117745766A (zh) 多摄像头目标跟踪方法、装置、设备及存储介质
Lu et al. A novel robotic visual perception framework for underwater operation
CN114660566B (zh) 虚假目标剔除方法、装置、计算机设备及存储介质
JP5078669B2 (ja) 目標検出装置、目標検出方法及び目標検出プログラム
Zhao et al. Lightweight deep neural network for real-time visual tracking with mutual learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508