CN112287794B - 一种视频图像自动识别目标的编号一致性管理方法 - Google Patents

一种视频图像自动识别目标的编号一致性管理方法 Download PDF

Info

Publication number
CN112287794B
CN112287794B CN202011140098.2A CN202011140098A CN112287794B CN 112287794 B CN112287794 B CN 112287794B CN 202011140098 A CN202011140098 A CN 202011140098A CN 112287794 B CN112287794 B CN 112287794B
Authority
CN
China
Prior art keywords
target
frame
value
targets
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011140098.2A
Other languages
English (en)
Other versions
CN112287794A (zh
Inventor
吴涛
常沛
高晶晶
童列树
许涛
孙晓晖
牛蕾
刘浩
陈曦
王蒙
张玉营
李玉景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 38 Research Institute
Original Assignee
CETC 38 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 38 Research Institute filed Critical CETC 38 Research Institute
Priority to CN202011140098.2A priority Critical patent/CN112287794B/zh
Publication of CN112287794A publication Critical patent/CN112287794A/zh
Application granted granted Critical
Publication of CN112287794B publication Critical patent/CN112287794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频图像自动识别目标的编号一致性管理方法，属于视频图像目标跟踪技术领域，包括以下步骤：S1：目标编号初始化；S2：帧间目标匹配；S3：目标集清洗；S4：输出有效目标；S5：多目标编号跟踪。本发明采用活力值表示目标的跟踪状态，非常方便的区别新增、漏检、虚警、遮挡等各种情况；保留足够帧数的目标缓存数据，使被遮挡的目标重新出现时，也能够重新识别到，并保留原编号；具有准确、高效的优良特性，非常适合实时处理应用，值得被推广使用。

Description

一种视频图像自动识别目标的编号一致性管理方法
技术领域
本发明涉及视频图像目标跟踪技术领域，具体涉及一种视频图像自动识别目标的编号一致性管理方法。
背景技术
视频目标跟踪技术作为计算机视觉的重要研究方向，近年来受到广泛关注。视频目标跟踪指已知视频序列中目标的初始状态(如位置、大小、编号等)，在后续序列中对目标进行检测分析，获取目标的状态并进行标识。计算机在目标特征提取、目标检测等预处理的基础上对目标进行深入分析，实现对目标状态的理解。当前，目标跟踪技术的应用范围越来越广，在军事和民用上均有着重要的应用价值，如侦察监视、视频监控、智能交通等。
采用基于深度学习的神经网络智能目标识别方法能够实现视频图像序列中多类别、多目标的自动识别。自动目标识别结果中每个目标都有类别、位置、大小、置信度等信息。对目标进行编号一致性管理能够避免目标辨识的歧义，方便对识别目标进行连续跟踪识别，统计观测期间目标数量，对同一目标进行状态分析等。编号一致性管理要求每个目标都有唯一编号，同一目标在出现期间的编号保持不变。目标编号一致性管理是视频观测中的重要步骤。但是，多种因素影响目标编号一致性管理，主要有如下因素：(1)目标识别漏检；(2)目标识别虚警；(3)目标被遮挡；(4)目标进入视场；(5)目标离开视场等。这使得适应多种复杂情况的稳健的编号一致性管理算法非常有难度。为此，提出一种视频图像自动识别目标的编号一致性管理方法。
发明内容
本发明所要解决的技术问题在于：如何解决因目标识别漏检、虚警、遮挡、进入和离开视场等因素导致视频目标编号无法保持一致的问题，提供了一种视频图像自动识别目标的编号一致性管理方法，该方法采用了目标活力值判断、帧间目标位置匹配、基于FFT的图像相关性匹配等技术，突破了帧间目标编号一致性管理技术难题，保证了视频图像识别目标的连续跟踪。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：目标编号初始化
对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值；
S2：帧间目标匹配
将后续每帧图像新的目标识别结果与上一帧目标集进行匹配，匹配成功的目标更新编号，设置活力值为最大值；对前一帧中未匹配上的目标进行帧间跟踪检测，通过对前后帧图像中目标区域的图像进行基于FFT的图像相关性匹配，得到目标在当前帧中的准确位置，更新目标参数，递减活力值；对当前帧中未匹配上的目标进行匹配跟踪检测，遍历上一帧目标集中活力值小于0的目标，进行基于FFT的匹配跟踪检测；将匹配上的目标的活力值设置为最大值，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中；
S3：目标集清洗
将活力值小于最小值的目标从目标集中删除，得到当前帧最终目标集；
S4：输出有效目标
将最终目标集中活力值大于0的目标输出；
S5：多目标编号跟踪
迭代执行步骤S2～S5，对连续视频的多目标编号进行跟踪。
更进一步地，在所述步骤S1中，目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI(Region of Interest)图像，其中，目标按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取，目标区ROI图像根据目标位置从当前帧图像中提取。
更进一步地，在所述步骤S1中，活力值为判断该目标是否应该继续输出的依据，取值范围[-N，M]，其中，M、N均为正整数，M表示目标识别过程连续漏检的最大允许帧数，N表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数；目标活力值每帧动态变化。
更进一步地，在所述步骤S2中，匹配时对上一帧目标集中活力值大于0的目标与当前帧识别的目标集中同类型的目标进行匹配。
更进一步地，匹配准则包括两种，分别为位置匹配和图像相关性匹配；
位置匹配的指标为目标范围矩形框的重叠率，表达式如下：
Figure GDA0003789672880000021
其中，A为第一帧中的目标框位置，B为第二帧中的目标框位置，设置两个重叠率阈值T1和T2，T1<T2；若重叠率大于阈值T2，则判断前后帧两个目标为同一目标，更新目标为当前帧目标的大小；否则进行图像相关性匹配；
图像相关性匹配对前后帧两个目标进行基于FFT的图像相关性计算，若计算得到相关性大于阈值R，则判断为同一目标，根据重叠率范围，对输出目标的大小进行赋值；若相关性小于阈值R，则判断不是同一个目标。
更进一步地，在根据重叠率范围对输出目标的大小进行赋值时，当重叠率大于T1,则目标大小取前后帧两个目标大小的平均，当重叠率小于T1，则判断当前帧目标的大小不准确，继续采用前一帧的目标大小。
更进一步地，在所述步骤S2中，对匹配成功的目标更新编号的具体过程为：对于前一帧目标集中活力值大于0且能够在当前帧中找到正确匹配目标的目标，更新目标的位置、大小、置信度、目标区ROI图像，设置活力值保持为M，编号不变。
更进一步地，在所述步骤S2中，对前一帧中未匹配上的目标进行帧间跟踪检测的具体过程为：
S211：对前一帧中活力值大于0且在当前帧中没有正确匹配到的目标，与当前帧的对应区域进行相关计算；
S211：判断相关值与阈值C的大小关系，当相关值大于等于阈值C时，则判断得到当前帧识别结果出现漏检，上一帧中的该目标要持续保留，并更新到匹配的当前帧的新位置上，目标区ROI图像不更新，目标活力值递减1，当递减后的活力值仍大于0时，将目标输出，当递减后的活力值小于等于0时，不再输出目标；当相关值小于阈值C时，判断得到上一帧目标在当前帧中没有再出现，不再更新目标区ROI图像，同时设置活力值为0。
更进一步地，在所述步骤S2中，对当前帧中未匹配上的目标进行匹配跟踪检测的具体过程为：
S221：对当前帧中每一个没有与前一帧正确配对的目标，遍历前一帧输出的活力值在[-N，0]范围内的所有目标，计算两者目标区ROI图像的匹配相关值；
S222：判断相关值与阈值C的大小关系，当相关值大于等于阈值C，则将当前帧中未正确配对的目标激活，重新出现并采用原编号，同时将活力值设置为最大值M；当相关值小于阈值C，则判断出现新目标，按照顺序给当前帧中未正确配对的目标分配新的编号，活力值设置为最大值M。
本发明相比现有技术具有以下优点：该视频图像自动识别目标的编号一致性管理方法，采用活力值表示目标的跟踪状态，非常方便的区别新增、漏检、虚警、遮挡等各种情况；保留足够帧数的目标缓存数据，使被遮挡的目标重新出现时，也能够重新识别到，并保留原编号；具有准确、高效的优良特性，非常适合实时处理应用，值得被推广使用。
附图说明
图1是本发明实施例二中编号一致性管理方法的实施流程示意图；
图2是本发明实施例二中帧间目标匹配的实施流程示意图；
图3是本发明实施例二中目标集组成的示意图；
图4是本发明实施例二中目标位置匹配重叠率的示意图；
图5a是本发明实施例二中编号一致性管理结果图的中第7帧图像(目标4进入，正确识别)；
图5b是本发明实施例二中编号一致性管理结果图的中第31帧图像(目标4漏检，连续跟踪)；
图5c是本发明实施例二中编号一致性管理结果图的中第206帧图像(目标4离开，正确识别)；
图5d是本发明实施例二中编号一致性管理结果图的中第213帧图像(目标4离开时漏检，连续跟踪)。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
本实施例提供一种技术方案：一种视频图像自动识别目标的编号一致性管理方法，包括以下步骤：
S1：目标编号初始化
对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值；
S2：帧间目标匹配
将后续每帧图像新的目标识别结果与上一帧目标集进行匹配，匹配成功的目标更新编号，设置活力值为最大值；对前一帧中未匹配上的目标进行帧间跟踪检测，通过对前后帧图像中目标区域的图像进行基于FFT的图像相关性匹配，得到目标在当前帧中的准确位置，更新目标参数，递减活力值；对当前帧中未匹配上的目标进行匹配跟踪检测，遍历上一帧目标集中活力值小于0的目标，进行基于FFT的匹配跟踪检测；将匹配上的目标的活力值设置为最大值，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中；
S3：目标集清洗
将活力值小于最小值的目标从目标集中删除，得到当前帧最终目标集；
S4：输出有效目标
将最终目标集中活力值大于0的目标输出；
S5：多目标编号跟踪
迭代执行步骤S2～S5，对连续视频的多目标编号进行跟踪。
在所述步骤S1中，目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI(Region of Interest)图像，其中，目标按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取，目标区ROI图像根据目标位置从当前帧图像中提取。
在所述步骤S1中，活力值为判断该目标是否应该继续输出的依据，取值范围[-N，M]，其中，M、N均为正整数，M表示目标识别过程连续漏检的最大允许帧数，N表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数；目标活力值每帧动态变化。
在所述步骤S2中，匹配时对上一帧目标集中活力值大于0的目标与当前帧识别的目标集中同类型的目标进行匹配。
匹配准则包括两种，分别为位置匹配和图像相关性匹配；
位置匹配的指标为目标范围矩形框的重叠率，表达式如下：
Figure GDA0003789672880000051
其中，A为第一帧中的目标框位置，B为第二帧中的目标框位置，设置两个重叠率阈值T1和T2，T1<T2；若重叠率大于阈值T2，则判断前后帧两个目标为同一目标，更新目标为当前帧目标的大小；否则进行图像相关性匹配；
图像相关性匹配对前后帧两个目标进行基于FFT的图像相关性计算，若计算得到相关性大于阈值R，则判断为同一目标，根据重叠率范围，对输出目标的大小进行赋值；若相关性小于阈值R，则判断不是同一个目标。
在根据重叠率范围对输出目标的大小进行赋值时，当重叠率大于T1,则目标大小取前后帧两个目标大小的平均，当重叠率小于T1，则判断当前帧目标的大小不准确，继续采用前一帧的目标大小。
在所述步骤S2中，对匹配成功的目标更新编号的具体过程为：对于前一帧目标集中活力值大于0且能够在当前帧中找到正确匹配目标的目标，更新目标的位置、大小、置信度、目标区ROI图像，设置活力值保持为M，编号不变。
在所述步骤S2中，对前一帧中未匹配上的目标进行帧间跟踪检测的具体过程为：
S211：对前一帧中活力值大于0且没有正确匹配到的目标，与当前帧的对应区域进行相关计算；
S211：判断相关值与阈值C的大小关系，当相关值大于等于阈值C时，则判断得到当前帧识别结果出现漏检，上一帧中的该目标要持续保留，并更新到匹配的当前帧的新位置上，目标区ROI图像不更新，目标活力值递减1，当递减后的活力值仍大于0时，将目标输出，当递减后的活力值小于等于0时，不再输出目标；当相关值小于阈值C时，判断得到上一帧目标在当前帧中没有再出现，不再更新目标区ROI图像，同时设置活力值为0。
在所述步骤S2中，对当前帧中未匹配上的目标进行匹配跟踪检测的具体过程为：
S221：对当前帧中每一个没有与前一帧正确配对的目标，遍历前一帧输出的活力值在[-N，0]范围内的所有目标，计算两者目标区ROI图像的匹配相关值；
S222：判断相关值与阈值C的大小关系，当相关值大于等于阈值C，则将当前帧中未正确配对的目标激活，重新出现并采用原编号，同时将活力值设置为最大值M；当相关值小于阈值C，则判断出现新目标，按照顺序给当前帧中未正确配对的目标分配新的编号，活力值设置为最大值M。
实施例二
本发明的目的是对视频图像在目标识别后进行目标编号，并解决因目标识别漏检、虚警、遮挡、进入和离开视场等因素导致视频目标编号无法保持一致的问题。提出了一种视频图像自动识别目标的编号一致性管理方法，方法中采用了目标活力值判断、帧间目标位置匹配、基于FFT的图像相关匹配等技术，突破了帧间目标编号一致性管理技术难题，保证了视频图像识别目标的连续跟踪。
以下结合附图及本实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
如图1～4所示，本实施例提供了一种视频图像神经网络目标识别的编号一致性管理方法，包括以下步骤：
(1)目标编号初始化：对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值M；
(2)帧间目标匹配：将后续每帧图像新的目标识别结果与上一帧目标集进行匹配；
(3)匹配成功的目标更新编号，设置活力值最大；
(4)前一帧中未匹配上的目标进行帧间跟踪检测：通过对前后帧图像中目标区域的图像进行基于FFT的相关匹配，得到目标在当前帧中的准确位置，然后更新目标参数，活力值递减；
(5)当前帧中未匹配上的目标进行匹配跟踪检测：遍历上一帧目标集中活力值小于0的目标，进行基于FFT的相关匹配；将匹配上的目标的活力值设置为最大，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中。
(6)目标集清洗：将活力值小于(-N)的目标从目标集中删除，得到当前帧最终目标集；
(7)输出活力值大于0的有效目标；
(8)迭代执行(2)～(7)，实现对连续视频的多目标编号进行跟踪。
在步骤(1)中，所述目标参数初始化具体为：目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI(Region of Interest)图像等。目标集按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取，每个目标初始化一个最大活力值M＝10。活力值表示该目标是否应该继续输出，取值范围[-10，10]，M＝10表示目标识别过程连续漏检的最大允许帧数，N＝10表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数。目标活力值每帧动态变化。活力值大于0时，表示目标可以继续保持输出，活力值在[0，-10]范围内时，表示目标处于待激活状态，不再输出；活力值小于-10时，表示目标已经消失，没有激活的可能，应该从目标集中删除。
在步骤(2)中，所述帧间目标匹配具体为：对上一帧目标集中活力值大于0的目标与当前帧识别的目标集同类型的目标进行匹配。匹配准则有两点，分别是位置匹配和图像相关性匹配。
位置匹配考虑目标范围矩形框的重叠率指标IOU(Intersect of Union)：
Figure GDA0003789672880000071
其中，A为目标框位置1，B为目标框位置2。设置两个重叠率阈值T1和T2，T1<T2。如果重叠率大于阈值T2，则认为前后帧两个目标疑似同一个目标，更新目标为当前帧目标的大小；否则，进一步进行相关性匹配。
相关性匹配在位置匹配的基础上，对疑似目标进行基于FFT的图像相关性计算，如果相关性大于阈值R，则认为是同一个目标，根据重叠率范围，对输出目标的大小赋值，如果重叠率大于T1,则目标大小取前后帧目标大小的平均，如果重叠率小于T1，则当前帧目标的大小可能不准确，继续采用前一帧的目标大小。如果相关性小于阈值R，则认为不是同一个目标。
基于FFT的相关性匹配是利用傅立叶变换，将图像由空域变换到频域，通过他们的互功率直接计算出两幅图像间的平移矢量，从而实现图像的配准。
基于FFT的相关性匹配的算法基本原理如下：
设图像I1(x,y)和I2(x,y)之间存在平移量(Δx,Δy)，即，
I1(x,y)＝I2(x-Δx,y-Δy)
由Fourier变换的平移性质，有，
Figure GDA0003789672880000081
其归一化的互功率谱为：
Figure GDA0003789672880000082
其中，
Figure GDA0003789672880000083
和
Figure GDA0003789672880000084
分别是对应函数的Fourier变换，
Figure GDA0003789672880000085
是
Figure GDA0003789672880000086
的复共轭。互功率谱的相位等于两幅图像的相位差，对归一化的互功率谱进行逆傅立叶变换，得到一个冲激响应函数，也称频域相位相关图：
c(x,y)＝F-1[e-j2π(uΔx+vΔy)]＝δ(x-Δx,y-Δy)
该函数(频域相位相关图)在两幅图像的相对位移(Δx,Δy)，即匹配点处达到最大值，其他地方接近于零。为了避免匹配位置的周期模糊性，一般图像I1(x,y)和I2(x,y)需要进行补0扩增。
图像配准问题就是找到频域相位相关图(冲激响应函数)的峰值位置。
采用信噪比作为基于FFT的相关性匹配方法有效性的评价指标。信噪比的计算公式如下式所示：
Figure GDA0003789672880000087
其中，V表示频域相位相关图的峰值，c表示频域相位相关图，mean(·)表示对括号内所有元素求平均。如果信噪比越大，表示配准位置越可信；如果信噪比越小，表示配准位置不可信。一般，信噪比要求在7以上的匹配结果才可信。也就是说，根据信噪比的值确定匹配位置的可信度。
在步骤(3)中，所述匹配成功的目标更新编号具体为：对于前一帧目标集中活力值大于0且能够在当前帧中找到正确匹配目标的目标，更新目标的位置、大小、置信度、目标区ROI图像等，活力值保持为M＝10，编号不变。
在步骤(4)中，所述帧间跟踪检测具体为：对前一帧中活力值大于0且没有正确匹配到的目标，可能在当前帧中出现了漏检，进行匹配跟踪检测。与当前帧的对应区域进行基于FFT的相关计算。相关值大于等于阈值C＝20时，认为当前帧识别结果出现漏检，上一帧中的该目标要持续保留，并更新到匹配的新位置上，但是目标区ROI图像不更新；目标活力值递减1。当活力值仍然大于0时，将目标输出；反之，如果该目标已经连续M＝10帧没有出现，可能是虚警，则不再输出。相关值小于阈值C＝20时，上一帧目标在当前帧中没有再出现，可能发生遮蔽或移出视场区，不再更新目标区ROI图像，同时设置活力值为0。
在步骤(5)中，所述匹配跟踪检测具体为：对当前帧中没有与前一帧正确配对的目标，可能是新增的目标，也可能是虚警目标，进行更大范围的匹配跟踪检测。对当前帧中每一个这样的目标，遍历前一帧输出的活力值在[-10，0]范围内的所有目标，计算两者目标区ROI图像的FFT匹配相关值，如果相关值大于等于阈值C＝20，则认为目标被激活，重新出现，采用原编号；同时将活力值设置为最大M。反之，认为是出现了新目标，按照顺序分配新的编号，活力值设置为最大M。
在步骤(6)中，所述目标集清洗具体为：将活力值小于(-10)的目标从目标集中删除，形成新的目标集，用于与下一帧图像中目标识别结果进行迭代跟踪。
在步骤(7)中，所述输出有效目标具体为：将数据集中活力值大于0的目标输出，供用户使用。
如图5所示，视频图像中存在4个目标(分别为T1、T2、T3、T4)。按照目标编号一致性管理流程，进行完整视频序列的神经网络目标自动检测识别处理，目标在进入、驶出、遮挡、识别漏检、识别虚警等多种情况下，目标编号都能保持不变。
综上所述，上述实施例的视频图像自动识别目标的编号一致性管理方法，采用活力值表示目标的跟踪状态，非常方便的区别新增、漏检、虚警、遮挡等各种情况；保留足够帧数的目标缓存数据，使被遮挡的目标重新出现时，也能够重新识别到，并保留原编号；具有准确、高效的优良特性，非常适合实时处理应用，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种视频图像自动识别目标的编号一致性管理方法，其特征在于，包括以下步骤：
S1：目标编号初始化
对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值；
S2：帧间目标匹配
将后续每帧图像新的目标识别结果与上一帧目标集进行匹配，匹配成功的目标更新编号，设置活力值为最大值；对前一帧中未匹配上的目标进行帧间跟踪检测，通过对前后帧图像中目标区域的图像进行基于FFT的图像相关性匹配，得到目标在当前帧中的准确位置，更新目标参数，递减目标活力值；对当前帧中未匹配上的目标进行匹配跟踪检测，遍历上一帧目标集中活力值小于0的目标，进行基于FFT的匹配跟踪检测；将匹配上的目标的活力值设置为最大值，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中；
S3：目标集清洗
将活力值小于最小值的目标从目标集中删除，得到当前帧最终目标集；
S4：输出有效目标
将最终目标集中活力值大于0的目标输出；
S5：多目标编号跟踪
迭代执行步骤S2～S5，对连续视频的多目标编号进行跟踪；
在所述步骤S1中，活力值为判断该目标是否应该继续输出的依据，取值范围为[-N，M]，其中，M、N均为正整数，M表示目标识别过程连续漏检的最大允许帧数，N表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数；目标活力值每帧动态变化；
在所述步骤S2中，对前一帧中未匹配上的目标进行帧间跟踪检测的具体过程为：
S211：对前一帧中活力值大于0且在当前帧中没有正确匹配到的目标，与当前帧的对应区域进行相关计算；
S212：判断相关值与阈值C的大小关系，当相关值大于等于阈值C时，则判断得到当前帧识别结果出现漏检，上一帧中的该目标要持续保留，并更新到匹配的当前帧的新位置上，目标区ROI图像不更新，目标活力值递减1，当递减后的活力值仍大于0时，将目标输出，当递减后的活力值小于等于0时，不再输出目标；当相关值小于阈值C时，判断得到上一帧目标在当前帧中没有再出现，不再更新目标区ROI图像，同时设置活力值为0；
在所述步骤S2中，对当前帧中未匹配上的目标进行匹配跟踪检测的具体过程为：
S221：对于当前帧中每一个没有与前一帧正确配对的目标，遍历前一帧输出的活力值在[-N，0]范围内的所有目标，计算两者目标区ROI图像的匹配相关值；
S222：判断相关值与阈值C的大小关系，当相关值大于等于阈值C，则将当前帧中未正确配对的目标激活，重新出现并采用原编号，同时将活力值设置为最大值M；当相关值小于阈值C，则判断出现新目标，按照顺序给当前帧中未正确配对的目标分配新的编号，活力值设置为最大值M。
2.根据权利要求1所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S1中，目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI图像，其中，目标按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取。
3.根据权利要求1所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S2中，匹配时对上一帧目标集中活力值大于0的目标与当前帧识别的目标集中同类型的目标进行匹配。
4.根据权利要求3所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：匹配准则包括两种，分别为位置匹配和图像相关性匹配；
位置匹配的指标为目标范围矩形框的重叠率，表达式如下：
Figure FDA0003789672870000021
其中，A为第一帧中的目标框位置，B为第二帧中的目标框位置，设置两个重叠率阈值T1和T2，T1<T2；若重叠率大于阈值T2，则判断前后帧两个目标为同一目标，更新目标为当前帧目标的大小；否则进行图像相关性匹配；
图像相关性匹配对前后帧两个目标进行基于FFT的图像相关性计算，若计算得到相关性大于阈值R，则判断为同一目标，根据重叠率范围，对输出目标的大小进行赋值；若相关性小于阈值R，则判断不是同一个目标。
5.根据权利要求4所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在根据重叠率范围对输出目标的大小进行赋值时，当重叠率大于T1,则目标大小取前后帧两个目标大小的平均，当重叠率小于T1，则判断当前帧目标的大小不准确，继续采用前一帧的目标大小。
6.根据权利要求1所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S2中，对匹配成功的目标更新编号的具体过程为：对于前一帧目标集中活力值大于0且能够在当前帧中找到正确匹配目标的目标，更新目标的位置、大小、置信度、目标区ROI图像，设置活力值保持为M，编号不变。
CN202011140098.2A 2020-10-22 2020-10-22 一种视频图像自动识别目标的编号一致性管理方法 Active CN112287794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011140098.2A CN112287794B (zh) 2020-10-22 2020-10-22 一种视频图像自动识别目标的编号一致性管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011140098.2A CN112287794B (zh) 2020-10-22 2020-10-22 一种视频图像自动识别目标的编号一致性管理方法

Publications (2)

Publication Number Publication Date
CN112287794A CN112287794A (zh) 2021-01-29
CN112287794B true CN112287794B (zh) 2022-09-16

Family

ID=74424135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011140098.2A Active CN112287794B (zh) 2020-10-22 2020-10-22 一种视频图像自动识别目标的编号一致性管理方法

Country Status (1)

Country Link
CN (1) CN112287794B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2858008A2 (en) * 2013-09-27 2015-04-08 Ricoh Company, Ltd. Target detecting method and system
CN107230382A (zh) * 2017-06-19 2017-10-03 深圳市盛路物联通讯技术有限公司 一种智慧城市的停车管理方法及系统
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法
CN110390292A (zh) * 2018-10-26 2019-10-29 西安电子科技大学 基于动态关联模型的遥感视频车辆目标检测与跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366370B (zh) * 2013-07-03 2016-04-20 深圳市智美达科技股份有限公司 视频监控中的目标跟踪方法和装置
CN115086606A (zh) * 2018-12-05 2022-09-20 深圳阿科伯特机器人有限公司 移动目标的监控方法、装置、系统、存储介质及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2858008A2 (en) * 2013-09-27 2015-04-08 Ricoh Company, Ltd. Target detecting method and system
CN107230382A (zh) * 2017-06-19 2017-10-03 深圳市盛路物联通讯技术有限公司 一种智慧城市的停车管理方法及系统
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法
CN110390292A (zh) * 2018-10-26 2019-10-29 西安电子科技大学 基于动态关联模型的遥感视频车辆目标检测与跟踪方法
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Urban Vitality Area Identification and Pattern Analysis from the Perspective of Time and Space Fusion;Shaojun Liu 等;《MDPI》;20190725;第1-27页 *
基于活动状态预测与分类的多目标跟踪;段萌远等;《计算机工程与科学》;20071115(第11期);第47-49,53页 *
基于遮挡检测和时空上下文信息的目标跟踪算法;朱陶等;《模式识别与人工智能》;20170815(第08期);第48-57页 *
实时目标跟踪研究;胡绍华 等;《计算机科学与应用》;20141231;第158-168页 *
高速视频的运动目标匹配识别算法;唐瑞等;《国外电子测量技术》;20181115(第11期);第57-62页 *

Also Published As

Publication number Publication date
CN112287794A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN110728697B (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
EP1505543A2 (en) Video object tracking
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN111754548B (zh) 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN110717934B (zh) 一种基于strcf的抗遮挡目标跟踪方法
Tawab et al. Efficient multi-feature PSO for fast gray level object-tracking
Nallasivam et al. Moving human target detection and tracking in video frames
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN110991280A (zh) 基于模板匹配和surf的视频跟踪方法和装置
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
Chen et al. Multi-lane detection and tracking using temporal-spatial model and particle filtering
CN111161308A (zh) 一种基于关键点匹配的双波段融合目标提取方法
CN112287794B (zh) 一种视频图像自动识别目标的编号一致性管理方法
Zhang et al. A coarse-to-fine leaf detection approach based on leaf skeleton identification and joint segmentation
CN107886524B (zh) 一种电梯门运动轨迹识别方法
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
Huang et al. Tracking camouflaged objects with weighted region consolidation
Reddy et al. SAR electromagnetic image conditioning using a new adaptive particle swarm optimization
Yao et al. A novel method for real-time multiple moving targets detection from moving IR camera
Kim et al. Novel precision target detection with adaptive thresholding for dynamic image segmentation
Shin et al. Automatic failure detection and correction for real-time object tracking with kernelized correlation filter
Hird et al. A comparison of target detection and segmentation techniques
Krieger et al. Vehicle tracking under occlusion conditions using directional ringlet intensity feature transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant