CN113052853B - 一种在复杂环境中的视频目标跟踪方法及装置 - Google Patents

一种在复杂环境中的视频目标跟踪方法及装置 Download PDF

Info

Publication number
CN113052853B
CN113052853B CN202110097520.9A CN202110097520A CN113052853B CN 113052853 B CN113052853 B CN 113052853B CN 202110097520 A CN202110097520 A CN 202110097520A CN 113052853 B CN113052853 B CN 113052853B
Authority
CN
China
Prior art keywords
target
tracking
information
tracked
binarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110097520.9A
Other languages
English (en)
Other versions
CN113052853A (zh
Inventor
詹瑾
黄科乔
吕巨建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202110097520.9A priority Critical patent/CN113052853B/zh
Publication of CN113052853A publication Critical patent/CN113052853A/zh
Application granted granted Critical
Publication of CN113052853B publication Critical patent/CN113052853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在复杂环境中的视频目标跟踪方法及装置，其中，所述方法包括：接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；基于所述跟踪目标特征信息构建跟踪目标特征矩阵；提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；在所述视频信息中锁定待跟踪目标，并提取待跟踪目标的运动轨迹；基于待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。在本发明实施例中，可以实现在复杂背景中识别待跟踪目标，并实现对待跟踪目标进行准确的轨迹跟踪。

Description

一种在复杂环境中的视频目标跟踪方法及装置
技术领域
本发明涉及视频目标跟踪技术领域，尤其涉及一种在复杂环境中的视频目标跟踪方法及装置。
背景技术
视频内的目标跟踪技术已逐步成熟，并逐步应用在各种监控系统中，并且在背景较为简单的地方或者目标较为少的地方，可以实现较高的目标跟踪准确度，并且不发生目标跟踪漂移；但是在复杂的环境中，并且可能同时出现多个与跟踪目标相类似的干扰目标时，现有技术的视频跟踪方式无法对特定目标进行准确跟踪，无法捕捉到特定目标的运动轨迹，导致现有的视频目标跟踪技术的应用不广泛，并且无法满足用户更多的场景应用需求。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种在复杂环境中的视频目标跟踪方法，所述方法包括：
接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
可选的，所述对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：
对所述跟踪目标的目标图像信息进行灰度化处理，获得灰度化后的目标图像信息；
基于中值滤波对所述灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；
基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
可选的，所述基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：
基于所述滤波后的目标图像信息的灰度均值和标准差确定二值化算法，并基于所述二值化算法进行加权阈值计算，获得二值化加权阈值；
基于所述二值化阈值对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
可选的，所述基于所述二值化算法进行阈值计算，获得二值化阈值，包括：
根据所述滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；
根据所述滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；
其中，所述加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
可选的，所述根据所述全局阈值和局部阈值进行阈值加权处理的计算公式如下：
加权因子λ(i,j)由标准差决定，如下公式：
其中，T(i,j)为加权阈值，λ(i,j)为加权因子，(i,j)表示滤波后的目标图像信息的每一个像素点的坐标，i，j＝1,2,3,...,n，Tsauvola为局部阈值，Totsu全局阈值；s(k,p)为滤波后的目标图像信息的标准差，max(s(k,p))为滤波后的目标图像信息的最大标准差，k，P分别表示滤波后的目标图像信息的坐标。
可选的，所述基于所述跟踪目标特征信息构建跟踪目标特征矩阵，包括：
基于所述跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵；
所述跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数。
可选的，所述提取采集到的视频信息中的目标对象特征信息，包括：
对采集到的视频信息进行分帧处理，形成视频帧序列；
在所述视频帧序列中任意提取若干视频帧，并分别对提取若干视频帧中的目标对象进行定位，并基于定位结果依次提取各个目标对象的目标对象特征信息。
可选的，所述基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标，包括：
将所述跟踪目标特征矩阵的每一个元素与所述目标对象特征矩阵的每一个元素进行一一对应匹配，获得待跟踪目标。
可选的，所述在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹，包括：
通过将所述视频信息中的当前帧同视频信息自适应重构背景进行差值运算，获得前景目标；
选定二值化阈值，对所述前景目标进行二值化处理，获得二值化目标，并形成二值化目标矩阵；
遍历所述二值化目标矩阵，获得所述前景目标中最小外接矩，并基于最小外接矩锁定所述待跟踪目标；
基于所述待跟踪目标质心位置提取所述待跟踪目标的运动轨迹。
另外，本发明实施例还提供了一种在复杂环境中的视频目标跟踪装置，所述装置包括：
特征提取模块：用于接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
第一矩阵构建模块：用于基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
第二矩阵构建模块：用于提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
匹配模块：用于基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
轨迹提取模块：用于在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
视角调整模块：用于基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
在本发明实施例中，可以实现在复杂背景中准确的识别到待跟踪目标，并实现对待跟踪目标进行准确的轨迹跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的在复杂环境中的视频目标跟踪方法的流程示意图；
图2是本发明实施例中的在复杂环境中的视频目标跟踪装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的在复杂环境中的视频目标跟踪方法的流程示意图。
如图1所示，一种在复杂环境中的视频目标跟踪方法，所述方法包括：
S11：接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
在本发明具体实施过程中，所述对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：对所述跟踪目标的目标图像信息进行灰度化处理，获得灰度化后的目标图像信息；基于中值滤波对所述灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
进一步的，所述基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：基于所述滤波后的目标图像信息的灰度均值和标准差确定二值化算法，并基于所述二值化算法进行加权阈值计算，获得二值化加权阈值；基于所述二值化阈值对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
进一步的，所述基于所述二值化算法进行阈值计算，获得二值化阈值，包括：根据所述滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；根据所述滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；其中，所述加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
进一步的，所述根据所述全局阈值和局部阈值进行阈值加权处理的计算公式如下：
加权因子λ(i,j)由标准差决定，如下公式：
其中，T(i,j)为加权阈值，λ(i,j)为加权因子，(i,j)表示滤波后的目标图像信息的每一个像素点的坐标，i，j＝1,2,3,...,n，Tsauvola为局部阈值，Totsu全局阈值；s(k,p)为滤波后的目标图像信息的标准差，max(s(k,p))为滤波后的目标图像信息的最大标准差，k，P分别表示滤波后的目标图像信息的坐标。
具体的，在系统中接收用户输入的跟踪目标的目标图像信息，之后需要对该跟踪目标的目标图像信息进行灰度化处理，从而得到灰度化后的目标图像信息；然后需要去除图像中的椒盐噪声，因此需要通过中值滤波的方式对灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；最后通过二值化算法对滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
通过计算滤波后目标图像信息中的像素值的灰度平均值和标准差，并根据灰度平均值和标准差来确定二值化算法，然后利用确定的二值化算法进行加权阈值计算，从而得到二值化加权阈值；最后根据二值化加权阈值对该滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
在根据二值化算法进行阈值计算的过程中，首先根据滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；然后根据滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；其中该加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
根据全局阈值和局部阈值进行阈值加权处理的计算公式如下：
加权因子λ(i,j)由标准差决定，如下公式：
其中，T(i,j)为加权阈值，λ(i,j)为加权因子，(i,j)表示滤波后的目标图像信息的每一个像素点的坐标，i，j＝1,2,3,...,n，Tsauvola为局部阈值，Totsu全局阈值；s(k,p)为滤波后的目标图像信息的标准差，max(s(k,p))为滤波后的目标图像信息的最大标准差，k，P分别表示滤波后的目标图像信息的坐标。
S12：基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
在本发明具体实施过程中，所述基于所述跟踪目标特征信息构建跟踪目标特征矩阵，包括：基于所述跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵；所述跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数。
具体的，根据该跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵，该二值化数据对应该跟踪目标特征信息的像素点，即二值化数据由跟踪目标特征信息的像素点二值化而得到，跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数。
S13：提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
在本发明具体实施过程中，所述提取采集到的视频信息中的目标对象特征信息，包括：对采集到的视频信息进行分帧处理，形成视频帧序列；在所述视频帧序列中任意提取若干视频帧，并分别对提取若干视频帧中的目标对象进行定位，并基于定位结果依次提取各个目标对象的目标对象特征信息。
具体的，对视频采集设备采集到的视频信息需要进行分帧处理，并在处理后形成视频帧序列；然后在这些视频帧序列中任意选取出若干视频帧，这里至少两帧，并且不连续的，并分别对提取出的若干视频帧中的目标对象进行定位分割，这里的目标对象为所有与待跟踪目标相近似的目标物，然后对这些目标对象中的每一个目标对象都提取对应的目标对象特征信息，具体的提取方式和上述步骤中的方式一致，并且在提取到对应的目标对象特征信息，分别根据对应的目标对象特征信息构建目标对象特征矩阵。
S14：基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
在本发明具体实施过程中，所述基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标，包括：将所述跟踪目标特征矩阵的每一个元素与所述目标对象特征矩阵的每一个元素进行一一对应匹配，获得待跟踪目标。
具体的，通过将跟踪目标特征矩阵的每一个元素与目标对象特征矩阵的每一个元素进行一一对应匹配，在匹配率最高的且大于预设范围的，同时匹配了最高的目标在多帧图像中所形成的目标对象特征矩阵的匹配率也是最高的，确定为待跟踪目标，从而得到待跟踪目标。
S15：在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
在本发明具体实施过程中，所述在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹，包括：通过将所述视频信息中的当前帧同视频信息自适应重构背景进行差值运算，获得前景目标；选定二值化阈值，对所述前景目标进行二值化处理，获得二值化目标，并形成二值化目标矩阵；遍历所述二值化目标矩阵，获得所述前景目标中最小外接矩，并基于最小外接矩锁定所述待跟踪目标；基于所述待跟踪目标质心位置提取所述待跟踪目标的运动轨迹。
具体的，前景的提取是通过将视频中的当前帧同视频自适应重构背景进行差值运算，从而得到前景目标，然后选定恰当阈值，当像素灰度值大于等于阈值时，令该点像素值为1，当像素灰度值小于阈值时，令该点像素值为0，可以得到二值化目标，然后构建成一个二值化目标矩阵，然后通过遍历的方式遍历该二值化目标矩阵，从而获得前景目标中最小外接矩，并最小外接矩锁定待跟踪目标；然后根据待跟踪目标质心位置提取待跟踪目标的运动轨迹；待跟踪目标质心位置提取待跟踪目标的运动轨迹的具体是通过设立三维坐标系，并计算出目标运动在该坐标系中的X轴、Y轴和Z轴中的坐标值，并进行重构出目标在三维空间的运动轨迹。
S16：基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
在本发明具体实施过程中，根据待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
在本发明实施例中，可以实现在复杂背景中准确的识别到待跟踪目标，并实现对待跟踪目标进行准确的轨迹跟踪。
实施例
请参阅图2，图2是本发明实施例中的在复杂环境中的视频目标跟踪装置的结构组成示意图。
如图2所示，一种在复杂环境中的视频目标跟踪装置，所述装置包括：
特征提取模块21：用于接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
在本发明具体实施过程中，所述对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：对所述跟踪目标的目标图像信息进行灰度化处理，获得灰度化后的目标图像信息；基于中值滤波对所述灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
进一步的，所述基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：基于所述滤波后的目标图像信息的灰度均值和标准差确定二值化算法，并基于所述二值化算法进行加权阈值计算，获得二值化加权阈值；基于所述二值化阈值对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
进一步的，所述基于所述二值化算法进行阈值计算，获得二值化阈值，包括：根据所述滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；根据所述滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；其中，所述加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
进一步的，所述根据所述全局阈值和局部阈值进行阈值加权处理的计算公式如下：
加权因子λ(i,j)由标准差决定，如下公式：
其中，T(i,j)为加权阈值，λ(i,j)为加权因子，(i,j)表示滤波后的目标图像信息的每一个像素点的坐标，i，j＝1,2,3,...,n，Tsauvola为局部阈值，Totsu全局阈值；s(k,p)为滤波后的目标图像信息的标准差，max(s(k,p))为滤波后的目标图像信息的最大标准差，k，P分别表示滤波后的目标图像信息的坐标。
具体的，在系统中接收用户输入的跟踪目标的目标图像信息，之后需要对该跟踪目标的目标图像信息进行灰度化处理，从而得到灰度化后的目标图像信息；然后需要去除图像中的椒盐噪声，因此需要通过中值滤波的方式对灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；最后通过二值化算法对滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
通过计算滤波后目标图像信息中的像素值的灰度平均值和标准差，并根据灰度平均值和标准差来确定二值化算法，然后利用确定的二值化算法进行加权阈值计算，从而得到二值化加权阈值；最后根据二值化加权阈值对该滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
在根据二值化算法进行阈值计算的过程中，首先根据滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；然后根据滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；其中该加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
根据全局阈值和局部阈值进行阈值加权处理的计算公式如下：
加权因子λ(i,j)由标准差决定，如下公式：
其中，T(i,j)为加权阈值，λ(i,j)为加权因子，(i,j)表示滤波后的目标图像信息的每一个像素点的坐标，i，j＝1,2,3,...,n，Tsauvola为局部阈值，Totsu全局阈值；s(k,p)为滤波后的目标图像信息的标准差，max(s(k,p))为滤波后的目标图像信息的最大标准差，k，P分别表示滤波后的目标图像信息的坐标。
第一矩阵构建模块22：用于基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
在本发明具体实施过程中，所述基于所述跟踪目标特征信息构建跟踪目标特征矩阵，包括：基于所述跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵；所述跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数。
具体的，根据该跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵，该二值化数据对应该跟踪目标特征信息的像素点，即二值化数据由跟踪目标特征信息的像素点二值化而得到，跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数。
第二矩阵构建模块23：用于提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
在本发明具体实施过程中，所述提取采集到的视频信息中的目标对象特征信息，包括：对采集到的视频信息进行分帧处理，形成视频帧序列；在所述视频帧序列中任意提取若干视频帧，并分别对提取若干视频帧中的目标对象进行定位，并基于定位结果依次提取各个目标对象的目标对象特征信息。
具体的，对视频采集设备采集到的视频信息需要进行分帧处理，并在处理后形成视频帧序列；然后在这些视频帧序列中任意选取出若干视频帧，这里至少两帧，并且不连续的，并分别对提取出的若干视频帧中的目标对象进行定位分割，这里的目标对象为所有与待跟踪目标相近似的目标物，然后对这些目标对象中的每一个目标对象都提取对应的目标对象特征信息，具体的提取方式和上述步骤中的方式一致，并且在提取到对应的目标对象特征信息，分别根据对应的目标对象特征信息构建目标对象特征矩阵。
匹配模块24：用于基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
在本发明具体实施过程中，所述基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标，包括：将所述跟踪目标特征矩阵的每一个元素与所述目标对象特征矩阵的每一个元素进行一一对应匹配，获得待跟踪目标。
具体的，通过将跟踪目标特征矩阵的每一个元素与目标对象特征矩阵的每一个元素进行一一对应匹配，在匹配率最高的且大于预设范围的，同时匹配了最高的目标在多帧图像中所形成的目标对象特征矩阵的匹配率也是最高的，确定为待跟踪目标，从而得到待跟踪目标。
轨迹提取模块25：用于在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
在本发明具体实施过程中，所述在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹，包括：通过将所述视频信息中的当前帧同视频信息自适应重构背景进行差值运算，获得前景目标；选定二值化阈值，对所述前景目标进行二值化处理，获得二值化目标，并形成二值化目标矩阵；遍历所述二值化目标矩阵，获得所述前景目标中最小外接矩，并基于最小外接矩锁定所述待跟踪目标；基于所述待跟踪目标质心位置提取所述待跟踪目标的运动轨迹。
具体的，前景的提取是通过将视频中的当前帧同视频自适应重构背景进行差值运算，从而得到前景目标，然后选定恰当阈值，当像素灰度值大于等于阈值时，令该点像素值为1，当像素灰度值小于阈值时，令该点像素值为0，可以得到二值化目标，然后构建成一个二值化目标矩阵，然后通过遍历的方式遍历该二值化目标矩阵，从而获得前景目标中最小外接矩，并最小外接矩锁定待跟踪目标；然后根据待跟踪目标质心位置提取待跟踪目标的运动轨迹；待跟踪目标质心位置提取待跟踪目标的运动轨迹的具体是通过设立三维坐标系，并计算出目标运动在该坐标系中的X轴、Y轴和Z轴中的坐标值，并进行重构出目标在三维空间的运动轨迹。
视角调整模块26：用于基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
在本发明具体实施过程中，根据待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整。
在本发明实施例中，可以实现在复杂背景中准确的识别到待跟踪目标，并实现对待跟踪目标进行准确的轨迹跟踪。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种在复杂环境中的视频目标跟踪方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种在复杂环境中的视频目标跟踪方法，其特征在于，所述方法包括：
接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整；
所述对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：
对所述跟踪目标的目标图像信息进行灰度化处理，获得灰度化后的目标图像信息；
基于中值滤波对所述灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；
基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
所述基于所述跟踪目标特征信息构建跟踪目标特征矩阵，包括：
基于所述跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵，所述二值化数据对应所述跟踪目标特征信息的像素点；
所述跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数；
所述提取采集到的视频信息中的目标对象特征信息，包括：
对采集到的视频信息进行分帧处理，形成视频帧序列；
在所述视频帧序列中任意提取若干视频帧，并分别对提取若干视频帧中的目标对象进行定位，并基于定位结果依次提取各个目标对象的目标对象特征信息；
所述在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹，包括：
通过将所述视频信息中的当前帧同视频信息自适应重构背景进行差值运算，获得前景目标；
选定二值化阈值，对所述前景目标进行二值化处理，获得二值化目标，并形成二值化目标矩阵；
遍历所述二值化目标矩阵，获得所述前景目标中最小外接矩，并基于最小外接矩锁定所述待跟踪目标；
基于所述待跟踪目标质心位置提取所述待跟踪目标的运动轨迹；
前景的提取是通过将视频中的当前帧同视频自适应重构背景进行差值运算，从而得到前景目标，然后选定阈值，当像素灰度值大于等于阈值时，令该点像素值为1，当像素灰度值小于阈值时，令该点像素值为0，可以得到二值化目标，然后构建成一个二值化目标矩阵，然后通过遍历的方式遍历该二值化目标矩阵，从而获得前景目标中最小外接矩，并最小外接矩锁定待跟踪目标；然后根据待跟踪目标质心位置提取待跟踪目标的运动轨迹；待跟踪目标质心位置提取待跟踪目标的运动轨迹的具体是通过设立三维坐标系，并计算出目标运动在该坐标系中的X轴、Y轴和Z轴中的坐标值，并进行重构出目标在三维空间的运动轨迹。
2.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：
基于所述滤波后的目标图像信息的灰度均值和标准差确定二值化算法，并基于所述二值化算法进行加权阈值计算，获得二值化加权阈值；
基于所述二值化加权阈值对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息。
3.根据权利要求2所述的视频目标跟踪方法，其特征在于，所述基于所述二值化算法进行阈值计算，包括：
根据所述滤波后的目标图像信息中确定为目标区域的所有像素的二值化阈值均赋予全局阈值；
根据所述滤波后的目标图像信息中确定为目标区域之外的区域的所有像素的二值化阈值均赋予加权阈值；
其中，所述加权阈值为根据所述全局阈值和局部阈值进行阈值加权处理获得。
4.根据权利要求3所述的视频目标跟踪方法，其特征在于，所述根据所述全局阈值和局部阈值进行阈值加权处理的计算公式如下：
；
加权因子由标准差决定，如下公式：
；
其中，为加权阈值，/>为加权因子，/>表示滤波后的目标图像信息的每一个像素点的坐标，i，j=1,2,3,...,n，/>为局部阈值，/>为全局阈值；为滤波后的目标图像信息的标准差，/>为滤波后的目标图像信息的最大标准差， k，p分别表示滤波后的目标图像信息的坐标。
5.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标，包括：
将所述跟踪目标特征矩阵的每一个元素与所述目标对象特征矩阵的每一个元素进行一一对应匹配，获得待跟踪目标。
6.一种在复杂环境中的视频目标跟踪装置，其特征在于，所述装置包括：
特征提取模块：用于接收用户输入的跟踪目标的目标图像信息，对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
第一矩阵构建模块：用于基于所述跟踪目标特征信息构建跟踪目标特征矩阵；
第二矩阵构建模块：用于提取采集到的视频信息中的目标对象特征信息，并基于所述目标对象特征信息构建目标对象特征矩阵；
匹配模块：用于基于所述跟踪目标特征矩阵和所述目标对象特征矩阵匹配获得待跟踪目标；
轨迹提取模块：用于在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹；
视角调整模块：用于基于所述待跟踪目标的运动轨迹控制视频信息采集设备进行采集视角调整；
所述对所述跟踪目标的目标图像信息进行特征提取处理，获得跟踪目标特征信息，包括：对所述跟踪目标的目标图像信息进行灰度化处理，获得灰度化后的目标图像信息；基于中值滤波对所述灰度化后的目标图像信息进行椒盐噪声去除处理，获得滤波后的目标图像信息；基于二值化对所述滤波后的目标图像信息进行特征提取处理，获得跟踪目标特征信息；
所述基于所述跟踪目标特征信息构建跟踪目标特征矩阵，包括：基于所述跟踪目标特征信息中的二值化数据构建跟踪目标特征矩阵，所述二值化数据对应所述跟踪目标特征信息的像素点；所述跟踪目标特征矩阵为N*M的跟踪目标特征矩阵；N表示跟踪目标特征信息中的二值化数据的行数；M为跟踪目标特征信息中的二值化数据的列数；
所述提取采集到的视频信息中的目标对象特征信息，包括：
对采集到的视频信息进行分帧处理，形成视频帧序列；
在所述视频帧序列中任意提取若干视频帧，并分别对提取若干视频帧中的目标对象进行定位，并基于定位结果依次提取各个目标对象的目标对象特征信息；
所述在所述视频信息中锁定所述待跟踪目标，并提取所述待跟踪目标的运动轨迹，包括：
通过将所述视频信息中的当前帧同视频信息自适应重构背景进行差值运算，获得前景目标；
选定二值化阈值，对所述前景目标进行二值化处理，获得二值化目标，并形成二值化目标矩阵；
遍历所述二值化目标矩阵，获得所述前景目标中最小外接矩，并基于最小外接矩锁定所述待跟踪目标；
基于所述待跟踪目标质心位置提取所述待跟踪目标的运动轨迹；
前景的提取是通过将视频中的当前帧同视频自适应重构背景进行差值运算，从而得到前景目标，然后选定阈值，当像素灰度值大于等于阈值时，令该点像素值为1，当像素灰度值小于阈值时，令该点像素值为0，可以得到二值化目标，然后构建成一个二值化目标矩阵，然后通过遍历的方式遍历该二值化目标矩阵，从而获得前景目标中最小外接矩，并最小外接矩锁定待跟踪目标；然后根据待跟踪目标质心位置提取待跟踪目标的运动轨迹；待跟踪目标质心位置提取待跟踪目标的运动轨迹的具体是通过设立三维坐标系，并计算出目标运动在该坐标系中的X轴、Y轴和Z轴中的坐标值，并进行重构出目标在三维空间的运动轨迹。
CN202110097520.9A 2021-01-25 2021-01-25 一种在复杂环境中的视频目标跟踪方法及装置 Active CN113052853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110097520.9A CN113052853B (zh) 2021-01-25 2021-01-25 一种在复杂环境中的视频目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110097520.9A CN113052853B (zh) 2021-01-25 2021-01-25 一种在复杂环境中的视频目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN113052853A CN113052853A (zh) 2021-06-29
CN113052853B true CN113052853B (zh) 2023-07-21

Family

ID=76508511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097520.9A Active CN113052853B (zh) 2021-01-25 2021-01-25 一种在复杂环境中的视频目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN113052853B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008019A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887587B (zh) * 2010-07-07 2012-05-23 南京邮电大学 视频监控中基于运动目标检测的多目标跟踪方法
CN108509819A (zh) * 2018-03-07 2018-09-07 中山大学 一种用于光照不均匀的二维码二值化方法
CN111932579A (zh) * 2020-08-12 2020-11-13 广东技术师范大学 基于被跟踪目标运动轨迹对设备角度的调整方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008019A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂场景目标识别特征分析与跟踪算法研究;刘嘉文;《中国优秀硕士学位论文全文数据库 信息科技辑》(第03期);第I138-900页 *

Also Published As

Publication number Publication date
CN113052853A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
JP4699564B2 (ja) 視覚背景抽出器
CN105940430B (zh) 人员计数方法及其装置
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN103093198B (zh) 一种人群密度监测方法及装置
CN110490904B (zh) 一种弱小目标检测与跟踪方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
Huang et al. Motion detection with pyramid structure of background model for intelligent surveillance systems
Wang et al. Removing background interference for crowd counting via de-background detail convolutional network
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN111739064A (zh) 用于视频中目标跟踪的方法及存储设备和控制设备
CN116245949A (zh) 一种基于改进四叉树特征点提取的高精度视觉slam方法
CN108876672A (zh) 一种远程教育教师自动识别图像优化跟踪方法及系统
CN114022531A (zh) 图像处理方法、电子设备和存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN113052853B (zh) 一种在复杂环境中的视频目标跟踪方法及装置
CN110956649A (zh) 多目标三维物体跟踪的方法和装置
Zhang et al. Study on moving-objects detection technique in video surveillance system
CN103455998A (zh) 视频图像中阴影的检测方法及装置
Yu et al. Detecting line segments in motion-blurred images with events
CN112991396B (zh) 一种基于监控摄像头下的目标跟踪方法及装置
CN111161304B (zh) 一种快速背景估计的遥感视频目标轨迹跟踪方法
CN108401563B (zh) 基于多尺度均值滤波和显著性检测的红外小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant