CN109584275A - 一种目标跟踪方法、装置、设备和存储介质 - Google Patents

一种目标跟踪方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109584275A
CN109584275A CN201811459299.1A CN201811459299A CN109584275A CN 109584275 A CN109584275 A CN 109584275A CN 201811459299 A CN201811459299 A CN 201811459299A CN 109584275 A CN109584275 A CN 109584275A
Authority
CN
China
Prior art keywords
target
model
tensor
picture frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811459299.1A
Other languages
English (en)
Other versions
CN109584275B (zh
Inventor
闫哲
敖梦南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201811459299.1A priority Critical patent/CN109584275B/zh
Publication of CN109584275A publication Critical patent/CN109584275A/zh
Application granted granted Critical
Publication of CN109584275B publication Critical patent/CN109584275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标跟踪方法、装置、设备和存储介质，方法包括：确定图像帧中的目标；提取所述目标的位置特征的第一张量模型；基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，以便跟踪所述目标。实现了将视频中的图像帧数存储为张量，无需将视频中的每一图像帧数据转化为向量，多帧向量构成矩阵，对矩阵进行分析，使得在存储数据时不会破坏数据的原有信息结构，减少了在转换过程当中造成信息丢失的现象，提高了目标跟踪方法的鲁棒性。

Description

一种目标跟踪方法、装置、设备和存储介质
技术领域
本发明实施例涉及视频处理技术领域，具体涉及一种目标跟踪方法、装置、设备和存储介质。
背景技术
随着监控摄像头安装数量的日益增多，以及平安城市和公共安全需求的日益增长，采用人工的视频监控方式已经远远不能满足需要，因此智能视频监控技术应运而生并迅速成为一个研究热点。智能视频监控技术是一个跨领域的研究方向，它的研究内容丰富，应用领域广泛多样。一般而言，智能视频监控研究中对视频图像的处理可以分为底层、中层、以及高层三个层次。其中目标跟踪算法是智能视频监控技术中层分析阶段的核心组成部件，其目的是获得运动目标的活动时间、位置、运动方向、运动速度、大小、表观(颜色、形状、纹理)等信息。
传统的方法是将视频中的每一图像帧数据转化为向量，多帧向量构成矩阵，对矩阵进行分析。但是这种方法破坏了数据的原有信息结构，可能会在转换过程当中造成信息丢失，降低了目标跟踪方法的鲁棒性。
发明内容
为此，本发明实施例提供一种目标跟踪方法、装置、设备和存储介质，以解决现有技术中由于在转化视频中的每一帧数据时，破坏了数据的原有信息结构，而导致的会在转换过程当中造成信息丢失，降低了目标跟踪方法的鲁棒性的问题。
为了实现上述目的，本发明的实施方式提供如下技术方案：
在本发明的实施方式的第一方面中，提供了一种目标跟踪方法，包括：
确定图像帧中的目标；
提取所述目标的位置特征的第一张量模型；
基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，以便跟踪所述目标。
进一步地，上述实施例所述的方法中，所述确定图像帧中的目标，包括：
根据实际环境通过对图像帧进行处理得到背景模型；
确定所述背景模型中变化区域大于预设阈值的目标区域作为所述目标。
进一步地，上述实施例所述的方法中，所述根据实际环境通过对图像帧进行处理得到背景模型，包括：
根据实际环境通过对图像帧进行低秩背景提取，多帧背景拟合，动态的处理，得到所述背景模型。
进一步地，上述实施例所述的方法中，所述提取所述目标的位置特征的第一张量模型，包括：
确定预设时间内图像帧的数目N，其中所述数目N为正整数；
基于预设的第一公式，确定所述数目N对应的第一张量模型。
进一步地，上述实施例所述的方法中，所述基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，包括：
基于预设的第二公式，对所述第一张量模型进行转换处理，得到所述第二张量模型。
进一步地，上述实施例所述的方法中，所述跟踪特征包括红色通道、绿色通道、蓝色通道、灰度、局部二值模式、水平方向空间梯度、垂直方向空间梯度、空间梯度等级中的至少一种。
在本发明的实施方式的第二方面中，提供了一种目标跟踪装置，包括：
确定模块，用于确定图像帧中的目标；
提取模块，用于提取所述目标的位置特征的第一张量模型；基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，以便跟踪所述目标。
进一步地，上述所述的装置中，所述确定模块，具体用于：
根据实际环境通过对图像帧进行处理得到背景模型；
确定所述背景模型中变化区域大于预设阈值的目标区域作为所述目标。
在本发明的实施方式的第三方面中，提供了一种目标跟踪设备，其特征在于，包括处理器和存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储计算机程序，所述计算机程序至少用于执行上述所述的目标跟踪方法；
所述处理器，用于调用并执行所述计算机程序。
在本发明的实施方式的第四方面中，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的目标跟踪方法的各个步骤。
根据本发明的实施方式，具有如下优点：
本实施例的目标跟踪方法、装置、设备和存储介质，通过确定图像帧中的目标；提取目标的位置特征的第一张量模型；基于第一张量模型，提取目标的跟踪特征对应的第二张量模型，以便跟踪目标，实现了将视频中的图像帧数存储为张量，无需将视频中的每一图像帧数据转化为向量，多帧向量构成矩阵，对矩阵进行分析，使得在存储数据时不会破坏数据的原有信息结构，减少了在转换过程当中造成信息丢失的现象，提高了目标跟踪方法的鲁棒性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明的一实施例提供的一种目标跟踪方法的流程图；
图2为本发明的另一实施例提供的一种目标跟踪装置的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的一实施例提供的一种目标跟踪方法的流程图，如图1所示，本实施例的目标跟踪方法具体包括如下步骤：
100、确定图像帧中的目标；
在实际应用中，目标跟踪中首先得问题是确定视频图像中的目标，想要确定目标，就要区分目标与背景环境的特征。一般情况下，目标与背景具有明显的区别，如色彩变化，形状等。监控视频中背景在排除干扰的情况是不变。而在现实情况下，会受到如光线，抖动，阴影变化等环境信息的影响和噪声的干扰。在多帧视频信息中，需要根据实际环境通过对图像帧进行处理得到背景模型；并确定背景模型中变化区域大于预设阈值的目标区域作为目标，防止跟踪错误目标。例如，可以根据实际环境通过对图像帧进行低秩背景提取，多帧背景拟合，动态的处理，得到背景模型。
101、提取目标的位置特征的第一张量模型；
张量为数据结构的一种表现形式，可以将向量，矩阵分别看作一阶，二阶张量。而视频信息数据类型是天然的高阶张量结构，视频的行列帧可以直接存储为张量的三个索引。视频信息的数据保存为张量不需要转换数据的类型，可以更好的保存数据信息，更好的保留数据间的关系。因此，本实施例中，可以确定预设时间内图像帧的数目N，其中N为正整数；基于预设的第一公式，确定N个图像帧对应的第一张量模型。
例如，第一公式可以为这里t表示时间为t时的第一张量χ，X1、X2分别是帧宽度和帧高度，X3表示存储帧的数量。第一张量的低秩信息主要为图像帧的基本情况，即背景环境信息。通过多邻近图像帧构建同一时间(同一环境因素)的背景描述，并确定目标的位置特征，并将其存储为第一张量模型。
102、基于第一张量模型，提取目标的跟踪特征对应的第二张量模型。
确定目标位置特征后，可以基于第一张量模型，提取目标的跟踪特征对应的第二张量模型，以便跟述目标。例如，基于预设的第二公式，对第一张量模型进行转换处理，得到第二张量模型，即通过第一张量χt得到第二张量Γt。其中，第二公式可以为这里T1表示像素数量(T1＝X1×X2)，T2表示每个帧的特征值数目(T2＝X3)，T3是特征数。本实施例中，跟踪特征包括红色通道、绿色通道、蓝色通道、灰度、局部二值模式、水平方向空间梯度、垂直方向空间梯度、空间梯度等级中的至少一种。本实施例中优选为提取上述8个跟踪特征。其描述了图像帧中目标的颜色，亮度，位置，色彩与亮度变化情况等跟踪特征，建立目标的多特征的第二张量模型，达到良好的目标跟踪效果。
本实施例的目标跟踪方法，通过确定图像帧中的目标；提取目标的位置特征的第一张量模型；基于第一张量模型，提取目标的跟踪特征对应的第二张量模型，以便跟踪目标，实现了将视频中的图像帧数存储为张量，无需将视频中的每一图像帧数据转化为向量，多帧向量构成矩阵，对矩阵进行分析，使得在存储数据时不会破坏数据的原有信息结构，减少了在转换过程当中造成信息丢失的现象，提高了目标跟踪方法的鲁棒性。
图2为本发明的另一实施例提供的一种目标跟踪装置的结构示意图，如图2所示，本实施例的目标跟踪装置包括确定模块和提取模块。
确定模块，用于确定图像帧中的目标；
具体地，根据实际环境通过对图像帧进行处理得到背景模型；确定背景模型中变化区域大于预设阈值的目标区域作为目标。其中，根据实际环境通过对图像帧进行低秩背景提取，多帧背景拟合，动态的处理，得到背景模型。
提取模块，用于提取目标的位置特征的第一张量模型；基于第一张量模型，提取目标的跟踪特征对应的第二张量模型，以便跟踪目标。
具体地，确定预设时间内图像帧的数目N，其中N为正整数；基于预设的第一公式，确定N对应的第一张量模型。基于预设的第二公式，对第一张量模型进行转换处理，得到第二张量模型。其中，跟踪特征包括红色通道、绿色通道、蓝色通道、灰度、局部二值模式、水平方向空间梯度、垂直方向空间梯度、空间梯度等级中的至少一种。
本实施例的目标跟踪装置，通过确定图像帧中的目标；提取目标的位置特征的第一张量模型；基于第一张量模型，提取目标的跟踪特征对应的第二张量模型，以便跟踪目标，实现了将视频中的图像帧数存储为张量，无需将视频中的每一图像帧数据转化为向量，多帧向量构成矩阵，对矩阵进行分析，使得在存储数据时不会破坏数据的原有信息结构，减少了在转换过程当中造成信息丢失的现象，提高了目标跟踪方法的鲁棒性。
本发明实施例还提供一种目标跟踪设备，该目标跟踪设备包括处理器和存储器；
处理器与存储器相连；
存储器，用于存储计算机程序，计算机程序至少用于执行上述实施例的目标跟踪方法；
处理器，用于调用并执行计算机程序。
本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的目标跟踪方法的各个步骤。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
确定图像帧中的目标；
提取所述目标的位置特征的第一张量模型；
基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，以便跟踪所述目标。
2.根据权利要求1所述的方法，其特征在于，所述确定图像帧中的目标，包括：
根据实际环境通过对图像帧进行处理得到背景模型；
确定所述背景模型中变化区域大于预设阈值的目标区域作为所述目标。
3.根据权利要求2所述的方法，其特征在于，所述根据实际环境通过对图像帧进行处理得到背景模型，包括：
根据实际环境通过对图像帧进行低秩背景提取，多帧背景拟合，动态的处理，得到所述背景模型。
4.根据权利要求1所述的方法，其特征在于，所述提取所述目标的位置特征的第一张量模型，包括：
确定预设时间内图像帧的数目N，其中所述数目N为正整数；
基于预设的第一公式，确定所述数目N对应的第一张量模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，包括：
基于预设的第二公式，对所述第一张量模型进行转换处理，得到所述第二张量模型。
6.根据权利要求1-5任一所述的方法，其特征在于，所述跟踪特征包括红色通道、绿色通道、蓝色通道、灰度、局部二值模式、水平方向空间梯度、垂直方向空间梯度、空间梯度等级中的至少一种。
7.一种目标跟踪装置，其特征在于，包括：
确定模块，用于确定图像帧中的目标；
提取模块，用于提取所述目标的位置特征的第一张量模型；基于所述第一张量模型，提取所述目标的跟踪特征对应的第二张量模型，以便跟踪所述目标。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于：
根据实际环境通过对图像帧进行处理得到背景模型；
确定所述背景模型中变化区域大于预设阈值的目标区域作为所述目标。
9.一种目标跟踪设备，其特征在于，包括处理器和存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储计算机程序，所述计算机程序至少用于执行权利要求1～7任一项所述的目标跟踪方法；
所述处理器，用于调用并执行所述计算机程序。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的目标跟踪方法的各个步骤。
CN201811459299.1A 2018-11-30 2018-11-30 一种目标跟踪方法、装置、设备和存储介质 Expired - Fee Related CN109584275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811459299.1A CN109584275B (zh) 2018-11-30 2018-11-30 一种目标跟踪方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811459299.1A CN109584275B (zh) 2018-11-30 2018-11-30 一种目标跟踪方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109584275A true CN109584275A (zh) 2019-04-05
CN109584275B CN109584275B (zh) 2020-09-29

Family

ID=65925993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459299.1A Expired - Fee Related CN109584275B (zh) 2018-11-30 2018-11-30 一种目标跟踪方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109584275B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322569A (zh) * 2019-07-03 2019-10-11 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
CN112184766A (zh) * 2020-09-21 2021-01-05 广州视源电子科技股份有限公司 一种对象的跟踪方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609949A (zh) * 2012-02-16 2012-07-25 南京邮电大学 一种基于三焦点张量像素点转移的目标定位方法
CN103259962A (zh) * 2013-04-17 2013-08-21 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
CN104268899A (zh) * 2014-09-22 2015-01-07 河海大学 基于帧间差分和背景差分的运动目标检测方法
CN104318589A (zh) * 2014-11-04 2015-01-28 中国电子科技集团公司第十四研究所 基于ViSAR的异常变化检测与跟踪方法
CN105761281A (zh) * 2016-03-23 2016-07-13 沈阳大学 基于双边结构张量的粒子滤波目标跟踪算法及系统
US20170161591A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for deep-learning based object tracking
CN108021869A (zh) * 2017-11-15 2018-05-11 华侨大学 一种结合高斯核函数的卷积神经网络跟踪方法
US20180189573A1 (en) * 2013-05-23 2018-07-05 Sri International Real-time detection, tracking and occlusion reasoning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609949A (zh) * 2012-02-16 2012-07-25 南京邮电大学 一种基于三焦点张量像素点转移的目标定位方法
CN103259962A (zh) * 2013-04-17 2013-08-21 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
US20180189573A1 (en) * 2013-05-23 2018-07-05 Sri International Real-time detection, tracking and occlusion reasoning
CN104268899A (zh) * 2014-09-22 2015-01-07 河海大学 基于帧间差分和背景差分的运动目标检测方法
CN104318589A (zh) * 2014-11-04 2015-01-28 中国电子科技集团公司第十四研究所 基于ViSAR的异常变化检测与跟踪方法
US20170161591A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for deep-learning based object tracking
CN105761281A (zh) * 2016-03-23 2016-07-13 沈阳大学 基于双边结构张量的粒子滤波目标跟踪算法及系统
CN108021869A (zh) * 2017-11-15 2018-05-11 华侨大学 一种结合高斯核函数的卷积神经网络跟踪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322569A (zh) * 2019-07-03 2019-10-11 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
CN110322569B (zh) * 2019-07-03 2023-03-31 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
CN112184766A (zh) * 2020-09-21 2021-01-05 广州视源电子科技股份有限公司 一种对象的跟踪方法、装置、计算机设备和存储介质
CN112184766B (zh) * 2020-09-21 2023-11-17 广州视源电子科技股份有限公司 一种对象的跟踪方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109584275B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN107016691B (zh) 基于超像素特征的运动目标检测方法
CN103327220B (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN110612549A (zh) 用于快速图像增强的基于机器学习的技术
WO2024051297A1 (zh) 一种轻量化的火灾烟雾检测方法、终端设备及存储介质
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
WO2021135702A1 (zh) 一种视频去噪方法和电子设备
US20180084252A1 (en) Image compression method based on local dynamic quantizing
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN109584275A (zh) 一种目标跟踪方法、装置、设备和存储介质
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN111553403A (zh) 基于伪3d卷积神经网络的烟雾检测方法及系统
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
CN110363794A (zh) 视频连续帧之间的光流预测方法
CN115618051B (zh) 一种基于互联网的智慧校园监控视频存储方法
WO2022109922A1 (zh) 抠图实现方法、装置、设备及存储介质
CN106204488A (zh) 一种OpenCL加速的视频去雾方法
CN113902641A (zh) 一种基于红外图像的数据中心热区判别方法及系统
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN116152591A (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN103218771A (zh) 基于自回归模型深度恢复的参数自适应选取方法
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN114373110A (zh) 对输入图像进行目标检测的检测方法、设备及其相关产品
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN112734673B (zh) 一种基于多表达式融合的低照度图像增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200929