CN113743252A - 一种目标跟踪方法、装置、设备及可读存储介质 - Google Patents

一种目标跟踪方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113743252A
CN113743252A CN202110944339.7A CN202110944339A CN113743252A CN 113743252 A CN113743252 A CN 113743252A CN 202110944339 A CN202110944339 A CN 202110944339A CN 113743252 A CN113743252 A CN 113743252A
Authority
CN
China
Prior art keywords
image
target
classifier model
optimization
initialized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110944339.7A
Other languages
English (en)
Other versions
CN113743252B (zh
Inventor
钱琳瑞
蔡泽武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiafu Information Technology Co ltd
Original Assignee
Beijing Jiafu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiafu Information Technology Co ltd filed Critical Beijing Jiafu Information Technology Co ltd
Priority to CN202110944339.7A priority Critical patent/CN113743252B/zh
Publication of CN113743252A publication Critical patent/CN113743252A/zh
Application granted granted Critical
Publication of CN113743252B publication Critical patent/CN113743252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标跟踪方法、装置、设备及可读存储介质，所述方法包括：获取包含待跟踪的目标的视频；在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。本发明不仅利用了目标区域的外观特征，还利用了目标背景区域内容，因此判别能力较强，鲁棒性较好，能够对复杂场景的目标进行追踪。

Description

一种目标跟踪方法、装置、设备及可读存储介质
技术领域
本发明涉及目标跟踪技术领域，具体而言，涉及一种目标跟踪方法、装置、设备及可读存储介质。
背景技术
通常现有的目标跟踪算法为离线学习特征提取器，将目标区域送入特征提取器得到一个比较好的特征表示，使用训练好的特征提取器，在目标区域内提取的特征直接在测试帧图像的特征中进行相关操作，这种方法简单，速度快，在简单场景下效果挺好，但鲁棒性差，无法处理复杂场景(相似物体问题)。
发明内容
本发明的目的在于提供一种目标跟踪方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种目标跟踪方法，所述方法包括：
获取包含待跟踪的目标的视频；
在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
可选的，所述基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像，包括：
读取所述第一帧图像的下一帧图像，得到第二帧图像；
基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
可选的，所述基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像，包括：
利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
可选的，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪，包括：
将所述停止优化的图像之后的图像定义为预测图形；
利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
可选的，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪后，还包括：
获取所述目标规定的活动轨迹；
基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
将所述目标的活动轨迹与所述目标规定的活动轨迹进行对比，若所述目标的活动轨迹与所述目标规定的活动轨迹不相符，则发送提示信息，所述提示信息包括用于提醒工作人员所述目标的活动轨迹错误的信息。
可选的，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪后，还包括：
基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
根据所述目标的活动轨迹获取所述目标所经过的地点，并计算得到所述目标经过最多的地点；
获取所述目标所经过最多的地点的相关信息，将所述相关信息推送给所述目标。
第二方面，本申请实施例提供了一种目标跟踪装置，所述装置包括第一获取模块、训练模块、优化模块和跟踪模块。
第一获取模块，用于获取包含待跟踪的目标的视频；
训练模块，用于在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
优化模块，用于基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
跟踪模块，用于利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
可选的，所述优化模块，包括：
读取单元，用于读取所述第一帧图像的下一帧图像，得到第二帧图像；
第一识别单元，用于基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
优化单元，用于提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
第一计算单元，用于计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
可选的，所述第一识别单元，包括：
划分子单元，用于利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
计算子单元，用于基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
识别子单元，用于识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
可选的，所述跟踪模块，包括：
定义单元，用于将所述停止优化的图像之后的图像定义为预测图形；
划分单元，用于利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
第二计算单元，用于基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
第二识别单元，用于识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
可选的，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪后，还包括：
第二获取模块，用于获取所述目标规定的活动轨迹；
第一计算模块，用于基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
对比模块，用于将所述目标的活动轨迹与所述目标规定的活动轨迹进行对比，若所述目标的活动轨迹与所述目标规定的活动轨迹不相符，则发送提示信息，所述提示信息包括用于提醒工作人员所述目标的活动轨迹错误的信息。
可选的，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪后，还包括：
第二计算模块，用于基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
第三计算模块，用于根据所述目标的活动轨迹获取所述目标所经过的地点，并计算得到所述目标经过最多的地点；
推送模块，用于获取所述目标所经过最多的地点的相关信息，将所述相关信息推送给所述目标。
第三方面，本申请实施例提供了一种目标跟踪设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述目标跟踪方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标跟踪方法的步骤。
本发明的有益效果为：
1、本发明不仅利用了目标区域的外观特征，还利用了目标背景区域内容，因此判别能力较强，鲁棒性较好，能够对复杂场景的目标进行追踪。
2、本发明利用优化后的分类器模型查找后续图像中包含的目标，可以实现目标的精准识别，进而提高目标追踪的精准性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的目标跟踪方法流程示意图；
图2是本发明实施例中所述的目标跟踪装置结构示意图；
图3是本发明实施例中所述的目标跟踪设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种目标跟踪方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取包含待跟踪的目标的视频；
步骤S2、在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
步骤S3、基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
步骤S4、利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
目前对目标的追踪只利用了目标区域的外观特征，没有利用到目标背景区域内容，因此判别能力不足。为解决现有算法不够鲁棒的问题；本申请提出新的框架，使用多帧图像进行训练，采用视频序列中的样本进行训练，将提取后目标区域的特征进行池化得到初始化分类器模型，使用初始化好的分类器模型结合目标区域的背景信息进行优化，经过迭代多次之后得到优化后的分类器模型，最后利用优化后的分类器模型对目标区域和候选区域进行优化迭代，最终获取最佳的候选区域输出。
在本实施例中，当所述初始化分类器模型形成时，就可以利用所述初始化分类器模型对输入模型中的其他帧图像进行目标追踪，例如，利用第一帧图像得到所述初始化分类器模型后，利用第二帧到第五帧的图像才得到优化后的分类器模型，那么在优化期间，也会利用所述初始化分类器模型对第二帧到第五帧的图像进行目标追踪；而利用优化后的分类器模型查找后续图像中包含的目标，可以实现目标的精准识别，进而提高目标追踪的精准性。
在另外一种实施方式中，可以选取所述视频中的任意一帧图像，并且基于此图像得到目标图像进而对神经网络模型进行在线训练得到所述初始化分类器模型，而不局限于利用第一帧图像进行训练。
在本公开的一种具体实施方式中，所述步骤S3，还可以包括步骤S31、步骤S32、步骤S33和步骤S34。
步骤S31、读取所述第一帧图像的下一帧图像，得到第二帧图像；
步骤S32、基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
步骤S33、提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
步骤S34、计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
在本实施例中，当所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值小于10-5，那么就认定为满足优化停止的要求。例如在本实施例中，若所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值小于10-5，那么就会认定为满足停止优化的条件，则所述第一次优化后的初始化模型就认定为所述优化后的分类器模型，若所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值不小于10-5，那么会继续提取所述第二帧图像的下一帧图像，得到第三帧图像，基于所述第三帧图像对所述第一次优化后的初始化模型再次进行优化，直到满足优化停止条件。
在本公开的一种具体实施方式中，所述步骤S32，还可以包括步骤S321、步骤S322和步骤S323。
步骤S321、利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
步骤S322、基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
步骤S323、识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
在本实施例中，所述初始化分类器模型会将所述第二帧图像划分为多个子图像，然后会分别计算每个子图像的概率分数值，其中概率分数值最高的子图像就是所述第二目标的图像。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S41、步骤S42、步骤S43和步骤S44。
步骤S41、将所述停止优化的图像之后的图像定义为预测图形；
步骤S42、利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
步骤S43、基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
步骤S44、识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
在本实施例中，所述优化后的分类器模型除了输出概率分数值之外，还会输出每个所述第二子图像的损失函数的值，其中损失函数的的值通过公式(1)和公式(2)计算得到：
Figure BDA0003216245930000101
r(s，c)＝vc·(mcs+(1-mc)max(0，s)-yc) (2)
上述公式(1)中，L(f)表示待检测图像的损失函数；Strain表示得到所述优化后的分类器模型所用到的图像个数，即训练图像数；f表示所述优化后的分类器模型的输出值；r(θ)表示计算预测位置和目标位置的残差函数；x表示搜索区域的特征；c表示对中心点的依赖程度；λ表示惩罚系数；
上述公式(2)中，r(s，c)表示残差函数；c表示对中心点的依赖程度；vc表示权；Mc表示背景的相似度；s表示检测图像和优化后的模型进行卷积后的残差值；yc表示以c为中心的高斯分布。
在本公开的一种具体实施方式中，所述方法，还可以包括步骤S5、步骤S6和步骤S7。
步骤S5、获取所述目标规定的活动轨迹；
步骤S6、基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
步骤S7、将所述目标的活动轨迹与所述目标规定的活动轨迹进行对比，若所述目标的活动轨迹与所述目标规定的活动轨迹不相符，则发送提示信息，所述提示信息包括用于提醒工作人员所述目标的活动轨迹错误的信息。
在本实施例中，将利用模型识别出的每一帧图像中的目标图像进行整合就可以得到目标的活动轨迹。例如本实施例中是对某一架设备进行追踪，若通过本实施例中的方法发现设备的行驶轨迹与之前设定的不相符，那么就会发出提示信息，工作人员收到提示信息后就可以马上进行相应的处理，以免产生不良后果。
在本实施例中，还可以对某一个人进行追踪，当发现他的活动轨迹不符合要求时，也可以通过上述的方式进行提示。
在本公开的一种具体实施方式中，所述方法，还可以包括步骤S8、步骤S9和步骤S10。
步骤S8、基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
步骤S9、根据所述目标的活动轨迹获取所述目标所经过的地点，并计算得到所述目标经过最多的地点；
步骤S10、获取所述目标所经过最多的地点的相关信息，将所述相关信息推送给所述目标。
在本实施例中，例如本实施例是对商场中某个购物人员进行追踪，那么通过相关的视频采集设备和本实施例的方式则可以得出这个购物人员在商场的购物轨迹，进而就能够得到此购物人员在商场中停留时间最长的商店，此时就可以将此商店的相关信息发送到购物人员的移动设备上，通过此种方式可以帮助此购物人员全面的了解商店的信息，提高交易成交率。
实施例2
如图2所示，本实施例提供了一种目标跟踪装置，所述装置包括第一获取模块701、训练模块702、优化模块703和跟踪模块704。
所述第一获取模块701，用于获取包含待跟踪的目标的视频；
所述训练模块702，用于在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
所述优化模块703，用于基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
所述跟踪模块704，用于利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
本实施例利用优化后的分类器模型查找后续图像中包含的目标，可以实现目标的精准识别，进而提高目标追踪的精准性。
在本公开的一种具体实施方式中，所述优化模块703，还包括读取单元7031、第一识别单元7032、优化单元7033和第一计算单元7034。
所述读取单元7031，用于提取所述第一帧图像的下一帧图像，得到第二帧图像；
所述第一识别单元7032，用于基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
所述优化单元7033，用于提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
所述第一计算单元7034，用于计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
在本公开的一种具体实施方式中，所述第一识别单元7032，还包括划分子单元70321、计算子单元70322和识别子单元70323。
所述划分子单元70321，用于利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
所述计算子单元70322，用于基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
所述识别子单元70323，用于识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
在本公开的一种具体实施方式中，所述跟踪模块704，还包括定义单元7041、划分单元7042、第二计算单元7043和第二识别单元7044。
所述定义单元7041，用于将所述停止优化的图像之后的图像定义为预测图形；
所述划分单元7042，用于利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
所述第二计算单元7043，用于基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
所述第二识别单元7044，用于识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
在本公开的一种具体实施方式中，所述装置，还包括第二获取模块705、第一计算模块706和对比模块707。
所述第二获取模块705，用于获取所述目标规定的活动轨迹；
所述第一计算模块706，用于基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
所述对比模块707，用于将所述目标的活动轨迹与所述目标规定的活动轨迹进行对比，若所述目标的活动轨迹与所述目标规定的活动轨迹不相符，则发送提示信息，所述提示信息包括用于提醒工作人员所述目标的活动轨迹错误的信息。
在本公开的一种具体实施方式中，所述装置，还包括第二计算模块708、第三计算模块709和推送模块710。
所述第二计算模块708，用于基于所述视频中的每一帧图像和所述每一帧图像所对应的目标图像得到所述目标的活动轨迹；
所述第三计算模块709，用于根据所述目标的活动轨迹获取所述目标所经过的地点，并计算得到所述目标经过最多的地点；
所述推送模块710，用于获取所述目标所经过最多的地点的相关信息，将所述相关信息推送给所述目标。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了目标跟踪设备，下文描述的目标跟踪设备与上文描述的目标跟踪方法可相互对应参照。
图3是根据一示例性实施例示出的目标跟踪设备800的框图。如图3所示，该目标跟踪设备800可以包括：处理器801，存储器802。该目标跟踪设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该目标跟踪设备800的整体操作，以完成上述的目标跟踪方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该目标跟踪设备800的操作，这些数据例如可以包括用于在该目标跟踪设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该目标跟踪设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该目标跟踪设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的目标跟踪方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的目标跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该目标跟踪设备800的处理器801执行以完成上述的目标跟踪方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的目标跟踪方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的目标跟踪方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
获取包含待跟踪的目标的视频；
在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像，包括：
读取所述第一帧图像的下一帧图像，得到第二帧图像；
基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像，包括：
利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
4.根据权利要求1所述的目标跟踪方法，其特征在于，所述利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪，包括：
将所述停止优化的图像之后的图像定义为预测图形；
利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
5.一种目标跟踪装置，其特征在于，包括：
第一获取模块，用于获取包含待跟踪的目标的视频；
训练模块，用于在所述视频的第一帧图像中框出所述目标的图像，得到第一目标图像，将所述第一目标图像作为训练样本，对神经网络模型进行在线训练得到所述初始化分类器模型；
优化模块，用于基于所述第一帧图像后的图像对所述初始化分类器模型在线进行优化，得到优化后的分类器模型和停止优化的图像；
跟踪模块，用于利用所述优化后的分类器模型查找所述停止优化的图像之后的图像中的所述目标，实现对所述目标的跟踪。
6.根据权利要求5所述的目标跟踪装置，其特征在于，所述优化模块，包括：
读取单元，用于读取所述第一帧图像的下一帧图像，得到第二帧图像；
第一识别单元，用于基于所述初始化分类器模型识别所述第二帧图像中所述目标的图像，得到第二目标的图像；
优化单元，用于提取所述第二目标图像的背景信息，利用所述背景信息对所述初始化分类器模型进行优化，得到第一次优化后的初始化模型；
第一计算单元，用于计算所述初始化分类器模型与所述第一次优化后的初始化模型之间的损失函数的值，并分析所述损失函数的值是否满足停止优化的要求，若满足则停止优化，得到所述优化后的分类器模型，并将所述第二帧图像作为所述停止优化的图像；若不满足则再次提取所述第二帧图像的下一帧图像对所述第一次优化后的初始化模型进行优化，直至满足停止优化的要求。
7.根据权利要求6所述的目标跟踪装置，其特征在于，所述第一识别单元，包括：
划分子单元，用于利用所述初始化分类器模型中的卷积层将所述第二帧图像划分为至少两个第一子图像；
计算子单元，用于基于所述初始化分类器模型计算每一个所述第一子图像的第一概率分数值，得到至少两个所述第一概率分数值；
识别子单元，用于识别全部的所述第一概率分数值中最大的所述第一概率分数值，将最大的所述第一概率分数值所对应的所述第一子图像识别为所述目标的图像，得到所述第二目标的图像。
8.根据权利要求5所述的目标跟踪装置，其特征在于，所述跟踪模块，包括：
定义单元，用于将所述停止优化的图像之后的图像定义为预测图形；
划分单元，用于利用所述优化后的分类器模型中的卷积层将所述预测图形划分为至少两个第二子图像；
第二计算单元，用于基于所述优化后的分类器模型计算每一个所述第二子图像的第二概率分数值，得到至少两个所述第二概率分数值；
第二识别单元，用于识别全部的所述第二概率分数值中最大的所述第二概率分数值，将最大的所述第二概率分数值所对应的所述第二子图像识别为所述目标的图像，实现对所述目标的跟踪。
9.一种目标跟踪设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述目标跟踪方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述目标跟踪方法的步骤。
CN202110944339.7A 2021-08-17 2021-08-17 一种目标跟踪方法、装置、设备及可读存储介质 Active CN113743252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944339.7A CN113743252B (zh) 2021-08-17 2021-08-17 一种目标跟踪方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944339.7A CN113743252B (zh) 2021-08-17 2021-08-17 一种目标跟踪方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113743252A true CN113743252A (zh) 2021-12-03
CN113743252B CN113743252B (zh) 2024-05-31

Family

ID=78731416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944339.7A Active CN113743252B (zh) 2021-08-17 2021-08-17 一种目标跟踪方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113743252B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424175A (zh) * 2017-07-20 2017-12-01 西安电子科技大学 一种结合时空上下文信息的目标跟踪方法
CN109685045A (zh) * 2018-06-25 2019-04-26 鲁东大学 一种运动目标视频跟踪方法及系统
US20190258866A1 (en) * 2018-02-19 2019-08-22 Krishna Khadloya Human presence detection in edge devices
CN110794785A (zh) * 2019-11-14 2020-02-14 北京国电通网络技术有限公司 基于物联网的施工现场边缘计算物联分析告警系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424175A (zh) * 2017-07-20 2017-12-01 西安电子科技大学 一种结合时空上下文信息的目标跟踪方法
US20190258866A1 (en) * 2018-02-19 2019-08-22 Krishna Khadloya Human presence detection in edge devices
CN109685045A (zh) * 2018-06-25 2019-04-26 鲁东大学 一种运动目标视频跟踪方法及系统
CN110794785A (zh) * 2019-11-14 2020-02-14 北京国电通网络技术有限公司 基于物联网的施工现场边缘计算物联分析告警系统及其方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
侯跃恩等: "融合背景信息的分块稀疏表示跟踪算法", 《华南理工大学学报（自然科学版）》, pages 21 - 27 *
石留: "基于视频的运动目标检测与跟踪方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 404 *
郭丽丽: "面向复杂场景的运动目标检测技术研究", 《中国博士学位论文全文数据库信息科技辑》, pages 138 - 140 *
颜宏文;陈金鑫;: "基于改进YOLOv3的绝缘子串定位与状态识别方法", 高电压技术, no. 02, pages 61 - 70 *

Also Published As

Publication number Publication date
CN113743252B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
JP7073522B2 (ja) 空中手書きを識別するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
Laraba et al. Dance performance evaluation using hidden Markov models
US20120119984A1 (en) Hand pose recognition
CN111539740A (zh) 一种支付方法、装置及设备
CN110210480B (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
CN112132030A (zh) 视频处理方法及装置、存储介质及电子设备
CN111444850A (zh) 一种图片检测的方法和相关装置
CN111488798B (zh) 指纹识别方法、装置、电子设备及存储介质
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
CN114783061A (zh) 一种吸烟行为检测方法、装置、设备和介质
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
CN113743252B (zh) 一种目标跟踪方法、装置、设备及可读存储介质
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
Shanableh Two-stage deep learning solution for continuous Arabic Sign Language recognition using word count prediction and motion images
CN113269125B (zh) 一种人脸识别方法、装置、设备及存储介质
CN112560728B (zh) 目标对象识别方法及装置
CN114445716A (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN113449652A (zh) 基于生物特征识别的定位方法及装置
JP7347750B2 (ja) 照合装置、学習装置、方法、及びプログラム
CN113705511A (zh) 手势识别方法及装置
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN110858317B (zh) 手写识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant