CN112613558A - 一种安防摄像头高准度智能识别目标跟踪系统及方法 - Google Patents

一种安防摄像头高准度智能识别目标跟踪系统及方法 Download PDF

Info

Publication number
CN112613558A
CN112613558A CN202011539031.6A CN202011539031A CN112613558A CN 112613558 A CN112613558 A CN 112613558A CN 202011539031 A CN202011539031 A CN 202011539031A CN 112613558 A CN112613558 A CN 112613558A
Authority
CN
China
Prior art keywords
rpn
module
stage
neural network
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011539031.6A
Other languages
English (en)
Inventor
吴锦梦
李兴珣
陈翩翩
舒鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202011539031.6A priority Critical patent/CN112613558A/zh
Publication of CN112613558A publication Critical patent/CN112613558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种安防摄像头高准度智能识别目标跟踪系统及方法，通过级联一系列RPN(Region Proposal Network，区域生成网络)，解决了类不平衡问题，同时充分挖掘跨层特征，实现了稳健的视觉跟踪功能。本发明首次提出了一种新的多阶段跟踪框架即孪生级联RPN，实现了一个基于孪生级联RPN的跟踪器，进一步提高了孪生级联RPN利用高级语义信息和低级空间信息的识别能力，通过多步回归，使定位更加准确，训练样本的分布顺序更加平衡；本发明的RPN的分类器在区分更困难的干扰物时依次更具辨别力，在复杂背景下目标定位更准确并且具有实时性。

Description

一种安防摄像头高准度智能识别目标跟踪系统及方法
技术领域
本发明属于安防摄像头技术领域，具体涉及一种安防摄像头高准度智能识别目标跟踪系统及方法。
背景技术
在目标跟踪方面，Siamese-RPN已经取得了不错的结果，但可能会向背景漂移，尤其是在存在类似语义干扰的情况下。主要原因有两个：
第一，训练样本的分布不平衡：(1)正样本远小于负样本，导致孪生网络训练无效；(2)大多数负样本是简单的负样本(非相似的非语义背景)，在学习区分分类器时几乎没有有用的信息。因此，分类器主要由容易分类的背景样本控制，当遇到困难的相似语义干扰时，分类器性能会降低。
第二，低层次空间特征的探索还不够充分。在Siamese-RPN(和其他孪生网络的跟踪算法)中，只有最后一层包含更多语义信息的特征被用来区分目标/背景。然而，在跟踪过程中，背景干扰源和目标可能属于相同的类别，并且/或者具有相似的语义特征。在这种情况下，高级语义特征在区分目标/背景方面的识别性较低。
除了上述问题外，单级Siamese-RPN还为目标定位应用了一个回归，即预先定义的锚点。当与目标有很高的重叠时，这些锚点一般具有很好的效果。然而，对于无模型视觉跟踪来说，目标对象的先验信息是未知的，很难估计目标的尺度是如何变化的。在单步回归中使用预先定义的粗糙锚点不足以精确定位。
另一方面，在两级目标检测算法中解决了类别不平衡问题(例如FasterR-CNN)。第一个proposal阶段快速过滤掉大部分背景样本，第二个分类阶段采用抽样启发式方法，例如，用固定的比率，以保持前景和背景之间的可管理平衡。此外，两步的回归实现了精确的局部化，即使是对具有极端形状的对象。
发明内容
本发明要解决的技术问题是：提供一种安防摄像头高准度智能识别目标跟踪系统及方法，用于解决类不平衡问题，实现稳健的视觉跟踪功能。
本发明为解决上述技术问题所采取的技术方案为：一种安防摄像头高准度智能识别目标跟踪系统，系统的初始神经网络模型为孪生级联RPN，包括依次连接的孪生神经网络模块和级联RPN模块；孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。
按上述方案，孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征；设n为正整数，Z分支的第m层特征为
Figure BDA0002854386360000021
X分支的第m层特征为
Figure BDA0002854386360000022
当n＝N时，Z分支和X分支的所有层对应共享参数；当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数。
进一步的，设第l个阶段的RPN为RPNl，用于接收来自孪生神经网络模块的conv-l层的融合特征Φl(z)、Φl(x)，和来自特征传递模块FTB的高级层的特征
Figure BDA0002854386360000023
和
Figure BDA0002854386360000024
Figure BDA0002854386360000025
Figure BDA0002854386360000026
进一步的，设第1个阶段的RPN1中，
Figure BDA0002854386360000027
对Φl(z)和Φl(x)卷积得到[Φl(z)]cls，[Φl(x)]cls，[Φl(z)]reg，[Φl(x)]reg；则第l个阶段的锚点的分类分数
Figure BDA0002854386360000028
和回归偏移量
Figure BDA0002854386360000029
分别为：
Figure BDA0002854386360000031
Figure BDA0002854386360000032
设第1个阶段的锚点的集合为A1，第l个阶段的锚点的集合为Al，则分类分数
Figure BDA0002854386360000033
用于过滤Al中负置信度大于预设阈值θ的锚点后形成锚点的集合Al+1，以训练第l+1个阶段的RPNl+1；
回归偏移量
Figure BDA0002854386360000034
用于细化锚点的集合Al+1中锚点的中心位置和大小、给第l+1个阶段的RPNl+1的回归提供更好的初始化从而准确地定位。
进一步的，设包括锚点框和真值框的框的中心坐标为(x，y)，框的宽度为w，框的高度为h；设第1个阶段的锚为
Figure BDA0002854386360000035
第l个阶段的锚为
Figure BDA0002854386360000036
Figure BDA0002854386360000037
每个阶段的锚由前一个阶段的回归偏移量逐步调整，则：
Figure BDA0002854386360000038
Figure BDA0002854386360000039
Figure BDA00028543863600000310
Figure BDA00028543863600000311
设变量x*、y*、w*、h*为第l个阶段的真值框，第l个阶段锚点的集合Al中锚点的索引值为i，锚点i与真值框的真实距离为
Figure BDA00028543863600000312
则通过计算：
Figure BDA00028543863600000313
Figure BDA00028543863600000314
Figure BDA00028543863600000315
Figure BDA0002854386360000041
得到四维向量：
Figure BDA0002854386360000042
设第l个阶段的RPNl的损失函数为
Figure BDA0002854386360000046
包括分类损失Lcls和回归损失Lloc；平衡分类损失Lcls和回归损失Lloc的权重为λ，锚点i的标签为
Figure BDA0002854386360000043
则：
Figure BDA0002854386360000044
模型的损失函数lCRPN包括所有阶段的RPNl的损失函数，则：
Figure BDA0002854386360000045
按上述方案，特征传递模块FTB包括依次连接的Deconv层、Eltw Sum层、ReLU层、插值层；Deconv层用于匹配不同源的特征尺寸；Eltw Sum层用于将浅层和深层的特征图在对应的通道上做加法运算、逐元素求和，融合不同的特征；ReLU层用于引入非线性因素，使一部分神经元的输出为0，造成网络的稀疏性，并且减少参数之间互相依存的关系，缓解过拟合的发生，同时节省计算量，避免反向传播时出现梯度消失的情况；插值层用于重新缩放融合特征，使得输出分类图和回归图对所有阶段的RPN具有相同的分辨率，确保每个阶段的RPN中锚点的真值框。
按上述方案，还包括图像输入模块，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，用于接收摄录设备输入的图像或视频，并将目标模板Z和搜索区域X转发给孪生神经网络模块。
按上述方案，还包括跟踪结果展示模块和目标信息模块；跟踪结果展示模块的信号输入端连接级联RPN模块的信号输出端，用于显示跟踪目标和准确度信息；目标信息模块的信号输入端连接级联RPN模块的信号输出端，用于存储和查询包括目标编号、衣服颜色、进入摄像范围时间、离开摄像范围时间的目标信息。
一种安防摄像头高准度智能识别目标跟踪方法，包括以下步骤：
S1：建立孪生级联RPN作为系统的初始神经网络模型，包括孪生神经网络模块、级联RPN模块、特征传递模块FTB、图像输入模块、跟踪结果展示模块、目标信息模块；孪生神经网络模块与级联RPN模块依次连接，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，跟踪结果展示模块的信号输入端和目标信息模块的信号输入端分别连接级联RPN模块的信号输出端；孪生神经网络模块分为N层卷积神经网络层，级联RPN模块包括L(L≤N)个阶段的级联的RPN、每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端；每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端；
S2：图像输入模块获取训练样本，并对所述训练样本进行预处理后发送给孪生神经网络模块；
S3：将预处理得到的训练样本输入初始神经网络模型，并预设初始神经网络模型的第一输出和预设期望的损失值；
S4：根据期望的损失值调节初始神经网络模型的网络参数，生成目标神经网络模型。
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种安防摄像头高准度智能识别目标跟踪方法。
本发明的有益效果为：
1.本发明的一种安防摄像头高准度智能识别目标跟踪系统及方法，通过级联一系列RPN，解决了类不平衡问题，同时充分挖掘跨层特征，实现了稳健的视觉跟踪功能。
2.本发明首次提出了一种新的多阶段跟踪框架，即孪生级联RPN，实现了一个基于孪生级联RPN的跟踪器，在前一阶段，使用RPN的输出对每个RPN进行训练，通过一个新的特征传递模块(FTB，Feature Transfer Block)对每个RPN充分利用多级特征，进一步提高了孪生级联RPN利用高级语义信息和低级空间信息的识别能力，通过多步回归，孪生级联RPN逐步完善了上一阶段通过调整锚箱对每个RPN中目标的位置和形状进行定位，使定位更加准确，训练样本的分布顺序更加平衡；
3.本发明的RPN的分类器在区分更困难的干扰物时依次更具辨别力，在复杂背景下目标定位更准确并且具有实时性；解决了目标跟踪方面Siamese-RPN向背景漂移，以及在单步回归中使用预先定义的粗糙锚点不足以精确定位的问题。
附图说明
图1是本发明实施例的功能框图。
图2是本发明实施例的流程图。
图3是本发明实施例的RPN的流程图。
图4是本发明实施例的特征传递模块FTB的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，本发明实施例的一种安防摄像头高准度智能识别目标跟踪系统的初始神经网络模型为孪生级联RPN，包括依次连接的孪生神经网络模块和级联RPN模块，还包括图像输入模块、特征传递模块FTB、跟踪结果展示模块、目标信息模块。
孪生神经网络模块用于从目标模板Z和搜索区域X中提取特征。
级联RPN模块用于充分利用每个RPN的多级特征进行序列分类和回归，解决在跟踪过程中出现的背景干扰源问题，以及由于目标属于相同的类别导致的和/或具有相似的语义特征的问题。
级联RPN模块包括锚点模块，锚点模块用于逐步细化锚点并进行更精准地定位。
图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，用于接收摄像头或视频输入的目标模板Z和搜索区域X，并转发给孪生神经网络模块。
特征传递模块FTB用于跨层融合特征，通过使每个RPN共享高级语义功能以提高辨别能力。
跟踪结果展示模块用于显示跟踪目标和准确度信息。
目标信息模块用于存储和查询目标信息，包括：目标编号、衣服颜色、进入摄像范围时间、离开摄像范围时间。
参见图2，初始神经网络模型中的孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征，搜索区域X来自摄像头实时拍摄的录像或视频；Z分支和X分支的各层对应共享参数，即Z分支的第m层特征
Figure BDA0002854386360000071
和X分支的第m层特征
Figure BDA0002854386360000072
对应共享参数，其中n为正整数，N为卷积神经网络层的层数。当n＝N时，Z分支和X分支的所有层对应共享参数；当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数，即“局部对应共享”。
参见图2，初始神经网络中的级联RPN模块是一种由L(L≤N)个RPN级联而成的多阶跟踪框架。其原理如下：
RPNl表示第l阶RPN，接收来自conv-l层的融合特征Φl(z)和Φl(x)以及来自FTB的高级层，而不是来自单个单独层的特征
Figure BDA0002854386360000073
和
Figure BDA0002854386360000074
和
Figure BDA0002854386360000075
由下式得到：
Figure BDA0002854386360000076
Figure BDA0002854386360000077
其中，FTB(·，·)表示权利要求5中描述的FTB。
参见图3，对于RPN1，
Figure BDA0002854386360000078
因此阶段l中锚点的分类分数
Figure BDA0002854386360000079
和回归偏移量
Figure BDA00028543863600000710
计算为：
Figure BDA00028543863600000711
Figure BDA00028543863600000712
[Φl(z)]cls，[Φl(x)]cls，[Φl(z)]reg，[Φl(x)]reg通过对Φl(z)和Φl(x)卷积得到。
设Al表示阶段l中的锚点集。通过分类得分
Figure BDA00028543863600000713
过滤掉Al中负置信度大于预设阈值θ的锚点，其余的则形成一组新的锚点Al+1，用于训练RPNl+1。对于RPN1，A1是预定义好的。为了给RPNl+1的回归提供更好的初始化，使用RPNl的回归结果
Figure BDA0002854386360000081
来细化Al+1中锚的中心位置和大小，从而更准确地定位。
对于RPNl损失函数
Figure BDA00028543863600000814
它是由分类损失Lcls和回归损失Lloc构成，具体如下：
Figure BDA0002854386360000082
其中i是第l阶段Al中锚点的索引值，λ是平衡两个损失函数的权重，锚点i的标签为
Figure BDA0002854386360000083
Figure BDA0002854386360000084
是锚点i与真值框(groundtruth)的真实距离。
Figure BDA0002854386360000085
是一个四维向量：
Figure BDA0002854386360000086
Figure BDA0002854386360000087
Figure BDA0002854386360000088
Figure BDA0002854386360000089
框包括锚点框和真值框，其中x、y、w和h是框的中心坐标及其宽度和高度。变量x*和
Figure BDA00028543863600000810
用于阶段l的groundtruth和锚(anchor)(同样用于y，w和h)。值得注意的是，初始神经网络模型中的anchor由前一阶段的回归量逐步调整，并计算为：
Figure BDA00028543863600000811
Figure BDA00028543863600000812
Figure BDA00028543863600000813
Figure BDA0002854386360000091
其中第一阶段anchor的
Figure BDA0002854386360000092
是预定义好的。
初始神经网络的损失函数lCRPN由所有RPNl的损失函数组成，表示为：
Figure BDA0002854386360000093
初始神经网络中的级联RPN引入了特征传递模块FTB来实现跨层融合功能，以便使每个RPN能够共享高级语义功能以提高辨别能力。如图4所示，去卷积层(Deconv)用于匹配不同源的特征尺寸；然后通过Eltw Sum层将浅层和深层的特征图在对应的通道上做加法运算即逐元素求和来融合不同的特征；接着是线性整流函数ReLU层，用于引入非线性因素，使一部分神经元的输出为0，造成网络的稀疏性，并且减少参数之间互相依存的关系，缓解过拟合的发生，同时节省计算量，避免反向传播时出现梯度消失的情况；为了确保每个RPN中锚点的真值框(groundtruth)，应用插值来重新缩放融合特征，使得输出分类图和回归图对所有RPN具有相同的分辨率。
参见图1，本发明的一种安防摄像头高准度智能识别目标跟踪方法，包括以下步骤：
S1：建立孪生级联RPN作为初始神经网络模型，包括用于提取特征的孪生神经网络模块和用于序列分类和回归的级联RPN模块；
S2：获取训练样本，对所述训练样本进行预处理；
S3：将预处理得到的训练样本输入至初始神经网络，并确定根据所述神经网络模型的第一输出和预设期望的损失值；
S4：根据所述损失值调节所述初始神经网络模型的网络参数，生成目标神经网络模型。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：系统的初始神经网络模型为孪生级联，包括依次连接的孪生神经网络和级联RPN模块；
孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；
级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；
级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；
每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。
2.根据权利要求1所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征；设n为正整数，Z分支的第m层特征为
Figure FDA0002854386350000011
X分支的第m层特征为
Figure FDA0002854386350000012
当n＝N时，Z分支和X分支的所有层对应共享参数；
当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数。
3.根据权利要求2所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设第l个阶段的RPN为RPNl，用于接收来自孪生神经网络模块的conv-l层的融合特征Φl(z)、Φl(x)，和来自特征传递模块FTB的高级层的特征
Figure FDA0002854386350000013
和
Figure FDA0002854386350000014
Figure FDA0002854386350000015
Figure FDA0002854386350000016
Figure FDA0002854386350000017
4.根据权利要求3所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设第1个阶段的RPN1中，
Figure FDA0002854386350000021
对Φl(z)和Φl(x)卷积得到[Φl(z)]cls，[Φl(x)]cls，[Φl(z)]reg，[Φl(x)]reg；则第l个阶段的锚点的分类分数
Figure FDA0002854386350000022
和回归偏移量
Figure FDA0002854386350000023
分别为：
Figure FDA0002854386350000024
Figure FDA0002854386350000025
设第1个阶段的锚点的集合为A1，第l个阶段的锚点的集合为Al，则分类分数
Figure FDA0002854386350000026
用于过滤Al中负置信度大于预设阈值θ的锚点后形成锚点的集合Al+1，以训练第l+1个阶段的RPNl+1；
回归偏移量
Figure FDA0002854386350000027
用于细化锚点的集合Al+1中锚点的中心位置和大小、给第l+1个阶段的RPNl+1的回归提供更好的初始化从而准确地定位。
5.根据权利要求4所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设包括锚点框和真值框的框的中心坐标为(x，y)，框的宽度为w，框的高度为h；设第1个阶段的锚为
Figure FDA0002854386350000028
第l个阶段的锚为
Figure FDA0002854386350000029
每个阶段的锚由前一个阶段的回归偏移量逐步调整，则：
Figure FDA00028543863500000210
Figure FDA00028543863500000211
Figure FDA00028543863500000212
Figure FDA0002854386350000031
设变量x*、y*、w*、h*为第l个阶段的真值框，第l个阶段锚点的集合Al中锚点的索引值为i，锚点i与真值框的真实距离为
Figure FDA0002854386350000032
则通过计算：
Figure FDA0002854386350000033
Figure FDA0002854386350000034
Figure FDA0002854386350000035
Figure FDA00028543863500000311
得到四维向量：
Figure FDA0002854386350000036
设第l个阶段的RPNl的损失函数为
Figure FDA0002854386350000037
包括分类损失Lcls和回归损失Lloc；平衡分类损失Lcls和回归损失Lloc的权重为λ，锚点i的标签为
Figure FDA0002854386350000038
则：
Figure FDA0002854386350000039
模型的损失函数lCRPN包括所有阶段的RPNl的损失函数，则：
Figure FDA00028543863500000310
6.根据权利要求1所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：特征传递模块FTB包括依次连接的Deconv层、Eltw Sum层、ReLU层、插值层；
Deconv层用于匹配不同源的特征尺寸；
Eltw Sum层用于将浅层和深层的特征图在对应的通道上做加法运算、逐元素求和，融合不同的特征；
ReLU层用于引入非线性因素，使一部分神经元的输出为0，造成网络的稀疏性，并且减少参数之间互相依存的关系，缓解过拟合的发生，同时节省计算量，避免反向传播时出现梯度消失的情况；
插值层用于重新缩放融合特征，使得输出分类图和回归图对所有阶段的RPN具有相同的分辨率，确保每个阶段的RPN中锚点的真值框。
7.根据权利要求1所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：还包括图像输入模块，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，用于接收摄录设备输入的图像或视频，并将目标模板Z和搜索区域X转发给孪生神经网络模块。
8.根据权利要求1所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：还包括跟踪结果展示模块和目标信息模块；跟踪结果展示模块的信号输入端连接级联RPN模块的信号输出端，用于显示跟踪目标和准确度信息；目标信息模块的信号输入端连接级联RPN模块的信号输出端，用于存储和查询包括目标编号、衣服颜色、进入摄像范围时间、离开摄像范围时间的目标信息。
9.基于权利要求1至8中任意一项所述的一种安防摄像头高准度智能识别目标跟踪系统的跟踪方法，其特征在于：包括以下步骤：
S1：建立孪生级联RPN作为系统的初始神经网络模型，包括孪生神经网络模块、级联RPN模块、特征传递模块FTB、图像输入模块、跟踪结果展示模块、目标信息模块；
孪生神经网络模块与级联RPN模块依次连接，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，跟踪结果展示模块的信号输入端和目标信息模块的信号输入端分别连接级联RPN模块的信号输出端；
孪生神经网络模块分为N层卷积神经网络层，级联RPN模块包括L(L≤N)个阶段的级联的RPN、每个阶段的RPN对应的特征传递模块FTB和锚点模块；
每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端；
每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端；
S2：图像输入模块获取训练样本，并对所述训练样本进行预处理后发送给孪生神经网络模块；
S3：将预处理得到的训练样本输入初始神经网络模型，并预设初始神经网络模型的第一输出和预设期望的损失值；
S4：根据期望的损失值调节初始神经网络模型的网络参数，生成目标神经网络模型。
10.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求9所述的一种安防摄像头高准度智能识别目标跟踪方法。
CN202011539031.6A 2020-12-23 2020-12-23 一种安防摄像头高准度智能识别目标跟踪系统及方法 Pending CN112613558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011539031.6A CN112613558A (zh) 2020-12-23 2020-12-23 一种安防摄像头高准度智能识别目标跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011539031.6A CN112613558A (zh) 2020-12-23 2020-12-23 一种安防摄像头高准度智能识别目标跟踪系统及方法

Publications (1)

Publication Number Publication Date
CN112613558A true CN112613558A (zh) 2021-04-06

Family

ID=75245297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011539031.6A Pending CN112613558A (zh) 2020-12-23 2020-12-23 一种安防摄像头高准度智能识别目标跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN112613558A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359336A (zh) * 2021-11-30 2022-04-15 南昌航空大学 基于光流和动态级联rpn的目标跟踪算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829934A (zh) * 2018-12-20 2019-05-31 北京以萨技术股份有限公司 一种新型基于孪生卷积网络的图像跟踪算法
CN111915644A (zh) * 2020-07-09 2020-11-10 苏州科技大学 孪生导向锚框rpn网络的实时目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829934A (zh) * 2018-12-20 2019-05-31 北京以萨技术股份有限公司 一种新型基于孪生卷积网络的图像跟踪算法
CN111915644A (zh) * 2020-07-09 2020-11-10 苏州科技大学 孪生导向锚框rpn网络的实时目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FAN H等: "Siamese cascaded region proposal networks for real-time visual tracking", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359336A (zh) * 2021-11-30 2022-04-15 南昌航空大学 基于光流和动态级联rpn的目标跟踪算法
CN114359336B (zh) * 2021-11-30 2023-04-07 南昌航空大学 基于光流和动态级联rpn的目标跟踪方法

Similar Documents

Publication Publication Date Title
Zhu et al. Method of plant leaf recognition based on improved deep convolutional neural network
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
Kumar et al. Gender classification using machine learning with multi-feature method
CN110188225B (zh) 一种基于排序学习和多元损失的图像检索方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN111062885B (zh) 基于多阶段迁移学习的标志检测模型训练及标志检测方法
CN110765954A (zh) 一种车辆重识别方法、设备及存储装置
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
Shahab et al. How salient is scene text?
Zhang et al. Multi-features integration based hyperspectral videos tracker
WO2022267388A1 (zh) 红树林高光谱图像分类方法、装置、电子设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN114663707A (zh) 基于Faster RCNN改进的少样本目标检测方法
CN105678318A (zh) 交通标牌的匹配方法及装置
CN110349176B (zh) 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统
Qin et al. A new improved convolutional neural network flower image recognition model
Lejbølle et al. Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features
CN113378620B (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN112613558A (zh) 一种安防摄像头高准度智能识别目标跟踪系统及方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
Zhang et al. Point clouds classification of large scenes based on blueprint separation convolutional neural network
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
Lv et al. Iterative sample generation and balance approach for improving hyperspectral remote sensing imagery classification with deep learning network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210406