CN110136173A - 一种目标定位处理方法及装置 - Google Patents

一种目标定位处理方法及装置 Download PDF

Info

Publication number
CN110136173A
CN110136173A CN201910425148.2A CN201910425148A CN110136173A CN 110136173 A CN110136173 A CN 110136173A CN 201910425148 A CN201910425148 A CN 201910425148A CN 110136173 A CN110136173 A CN 110136173A
Authority
CN
China
Prior art keywords
target
feature
extraction
convolution
appearance model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910425148.2A
Other languages
English (en)
Inventor
张海涛
马子昂
卢维
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910425148.2A priority Critical patent/CN110136173A/zh
Publication of CN110136173A publication Critical patent/CN110136173A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标定位处理方法及装置,其中,该方法包括:对输入的图像序列中目标所在区域进行多层卷积特征提取;基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;根据所述目标外观模型对所述目标进行定位,可以解决相关技术中在复杂环境下跟踪效果差的问题,可以实现复杂环境下对运动目标的鲁棒跟踪,实现了更为准确的跟踪效果。

Description

一种目标定位处理方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种目标定位处理方法及装置。
背景技术
视觉目标跟踪作为计算机视觉领域的重要分支,是为了模拟人眼在目标运动估计以及跟踪方面的能力,广泛应用于智能监控、辅助驾驶、人机交互、智能交通系统以及机器人视觉导航等生活中的各个方面。同时,目标跟踪在军事领域也具有非常重要的应用前景,包括无人机自主导航以及成像制导系统。视觉目标跟踪作为连接底层的信息处理技术到高层的信息内容分析的桥梁,在计算机视觉系统中发挥着承上启下的重要作用,因此成为兼具学术意义和应用价值的研究热点。
近年来,结合卷积神经网络(Convolutional Neural Networks,简称为CNN)特征与相关滤波的跟踪算法因其出色的定位精度成为视觉目标跟踪领域的热门研究方向。算法首先以给定目标位置为中心生成一个搜索框区域,基于搜索框区域内提取出的特征学习一个自适应的相关滤波器;在接下来的跟踪序列中,将相关滤波器响应最大值的坐标用于目标定位,并使用最新获得的目标区域对相关滤波器的参数进行更新。
现有技术中公开了一种基于多通道特征的高速相关滤波目标跟踪方法。该方案使用方向梯度直方图(Histogram of Oriented Gradient,简称为HOG)、CN、角点三种特征通道加权融合构建目标外观模型,其中HOG特征用于克服由光照变化导致的目标特征提取受到干扰的问题,CN特征用于克服由目标尺度变换导致的纹理信息剧烈变化的问题,角点特征用于克服目标被部分遮挡导致的目标跟踪丢失问题。基于最大峰值比(MPR)动态调整多特征的权值系数,即自适应调节某种环境因素下某特征通道的主导地位。
基于多通道特征的高速相关滤波目标跟踪方法使用HOG、CN和角点特征对目标外观进行描述,此类传统特征容易受到环境变化的影响,在复杂环境下的跟踪效果不佳。
针对相关技术中在复杂环境下的跟踪效果不佳的问题,尚未提出解决方案。
发明内容
本发明实施例提供了一种目标定位处理方法及装置,以至少解决相关技术中在复杂环境下的跟踪效果不佳的问题。
根据本发明的一个实施例,提供了一种目标定位处理方法,包括:
对输入的图像序列中目标所在区域进行多层卷积特征提取;
基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
根据所述目标外观模型对所述目标进行定位。
可选地,对输入的图像序列中目标所在区域进行多层卷积特征提取包括:
对于所述图像序列,将每一帧获得的目标所在区域向各个方向分别扰动若干个像素,得到多个图像区域;
将所述多个图像区域归一化到相同的尺寸,得到K个目标样本,其中,K为大于1的整数;
对所述K个目标样本进行特征提取;
对于每一层,将提取出的特征按列存放构成特征图矩阵。
可选地,基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选包括:
通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选。
可选地,通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选包括:
基于二维高斯分布对所述K个目标样本中的每一个目标样本生成一个前景模板yk
yk=Fk·ck∈Rd×1
Fk∈Rd×M
ck∈RM×1
其中,Fk为所述特征图矩阵,ck为系数向量,k表示目标样本序号,k=1,…,K,R为实数域,d表示特征维度,M表示特征通道数,K、M均为大于1的整数;
通过以下方式对所述K个目标样本进行稀疏约束:
C=[c1,...,cK]∈RM×K
其中,p=1,q=2,C表示联合稀疏表示系数矩阵,u用于平衡重构误差与行稀疏约束之间的重要性;第m个特征通道与目标外观模型的相关性为Cm为联合稀疏表示系数矩阵C的第m行;
将所述相关性最大的N个特征通道确定为所述目标外观模型,其中,为筛选后的N个特征通道在所述特征图矩阵Fk中列序号的集合,为所述N个特征通道的相关性集合,N为大于1的整数,N小于M。
可选地,所述方法还包括:
对所述目标外观模型按照预先设置的条件进行更新。
可选地,对所述目标外观模型按照预先设置的条件进行更新包括:
对最新获取的目标所在区域进行多层卷积特征提取;
对提取的多层卷积特征按照序号集合进行筛选,并将筛选出的特征按列存放构成矩阵Fs∈Rd×N
确定特征集合的置信度l为:
其中,r表示相关性集合r∈RN×1,参数Γ表示正则因子,参数α用于控制高斯核形状;
在所述置信度l小于预先设定的阈值的情况下,对所述目标外观模型进行更新。
可选地,根据所述目标外观模型对所述目标进行定位包括:
对每一层筛选后的卷积特征学习一个自适应的相关滤波器;
融合多个相关滤波器的响应图对所述目标进行定位。
根据本发明的另一个实施例,还提供了一种目标定位处理装置,包括:
提取模块,用于对输入的图像序列中目标所在区域进行多层卷积特征提取;
筛选模块,用于基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
定位模块,用于根据所述目标外观模型对所述目标进行定位。
可选地,所述提取模块,还用于
对于所述图像序列,将每一帧获得的目标所在区域向各个方向分别扰动若干个像素,得到多个图像区域;
将所述多个图像区域归一化到相同的尺寸,得到K个目标样本,其中,K为大于1的整数;
对所述K个目标样本进行特征提取;
对于每一层,将提取出的特征按列存放构成特征图矩阵。
可选地,所述筛选模块,还用于
通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选。
可选地,所述筛选模块包括:
生成单元,用于基于二维高斯分布对所述K个目标样本中的每一个目标样本生成一个前景模板yk
yk=Fk·ck∈Rd×1
Fk∈Rd×M
ck∈RM×1
其中,Fk为所述特征图矩阵,ck为系数向量,k表示目标样本序号,k=1,…,K,R为实数域,d表示特征维度,M表示特征通道数,K、M均为大于1的整数;
约束单元,用于通过以下方式对所述K个目标样本进行稀疏约束:
C=[c1,...,cK]∈RM×K
其中,p=1,q=2,C表示联合稀疏表示系数矩阵,u用于平衡重构误差与行稀疏约束之间的重要性;第m个特征通道与目标外观模型的相关性为Cm为联合稀疏表示系数矩阵C的第m行;
确定单元,用于将所述相关性最大的N个特征通道确定为所述目标外观模型,其中,为筛选后的N个特征通道在所述特征图矩阵Fk中列序号的集合,为所述N个特征通道的相关性集合,N为大于1的整数,N小于M。
可选地,所述装置还包括:
更新模块,用于对所述目标外观模型按照预先设置的条件进行更新。
可选地,所述更新模块包括:
提取单元,用于对最新获取的目标所在区域进行多层卷积特征提取;
对提取的多层卷积特征按照序号集合进行筛选,并将筛选出的特征按列存放构成矩阵Fs∈Rd×N
确定特征集合的置信度l为:
其中,r表示相关性集合r∈RN×1,参数Γ表示正则因子,参数α用于控制高斯核形状;
在所述置信度l小于预先设定的阈值的情况下,对所述目标外观模型进行更新。
可选地,所述定位模块,还用于
对每一层筛选后的卷积特征学习一个自适应的相关滤波器;
融合多个相关滤波器的响应图对所述目标进行定位。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,对提取的多层卷积特征通过联合稀疏表示的卷积筛选策略筛选后,有效滤除不可靠的特征通道,之后对目标进行定位,可以解决相关技术中在复杂环境下的跟踪效果不佳的问题,可以实现复杂环境下对运动目标的鲁棒跟踪,实现了更为准确的跟踪效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据相关技术中的视频联动监控并报警的流程图;
图2是本发明实施例的一种事件联动的视频显示方法的移动终端的硬件结构框图;
图3是根据本发明实施例的基于分层卷积特征与联合稀疏表示的视觉目标跟踪方法的流程图;
图4是根据本发明实施例的卷积特征筛选策略的有效性分析的示意图;
图5是根据本发明实施例的目标定位处理装置的框图;
图6是根据本发明优选实施例的目标定位处理装置的框图一;
图7是根据本发明优选实施例的目标定位处理装置的框图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种目标定位处理方法的移动终端的硬件结构框图,如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的报文接收方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的目标定位处理方法,图2是根据本发明实施例的一种目标定位处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,对输入的图像序列中目标所在区域进行多层卷积特征提取;
步骤S204,基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
步骤S206,根据所述目标外观模型对所述目标进行定位。
通过上述步骤S202至S206,对输入的图像序列中目标所在区域进行多层卷积特征提取;基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;根据所述目标外观模型对所述目标进行定位,可以解决相关技术中在复杂环境下的跟踪效果不佳的问题,可以实现复杂环境下对运动目标的鲁棒跟踪,实现了更为准确的跟踪效果。
本发明实施例中,上述步骤S202具体可以包括:
对于所述图像序列,将每一帧获得的目标所在区域向各个方向分别扰动若干(一个或多个)像素,得到多个图像区域;
将所述多个图像区域归一化到相同的尺寸,得到K个目标样本,其中,K为大于1的整数;
对所述K个目标样本进行特征提取;
对于每一层,将提取出的特征按列存放构成特征图矩阵。
对目标外观进行特征提取,并使用特征筛选策略有效滤除不可靠的特征通道,进而提高跟踪效果的准确性。
本发明实施例中,上述步骤S204具体可以包括:
通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选。
进一步地,通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选包括:
基于二维高斯分布对所述K个目标样本中的每一个目标样本生成一个前景模板yk
yk=Fk·ck∈Rd×1
Fk∈Rd×M
ck∈RM×1
其中,Fk为所述特征图矩阵,ck为系数向量,k表示目标样本序号,k=1,…,K,R为实数域,d表示特征维度,M表示特征通道数,K、M均为大于1的整数;
通过以下方式对所述K个目标样本进行稀疏约束:
C=[c1,...,cK]∈RM×K
其中,p=1,q=2,i,j均为大于或等于1的整数,C表示联合稀疏表示系数矩阵,u用于平衡重构误差与行稀疏约束之间的重要性;第m个特征通道与目标外观模型的相关性为Cm为联合稀疏表示系数矩阵C的第m行;
将所述相关性最大的N个特征通道确定为所述目标外观模型,其中,为筛选后的N个特征通道在所述特征图矩阵Fk中列序号的集合,为所述N个特征通道的相关性集合,N为大于1的整数,N小于M。
使用特征筛选策略有效滤除不相关的卷积特征和干扰的卷积特征即不可靠的特征通道,进而促使算法能够适应跟踪过程中的多种影响因素,进而提高跟踪效果。
由于目标在跟踪过程中常常会受到各种因素的影响,因此固定的目标外观模型无法适应场景变化,而频繁的模型更新将引发过拟合问题,进而导致跟踪器发生漂移,本发明实施例中对所述目标外观模型按照预先设置的条件进行更新。通过对目标模型进行有条件地更新,避免了跟踪器误差累积导致漂移问题。
进一步地,对所述目标外观模型按照预先设置的条件进行更新可以包括:
对最新获取的目标所在区域进行多层卷积特征提取;
对提取的多层卷积特征按照序号集合进行筛选,并将筛选出的特征按列存放构成矩阵Fs∈Rd×N
确定特征集合的置信度l为:
其中,r表示相关性集合r∈RN×1,参数Γ表示正则因子,参数α用于控制高斯核形状;
在所述置信度l小于预先设定的阈值的情况下,对所述目标外观模型进行更新。
通过上述步骤,有条件地对目标外观模型进行更新,减少了跟踪器的误差。
本发明实施例中,上述步骤S206具体可以包括:对每一层筛选后的卷积特征学习一个自适应的相关滤波器;融合多个相关滤波器的响应图对所述目标进行定位。进一步地提高了对目标定位的准确性。
下面对本发明实施例进行详细说明。
本发明实施例提供了一种基于分层卷积特征与联合稀疏表示的视觉目标跟踪方法,图3是根据本发明实施例的基于分层卷积特征与联合稀疏表示的视觉目标跟踪方法的流程图,如图3所示,包括:
步骤S302,对输入的图像序列进行特征提取。
对于输入图像序列,将每一帧获得的目标区域向各个方向分别扰动若干个像素,将扰动后的图像区域归一化到相同的尺寸得到K个目标样本;将每一个目标样本通过VGG-19(Visual Geometry Group)网络(在ImageNet上预训练)进行特征提取,并使用conv3-4、conv4-4和conv5-4层的输出作为对应目标样本特征描述。对于每一层,将提取出的特征按列存放构成特征图矩阵Fk∈Rd×M,k=1,…K,其中k表示目标样本序号,d表示特征维度,M表示特征通道数。
步骤S304,基于联合系数表示的特征筛选。
用于特征提取的卷积神经网络VGG-19是在分类数据集ImageNet上预训练得到的,因此VGG-19网络提取出的多层卷积特征可以表示丰富的视觉模型并对多个种类的物体进行描述。区别于分类问题,跟踪问题的目标是某一个特定的物体,因此并不是所有的卷积特征对于目标跟踪都是有效的。
一方面,部分卷积特征无法将目标与背景进行区分,此类卷积特征对于跟踪问题来说是不相关的;另一方面,需要丢弃那些在目标和背景区域都有较大响应值的特征来避免跟踪器漂移到背景区域,此类特征对跟踪任务来说是一种干扰,其中,第一列表示搜索框区域,第二列表示可靠的特征图;第三列表示不相关的特征图;第四列表示干扰的特征图。考虑到多层卷积特征在跟踪问题中表现出的“冗余性”,本发明实施例提出了一种基于联合稀疏表示的卷积特征筛选策略。通过在每一层卷积层的输出中滤除不相关的以及干扰的卷积特征,可以获得更为准确的跟踪效果。
具体地,基于二维高斯分布对每一个目标样本生成一个前景模板yk∈Rd×1,该前景模板可由对应的特征图矩阵Fk线性表示:
yk=Fk·ck∈Rd×1
其中,ck∈RM×1表示前景模板yk基于特征图矩阵Fk的线性表示系数向量。
理想情况下,前景模板由具备区分目标与背景区域的特征线性表示,因此ck中对应于不相关以及干扰特征的系数应趋近于零,即ck具有稀疏性。由于目标样本密集地分布在目标位置附近,因此目标样本间存在一定的相关性。忽略目标样本之间的相关性,将导致跟踪算法在目标外观发生明显变化的情况下发生漂移。因此本发明实施例使用行稀疏约束强制所有目标样本被尽可能少的、相同的特征通道表示:
其中,C=[c1,...,cK]∈RM×K表示联合稀疏表示系数矩阵,参数u用于平衡重构误差与行稀疏约束之间的重要性。上述式中的目标函数可使用APG(近端梯度加速)算法进行求解。
对于第m个特征通道,其与目标外观的相关性可表示为
其中,Cm表示为联合稀疏表示系数矩阵C的第m行。最后选取相关性最大的N个特征通道作为目标外观描述的可靠特征,其中表示筛选后的N个特征通道在特征图向量Fk中列序号的集合,表示对应的相关性集合。
本实施例,图4是根据本发明实施例的卷积特征筛选策略的有效性分析的示意图,如图4所示,基于联合稀疏表示的特征筛选策略,可以在每一层卷积层的输出中有效地滤除不相关的以及干扰的卷积特征,其中,图4中的第一行从左至右分别表示搜索框区域以及conv3-4层、conv4-4层、conv5-4层输出特征图的均值;第二行从左至右分别表示对应层中筛选后的特征图的均值。
步骤S306,判别相关滤波器(Discriminative Correlation Filter,简称为DCF)目标跟踪,具体地,对每一层筛选后的卷积特征分别学习一个自适应的相关滤波器,并融合多个相关滤波器的响应图进行目标定位。
步骤S308,条件模型更新。由于目标在跟踪过程中常常会受到各种因素的影响,因此固定的目标外观模型无法适应场景变化,而频繁的模型更新将引发过拟合问题,进而导致跟踪器发生漂移。本发明实施例提出对目标外观模型进行条件性的更新策略。
具体地,对最新获取的目标区域进行多层卷积特征提取,按照序号集合进行筛选并将筛选出的特征按列存放构成矩阵Fs∈Rd×N。同时将相关性集合表示为向量r∈RN×1。那么特征集合的置信度可表示为:
其中,参数Γ表示正则因子,参数α用于控制高斯核形状。若置信度l大于预先设定的阈值η,则表明目标外观未发生明显的变化,此时不对模型进行更新;若置信度l小于η,则表明目标区域发生较明显的外观变化,因此需要重新对卷积特征进行筛选,并对目标模型进行更新。
本发明实施例使用CNN特征对目标外观进行特征描述,并使用特征筛选策略有效滤除不可靠的特征通道,进而促使算法能够适应跟踪过程中的多种影响因素,包括光照变化、局部遮挡、背景模糊等。
相比于现有HCFT算法,实现了更为准确且实时性更好的跟踪结果。本发明实施例首先在目标外观特征描述中通过联合稀疏表示有效滤除不可靠的特征通道,并且对目标模型进行有条件地更新,避免了跟踪器误差累积导致漂移问题,这使得跟踪算法一方面不易受到环境变化的影响,另一方面可以实现实时性更好的目标跟踪。
实施例2
本发明实施例,还提供了一种目标定位处理装置,图5是根据本发明实施例的目标定位处理装置的框图,如图5所示,包括:
提取模块52,用于对输入的图像序列中目标所在区域进行多层卷积特征提取;
筛选模块54,用于基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
定位模块56,用于根据所述目标外观模型对所述目标进行定位。
可选地,所述提取模块52,还用于
对于所述图像序列,将每一帧获得的目标所在区域向各个方向分别扰动若干个像素,得到多个图像区域;
将所述多个图像区域归一化到相同的尺寸,得到K个目标样本,其中,K为大于1的整数;
对所述K个目标样本进行特征提取;
对于每一层,将提取出的特征按列存放构成特征图矩阵。
可选地,所述筛选模块56,还用于
通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选。
图6是根据本发明优选实施例的目标定位处理装置的框图一,如图6所示,所述筛选模块56包括:
生成单元62,用于基于二维高斯分布对所述K个目标样本中的每一个目标样本生成一个前景模板yk
yk=Fk·ck∈Rd×1
Fk∈Rd×M
ck∈RM×1
其中,Fk为所述特征图矩阵,ck为系数向量,k表示目标样本序号,k=1,…,K,R为实数域,d表示特征维度,M表示特征通道数,K、M均为大于1的整数;
约束单元64,用于通过以下方式对所述K个目标样本进行稀疏约束:
C=[c1,...,cK]∈RM×K
其中,p=1,q=2,C表示联合稀疏表示系数矩阵,u用于平衡重构误差与行稀疏约束之间的重要性;第m个特征通道与目标外观模型的相关性为Cm为联合稀疏表示系数矩阵C的第m行;
确定单元66,用于将所述相关性最大的N个特征通道确定为所述目标外观模型,其中,为筛选后的N个特征通道在所述特征图矩阵Fk中列序号的集合,为所述N个特征通道的相关性集合,N为大于1的整数,N小于M。
图7是根据本发明优选实施例的目标定位处理装置的框图二,如图7所示,所述装置还包括:
更新模块72,用于对所述目标外观模型按照预先设置的条件进行更新。
可选地,所述更新模块72包括:
提取单元,用于对最新获取的目标所在区域进行多层卷积特征提取;
对提取的多层卷积特征按照序号集合进行筛选,并将筛选出的特征按列存放构成矩阵Fselected∈Rd×N
确定特征集合的置信度l为:
其中,r表示相关性集合r∈RN×1,参数Γ表示正则因子,参数α用于控制高斯核形状;
在所述置信度l小于预先设定的阈值的情况下,对所述目标外观模型进行更新。
可选地,所述定位模块56,还用于
对每一层筛选后的卷积特征学习一个自适应的相关滤波器;
融合多个相关滤波器的响应图对所述目标进行定位。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,对输入的图像序列中目标所在区域进行多层卷积特征提取;
S2,基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
S3,根据所述目标外观模型对所述目标进行定位。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,对输入的图像序列中目标所在区域进行多层卷积特征提取;
S2,基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
S3,根据所述目标外观模型对所述目标进行定位。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标定位处理方法,其特征在于,包括:
对输入的图像序列中目标所在区域进行多层卷积特征提取;
基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
根据所述目标外观模型对所述目标进行定位。
2.根据权利要求1所述的方法,其特征在于,对输入的图像序列中目标所在区域进行多层卷积特征提取包括:
对于所述图像序列,将每一帧获得的目标所在区域向各个方向分别扰动若干个像素,得到多个图像区域;
将所述多个图像区域归一化到相同的尺寸,得到K个目标样本,其中,K为大于1的整数;
对所述K个目标样本进行特征提取;
对于每一层,将提取出的特征按列存放构成特征图矩阵。
3.根据权利要求2所述的方法,其特征在于,基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选包括:
通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选。
4.根据权利要求3所述的方法,其特征在于,通过在每一层卷积层的输出中滤除不相关的卷积特征和干扰的卷积特征的方式进行特征筛选包括:
基于二维高斯分布对所述K个目标样本中的每一个目标样本生成一个前景模板yk
yk=Fk·ck∈Rd×1
Fk∈Rd×M
ck∈RM×1
其中,Fk为所述特征图矩阵,ck为系数向量,k表示目标样本序号,k=1,…,K,R为实数域,d表示特征维度,M表示特征通道数,K、M均为大于1的整数;
通过以下方式对所述K个目标样本进行稀疏约束:
C=[c1,…,cK]∈RM×K
其中,p=1,q=2,C表示联合稀疏表示系数矩阵,u用于平衡重构误差与行稀疏约束之间的重要性;第m个特征通道与目标外观模型的相关性为Cm为联合稀疏表示系数矩阵C的第m行;
将所述相关性最大的N个特征通道确定为所述目标外观模型,其中,为筛选后的N个特征通道在所述特征图矩阵Fk中列序号的集合,为所述N个特征通道的相关性集合,N为大于1的整数,N小于M。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对所述目标外观模型按照预先设置的条件进行更新。
6.根据权利要求5所述的方法,其特征在于,对所述目标外观模型按照预先设置的条件进行更新包括:
对最新获取的目标所在区域进行多层卷积特征提取;
对提取的多层卷积特征按照序号集合进行筛选,并将筛选出的特征按列存放构成矩阵Fs∈Rd×N
确定特征集合的置信度l为:
其中,r表示相关性集合r∈RN×1,参数Γ表示正则因子,参数α用于控制高斯核形状;
在所述置信度l小于预先设定的阈值的情况下,对所述目标外观模型进行更新。
7.根据权利要求1至6中任一项所述的方法,其特征在于,根据所述目标外观模型对所述目标进行定位包括:
对每一层筛选后的卷积特征学习一个自适应的相关滤波器;
融合多个相关滤波器的响应图对所述目标进行定位。
8.一种目标定位处理装置,其特征在于,包括:
提取模块,用于对输入的图像序列中目标所在区域进行多层卷积特征提取;
筛选模块,用于基于联合稀疏表示的卷积特征筛选策略对提取的多层卷积特征进行筛选,得到目标外观模型;
定位模块,用于根据所述目标外观模型对所述目标进行定位。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN201910425148.2A 2019-05-21 2019-05-21 一种目标定位处理方法及装置 Pending CN110136173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425148.2A CN110136173A (zh) 2019-05-21 2019-05-21 一种目标定位处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425148.2A CN110136173A (zh) 2019-05-21 2019-05-21 一种目标定位处理方法及装置

Publications (1)

Publication Number Publication Date
CN110136173A true CN110136173A (zh) 2019-08-16

Family

ID=67572190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425148.2A Pending CN110136173A (zh) 2019-05-21 2019-05-21 一种目标定位处理方法及装置

Country Status (1)

Country Link
CN (1) CN110136173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462184A (zh) * 2020-04-02 2020-07-28 桂林电子科技大学 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044932A9 (en) * 2008-07-11 2010-06-17 Cornell University Nanofluidic channels with integrated charge sensors and methods based thereon
CN103345753A (zh) * 2013-07-10 2013-10-09 深圳先进技术研究院 脑部图像处理方法和系统
US20160342837A1 (en) * 2015-05-19 2016-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN106203350A (zh) * 2016-07-12 2016-12-07 北京邮电大学 一种运动目标跨尺度跟踪方法和装置
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN109685830A (zh) * 2018-12-20 2019-04-26 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044932A9 (en) * 2008-07-11 2010-06-17 Cornell University Nanofluidic channels with integrated charge sensors and methods based thereon
CN103345753A (zh) * 2013-07-10 2013-10-09 深圳先进技术研究院 脑部图像处理方法和系统
US20160342837A1 (en) * 2015-05-19 2016-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN106203350A (zh) * 2016-07-12 2016-12-07 北京邮电大学 一种运动目标跨尺度跟踪方法和装置
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN109685830A (zh) * 2018-12-20 2019-04-26 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马子昂: "基于稀疏学习的视觉目标跟踪", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462184A (zh) * 2020-04-02 2020-07-28 桂林电子科技大学 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法
CN111462184B (zh) * 2020-04-02 2022-09-23 桂林电子科技大学 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法

Similar Documents

Publication Publication Date Title
Jiao et al. New generation deep learning for video object detection: A survey
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN105608417B (zh) 交通信号灯检测方法及装置
CN109447169A (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN110188239A (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
Yu et al. An object-based visual attention model for robotic applications
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN107145845A (zh) 基于深度学习及多特征点融合的行人检测方法
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN109813434A (zh) 一种基于温度检测的人体识别方法、装置及终端设备
CN111626090B (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
CN102507592A (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN109145803A (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN107346414A (zh) 行人属性识别方法和装置
CN113870304B (zh) 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN108337505A (zh) 信息获取方法和装置
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN107463927A (zh) 一种基于卷积神经网络的道路减速带检测方法及装置
CN101572770B (zh) 一种可用于实时监控的运动检测方法与装置
CN110223236A (zh) 用精确的运动信息增强运动图片
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN109934072A (zh) 人员统计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816