CN110428450B - 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法 - Google Patents

应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法 Download PDF

Info

Publication number
CN110428450B
CN110428450B CN201910707197.5A CN201910707197A CN110428450B CN 110428450 B CN110428450 B CN 110428450B CN 201910707197 A CN201910707197 A CN 201910707197A CN 110428450 B CN110428450 B CN 110428450B
Authority
CN
China
Prior art keywords
scale
lqc
hog
video frame
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910707197.5A
Other languages
English (en)
Other versions
CN110428450A (zh
Inventor
寇旗旗
程德强
唐世轩
陈亮亮
文小顺
高蕊
姚洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910707197.5A priority Critical patent/CN110428450B/zh
Publication of CN110428450A publication Critical patent/CN110428450A/zh
Application granted granted Critical
Publication of CN110428450B publication Critical patent/CN110428450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,属于目标跟踪技术领域,解决了现有矿井目标跟踪算法在目标剧烈变化、遮挡、背景干扰等场景下无法获取较好的跟踪效果的问题。步骤如下:接收矿井巷道移动巡检视频帧序列的当前视频帧,根据上一帧的目标跟踪位置及尺度信息,得到当前视频帧中的待检测图像块;提取当前视频帧中待检测图像块的HOG特征及LQC特征,分别利用HOG特征相关滤波器和LQC特征相关滤波器计算得到HOG特征响应图及LQC特征响应图;对HOG特征响应图及LQC特征响应图进行加权融合响应,将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置;利用尺度滤波器对目标位置进行尺度估计,得到当前视频帧的尺度信息。

Description

应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法
技术领域
本发明涉及目标跟踪技术领域,尤其涉及一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法。
背景技术
煤矿产业在我国占据着重要的战略地位,是国民经济的重要产业,也是绝大多数能源需求的来源。为了保障煤炭行业的健康发展,矿井下正常工作保障和人员安全问题成为社会关注热点中的重中之重。近年来,矿山物联网和智能矿山理念的出现使智能化煤矿开采技术上了一个新台阶,可以对煤炭开采过程进行数字化视频监控,从而保障矿井工作安全。矿井巷道移动巡检是提高煤矿安全管理水平的重要手段,通过对保存的视频、图像资料进行智能化分析处理,可以高效、准确地获取煤矿井下信息,避免事故的发生。目标跟踪技术为煤矿安全生产带来了极大的改变,在保障工作人员安全、提高生产效率等方面发挥着越来越大的作用,虽然近些年来研究人员已经提出了很多有效的目标跟踪算法,但是在煤矿井下图像中,由于矿井下光线较暗,缺乏颜色信息,巷道较长,当井下目标靠近或远离摄像头,目标尺度发生变化,相应地造成目标外观产生较大的改变,不利于对目标的有效跟踪。因此对目标跟踪算法进行研究,提升算法性能使之更适应对矿井巷道移动巡检图像的跟踪是目前的一个重要课题。
由于矿井巷道移动巡检图像受到以下特殊环境因素的影响,现有矿井目标跟踪算法在目标剧烈变化、遮挡、背景干扰等场景下仍无法获取较好的跟踪效果。
(1)矿井下照度低,视频中黑灰色居多,缺乏颜色信息,使用颜色特征效果不好,很难将目标和背景区分开来;
(2)矿井下工作人员安全帽上的矿灯会造成干扰,导致目标外观的剧烈形变,从而造成跟踪算法失效;
(3)矿井下巷道较长,跟踪目标在巷道内移动时,会产生较大范围的尺度变化,而且光线不足,当目标较远时难以跟踪。
因此,有必要对矿井巷道移动巡检图像的尺度自适应目标跟踪方法进行进一步研究。
发明内容
鉴于上述的分析,本发明旨在提供一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,用以解决现有矿井目标跟踪算法在目标剧烈变化、遮挡、背景干扰等场景下仍无法获取较好的跟踪效果的问题。
本发明的目的主要是通过以下技术方案实现的:
一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,包括如下步骤:
接收矿井巷道移动巡检视频帧序列的当前视频帧,根据上一帧的目标跟踪位置及尺度信息,得到当前视频帧中的待检测图像块;
提取所述当前视频帧中待检测图像块的HOG特征及LQC特征,分别利用HOG特征相关滤波器和LQC特征相关滤波器计算得到HOG特征响应图及LQC特征响应图;
对所述HOG特征响应图及LQC特征响应图进行加权融合响应,将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置;
利用尺度滤波器对所述目标位置进行尺度估计,得到当前视频帧的尺度信息。
在上述方案的基础上,本发明还做出了如下改进:
进一步,根据以下公式所述对所述HOG特征响应图及LQC特征响应图进行加权融合响应::
Figure BDA0002152479650000031
其中,
Figure BDA0002152479650000032
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图,
Figure BDA0002152479650000033
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图对应的权重。
进一步,根据以下公式确定
Figure BDA0002152479650000034
Figure BDA0002152479650000035
Figure BDA0002152479650000036
其中,μ1表示第一正则化系数,
Figure BDA0002152479650000037
分别表示第t帧视频帧的HOG特征、LQC特征的显著性,根据以下公式得到:
Figure BDA0002152479650000038
Figure BDA0002152479650000039
其中,μ2表示第二正则化系数,
Figure BDA00021524796500000310
Figure BDA0002152479650000041
ft HOG、ft LQC分别表示第t帧视频帧中HOG特征、LQC特征的响应图,fHOG、fLQC分别表示根据初始视频帧中HOG特征、LQC特征计算得到的的理想响应。
进一步,所述利用尺度滤波器对所述目标位置进行尺度估计,得到当前视频帧的尺度信息,包括:
以所述目标位置为中心,提取不同尺度的图像块;
将提取得到的不同尺度的图像块作为所述尺度滤波器的输入,将具有最大输出值的图像块的尺度信息,作为当前视频帧的尺度信息。
进一步,通过人工标记方式确定初始视频帧的目标跟踪位置及尺度信息。
进一步,由所述初始视频帧通过循环采样方式获取多个训练样本,利用所述多个训练样本训练所述HOG特征相关滤波器、LQC特征相关滤波器及尺度滤波器。
进一步,得到所述HOG特征响应图及LQC特征响应图后,还通过以下方式更新所述HOG特征相关滤波器、LQC特征相关滤波器:
将所述HOG特征响应图作为所述HOG特征相关滤波器的训练样本,重新训练所述HOG特征相关滤波器;
将所述LQC特征响应图作为所述LQC特征相关滤波器的训练样本,重新训练所述LQC特征相关滤波器。
进一步,得到所述当前视频帧的尺度信息后,还通过以下方式更新所述尺度滤波器:
将所述当前视频帧的尺度信息作为所述尺度滤波器的训练样本,重新训练所述尺度滤波器。
进一步,所述提取HOG特征,包括:
将输入图像进行灰度化处理;
采用Gamma校正法对上述图像进行颜色空间的归一化;
对归一化后图像进行平滑处理;
计算上述平滑处理后的图像中每个像素的梯度;
将输入图像分割为小的单元;
构建上述每个单元的梯度方向直方图;
把上述单元组合成大的块,块内归一化梯度直方图向量,即为HOG特征描述子;
将上述输入图像序列内的所有块的HOG特征描述子串联起来得到图像的方向梯度直方图特征。
进一步,所述提取LQC特征,包括:
将检测窗口划分为小区域,对于每个区域中的一个像素,采用局部量化编码的方法进行量化;
根据上述量化的结果,构建每个区域的直方图;
对上述得到的直方图进行归一化处理;
将上述归一化处理后得到的每个区域的直方图进行连接,得到图像的局部量化编码特征。
本发明有益效果如下:
1、针对煤矿井下光线不足,监控视频缺乏颜色信息的问题,本发明采用HOG特征和具有良好纹理特性的LQC特征,使算法对矿井下的目标具有更好的表征能力;
2、将提取的HOG特征和LQC特征在响应图层面进行自适应加权融合,同时使用两种特征使得算法具有更强的鲁棒性,能有效处理矿井巷道移动巡检图像中目标本身的形变和矿灯光照造成的目标外观剧烈变化的问题;
3、本发明构建了尺度金字塔,使算法具有较好的尺度特性,有助于解决矿井下巷道较长导致目标尺度变化较大难以跟踪的问题,实现尺度自适应的矿井目标跟踪。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例中应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法流程图;
图2为本发明实施例中细胞单元的梯度方向;
图3为本发明实施例中LQC阈值处理流程(P=8,R=1)示意图;
图4为本发明实施例中LQC在(P=8,R=1)时的编码处理流程图;
图5为本发明实施例中构建的尺度金字塔。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
本发明的一个具体实施例,公开了一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,包括如下步骤:
步骤S1:接收矿井巷道移动巡检视频帧序列的当前视频帧,根据上一帧的目标跟踪位置及尺度信息,得到当前视频帧中的待检测图像块;
步骤S2:提取所述当前视频帧中待检测图像块的HOG(Histogram of OrientedGradient,方向梯度直方图特征)特征及LQC(Local Quantization Code,局部量化编码特征)特征,分别利用HOG特征相关滤波器和LQC特征相关滤波器计算得到HOG特征响应图及LQC特征响应图;
步骤S3:对所述HOG特征响应图及LQC特征响应图进行加权融合响应,将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置;
步骤S4:利用尺度滤波器对所述目标位置进行尺度估计,得到当前视频帧的尺度信息。
与现有技术相比,本发明针对煤矿井下光线不足,监控视频缺乏颜色信息的问题,本发明采用HOG特征和具有良好纹理特性的LQC特征,使算法对矿井下的目标具有更好的表征能力;将提取的HOG特征和LQC特征在响应图层面进行自适应加权融合,同时使用两种特征使得算法具有更强的鲁棒性,能有效处理矿井巷道移动巡检图像中目标本身的形变和矿灯光照造成的目标外观剧烈变化的问题;本发明构建了尺度金字塔,使算法具有较好的尺度特性,有助于解决矿井下巷道较长导致目标尺度变化较大难以跟踪的问题,实现尺度自适应的矿井目标跟踪。
在所述步骤S2中,通过以下方式提取所述当前视频帧中待检测图像块的HOG特征及LQC特征:
1、HOG特征提取
由于不同图像具有不同的形状特征,HOG特征能对局部梯度结构和边缘的方向密度分布进行较好的描述,因此在计算机视觉领域中获得了广泛的应用。在实际的HOG特征应用中,首先将目标图像等分为几个小的连通区域,接着计算各个像素的梯度方向直方图,然后将所有的细胞单元直方图按顺序串联起来,形成整幅图像的方向梯度直方图特征。步骤如下:
1)灰度化。如果输入的是彩色图片,先要进行灰度化处理。
2)颜色空间归一化。通常采用Gamma校正法提高图像的亮度,消除光照变化和局部阴影等外界因素的影响。Gamma校正公式为:
I(x,y)=I(x,y)gamma (1)
3)图像平滑处理。利用离散高斯平滑去除图像中的噪声点,抑制噪声干扰。
4)图像梯度计算。边缘是由图像局部特征突变导致的,包括灰度、颜色和纹理等。如果一幅图像中相邻像素点之间变化较小,区域变化平坦,则梯度幅值就会比较小;反之,则梯度幅值就会比较大。由于梯度在图像中对应的就是其一阶导数,因此图像I(x,y)中任意像素点(x,y)的梯度是一个矢量,表达式如下:
Figure BDA0002152479650000081
其中,Gx是水平方向上的梯度,Gy是竖直方向上的梯度,梯度大小和方向的表达式如下:
Figure BDA0002152479650000082
因为式(3)的计算量较大,一般采用以下公式求近似解:
▽I≈|Gx|+|Gy| (4)
分别采用梯度算子[-1,0,1]和[1,0,-1]T与图像做卷积运算,得到像素点在水平方向和竖直方向上的梯度分量,通过此方法求出每个像素点在水平方向和竖直方向上的梯度大小和方向,计算如下:
Figure BDA0002152479650000091
其中,Gx(x,y)是像素点(x,y)处水平方向上的梯度分量,Gy(x,y)是像素点(x,y)处竖直方向上的梯度分量。然后根据以上分量,求出像素点(x,y)处的梯度幅值为:
Figure BDA0002152479650000092
计算得出像素点(x,y)处的梯度方向为:
Figure BDA0002152479650000093
5)梯度方向直方图统计。将一幅图像等分为多个小的细胞单元,然后统计每个细胞单元内每个像素的梯度方向。如图2所示,若采用9个区间去等分[0,π]的梯度范围,那么每个细胞单元就有9个梯度方向。统计方式为:若某像素的梯度方向在0-20度区间内,幅值大小为2,则z1区间的数量增加2。将细胞单元内属于同一梯度方向的幅值进行累加,最终可得细胞单元的一个9维特征向量。
6)形成HOG特征。对于大小为64×128的目标图像,将每8×8个像素组成一个细胞单元,再将每2×2个细胞单元组成一个块。先将互不重叠的所有细胞单元直方图组合到一起,然后将块内所有的细胞单元直方图按顺序拼接,做归一化处理,最后将全部块内的直方图级联起来就形成整幅图像的HOG特征。
2、LQC特征提取
LQC特征是局部二值模式编码(Local Binary Pattern,LBP)的改进,能够区分边缘、线条等微观结构,具有灰度不变性,能有效克服煤矿井下光照不足的缺点。
LQC算法主要包含三个步骤,即阈值处理、编码和直方图表示。在第一步阈值处理步骤中,通过将每个模式中邻域内像素的灰度值与中心像素进行比较,将其转化为二进制值(0或1),获取关于局部二进制差异的信息;然后在第二步编码步骤中,对经过阈值处理获得的二进制数进行编码,用以表征局部结构模式,并将编码转换成十进制数;最后是直方图表示,对每个像素进行LBP编码定义之后,构建纹理直方图来表示纹理图像。
1)阈值处理。
以图3为例,以3×3的一个正方形像素区域为基本单元,阈值则为中心点像素的灰度值56,然后将相邻像素与中心像素的灰度值进行比较,若相邻8个像素中灰度值大于56则记为1,相邻像素的灰度值小于56则记为0。所有像素都经过比较之后,得到一个8位的二进制数01111100。
2)编码。
传统方法在描述图像的纹理特征时,对很多像素点灰度值的细节利用不完全,因此LQC编码采用增加局部量化级别的方法,提高了特征的区分能力,同时降低了特征的维度。
使用量化阈值(σ123,...,σi)来增加局部量化级别。第i个量化级内的邻域像素数量qi的计算公式如下:
Figure BDA0002152479650000101
其中,P表示中心像素邻域内的像素数量(p=1,…,P),gp表示邻域内所有像素的灰度值,gc表示中心像素的灰度值。L(x)为符号函数,定义如下:
Figure BDA0002152479650000111
其中,σi为第i个量化阈值。
通过计算qi的大小,就可以得到量化为第i个级别的邻域像素的数量。在此之后,对局部量化编码LQC进行定义如下:
Figure BDA0002152479650000112
其中,qi表示第i个量化级别内的邻域像素数量,Q表示邻域量化级别的数量。
除了邻域像素,表示局部灰度级的中心像素也具有细节特征,所以同时考虑二者贡献,将LQC与中心像素的全局量化级别结合,得到最终的LQC表示:
Figure BDA0002152479650000113
其中,qc表示中心像素的量化级别。LQC算法通过均匀分割灰度级直方图对中心像素进行量化,以上LQC编码方案采取十进制的编码方式,因此可以将中心像素的量化级别qc表示为一个集合,范围为(0,1,…,9)。中心像素的量化处理选用全局量化方法,而未采取邻域像素使用的局部量化处理方式,这是因为qc需要用于在整个图像范围内对局部灰度值的量化级别进行描述。
LQC在(P=8,R=1)时的编码过程如图4所示。每个像素用一个立方体表示,像素的灰度值用其高度表示。首先将相邻像素的灰度值量化为4个级别,然后对位于每个级别的相邻像素的数量qi(i=1,…,4)进行计数。在图4的示例中,位于第1、2、3、4级别的像素分别有3、2、2、1个,将位于4个级别的像素个数进行组合,得到编码1223。为了降低特征的尺寸,省略位于第1级的像素个数3,最后形成LQC编码为122。很明显,LQC具有更多的量化级别,能更准确地表征图像的局部结构。且LQC编码方式仅计算位于不同级别内的像素数,可以精确地描述邻域像素的分布状态,因此表现出了更好的区分度,更适合旋转不变的纹理分类场景。
3)直方图表示。
计算得到每个像素的局部量化编码之后,构建直方图来表示纹理图像。应当注意的是,当量化级别数为L时,尽管LQC直方图的大小数量级达到10L,但实际上直方图的许多区间总是为零的。那是因为在编码时,只需要对有限的相邻像素进行编码,因此可以简单地从最终的直方图中删除这些无意义的全零区。在传统LBP算法中,局部中心像素的灰度值直接用作局部阈值。很明显,固定的人工阈值对于不连续和不均匀的光照变化敏感,而局部差异相对来说对光照变化鲁棒性更好。这一特性对于煤矿井下光线不足、光照变化强烈等特殊环境来说,有利于更好地提取图像特征,提高跟踪精度。因此采取平均局部差异的方法设置一系列量化阈值,取代固定的人工阈值。基本阈值Δ表示邻域像素局部灰度值的平均差异,采用动态量化选取方法,定义基本阈值为:
Figure BDA0002152479650000121
其中,P表示中心像素邻域内的像素数量(p=1,…,P),Nc为图像中所有中心像素的数量,gp表示邻域内所有像素的灰度值,gc表示中心像素的灰度值,量化阈值(σ1234,...)可简化表示为(0,Δ,2Δ,3Δ,……)。
本发明利用HOG特征与具有旋转不变性的LQC特征进行融合,以增强对目标的表征能力,提高在煤矿井下光照不足环境中的跟踪效果,增强在矿井环境下的跟踪鲁棒性。
第二部分:特征融合
下一步将得到的HOG特征和LQC特征进行自适应融合:
基于相关滤波框架的跟踪算法中,目标的外观模型好坏严重影响着跟踪算法的性能。每种特征描述目标外观模型的能力各有差异,在具有不同影响因素的场景中有不同的效果。单一特征往往无法很好地表达目标,因此,本发明将HOG、LQC两种特征进行自适应融合,使跟踪算法具有更好地表达矿井目标外观模型的能力,从而在矿井巷道移动巡检图像中具有更好的效果。
首先提取目标图像块的HOG和LQC特征,分别利用这两种特征建立目标表观模型,训练两个分类器,也就是解决下面的最小化问题:
Figure BDA0002152479650000131
其中f(x)=wtx,λ表示正则化参数,yi表示样本xi对应的标签函数。在非线性条件下,有:
Figure BDA0002152479650000132
其中
Figure BDA0002152479650000133
表示样本xi的非线性变换函数。利用式(17)得到两种特征的响应图fHOG和fLQC
Figure BDA0002152479650000134
接着,根据以下公式所述对所述HOG特征响应图及LQC特征响应图进行加权融合响应(该实施例中,第t+1帧视频帧表示当前视频帧,第t帧视频帧表示当前视频帧的上一帧):
Figure BDA0002152479650000135
其中,
Figure BDA0002152479650000136
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图,
Figure BDA0002152479650000141
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图对应的权重。
根据以下公式确定
Figure BDA0002152479650000142
Figure BDA0002152479650000143
Figure BDA0002152479650000144
其中,μ1表示第一正则化系数,
Figure BDA0002152479650000145
分别表示第t帧视频帧的HOG特征、LQC特征的显著性,根据以下公式得到:
Figure BDA0002152479650000146
Figure BDA0002152479650000147
其中,μ2表示第二正则化系数,一般取10-5
Figure BDA0002152479650000148
Figure BDA0002152479650000149
ft HOG、ft LQC分别表示第t帧视频帧中HOG特征、LQC特征的响应图(又称预测响应),fHOG、fLQC分别表示根据初始视频帧中HOG特征、LQC特征计算得到的的理想响应。最后将融合后的响应图中响应值最大的位置确定为目标定位阶段的位置。
第三部分:尺度自适应
本发明通过学习相关滤波器来完成跟踪目标的任务。首先利用循环矩阵的性质,由初始帧中的目标生成一系列训练样本,用于训练位置滤波器,估计下一帧中目标定位阶段的位置。利用快速傅里叶变换来获得显著提升的运算速度,得到目标所在位置后,使用尺度滤波器来估计目标尺度,得到目标的最终位置。
首先,选取初始帧中基于HOG特征描述的正样本f,f由d维特征向量f(n)∈Rd组成,d为选取特征的维数,fl为第l通道的特征,其中l∈{1,2,…,d},hl为每个通道对应的滤波器,h为总的位置滤波器。输入训练样本f和期望输出样本g,建立最小化损失函数ε来构造最优的位置滤波器h:
Figure BDA0002152479650000151
其中*表示循环卷积操作,g表示以正样本中心为高斯函数中心的二维高斯函数,hl表示第l个通道对应的滤波器权重,fl表示第l个通道的特征,l∈{1,2,…,d},λ表示正则化系数,作用是消除频谱中零频分量的影响,避免滤波器产生过拟合。为了加速运算,将式(23)转换到复频域进行求解,利用帕斯瓦尔定理可得:
Figure BDA0002152479650000152
其中⊙表示点乘操作,G为g经过离散傅里叶变换后的对应值,G*是G的复共轭,Hl为hl经过离散傅里叶变换后的对应值,表示滤波器的权重,(Fl)*是Fl的复共轭。
然后更新位置滤波器的参数来应对目标模型的变化。为了保证滤波器hl的鲁棒性,应同时考虑当前帧和前一帧的目标变化信息,因此将不同时间的样本加入到对位置滤波器的训练中,损失函数的计算就变成统计一段时间内f的平均值,记为f1,f2,…,ft,其中t表示当前时间的帧序号。通过分子分母分别更新位置滤波器
Figure BDA0002152479650000161
的参数,更新方式如下所示:
Figure BDA0002152479650000162
其中
Figure BDA0002152479650000163
表示位置滤波器
Figure BDA0002152479650000164
分子的更新方式,Bt表示位置滤波器
Figure BDA0002152479650000165
分母的更新方式,η表示学习率。
利用上一帧得到的目标信息,使用位置滤波器模型确定目标定位阶段的位置。设zt为输入的检测样本,
Figure BDA0002152479650000166
为其经离散傅里叶变换得到的变量,即选定的正样本区域,则根据响应函数Y=H*⊙Z,响应输出yt的复频域表示形式Yt为:
Figure BDA0002152479650000167
通过对上式进行离散傅里叶反变换运算,求得位置滤波器响应值输出yt为:
Figure BDA0002152479650000168
通过位置滤波器定位到目标定位阶段的位置之后,以当前响应值最大的位置为中心点,设当前帧的目标宽度为U,高度为V,抽取图像尺寸为:
Figure BDA0002152479650000169
其中θ为尺度系数,表示采样尺度大小,s为尺度滤波器大小,表示采样的样本个数。
提取得到的不同尺度的图像块Fs l作为尺度滤波器的输入,选取具有最大输出值的输入特征,其对应的θk就是当前帧尺度滤波器估计得到的结果。为了使图像的尺寸一致,要对尺度滤波后的图像块进行双线性插值操作,然后利用这些样本提取特征,得到尺度滤波器为:
Figure BDA0002152479650000171
其中⊙表示点乘操作,
Figure BDA0002152479650000172
为尺度滤波器的权重,λs表示正则化系数。对采样得到的图像模型进行更新和求解滤波响应的过程与位置滤波器一致。尺度滤波器估计目标位置示意图见图5。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,包括如下步骤:
接收矿井巷道移动巡检视频帧序列的当前视频帧,根据上一帧的目标跟踪位置及尺度信息,得到当前视频帧中的待检测图像块;
提取所述当前视频帧中待检测图像块的HOG特征及LQC特征,分别利用HOG特征相关滤波器和LQC特征相关滤波器计算得到HOG特征响应图及LQC特征响应图;
对所述HOG特征响应图及LQC特征响应图进行加权融合,将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置;
利用尺度滤波器对所述目标位置进行尺度估计,得到当前视频帧的尺度信息;
根据以下公式所述对所述HOG特征响应图及LQC特征响应图进行加权融合:
Figure FDA0003172518870000011
其中,
Figure FDA0003172518870000012
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图,
Figure FDA0003172518870000013
分别表示第t+1帧视频帧的HOG特征响应图、LQC特征响应图对应的权重;
根据以下公式确定
Figure FDA0003172518870000014
Figure FDA0003172518870000015
Figure FDA0003172518870000016
其中,μ1表示第一正则化系数,
Figure FDA0003172518870000021
分别表示第t帧视频帧HOG特征、LQC特征的显著性,根据以下公式得到:
Figure FDA0003172518870000022
Figure FDA0003172518870000023
其中,μ2表示第二正则化系数,
Figure FDA0003172518870000024
Figure FDA0003172518870000025
ft HOG、ft LQC分别表示第t帧视频帧中HOG特征、LQC特征的响应图,fHOG、fLQC分别表示根据初始视频帧中HOG特征、LQC特征计算得到的的理想响应。
2.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,所述利用尺度滤波器对所述目标位置进行尺度估计,得到当前视频帧的尺度信息,包括:
以所述目标位置为中心,提取不同尺度的图像块;
将提取得到的不同尺度的图像块作为所述尺度滤波器的输入,将具有最大输出值的图像块的尺度信息,作为当前视频帧的尺度信息。
3.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,通过人工标记方式确定初始视频帧的目标跟踪位置及尺度信息。
4.根据权利要求3所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,
由所述初始视频帧通过循环采样方式获取多个训练样本,利用所述多个训练样本训练所述HOG特征相关滤波器、LQC特征相关滤波器及尺度滤波器。
5.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,得到所述HOG特征响应图及LQC特征响应图后,还通过以下方式更新所述HOG特征相关滤波器、LQC特征相关滤波器:
将所述HOG特征响应图作为所述HOG特征相关滤波器的训练样本,重新训练所述HOG特征相关滤波器;
将所述LQC特征响应图作为所述LQC特征相关滤波器的训练样本,重新训练所述LQC特征相关滤波器。
6.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,得到所述当前视频帧的尺度信息后,还通过以下方式更新所述尺度滤波器:
将所述当前视频帧的尺度信息作为所述尺度滤波器的训练样本,重新训练所述尺度滤波器。
7.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,提取HOG特征,包括:
将输入图像进行灰度化处理;
采用Gamma校正法对上述图像进行颜色空间的归一化;
对归一化后图像进行平滑处理;
计算上述平滑处理后的图像中每个像素的梯度;
将输入图像分割为小的单元;
构建上述每个单元的梯度方向直方图;
把上述单元组合成大的块,块内归一化梯度直方图向量,即为HOG特征描述子;
将上述输入图像序列内的所有块的HOG特征描述子串联起来得到图像的方向梯度直方图特征。
8.根据权利要求1所述的应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法,其特征在于,提取LQC特征,包括:
将检测窗口划分为小区域,对于每个区域中的一个像素,采用局部量化编码的方法进行量化;
根据上述量化的结果,构建每个区域的直方图;
对上述得到的直方图进行归一化处理;
将上述归一化处理后得到的每个区域的直方图进行连接,得到图像的局部量化编码特征。
CN201910707197.5A 2019-08-01 2019-08-01 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法 Active CN110428450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910707197.5A CN110428450B (zh) 2019-08-01 2019-08-01 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707197.5A CN110428450B (zh) 2019-08-01 2019-08-01 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110428450A CN110428450A (zh) 2019-11-08
CN110428450B true CN110428450B (zh) 2021-11-16

Family

ID=68412052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707197.5A Active CN110428450B (zh) 2019-08-01 2019-08-01 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110428450B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311525A (zh) * 2019-11-20 2020-06-19 重庆邮电大学 一种基于直方图概率修正的图像梯度场双区间均衡化算法
CN111369594A (zh) * 2020-03-31 2020-07-03 北京旋极信息技术股份有限公司 一种实现目标跟踪的方法、装置、计算机存储介质及终端
CN111639212B (zh) * 2020-05-27 2023-09-05 中国矿业大学 一种矿用智能视频分析中的图像检索方法
CN112183560A (zh) * 2020-10-27 2021-01-05 维沃移动通信有限公司 图像识别方法及装置
CN112381092B (zh) * 2020-11-20 2024-06-18 深圳力维智联技术有限公司 跟踪方法、装置及计算机可读存储介质
CN113537253B (zh) * 2021-08-23 2024-01-23 北京环境特性研究所 一种红外图像目标检测方法、装置、计算设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN107886067A (zh) * 2017-11-07 2018-04-06 中国矿业大学 一种基于hiksvm分类器的多特征融合的行人检测方法
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109903311A (zh) * 2019-01-24 2019-06-18 中国矿业大学 一种改进tld的矿井下视频目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN107886067A (zh) * 2017-11-07 2018-04-06 中国矿业大学 一种基于hiksvm分类器的多特征融合的行人检测方法
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109903311A (zh) * 2019-01-24 2019-06-18 中国矿业大学 一种改进tld的矿井下视频目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自适应特征融合的多尺度相关滤波目标跟踪算法;陈智 等;《计算机辅助设计与图形学学报》;20181130;第30卷(第11期) *

Also Published As

Publication number Publication date
CN110428450A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428450B (zh) 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法
CN107133575B (zh) 一种基于时空特征的监控视频行人重识别方法
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN111738342B (zh) 一种受电弓异物检测方法、存储介质及计算机设备
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
Huynh-The et al. NIC: A robust background extraction algorithm for foreground detection in dynamic scenes
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
CN109961416B (zh) 一种基于形态学梯度多尺度融合的营业执照信息提取方法
Le et al. Ternary entropy-based binarization of degraded document images using morphological operators
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
CN115861359B (zh) 一种水面漂浮垃圾图像自适应分割提取方法
CN111985314B (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN113030244A (zh) 输电线塔架腐蚀缺陷漏磁检测信号反演成像方法及系统
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN109308709B (zh) 基于图像分割的Vibe运动目标检测算法
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
CN107358635B (zh) 一种基于模糊相似性的彩色形态学图像处理方法
CN107301652B (zh) 一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
Akther et al. Detection of Vehicle's Number Plate at Nighttime using Iterative Threshold Segmentation (ITS) Algorithm
CN108038872B (zh) 一种基于动静态目标检测与实时压缩感知追踪研究方法
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
CN113160166B (zh) 通过卷积神经网络模型进行医学影像数据挖掘工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Kou Qiqi

Inventor after: Cheng Deqiang

Inventor after: Tang Shixuan

Inventor after: Chen Liangliang

Inventor after: Wen Xiaoshun

Inventor after: Gao Rui

Inventor after: Yao Jie

Inventor before: Cheng Deqiang

Inventor before: Tang Shixuan

Inventor before: Chen Liangliang

Inventor before: Wen Xiaoshun

Inventor before: Gao Rui

Inventor before: Yao Jie

Inventor before: Kou Qiqi

GR01 Patent grant
GR01 Patent grant