CN110223317A - 一种基于图像处理的移动目标检测与轨迹预测方法 - Google Patents

一种基于图像处理的移动目标检测与轨迹预测方法 Download PDF

Info

Publication number
CN110223317A
CN110223317A CN201910342569.9A CN201910342569A CN110223317A CN 110223317 A CN110223317 A CN 110223317A CN 201910342569 A CN201910342569 A CN 201910342569A CN 110223317 A CN110223317 A CN 110223317A
Authority
CN
China
Prior art keywords
target
image
particle
algorithm
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910342569.9A
Other languages
English (en)
Other versions
CN110223317B (zh
Inventor
肖硕
黄珍珍
陈曦
王家威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910342569.9A priority Critical patent/CN110223317B/zh
Publication of CN110223317A publication Critical patent/CN110223317A/zh
Application granted granted Critical
Publication of CN110223317B publication Critical patent/CN110223317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的移动目标检测与轨迹预测方法,在对视频图像中的移动目标进行下一时刻的位置预测时,首先需要对目标进行图像处理、目标检测定位、目标特征提取;该部分由主体检测和细节检测两部分组成,进行目标检测后需对最终前景图像进行目标区域标记,然后提取、量化特征信息;利用粒子群优化算法对Kalman滤波算法的噪声进行改进,将Kalman预测位置坐标和目标特征提取的量化值作为Elman神经网络的输入参数,对应的真实位置坐标作为输出值,利用粒子群优化算法对Elman神经网络的参数进行改进,最后通过网络训练获得移动目标的预测位置。本发明方法的检测、预测误差较小,方法精度较其他方法有较大提升。

Description

一种基于图像处理的移动目标检测与轨迹预测方法
技术领域
本发明属于计算机技术中的图像处理领域,尤其涉及一种基于图像处理的移动目标检测与轨迹预测方法。
背景技术
近年来,随着计算机视觉领域的不断发展,有关视频、图像处理方面的研究正不断深入发展和应用。就视频图像而言,通过获取一定时间序列下目标的移动数据,经过图像处理后充分挖掘其内部特征,利用相关方法可以对移动目标进行跟踪定位以及预测未来可能的运动轨迹,这相对于单一图像中的静态目标更能发现有意义、有价值的信息,而且应用范围更广。
在对视频图像中的移动目标进行下一时刻的位置预测时,首先需要对目标进行图像处理以及目标检测、特征提取工作。目前已有的公认的目标检测方法有背景差分法、帧差法、光流法、高斯混合模型,但是上述方法在检测目标时往往会受到噪声的污染,对于提取出较为完整、清晰的目标存在着一些难度,影响了前景检测率。然后在对目标进行轨迹预测时,目前已有的Kalman滤波算法、贝叶斯滤波算法虽然可以较好地进行预测,但是往往会受到不当的随机噪声点对系统的影响,从而影响预测效率和准确程度,导致预测的下一时刻的某些位置过于偏离真实位置。
发明内容
发明目的:针对以上问题,本发明提出一种基于图像处理的移动目标检测与轨迹预测方法,利用粒子群优化算法对Kalman滤波算法中的噪声进行改进,并将Kalman预测位置坐标以及目标特征提取的量化值作为Elman神经网络的输入参数,对应的真实位置坐标作为输出值,利用粒子群优化算法对Elman神经网络的参数进行改进,最后通过网络训练获得移动目标的预测位置。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于图像处理的移动目标检测与轨迹预测方法,包括如下步骤:
S1:获取由固定摄像机拍摄的包含移动目标的视频图像数据集,进行移动目标检测与轨迹预测;
S2:在目标检测提取阶段对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位;
S3:在Kalman优化阶段,利用粒子群优化算法对Kalman滤波算法中的噪声点进行改进,并将优化后的噪声点作为新的噪声点,将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标;
S4:在Elman优化阶段,利用粒子群优化算法对Elman神经网络中的权值、阈值进行改进,并将优化后的权值、阈值作为网络新的权值、阈值,将步骤S2得到的量化值融合步骤S3得到的Kalman预测位置坐标作为Elman神经网络的输入参数,对应的真实位置坐标作为网络的输出值,训练神经网络,得到优化后的Elman神经网络;
S5:将移动目标最新的图像数据经过步骤S2所述量化处理,得到目标特征及其量化值;将图像数据中移动目标的位置数据作为步骤S3所述优化后的Kalman滤波算法的输入参数,运行该算法,得到算法输出的预测位置坐标;将所述量化值融合Kalman预测位置坐标作为优化后的Elman神经网络输入参数,运行该神经网络,得到网络输出的预测位置坐标;
S6:根据步骤S5预测的位置坐标在一段时间内的集合构成了预测的轨迹,即实现了移动目标的轨迹预测。
进一步,步骤S2所述目标检测提取阶段,对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位,方法如下:
S2.1:通过对移动目标进行检测和特征提取,从而定位到移动目标;所述目标检测分为主体检测部分和细节检测部分;
所述主体检测部分是对移动目标采用高斯混合模型这一前景提取方法,建立高斯混合模型,通过输入目标图像与背景图像,进行运算和分割,从而初步检测到移动目标,获得前景图像;并通过中值滤波和高斯滤波结合的滤波降噪操作消除前景图像中的脉冲噪声和高斯噪声;
所述细节检测部分是根据主体检测得到的前景图像进行图像处理,包括边缘检测、滤波降噪、形态学处理和目标区域标记;所述边缘检测,是指采用二阶Canny算子进行图像检测;所述滤波降噪,是指采用中值滤波和高斯滤波结合降噪的方法消除脉冲噪声和高斯噪声;所述形态学处理操作,是指采用膨胀和腐蚀相结合的方法填充在图像处理过程中可能产生的空洞;所述目标区域标记,是指采用连通区域标记法进行检测标记,即在细节检测最终得到的前景图像中,通过判断前景图像中的各个像素点以及与该像素点自身相邻像素点的连通程度,获取包围该目标区域的最小矩形,并最终定位到移动目标,获取到目标特征信息;
进一步,所述细节检测方法如下:首先利用Canny算子检测背景边缘和当前帧f的图像边缘,产生的二值边缘图像分别记为Af和Bf;然后添加空白图像Cf,大小与Af和Bf均相同,若Af中的像素坐标(j,d)对应于Bf中有:Af(j,d)=Bf(j,d),那么Cf(j,d)=0;否则Cf(j,d)=1,以此计算所有像素点,直到最后产生完整的、更新的二值图像Cf;其次将前景图像Ff与更新后的二值图像Cf中的每一个像素进行加法运算,得到新图像Df;再将前景图像Ff与图像Df中的每一个像素进行加法运算,得到新前景图像Gf;最后对新前景图像Gf进行滤波降噪和形态学处理,得到最终前景图像Hf;对最终前景图像Hf进行目标区域标记,获取包围该目标区域的最小矩形,定位到该移动目标,获取到当前帧图像中的目标特征信息;
S2.2:根据步骤S2.1提取出的移动目标特征进行量化处理,即目标特征量化,所述量化的目标特征包括目标的几何特征和运动特征;
所述几何特征用于描述目标的图像特性,包含围成区域的最小矩形面积、区域图像中实际的像素个数、凸区域图像中的像素个数;
所述运动特征用于描述目标的位置及运动状况,包含质心坐标、最小矩形的位置信息、移动目标的平均速度、平均加速度、位移。
进一步,步骤S2.1中,在确定输入高斯混合模型的背景图像时,取连续n帧的背景图像进行平均化处理,并将平均化处理后的背景图像作为输入高斯混合模型的背景图像,平均化处理公式如下:
式中,Bn表示第n帧的背景图像。
进一步,步骤S2.2所述量化处理如下:
所述几何特征用于描述目标的图像特性,包含区域图像不同表示方法的集合,表示为:
G={S1,S2,S3|Rs∈S1} (2)
其中,S1表示围成区域的最小矩形面积;S2表示区域图像中实际的像素个数;S3表示凸区域图像中的像素个数;Rs表示最小矩形的大小信息,包括最小矩形的长Ls和宽Ws
所述运动特征用于描述目标的位置及运动状况,包含位置坐标与运动变量的集合,表示为:
其中,C表示质心坐标;Rp表示最小矩形的位置信息;分别表示移动目标在水平和竖直方向上的平均速度;分别表示移动目标在水平和竖直方向上的平均加速度;Xx和Xy分别表示水平和竖直位移;X表示总位移。
进一步,步骤S3所述Kalman优化阶段,得到Kalman滤波算法输出的预测位置坐标,方法如下:
S3.1:对Kalman滤波算法中的初始噪声点进行编码;设Kalman滤波算法的输入参数,即视频图像数据集中的目标位置数据有m个,则产生m个初始噪声点,并得到大小为1行m列的矩阵,作为粒子群优化算法的初始粒子值;
S3.2:运行Kalman滤波算法,得到第m-1个目标数据的预测位置坐标并与目标数据的真实位置坐标进行误差计算,计算结果作为Kalman优化阶段粒子群优化算法的粒子适应度fit1,表示为:
S3.3:运行粒子群优化算法,根据步骤S3.2得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S3.4;否则,更新粒子的位置及其速度,并将更新后的粒子作为Kalman滤波算法的新的噪声点,重复步骤S3.2至S3.3;
S3.4:将Kalman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为Kalman滤波算法的最终噪声点;将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标。
进一步,步骤S3.3中,更新粒子的速度与位置的公式如下:
S1=c1*r1*(best1-X(i-1)) (5)
S2=c2*r2*(best2-X(i-1)) (6)
V(i)=W*V(i-1)+S1+S2 (7)
X(i)=X(i-1)+V(i) (8)
其中,S1和S2分别表示自身增益和全局增益,c1和c2分别表示个体学习因子和全局学习因子,r1和r2表示在0~1之间的随机数,best1和best2分别表示当前粒子的个体最佳位置和全局最佳位置,V(i)和X(i)分别表示更新后粒子的速度和位置,V(i-1)和X(i-1)分别表示更新前粒子的速度和位置,W表示权重。
进一步,步骤S4所述得到优化后的Elman神经网络,方法如下:
S4.1:对Elman神经网络中的输入层、隐含层、联系单元层以及输出层之间关连的初始权值及阈值进行编码;设Elman神经网络的输入层有a个节点,隐含层有b个节点,输出层有c个节点,则网络权值共有(a*b+b*c)个,阈值共有(b+c)个,得到大小为1行(a*b+b*c+b+c)列的矩阵,作为粒子群优化算法的初始粒子值;
S4.2:设视频图像数据集有F张图像,选取视频图像数据集中时刻较前的P张图像作为训练样本,视频图像数据集的剩余F-P张图像作为测试样本;将训练样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将训练样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为Elman神经网络的训练输入参数,对应的真实位置坐标作为训练输出值,对Elman神经网络进行训练;
S4.3:Elman神经网络训练完成后,将测试样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将测试样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为训练后的Elman神经网络的输入参数,得到神经网络输出值,将测试样本中移动目标的真实位置坐标与神经网络输出值进行比较,判断网络训练是否达到预期,如果未达到预期,返回步骤S4.2继续训练;否则,输出测试样本中第F-P-1张图像的移动目标的神经网络预测位置坐标,进入步骤S4.4;
S4.4:将步骤S4.3输出的目标预测位置坐标与目标的真实位置坐标进行误差计算,计算结果作为Elman优化阶段粒子群优化算法的粒子适应度fit2,表示为:
S4.5:运行粒子群优化算法,根据步骤S4.4得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S4.6;否则,更新粒子的位置及其速度,并将更新后的粒子作为Elman神经网络新的权值及阈值,重复步骤S4.2至S4.5;
S4.6:将Elman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为最终的Elman神经网络的权值及阈值,得到优化后的Elman神经网络。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:在目标检测方面,本方法提高了前景检测率,极大地减少了噪声带来的影响,很大程度保留了目标的轮廓和原形。在轨迹预测方面,本方法的预测误差较小,预测轨迹更贴近真实轨迹,网络训练能力较强,具有很好的预测效果。
附图说明
图1是本发明方法的流程图;
图2是3种不同方法的前景检测率对比图;
图3是粒子群优化算法粒子适应度变化图;
图4是6种不同方法的累积预测误差值对比图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于图像处理的移动目标检测与轨迹预测方法,如图1所示,包含以下步骤:
S1:获取由固定摄像机拍摄的包含移动目标的视频图像数据集,进行移动目标检测与轨迹预测;
S2:在目标检测提取阶段对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位;
S3:在Kalman优化阶段,利用粒子群优化算法对Kalman滤波算法中的噪声点进行改进,并将优化后的噪声点作为新的噪声点,将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标;
S4:在Elman优化阶段,利用粒子群优化算法对Elman神经网络中的权值、阈值进行改进,并将优化后的权值、阈值作为网络新的权值、阈值,将步骤S2得到的量化值融合步骤S3得到的Kalman预测位置坐标作为Elman神经网络的输入参数,对应的真实位置坐标作为网络的输出值,训练神经网络,得到优化后的Elman神经网络;
S5:将移动目标最新的图像数据经过步骤S2所述量化处理,得到目标特征及其量化值;将图像数据中移动目标的位置数据作为步骤S3所述优化后的Kalman滤波算法的输入参数,运行该算法,得到算法输出的预测位置坐标;将所述量化值融合Kalman预测位置坐标作为优化后的Elman神经网络输入参数,运行该神经网络,得到网络输出的预测位置坐标;
S6:根据步骤S5预测的位置坐标在一段时间内的集合构成了预测的轨迹,即实现了移动目标的轨迹预测。
步骤S2所述目标检测提取阶段,对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位,方法如下:
S2.1:通过对移动目标进行检测和特征提取,从而定位到移动目标;所述目标检测分为主体检测部分和细节检测部分;
所述主体检测部分是对移动目标采用高斯混合模型这一前景提取方法,建立高斯混合模型,通过输入目标图像与背景图像,进行运算和分割,从而初步检测到移动目标,获得前景图像;并通过中值滤波和高斯滤波结合的滤波降噪操作消除前景图像中的脉冲噪声和高斯噪声;背景差分法、GMM方法以及本发明方法的前景检测率对比如图2所示;由图示可得,与背景差分法、GMM方法相比,本发明方法的前景检测率更具有优势;
所述细节检测部分是根据主体检测得到的前景图像进行图像处理,包括边缘检测、滤波降噪、形态学处理和目标区域标记;所述边缘检测,是指采用二阶Canny算子进行图像检测;所述滤波降噪,是指采用中值滤波和高斯滤波结合降噪的方法消除脉冲噪声和高斯噪声;所述形态学处理操作,是指采用膨胀和腐蚀相结合的方法填充在图像处理过程中可能产生的空洞;所述目标区域标记,是指采用连通区域标记法进行检测标记,即在细节检测最终得到的前景图像中,通过判断前景图像中的各个像素点以及与该像素点自身相邻像素点的连通程度,获取包围该目标区域的最小矩形,并最终定位到移动目标,获取到目标特征信息;
所述细节检测方法如下:首先利用Canny算子检测背景边缘和当前帧f的图像边缘,产生的二值边缘图像分别记为Af和Bf;然后添加空白图像Cf,大小与Af和Bf均相同,若Af中的像素坐标(j,d)对应于Bf中有:Af(j,d)=Bf(j,d),那么Cf(j,d)=0;否则Cf(j,d)=1,以此计算所有像素点,直到最后产生完整的、更新的二值图像Cf;其次将前景图像Ff与更新后的二值图像Cf中的每一个像素进行加法运算,得到新图像Df;再将前景图像Ff与图像Df中的每一个像素进行加法运算,得到新前景图像Gf;最后对新前景图像Gf进行滤波降噪和形态学处理,得到最终前景图像Hf;对最终前景图像Hf进行目标区域标记,获取包围该目标区域的最小矩形,定位到该移动目标,获取到当前帧图像中的目标特征信息;
S2.2:根据步骤S2.1提取出的移动目标特征进行量化处理,即目标特征量化,所述量化的目标特征包括目标的几何特征和运动特征;
所述几何特征用于描述目标的图像特性,包含围成区域的最小矩形面积、区域图像中实际的像素个数、凸区域图像中的像素个数;
所述运动特征用于描述目标的位置及运动状况,包含质心坐标、最小矩形的位置信息、移动目标的平均速度、平均加速度、位移。
步骤S2.1中,在确定输入高斯混合模型的背景图像时,取连续n帧的背景图像进行平均化处理,并将平均化处理后的背景图像作为输入高斯混合模型的背景图像,平均化处理公式如下:
式中,Bn表示第n帧的背景图像。
步骤S2.2所述量化处理如下:
所述几何特征用于描述目标的图像特性,包含区域图像不同表示方法的集合,表示为:
G={S1,S2,S3|Rs∈S1} (2)
其中,S1表示围成区域的最小矩形面积;S2表示区域图像中实际的像素个数;S3表示凸区域图像中的像素个数;Rs表示最小矩形的大小信息,包括最小矩形的长Ls和宽Ws
所述运动特征用于描述目标的位置及运动状况,包含位置坐标与运动变量的集合,表示为:
其中,C表示质心坐标;Rp表示最小矩形的位置信息;分别表示移动目标在水平和竖直方向上的平均速度;分别表示移动目标在水平和竖直方向上的平均加速度;Xx和Xy分别表示水平和竖直位移;X表示总位移。
步骤S3所述Kalman优化阶段,得到Kalman滤波算法输出的预测位置坐标,方法如下:
S3.1:对Kalman滤波算法中的初始噪声点进行编码;设Kalman滤波算法的输入参数,即视频图像数据集中的目标位置数据有m个,则产生m个初始噪声点,并得到大小为1行m列的矩阵,作为粒子群优化算法的初始粒子值;
S3.2:运行Kalman滤波算法,得到第m-1个目标数据的预测位置坐标并与目标数据的真实位置坐标进行误差计算,计算结果作为Kalman优化阶段粒子群优化算法的粒子适应度fit1,表示为:
S3.3:运行粒子群优化算法,根据步骤S3.2得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S3.4;否则,更新粒子的位置及其速度,并将更新后的粒子作为Kalman滤波算法的新的噪声点,重复步骤S3.2至S3.3;粒子群优化算法粒子适应度变化如图3所示,由图示可得,随着迭代次数的递增,粒子适应度趋于稳定;
S3.4:将Kalman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为Kalman滤波算法的最终噪声点;将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标。
步骤S3.3中,更新粒子的速度与位置的公式如下:
S1=c1*r1*(best1-X(i-1)) (5)
S2=c2*r2*(best2-X(i-1)) (6)
V(i)=W*V(i-1)+S1+S2 (7)
X(i)=X(i-1)+V(i) (8)
其中,S1和S2分别表示自身增益和全局增益,c1和c2分别表示个体学习因子和全局学习因子,r1和r2表示在0~1之间的随机数,best1和best2分别表示当前粒子的个体最佳位置和全局最佳位置,V(i)和X(i)分别表示更新后粒子的速度和位置,V(i-1)和X(i-1)分别表示更新前粒子的速度和位置,W表示权重。
步骤S4所述得到优化后的Elman神经网络,方法如下:
S4.1:对Elman神经网络中的输入层、隐含层、联系单元层以及输出层之间关连的初始权值及阈值进行编码;设Elman神经网络的输入层有a个节点,隐含层有b个节点,输出层有c个节点,则网络权值共有(a*b+b*c)个,阈值共有(b+c)个,得到大小为1行(a*b+b*c+b+c)列的矩阵,作为粒子群优化算法的初始粒子值;
S4.2:设视频图像数据集有F张图像,选取视频图像数据集中时刻较前的P张图像作为训练样本,视频图像数据集的剩余F-P张图像作为测试样本;将训练样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将训练样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为Elman神经网络的训练输入参数,对应的真实位置坐标作为训练输出值,对Elman神经网络进行训练;
S4.3:Elman神经网络训练完成后,将测试样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将测试样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为训练后的Elman神经网络的输入参数,得到神经网络输出值,将测试样本中移动目标的真实位置坐标与神经网络输出值进行比较,判断网络训练是否达到预期,如果未达到预期,返回步骤S4.2继续训练;否则,输出测试样本中第F-P-1张图像的移动目标的神经网络预测位置坐标,进入步骤S4.4;
S4.4:将步骤S4.3输出的目标预测位置坐标与目标的真实位置坐标进行误差计算,计算结果作为Elman优化阶段粒子群优化算法的粒子适应度fit2,表示为:
S4.5:运行粒子群优化算法,根据步骤S4.4得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S4.6;否则,更新粒子的位置及其速度,并将更新后的粒子作为Elman神经网络新的权值及阈值,重复步骤S4.2至S4.5;
S4.6:将Elman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为最终的Elman神经网络的权值及阈值,得到优化后的Elman神经网络。
Kalman算法、Kalman优化算法、Elman算法以及本发明方法中的粒子群优化算法分别选取5粒子、10粒子、20粒子时的累积预测误差值对比如图4所示。

Claims (8)

1.一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:该方法包括如下步骤:
S1:获取由固定摄像机拍摄的包含移动目标的视频图像数据集,进行移动目标检测与轨迹预测;
S2:在目标检测提取阶段,对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位;
S3:在Kalman优化阶段,利用粒子群优化算法对Kalman滤波算法中的噪声点进行改进,并将优化后的噪声点作为新的噪声点,将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标;
S4:在Elman优化阶段,利用粒子群优化算法对Elman神经网络中的权值、阈值进行改进,并将优化后的权值、阈值作为网络新的权值、阈值,将步骤S2得到的量化值融合步骤S3得到的Kalman预测位置坐标作为Elman神经网络的输入参数,对应的真实位置坐标作为网络的输出值,训练神经网络,得到优化后的Elman神经网络;
S5:将移动目标最新的图像数据经过步骤S2所述量化处理,得到目标特征及其量化值;将图像数据中移动目标的位置数据作为步骤S3所述优化后的Kalman滤波算法的输入参数,运行该算法,得到算法输出的预测位置坐标;将所述量化值融合Kalman预测位置坐标作为优化后的Elman神经网络输入参数,运行该神经网络,得到网络输出的预测位置坐标;
S6:根据步骤S5预测的位置坐标在一段时间内的集合构成了预测的轨迹,即实现了移动目标的轨迹预测。
2.根据权利要求1所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S2所述目标检测提取阶段,对输入的视频图像数据集进行预处理,利用目标检测方法获取图像目标特征及其量化值,以对移动目标进行准确检测和定位,方法如下:
S2.1:通过对移动目标进行检测和特征提取,从而定位到移动目标;所述目标检测分为主体检测部分和细节检测部分;
所述主体检测部分是指建立高斯混合模型,通过输入目标图像与背景图像,进行运算和分割,从而初步检测到移动目标,获得前景图像;并通过中值滤波和高斯滤波结合的滤波降噪操作消除前景图像中的脉冲噪声和高斯噪声;
所述细节检测部分是根据主体检测得到的前景图像进行图像处理,包括边缘检测、滤波降噪、形态学处理和目标区域标记;
S2.2:根据步骤S2.1提取出的移动目标特征进行量化处理,即目标特征量化,所述量化的目标特征包括目标的几何特征和运动特征。
3.根据权利要求2所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S2.1中,在确定输入高斯混合模型的背景图像时,取连续n帧的背景图像进行平均化处理,并将平均化处理后的背景图像作为输入高斯混合模型的背景图像,平均化处理公式如下:
式中,Bn表示第n帧的背景图像。
4.根据权利要求2所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S2.1中,所述细节检测方法如下:
首先利用Canny算子检测背景边缘和当前帧f的图像边缘,产生的二值边缘图像分别记为Af和Bf;然后添加空白图像Cf,大小与Af和Bf均相同,若Af中的像素坐标(j,d)对应于Bf中有:Af(j,d)=Bf(j,d),那么Cf(j,d)=0;否则Cf(j,d)=1,以此计算所有像素点,直到最后产生完整的、更新的二值图像Cf;其次将前景图像Ff与更新后的二值图像Cf中的每一个像素进行加法运算,得到新图像Df;再将前景图像Ff与图像Df中的每一个像素进行加法运算,得到新前景图像Gf;最后对新前景图像Gf进行滤波降噪和形态学处理,得到最终前景图像Hf;对最终前景图像Hf进行目标区域标记,获取包围该目标区域的最小矩形,定位到该移动目标,获取到当前帧图像中的目标特征信息。
5.根据权利要求4所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S2.2所述量化处理如下:
所述几何特征用于描述目标的图像特性,包含区域图像不同表示方法的集合,表示为:
G={S1,S2,S3|Rs∈S1} (2)
其中,S1表示围成区域的最小矩形面积;S2表示区域图像中实际的像素个数;S3表示凸区域图像中的像素个数;Rs表示最小矩形的大小信息,包括最小矩形的长Ls和宽Ws
所述运动特征用于描述目标的位置及运动状况,包含位置坐标与运动变量的集合,表示为:
其中,C表示质心坐标;Rp表示最小矩形的位置信息;分别表示移动目标在水平和竖直方向上的平均速度;分别表示移动目标在水平和竖直方向上的平均加速度;Xx和Xy分别表示水平和竖直位移;X表示总位移。
6.根据权利要求1-5任一所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S3所述Kalman优化阶段,得到Kalman滤波算法输出的预测位置坐标,方法如下:
S3.1:对Kalman滤波算法中的初始噪声点进行编码;设Kalman滤波算法的输入参数,即数据集中移动目标的位置数据有m个,则产生m个初始噪声点,并得到大小为1行m列的矩阵,作为粒子群优化算法的初始粒子值;
S3.2:运行Kalman滤波算法,得到第m-1个目标数据的预测位置坐标并与目标数据的真实位置坐标进行误差计算,计算结果作为Kalman优化阶段粒子群优化算法的粒子适应度fit1,表示为:
S3.3:运行粒子群优化算法,根据步骤S3.2得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S3.4;否则,更新粒子的位置及其速度,并将更新后的粒子作为Kalman滤波算法的新的噪声点,重复步骤S3.2至S3.3;
S3.4:将Kalman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为Kalman滤波算法新的噪声点;将视频图像数据集中移动目标的位置数据作为Kalman滤波算法的输入参数,运行优化后的Kalman滤波算法,得到算法输出的预测位置坐标。
7.根据权利要求6所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S3.3中,更新粒子的速度与位置的公式如下:
S1=c1*r1*(best1-X(i-1)) (5)
S2=c2*r2*(best2-X(i-1)) (6)
V(i)=W*V(i-1)+S1+S2 (7)
X(i)=X(i-1)+V(i) (8)
其中,S1和S2分别表示自身增益和全局增益,c1和c2分别表示个体学习因子和全局学习因子,r1和r2表示在0~1之间的随机数,best1和best2分别表示当前粒子的个体最佳位置和全局最佳位置,V(i)和X(i)分别表示更新后粒子的速度和位置,V(i-1)和X(i-1)分别表示更新前粒子的速度和位置,W表示权重。
8.根据权利要求1-5任一所述的一种基于图像处理的移动目标检测与轨迹预测方法,其特征在于:步骤S4所述得到优化后的Elman神经网络方法如下:
S4.1:对Elman神经网络中的输入层、隐含层、联系单元层以及输出层之间关连的初始权值及阈值进行编码;设Elman神经网络的输入层有a个节点,隐含层有b个节点,输出层有c个节点,则网络权值共有(a*b+b*c)个,阈值共有(b+c)个,得到大小为1行(a*b+b*c+b+c)列的矩阵,作为粒子群优化算法的初始粒子值;
S4.2:设视频图像数据集有F张图像,选取视频图像数据集中时刻较前的P张图像作为训练样本,视频图像数据集的剩余F-P张图像作为测试样本;将训练样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将训练样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为Elman神经网络的训练输入参数,对应的真实位置坐标作为训练输出值,对Elman神经网络进行训练;
S4.3:Elman神经网络训练完成后,将测试样本经过步骤S2所述量化处理,得到目标特征及其量化值;同时将测试样本输入步骤S3所述优化后的Kalman滤波算法,得到Kalman算法输出的预测位置坐标;将获取的目标特征的量化值和Kalman预测位置坐标进行参数组合,将组合参数作为训练后的Elman神经网络的输入参数,得到神经网络输出值,将测试样本中移动目标的真实位置坐标与神经网络输出值进行比较,判断网络训练是否达到预期,如果未达到预期,返回步骤S4.2继续训练;否则,输出测试样本中第F-P-1张图像的移动目标的神经网络预测位置坐标,进入步骤S4.4;
S4.4:将步骤S4.3输出的目标预测位置坐标与目标的真实位置坐标进行误差计算,计算结果作为Elman优化阶段粒子群优化算法的粒子适应度fit2,表示为:
S4.5:运行粒子群优化算法,根据步骤S4.4得到的粒子适应度,计算得到粒子的个体最佳位置以及全局最佳位置,并判断是否达到在粒子群优化算法中设置的最大迭代次数,如果达到,则输出最优解,进入步骤S4.6;否则,更新粒子的位置及其速度,并将更新后的粒子作为Elman神经网络新的权值及阈值,重复步骤S4.2至S4.5;
S4.6:将Elman优化阶段粒子群优化算法的最优解对应的粒子进行解码,并作为最终的Elman神经网络的权值及阈值,得到优化后的Elman神经网络。
CN201910342569.9A 2019-04-26 2019-04-26 一种基于图像处理的移动目标检测与轨迹预测方法 Active CN110223317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910342569.9A CN110223317B (zh) 2019-04-26 2019-04-26 一种基于图像处理的移动目标检测与轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910342569.9A CN110223317B (zh) 2019-04-26 2019-04-26 一种基于图像处理的移动目标检测与轨迹预测方法

Publications (2)

Publication Number Publication Date
CN110223317A true CN110223317A (zh) 2019-09-10
CN110223317B CN110223317B (zh) 2023-04-07

Family

ID=67819979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910342569.9A Active CN110223317B (zh) 2019-04-26 2019-04-26 一种基于图像处理的移动目标检测与轨迹预测方法

Country Status (1)

Country Link
CN (1) CN110223317B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672328A (zh) * 2019-11-05 2020-01-10 大连理工大学 一种基于随机配置网络的涡扇发动机健康参数估计方法
CN110991268A (zh) * 2019-11-13 2020-04-10 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN111460964A (zh) * 2020-03-27 2020-07-28 浙江广播电视集团 一种广电传输机房低照度条件下运动目标检测方法
CN112287737A (zh) * 2020-04-10 2021-01-29 福建电子口岸股份有限公司 一种码头港口图像目标检测优化算法
CN112950984A (zh) * 2021-02-02 2021-06-11 陕西煤业新型能源科技股份有限公司 一种基于车联网的共享停车服务方法及系统
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN113284159A (zh) * 2021-07-20 2021-08-20 深圳大圆影业有限公司 一种基于互联网的图像优化处理装置及处理方法
CN113658212A (zh) * 2021-08-13 2021-11-16 青岛科技大学 图像预测的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500366A (zh) * 2013-09-29 2014-01-08 上海电机学院 一种短期风电功率预测系统及方法
CN108665112A (zh) * 2018-05-16 2018-10-16 东华大学 基于改进粒子群优化Elman网络的光伏故障检测方法
CN108682023A (zh) * 2018-03-21 2018-10-19 南京理工大学 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500366A (zh) * 2013-09-29 2014-01-08 上海电机学院 一种短期风电功率预测系统及方法
CN108682023A (zh) * 2018-03-21 2018-10-19 南京理工大学 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法
CN108665112A (zh) * 2018-05-16 2018-10-16 东华大学 基于改进粒子群优化Elman网络的光伏故障检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672328A (zh) * 2019-11-05 2020-01-10 大连理工大学 一种基于随机配置网络的涡扇发动机健康参数估计方法
CN110672328B (zh) * 2019-11-05 2020-08-14 大连理工大学 一种基于随机配置网络的涡扇发动机健康参数估计方法
CN110991268A (zh) * 2019-11-13 2020-04-10 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN110991268B (zh) * 2019-11-13 2022-05-20 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN113011433B (zh) * 2019-12-20 2023-10-13 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN111460964A (zh) * 2020-03-27 2020-07-28 浙江广播电视集团 一种广电传输机房低照度条件下运动目标检测方法
CN112287737A (zh) * 2020-04-10 2021-01-29 福建电子口岸股份有限公司 一种码头港口图像目标检测优化算法
CN112287737B (zh) * 2020-04-10 2023-06-06 福建电子口岸股份有限公司 一种码头港口图像目标检测优化算法
CN112950984A (zh) * 2021-02-02 2021-06-11 陕西煤业新型能源科技股份有限公司 一种基于车联网的共享停车服务方法及系统
CN113284159A (zh) * 2021-07-20 2021-08-20 深圳大圆影业有限公司 一种基于互联网的图像优化处理装置及处理方法
CN113658212A (zh) * 2021-08-13 2021-11-16 青岛科技大学 图像预测的方法

Also Published As

Publication number Publication date
CN110223317B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110223317A (zh) 一种基于图像处理的移动目标检测与轨迹预测方法
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN106875424B (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
WO2018214195A1 (zh) 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109446970A (zh) 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN109934848A (zh) 一种基于深度学习的运动物体精准定位的方法
CN106919902B (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
Wang et al. A unified framework for mutual improvement of SLAM and semantic segmentation
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
CN1201910A (zh) 目标跟踪方法及其设备
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN110889844A (zh) 一种基于深度聚类分析的珊瑚分布及健康状况评估方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
Li et al. A deep learning-based fine crack segmentation network on full-scale steel bridge images with complicated backgrounds
CN101719279A (zh) 星空图像背景运动估计方法
CN107230219A (zh) 一种单目机器人上的目标人发现与跟随方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant