CN110517288A - 基于全景多路4k视频图像的实时目标检测跟踪方法 - Google Patents
基于全景多路4k视频图像的实时目标检测跟踪方法 Download PDFInfo
- Publication number
- CN110517288A CN110517288A CN201910665691.XA CN201910665691A CN110517288A CN 110517288 A CN110517288 A CN 110517288A CN 201910665691 A CN201910665691 A CN 201910665691A CN 110517288 A CN110517288 A CN 110517288A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- frame
- region
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于全景多路4k视频图像的实时目标检测跟踪方法，主要解决现有技术中的全景多路4k图像处理处理速度慢、目标跨多路摄像机错检漏检和目标检测跟踪稳定性低的问题。首先对全景视频图像进行长时间目标概率统计，实现区域重要性划分及背景建模参数阈值设定；然后，对全景视频图像进行自适应背景建模，获取场景前景目标候选区域；接着采用对前景目标候选进行融合与处理，形成候选目标点迹；最后采用动态航迹管理实现全景视频的多目标稳定跟踪。本发明可以用于机场远程塔台监视、全景视频增强、道路交通车辆检测等领域，目标检测跟踪性能优异。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及基于全景多路4k视频图像的实时目标检测跟踪方法。
背景技术
目标检测是通过计算机视觉算法从图像中提取出感兴趣的目标。目标检测作为图像处理中的重要的分支，在各个领域都有着十分广泛的应用。在实际的检测场景中，由于外界复杂且不稳定的环境，干扰繁多，给目标检测带来了诸多的难题。实现准确稳定实时的目标检测与跟踪具有十分重要的研究意义。
张天宇在专利“时空多尺度运动目标检测方法”中提出了一种多尺度目标检测方法，将图像进行分块利用运动区域内最优差分间隔实现目标检测与跟踪，该方法在复杂场景下鲁棒性低，显著性差异判定准则难以适应多个场景。Zdenek Kalal,KrystianMikolajczyk等人在“Tracking-Learning-Detection”中提出了一种对视频中单个目标检测与跟踪方法，利用帧间信息差异将检测与跟踪结合起来，实现对目标样本的在线学习，该方法提出的中值光流法需要进行目标初始化，跟踪修正固定很难保证与检测器同步。杨艳爽，蒲宝明在“基于改进SUSAN算法的移动车辆检测”中提出了自适应阈值的SUSAN检测到车辆目标边界方法，利用直方图变换与霍夫变换结合提取目标连通域，实现对车辆目标与背景的分离，该方法的实时性较差且在复杂场景中自适应阈值将很难有效完成目标分割。
发明内容
针对现有的技术的不足之处，本发明为解决现有目标检测与跟踪技术实时性差和稳定性不足的问题，提出了基于全景多路4k视频图像的实时目标检测跟踪方法，目标检测与跟踪性能优异且易于工程上的实现。
本发明提供的基于全景多路4k视频图像的实时目标检测跟踪方法包括以下步骤：
步骤1，将全景多路4k视频图像划分成n个区域，对各个区域分别进行多帧目标统计，根据目标统计概率对全景视频各个区域进行等级划分，并根据各个区域的等级完成背景建模参数阈值设定；
步骤2，对全景视频图像进行中值滤波，初始化背景模型，通过背景的动态变换程度自适应地调整背景建模参数阈值，完成背景更新，然后对闪烁像素点进行处理，完成背景图像生成，最后利用帧差操作实现前景候选目标区域图像生成；
步骤3，对候选目标区域图像进行中值滤波，利用形态学相关操作完成增强候选目标区域提取，计算增强候选目标区域的连通域及连通域最小外接矩形，通过目标形状特征剔除虚假候选目标框，形成目标点迹；
步骤4，对全景视频图像进行连续多帧检测获取目标点迹，通过判断目标点迹与目标航迹的绝对距离、多路视频交叉覆盖状态进行目标动态航迹管理，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。
步骤1包括：
步骤1-1，根据全景视频图像尺寸和场景覆盖情况(划分的准则就是单区域不超过1920*1080，4k视频图像刚好分为16个)，将全景视频图像划分成n个区域Sn，第n个区域记为Sn，每个区域的区域宽度小于等于1920(像素)，区域高度大于等于1080(像素)；
步骤1-2，利用帧差法(参考文献：ZHOU Y，JI J，SONG K.A Moving TargetDetection Method Based on Improved Frame Difference Background Modeling[J].Open Cybernetics&Systemics Journal，2014)统计K帧视频图像中运动目标在全景视频图像中出现的频率，根据运动目标出现频率的高低，以目标出现频率高低将n个区域划分为A、B、C、D四个等级，其中K1帧以上视频图像存在运动目标的区域为A等级图像区域，K2帧以上K1帧以下视频图像存在运动目标的区域为B等级图像区域，K3帧以上K2帧以下视频图像存在运动目标的区域为C等级图像区域，K4帧以上K3帧以下视频图像存在运动目标的区域为D等级图像区域；
步骤1-3，对相邻等级图像区域进行合并，并分别记录各个区域对应全景位置坐标，第n个Sn对应全景位置坐标为(xn,yn,wn,hn)，其中(xn,yn)为第n个区域Sn位置的左上角坐标wn,hn分别表示第n个区域Sn的宽和高。
步骤1-4，分别对n个区域设置相对应背景建模参数阈值，第n个区域Sn相对应的背景建模参数阈值为Tn。
步骤2包括：
步骤2-1，对全景视频图像进行快速中值滤波(ZHANG Li，CHEN Zhi-qiang，GAOWen-huan，et al.Mean-based fast median filter[J].Journal of TsinghuaUniversity:Science and Technology，2004，44(9):1157－1159.)，消除背景噪声影响；
步骤2-2，初始化全景视频图像的背景模型，背景模型建模方法采用ViBE(VisualBackground Extractor，BARNICH O，DROOGENBROECK M V.ViBe:A universal backgroundsubtraction algorithm for video sequences[J].IEEE Transactions on ImageProcessing，2011，20(06):1709-1724.)，其中将背景建模参数阈值Tn设定为ViBE算法中欧式距离阈值。
步骤2-3，根据背景的动态变换程度自适应地调整背景建模参数阈值Tn完成背景模型更新。背景建模参数阈值Tn用于判定像素点是否属于背景，过大或过小都会影响背景建模的质量，为精确刻画目标运动状态，采用动态变换程度自适应地调整阈值，定义背景变换参数φ(x，y)为：
其中f(i,j)为当前帧在位置(i,j)的像素值，d(i,j)为背景模型在位置(i,j)的像素值，M为当前帧图像的宽度，N为当前帧图像的高度。
设定背景变换因子参数μ，对于当前像素值与背景模型匹配成功时，计算φ(x，y)的值，若当前为静态场景φ(x，y)趋于稳定值，若对于动态场景，φ(x，y)较大，背景建模参数阈值Tn的自适应更新则根据下式进行：
其中Tn'为自适应调节后的阈值，β为动态调节因子，μ和β均为固定参数。
步骤2-4，对背景模型中的闪烁像素点进行处理，完成背景图像生成。闪烁像素点具体处理方法：对于背景建模中生成的背景图像中的像素点，背景图像中某个像素点经常在背景点和前景点来回跳动，构建闪烁像素点的索引层级表，如果所述像素点属于背景图像的边缘轮廓点(参考文献：Kass M,Witkin A,Terzopoulos D.Snakes:Active contourmodels[J].International Journal of Computer Vision,1988,1(4):321-331.)，但不同于上一帧背景图像中边缘轮廓点，则闪烁频率等级增加否则闪烁频率等级减少如果连续K帧背景图像某一像素点闪烁频率等级大于SNK，则判断所述像素点为闪烁像素点，将闪烁像素点从更新背景图像上移除。
步骤2-5，利用全景视频图像与步骤2-4中得到的背景图像进行做差，生成候选目标图像Imobj，候选目标区域就是候选目标图像。
步骤3包括：
步骤3-1，对候选目标图像Imobj进行快速中值滤波(ZHANG Li，CHEN Zhi-qiang，GAO Wen-huan，et al.Mean-based fast median filter[J].Journal of TsinghuaUniversity:Science and Technology，2004，44(9):1157－1159.)生成图像Immf；
步骤3-2，对滤波后图像Immf进行形态学膨胀(Haralick R.Zhunag X.Imageanalysis using mathematical morphology[J].IEEE Trans.On Pattern Analysis andMachine Intelligence1987,9(4):532-550.)操作生成图像Imdo，然后图像Imdo与候选目标图像Imobj进行与操作生成增强候选目标图像Imobj2；
步骤3-3，对图像Imobj2进行形态学闭操作(Haralick R.Zhunag X.Imageanalysis using mathematical morphology[J].IEEE Trans.On Pattern Analysis andMachine Intelligence 1987,9(4):532-550.)，提取候选目标的连通域，计算连通域的最小外接矩形，提取候选目标框；
步骤3-4，计算候选目标框的形状特征，所述形状特征包括目标框的宽度obj_w、高度obj_h及宽高比obj_wh，判断当前候选目标框的形状特征是否满足obj_w>w0、obj_h>h0、obj_wh≥wh0及obj_wh≤wh1，若不满足上述要求，则判断当前候选目标框为虚假目标，并进行删除；将满足要求的候选目标框生成目标点迹，其中w0为目标框宽度阈值，h0为目标框高度阈值，wh1、wh0分别为目标宽高比高阈值、目标宽高比低阈值；所述目标点迹包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积。
步骤4包括：
步骤4-1，将第一帧全景视频图像提取到的目标点迹Poi生成目标航迹Tri，具体操作方法为：将目标点迹结构体自动生成的批号BN放入到目标航迹结构体向量，批号BN自动进行累加，且满足1≤BN≤9999，所述目标航迹包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积；
步骤4-2，分别计算下一帧全景视频图像提取的目标点迹Poi+1与目标航迹Tri的绝对距离Di+1，所述绝对距离Di+1的计算公式为：
其中，Poi+1(x)为目标点迹的横坐标，Poi+1(y)为目标点迹的纵坐标，Tri(x)为目标航迹的横坐标，Tri(y)为目标航迹的纵坐标；
若Di+1≤DT，将目标点迹Poi+1加入到目标航迹Tri；若Di+1＞DT，则将目标点迹Poi+1按照步骤4-1重新生成新的目标航迹Tri+1，其中DT为绝对距离判断阈值；
步骤4-3，根据航迹信息判断当前目标是否处于多路视频交叉覆盖状态，采用快速相关滤波方法(Henriques J F，Rui C，Martins P，et al.High-speed tracking withkernelized correlation filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2015，37(3):583-596.)对属于跨屏目标进行航迹管理。
步骤4-3中，所述根据航迹信息判断当前目标是否处于多路视频交叉覆盖状态，包括：当目标在第i帧全景视频图像Ii中的水平方向上的位置大于阈值w1时，且目标水平方向的航迹速度为正时，同时，当目标在第i+1帧全景视频图像Ii+1中的水平方向上的位置小于阈值w2时，且目标水平方向的航迹速度为负时，此时判定目标航迹达到图像边缘处，即处于多路视频交叉覆盖状态，其中全景视频图像Ii和Ii+1为相邻连续图像。
步骤4-4，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。
步骤4-4包括：存储连续Nk帧全景视频图像的航迹数据，将当前帧的航迹数据和其前Nk-1帧预测航迹数据进行加权平均生成矫正后的航迹数据具体操作如下：
其中，x为航迹数据中的目标水平位置坐标，y为航迹数据中的目标垂直位置坐标，w为航迹数据中的目标宽度，h为航迹数据中的目标高度，σ1和σ2为加权因子，满足σ1+σ2＝1。
有益效果：本发明公开了一种基于全景多路4k超高清视频图像的实时目标检测和跟踪方法，解决了全景目标检测和跟踪的虚警率高、鲁棒性低的问题。采用区域分块处理完成对背景建模阈值设定，接着实现自适应背景建模提取候选目标区域和点迹，最后采用动态航迹管理实现全景视频的多目标稳定跟踪。本发明在多种场景下进行验证测试，目标检测和跟踪性能优异，目标检测率大于90％，平均处理时间低于40ms，充分验证了本发明的有效性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是根据本发明方法的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
结合图1所示，根据本发明的实施例，基于多路4k视频图像的实时目标检测和跟踪方法包括以下步骤：
步骤1，将全景4路4k视频图像划分成16个区域，对16个区域分别进行多帧目标统计，根据目标统计概率对全景视频各个区域进行等级划分，并根据16个区域的等级完成对16个区域背景建模参数阈值设定；
步骤2，对全景视频图像进行快速中值滤波，初始化背景模型，通过背景的动态变换程度自适应地调整背景建模参数阈值完成背景更新，然后对闪烁像素点进行处理，完成背景图像生成，，最后利用帧差操作实现前景目标候选区域提取；
步骤3，对候选目标区域图像进行快速中值滤波，利用形态学相关操作完成增强目标区域提取，计算增强候选目标区域的连通域及连通域最小外接矩形，通过目标形状特征剔除虚假候选目标框，形成目标点迹；
步骤4，对全景视频进行连续多帧检测获取目标点迹，通过判断目标点迹与目标航迹的绝对距离、多路视频交叉覆盖状态进行目标动态航迹管理，，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。
本发明中，步骤1包括：
步骤1-1，根据全景4路4k视频图像尺寸和场景覆盖情况，将全景视频图像划分成16个区域，区域的宽高为Wn×Hn，其中区域宽度Wn≤1920，区域高度Hn≤1080；
步骤1-2，利用帧差法(ZHOU Y，JI J，SONG K.A Moving Target DetectionMethod Based on Improved Frame Difference Background Modeling[J].OpenCybernetics&Systemics Journal，2014)统计200000帧视频图像中运动目标在全景视频图像中出现的频率，根据运动目标出现频率的高低，以目标出现频率高低将区域Sn划分为A、B、C、D四个等级，其中20000帧以上视频图像存在运动目标的区域为A等级图像区域，10000帧以上20000帧以下视频图像存在运动目标的区域为B等级图像区域，5000帧以上10000帧以下视频图像存在运动目标的区域为C等级图像区域，1000帧以上5000帧以下视频图像存在运动目标的区域为D等级图像区域，其中区域Sn中n取值范围为[1,16]；每个区域只有一个等级，每个等级对应一个阈值，因此16个区域共16个阈值；
步骤1-3，对相邻等级区域进行合并，并分别记录各个区域Sn对应全景位置坐标(xn,yn,wn,hn)，其中(xn,yn)为区域Sn位置坐标以左上角坐标，(wn,hn)为区域Sn的宽高。
步骤1-4，分别对区域Sn对应等级设置相对应背景建模参数阈值Tn，Tn一般取值为TnA＝30、TnB＝25、TnC＝20和TnD＝15，其中TnA、TnB、TnC、TnD分别表示等级为A、B、C、D区域Sn设置的阈值，若S1区域200000帧视频中22000帧视频图像出现运动目标，则T1＝30。
本发明中，步骤2包括：
步骤2-1，对全景视频图像进行快速中值滤波(ZHANG Li，CHEN Zhi-qiang，GAOWen-huan，et al.Mean-based fast median filter[J].Journal of TsinghuaUniversity:Science and Technology，2004，44(9):1157－1159.)，消除背景噪声影响；
步骤2-2，初始化全景视频的背景模型，背景模型建模方法采用ViBE(VisualBackground Extractor，BARNICH O，DROOGENBROECK M V.ViBe:A universal backgroundsubtraction algorithm for video sequences[J].IEEE Transactions on ImageProcessing，2011，20(06):1709-1724.)，其中将背景建模参数阈值Tn设定为ViBE算法中欧式距离阈值，Tn默认值为20。
步骤2-3，根据背景的动态变换程度自适应地调整背景建模参数阈值Tn完成背景模型更新。背景建模参数阈值Tn用于判定像素点是否属于背景，过大或过小都会影响背景建模的质量，为精确刻画目标运动状态，采用动态变换程度自适应地调整阈值，定义背景变换参数φ(x，y)：
其中f(i,j)为当前帧在(i,j)的像素值，d(i,j)为背景模型在(i,j)的像素值，M为当前帧图像的宽度，N为当前帧图像的高度，M＝3840，N＝2160。设定背景变换因子参数μ，对于当前像素值与背景模型匹配成功时，计算φ(x，y)的值，若当前为静态场景φ(x，y)趋于稳定值，若对于动态场景，φ(x，y)较大，背景建模参数阈值Tn的自适应更新则根据下式进行：
其中Tn'为自适应调节后的阈值，β为动态调节因子，μ和β均为固定参数，μ一般取值为0.8，β一般取值为0.2。
步骤2-4，对背景模型中的闪烁像素点进行处理，完成背景图像生成。闪烁像素点具体处理方法：对于背景建模中生成的背景图，背景图中某个像素点经常在背景点和前景点来回跳动，构建闪烁像素点的索引层级表，对于属于背景图像的边缘轮廓点(Kass M,Witkin A,Terzopoulos D.Snakes:Active contour models[J].International Journalof Computer Vision,1988,1(4):321-331.)不同于上一帧背景图像中边缘轮廓点时闪烁频率等级增加相同与像素边缘轮廓点则闪烁频率等级减少如果连续K背景图像某像素点频率等级大于SNK，则判断当前像素点为闪烁像素点，将其从更新背景图像上移除。其中K＝50，SNK＝10。
步骤2-5，利用原始图像与单帧提取的背景图像进行做差，生成候选目标图像Imobj，完成候选目标提取。
本发明中，步骤3包括：
步骤3-1，对候选目标图像Imobj进行快速中值滤波(ZHANG Li，CHEN Zhi-qiang，GAO Wen-huan，et al.Mean-based fast median filter[J].Journal of TsinghuaUniversity:Science and Technology，2004，44(9):1157－1159.)生成图像Immf；
步骤3-2，对滤波后图像Immf进行形态学膨胀操作生成图像Imdo，然后图像Imdo与候选目标图像Imobj进行与操作生成增强候选目标图像Imobj2；
步骤3-3，对图像Imobj2进行形态学闭操作，提取候选目标的连通域，计算连通域的最小外接矩形，提取候选目标框；
步骤3-4，计算候选目标框的形状特征，所述形状特征包括目标框的宽度obj_w、高度obj_h及宽高比obj_wh，判断当前候选目标框的形状特征是否满足obj_w>w0、obj_h>h0、obj_wh≥wh0及obj_wh≤wh1，若不满足上述要求，则判断候选目标框当前为虚假目标，将满足要求候选框生成目标点迹，其中w0为目标框宽度阈值，h0为目标框高度阈值，wh1、wh0为目标宽高比高、低阈值，通常w0＝10，h0＝10，wh1＝5，wh0＝1。所述点迹数据包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积。
本发明中，步骤4包括：
步骤4-1，将第一帧视频图像提取到的目标点迹Poi生成目标航迹Tri。具体操作方法为：将目标点迹结构体进行自动生成批号BN放入到目标航迹结构体向量，批号BN自动进行累加，且满足1≤BN≤9999，所述目标航迹包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积。
步骤4-2，分别计算下一帧视频图像提取的目标点迹Poi+1与目标航迹Tri的绝对距离Di+1，，所述绝对距离Di+1的计算方法为：
其中，Poi+1(x)为目标点迹的x坐标，Poi+1(y)为目标点迹的y坐标，Tri(x)为目标航迹的x坐标，Tri(y)为目标航迹的y坐标。
若Di+1≤DT，将目标点迹Poi+1加入到目标航迹Tri；若Di+1＞DT，则将目标点迹Poi+1按照步骤4-1重新生成新的目标航迹Tri+1，其中DT为绝对距离判断阈值，一般取值为15；
步骤4-3，根据航迹信息判断当前目标是否处于多路视频交叉覆盖状态，采用快速相关滤波方法(Henriques J F，Rui C，Martins P，et al.High-speed tracking withkernelized correlation filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2015，37(3):583-596.)对属于跨屏目标进行航迹管理。多路视频交叉覆盖状态具体判定方法：当目标在图像I1中的水平方向上的位置大于w1时，且目标水平方向的航迹速度为正时，此时判定目标航迹达到图像边缘处，同时，当目标在图像I2中的水平方向上的位置小于w2时，且目标水平方向的航迹速度为负时，此时判定目标航迹也达到图像边缘处，w1一般取值为3800，w2一般取值为50。
步骤4-4，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。数据矫正方法为：存储连续Nk帧视频图像的航迹数据，将当前帧的航迹数据和其前Nk-1帧预测航迹数据进行加权平均生成矫正后的航迹数据具体操作如下：
其中为矫正后航迹数据，x为航迹数据中的目标水平位置坐标，y为航迹数据中的目标垂直位置坐标，w为航迹数据中的目标宽度，h为航迹数据中的目标高度，σ1和σ2为加权因子，Nk一般取值为25，σ1一般取值为0.3，σ2一般取值为0.7，满足σ1+σ2＝1。
本发明提供了基于全景多路4k视频图像的实时目标检测跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (9)
1.基于全景多路4k视频图像的实时目标检测跟踪方法，其特征在于，包括以下步骤：
步骤1，将全景多路4k视频图像划分成n个区域，对各个区域分别进行多帧目标统计，根据目标统计概率对全景视频各个区域进行等级划分，并根据各个区域的等级完成背景建模参数阈值设定；
步骤2，对全景视频图像进行中值滤波，初始化背景模型，通过背景的动态变换程度自适应地调整背景建模参数阈值，完成背景更新，然后对闪烁像素点进行处理，完成背景图像生成，最后利用帧差操作实现前景候选目标区域图像生成；
步骤3，对候选目标区域图像进行中值滤波，利用形态学相关操作完成增强候选目标区域提取，计算增强候选目标区域的连通域及连通域最小外接矩形，通过目标形状特征剔除虚假候选目标框，形成目标点迹；
步骤4，对全景视频图像进行连续多帧检测获取目标点迹，通过判断目标点迹与目标航迹的绝对距离、多路视频交叉覆盖状态进行目标动态航迹管理，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。
2.如权利要求1所述的方法，其特征在于，步骤1包括以下步骤：
步骤1-1，根据全景视频图像尺寸和场景覆盖情况，将全景视频图像划分成n个区域Sn，第n个区域记为Sn，每个区域的区域宽度小于等于1920，区域高度大于等于1080；
步骤1-2，利用帧差法统计K帧视频图像中运动目标在全景视频图像中出现的频率，根据运动目标出现频率的高低，以目标出现频率高低将n个区域划分为A、B、C、D四个等级，其中K1帧以上视频图像存在运动目标的区域为A等级图像区域，K2帧以上K1帧以下视频图像存在运动目标的区域为B等级图像区域，K3帧以上K2帧以下视频图像存在运动目标的区域为C等级图像区域，K4帧以上K3帧以下视频图像存在运动目标的区域为D等级图像区域；
步骤1-3，对相邻等级图像区域进行合并，并分别记录各个区域对应全景位置坐标，第n个Sn对应全景位置坐标为(xn,yn,wn,hn)，其中(xn,yn)为第n个区域Sn位置的左上角坐标，wn,hn分别表示第n个区域Sn的宽和高；
步骤1-4，分别对n个区域设置相对应背景建模参数阈值，第n个区域Sn相对应的背景建模参数阈值为Tn。
3.如权利要求2所述的方法，其特征在于，步骤2包括以下步骤：
步骤2-1，对全景视频图像进行快速中值滤波，消除背景噪声影响；
步骤2-2，初始化全景视频图像的背景模型，背景模型建模方法采用ViBE，其中将背景建模参数阈值Tn设定为ViBE算法中欧式距离阈值；
步骤2-3，根据背景的动态变换程度自适应地调整背景建模参数阈值Tn，完成背景模型更新；
步骤2-4，对背景模型中的闪烁像素进行处理，完成背景图像生成；
步骤2-5，利用全景视频图像与步骤2-4中得到的背景图像进行做差，生成候选目标图像Imobj，候选目标区域就是候选目标图像。
4.如权利要求3所述的方法，其特征在于，步骤2-3包括：
背景建模参数阈值Tn用于判定像素点是否属于背景，定义背景变换参数φ(x，y)为：
其中f(i,j)为当前帧在位置(i,j)的像素值，d(i,j)为背景模型在位置(i,j)的像素值，M为当前帧图像的宽度，N为当前帧图像的高度；
设定背景变换因子参数μ，对于当前像素值与背景模型匹配成功时，计算φ(x，y)的值，若当前为静态场景φ(x，y)趋于稳定值，若对于动态场景，φ(x，y)较大，背景建模参数阈值Tn的自适应更新则根据下式进行：
其中Tn'为自适应调节后的阈值，β为动态调节因子，μ和β均为固定参数。
5.如权利要求4所述的方法，其特征在于，步骤2-4包括：
对于背景建模中生成的背景图像中的像素点，如果所述像素点属于背景图像的边缘轮廓点，但不同于上一帧背景图像中边缘轮廓点，则闪烁频率等级增加否则闪烁频率等级减少如果连续K帧背景图像闪烁频率等级大于SNK，则判断所述像素点为闪烁像素点，将闪烁像素点从更新背景图像上移除。
6.如权利要求5所述的方法，其特征在于，步骤3包括以下步骤：
步骤3-1，对候选目标图像Imobj进行中值滤波生成图像Immf；
步骤3-2，对图像Immf进行形态学膨胀操作生成图像Imdo，然后图像Imdo与候选目标图像Imobj进行与操作生成增强候选目标图像Imobj2；
步骤3-3，对图像Imobj2进行形态学闭操作，提取候选目标的连通域，计算连通域的最小外接矩形，提取候选目标框；
步骤3-4，计算候选目标框的形状特征，所述形状特征包括目标框的宽度obj_w、高度obj_h及宽高比obj_wh，判断当前候选目标框的形状特征是否满足obj_w>w0、obj_h>h0、obj_wh≥wh0及obj_wh≤wh1，若不满足上述要求，则判断当前候选目标框为虚假目标，并进行删除；将满足要求的候选目标框生成目标点迹，其中w0为目标框宽度阈值，h0为目标框高度阈值，wh1、wh0分别为目标宽高比高阈值、目标宽高比低阈值；所述目标点迹包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积。
7.如权利要求6所述的方法，其特征在于，步骤4包括以下步骤：
步骤4-1，将第一帧全景视频图像提取到的目标点迹Poi生成目标航迹Tri，具体操作方法为：将目标点迹结构体自动生成的批号BN放入到目标航迹结构体向量，批号BN自动进行累加，且满足1≤BN≤9999，所述目标航迹包括帧号、目标位置坐标、目标宽度、目标高度、目标宽高比和目标面积；
步骤4-2，分别计算下一帧全景视频图像提取的目标点迹Poi+1与目标航迹Tri的绝对距离Di+1，所述绝对距离Di+1的计算公式为：
其中，Poi+1(x)为目标点迹的横坐标，Poi+1(y)为目标点迹的纵坐标，Tri(x)为目标航迹的横坐标，Tri(y)为目标航迹的纵坐标；
若Di+1≤DT，将目标点迹Poi+1加入到目标航迹Tri；若Di+1＞DT，则将目标点迹Poi+1按照步骤4-1重新生成新的目标航迹Tri+1，其中DT为绝对距离判断阈值；
步骤4-3，根据航迹信息判断当前目标是否处于多路视频交叉覆盖状态，对属于跨屏目标进行航迹管理；
步骤4-4，对连续多帧航迹信息进行数据矫正，完成多目标稳定跟踪。
8.如权利要求7所述的方法，其特征在于，步骤4-3中，所述根据航迹信息判断当前目标是否处于多路视频交叉覆盖状态，包括：
当目标在第i帧全景视频图像Ii中的水平方向上的位置大于阈值w1时，且目标水平方向的航迹速度为正时，同时，当目标在第i+1帧全景视频图像Ii+1中的水平方向上的位置小于阈值w2时，且目标水平方向的航迹速度为负时，此时判定目标航迹达到图像边缘处，即处于多路视频交叉覆盖状态，其中全景视频图像Ii和Ii+1为相邻连续图像。
9.如权利要求8所述的方法，其特征在于，步骤4-4包括：
存储连续Nk帧全景视频图像的航迹数据，将当前帧的航迹数据和其前Nk-1帧预测航迹数据进行加权平均生成矫正后的航迹数据
其中，x为航迹数据中的目标水平位置坐标，y为航迹数据中的目标垂直位置坐标，w为航迹数据中的目标宽度，h为航迹数据中的目标高度，σ1和σ2为加权因子，满足σ1+σ2＝1。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665691.XA CN110517288B (zh) | 2019-07-23 | 2019-07-23 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
| PCT/CN2020/090155 WO2021012757A1 (zh) | 2019-07-23 | 2020-05-14 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665691.XA CN110517288B (zh) | 2019-07-23 | 2019-07-23 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517288A true CN110517288A (zh) | 2019-11-29 |
| CN110517288B CN110517288B (zh) | 2021-11-02 |
Family
ID=68623454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665691.XA Active CN110517288B (zh) | 2019-07-23 | 2019-07-23 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110517288B (zh) |
| WO (1) | WO2021012757A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833377A (zh) * | 2020-06-02 | 2020-10-27 | 杭州电子科技大学 | 一种基于tbd复杂环境下运动小目标检测方法 |
| CN112257569A (zh) * | 2020-10-21 | 2021-01-22 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| WO2021012757A1 (zh) * | 2019-07-23 | 2021-01-28 | 南京莱斯电子设备有限公司 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
| CN112700657A (zh) * | 2020-12-21 | 2021-04-23 | 北京百度网讯科技有限公司 | 用于生成检测信息的方法、装置、路侧设备和云控平台 |
| CN113191221A (zh) * | 2021-04-15 | 2021-07-30 | 浙江大华技术股份有限公司 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
| CN114650453A (zh) * | 2022-04-02 | 2022-06-21 | 北京中庆现代技术股份有限公司 | 应用于课堂录播中的目标追踪方法、装置、设备以及介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128342B (zh) * | 2021-03-19 | 2023-04-07 | 中国人民解放军战略支援部队信息工程大学 | 航迹数据预处理方法及空中目标识别方法 |
| CN112967305B (zh) * | 2021-03-24 | 2023-10-13 | 南京莱斯电子设备有限公司 | 一种复杂天空场景下的图像云背景检测方法 |
| CN113283326B (zh) * | 2021-05-17 | 2024-04-19 | 南京航空航天大学 | 基于仿真目标亮线特征的视频sar目标智能检测方法 |
| CN113379761B (zh) * | 2021-05-25 | 2023-04-28 | 重庆顺多利机车有限责任公司 | 一种基于人工智能的多agv与自动门的联动方法与系统 |
| CN113674259B (zh) * | 2021-08-26 | 2024-03-05 | 中冶赛迪信息技术(重庆)有限公司 | 一种皮带机打滑检测方法、系统、电子设备及介质 |
| CN114360296B (zh) * | 2021-12-15 | 2024-04-09 | 中国飞行试验研究院 | 基于地基光电设备的全自动飞机进近降落过程监视方法 |
| CN114090168A (zh) * | 2022-01-24 | 2022-02-25 | 麒麟软件有限公司 | 一种qemu虚拟机图像输出窗口自适应调整方法 |
| CN114612506B (zh) * | 2022-02-19 | 2024-03-15 | 西北工业大学 | 一种简易高效抗干扰的高空抛物轨迹识别与定位方法 |
| CN114994655B (zh) * | 2022-05-17 | 2024-05-14 | 中国电子科技集团公司第二十研究所 | 雷达/红外异构信息融合处理方法 |
| CN114821542B (zh) * | 2022-06-23 | 2022-09-09 | 小米汽车科技有限公司 | 目标检测方法、装置、车辆及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783015A (zh) * | 2009-01-19 | 2010-07-21 | 北京中星微电子有限公司 | 一种视频跟踪设备及方法 |
| US20130082870A1 (en) * | 2010-08-26 | 2013-04-04 | David H. Chambers | Synthetic aperture integration (sai) algorithm for sar imaging |
| US20140098989A1 (en) * | 2012-10-05 | 2014-04-10 | International Business Machines Corporation | Multi-cue object association |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| CN106251362A (zh) * | 2016-07-15 | 2016-12-21 | 中国电子科技集团公司第二十八研究所 | 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 |
| US20180262764A1 (en) * | 2017-03-10 | 2018-09-13 | Raytheon Company | Real time frame alignment in video data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8542875B2 (en) * | 2010-09-17 | 2013-09-24 | Honeywell International Inc. | Image processing based on visual attention and reduced search based generated regions of interest |
| CN102831620B (zh) * | 2012-08-03 | 2015-09-30 | 南京理工大学 | 基于多假设跟踪数据关联的红外弱小目标搜索跟踪方法 |
| CN103400117B (zh) * | 2013-07-29 | 2016-02-10 | 电子科技大学 | 一种基于计算机视觉的井下人员定位跟踪方法 |
| CN110517288B (zh) * | 2019-07-23 | 2021-11-02 | 南京莱斯电子设备有限公司 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
-
2019
- 2019-07-23 CN CN201910665691.XA patent/CN110517288B/zh active Active
-
2020
- 2020-05-14 WO PCT/CN2020/090155 patent/WO2021012757A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783015A (zh) * | 2009-01-19 | 2010-07-21 | 北京中星微电子有限公司 | 一种视频跟踪设备及方法 |
| US20130082870A1 (en) * | 2010-08-26 | 2013-04-04 | David H. Chambers | Synthetic aperture integration (sai) algorithm for sar imaging |
| US20140098989A1 (en) * | 2012-10-05 | 2014-04-10 | International Business Machines Corporation | Multi-cue object association |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| CN106251362A (zh) * | 2016-07-15 | 2016-12-21 | 中国电子科技集团公司第二十八研究所 | 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 |
| US20180262764A1 (en) * | 2017-03-10 | 2018-09-13 | Raytheon Company | Real time frame alignment in video data |
Non-Patent Citations (2)
| Title |
|---|
| ZHONG ZHOU 等: "Static Object Tracking in Road Panoramic Videos", 《2010 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 * |
| 刘亚帅 等: "基于网格化的船舶航迹异常检测算法", 《雷达与对抗》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021012757A1 (zh) * | 2019-07-23 | 2021-01-28 | 南京莱斯电子设备有限公司 | 基于全景多路4k视频图像的实时目标检测跟踪方法 |
| CN111833377A (zh) * | 2020-06-02 | 2020-10-27 | 杭州电子科技大学 | 一种基于tbd复杂环境下运动小目标检测方法 |
| CN111833377B (zh) * | 2020-06-02 | 2023-09-29 | 杭州电子科技大学 | 一种基于tbd复杂环境下运动小目标检测方法 |
| CN112257569A (zh) * | 2020-10-21 | 2021-01-22 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| CN112257569B (zh) * | 2020-10-21 | 2021-11-19 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| CN112700657A (zh) * | 2020-12-21 | 2021-04-23 | 北京百度网讯科技有限公司 | 用于生成检测信息的方法、装置、路侧设备和云控平台 |
| CN112700657B (zh) * | 2020-12-21 | 2023-04-28 | 阿波罗智联(北京)科技有限公司 | 用于生成检测信息的方法、装置、路侧设备和云控平台 |
| CN113191221A (zh) * | 2021-04-15 | 2021-07-30 | 浙江大华技术股份有限公司 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
| CN113191221B (zh) * | 2021-04-15 | 2022-04-19 | 浙江大华技术股份有限公司 | 基于全景相机的车辆检测方法、装置以及计算机存储介质 |
| CN114650453A (zh) * | 2022-04-02 | 2022-06-21 | 北京中庆现代技术股份有限公司 | 应用于课堂录播中的目标追踪方法、装置、设备以及介质 |
| CN114650453B (zh) * | 2022-04-02 | 2023-08-15 | 北京中庆现代技术股份有限公司 | 应用于课堂录播中的目标追踪方法、装置、设备以及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517288B (zh) | 2021-11-02 |
| WO2021012757A1 (zh) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110517288A (zh) | 基于全景多路4k视频图像的实时目标检测跟踪方法 | |
| WO2021208275A1 (zh) | 一种交通视频背景建模方法及系统 | |
| CN106875415B (zh) | 一种动态背景中弱小动目标的连续稳定跟踪方法 | |
| CN107886086B (zh) | 一种基于图像视频的目标动物检测方法及装置 | |
| CN107256225B (zh) | 一种基于视频分析的热度图生成方法及装置 | |
| CN110415208B (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
| CN110874592B (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
| CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
| CN109712247B (zh) | 基于混合现实技术的实景训练系统 | |
| CN103942812B (zh) | 基于混合高斯与边缘检测的运动目标检测方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
| CN109359563A (zh) | 一种基于数字图像处理的占道现象实时检测方法 | |
| CN111967394A (zh) | 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法 | |
| CN110490904A (zh) | 一种弱小目标检测与跟踪方法 | |
| CN109063630B (zh) | 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 | |
| CN105427345A (zh) | 基于相机投影矩阵的三维人流运动分析方法 | |
| CN108198208A (zh) | 一种基于目标跟踪的移动侦测方法 | |
| CN106934819A (zh) | 一种提高图像中运动物体检测精度的方法 | |
| CN103400113A (zh) | 基于图像处理的高速公路隧道行人检测方法 | |
| CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN110443142B (zh) | 一种基于路面提取与分割的深度学习车辆计数方法 | |
| CN112115878A (zh) | 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |