CN109215053A - 一种无人机航拍视频中含暂停状态的运动车辆检测方法 - Google Patents
一种无人机航拍视频中含暂停状态的运动车辆检测方法 Download PDFInfo
- Publication number
- CN109215053A CN109215053A CN201811204181.4A CN201811204181A CN109215053A CN 109215053 A CN109215053 A CN 109215053A CN 201811204181 A CN201811204181 A CN 201811204181A CN 109215053 A CN109215053 A CN 109215053A
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- image
- similarity
- moving vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 97
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000003709 image segmentation Methods 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 34
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005295 random walk Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 125000001967 indiganyl group Chemical group [H][In]([H])[*] 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机航拍视频中含暂停状态的运动车辆检测方法，首先利用多级预处理器对图像进行预处理，达到对图像滤波去噪、改善无人机航拍视频中照度不均匀的特点的目的，随后利用含有超像素规则度的熵率超像素分割算法提取图像中的超像素，基于相关性和双稀疏度的字典学习算法获取超像素的颜色、纹理、几何特征，构建融合相似度矩阵进行图像分割，使用连续多帧图像的RAG融合区域的纹理和几何特征进行图像匹配，获取RAG融合区域的运动信息，进而提出基于运动相似性图的图像前景、背景分割方式，实现含有暂停状态运动车辆的检测，大大减小了运动车辆检测的难度，本发明算法简单快捷，能够有效地检测出无人机拍摄视频中含有暂停状态的运动车辆。
Description
技术领域
本发明涉及运动车辆的检测方法，特别是一种无人机航拍视频中含暂停状态的运动车辆检测方法。
背景技术
无人机航拍视频中的运动车辆检测是智能交通系统建设的重要组成部分，对于推进城市道路网络的交通流监测、智能交通系统建设有重要的作用。及时准确地检测出运动车辆，是后续进行车辆跟踪、车牌识别、车辆信息提取等的重要保证。传统基于无人机航拍视频的运动车辆检测方法存在一些局限，比如无法检测存在暂停状态的运动车辆，如在十字路口等待红灯的车辆。基于无人机图像的含暂停状态运动车辆的有效检测，对提高运动车辆检测的准确率有重要的意义。
近年来，常用的运动车辆检测方法有背景提取法、光流法和帧差法等。针对无人机图像背景像素的移动，结合SURF特征稳像和光流法可解决无人机图像序列的运动车辆检测问题；也可基于四个形态边缘滤波器快速检测航拍图像的运动车辆；还可以根据显著性信息和Haar-like局部外形特征，使用由粗及细的遥感图像运动车辆检测方法；基于中值背景差分法也可检测无人机航拍视频中的运动车辆；甚至可以利用背景消除和背景配准技巧来识别动态车辆。
以上算法大都基于Haar-like、SURF、HOG、Harris角点、SIFT等特征进行运动车辆检测，检测准确率和鲁棒性低，均不能适用于检测无人机航拍视频中运动车辆含有暂停状态的情况。车辆出现暂停状态，削弱了连续图像序列中车辆运动属性的差异性，大大增加了运动车辆检测的难度。同时，暂停状态下由机身俯仰角、抖动等带来的干扰可能加剧。
发明内容
本发明的目的在于提供一种无人机航拍视频中含暂停状态的运动车辆检测方法，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种无人机航拍视频中含暂停状态的运动车辆检测方法，包括以下步骤：
步骤1)、对无人机航拍视频逐帧进行预处理；
步骤2)、对预处理后的视频利用含有超像素规则度的熵率超像素分割算法，获取较为规则和均匀的超像素；
步骤3)、利用基于相关性和双稀疏度的字典学习方法获取步骤2)超像素的颜色、纹理和几何特征；
步骤4)、建立相似度矩阵：针对每个超像素分别提取其颜色、纹理和几何特征，分别建立起颜色相似度矩阵、纹理相似度矩阵、几何特征相似度矩阵；然后构建基于颜色相似度矩阵、纹理相似度矩阵和几何特征相似度矩阵的融合相似度矩阵；
步骤5)、通过分割精度描述，获取较佳的图像分割阈值，比较超像素的融合相似度矩阵，将相同或相似的超像素进行融合；
步骤6)、针对步骤5)处理后的图像，利用融合纹理和几何特征的图像RAG匹配算法，实现图像匹配操作，获取有关运动信息；
步骤7)、在对多帧RAG进行图像匹配后，图像匹配结果中包含了大量的运动信息，据此获取运动相似性图；
步骤8)、根据步骤7)中所得到的运动相似性图，依据运动相似性图各顶点间连线上的欧式距离，得出运动属性差异，根据一系列连续图像序列中的欧式距离变化趋势，判断是否为运动车辆或者含有暂停状态的运动车辆；最后完成前景和背景的划分，实现含暂停状态视频中的运动车辆的检测。
进一步的，多级预处理器包括双边平滑滤波器、光照均匀器和图像配准器。
进一步的，双边平滑滤波器采用双边平滑滤波方法对图像进行滤波平滑处理；光照均匀器采用空间域的掩膜法对对图像进行预处理；图像配准器采用SHIFT算法进行图像配准。
进一步的，熵率超像素分割算法是将图像映射成无向图G＝(V,E)，其中V代表图像的顶点集；E是代表边集；
对图像G的划分就是从中选取E的子集A，得到由K个子图构成的无向图G'＝(V,A)；
建立新的融合超像素规则度的熵率超像素分割算法目标函数如下：
其中，为融合超像素规则度的熵率超像素分割算法的目标函数；H(A)表示图上随机游走熵率；C(A)为超像素规则度函数；α、β均为平衡系数，用来权衡C(A)、B(A)相对于H(A)的比重，均为正实数；B(A)为平衡项；
利用紧凑率来定义超像素规则度函数为：
其中，h为图G的子集；为划分后的子集h的紧凑率，计算如下：
其中，|Sh|表示子集h中的像素点个数；Lh和Hh分别是包围子集h的最小长方形的长和宽，NA表示边集j中超像素或子图的个数。
进一步的，建立字典学习目标函数为：
其中，D表示根据样本获取的过完备字典；Y为训练样本；X为训练样本在字典上的稀疏表示；yr为字典学习中第r次迭代时加入的新样本；D(yr)表示更新的部分原子；X(yr)为Y(yr)的稀疏表示；Y(yr)为待更新的样本集合；dη表示字典D的第η个列向量；xυ表示稀疏矩阵X的第ν个列向量；s为稀疏度；||·||F表示矩阵的Frobenious范数；||·||0为向量的l0范数；表示使得括号内部表达式最小的参数D(yr),X(yr)；
同时，将稀疏度约束也引入到字典更新阶段；得到基于相关性和双稀疏度的字典学习方法目标函数如下所示：
s.t.||dw(yr)||2＝1
其中，xw(yr)表示X(yr)的第w行；dw(yr)为D(yr)的第w列；Ew(yr)为Y(yr)去掉dw(yr)后的重构误差；χ是补偿系数，为正实数；||·||1为向量的l1范数。
进一步的，针对步骤2)划分的各个超像素区域，分别建立基于颜色、纹理和几何特征的相似度矩阵，并按权值融合的方法融合为融合相似度矩阵：
首先，基于超像素的颜色特征，利用步骤3)求得的其对应的颜色字典，记为Dc；则对某一个超像素，用l0范数近似其在字典Dc的稀疏表示，如下式：
其中，cl为yl在字典Dc上的第l个稀疏表示，cll为cl的第l个元素；yl为第l个超像素的特征；Dc表示超像素颜色特征构成的字典；cll＝0表示yl的稀疏表示中不包含本身；
获取上式中cl的最优解：
计算两超像素间的稀疏误差：
其中，yp与yl分别表示第p个和第l个超像素；elp表示超像素yl相对于超像素yp的稀疏误差；clp为超像素yl的稀疏表示cl的第p个元素。
据此，超像素yl和超像素yp的相似度可表示为：
其中，wlp表示超像素yl和超像素yp的相似度；epl表示超像素yp相对于超像素yl的稀疏误差；进而可得颜色特征对应的相似度矩阵Wc，wlp为其相应的元素。
同样地，得到纹理特征和几何特征对应的相似度矩阵；然后通过权值融合法，融合三种特征的相似度矩阵得到最终的融合相似度矩阵。
进一步的，令Wρ表示特征ρ对应的相似度矩阵，通过融合三种特征的相似度矩阵，得到最终的融合相似度矩阵Wa，其第l行第p列的相应元素为：
其中，为超像素yl和超像素yp在特征ρ下的相似度；γρ为对应特征ρ的权重，且
进一步的，采用分割精度作为定量评价指标，定义为：
其中，β0＝1和α分别是图像分割和真值的结果；β表示错误分割的区域；
依分割精度描述得到较好的阈值后，根据前面得到的相似度矩阵Wa，若超像素yl和超像素q的相似度大于该阈值，则认为它们可以融合在一起，否则不进行融合，从而完成图像分割。
进一步的，步骤6)中，利用图像纹理和几何特征构建各自的关联矩阵，通过构建最小关联矩阵目标函数来匹配图像中的顶点与线条。
进一步的，步骤8)中，依据运动相似性图中各顶点间连线上的欧式距离得出运动属性差异，划分出图像中的运动车辆，含有暂停状态的车辆。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种无人机航拍视频中含暂停状态的运动车辆检测方法，首先利用多级预处理器对图像进行预处理，达到对图像滤波去噪、改善无人机航拍视频中照度不均匀的特点的目的，随后利用含有超像素规则度的熵率超像素分割算法提取图像中的超像素，基于相关性和双稀疏度的字典学习算法获取超像素的颜色、纹理、几何特征，构建“融合相似度矩阵”进行图像分割，提高了字典学习的效率，为准确分辨暂停状态下图像序列中车辆属性的差异，使用连续多帧图像的RAG融合区域的纹理和几何特征进行图像匹配，获取RAG融合区域的运动信息，分析运动属性得到运动相似性图，进而提出基于运动相似性图的图像前景、背景分割方式，确定背景区域和前景区域，实现含有暂停状态运动车辆的检测，实现连续图像序列中车辆运动属性的确定，大大减小了运动车辆检测的难度，本发明算法简单快捷，能够有效地检测出无人机拍摄视频中含有暂停状态的运动车辆。
进一步的，通过引入超像素规则度函数，同时联合图上随机游走熵率和平衡项，建立了新的融合超像素规则度的熵率超像素分割目标函数，从而能够获得紧凑、规则、均匀的超像素，提高了超像素的规则性。
附图说明
图1为本发明实例中所述检测方法流程框图。
图2为本发明实例中所述基于多特征相似度矩阵的图像分割流程图。
图3为本发明实例中所述图像匹配示意图。
图4为本发明实例中所述运动相似性图生成示意图。
图5为本发明实例中所述根据运动相似性图进行颜色标定的示意图。
图6为本发明实例中所述含有暂停状态的运动车辆检测结果示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明提出一种基于无人机图像的含暂停状态运动车辆检测方法，旨在检测含有暂停状态的运动车辆，下面结合说明书附图对本发明进一步说明。
附图中图1是本发明的检测方法流程框图，本发明主要包含了多级预处理、基于相关性和双稀疏度的字典学习、图像分割、图像匹配、基于运动相似性图的图像前背景分割等步骤，具体实施方式如下：
步骤1)：为了抑制由机身俯仰角、抖动等带来的干扰，利用多级预处理器对无人机航拍视频，逐帧进行预处理；
多级预处理器包括双边平滑滤波器、光照均匀器和图像配准器；
双边平滑滤波器采用双边平滑滤波方法对图像进行滤波平滑处理，达到滤波去噪的目的；光照均匀器采用常用的空间域的掩膜法，特别针对航空器照度不均匀的特点有较好的改善效果，例如对车辆玻璃造成的眩光，以及建筑物造成的光线遮挡有良好的处理效果；图像配准器采用对图像中的抖动与偏移有较好校正效果的SHIFT算法进行图像配准；
步骤2)、对预处理后的视频利用含有超像素规则度的熵率超像素分割算法，获取较为规则和均匀的超像素；
熵率超像素分割算法是将图像映射成无向图G＝(V,E)，其中V代表图像的顶点集；E是代表边集；
对图像G的划分就是从中选取E的子集A，得到由K个子图构成的无向图G'＝(V,A)；
建立新的融合超像素规则度的熵率超像素分割算法目标函数如下：
其中，为融合超像素规则度的熵率超像素分割算法的目标函数；H(A)表示图上随机游走熵率；C(A)为超像素规则度函数；α、β均为平衡系数，用来权衡C(A)、B(A)相对于H(A)的比重，均为正实数；B(A)为平衡项；
利用紧凑率来定义超像素规则度函数为：
其中，h为图G的子集；为划分后的子集h的紧凑率，计算如下：
其中，|Sh|表示子集h中的像素点个数；Lh和Hh分别是包围子集h的最小长方形的长和宽，NA表示边集j中超像素或子图的个数。通过引入超像素规则度函数，同时联合图上随机游走熵率和平衡项，建立了新的融合超像素规则度的熵率超像素分割目标函数，从而能够获得紧凑、规则、均匀的超像素。
至此，对于目标函数，可以采用Kuo等提出的贪婪算法来实现目标函数的最优化(具体实施细节参考文献Kuo T.W.,Lin C.J.,Tsai M.J..Maximizing Submodular SetFunction with Connectivity Constraint:Theory and Application to Networks[J].IEEE/ACM Transactions on Networking,2015,23(2):533-546)。
步骤3)、利用基于相关性和双稀疏度的字典学习方法获取步骤2)超像素的颜色、纹理和几何特征；
相比传统的字典学习，基于相关性和双稀疏度的字典学习方法在字典更新阶段，只更新与新样本的稀疏表示相关的原子；同时，将稀疏度也引入到字典更新阶段，进而提高了字典学习的效率；为此将传统字典学习目标函数改写为：
其中，D表示根据样本获取的过完备字典；Y为训练样本；X为训练样本在字典上的稀疏表示；yr为字典学习中第r次迭代时加入的新样本；D(yr)表示更新的部分原子；X(yr)为Y(yr)的稀疏表示；Y(yr)为待更新的样本集合；dη表示字典D的第η个列向量，也称为原子；xυ表示稀疏矩阵X的第ν个列向量；s为稀疏度；||·||F表示矩阵的Frobenious范数；||·||0为向量的l0范数。表示使得括号内部表达式最小的参数D(yr),X(yr)。
同时，将稀疏度约束也引入到字典更新阶段；得到“基于相关性和双稀疏度的字典学习方法目标函数”如下所示：
s.t.||dw(yr)||2＝1
其中，xw(yr)表示X(yr)的第w行；dw(yr)为D(yr)的第w列；Ew(yr)为Y(yr)去掉dw(yr)后的重构误差；χ是补偿系数，为正实数。||·||1为向量的l1范数。基于相关性和双稀疏度的字典学习目标函数第一部分表示矩阵的秩1逼近，第二部分用于保证xw的稀疏度约束。
综合式步骤3)各式，实现了基于相关性和双稀疏度的字典学习算法设计。并采用奇异值分解法和秩1逼近相结合的方法来求解“基于相关性和双稀疏度的字典学习方法目标函数”，利用Seghouane A.K等人的方法求解(具体实施细节参考文献Seghouane A.K.,Hanif M.A Sequential Dictionary Learning Algorithm with Enforced Sparsity[C]//IEEE International Conference on Acoustics,Speech and SignalProcessing.2015:3876-3880)。至此完成字典的训练。
利用“基于相关性和双稀疏度的字典学习方法”学习给定样本的颜色、纹理以及车辆几何特征，从而为步骤4)提供稀疏表示，便于后续的图像分割。
步骤4)、建立相似度矩阵：针对每个超像素分别提取其颜色、纹理和几何特征，分别建立起颜色相似度矩阵、纹理相似度矩阵、几何特征相似度矩阵；然后构建基于颜色相似度矩阵、纹理相似度矩阵和几何特征相似度矩阵的融合相似度矩阵；
针对步骤2)划分的各个超像素区域，分别建立基于颜色、纹理和几何特征的相似度矩阵，并按权值融合的方法融合为“融合相似度矩阵”，以颜色特征为例说明本发明如何建立相似度矩阵。
首先，基于超像素的颜色特征，利用步骤3求得的其对应的颜色字典，记为Dc。则对某一个超像素，用l0范数近似其在字典Dc的稀疏表示，如下式：
其中，cl为yl在字典Dc上的第l个稀疏表示，cll为cl的第l个元素；yl为第l个超像素的特征；Dc表示超像素颜色特征构成的字典；cll＝0表示yl的稀疏表示中不包含本身。
为了获取上式中cl的最优解，将其改写为：
对某一个超像素来说，其稀疏表示中存在非零元素，这就意味着该超像素与非零元素对应的超像素可能来自同一个物体，且可能是相邻的超像素。
下一步即可据此来计算超像素间的相似度。为此，需要计算两超像素间的稀疏误差：
其中，yp与yl分别表示第p个和第l个超像素；elp表示超像素yl相对于超像素yp的稀疏误差；clp为超像素yl的稀疏表示cl的第p个元素。
据此，超像素yl和超像素yp的相似度可表示为：
其中，wlp表示超像素yl和超像素yp的相似度；epl表示超像素yp相对于超像素yl的稀疏误差。进而可得颜色特征对应的相似度矩阵Wc，wlp为其相应的元素。
同样地，可以得到纹理特征和几何特征对应的相似度矩阵。然后通过权值融合法，融合三种特征的相似度矩阵得到最终的融合相似度矩阵。
令Wρ表示特征ρ对应的相似度矩阵，通过融合三种特征的相似度矩阵，得到最终的融合相似度矩阵Wa，其第l行第p列的相应元素为：
其中，为超像素yl和超像素yp在特征ρ下的相似度；γρ为对应特征ρ的权重，且
步骤5)、通过分割精度描述，获取较佳的图像分割阈值，比较超像素的融合相似度矩阵，将相同或相似的超像素进行融合，达到图像分割的目的；
通过稀疏表示确定超像素间的相似度，当相似度符合分割阈值时进行融合，得到“融合超像素”，小于分割阈值时不进行融合；
具体的，为了确定该图像分割阈值，此处引入分割精度作为定量评价指标。它用来表征图像分割结果与真值的比率，定义为：
其中，β0＝1和α分别是图像分割和真值的结果；β表示错误分割的区域。
依分割精度描述得到较好的阈值后，根据前面得到的相似度矩阵Wa，若超像素yl和超像素q的相似度大于该阈值，则认为它们可以融合在一起，否则不进行融合，从而完成图像分割。基于多特征相似度矩阵的图像分割流程图如附图中图2所示。
步骤6)、针对步骤5)处理后的图像，利用融合纹理和几何特征的图像RAG匹配算法，实现图像匹配操作，获取有关运动信息；
进行融合纹理和几何特征的图像RAG匹配。以图像中RAG中区域为基本单位进行匹配，比像素级匹配更具有局部不变性。
对于任意两帧图像G1和G2，其中图像G1＝{P1,Q1,G1,H1}，包含n1个顶点和m1条边，其中P1,Q1,G1,H1分别为图像G1的顶点特征矩阵、边特征矩阵、顶点拓扑矩阵、边拓扑矩阵；图像G2＝{P2,Q2,G2,H2}，包含n2个顶点和m2条边，其中P2,Q2,G2,H2分别为图像G2的顶点特征矩阵、边特征矩阵、顶点拓扑矩阵、边拓扑矩阵。对于每个顶点，纹理特征选为SIFT特征，几何特征为该区域的中心；对于每一条边，纹理特征为该边所连接两区域的纹理特征的欧式距离，相应地，几何特征为相应几何特征的欧氏距离。
在此基础上，定义和分别为顶点和边的纹理特征相似度矩阵，和分别为顶点和边的几何特征相似度矩阵，矩阵中元素为相应特征的欧式距离。通常，关联矩阵Z可利用最小化目标函数来实现，融合纹理和几何特征的目标函数可表示为：
其中，为关联矩阵；∏为置换矩阵，且 表示n2×1的元素全为1的列向量；为关联矩阵Z的第i1行第i2列的元素，为关联矩阵Z的第j1行第j2列的元素；表示顶点i1与顶点i2的纹理特征相似度，表示边c1与边c2的纹理特征相似度，表示顶点i1与顶点i2的几何特征相似度，表示边c1与边c2的几何特征相似度，i1,j1∈{1,2,…,n1}，i2,j2∈{1,2,…,n2}，c1∈{1,2,…,m1}，c2∈{1,2,…,m2}；是矩阵G1中的元素，是矩阵H1中的元素，当时表示边c1始于顶点i1终于顶点j1；是矩阵G2中的元素，是矩阵H2中的元素，当时表示边c2始于顶点i2终于顶点j2。
为简便起见，将和合成为全局纹理特征关联矩阵相应地，和合成为全局几何特征关联矩阵且有：
其中，kα(i1i2,j1j2)为全局纹理特征关联矩阵Kα的第i1i2行第j1j2列的元素，为全局几何特征关联矩阵Kβ的第i1i2行第j1j2列的元素。Kα和Kβ的对角线元素表示顶点与顶点间的相似度，非对角线元素表示边与边之间的相似度。通过引入对称矩阵Kα和Kβ，融合纹理和几何特征的目标函数可改写为：
J(Z)＝vec(Z)TKαZ+vec(Z)TKβZ
其中，T表示转置。根据先验知识，将对称矩阵Kα和Kβ分解为：
其中，diag(·)表示将括号内的向量扩展成对角矩阵，vec(·)表示将括号内的矩阵逐列接续成列向量。将上式代入改写后的融合纹理和几何特征的目标函数式中，可得：
其中，tr(·)表示矩阵的迹；表示Hadamard积。该函数式中包括两部分，第一部分用来实现顶点的关联，第二部分为实现边的关联，令则目标函数式又可改写为下式所示：
当矩阵Y的第c1行第c2列的元素时，意味着图像G1的边c1与图像G2的边c2匹配。
至此，建立了融合纹理特征和几何特征的目标函数如上式所示，并采用Path-following算法来求解。如附图中图3给出了一系列RAG的图像匹配结果。其中白色实线为内点匹配结果，黑色实线为异常点匹配结果。
在对多帧RAG进行图像匹配后，可根据图像匹配结果确定运动相似性图。如附图中图4所示。
步骤7)、在对多帧RAG进行图像匹配后，图像匹配结果中包含了大量的运动信息，据此获取运动相似性图；
在利用纹理特征和几何特征实现了图像匹配后，图像匹配结果中包含了大量的运动信息，据此可得到运动相似性图，为后续进行图像前背景分割提供依据。附图中图4详细说明了运动相似性图的生成过程。
在附图4中，每一个RAG边上的数值代表所连接顶点的欧式距离。对某一条边来说，若边上数值在连续几帧一直变化，则说明该边相连的两块图像区域必然属于不同的物体。也就是说，顶点间距离发生变化，意味着两顶点运动属性存在差异，即相连的两个图像区域块来自不同的前景或分别属于前景和背景。
相反地，若某一条边的数值一直保持不变，或者在很小的允许范围内波动，说明来自背景或者同一前景物体。
因此，可以根据对顶点和边运动属性的分析，得到运动相似性图。如附图中图4所示，两顶点运动属性相同的标为“S”，否则标为“D”。
附图4中，对于顶点和(以为例解释符号含义，上标5代表第5个区域，下标1代表第1帧)，与相应帧中(第m帧的第1个区域)的距离分别是17、12、12、12和15。这种情况下，为运动车辆，很有可能是在第2-4帧在十字路口等待红灯，即为暂停状态，而在第5帧重新启动。通过同时处理连续多帧图像，为检测出暂停状态的车辆提供了可能，这是只处理两帧图像所达不到的。
该算法通过同时处理多帧图像，根据图像分割和图像匹配的结果，提出了基于运动相似性图的图像前背景分割技术，能够有效应对含暂停状态的运动车辆检测难题；
步骤8)、根据步骤7)中所得到的运动相似性图，依据运动相似性图各顶点间连线上的欧式距离，得出运动属性差异，联系一系列连续图像序列中的欧式距离变化趋势，判断是否为运动车辆或者含有暂停状态的运动车辆。最后完成前景和背景的划分，实现运动车辆的检测。
依据运动相似性图中各顶点间连线上的欧式距离得出运动属性差异，即对某一条边来说，若边上数值在连续几帧一直变化，则说明该边相连的两块图像区域必然属于不同的物体。也就是说，顶点间距离发生变化，意味着两顶点运动属性存在差异。相反地，若某一条边的数值一直保持不变，或者在很小的允许范围内波动，说明来自背景或者同一前景物体。基于此，划分出图像中的运动车辆，尤其是含有暂停状态的车辆。
具体的：利用运动相似性图对图像进行颜色标定，进而确定图像背景区域和前景区域，示意图如附图中图5所示。
根据运动相似性图进行颜色标定时，首先，对相似性数目最多的区域标识一种颜色，如附图5中的和用第1种颜色标识出来。极个别情况下，图像中没有运动车辆，则该图像只需用一种颜色标识。
否则，对于剩下的未标识区域，同样对相似性数目最多的区域标识另一种颜色，如附图5中的和用第2种颜色标识出来。用这种方法，依次给剩余区域标定颜色。
最后，可能仍有区域未标定颜色，对于剩下的标定不同的颜色，如附图5中的和分别标定为第3种颜色和第4种颜色。
至此，根据运动相似性图完成了颜色标定，所提出的图像颜色标定方法能够保证运动属性相同的顶点为同一颜色，运动属性不同的顶点标定为不同的颜色。
基于附图5的颜色标定结果，下一步重点在于确定背景区域和前景区域。在无人机图像RAG里，背景区域多且分布较为分散，因此选取颜色相同且遍布整个图像的区域为背景区域。如附图中图5所示，和遍布整个图像，为背景区域；和运动属性相同，为某运动车辆的两部分；和为运动车辆。
根据以上的分析，对一系列图像RAG进行图像匹配后，进而建立运动相似性图，基于此提出了图像前背景分割技术，进而可以实现运动车辆检测，尤其是含暂停状态的运动车辆检测。
附图中图6针对一段无人机航拍视频，有两辆车在第522帧到579帧之间，在十字路口等待红灯，处于暂停状态。使用本发明的方法，实现了暂停状态的运动车辆检测。为了简洁表示检测结果，仅选取了连续三帧图像作为说明。
Claims (10)
1.一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，包括以下步骤：
步骤1)、对无人机航拍视频逐帧进行预处理；
步骤2)、对预处理后的视频利用含有超像素规则度的熵率超像素分割算法，获取较为规则和均匀的超像素；
步骤3)、利用基于相关性和双稀疏度的字典学习方法获取步骤2)超像素的颜色、纹理和几何特征；
步骤4)、建立相似度矩阵：针对每个超像素分别提取其颜色、纹理和几何特征，分别建立起颜色相似度矩阵、纹理相似度矩阵、几何特征相似度矩阵；然后构建基于颜色相似度矩阵、纹理相似度矩阵和几何特征相似度矩阵的融合相似度矩阵；
步骤5)、通过分割精度描述，获取较佳的图像分割阈值，比较超像素的融合相似度矩阵，将相同或相似的超像素进行融合；
步骤6)、针对步骤5)处理后的图像，利用融合纹理和几何特征的图像RAG匹配算法，实现图像匹配操作，获取有关运动信息；
步骤7)、在对多帧RAG进行图像匹配后，图像匹配结果中包含了大量的运动信息，据此获取运动相似性图；
步骤8)、根据步骤7)中所得到的运动相似性图，依据运动相似性图各顶点间连线上的欧式距离，得出运动属性差异，根据一系列连续图像序列中的欧式距离变化趋势，判断是否为运动车辆或者含有暂停状态的运动车辆；最后完成前景和背景的划分，实现含暂停状态视频中的运动车辆的检测。
2.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，多级预处理器包括双边平滑滤波器、光照均匀器和图像配准器。
3.根据权利要求2所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，双边平滑滤波器采用双边平滑滤波方法对图像进行滤波平滑处理；光照均匀器采用空间域的掩膜法对对图像进行预处理；图像配准器采用SHIFT算法进行图像配准。
4.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，熵率超像素分割算法是将图像映射成无向图G＝(V,E)，其中V代表图像的顶点集；E是代表边集；
对图像G的划分就是从中选取E的子集A，得到由K个子图构成的无向图G'＝(V,A)；
建立新的融合超像素规则度的熵率超像素分割算法目标函数如下：
其中，为融合超像素规则度的熵率超像素分割算法的目标函数；H(A)表示图上随机游走熵率；C(A)为超像素规则度函数；α、β均为平衡系数，用来权衡C(A)、B(A)相对于H(A)的比重，均为正实数；B(A)为平衡项；
利用紧凑率来定义超像素规则度函数为：
其中，h为图G的子集；为划分后的子集h的紧凑率，计算如下：
其中，|Sh|表示子集h中的像素点个数；Lh和Hh分别是包围子集h的最小长方形的长和宽，NA表示边集j中超像素或子图的个数。
5.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，建立字典学习目标函数为：
其中，D表示根据样本获取的过完备字典；Y为训练样本；X为训练样本在字典上的稀疏表示；yr为字典学习中第r次迭代时加入的新样本；D(yr)表示更新的部分原子；X(yr)为Y(yr)的稀疏表示；Y(yr)为待更新的样本集合；dη表示字典D的第η个列向量；xυ表示稀疏矩阵X的第ν个列向量；s为稀疏度；||·||F表示矩阵的Frobenious范数；||·||0为向量的l0范数；表示使得括号内部表达式最小的参数D(yr),X(yr)；
同时，将稀疏度约束也引入到字典更新阶段；得到基于相关性和双稀疏度的字典学习方法目标函数如下所示：
s.t.||dw(yr)||2＝1
其中，xw(yr)表示X(yr)的第w行；dw(yr)为D(yr)的第w列；Ew(yr)为Y(yr)去掉dw(yr)后的重构误差；χ是补偿系数，为正实数；||·||1为向量的l1范数。
6.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，针对步骤2)划分的各个超像素区域，分别建立基于颜色、纹理和几何特征的相似度矩阵，并按权值融合的方法融合为融合相似度矩阵：
首先，基于超像素的颜色特征，利用步骤3)求得的其对应的颜色字典，记为Dc；则对某一个超像素，用l0范数近似其在字典Dc的稀疏表示，如下式：
其中，cl为yl在字典Dc上的第l个稀疏表示，cll为cl的第l个元素；yl为第l个超像素的特征；Dc表示超像素颜色特征构成的字典；cll＝0表示yl的稀疏表示中不包含本身；
获取上式中cl的最优解：
计算两超像素间的稀疏误差：
其中，yp与yl分别表示第p个和第l个超像素；elp表示超像素yl相对于超像素yp的稀疏误差；clp为超像素yl的稀疏表示cl的第p个元素；
据此，超像素yl和超像素yp的相似度可表示为：
其中，wlp表示超像素yl和超像素yp的相似度；epl表示超像素yp相对于超像素yl的稀疏误差；进而可得颜色特征对应的相似度矩阵Wc，wlp为其相应的元素；得到纹理特征和几何特征对应的相似度矩阵；然后通过权值融合法，融合三种特征的相似度矩阵得到最终的融合相似度矩阵。
7.根据权利要求6所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，令Wρ表示特征ρ对应的相似度矩阵，通过融合三种特征的相似度矩阵，得到最终的融合相似度矩阵Wa，其第l行第p列的相应元素为：
其中，为超像素yl和超像素yp在特征ρ下的相似度；γρ为对应特征ρ的权重，且
8.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，采用分割精度作为定量评价指标，定义为：
其中，β0＝1和α分别是图像分割和真值的结果；β表示错误分割的区域；
依分割精度描述得到较好的阈值后，根据前面得到的相似度矩阵Wa，若超像素yl和超像素q的相似度大于该阈值，则认为它们可以融合在一起，否则不进行融合，从而完成图像分割。
9.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，步骤6)中，利用图像纹理和几何特征构建各自的关联矩阵，通过构建最小关联矩阵目标函数来匹配图像中的顶点与线条。
10.根据权利要求1所述的一种无人机航拍视频中含暂停状态的运动车辆检测方法，其特征在于，步骤8)中，依据运动相似性图中各顶点间连线上的欧式距离得出运动属性差异，划分出图像中的运动车辆，含有暂停状态的车辆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811204181.4A CN109215053B (zh) | 2018-10-16 | 2018-10-16 | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811204181.4A CN109215053B (zh) | 2018-10-16 | 2018-10-16 | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109215053A true CN109215053A (zh) | 2019-01-15 |
| CN109215053B CN109215053B (zh) | 2021-04-27 |
Family
ID=64980509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811204181.4A Active CN109215053B (zh) | 2018-10-16 | 2018-10-16 | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109215053B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN110458845A (zh) * | 2019-06-25 | 2019-11-15 | 上海圭目机器人有限公司 | 基于图像相似度的无人机航拍图像差异分析方法 |
| CN110660028A (zh) * | 2019-09-04 | 2020-01-07 | 南京邮电大学 | 一种基于联合边缘滤波形态学的小目标检测方法 |
| CN112395985A (zh) * | 2020-11-17 | 2021-02-23 | 南京理工大学 | 基于无人飞行器图像的地面无人车辆视觉道路检测方法 |
| CN112488241A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多粒度融合网络的零样本图片识别方法 |
| CN113034537A (zh) * | 2021-02-26 | 2021-06-25 | 中国科学院计算技术研究所 | 基于多几何模型融合的结构一致性运动分割方法和系统 |
| CN113219432A (zh) * | 2021-05-14 | 2021-08-06 | 内蒙古工业大学 | 基于知识辅助和稀疏贝叶斯学习的运动目标检测方法 |
| CN113469997A (zh) * | 2021-07-19 | 2021-10-01 | 京东科技控股股份有限公司 | 平面玻璃的检测方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140211987A1 (en) * | 2013-01-30 | 2014-07-31 | International Business Machines Corporation | Summarizing salient events in unmanned aerial videos |
| CN104794435A (zh) * | 2015-04-03 | 2015-07-22 | 中国科学院自动化研究所 | 一种基于视觉的无人机对地运动目标检测方法 |
| CN108596165A (zh) * | 2018-08-21 | 2018-09-28 | 湖南鲲鹏智汇无人机技术有限公司 | 基于无人机低空航拍图像的道路交通标线检测方法及系统 |
-
2018
- 2018-10-16 CN CN201811204181.4A patent/CN109215053B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140211987A1 (en) * | 2013-01-30 | 2014-07-31 | International Business Machines Corporation | Summarizing salient events in unmanned aerial videos |
| CN104794435A (zh) * | 2015-04-03 | 2015-07-22 | 中国科学院自动化研究所 | 一种基于视觉的无人机对地运动目标检测方法 |
| CN108596165A (zh) * | 2018-08-21 | 2018-09-28 | 湖南鲲鹏智汇无人机技术有限公司 | 基于无人机低空航拍图像的道路交通标线检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN Z 等: "Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 王素琴 等: "无人机航拍视频中的车辆检测方法", 《系统仿真学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN110458845A (zh) * | 2019-06-25 | 2019-11-15 | 上海圭目机器人有限公司 | 基于图像相似度的无人机航拍图像差异分析方法 |
| CN110660028B (zh) * | 2019-09-04 | 2022-10-14 | 南京邮电大学 | 一种基于联合边缘滤波形态学的小目标检测方法 |
| CN110660028A (zh) * | 2019-09-04 | 2020-01-07 | 南京邮电大学 | 一种基于联合边缘滤波形态学的小目标检测方法 |
| CN112395985A (zh) * | 2020-11-17 | 2021-02-23 | 南京理工大学 | 基于无人飞行器图像的地面无人车辆视觉道路检测方法 |
| CN112488241B (zh) * | 2020-12-18 | 2022-04-19 | 贵州大学 | 一种基于多粒度融合网络的零样本图片识别方法 |
| CN112488241A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多粒度融合网络的零样本图片识别方法 |
| CN113034537A (zh) * | 2021-02-26 | 2021-06-25 | 中国科学院计算技术研究所 | 基于多几何模型融合的结构一致性运动分割方法和系统 |
| CN113034537B (zh) * | 2021-02-26 | 2023-03-07 | 中国科学院计算技术研究所 | 基于多几何模型融合的结构一致性运动分割方法和系统 |
| CN113219432A (zh) * | 2021-05-14 | 2021-08-06 | 内蒙古工业大学 | 基于知识辅助和稀疏贝叶斯学习的运动目标检测方法 |
| CN113219432B (zh) * | 2021-05-14 | 2022-11-25 | 内蒙古工业大学 | 基于知识辅助和稀疏贝叶斯学习的运动目标检测方法 |
| CN113469997A (zh) * | 2021-07-19 | 2021-10-01 | 京东科技控股股份有限公司 | 平面玻璃的检测方法、装置、设备和介质 |
| CN113469997B (zh) * | 2021-07-19 | 2024-02-09 | 京东科技控股股份有限公司 | 平面玻璃的检测方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109215053B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109215053A (zh) | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 | |
| CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
| Garcia-Garcia et al. | A survey on deep learning techniques for image and video semantic segmentation | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN108304798B (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
| CN108549926A (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| CN109636905A (zh) | 基于深度卷积神经网络的环境语义建图方法 | |
| CN110084108A (zh) | 基于gan神经网络的行人重识别系统及方法 | |
| CN111080659A (zh) | 一种基于视觉信息的环境语义感知方法 | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN109376611A (zh) | 一种基于3d卷积神经网络的视频显著性检测方法 | |
| CN107705322A (zh) | 运动目标识别跟踪方法和系统 | |
| CN109685732A (zh) | 一种基于边界捕捉的深度图像高精度修复方法 | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| Košecka | Detecting changes in images of street scenes | |
| CN106991411B (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
| CN109712150A (zh) | 基于稀疏表示的光学微波图像融合重建方法和装置 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| Ma et al. | Line-based stereo SLAM by junction matching and vanishing point alignment | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| Li et al. | An aerial image segmentation approach based on enhanced multi-scale convolutional neural network | |
| CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
| CN114358133B (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| Yang et al. | A method of image semantic segmentation based on pspnet | |
| CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211227 Address after: 908, block a, floor 8, No. 116, Zizhuyuan Road, Haidian District, Beijing 100089 Patentee after: ZHONGZI DATA CO.,LTD. Address before: 710055 Yanta Road 13, Xi'an City, Shaanxi Province Patentee before: XIAN University OF ARCHITECTURE AND TECHNOLOG |