CN106683119B - 基于航拍视频图像的运动车辆检测方法 - Google Patents

基于航拍视频图像的运动车辆检测方法 Download PDF

Info

Publication number
CN106683119B
CN106683119B CN201710013944.6A CN201710013944A CN106683119B CN 106683119 B CN106683119 B CN 106683119B CN 201710013944 A CN201710013944 A CN 201710013944A CN 106683119 B CN106683119 B CN 106683119B
Authority
CN
China
Prior art keywords
moving vehicle
image
vehicle
detection
chlbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710013944.6A
Other languages
English (en)
Other versions
CN106683119A (zh
Inventor
于明
刘双岭
于洋
师硕
郭迎春
刘依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201710013944.6A priority Critical patent/CN106683119B/zh
Publication of CN106683119A publication Critical patent/CN106683119A/zh
Application granted granted Critical
Publication of CN106683119B publication Critical patent/CN106683119B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Abstract

本发明基于航拍视频图像的运动车辆检测方法，涉及图像数据处理中的图像运动分析，步骤是：对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：包括基于SURF特征点的图像匹配和估计摄像机的全局运动参数得到背景补偿后的图像；运动车辆位置的粗检测；运动车辆位置的精确检测：包括自适应道路检测、提取候选车辆区域的CHLBP特征和利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测。该方法融合时间和空间特性，克服了现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。

Description

基于航拍视频图像的运动车辆检测方法
技术领域
本发明的技术方案涉及图像数据处理中的图像运动分析，具体地说是基于航拍视频图像的运动车辆检测方法。
背景技术
随着计算机和信息技术的迅猛发展和普及应用，智能交通系统ITS应运而生，它是解决当下交通问题的重要途径，更是未来智能交通事业发展的主要方向。运动车辆检测是智能交通系统的基本技术之一，是车辆计数、车速度、车流量和车密度这些交通流参数测量的基础。在运动车辆检测中，只有从图像背景中准确地分割出车辆，才能进行运动车辆的识别与跟踪，进而进行各种交通流参数的测量与分析。航拍是一种非接触式的，远距离的探测技术，随着科学技术和社会经济的不断发展，航拍技术也逐渐被用于道路上运动车辆的检测。航拍视频中的运动车辆检测技术的研发已成为计算机视觉、模式识别和图像处理领域备受关注的前沿课题。
基于固定摄像头的运动车辆检测算法，比如背景差分法、帧差法和光流法，这些检测算法不能直接用于摄像头运动的航拍视频检测场景中，主要原因是由于摄像头的运动使得图像背景变得复杂多变，从而不能精确地检测出运动车辆。
美国佛罗里达大学在2005年研发了COCOA系统，该系统是针对无人机航拍图像进行地面目标检测与跟踪，通过图像配准的方式消除运动背景，然后利用帧差和背景建模的方式检测运动车辆。由于该系统是基于Harris角点做的图像估计，所以针对于图像尺度变化的情况，检测精度不高；新加坡南洋理工大学的Aryo Wiman Nur Ibrahim提出了MODAT(Moving Objects Detection and Tracking)系统，该系统利用SIFT特征替代Harris角点特征完成图像匹配，具有尺度不变性，但是此算法只适用于简单场景的图像，不具有普适性。CN100545867C公开了航拍交通视频车辆快速检测方法，此方法利用全局运动估计方法分割出背景区域与前景区域，然后结合分水岭分割技术得出运动车辆，其存在使用二参数模型只模拟了航拍器的平移运动，会造成错误的全局运动估计，尤其会在复杂场景中引起较大的噪声干扰导致检测到错误的运动车辆的缺陷。
综上所述，基于航拍视频的运动车辆检测方法的现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷，因此，研发适应不同场景的基于航拍视频的运动车辆检测方法具有很高的实用价值。
发明内容
本发明所要解决的技术问题是：提供基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，克服了现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。
本发明解决该技术问题所采用的技术方案是：基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：
第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：
(1.1)基于SURF特征点的图像匹配：
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：
I＝0.299R+0.587G+0.114B (1)，
在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；
(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：
摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：
Figure BDA0001205778250000021
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，
Figure BDA0001205778250000022
分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，
Figure BDA0001205778250000023
其中，T为转置，且有，
Figure BDA0001205778250000024
根据相邻两帧灰度图像的N个特征点对，则有：
F＝AH (5)，
其中F＝(q1,q2,...,qN)T，
Figure BDA0001205778250000025
将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k-1帧背景补偿后的灰度图像
Figure BDA0001205778250000031
和第k+1帧背景补偿后的灰度图像
Figure BDA0001205778250000032
第二步，运动车辆位置的粗检测：
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：
Figure BDA0001205778250000033
其中，
Figure BDA0001205778250000034
和
Figure BDA0001205778250000035
分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像
Figure BDA0001205778250000036
的灰度值和k+1帧帧背景补偿后的灰度图像
Figure BDA0001205778250000037
的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域，如公式(7)、(8)和(9)所示，
Figure BDA0001205778250000038
Figure BDA0001205778250000039
R(x,y)＝R1(x,y)∧R2(x,y) (9)，
其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；
第三步，运动车辆位置的精确检测：
在上述第二步运动车辆的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的的精确检测，具体过程如下：
(3.1)自适应道路检测：
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代表明暗程度，将S分量图提取出来，利用大津算法计算出S分量的每一帧图像的阈值，根据该自适应的阈值将S分量图转换为二值图像，从而分割出道路区域，分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验，分别得到两种航拍场景下的自适应道路检测结果，即道路区域图；
(3.2)提取候选车辆区域的CHLBP特征：
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域，并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域，得到位于道路区域的候选车辆区域U，然后对这些区域进行CHLBP特征提取，得到CHLBP特征直方图；
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测：
利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类，判断是否为车辆，具体过程是：首先在离线情况下，利用SVM分类器进行训练，正样本为航拍场景下的车辆，负样本为除车辆外随机选取的背景，对正负样本提取CHLBP特征，然后将特征数据输入到SVM分类器中训练，构造SVM分类器，再对经过道路区域得到的候选车辆区域进行CHLBP特征提取，利用构造好的SVM分类器进行验证，当判断为正样本时则为车辆，当判断为负样本时则定为非车辆；至此完成运动车辆位置的精确检测。
上述基于航拍视频图像的运动车辆检测方法，所述CHLBP特征提取，是基于七组编码模板M1-M7得到的，如公式(10)所示：
Figure BDA0001205778250000041
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后，采用类似LBP编码的加权求和形式，形成像素点U(x,y)的CHLBP编码，如下式(11)和(12)所示：
Figure BDA0001205778250000042
Figure BDA0001205778250000043
其中Μj(j＝1,2,3,4,5,6,7)为7组编码模板对应的矩阵，符号“*”为点积运算，t为阈值，WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后，计算其直方图，得到CHLBP特征直方图。
上述基于航拍视频图像的运动车辆检测方法，所述SVM分类器类型为默认设置C-SVC,核函数类型为RBF。
上述基于航拍视频图像的运动车辆检测方法，所述SURF、SVM分类器、六参数仿射模型、三帧差分法和大津算法是本技术领域公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法融合时间和空间特性，首先对航拍视频中相邻的图像帧进行基于SURF特征点的配准，消除摄像头运动造成的影响，实现运动背景补偿，然后利用三帧差分法对运动目标进行粗定位，并对道路区域进行自适应阈值分割，去除周围环境的干扰，最后对位于道路区域的候选车辆区域提取CHLBP(Center Haar Local Binary Pattern)特征，结合SVM分类器进行验证，适应对不同场景的运动车辆进行精确检测，克服了现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。
(2)本发明方法在自适应道路检测步骤中，克服了现有道路检测方法依靠于先验知识和固定阈值的局限性，通过颜色空间变换以及自适应阈值算法进行道路检测，降低了误检的数量，从而提高了车辆检测系统的效率。
(3)本发明方法利用了三帧差分法在时间序列上定位候选区域，然后提取空间的CHLBP特征输入到SVM分类对候选区域进行验证，避免了单一使用空间或者时间方法进行检查的不足，同时提高了算法的速度。
(4)本发明方法在车辆精确检测步骤中，提出了七组CHLBP特征模板，充分利用HAAR和LBP特性，能够对车辆特征进行更好的描述，进一步提高了航拍场景下车辆检测系统的实用性。
(5)本发明方法提高了航拍下运动车辆检测的鲁棒性和有效性，使得在简单和复杂的场景下都能准确检测出运动车辆，更具有实际的应用价值。
下面的实施例对本发明的突出的实质性特点和显著进步作了进一步的证明。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法的步骤流程示意图；
图2(a)为本发明方法中简单航拍场景，采集简单航拍场景运动车辆彩色序列图像的示意图；
图2(b)为本发明方法中复杂航拍场景，采集复杂航拍场景运动车辆彩色序列图像的示意图；
图3(a)为本发明方法中简单航拍场景下自适应道路检测的结果示意图；
图3(b)为本发明方法中复杂航拍场景下自适应道路检测的结果示意图；
图4(a)为本发明方法中简单航拍场景下运动车辆检测的结果示意图；
图4(b)为本发明方法中复杂航拍场景下运动车辆检测的结果示意图；
具体实施方式
图1所示实施例表明，本发明方法的步骤流程是：第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像→基于SURF特征点的图像匹配→估计摄像机的全局运动参数，得到背景补偿后的图像
Figure BDA0001205778250000061
第二步，运动车辆位置的粗检测
Figure BDA0001205778250000062
第三步，运动车辆位置的精确检测→自适应道路检测→提取候选车辆区域的CHLBP特征→利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测。
图1表明，“第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像”，包括“基于SURF特征点的图像匹配”和“估计全局运动参数，得到背景补偿后的图像”两个步骤，即为运动背景补偿；第二步是运动车辆位置的粗检测，利用三帧差分法进行运动车辆的粗检测；第三步，运动车辆位置的精确检测，包括“自适应道路检测”、“提取候选车辆区域的CHLBP特征”和“利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测”，即为验证候选区域，获得运动车辆的精确检测。
图2(a)所示实施例显示，为本发明方法中简单航拍场景，采集简单航拍场景运动车辆彩色序列图像的示意图，周围环境简单，所有车辆均为运动车辆；
图2(b)所示实施例显示，为本发明方法中复杂航拍场景，采集复杂航拍场景运动车辆彩色序列图像的示意图，周围环境复杂，椭圆标出来的车辆为运动车辆。
图3(a)所示实施例显示，为本发明方法中简单航拍场景运动车辆彩色序列图像的道路检测效果图。
图3(b)所示实施例显示，为本发明方法中复杂航拍场景运动车辆彩色序列图像的道路检测效果图。
图4(a)所示实施例显示，为本发明方法中简单航拍场景运动车辆彩色序列图像的最终运动车辆检测效果图，用矩形标出。图4(b)为本发明方法中复杂航拍场景运动车辆彩色序列图像的最终运动车辆检测效果图，用矩形标出。
实施例1
基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：
第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：
(1.1)基于SURF特征点的图像匹配：
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：
I＝0.299R+0.587G+0.114B (1)，
在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；
(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：
摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：
Figure BDA0001205778250000071
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，
Figure BDA0001205778250000072
分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，
Figure BDA0001205778250000073
其中，T为转置，且有，
Figure BDA0001205778250000074
根据相邻两帧灰度图像的N个特征点对，则有：
F＝AH (5)，
其中F＝(q1,q2,...,qN)T，
Figure BDA0001205778250000075
将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k-1帧背景补偿后的灰度图像
Figure BDA0001205778250000076
和第k+1帧背景补偿后的灰度图像
Figure BDA0001205778250000077
第二步，运动车辆位置的粗检测：
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：
Figure BDA0001205778250000078
其中，
Figure BDA0001205778250000079
和
Figure BDA00012057782500000710
分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像
Figure BDA00012057782500000711
的灰度值和k+1帧帧背景补偿后的灰度图像
Figure BDA00012057782500000712
的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y)，如公式(7)、(8)和(9)所示，
Figure BDA00012057782500000713
Figure BDA0001205778250000081
R(x,y)＝R1(x,y)∧R2(x,y) (9)，
其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；
第三步，运动车辆位置的精确检测：
在上述第二步运动车辆位置的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的的精确检测，具体过程如下：
(3.1)自适应道路检测：
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代表明暗程度，将S分量图提取出来，利用大津算法计算出S分量的每一帧图像的阈值，根据该自适应的阈值将S分量图转换为二值图像，从而分割出道路区域，分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验，分别得到两种航拍场景下的自适应道路检测结果，即道路区域图；
(3.2)提取候选车辆区域的CHLBP特征：
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域，并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域，得到位于道路区域的候选车辆区域U，然后对这些区域进行CHLBP特征提取，得到CHLBP特征直方图；
所述CHLBP特征提取，是基于七组编码模板M1-M7得到的，如公式(10)所示：
Figure BDA0001205778250000082
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后，，采用类似LBP编码的加权求和形式，形成像素点U(x,y)的CHLBP编码，如下式(11)和(12)所示：
Figure BDA0001205778250000091
Figure BDA0001205778250000092
其中Μj(j＝1,2,3,4,5,6,7)为7组编码模板对应的矩阵，符号“*”为点积运算，t为阈值，WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后，计算其直方图，得到CHLBP特征直方图。
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测：
利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类，判断是否为车辆，具体过程是：首先在离线情况下，利用类型为默认设置C-SVC,核函数类型为RBF的SVM分类器进行训练，正样本为航拍场景下的车辆，负样本为除车辆外随机选取的背景，对正负样本提取CHLBP特征，然后将特征数据输入到SVM分类器中训练，构造SVM分类器，再对经过自适应道路区域检测后得到的位于道路区域的候选车辆区域进行CHLBP特征提取，利用构造好的SVM分类器进行验证，当判断为正样本时则为车辆，当判断为负样本时则定为非车辆；至此完成运动车辆位置的精确检测。
本实施例是利用MATLAB2010平台实现的，并分别对复杂场景和简单场景的航拍图像序列进行运动车辆检测实验，处理器是英特尔I3-2120，4G内存，使用的航拍图像序列是来自公开的VIVID EgTest01数据库和Munich Crossroad01数据库，为了对本实施例的方法进行有效的评估，选择在背景简单和复杂的两种航拍场景中进行实验分析，结果如表1所示。
表1.Egtest01和Crossroad01数据库中的航拍视频图像的运动车辆检测的实验结果
Figure BDA0001205778250000093
通过表1所列道路筛选前后的运动车辆检测的查全率对比可以看到，两个实验场景中道路筛选前后运动车辆检测的查全率并没有变化，说明将感兴趣区域定为道路是可行的,经过道路筛选后，两个数据库的查准率有所提升，这是由于道路外存在噪声干扰，经过道路筛选后，噪声被剔除，减少了运动车辆检测误检的数量，从而运动车辆检测的查准率有所提高。
实施例2
将本发明方法的运动车辆检测结果与现有技术的COCOA系统、显著性融合方法和LBP方法的运动车辆检测结果进行比较，结果见表2.
表2.Egtest01和Crossroad01数据库上四种方法运动车辆检测结果
Figure BDA0001205778250000101
通过表2可以看到，与目前流行的现有技术COCOA系统、显著性融合方法和LBP方法相比，本发明方法无论在背景简单的Egtest01数据库还是场景复杂的Munich Crossroad01数据库上对运动车辆检测的查全率和运动车辆检测的查准率都是最高的，验证了本发明方法的鲁棒性和有效性。
所示实施例中所述SURF、SVM分类器、六参数仿射模型、三帧差分法和大津算法是本技术领域公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的。

Claims (3)

1.基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：
第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：
(1.1)基于SURF特征点的图像匹配：
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：
I＝0.299R+0.587G+0.114B (1)，
在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；
(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：
摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：
Figure FDA0002202194050000011
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，
Figure FDA0002202194050000012
分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，
Figure FDA0002202194050000013
其中，T为转置，且有，
Figure FDA0002202194050000014
根据相邻两帧灰度图像的N个特征点对，则有：
F＝AH (5)，
其中F＝(q1,q2,...,qN)T，
Figure FDA0002202194050000015
将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k-1帧背景补偿后的灰度图像
Figure FDA0002202194050000016
和第k+1帧背景补偿后的灰度图像
Figure FDA0002202194050000017
第二步，运动车辆位置的粗检测：
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：
Figure FDA0002202194050000021
其中，
Figure FDA0002202194050000022
和
Figure FDA0002202194050000023
分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像
Figure FDA0002202194050000024
的灰度值和k+1帧背景补偿后的灰度图像
Figure FDA0002202194050000025
的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y)，如公式(7)、(8)和(9)所示，
Figure FDA0002202194050000026
Figure FDA0002202194050000027
R(x,y)＝R1(x,y)∧R2(x,y) (9)，
其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；
第三步，运动车辆位置的精确检测：
在上述第二步运动车辆位置的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的精确检测，具体过程如下：
(3.1)自适应道路检测：
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代表明暗程度，将S分量图提取出来，利用大津算法计算出S分量的每一帧图像的阈值，根据自适应的阈值将S分量图转换为二值图像，从而分割出道路区域，分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验，分别得到两种航拍场景下的自适应道路检测结果，即道路区域图；
(3.2)提取候选车辆区域的CHLBP特征：
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域，并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域，得到位于道路区域的候选车辆区域U，然后对这些区域进行CHLBP特征提取，得到CHLBP特征直方图；
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测：
利用SVM分类器对上述步骤(3.2)得到的CHLBP特征直方图进行训练并分类，判断是否为车辆，具体过程是：首先在离线情况下，利用SVM分类器进行训练，正样本为航拍场景下的车辆，负样本为除车辆外随机选取的背景，对正负样本提取CHLBP特征，然后将特征数据输入到SVM分类器中训练，构造SVM分类器，再对经过道路区域得到的候选车辆区域进行CHLBP特征提取，利用构造好的SVM分类器进行验证，当判断为正样本时则为车辆，当判断为负样本时则定为非车辆；至此完成运动车辆位置的精确检测。
2.根据权利要求1所述基于航拍视频图像的运动车辆检测方法，其特征在于：所述CHLBP特征提取，是基于七组编码模板M1-M7得到的，如公式(10)所示：
Figure FDA0002202194050000031
Figure FDA0002202194050000032
Figure FDA0002202194050000033
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后，采用类似LBP编码的加权求和形式，形成像素点U(x,y)的CHLBP编码，如下式(11)和(12)所示：
Figure FDA0002202194050000034
Figure FDA0002202194050000035
其中Mj，j＝1,2,3,4,5，6,7，为7组编码模板对应的矩阵，符号“*”为点积运算，t为阈值，WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后，计算其直方图，得到CHLBP特征直方图。
3.根据权利要求1所述基于航拍视频图像的运动车辆检测方法，其特征在于：所述SVM分类器类型为默认设置C-SVC,核函数类型为RBF。
CN201710013944.6A 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法 Expired - Fee Related CN106683119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710013944.6A CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710013944.6A CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Publications (2)

Publication Number Publication Date
CN106683119A CN106683119A (zh) 2017-05-17
CN106683119B true CN106683119B (zh) 2020-03-13

Family

ID=58849462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710013944.6A Expired - Fee Related CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Country Status (1)

Country Link
CN (1) CN106683119B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
US10410055B2 (en) * 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
CN107945209B (zh) * 2017-11-29 2021-03-05 中国人民解放军火箭军工程大学 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法
CN108573244B (zh) * 2018-04-28 2020-07-14 浪潮集团有限公司 一种车辆检测方法、装置及系统
CN108596129B (zh) * 2018-04-28 2022-05-06 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN109377455B (zh) * 2018-09-27 2021-08-03 浙江工业大学 改进的基于自相似性的多序列磁共振图像配准方法
US11066088B2 (en) 2018-12-13 2021-07-20 Xidian University Detection and positioning method for train water injection port
CN109741456A (zh) * 2018-12-17 2019-05-10 深圳市航盛电子股份有限公司 基于gpu并行运算的3d环视车辆辅助驾驶方法及系统
CN110728229B (zh) * 2019-10-09 2023-07-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
CN112907626A (zh) * 2021-02-08 2021-06-04 中国空间技术研究院 基于卫星超时相数据多源信息的运动目标提取方法
CN113361380B (zh) * 2021-06-03 2023-04-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN114419560B (zh) * 2022-04-01 2022-07-12 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Moving object detection in aerial video based on spatiotemporal saliency;Shen Hao et al.;《Chinese Society of Aeronautics》;20131231;第26卷(第5期);第1211-1217页 *
Video stabilization with moving object detecting and tracking for aerial video surveillance;Ahlem Walha et al.;《Multimedia Tools & Applications》;20151231;第6745-6767页 *
动态场景下基于精确背景补偿的运动目标检测;于明 等;《计算机应用与软件》;20131031;第30卷(第10期);第139-141、198页 *
基于时空特性的运动目标检测算法研究;张明艳 等;《安徽工程大学学报》;20131231;第28卷(第4期);第58-61页 *
运动目标检测的三帧差法算法研究;王孝艳 等;《沈阳理工大学学报》;20111231;第30卷(第6期);第82-91页 *

Also Published As

Publication number Publication date
CN106683119A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Chen et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
Jiao et al. A configurable method for multi-style license plate recognition
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
Wang et al. An effective method for plate number recognition
Kim et al. Multi-task convolutional neural network system for license plate recognition
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN113076802B (zh) 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
Zhang et al. License plate localization in unconstrained scenes using a two-stage CNN-RNN
Thajeel et al. A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern.
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Murugan et al. Automatic moving vehicle detection and classification based on artificial neural fuzzy inference system
Harianto et al. Data augmentation and faster rcnn improve vehicle detection and recognition
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Yuan et al. Day and night vehicle detection and counting in complex environment
CN110910497A (zh) 实现增强现实地图的方法和系统
Das et al. Automatic License Plate Recognition Technique using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200313

Termination date: 20220109