CN106683119A - 基于航拍视频图像的运动车辆检测方法 - Google Patents

基于航拍视频图像的运动车辆检测方法 Download PDF

Info

Publication number
CN106683119A
CN106683119A CN201710013944.6A CN201710013944A CN106683119A CN 106683119 A CN106683119 A CN 106683119A CN 201710013944 A CN201710013944 A CN 201710013944A CN 106683119 A CN106683119 A CN 106683119A
Authority
CN
China
Prior art keywords
moving vehicle
vehicle
plane
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710013944.6A
Other languages
English (en)
Other versions
CN106683119B (zh
Inventor
于明
刘双岭
于洋
师硕
郭迎春
刘依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201710013944.6A priority Critical patent/CN106683119B/zh
Publication of CN106683119A publication Critical patent/CN106683119A/zh
Application granted granted Critical
Publication of CN106683119B publication Critical patent/CN106683119B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明基于航拍视频图像的运动车辆检测方法,涉及图像数据处理中的图像运动分析,步骤是:对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像:包括基于SURF特征点的图像匹配和估计摄像机的全局运动参数得到背景补偿后的图像;运动车辆位置的粗检测;运动车辆位置的精确检测:包括自适应道路检测、提取候选车辆区域的CHLBP特征和利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测。该方法融合时间和空间特性,克服了现有技术存在只适用于简单的单一场景运动车辆检测,难以适用于不同场景下的多运动车辆检测,检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。

Description

基于航拍视频图像的运动车辆检测方法
技术领域
本发明的技术方案涉及图像数据处理中的图像运动分析,具体地说是基于航拍视频图像的运动车辆检测方法。
背景技术
随着计算机和信息技术的迅猛发展和普及应用,智能交通系统ITS应运而生,它是解决当下交通问题的重要途径,更是未来智能交通事业发展的主要方向。运动车辆检测是智能交通系统的基本技术之一,是车辆计数、车速度、车流量和车密度这些交通流参数测量的基础。在运动车辆检测中,只有从图像背景中准确地分割出车辆,才能进行运动车辆的识别与跟踪,进而进行各种交通流参数的测量与分析。航拍是一种非接触式的,远距离的探测技术,随着科学技术和社会经济的不断发展,航拍技术也逐渐被用于道路上运动车辆的检测。航拍视频中的运动车辆检测技术的研发已成为计算机视觉、模式识别和图像处理领域备受关注的前沿课题。
基于固定摄像头的运动车辆检测算法,比如背景差分法、帧差法和光流法,这些检测算法不能直接用于摄像头运动的航拍视频检测场景中,主要原因是由于摄像头的运动使得图像背景变得复杂多变,从而不能精确地检测出运动车辆。
美国佛罗里达大学在2005年研发了COCOA系统,该系统是针对无人机航拍图像进行地面目标检测与跟踪,通过图像配准的方式消除运动背景,然后利用帧差和背景建模的方式检测运动车辆。由于该系统是基于Harris角点做的图像估计,所以针对于图像尺度变化的情况,检测精度不高;新加坡南洋理工大学的Aryo Wiman Nur Ibrahim提出了MODAT(Moving Objects Detection and Tracking)系统,该系统利用SIFT特征替代Harris角点特征完成图像匹配,具有尺度不变性,但是此算法只适用于简单场景的图像,不具有普适性。CN100545867C公开了航拍交通视频车辆快速检测方法,此方法利用全局运动估计方法分割出背景区域与前景区域,然后结合分水岭分割技术得出运动车辆,其存在使用二参数模型只模拟了航拍器的平移运动,会造成错误的全局运动估计,尤其会在复杂场景中引起较大的噪声干扰导致检测到错误的运动车辆的缺陷。
综上所述,基于航拍视频的运动车辆检测方法的现有技术存在只适用于简单的单一场景运动车辆检测,难以适用于不同场景下的多运动车辆检测,检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷,因此,研发适应不同场景的基于航拍视频的运动车辆检测方法具有很高的实用价值。
发明内容
本发明所要解决的技术问题是:提供基于航拍视频图像的运动车辆检测方法,该方法融合时间和空间特性,适应对不同场景的运动车辆进行精确检测,克服了现有技术存在只适用于简单的单一场景运动车辆检测,难以适用于不同场景下的多运动车辆检测,检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。
本发明解决该技术问题所采用的技术方案是:基于航拍视频图像的运动车辆检测方法,该方法融合时间和空间特性,适应对不同场景的运动车辆进行精确检测,具体步骤如下:
第一步,对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像:
(1.1)基于SURF特征点的图像匹配:
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像,将采集到的所有运动车辆彩色序列图像F输入计算机中,并由RGB空间转化到灰度空间,采用的公式(1)如下:
I=0.299R+0.587G+0.114B (1),
在获得的灰度序列图像I上进行SURF特征点检测,然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配,得到匹配特征点对,用于下面进行摄相机的全局运动参数的估计;
(1.2)估计摄像机的全局运动参数,得到背景补偿后的图像:
摄像机的运动状态主要包括平移、旋转和缩放,采用六参数仿射模型近似表示,以估计全局运动参数,估计的过程如公式(2)所示:
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动,(t1,t2)表示摄像机的平移运动,分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标,i=1,…,N,利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H,
其中,T为转置,且有,
根据相邻两帧灰度图像的N个特征点对,则有:
F=AH (5),
其中F=(q1,q2,...,qN)T将上述(1.1)步匹配得到的特征点对代入公式(5),利用最小二乘法计算得到全局运动参数,并且根据公式(2)得到第k-1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像
第二步,运动车辆位置的粗检测:
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测,三帧差分法的过程如下:
其中,分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值,Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值,D1(x,y)、D2(x,y)代表差分的结果,对差分结果二值化并进行“与”运算,得到粗略检测的运动车辆的候选区域,如公式(7)、(8)和(9)所示,
R(x,y)=R1(x,y)∧R2(x,y) (9),
其中,R1(x,y),R2(x,y)代表二值化结果,T为阈值,∧表示“与”运算,R(x,y)值为1的区域为粗略检测的运动车辆的候选区域;
第三步,运动车辆位置的精确检测:
在上述第二步运动车辆的粗检测的基础上,首先采用自适应的方法检测道路,得到感兴趣区域,然后对位于感兴趣区域的候选运动车辆进行验证,得到运动车辆位置的的精确检测,具体过程如下:
(3.1)自适应道路检测:
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间,其中H代表色调,S代表饱和度,V代表明暗程度,将S分量图提取出来,利用大津算法计算出S分量的每一帧图像的阈值,根据该自适应的阈值将S分量图转换为二值图像,从而分割出道路区域,分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验,分别得到两种航拍场景下的自适应道路检测结果,即道路区域图;
(3.2)提取候选车辆区域的CHLBP特征:
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域,并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域,得到位于道路区域的候选车辆区域U,然后对这些区域进行CHLBP特征提取,得到CHLBP特征直方图;
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测:
利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类,判断是否为车辆,具体过程是:首先在离线情况下,利用SVM分类器进行训练,正样本为航拍场景下的车辆,负样本为除车辆外随机选取的背景,对正负样本提取CHLBP特征,然后将特征数据输入到SVM分类器中训练,构造SVM分类器,再对经过道路区域得到的候选车辆区域进行CHLBP特征提取,利用构造好的SVM分类器进行验证,当判断为正样本时则为车辆,当判断为负样本时则定为非车辆;至此完成运动车辆位置的精确检测。
上述基于航拍视频图像的运动车辆检测方法,所述CHLBP特征提取,是基于七组编码模板M1-M7得到的,如公式(10)所示:
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后,采用类似LBP编码的加权求和形式,形成像素点U(x,y)的CHLBP编码,如下式(11)和(12)所示:
其中Μj(j=1,2,3,4,5,6,7)为7组编码模板对应的矩阵,符号“*”为点积运算,t为阈值,WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后,计算其直方图,得到CHLBP特征直方图。
上述基于航拍视频图像的运动车辆检测方法,所述SVM分类器类型为默认设置C-SVC,核函数类型为RBF。
上述基于航拍视频图像的运动车辆检测方法,所述SURF、SVM分类器、六参数仿射模型、三帧差分法和大津算法是本技术领域公知的,所涉及的设备是本技术领域熟知并可通过商购途径获得的。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著进步如下:
(1)本发明方法融合时间和空间特性,首先对航拍视频中相邻的图像帧进行基于SURF特征点的配准,消除摄像头运动造成的影响,实现运动背景补偿,然后利用三帧差分法对运动目标进行粗定位,并对道路区域进行自适应阈值分割,去除周围环境的干扰,最后对位于道路区域的候选车辆区域提取CHLBP(Center Haar Local Binary Pattern)特征,结合SVM分类器进行验证,适应对不同场景的运动车辆进行精确检测,克服了现有技术存在只适用于简单的单一场景运动车辆检测,难以适用于不同场景下的多运动车辆检测,检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。
(2)本发明方法在自适应道路检测步骤中,克服了现有道路检测方法依靠于先验知识和固定阈值的局限性,通过颜色空间变换以及自适应阈值算法进行道路检测,降低了误检的数量,从而提高了车辆检测系统的效率。
(3)本发明方法利用了三帧差分法在时间序列上定位候选区域,然后提取空间的CHLBP特征输入到SVM分类对候选区域进行验证,避免了单一使用空间或者时间方法进行检查的不足,同时提高了算法的速度。
(4)本发明方法在车辆精确检测步骤中,提出了七组CHLBP特征模板,充分利用HAAR和LBP特性,能够对车辆特征进行更好的描述,进一步提高了航拍场景下车辆检测系统的实用性。
(5)本发明方法提高了航拍下运动车辆检测的鲁棒性和有效性,使得在简单和复杂的场景下都能准确检测出运动车辆,更具有实际的应用价值。
下面的实施例对本发明的突出的实质性特点和显著进步作了进一步的证明。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法的步骤流程示意图;
图2(a)为本发明方法中简单航拍场景,采集简单航拍场景运动车辆彩色序列图像的示意图;
图2(b)为本发明方法中复杂航拍场景,采集复杂航拍场景运动车辆彩色序列图像的示意图;
图3(a)为本发明方法中简单航拍场景下自适应道路检测的结果示意图;
图3(b)为本发明方法中复杂航拍场景下自适应道路检测的结果示意图;
图4(a)为本发明方法中简单航拍场景下运动车辆检测的结果示意图;
图4(b)为本发明方法中复杂航拍场景下运动车辆检测的结果示意图;
具体实施方式
图1所示实施例表明,本发明方法的步骤流程是:第一步,对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像→基于SURF特征点的图像匹配→估计摄像机的全局运动参数,得到背景补偿后的图像第二步,运动车辆位置的粗检测第三步,运动车辆位置的精确检测→自适应道路检测→提取候选车辆区域的CHLBP特征→利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测。
图1表明,“第一步,对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像”,包括“基于SURF特征点的图像匹配”和“估计全局运动参数,得到背景补偿后的图像”两个步骤,即为运动背景补偿;第二步是运动车辆位置的粗检测,利用三帧差分法进行运动车辆的粗检测;第三步,运动车辆位置的精确检测,包括“自适应道路检测”、“提取候选车辆区域的CHLBP特征”和“利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测”,即为验证候选区域,获得运动车辆的精确检测。
图2(a)所示实施例显示,为本发明方法中简单航拍场景,采集简单航拍场景运动车辆彩色序列图像的示意图,周围环境简单,所有车辆均为运动车辆;
图2(b)所示实施例显示,为本发明方法中复杂航拍场景,采集复杂航拍场景运动车辆彩色序列图像的示意图,周围环境复杂,椭圆标出来的车辆为运动车辆。
图3(a)所示实施例显示,为本发明方法中简单航拍场景运动车辆彩色序列图像的道路检测效果图。
图3(b)所示实施例显示,为本发明方法中复杂航拍场景运动车辆彩色序列图像的道路检测效果图。
图4(a)所示实施例显示,为本发明方法中简单航拍场景运动车辆彩色序列图像的最终运动车辆检测效果图,用矩形标出。图4(b)为本发明方法中复杂航拍场景运动车辆彩色序列图像的最终运动车辆检测效果图,用矩形标出。
实施例1
基于航拍视频图像的运动车辆检测方法,该方法融合时间和空间特性,适应对不同场景的运动车辆进行精确检测,具体步骤如下:
第一步,对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像:
(1.1)基于SURF特征点的图像匹配:
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像,将采集到的所有运动车辆彩色序列图像F输入计算机中,并由RGB空间转化到灰度空间,采用的公式(1)如下:
I=0.299R+0.587G+0.114B (1),
在获得的灰度序列图像I上进行SURF特征点检测,然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配,得到匹配特征点对,用于下面进行摄相机的全局运动参数的估计;
(1.2)估计摄像机的全局运动参数,得到背景补偿后的图像:
摄像机的运动状态主要包括平移、旋转和缩放,采用六参数仿射模型近似表示,以估计全局运动参数,估计的过程如公式(2)所示:
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动,(t1,t2)表示摄像机的平移运动,分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标,i=1,…,N,利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H,
其中,T为转置,且有,
根据相邻两帧灰度图像的N个特征点对,则有:
F=AH (5),
其中F=(q1,q2,...,qN)T将上述(1.1)步匹配得到的特征点对代入公式(5),利用最小二乘法计算得到全局运动参数,并且根据公式(2)得到第k-1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像
第二步,运动车辆位置的粗检测:
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测,三帧差分法的过程如下:
其中,分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值,Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值,D1(x,y)、D2(x,y)代表差分的结果,对差分结果二值化并进行“与”运算,得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y),如公式(7)、(8)和(9)所示,
R(x,y)=R1(x,y)∧R2(x,y) (9),
其中,R1(x,y),R2(x,y)代表二值化结果,T为阈值,∧表示“与”运算,R(x,y)值为1的区域为粗略检测的运动车辆的候选区域;
第三步,运动车辆位置的精确检测:
在上述第二步运动车辆位置的粗检测的基础上,首先采用自适应的方法检测道路,得到感兴趣区域,然后对位于感兴趣区域的候选运动车辆进行验证,得到运动车辆位置的的精确检测,具体过程如下:
(3.1)自适应道路检测:
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间,其中H代表色调,S代表饱和度,V代表明暗程度,将S分量图提取出来,利用大津算法计算出S分量的每一帧图像的阈值,根据该自适应的阈值将S分量图转换为二值图像,从而分割出道路区域,分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验,分别得到两种航拍场景下的自适应道路检测结果,即道路区域图;
(3.2)提取候选车辆区域的CHLBP特征:
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域,并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域,得到位于道路区域的候选车辆区域U,然后对这些区域进行CHLBP特征提取,得到CHLBP特征直方图;
所述CHLBP特征提取,是基于七组编码模板M1-M7得到的,如公式(10)所示:
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后,,采用类似LBP编码的加权求和形式,形成像素点U(x,y)的CHLBP编码,如下式(11)和(12)所示:
其中Μj(j=1,2,3,4,5,6,7)为7组编码模板对应的矩阵,符号“*”为点积运算,t为阈值,WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后,计算其直方图,得到CHLBP特征直方图。
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测:
利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类,判断是否为车辆,具体过程是:首先在离线情况下,利用类型为默认设置C-SVC,核函数类型为RBF的SVM分类器进行训练,正样本为航拍场景下的车辆,负样本为除车辆外随机选取的背景,对正负样本提取CHLBP特征,然后将特征数据输入到SVM分类器中训练,构造SVM分类器,再对经过自适应道路区域检测后得到的位于道路区域的候选车辆区域进行CHLBP特征提取,利用构造好的SVM分类器进行验证,当判断为正样本时则为车辆,当判断为负样本时则定为非车辆;至此完成运动车辆位置的精确检测。
本实施例是利用MATLAB2010平台实现的,并分别对复杂场景和简单场景的航拍图像序列进行运动车辆检测实验,处理器是英特尔I3-2120,4G内存,使用的航拍图像序列是来自公开的VIVID EgTest01数据库和Munich Crossroad01数据库,为了对本实施例的方法进行有效的评估,选择在背景简单和复杂的两种航拍场景中进行实验分析,结果如表1所示。
表1.Egtest01和Crossroad01数据库中的航拍视频图像的运动车辆检测的实验结果
通过表1所列道路筛选前后的运动车辆检测的查全率对比可以看到,两个实验场景中道路筛选前后运动车辆检测的查全率并没有变化,说明将感兴趣区域定为道路是可行的,经过道路筛选后,两个数据库的查准率有所提升,这是由于道路外存在噪声干扰,经过道路筛选后,噪声被剔除,减少了运动车辆检测误检的数量,从而运动车辆检测的查准率有所提高。
实施例2
将本发明方法的运动车辆检测结果与现有技术的COCOA系统、显著性融合方法和LBP方法的运动车辆检测结果进行比较,结果见表2.
表2.Egtest01和Crossroad01数据库上四种方法运动车辆检测结果
通过表2可以看到,与目前流行的现有技术COCOA系统、显著性融合方法和LBP方法相比,本发明方法无论在背景简单的Egtest01数据库还是场景复杂的Munich Crossroad01数据库上对运动车辆检测的查全率和运动车辆检测的查准率都是最高的,验证了本发明方法的鲁棒性和有效性。
所示实施例中所述SURF、SVM分类器、六参数仿射模型、三帧差分法和大津算法是本技术领域公知的,所涉及的设备是本技术领域熟知并可通过商购途径获得的。

Claims (3)

1.基于航拍视频图像的运动车辆检测方法,该方法融合时间和空间特性,适应对不同场景的运动车辆进行精确检测,具体步骤如下:
第一步,对输入运动车辆彩色序列图像匹配,进一步得到背景补偿后的图像:
(1.1)基于SURF特征点的图像匹配:
分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像,将采集到的所有运动车辆彩色序列图像F输入计算机中,并由RGB空间转化到灰度空间,采用的公式(1)如下:
I=0.299R+0.587G+0.114B (1),
在获得的灰度序列图像I上进行SURF特征点检测,然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配,得到匹配特征点对,用于下面进行摄相机的全局运动参数的估计;
(1.2)估计摄像机的全局运动参数,得到背景补偿后的图像:
摄像机的运动状态主要包括平移、旋转和缩放,采用六参数仿射模型近似表示,以估计全局运动参数,估计的过程如公式(2)所示:
x i k y i k = a 1 x i k - 1 + a 2 y i k - 1 + t 1 a 3 x i k - 1 + a 4 y i k - 1 + t 2 - - - ( 2 ) ,
其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动,(t1,t2)表示摄像机的平移运动,分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标,i=1,…,N,利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H,
q i T = A i H - - - ( 3 ) ,
其中,T为转置,且有,
A i = x i k - 1 y i k - 1 0 0 1 0 0 0 x i k - 1 y i k - 1 0 1 , H = ( a 1 , a 2 , a 3 , a 4 , t 1 , t 2 ) T - - - ( 4 ) ,
根据相邻两帧灰度图像的N个特征点对,则有:
F=AH (5),
其中F=(q1,q2,...,qN)T将上述(1.1)步匹配得到的特征点对代入公式(5),利用最小二乘法计算得到全局运动参数,并且根据公式(2)得到第k-1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像
第二步,运动车辆位置的粗检测:
采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测,三帧差分法的过程如下:
D 1 ( x , y ) = | I k ( x , y ) - I ^ k - 1 ( x , y ) | D 2 ( x , y ) = | I ^ k + 1 ( x , y ) - I k ( x , y ) | - - - ( 6 ) ,
其中,分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值,Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值,D1(x,y)、D2(x,y)代表差分的结果,对差分结果二值化并进行“与”运算,得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y),如公式(7)、(8)和(9)所示,
R(x,y)=R1(x,y)∧R2(x,y) (9),
其中,R1(x,y),R2(x,y)代表二值化结果,T为阈值,∧表示“与”运算,R(x,y)值为1的区域为粗略检测的运动车辆的候选区域;
第三步,运动车辆位置的精确检测:
在上述第二步运动车辆位置的粗检测的基础上,首先采用自适应的方法检测道路,得到感兴趣区域,然后对位于感兴趣区域的候选运动车辆进行验证,得到运动车辆位置的的精确检测,具体过程如下:
(3.1)自适应道路检测:
将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间,其中H代表色调,S代表饱和度,V代表明暗程度,将S分量图提取出来,利用大津算法计算出S分量的每一帧图像的阈值,根据该自适应的阈值将S分量图转换为二值图像,从而分割出道路区域,分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验,分别得到两种航拍场景下的自适应道路检测结果,即道路区域图;
(3.2)提取候选车辆区域的CHLBP特征:
将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域,并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域,得到位于道路区域的候选车辆区域U,然后对这些区域进行CHLBP特征提取,得到CHLBP特征直方图;
(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测:
利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类,判断是否为车辆,具体过程是:首先在离线情况下,利用SVM分类器进行训练,正样本为航拍场景下的车辆,负样本为除车辆外随机选取的背景,对正负样本提取CHLBP特征,然后将特征数据输入到SVM分类器中训练,构造SVM分类器,再对经过道路区域得到的候选车辆区域进行CHLBP特征提取,利用构造好的SVM分类器进行验证,当判断为正样本时则为车辆,当判断为负样本时则定为非车辆;至此完成运动车辆位置的精确检测。
2.根据权利要求1所述基于航拍视频图像的运动车辆检测方法,其特征在于:所述CHLBP特征提取,是基于七组编码模板M1-M7得到的,如公式(10)所示:
M 1 = 0 0 1 0 0 0 0.25 - 1 0.25 0 1 - 1 - 1 - 1 1 0 0.25 - 1 0.25 0 0 0 1 0 0 , M 2 = 0 0 0 0 0 0 0 0 0 0 1 - 1 - 2 0 0 1 - 1 - 1 0 0 1 1 1 0 0 , M 3 = 0 0 0 0 0 0 0 0 0 0 0 0 - 2 - 1 1 0 0 - 1 - 1 1 0 0 1 1 1
M 4 = 0 0 1 1 1 0 0 - 1 - 1 1 0 0 - 2 - 1 1 0 0 0 0 0 0 0 0 0 0 , M 5 = 1 1 1 0 0 1 - 1 - 1 0 0 1 - 1 - 2 0 0 0 0 0 0 0 0 0 0 0 0 , M 6 = 1 1 0 1 1 - 1 - 1 0.25 - 1 - 1 0 0.25 - 1 0.25 0 - 1 - 1 0.25 - 1 - 1 1 1 0 1 1
M 7 = 1 - 1 0 - 1 1 1 - 1 0.25 - 1 1 0 0.25 - 1 0.25 0 1 - 1 0.25 - 1 1 1 - 1 0 - 1 1 - - - ( 10 ) ,
用上述公式(10)中七个模板分别对上述(3.2)步中得到的位于道路区域的候选车辆区域中所有像素点U(x,y)的5×5邻域进行点积运算并二值化后,采用类似LBP编码的加权求和形式,形成像素点U(x,y)的CHLBP编码,如下式(11)和(12)所示:
C H L B P ( U ( x , y ) ) = Σ j = 1 7 sgn ( M j * W U ) × 2 j - 1 - - - ( 11 ) ,
sgn ( x ) = 1 , x &GreaterEqual; t 0 , x < t - - - ( 12 ) ,
其中Μj(j=1,2,3,4,5,6,7)为7组编码模板对应的矩阵,符号“*”为点积运算,t为阈值,WU为位于道路区域的候选车辆区域中像素点U(x,y)为中心的5×5邻域的灰度值对应的矩阵,利用公式(11)得到所有像素点的CHLBP值后,计算其直方图,得到CHLBP特征直方图。
3.根据权利要求1所述基于航拍视频图像的运动车辆检测方法,其特征在于:所述SVM分类器类型为默认设置C-SVC,核函数类型为RBF。
CN201710013944.6A 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法 Expired - Fee Related CN106683119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710013944.6A CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710013944.6A CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Publications (2)

Publication Number Publication Date
CN106683119A true CN106683119A (zh) 2017-05-17
CN106683119B CN106683119B (zh) 2020-03-13

Family

ID=58849462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710013944.6A Expired - Fee Related CN106683119B (zh) 2017-01-09 2017-01-09 基于航拍视频图像的运动车辆检测方法

Country Status (1)

Country Link
CN (1) CN106683119B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN107945209A (zh) * 2017-11-29 2018-04-20 中国人民解放军火箭军工程大学 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法
CN108573244A (zh) * 2018-04-28 2018-09-25 济南浪潮高新科技投资发展有限公司 一种车辆检测方法、装置及系统
CN108596129A (zh) * 2018-04-28 2018-09-28 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109377455A (zh) * 2018-09-27 2019-02-22 浙江工业大学 改进的基于自相似性的多序列磁共振图像配准方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN109741456A (zh) * 2018-12-17 2019-05-10 深圳市航盛电子股份有限公司 基于gpu并行运算的3d环视车辆辅助驾驶方法及系统
CN110728229A (zh) * 2019-10-09 2020-01-24 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备和存储介质
CN111201496A (zh) * 2017-10-05 2020-05-26 图森有限公司 用于航拍视频交通分析的系统和方法
WO2020118621A1 (zh) * 2018-12-13 2020-06-18 西安电子科技大学 一种列车注水口检测定位方法
CN112907626A (zh) * 2021-02-08 2021-06-04 中国空间技术研究院 基于卫星超时相数据多源信息的运动目标提取方法
CN113361380A (zh) * 2021-06-03 2021-09-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN114419560A (zh) * 2022-04-01 2022-04-29 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AHLEM WALHA ET AL.: "Video stabilization with moving object detecting and tracking for aerial video surveillance", 《MULTIMEDIA TOOLS & APPLICATIONS》 *
SHEN HAO ET AL.: "Moving object detection in aerial video based on spatiotemporal saliency", 《CHINESE SOCIETY OF AERONAUTICS》 *
于明 等: "动态场景下基于精确背景补偿的运动目标检测", 《计算机应用与软件》 *
张明艳 等: "基于时空特性的运动目标检测算法研究", 《安徽工程大学学报》 *
王孝艳 等: "运动目标检测的三帧差法算法研究", 《沈阳理工大学学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN111201496B (zh) * 2017-10-05 2023-06-30 图森有限公司 用于航拍视频交通分析的系统和方法
CN111201496A (zh) * 2017-10-05 2020-05-26 图森有限公司 用于航拍视频交通分析的系统和方法
CN107945209A (zh) * 2017-11-29 2018-04-20 中国人民解放军火箭军工程大学 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法
CN107945209B (zh) * 2017-11-29 2021-03-05 中国人民解放军火箭军工程大学 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法
CN108573244B (zh) * 2018-04-28 2020-07-14 浪潮集团有限公司 一种车辆检测方法、装置及系统
CN108573244A (zh) * 2018-04-28 2018-09-25 济南浪潮高新科技投资发展有限公司 一种车辆检测方法、装置及系统
CN108596129A (zh) * 2018-04-28 2018-09-28 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN108596129B (zh) * 2018-04-28 2022-05-06 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN109377455B (zh) * 2018-09-27 2021-08-03 浙江工业大学 改进的基于自相似性的多序列磁共振图像配准方法
CN109377455A (zh) * 2018-09-27 2019-02-22 浙江工业大学 改进的基于自相似性的多序列磁共振图像配准方法
WO2020118621A1 (zh) * 2018-12-13 2020-06-18 西安电子科技大学 一种列车注水口检测定位方法
US11066088B2 (en) 2018-12-13 2021-07-20 Xidian University Detection and positioning method for train water injection port
CN109741456A (zh) * 2018-12-17 2019-05-10 深圳市航盛电子股份有限公司 基于gpu并行运算的3d环视车辆辅助驾驶方法及系统
CN110728229A (zh) * 2019-10-09 2020-01-24 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备和存储介质
CN110728229B (zh) * 2019-10-09 2023-07-18 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备和存储介质
CN112907626A (zh) * 2021-02-08 2021-06-04 中国空间技术研究院 基于卫星超时相数据多源信息的运动目标提取方法
CN113361380A (zh) * 2021-06-03 2021-09-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN113361380B (zh) * 2021-06-03 2023-04-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN114419560A (zh) * 2022-04-01 2022-04-29 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质
CN114419560B (zh) * 2022-04-01 2022-07-12 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质

Also Published As

Publication number Publication date
CN106683119B (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN106683119A (zh) 基于航拍视频图像的运动车辆检测方法
Heinzler et al. Cnn-based lidar point cloud de-noising in adverse weather
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN108416348A (zh) 基于支持向量机和卷积神经网络的车牌定位识别方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN104809443B (zh) 基于卷积神经网络的车牌检测方法及系统
Chen et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
CN111310862A (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
Kim et al. Multi-task convolutional neural network system for license plate recognition
CN107506729B (zh) 一种基于深度学习的能见度检测方法
CN110490256A (zh) 一种基于关键点热图的车辆检测方法
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN107169985A (zh) 一种基于对称帧间差分和背景更新的运动目标检测方法
CN104766344B (zh) 基于运动边缘提取器的车辆检测方法
CN107767400A (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN110399884A (zh) 一种特征融合自适应锚框模型车辆检测方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN112149713B (zh) 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
CN110930384A (zh) 基于密度信息的人群计数方法、装置、设备以及介质
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200313

Termination date: 20220109