CN110060221A - 一种基于无人机航拍图像的桥梁车辆检测方法 - Google Patents
一种基于无人机航拍图像的桥梁车辆检测方法 Download PDFInfo
- Publication number
- CN110060221A CN110060221A CN201910344879.4A CN201910344879A CN110060221A CN 110060221 A CN110060221 A CN 110060221A CN 201910344879 A CN201910344879 A CN 201910344879A CN 110060221 A CN110060221 A CN 110060221A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- bridge
- bridge portion
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012417 linear regression Methods 0.000 claims abstract description 24
- 239000003595 mist Substances 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims description 15
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013398 bayesian method Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000036541 health Effects 0.000 abstract description 2
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Astronomy & Astrophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无人机航拍图像的桥梁车辆检测方法,首先对无人机航拍图像进行预处理,抑制海风引起的抖动和噪声干扰;使用K‑means聚类方式提取桥梁部分图像,并使用暗通道图、雾图模型对图像进行去雾处理,使用线性回归模型求取灰度化权重比,对图像进行灰度化处理,减小桥梁部分图像的数据量,使用局部对比度增强法对图像进行对比度增强,并使用大津阈值分割技术检测车辆,用以突出桥梁部分图像中的车辆特征,最后,使用基于卷积神经网络的车型分类器对车辆进行分类,并设计经验公式计算车辆的长度、宽度、高度信息,该方法得到的跨海大桥车辆信息准确、可靠,可用于评估跨海大桥的桥梁健康状况、预测桥梁维修周期以及交通部门的交通指挥等。
Description
技术领域
本发明涉及图像处理领域,特别是一种基于无人机航拍图像的桥梁车辆检测方法。
背景技术
跨海大桥航拍图像中的车辆信息是智能交通系统建设的重要部分,有助于分析当前跨海大桥交通状况,预测桥梁维修周期。车辆特征可以用于车辆跟踪、车型分析、车牌识别等。目前常用的车辆检测是基于一阶或二阶导数的边缘检测方式,这种方式的缺点在于检测时受图像拍摄质量的影响较大,需要高拍摄质量的图像,才有望获得好的车辆检测结果。
无人机航拍的跨海大桥图像受水汽和雾气的干扰,图像中存在雾气,掩盖了图像中的一些重要信息。亟需一种简单快速的图像去雾方式对图像进行处理。目前的图像去雾方式主要有两种,一种是基于图像增强的方式对图像进行去雾处理,这种方式的优点在于处理速度快,运算简单。弊端在于不考虑图像的对比度、色差还有图像退化的原因,处理之后可能导致图像的部分重要信息丢失。另一种是使用去雾模型进行去雾,首先对图像退化的原因进行分析,然后建立反向模型对图像进行去雾;在实际使用过程中需要获得图像的景深和大气条件,加大了图像处理的难度。因此有人提出了一种基于暗通道的先验去雾方式,利用先验知识和理论对图像中雾气的透射信息进行评估,然后利用该信息进行去雾。该方式仅适用于拍摄背景单一,图像中天空区域或白色区域较少的情况。跨海大桥航拍图像由于雾气、反光等原因,直接使用这种方式去雾会产生较大的误差。
发明内容
本发明的目的在于提供一种基于无人机航拍图像的桥梁车辆检测方法,以克服现有技术的不足。
为达到上述目的,本发明采用如下技术方案:
一种基于无人机航拍图像的桥梁车辆检测方法,包括以下步骤:
步骤1)、对获取的图像进行降噪预处理;
步骤2)、然后对降噪预处理后的图像进行去雾处理:将降噪预处理后的图像中桥梁和海面分割成两部分,并使用暗通道去雾方式对桥梁部分图像进行去雾处理得到去雾处理后图像;
步骤3)、建立线性回归模型求取灰度化权重比,并利用训练样本对回归模型进行训练,利用训练后的线性回归模型对去雾处理后图像进行灰度化处理;
步骤4)、利用局部对比度增强法对步骤3)得到的桥梁部分的灰度化图像进行对比度增强,再使用大津阈值分割技术对车辆进行检测提取桥梁部分图像中的车辆信息;
步骤5)、建立基于卷积神经网络的车型分类器,利用车型分类器对步骤4)所检测到车辆的车型分类以确定车型,并以图像中大桥的限高栏为参照物,计算车辆的长度、宽度和高度信息,完成车辆检测。
进一步的,具体的降噪预处理包括以下步骤:
采用中值滤波法对无人机航拍图像进行滤波处理,去除图像中的孤立噪声点和椒盐噪声,然后对滤波处理后的图像采用变分贝叶斯方法进行抑制变形处理,减弱图像拍摄过程中出现的抖动,抑制图像变形,最后通过UndistortImage矫正函数对抑制变形处理后的图像进行矫正,减弱图像畸变,从而完成图像降噪预处理。
进一步的,步骤2)中,将降噪预处理后的图像由RGB颜色空间图像转化成Lab颜色空间图像,使用K-means聚类方式提取桥梁部分图像;将桥梁部分图像从Lab空间转回至RGB颜色空间,使用暗通道图和雾图模型计算图像的大气光值和大气透射率,并依据雾图模型对桥梁部分图像进行去雾处理。
进一步的,首先,将航拍得到的跨海大桥RGB图像转化成Lab空间图像,得到Lab空间的三个分量:L分量、a分量和b分量;然后使用K-means聚类方式对a分量和b分量进行聚类操作,计算每个像素点的a分量和b分量之间的距离,将距离最小的像素点归为同一类,将其它的像素点归为另一类,这两类像素点分别构成桥梁和海面,提取出桥梁部分图像;
接着,将桥梁部分图像从Lab空间转回至RGB颜色空间,获取桥梁部分图像的大气光值A和大气透射率t(x),其中x为像素坐标位置;先基于暗通道图求取大气光值A,从暗通道图中按照亮度值将前0.1%的像素提取出来,标记提取出来的前0.1%的像素坐标位置z,并在未进行降噪预处理的图像中标记提取出来的前0.1%的像素坐标的对应位置;在这些像素中,寻找最大的亮度值,将其作为大气光值A;
再利用雾图模型计算大气透射率t(x),所使用的雾图模型如下:
其中,Ic(x)表示c通道像素x处的含雾桥梁部分图像,c可取为R,G,B三通道中的一个,即c∈{R,G,B};Jc(x)表示c通道像素x处的无雾桥梁部分图像,是去雾处理所期望的结果。
进一步的,将桥梁部分图像分解为若干个方形区域,假设每一个方形区域的大气透射率为定值;实施两次暗通道运算,每次暗通道运算旨在对R、G、B三个通道的相应参量求最小值,两次暗通道运算如下:
其中,Ic(y)表示c通道像素y处的含雾桥梁部分图像,Jc(y)表示c通道像素y处的无雾桥梁部分图像,Ω(x)表示以像素x为中心的一块方形图像区域,t(x)表示像素x处的大气透射率,min(·)表示求最小值;
根据暗通道的先验理论,无雾图像的暗原色值接近于0,因此有:
将上式代入到两次暗通道运算式中,得到大气透射率的预估值:
由于空气中存在一些颗粒,所以在去雾的时候可保留一定程度的雾气,引入介于[0,1]之间的参数ω,得到改进后的大气透射率预估值:
在得到大气光值A和透射率预估值后,代入雾图模型,即可得到去雾后c通道像素x处的桥梁部分图像Jc(x)。
进一步的,步骤3)中,桥梁部分图像的灰度化线性回归模型如下:
M(x)=αRJR(x)+αGJG(x)+αBJB(x)
其中,M(x)为桥梁部分图像的灰度值,JR(x),JG(x),JB(x)分别表示R、G、B通道像素x处的去雾后桥梁部分图像;αR,αG,αB分别为对应于R,G,B通道的灰度化权重比。
进一步的,步骤4)中,首先,桥梁部分图像的局部对比度增强步骤如下:
1)设置局部对比度增强法的初始参数:增强系数k>1,灰度下阈值K0,标准差下阈值K1,标准差上阈值K2,分割区域半宽s;
2)计算图像灰度均值Mg和灰度标准差σg;
3)对于每一个像素,计算邻域内灰度均值ML和标准差σL;
4)如果满足ML≤K0Mg且K1σg≤σ1≤K2σg,则将当前像素灰度值M(x)乘以k;桥梁部分图像的局部对比度得到增强;
5)针对局部对比度增强之后的桥梁部分图像,采用大津阈值分割技术,根据灰度值分成目标车辆区域和背景区域两部分,检测车辆。
进一步的,对于桥梁部分图像,定义前景和背景的分割阈值T,得到T的合理取值需要经过下述过程:
将桥梁部分图像的前景平均灰度记为μ0;背景平均灰度为μ1;图像的总平均灰度记为μ;前景背景两类之间方差记为g;桥梁部分图像包含m×n个像素点,将图像中灰度值小于阈值T的背景个数记作N0,像素灰度值大于阈值T的前景个数记作N1;上述变量满足如下的约束条件:
计算图像前景和背景的类间方差g:
求解类间方差g的极大值,极大值所对应的T值即为本发明所使用的桥梁部分图像前景和背景的分割阈值,进而利用分割阈值T从桥梁部分图像中检测出车辆。
进一步的,首先,设计基于卷积神经网络的车型分类器,其卷积神经网络包括1个输入层、5个卷积层、1个池化层、1个全连接层、1个输出层;针对输入层输入的车辆图像,使用前3个卷积层提取车辆的边缘、线条和尺寸车辆的低级特征,将提取的低级特征输入到池化层,过滤掉相对孤立或无用的信息,减小车型分类误差;将过滤后的结果输入到后2个卷积层,提取车辆的高级特征;最后,将车辆的高级特征输入到全连接层,其激活函数采用RELU函数,对车辆进行分类,确定车型,并将分类结果图像通过输出层进行输出。
进一步的,以航拍大桥的限高栏为参照物,计算图像与真实环境的缩放比:
其中,β是图像缩放比,即图像中物体长度与实际物体长度的比值;h为图像中限高栏的高度;h1为实际中限高栏的高度;
输出图像使用一个最小的矩形框将车辆部分图像围起来,利用该矩形框计算车辆的长度、宽度和高度信息;
采用以下经验公式对图像误差进行补偿,经验公式如下:
其中,L,W,H分别表示矩形框的长度、宽度、高度;L1,W1,H1为车辆的实际长度、宽度、高度;ωL、ωW、ωH为可调整的权重系数,随拍摄角度的改变而调整取值,具体的调整方式如下:
1)当在车辆的前上方或后上方拍摄时,ωL=0.85,ωW=1,ωH=0.8;
2)当在车辆的左上方或右上方拍摄时,ωL=1,ωW=0.85,ωH=0.8;
3)当在车辆的正前、正后、正左、正右方拍摄时,ωL=0.85,ωW=0.8,ωH=1。
与现有技术相比,本发明具有以下有益的技术效果:
本发明一种基于无人机航拍图像的桥梁车辆检测方法,首先对无人机航拍图像进行预处理,抑制海风引起的抖动以及噪声干扰;使用K-means聚类方式提取桥梁部分图像,并使用暗通道图、雾图模型手段对图像进行去雾处理,先对图像进行分块,将桥梁部分图像分割出来用于去雾,这样处理的针对性更强,去雾效果更好;使用线性回归模型求取灰度化权重比,对图像进行灰度化处理,减小桥梁部分图像的数据量,使用局部对比度增强法对图像进行对比度增强,并使用大津阈值分割技术检测车辆,用以突出桥梁部分图像中的车辆特征,最后,使用基于卷积神经网络的车型分类器对车辆进行分类,并设计经验公式计算车辆的长度、宽度、高度信息,该检测方法得到的跨海大桥车辆信息准确、可靠,可用于评估跨海大桥的桥梁健康状况、预测桥梁维修周期以及用于交通部门的交通指挥等。
进一步的,对预处理后图像进行去雾处理,能够有效减弱海水蒸发所产生雾气对无人机航拍图像带来的影响。
进一步的,建立线性回归模型求取合理的灰度化权重比,并利用训练样本对模型进行训练对桥梁部分图像进行灰度化处理,能够压缩桥梁部分图像的数据量,加快车辆检测的速度。
附图说明
图1为本发明检测方法流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
本发明提出一种基于无人机航拍图像的桥梁车辆检测方法,下面结合说明书附图对本发明进一步说明。附图中图1是本发明的检测方法流程框图,主要包含了图像预处理、桥梁部分图像提取及去雾处理、基于线性回归训练的图像灰度化、基于大津阈值分割的车辆特征提取和基于卷积神经网络的车型分类步骤。具体实施方式如下:
步骤1:为了抑制海风对无人机航拍图像造成的干扰,如抖动和噪声造成的图像质量下降,使用预处理器对关于大桥的无人机航拍图像进行预处理:预处理器包括中值滤波器、图像去抖器、畸变去除器;中值滤波器使用中值滤波法对无人机航拍图像进行滤波处理,去除图像中的孤立噪声点和椒盐噪声;图像去抖器采用变分贝叶斯方法进行抑制变形处理,减弱图像拍摄过程中出现的抖动,抑制图像变形,畸变去除器使用UndistortImage矫正函数对抑制变形处理后的图像进行矫正,减弱图像畸变,从而完成图像降噪预处理,以便于后续的车辆检测。
步骤2:为了实现对航拍图像中桥梁部分的提取,提出一种基于聚类分析的桥梁部分图像提取算法,将桥梁和海面分割成两部分,并使用暗通道去雾方式对桥梁部分图像进行去雾处理:
首先,将航拍得到的跨海大桥RGB图像转化成Lab空间图像,得到Lab空间的三个分量:L分量、a分量、b分量;然后使用K-means聚类方式对a、b两个分量进行聚类操作,计算每个像素点的a、b分量之间的距离,将距离最小的像素点归为同一类,将其它的像素点归为另一类,这两类像素点分别构成桥梁和海面,提取出桥梁部分图像;
接着,对桥梁部分图像进行去雾处理:将桥梁部分图像从Lab空间转回至RGB颜色空间,获取桥梁部分图像的大气光值A和大气透射率t(x),其中x为像素坐标位置;先基于暗通道图求取大气光值A,从暗通道图中按照亮度值将前0.1%的像素提取出来,标记提取出来前0.1%的像素坐标位置z,并在原始的航拍跨海大桥含雾图像中标记提取出来前0.1%的像素坐标的对应位置;在提取出来前0.1%的像素中,寻找最大的亮度值,将其作为大气光值A。
再利用雾图模型计算大气透射率t(x),所使用的雾图模型如下:
其中,Ic(x)表示c通道像素x处的含雾桥梁部分图像,c可取为R,G,B三通道中的一个,即c∈{R,G,B};Jc(x)表示c通道像素x处的无雾桥梁部分图像,是去雾处理所期望的结果。
将桥梁部分图像分解为若干个方形区域,假设每一个方形区域的大气透射率为定值。实施两次暗通道运算,每次暗通道运算旨在对R、G、B三个通道的相应参量求最小值,两次暗通道运算如下:
其中,Ic(y)表示c通道像素y处的含雾桥梁部分图像,Jc(y)表示c通道像素y处的无雾桥梁部分图像,Ω(x)表示以像素x为中心的一块方形图像区域,t(x)表示像素x处的大气透射率,min(·)表示求最小值。
根据暗通道的先验理论,无雾图像的暗原色值接近于0,因此有:
将式代入到两次暗通道运算式中,得到大气透射率的预估值:
由于空气中存在一些颗粒,所以在去雾的时候可保留一定程度的雾气,引入介于[0,1]之间的参数ω,一般选取为0.9,得到改进后的大气透射率预估值:
在得到大气光值A和透射率预估值后,将它们代入前述的雾图模型,即可得到去雾后c通道像素x处的桥梁部分图像Jc(x)。
步骤3:为压缩桥梁部分图像的数据量,加快车辆检测速度,给出一种新的图像灰度化方法,重点通过线性回归训练求取合理的灰度化权重比:桥梁部分图像的灰度化线性回归模型如下:
M(x)=αRJR(x)+αGJG(x)+αBJB(x)
其中,M(x)为桥梁部分图像的灰度值,JR(x),JG(x),JB(x)分别表示R、G、B通道像素x处的去雾后桥梁部分图像;αR,αG,αB分别为对应于R,G,B通道的灰度化权重比,其具体值需要经过线性回归训练方能得到;
利用5000张人为灰度化后的桥梁图像作为训练样本,对上述线性回归模型进行训练,得到较优的αR,αG,αB值,实现较为合理的桥梁图像灰度化,压缩桥梁部分图像数据量。
步骤4:为提取桥梁部分图像中的车辆信息,利用局部对比度增强法对步骤3)得到的桥梁部分的灰度化图像进行对比度增强,再使用大津阈值分割技术对车辆进行检测:
首先,桥梁部分图像的局部对比度增强步骤如下:
1)设置局部对比度增强法的初始参数:增强系数k>1,灰度下阈值K0,标准差下阈值K1,标准差上阈值K2,分割区域半宽s;
2)计算图像灰度均值Mg和灰度标准差σg;
3)对于每一个像素,计算邻域内灰度均值ML和标准差σL;
4)如果满足ML≤K0Mg且K1σg≤σ1≤K2σg,则将当前像素灰度值M(x)乘以k。
当前像素灰度值M(x)乘以k以后,桥梁部分图像的局部对比度得到增强,可以突出跨海大桥航拍图像中的车辆信息。
接下来,针对局部对比度增强之后的桥梁部分图像,采用大津阈值分割技术,根据灰度值分成目标车辆区域和背景区域两部分,检测车辆。对于桥梁部分图像,定义前景(即车辆)和背景的分割阈值T,得到T的合理取值需要经过下述过程;
将桥梁部分图像的前景平均灰度记为μ0;背景平均灰度为μ1;图像的总平均灰度记为μ;前景背景两类之间方差记为g。桥梁部分图像包含m×n个像素点,因为航拍图像的背景较亮,将图像中灰度值小于阈值T的像素(背景)个数记作N0,像素灰度值大于阈值T的像素(前景)个数记作N1;上述变量满足如下的约束条件:
计算图像前景和背景的类间方差g:
求解类间方差g的极大值,极大值所对应的T值即为本发明所使用的桥梁部分图像前景(即车辆)和背景的分割阈值,进而利用分割阈值T从桥梁部分图像中检测出车辆。
步骤5:设计基于卷积神经网络的车型分类器,对步骤4得到的车辆进行分类以确定车型(如卡车、轿车、货车),并以航拍大桥的限高栏为参照物,计算车辆的长度、宽度、高度信息。
首先,设计基于卷积神经网络的车型分类器,其卷积神经网络包括1个输入层、5个卷积层、1个池化层、1个全连接层、1个输出层。针对输入层输入的车辆图像,使用前3个卷积层提取车辆的初步特征,这些卷积层是低级卷积层,用以提取边缘、线条、尺寸等车辆的低级特征,各卷积层的卷积核大小分别为11×11、9×9、7×7。将车辆的低级特征输入到池化层,过滤掉相对孤立或无用的信息,减小车型分类误差。将过滤后的结果输入到后2个卷积层,其卷积核大小分别为5×5、3×3,提取车辆的高级特征,如车灯外形、轮胎尺寸、车辆尾部外形等。最后,将车辆的高级特征输入到全连接层,其激活函数采用RELU函数,对车辆进行分类,确定车型,并将分类结果图像通过输出层进行输出。
然后,为上述车型分类器构建训练样本,对卷积神经网络进行训练。首先,使用各种车型的车辆图像构建训练样本,每种车型选取1000张图像;然后,使用训练样本对卷积神经网络进行训练,并另取各个车型100张图像作为检验集,对训练后的卷积神经网络进行验证,进一步提高车型分类器的车型识别能力。将步骤4得到的跨海大桥航拍车辆图像输入到车型分类器中,输出车型分类结果,并对各类车辆进行统计。
最后,进一步计算车辆的长宽高信息。以航拍大桥的限高栏为参照物,计算图像与真实环境的缩放比:
其中,β是图像缩放比,即图像中物体长度与实际物体长度的比值;h为图像中限高栏的高度;h1为实际中限高栏的高度。
输出图像使用一个最小的矩形框将车辆部分图像围起来,利用该矩形框计算车辆的长度、宽度、高度信息。由于航拍车辆图像是在车辆的斜上方拍摄的,拍摄角度会引起一定的误差。为了对误差进行补偿,本发明在计算车辆的长宽高时,提出如下的经验公式:
其中,L,W,H分别表示矩形框的长度、宽度、高度;L1,W1,H1为车辆的实际长度、宽度、高度;ωL、ωW、ωH为可调整的权重系数,随拍摄角度的改变而调整取值,具体的调整方式如下:
1)当在车辆的前(后)上方拍摄时,ωL=0.85,ωW=1,ωH=0.8。
2)当在车辆的左(右)上方拍摄时,ωL=1,ωW=0.85,ωH=0.8。
3)当在车辆的正前、正后、正左、正右方拍摄时,ωL=0.85,ωW=0.8,ωH=1。
Claims (10)
1.一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,包括以下步骤:
步骤1)、对获取的图像进行降噪预处理;
步骤2)、然后对降噪预处理后的图像进行去雾处理:将降噪预处理后的图像中桥梁和海面分割成两部分,并使用暗通道去雾方式对桥梁部分图像进行去雾处理得到去雾处理后图像;
步骤3)、建立线性回归模型求取灰度化权重比,并利用训练样本对回归模型进行训练,利用训练后的线性回归模型对去雾处理后图像进行灰度化处理;
步骤4)、利用局部对比度增强法对步骤3)得到的桥梁部分的灰度化图像进行对比度增强,再使用大津阈值分割技术对车辆进行检测提取桥梁部分图像中的车辆信息;
步骤5)、建立基于卷积神经网络的车型分类器,利用车型分类器对步骤4)所检测到车辆的车型分类以确定车型,并以图像中大桥的限高栏为参照物,计算车辆的长度、宽度和高度信息,完成车辆检测。
2.根据权利要求1所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,具体的降噪预处理包括以下步骤:
采用中值滤波法对无人机航拍图像进行滤波处理,去除图像中的孤立噪声点和椒盐噪声,然后对滤波处理后的图像采用变分贝叶斯方法进行抑制变形处理,减弱图像拍摄过程中出现的抖动,抑制图像变形,最后通过UndistortImage矫正函数对抑制变形处理后的图像进行矫正,减弱图像畸变,从而完成图像降噪预处理。
3.根据权利要求1所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,步骤2)中,将降噪预处理后的图像由RGB颜色空间图像转化成Lab颜色空间图像,使用K-means聚类方式提取桥梁部分图像;将桥梁部分图像从Lab空间转回至RGB颜色空间,使用暗通道图和雾图模型计算图像的大气光值和大气透射率,并依据雾图模型对桥梁部分图像进行去雾处理。
4.根据权利要求3所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,首先,将航拍得到的跨海大桥RGB图像转化成Lab空间图像,得到Lab空间的三个分量:L分量、a分量和b分量;然后使用K-means聚类方式对a分量和b分量进行聚类操作,计算每个像素点的a分量和b分量之间的距离,将距离最小的像素点归为同一类,将其它的像素点归为另一类,这两类像素点分别构成桥梁和海面,提取出桥梁部分图像;
接着,将桥梁部分图像从Lab空间转回至RGB颜色空间,获取桥梁部分图像的大气光值A和大气透射率t(x),其中x为像素坐标位置;先基于暗通道图求取大气光值A,从暗通道图中按照亮度值将前0.1%的像素提取出来,标记提取出来的前0.1%的像素坐标位置z,并在未进行降噪预处理的图像中标记提取出来的前0.1%的像素坐标的对应位置;在提取出来前0.1%的像素中,寻找最大的亮度值,将其作为大气光值A;
再利用雾图模型计算大气透射率t(x),所使用的雾图模型如下:
其中,Ic(x)表示c通道像素x处的含雾桥梁部分图像,c可取为R,G,B三通道中的一个,即c∈{R,G,B};Jc(x)表示c通道像素x处的无雾桥梁部分图像,是去雾处理所期望的结果。
5.根据权利要求4所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,将桥梁部分图像分解为若干个方形区域,假设每一个方形区域的大气透射率为定值;实施两次暗通道运算,每次暗通道运算旨在对R、G、B三个通道的相应参量求最小值,两次暗通道运算如下:
其中,Ic(y)表示c通道像素y处的含雾桥梁部分图像,Jc(y)表示c通道像素y处的无雾桥梁部分图像,Ω(x)表示以像素x为中心的一块方形图像区域,t(x)表示像素x处的大气透射率,min(·)表示求最小值;
根据暗通道的先验理论,无雾图像的暗原色值接近于0,因此有:
将上式代入到两次暗通道运算式中,得到大气透射率的预估值:
由于空气中存在一些颗粒,所以在去雾的时候可保留一定程度的雾气,引入介于[0,1]之间的参数ω,得到改进后的大气透射率预估值:
在得到大气光值A和透射率预估值后,代入雾图模型,即可得到去雾后c通道像素x处的桥梁部分图像Jc(x)。
6.根据权利要求1所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,步骤3)中,桥梁部分图像的灰度化线性回归模型如下:
M(x)=αRJR(x)+αGJG(x)+αBJB(x)
其中,M(x)为桥梁部分图像的灰度值,JR(x),JG(x),JB(x)分别表示R、G、B通道像素x处的去雾后桥梁部分图像;αR,αG,αB分别为对应于R,G,B通道的灰度化权重比。
7.根据权利要求1所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,步骤4)中,首先,桥梁部分图像的局部对比度增强步骤如下:
1)设置局部对比度增强法的初始参数:增强系数k>1,灰度下阈值K0,标准差下阈值K1,标准差上阈值K2,分割区域半宽s;
2)计算图像灰度均值Mg和灰度标准差σg;
3)对于每一个像素,计算邻域内灰度均值ML和标准差σL;
4)如果满足ML≤K0Mg且K1σg≤σ1≤K2σg,则将当前像素灰度值M(x)乘以k;桥梁部分图像的局部对比度得到增强;
5)针对局部对比度增强之后的桥梁部分图像,采用大津阈值分割技术,根据灰度值分成目标车辆区域和背景区域两部分,检测车辆。
8.根据权利要求7所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,对于桥梁部分图像,定义前景和背景的分割阈值T,得到T的合理取值需要经过下述过程:
将桥梁部分图像的前景平均灰度记为μ0;背景平均灰度为μ1;图像的总平均灰度记为μ;前景背景两类之间方差记为g;桥梁部分图像包含m×n个像素点,将图像中灰度值小于阈值T的背景个数记作N0,像素灰度值大于阈值T的前景个数记作N1;上述变量满足如下的约束条件:
计算图像前景和背景的类间方差g:
求解类间方差g的极大值,极大值所对应的T值即为本发明所使用的桥梁部分图像前景和背景的分割阈值,进而利用分割阈值T从桥梁部分图像中检测出车辆。
9.根据权利要求8所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,首先,设计基于卷积神经网络的车型分类器,其卷积神经网络包括1个输入层、5个卷积层、1个池化层、1个全连接层、1个输出层;针对输入层输入的车辆图像,使用前3个卷积层提取车辆的边缘、线条和尺寸车辆的低级特征,将提取的低级特征输入到池化层,过滤掉相对孤立或无用的信息,减小车型分类误差;将过滤后的结果输入到后2个卷积层,提取车辆的高级特征;最后,将车辆的高级特征输入到全连接层,其激活函数采用RELU函数,对车辆进行分类,确定车型,并将分类结果图像通过输出层进行输出。
10.根据权利要求8所述的一种基于无人机航拍图像的桥梁车辆检测方法,其特征在于,以航拍大桥的限高栏为参照物,计算图像与真实环境的缩放比:
其中,β是图像缩放比,即图像中物体长度与实际物体长度的比值;h为图像中限高栏的高度;h1为实际中限高栏的高度;
输出图像使用一个最小的矩形框将车辆部分图像围起来,利用该矩形框计算车辆的长度、宽度和高度信息;
采用以下经验公式对图像误差进行补偿,经验公式如下:
其中,L,W,H分别表示矩形框的长度、宽度、高度;L1,W1,H1为车辆的实际长度、宽度、高度;ωL、ωW、ωH为可调整的权重系数,随拍摄角度的改变而调整取值,具体的调整方式如下:
1)当在车辆的前上方或后上方拍摄时,ωL=0.85,ωW=1,ωH=0.8;
2)当在车辆的左上方或右上方拍摄时,ωL=1,ωW=0.85,ωH=0.8;
3)当在车辆的正前、正后、正左、正右方拍摄时,ωL=0.85,ωW=0.8,ωH=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910344879.4A CN110060221B (zh) | 2019-04-26 | 2019-04-26 | 一种基于无人机航拍图像的桥梁车辆检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910344879.4A CN110060221B (zh) | 2019-04-26 | 2019-04-26 | 一种基于无人机航拍图像的桥梁车辆检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110060221A true CN110060221A (zh) | 2019-07-26 |
CN110060221B CN110060221B (zh) | 2023-01-17 |
Family
ID=67321014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910344879.4A Active CN110060221B (zh) | 2019-04-26 | 2019-04-26 | 一种基于无人机航拍图像的桥梁车辆检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110060221B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160213A (zh) * | 2019-12-25 | 2020-05-15 | 广州方纬智慧大脑研究开发有限公司 | 基于深度学习的非法上下客检测方法、系统及存储介质 |
CN112530079A (zh) * | 2019-09-17 | 2021-03-19 | 深圳怡化电脑股份有限公司 | 一种检测票据要素的方法、装置、终端设备和存储介质 |
CN114913469A (zh) * | 2022-07-11 | 2022-08-16 | 浙江大华技术股份有限公司 | 一种车辆长度估计模型建立的方法、终端设备及存储介质 |
CN115482474A (zh) * | 2022-08-24 | 2022-12-16 | 湖南科技大学 | 一种基于高空航拍图像的桥面车辆荷载识别方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491720A (zh) * | 2017-04-01 | 2017-12-19 | 江苏移动信息系统集成有限公司 | 一种基于改进型卷积神经网络的车型识别方法 |
CN108460743A (zh) * | 2018-03-19 | 2018-08-28 | 西安因诺航空科技有限公司 | 一种基于暗通道的无人机航拍图像去雾算法 |
CN108734189A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 浓雾天气下基于大气散射模型和深度学习的车牌识别系统 |
CN109087254A (zh) * | 2018-04-26 | 2018-12-25 | 长安大学 | 无人机航拍图像雾霾天空和白色区域自适应处理方法 |
-
2019
- 2019-04-26 CN CN201910344879.4A patent/CN110060221B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491720A (zh) * | 2017-04-01 | 2017-12-19 | 江苏移动信息系统集成有限公司 | 一种基于改进型卷积神经网络的车型识别方法 |
CN108734189A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 浓雾天气下基于大气散射模型和深度学习的车牌识别系统 |
CN108460743A (zh) * | 2018-03-19 | 2018-08-28 | 西安因诺航空科技有限公司 | 一种基于暗通道的无人机航拍图像去雾算法 |
CN109087254A (zh) * | 2018-04-26 | 2018-12-25 | 长安大学 | 无人机航拍图像雾霾天空和白色区域自适应处理方法 |
Non-Patent Citations (2)
Title |
---|
张弘等: "基于局部空间信息的阈值分割算法", 《计算机与数字工程》 * |
李慧慧: "基于深度卷积神经网络的雾霾环境下车型识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112530079A (zh) * | 2019-09-17 | 2021-03-19 | 深圳怡化电脑股份有限公司 | 一种检测票据要素的方法、装置、终端设备和存储介质 |
CN112530079B (zh) * | 2019-09-17 | 2022-10-11 | 深圳怡化电脑股份有限公司 | 一种检测票据要素的方法、装置、终端设备和存储介质 |
CN111160213A (zh) * | 2019-12-25 | 2020-05-15 | 广州方纬智慧大脑研究开发有限公司 | 基于深度学习的非法上下客检测方法、系统及存储介质 |
CN114913469A (zh) * | 2022-07-11 | 2022-08-16 | 浙江大华技术股份有限公司 | 一种车辆长度估计模型建立的方法、终端设备及存储介质 |
CN114913469B (zh) * | 2022-07-11 | 2022-11-22 | 浙江大华技术股份有限公司 | 一种车辆长度估计模型建立的方法、终端设备及存储介质 |
CN115482474A (zh) * | 2022-08-24 | 2022-12-16 | 湖南科技大学 | 一种基于高空航拍图像的桥面车辆荷载识别方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110060221B (zh) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105809138B (zh) | 一种基于分块识别的道路警告标志检测与识别方法 | |
CN110060221A (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
CN107766821B (zh) | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 | |
CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
CN108304813B (zh) | 一种智能识别圆形交通信号灯状态的方法 | |
CN109190523B (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
Wu et al. | Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement | |
CN102306384B (zh) | 一种基于单幅图像的颜色恒常性处理方法 | |
CN110765890B (zh) | 基于胶囊网络深度学习架构的车道及车道标识检测方法 | |
CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
CN112488046B (zh) | 一种基于无人机高分辨率影像的车道线提取方法 | |
CN109191495B (zh) | 基于自组织背景差模型和多特征融合的黑烟车检测方法 | |
CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
KR101483742B1 (ko) | 지능형 차량의 차선 검출방법 | |
CN106407951A (zh) | 一种基于单目视觉的夜间前方车辆检测方法 | |
CN105046218A (zh) | 一种基于串并行处理的多特征交通视频烟雾检测方法 | |
CN108520528B (zh) | 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法 | |
CN109190455A (zh) | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 | |
CN107766802A (zh) | 一种机动车前排驾乘人员未扣安全带的自适应检测方法 | |
CN110070122A (zh) | 一种基于图像增强的卷积神经网络模糊图像分类方法 | |
CN106780362A (zh) | 基于双色反射模型与双边滤波的道路视频去雾方法 | |
CN106529533A (zh) | 一种基于多尺度分析和匹配排序的复杂天气车牌定位方法 | |
CN105608683A (zh) | 一种单幅图像去雾方法 | |
CN112052768A (zh) | 基于无人机的城市违章停车检测方法、装置及存储介质 | |
CN109558872B (zh) | 一种车辆颜色识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |