CN107133610B - 一种复杂路况下行车流量视觉检测与计数方法 - Google Patents

一种复杂路况下行车流量视觉检测与计数方法 Download PDF

Info

Publication number
CN107133610B
CN107133610B CN201710405037.6A CN201710405037A CN107133610B CN 107133610 B CN107133610 B CN 107133610B CN 201710405037 A CN201710405037 A CN 201710405037A CN 107133610 B CN107133610 B CN 107133610B
Authority
CN
China
Prior art keywords
image
frame
vehicle
foreground
traffic flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710405037.6A
Other languages
English (en)
Other versions
CN107133610A (zh
Inventor
范文澜
李梦雪
谢吉航
陈响
彭真明
马沪敏
张兰丹
张鹏飞
宋立
卓励然
王卓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710405037.6A priority Critical patent/CN107133610B/zh
Publication of CN107133610A publication Critical patent/CN107133610A/zh
Application granted granted Critical
Publication of CN107133610B publication Critical patent/CN107133610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Abstract

本发明公开了一种复杂路况下行车流量视觉检测与计数方法，解决基于视觉的检测方法统计运动目标面积进行车流量计数，在汽车、行人、非机动混杂的复杂道路下，计数的准确率极低，且受图像质量影响较大的问题，属于机器视觉技术领域。本发明包括设置初始信息；循环读取视频图像，利用MSRCR算法同时实现光照均衡和颜色平衡；利用AdaptiveMedian算法进行背景建模，提取运动前景；对前景进行开运算，去除噪声的同时，分离粘连的运动目标；查找轮廓并计算面积，若面积小于阈值，则填充该轮廓；利用Haar特征和AdaBoost分类器，用于识别前景中的车辆；识别每帧前景的车辆，并记录其位置。本发明用于精确提取复杂路况下的运动目标，并特定识别其中车辆，统计实时采集视频中车辆数目。

Description

一种复杂路况下行车流量视觉检测与计数方法
技术领域
一种复杂路况下行车流量视觉检测与计数方法，用于精确提取复杂路况下的运动目标，并特定识别其中车辆，统计实时采集视频中车辆数目，属于机器视觉技术领域。
背景技术
“机器视觉”是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
基于视觉的车流量检测与计数，是机器视觉在交通领域应用中的一个重要分支。对于交通管控的需要，每时每刻都在进行着车流量的统计。目前道路交通流的统计，普遍采用在道路口埋放传感器，利用传感器反馈信息进行交通流统计。然而，面对交通情况复杂的城市道路，传感器统计准确率低，且易造成设备损坏。因此，可以采用基于视觉的方法自动检测车辆信息，检测结果可以传入流量、密度、速度模块，完成交通流的统计。
然而在拍摄的视频中，经常出现光照变化情况、多个运动物体粘连的情况。所以研究人员在设计算法时，既要解决光照变化的影响，也要克服目标粘连带来的计数困难。
近些年来有不少研究机构和企业对智能交通系统进行研究，其中基于视觉的交通流检测是整个系统中基础且重要环节。然而现有研究多采用埋放传感器等方案，已有基于视觉的检测方案多采用根据统计运动目标面积进行计数的方案，不对车辆进行识别，此种方案在交通情况简单的高速公路具有较好的效果，但运用于复杂道路准确率极低，且受图像质量影响较大，难以推广使用。
发明内容
本发明的目的在于：解决现有技术中基于视觉的检测方法统计运动目标面积进行车流量计数，在汽车、行人、非机动混杂的复杂道路下，计数的准确率极低，且受图像质量影响较大的问题，本发明提供了一种复杂路况下行车流量视觉检测与计数方法。
本发明采用的技术方案如下：
一种复杂路况下行车流量视觉检测与计数方法，其特征在于，步骤如下：
步骤1、均衡获取的交通监控视频中的图像的颜色与光照；
步骤2、对均衡了颜色与光照的交通监控视频中的图像进行灰度化处理，灰度化处理后进行背景建模，得到背景图像；
步骤3、将灰度化处理后的图像与背景图像进行差分处理，差分后的图像进行二值化获取前景图像，然后对前景图像进行开运算，再寻找前景图像中的连通区域，并填充连通区域，将填充后的连通区域图像分别与步骤1所得图像的三通道点乘，得到彩色前景图像；
步骤4、用Haar与AdaBoost训练好的分类器识别彩色前景图像中的车辆，记录车辆在交通监控视频中的每一帧的位置坐标，根据前后帧车辆位置与车道的关系进行计数，最终获得当前帧识别后的前景图像与累积的车流数量。
进一步，所述步骤1的具体步骤如下：
步骤1.1：获取交通监控视频，并计算该视频中左右二车道的方向向量V1,V2；
步骤1.2：循环读入交通监控视频中的图像fi(x,y),并对图像fi(x,y)用MSRCR算法进行预处理，得到矫正了颜色与光照的彩色图像fi'(x,y)。
进一步，所述步骤2的具体步骤如下：
步骤2.1：将彩色图像fi'(x,y)转换为灰度图像im(x,y)；
步骤2.2：设置参数，用AdaptiveMedian算法进行背景建模，得到背景图像gi(x,y)。
进一步，所述步骤3的具体步骤如下：
步骤3.1：灰度图像im(x,y)与背景图像gi(x,y)差分，对差分后的图像进行二值化处理得到二值前景图像b(x,y)；
步骤3.2：对二值前景图像b(x,y)进行开运算得到二值图像b1(x,y),提取二值图像b1(x,y)中的连通区域轮廓C[k]，并计算对应连通区域的面积S[k]；
步骤3.3：对连通区域进行填充处理:如果S[k]＜500,则将连通区域轮廓C[k]内所有像素赋值为1，并转到步骤3.2，否则转到步骤3.4；
步骤3.4：得到填充后的二值前景图像b'(x,y)，将其分别与步骤1所得图像的三通道图像点乘，得到彩色前景图像fore(x,y)。
进一步，所述步骤4的具体步骤如下：
步骤4.1：用Haar与AdaBoost训练好的车辆分类器识别彩色前景图像fore(x,y)中的目标，得到第i帧识别后的前景图像ri(x,y)，并记录第i帧识别到的第j辆车的中心位置pi,j(u,v)，及第i帧识别出的车辆数目Ji；
步骤4.2：如果当前帧识别出的车辆数目Ji>Ji-1，执行步骤4.7，否则执行步骤4.3；
步骤4.3：如果车辆的中心位置pi,j(u,v)位于左车道，执行步骤4.4，否则执行步骤4.5；
步骤4.4：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与左车道方向向量V1的夹角a,转到步骤4.6；
步骤4.5：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与右车道方向向量V2的夹角a；
步骤4.6：如果夹角a＜10°，即表示当前帧识别到的第j辆车与上一帧识别到的为同一车辆，执行步骤4.8，否则执行步骤4.7；
步骤4.7：从第一帧视频图像到第i-1帧累积记录车辆数目为N，那么第i帧计数结果N＝N+1，并显示识别后的前景图像ri(x,y)与计数结果N；
步骤4.8：如j＞Ji转到步骤4.9，否则令j＝j+1，再执行步骤4.3，直到第i帧中所有车辆都识别完；
步骤4.9：判断获取的交通监控视频是否结束，若未结束，令i＝i+1，再执行步骤4.3，否则显示最终计数结果N。
进一步，所述步骤1.2中，MSRCR算法公式如下：
I(x,y)＝L(x,y)*R(x,y)，
式中，I(x,y)代表被观察或照相机接收到的图像信号,L(x,y)代表环境光的照射分量，L(x,y)可以通过对图像信号I(x,y)行高斯模糊而得到，R(x,y)表示携带图像细节信息的目标物体的反射分量；
Log[R(x,y)]＝Log[I(x,y)]-Log[L(x,y)]，
分别计算出Log[R(x,y)]中R、G、B各通道数据的均值Mean[i]和均方差Var[i]，再计算各通道的Min[i]和Max[i]值：
Min[i]＝Mean[i]-Dynamic*Var[i]i＝1,2,3；
Max[i]＝Mean[i]+Dynamic*Var[i]i＝1,2,3；
R(x,y)＝(R(x,y)-Min)/(Max-Min)*(255-0)；
Figure GDA0002279212280000041
Dynamic为自定义的对比度参数，fi'(x,y)即为经过MSRCR处理后的图像。
进一步，所述步骤2.2中，Adaptivemedian算法公式如下：
g1(x,y)＝median(fi(x,y))，i＝1,2......u；
其中g1(x,y)表示建模产生的第一帧的背景图像，fi(x,y)表示i帧交通监控视频图像，u表示学习帧数,median(fi(x,y))表示求这u帧内对应(x,y)处像素值的中值，
Figure GDA0002279212280000042
gi(x,y)表示第i帧的背景图像，fi(x,y)表示第i帧的交通监控视频图像，当第i帧的坐标(x,y)处的交通监控视频图像fi(x,y)的像素值大于第i-1帧坐标(x,y)处的背景图像gi-1(x,y)的像素值，则第i帧的背景图像在(x,y)处的像素值为gi-1(x,y)+1，否则为gi-1(x,y)-1。
进一步，所述步骤3.1中，计算二值前景图像的公式如下：
Figure GDA0002279212280000043
其中im(x,y)-g(x,y)为坐标(x,y)处灰度图像im(x,y)与背景图像g(x,y)像素的差分，Th为二值化的阈值，若灰度图像与背景图像差分大于阈值Th即为前景b(x,y)＝1，否则b(x,y)＝0。
进一步，所述步骤3.2中，提取二值图像b1(x,y)中的连通区域轮廓C[k]公式如下：
Figure GDA0002279212280000051
其中，C[k]为第k个连通区域轮廓，value(C[k])为轮廓C[k]所包含的区域像素的像素值，Ts为阈值，S[k]表示C[k]所包含的区域面积，当区域面积S[k]小于阈值Ts时，轮廓C[k]所包含的区域像素的像素值value(C[k])为1，否则不变。
进一步，所述步骤9中，Haar与AdaBoost训练好的车辆分类器公式如下：
Figure GDA0002279212280000052
αt＝-logεt，
该式表示经过T次迭代后，获得了T个最佳弱分类器h1(x)、h2(x)……hT(x)，其中εt表示弱分类器ht(x)的加权错误率，按照上述公式组成强分类器Cf(x)，当T个最佳弱分类器h1(x)、h2(x)……hT(x)满足
Figure GDA0002279212280000053
则强分类器Cf(x)结果为1；否则为0。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
一、本发明不仅获得了当前帧车辆的识别信息，还结合识别出车辆的中心位置、车辆运动路线与车道的关系，准确的记录了当前帧车辆的位置，及当前帧与上一帧车辆运动轨迹的方向向量，视频中通过的车辆均进行识别，但每辆车仅记一次数，检测效率较高，计数更为准确；
二、解决了运动目标相互粘连计数的影响，本发明同时使用了Haar-AdaBoost识别算法和背景减除法，最大程度分离出运动目标，减少错误识别；本发明更倾向于使用机器学习理论，而已有研究更倾向于使用图像面积特征，如找出运动目标的面积，再根据经验得出该面积可能范围，从而进行判断，由于运动目标数量过多、分离粘连目标难度较大，因此采用统计单个运动目标面积的手段精确度不高；本发明采用了识别算法，因而降低了对背景减除精确度的要求，且减少了计数的区域限制，故更易于推广使用；
三、首次采用了基于车辆运动轨迹与车道关系的计数方法，使用识别记录的车辆位置信息得到运动方向向量，与车道方向向量进行比较，以记录新驶入的车辆并避免重复计数，该方法精度较高、易实现；
四、容易编码，可以跨平台在各类系统下运行。
附图说明
图1为本发明中的方法流程图；
图2为本发明中的一帧原始图像fi(x,y)；
图3为本发明中用MSRCR算法处理后的图像fi'(x,y)；
图4为本发明中将彩色图像fi'(x,y)转换成的灰度图像im(x,y)；
图5为本发明中的二值前景图像b(x,y)；
图6为本发明中填充后的二值前景图像b'(x,y)；
图7为本发明中的彩色前景图像fore(x,y)；
图8为本发明中的识别后的前景图像ri(x,y)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种复杂路况下行车流量视觉检测与计数方法，步骤如下：
步骤1、均衡获取的交通监控视频中的图像的颜色与光照；步骤1的具体步骤如下：
步骤1.1：获取交通监控视频，并计算该视频中左右二车道的方向向量V1,V2；
步骤1.2：循环读入交通监控视频中的图像fi(x,y),如图2所示，并对图像fi(x,y)用MSRCR算法进行预处理，得到矫正了颜色与光照的彩色图像fi'(x,y)，如图3所示，其中，MSRCR算法公式如下：
I(x,y)＝L(x,y)*R(x,y)，
式中，I(x,y)代表被观察或照相机接收到的图像信号,L(x,y)代表环境光的照射分量，L(x,y)可以通过对图像信号I(x,y)行高斯模糊而得到，R(x,y)表示携带图像细节信息的目标物体的反射分量；
Log[R(x,y)]＝Log[I(x,y)]-Log[L(x,y)]，
分别计算出Log[R(x,y)]中R、G、B各通道数据的均值Mean[i]和均方差Var[i]，再计算各通道的Min[i]和Max[i]值：
Min[i]＝Mean[i]-Dynamic*Var[i]i＝1,2,3；
Max[i]＝Mean[i]+Dynamic*Var[i]i＝1,2,3；
R(x,y)＝(R(x,y)-Min)/(Max-Min)*(255-0)；
Figure GDA0002279212280000071
Dynamic为自定义的对比度参数，fi'(x,y)即为经过MSRCR处理后的图像。
步骤2、对均衡了颜色与光照的交通监控视频中的图像进行灰度化处理，灰度化处理后进行背景建模，得到背景图像；具体步骤如下：
步骤2.1：将彩色图像fi'(x,y)转换为灰度图像im(x,y)，如图4所示；
步骤2.2：设置参数，用AdaptiveMedian算法进行背景建模，得到背景图像gi(x,y)。Adaptivemedian算法公式如下：
g1(x,y)＝median(fi(x,y))，i＝1,2......u；
其中g1(x,y)表示建模产生的第一帧的背景图像，fi(x,y)表示i帧交通监控视频图像，u表示学习帧数,median(fi(x,y))表示求这u帧内对应(x,y)处像素值的中值，
Figure GDA0002279212280000072
gi(x,y)表示第i帧的背景图像，fi(x,y)表示第i帧的交通监控视频图像，当第i帧的坐标(x,y)处的交通监控视频图像fi(x,y)的像素值大于第i-1帧坐标(x,y)处的背景图像gi-1(x,y)的像素值，则第i帧的背景图像在(x,y)处的像素值为gi-1(x,y)+1，否则为gi-1(x,y)-1。
步骤3、将灰度化处理后的图像与背景图像进行差分处理，差分后的图像进行二值化获取前景图像，然后对前景图像进行开运算，再寻找前景图像中的连通区域，并填充连通区域，将填充后的连通区域图像分别与步骤1所得图像的三通道图像点乘，得到彩色前景图像；具体步骤如下：
步骤3.1：灰度图像im(x,y)与背景图像gi(x,y)差分，对差分后的图像进行二值化处理得到二值前景图像b(x,y)，如图5所示，计算二值前景图像的公式如下：
Figure GDA0002279212280000081
其中im(x,y)-g(x,y)为坐标(x,y)处灰度图像im(x,y)与背景图像g(x,y)像素的差分，Th为二值化的阈值，若灰度图像与背景图像差分大于阈值Th即为前景b(x,y)＝1，否则b(x,y)＝0。
步骤3.2：对二值前景图像b(x,y)进行开运算得到二值图像b1(x,y),提取二值图像b1(x,y)中的连通区域轮廓C[k]，并计算对应连通区域的面积S[k]；提取二值图像b1(x,y)中的连通区域轮廓C[k]公式如下：
Figure GDA0002279212280000082
其中，C[k]为第k个连通区域轮廓，value(C[k])为轮廓C[k]所包含的区域像素的像素值，Ts为阈值，S[k]表示C[k]所包含的区域面积，当区域面积S[k]小于阈值Ts时，轮廓C[k]所包含的区域像素的像素值value(C[k])为1，否则不变。
步骤3.3：对连通区域进行填充处理:如果S[k]＜500,则将连通区域轮廓C[k]内所有像素赋值为1，并转到执行步骤3.2，否则转到步骤3.4；
步骤3.4：如图6所示，得到填充后的二值前景图像b'(x,y)，将其分别与步骤1所得图像的三通道图像点乘，得到彩色前景图像fore(x,y)，如图7所示。
步骤4、用Haar与AdaBoost训练好的分类器识别彩色前景图像中的车辆，记录车辆在交通监控视频中的每一帧的位置坐标，根据前后帧车辆位置与车道的关系进行计数，最终获得当前帧识别后的前景图像与累积的车流数量。具体步骤如下：
步骤4.1：用Haar与AdaBoost训练好的车辆分类器识别彩色前景图像fore(x,y)中的目标，得到第i帧识别后的前景图像ri(x,y)，并记录第i帧识别到的第j辆车的中心位置pi,j(u,v)，及第i帧识别出的车辆数目Ji；Haar与AdaBoost训练好的车辆分类器公式如下：
Figure GDA0002279212280000091
αt＝-logεt，
该式表示经过T次迭代后，获得了T个最佳弱分类器h1(x)、h2(x)……hT(x)，其中εt表示弱分类器ht(x)的加权错误率，按照上述公式组成强分类器Cf(x)，当T个最佳弱分类器h1(x)、h2(x)……hT(x)满足
Figure GDA0002279212280000092
则强分类器Cf(x)结果为1；否则为0。
步骤4.2：如果当前帧识别出的车辆数目Ji>Ji-1，执行步骤4.7，否则执行步骤4.3；
步骤4.3：如果车辆的中心位置pi,j(u,v)位于左车道，执行步骤4.4，否则执行步骤4.5；
步骤4.4：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与左车道方向向量V1的夹角a，转到步骤4.6；夹角a的计算公式如下：
Pi,j＝(Ui,j-Ui-1,j,Vi,j-Ui-1,j),
Figure GDA0002279212280000093
Pi,j是从第j帧到第i的第j辆车的运动轨迹的方向向量，cosa表示车辆运动方向向量Pi,j与车道方向向量P1的夹角的余弦值，Pi,j·P1表示车辆运动方向向量Pi,j与车道方向向量P1的向量内积，|Pi,j|，|P1|表示车辆运动方向向量Pi,j与车道方向向量P1的模，|Pi,j|*|P1|表示车辆运动方向向量Pi,j与车道方向向量P1的模的乘积。
步骤4.5：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与右车道方向向量V2的夹角a；
步骤4.6：如果夹角a＜10°，即表示当前帧识别到的第j辆车与上一帧识别到的为同一车辆，执行步骤4.8，否则执行步骤4.7；
步骤4.7：从第一帧视频图像到第i-1帧累积记录车辆数目为N，那么第i帧计数结果N＝N+1，并显示识别后的前景图像ri(x,y)与计数结果N；
步骤4.8：如j＞Ji转到步骤4.9，否则令j＝j+1，再执行步骤4.3，直到第i帧中所有车辆都识别完；
步骤4.9：判断获取的交通监控视频是否结束，若未结束，令i＝i+1，再执行步骤4.3，否则显示最终计数结果N。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种复杂路况下行车流量视觉检测与计数方法，其特征在于，步骤如下：
步骤1、用MSRCR算法均衡获取的交通监控视频中的图像的颜色与光照；
步骤2、对均衡了颜色与光照的交通监控视频中的图像进行灰度化处理，灰度化处理后用AdaptiveMedian算法进行背景建模，得到背景图像；
步骤3、将灰度化处理后的图像与背景图像进行差分处理，差分后的图像进行二值化获取前景图像，然后对前景图像进行开运算，再寻找前景图像中的连通区域，并填充连通区域，将填充后的连通区域图像分别与步骤1所得图像的三通道点乘，得到彩色前景图像；
步骤4、用Haar与AdaBoost训练好的分类器识别彩色前景图像中的车辆，记录车辆在交通监控视频中的每一帧的位置坐标，根据前后帧车辆的中心位置构成的车辆运动方向向量与车道的左车道和右车道方向向量的关系进行计数，最终获得当前帧识别后的前景图像与累积的车流数量；
步骤4.1：用Haar与AdaBoost训练好的车辆分类器识别彩色前景图像fore(x,y)中的目标，得到第i帧识别后的前景图像ri(x,y)，并记录第i帧识别到的第j辆车的中心位置pi,j(u,v)，及第i帧识别出的车辆数目Ji；
步骤4.2：如果当前帧识别出的车辆数目Ji>Ji-1，执行步骤4.7，否则执行步骤4.3；
步骤4.3：如果车辆的中心位置pi,j(u,v)位于左车道，执行步骤4.4，否则执行步骤4.5；
步骤4.4：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与左车道方向向量V1的夹角a,转到步骤4.6；
步骤4.5：当前帧车辆的中心位置pi,j(u,v)与上一帧对应车辆的中心位置pi-1,j(u,v)构成车辆运动的方向向量pi,j,计算车辆运动的方向向量pi,j与右车道方向向量V2的夹角a；
步骤4.6：如果夹角a＜10°，即表示当前帧识别到的第j辆车与上一帧识别到的为同一车辆，执行步骤4.8，否则执行步骤4.7；
步骤4.7：从第一帧视频图像到第i-1帧累积记录车辆数目为N，那么第i帧计数结果N＝N+1，并显示识别后的前景图像ri(x,y)与计数结果N；
步骤4.8：如j＞Ji转到步骤4.9，否则令j＝j+1，再执行步骤4.3，直到第i帧中所有车辆都识别完；
步骤4.9：判断获取的交通监控视频是否结束，若未结束，令i＝i+1，再执行步骤4.3，否则显示最终计数结果N。
2.根据权利要求 1所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤1的具体步骤如下：
步骤1.1：获取交通监控视频，并计算该视频中左右二车道的方向向量V1,V2；
步骤1.2：循环读入交通监控视频中的图像fi(x,y),并对图像fi(x,y)用MSRCR算法进行预处理，得到矫正了颜色与光照的彩色图像fi'(x,y)。
3.根据权利要求2所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤2的具体步骤如下：
步骤2.1：将彩色图像fi'(x,y)转换为灰度图像im(x,y)；
步骤2.2：设置参数，用AdaptiveMedian算法进行背景建模，得到背景图像gi(x,y)。
4.根据权利要求3所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤3的具体步骤如下：
步骤3.1：灰度图像im(x,y)与背景图像gi(x,y)差分，对差分后的图像进行二值化处理得到二值前景图像b(x,y)；
步骤3.2：对二值前景图像b(x,y)进行开运算得到二值图像b1(x,y),提取二值图像b1(x,y)中的连通区域轮廓C[k]，并计算对应连通区域的面积S[k]；
步骤3.3：对连通区域进行填充处理:如果S[k]＜500,则将连通区域轮廓C[k]内所有像素赋值为1，并转到步骤3.2，否则转到步骤3.4；
步骤3.4：得到填充后的二值前景图像b'(x,y)，将其分别与步骤1所得图像的三通道图像点乘，得到彩色前景图像fore(x,y)。
5.根据权利要求2所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤1.2中，MSRCR算法公式如下：
I(x,y)＝L(x,y)*R(x,y)，
式中，I(x,y)代表被观察或照相机接收到的图像信号,L(x,y)代表环境光的照射分量，L(x,y)可以通过对图像信号I(x,y)行高斯模糊而得到，R(x,y)表示携带图像细节信息的目标物体的反射分量；
Log[R(x,y)]＝Log[I(x,y)]-Log[L(x,y)]，
分别计算出Log[R(x,y)]中R、G、B各通道数据的均值Mean[c]和均方差Var[c]，再计算各通道的Min[c]和Max[c]值：
Min[c]＝Mean[c]-Dynamic*Var[c]c＝1,2,3；
Max[c]＝Mean[c]+Dynamic*Var[c]c＝1,2,3；
R(x,y)＝(R(x,y)-Min)/(Max-Min)*(255-0)；
Figure FDA0002551588790000031
Dynamic为自定义的对比度参数，fi'(x,y)即为经过MSRCR处理后的图像。
6.根据权利要求3所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤2.2中，Adaptivemedian算法公式如下：
g1(x,y)＝median(fi(x,y))，i＝1,2......u；
其中g1(x,y)表示建模产生的第一帧的背景图像，fi(x,y)表示第i帧交通监控视频图像，u表示学习帧数,median(fi(x,y))表示求这u帧内对应(x,y)处像素值的中值，
Figure FDA0002551588790000032
gi(x,y)表示第i帧的背景图像，fi(x,y)表示第i帧的交通监控视频图像，当第i帧的坐标(x,y)处的交通监控视频图像fi(x,y)的像素值大于第i-1帧坐标(x,y)处的背景图像gi-1(x,y)的像素值，则第i帧的背景图像在(x,y)处的像素值为gi-1(x,y)+1，否则为gi-1(x,y)-1。
7.根据权利要求4所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤3.1中，计算二值前景图像的公式如下：
Figure FDA0002551588790000041
其中im(x,y)-g(x,y)为坐标(x,y)处灰度图像im(x,y)与背景图像g(x,y)像素的差分，Th为二值化的阈值，若灰度图像与背景图像差分大于阈值Th即为前景b(x,y)＝1，否则b(x,y)＝0。
8.根据权利要求4所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤3.2中，提取二值图像b1(x,y)中的连通区域轮廓C[k]公式如下：
Figure FDA0002551588790000042
其中，C[k]为第k个连通区域轮廓，value(C[k])为轮廓C[k]所包含的区域像素的像素值，Ts为阈值，S[k]表示C[k]所包含的区域面积，当区域面积S[k]小于阈值Ts时，轮廓C[k]所包含的区域像素的像素值value(C[k])为1，否则不变。
9.根据权利要求4所述的一种复杂路况下行车流量视觉检测与计数方法，其特征在于，所述步骤4.1中，Haar与AdaBoost训练好的车辆分类器公式如下：
Figure FDA0002551588790000043
αt＝-logεt，
该式表示经过T次迭代后，获得了T个最佳弱分类器h1(x)、h2(x)……hT(x)，其中εt表示弱分类器ht(x)的加权错误率，按照上述公式组成强分类器Cf(x)，当T个最佳弱分类器h1(x)、h2(x)……hT(x)满足
Figure FDA0002551588790000044
则强分类器Cf(x)结果为1；否则为0。
CN201710405037.6A 2017-06-01 2017-06-01 一种复杂路况下行车流量视觉检测与计数方法 Active CN107133610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710405037.6A CN107133610B (zh) 2017-06-01 2017-06-01 一种复杂路况下行车流量视觉检测与计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710405037.6A CN107133610B (zh) 2017-06-01 2017-06-01 一种复杂路况下行车流量视觉检测与计数方法

Publications (2)

Publication Number Publication Date
CN107133610A CN107133610A (zh) 2017-09-05
CN107133610B true CN107133610B (zh) 2020-09-01

Family

ID=59735154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710405037.6A Active CN107133610B (zh) 2017-06-01 2017-06-01 一种复杂路况下行车流量视觉检测与计数方法

Country Status (1)

Country Link
CN (1) CN107133610B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816086B (zh) * 2017-11-20 2023-05-23 富士通株式会社 移动物体的计数装置、方法和电子设备
CN109034110A (zh) * 2018-08-17 2018-12-18 潘小亮 枪战片计算机分类方法
CN110969173B (zh) * 2018-09-28 2023-10-24 杭州海康威视数字技术股份有限公司 目标分类方法及装置
CN111427344A (zh) * 2020-02-13 2020-07-17 深圳市镭神智能系统有限公司 自主体轨迹冲突的解决方法、装置、设备和存储介质
CN112232286A (zh) * 2020-11-05 2021-01-15 浙江点辰航空科技有限公司 一种道路巡检无人机图像识别系统及无人机
CN114463389B (zh) * 2022-04-14 2022-07-22 广州联客信息科技有限公司 一种运动目标检测方法以及检测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937614A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种即插即用的交通综合检测系统
CN102006462A (zh) * 2010-11-27 2011-04-06 南京理工大学 利用运动信息的快速监控视频增强方法及其实现装置
CN102156985A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于虚拟卡口的行人及车辆数目计数方法
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和系统
CN103136514A (zh) * 2013-02-05 2013-06-05 长安大学 一种基于双向跟踪的停车事件检测方法
CN103236162A (zh) * 2013-04-11 2013-08-07 江苏大学 一种基于视频分析的信号交叉口通行能力分析方法
EP2700054A1 (en) * 2012-06-12 2014-02-26 Institute of Electronics and Computer Science System and method for video-based vehicle detection
CN103730015A (zh) * 2013-12-27 2014-04-16 株洲南车时代电气股份有限公司 交叉路口车流量检测方法及装置
CN105574502A (zh) * 2015-12-15 2016-05-11 中海网络科技股份有限公司 一种自助发卡机违章行为自动检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768804B (zh) * 2012-07-30 2014-03-26 江苏物联网研究发展中心 基于视频的交通信息采集方法
CN103049788B (zh) * 2012-12-24 2015-11-18 南京航空航天大学 基于计算机视觉的待过行人数目的检测系统及方法
CN103077407B (zh) * 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
CN103116987B (zh) * 2013-01-22 2014-10-29 华中科技大学 一种基于监控视频处理的车流统计和违规检测的方法
CN103761746A (zh) * 2013-12-25 2014-04-30 浙江慧谷信息技术有限公司 基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法
CN105427626B (zh) * 2015-12-19 2018-03-02 长安大学 一种基于视频分析的车流量统计方法
CN106548184A (zh) * 2016-11-07 2017-03-29 乐视控股（北京）有限公司 一种调整光照平衡的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937614A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种即插即用的交通综合检测系统
CN102006462A (zh) * 2010-11-27 2011-04-06 南京理工大学 利用运动信息的快速监控视频增强方法及其实现装置
CN102156985A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于虚拟卡口的行人及车辆数目计数方法
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
EP2700054A1 (en) * 2012-06-12 2014-02-26 Institute of Electronics and Computer Science System and method for video-based vehicle detection
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和系统
CN103136514A (zh) * 2013-02-05 2013-06-05 长安大学 一种基于双向跟踪的停车事件检测方法
CN103236162A (zh) * 2013-04-11 2013-08-07 江苏大学 一种基于视频分析的信号交叉口通行能力分析方法
CN103730015A (zh) * 2013-12-27 2014-04-16 株洲南车时代电气股份有限公司 交叉路口车流量检测方法及装置
CN105574502A (zh) * 2015-12-15 2016-05-11 中海网络科技股份有限公司 一种自助发卡机违章行为自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Retinex的自适应图像增强算法;王一帆;《中国优秀硕士学位论文全文数据库信息科技辑》;20160315;第2-3章 *

Also Published As

Publication number Publication date
CN107133610A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133610B (zh) 一种复杂路况下行车流量视觉检测与计数方法
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
Hidalgo-Carrió et al. Learning monocular dense depth from events
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN107133559B (zh) 基于360度全景的运动物体检测方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
Liu et al. Vision-based stop sign detection and recognition system for intelligent vehicles
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN103984955B (zh) 基于显著性特征和迁移增量学习的多摄像机目标识别方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Ma et al. An all-weather lane detection system based on simulation interaction platform
CN113221739B (zh) 基于单目视觉的车距测量方法
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN115082517B (zh) 基于数据增强的赛马场景多目标追踪方法
CN115100618B (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
Meshram et al. Vehicle detection and tracking techniques used in moving vehicles
CN115166717A (zh) 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
CN108257149A (zh) 一种基于光流场的舰船目标实时跟踪检测方法
Said et al. Real-time detection and classification of traffic light signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant