CN104658272B - 一种基于双目立体视觉的道路车流量统计与测速方法 - Google Patents
一种基于双目立体视觉的道路车流量统计与测速方法 Download PDFInfo
- Publication number
- CN104658272B CN104658272B CN201510117531.3A CN201510117531A CN104658272B CN 104658272 B CN104658272 B CN 104658272B CN 201510117531 A CN201510117531 A CN 201510117531A CN 104658272 B CN104658272 B CN 104658272B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- msub
- mfrac
- centre
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Abstract
本发明具体涉及一种基于双目立体视觉的道路车流量统计与测速方法。本发明包括:(1)对双目摄像头的左摄像头获取的图像序列进行灰度化处理，对处理后的图像序列进行光流计算；对以上光流计算的结果进行连通域分析，通过面积特征筛除虚假目标，得到运动车辆的区域及形心坐标；通过设定统计区域并比较车辆形心坐标的方式对道路车流量进行统计；利用运动车辆的视差信息与双目摄像机内外参数将车辆形心坐标转换至摄像机坐标系，对车辆速度进行计算。本发明的方法适合于对道路多车辆的统计以及速度测量，具有测量准确，可靠性高，实施成本低的特点。
Description
技术领域
本发明具体涉及一种基于双目立体视觉的道路车流量统计与测速方法。
背景技术
随着我国经济发展人们的生活水平不断提高，车辆不断增加，大量的车辆进入我们的生活中，车辆在给我们的出行带来便利的同时也带来了一定的交通问题，交通事故频繁发生，安全成为我们不得不考虑的问题。智能交通管理是目前世界上正在研究和广泛关注的课题。智能交通系统的应用对交通运输业带来了很大的效益，对道路车辆管理起到了越来越大的作用。而视频车辆检测技术具有安装方便，成本低的特点。
目前存在的车辆检测技术应用最多的是基于单目摄像机的，而使用的检测车辆的方法大多是背景差，背景差易受光照变化的影响，本发明所使用的基于光流的方法对车辆进行检测不易受光照变化的影响，并且利用双目对速度的测量准确度高，可对道路多车辆进行检测测量。
发明内容
本发明的目的是提供一种解决现有技术中车辆交通信息获取的不足的基于双目立体视觉的道路车流量统计与测速方法。
本发明的目的是这样实现的：
(1)对双目摄像头的左摄像头获取的图像序列进行灰度化处理，对处理后的图像序列进行光流计算；
(2)对以上光流计算的结果进行连通域分析，通过面积特征筛除虚假目标，得到运动车辆的区域及形心坐标；
(3)通过设定统计区域并比较车辆形心坐标的方式对道路车流量进行统计；
(4)利用运动车辆的视差信息与双目摄像机内外参数将车辆形心坐标转换至摄像机坐标系，对车辆速度进行计算。
所述步骤(1)包括：
(1.1)任何光流算法都可用于本发明中对运动车辆进行光流计算；
(1.2)设定一个速度阈值对光流计算的结果进行分割；
(1.3)对光流计算后存在的黑洞利用形态学闭运算进行填充。
所述步骤(2)包括：
(2.1)对连通域检测后的团块通过设定阈值的方式进行筛选以筛选掉虚假目标；
(2.2)通过连通域检测分析得到车辆的运动区域和形心坐标。
所述步骤(3)包括：
(3.1)在双目摄像头获取的交通视频中设定统计计数区域；
(3.2)对所有形心坐标进入虚拟计数区域的车辆进行统计计数。
所述步骤(4)包括：
(4.1)所使用双目摄像机通过提前标定获得其内外参数；
(4.2)由左右摄像头获取的图像序列中对应形心x坐标相减得到形心视差，由视差结合内外参数矩阵将形心的2维图像坐标转化为摄像机坐标系下的3维空间坐标。
本发明的有益效果在于：
本发明的方法适合于对道路多车辆的统计以及速度测量，具有测量准确，可靠性高，实施成本低的特点。
附图说明
图1为本发明流程图。
具体实施方式
本发明公开一种基于双目立体视觉的道路车流量统计与测速方法，特别是涉及一种以设定统计计数区域对车辆流量进行统计以及利用形心视差和摄像机内外参数实现2维坐标向3 维的转换并以此进行车速计算的方法。
一种基于双目立体视觉的道路车流量统计与测速方法，包括以下步骤：
S1.对双目摄像头的左摄像头获取的图像序列进行图像灰度化处理，对灰度化处理后的图像进行光流计算。
S2.设定一个速度阈值对以上光流计算的结果进行分割。
S3.利用连通域分析对光流计算后的图像序列进行检测分析，并利用面积特征进行筛选以排除虚假目标，得到运动车辆的区域和形心坐标。
S4.通过在双目摄像头的左摄像头获取的交通视频中设定一个统计区域并比较形心坐标的方式统计车流量。
S5.利用左右摄像头所得图像序列中对应形心X坐标的差值得到形心视差，以形心视差与摄像机内外参数相结合的方式将2维图像坐标转换为摄像机下的3维坐标，计算得到车辆速度。
如图1所示，本发明基于双目立体视觉的道路车流量统计与测速方法具体实施步骤如下；
S1.对双目摄像头的左摄像头获取的图像序列进行光流计算。具体步骤如下：
S1.1对双目摄像头的左摄像头获取的图像序列进行灰度化。
S1.2对灰度化后的图像序列进行光流计算，任何光流计算方法都适用于本发明，为简化表述本发明实施方法，以经典的Lucas-Kanade光流算法为例加以说明。
假设t时刻图像上一点(x,y)处的灰度值为I(x,y,t)。
图像序列光流计算的基本等式为Ix(u)+Iy(v)+It＝0其中Ix,Iy,It为图像中像素点的灰度沿X,Y,T三个方向的偏导数。
Lucas-Kanade算法所得光流解为：
w2(i,j)表示像素点(i,j)在计算光流时的权重函数。u,v为该点光流沿X,Y轴方向的速度矢量。
S2对以上光流计算的结果进行速度阈值分割。具体步骤如下：
S2.1设定一个速度阈值V＝[u1,v1]T,其中，u1,v1为沿X,Y轴方向的速度分量阈值。
S2.1若以上光流计算的结果u,v满足u＞u1,v＞v1，则认为当前点属于运动目标车辆，否则认为是背景像素点。
S3利用连通域对光流计算结果进行分析，利用面积特征筛除掉虚假目标，得到运动车辆的区域与形心坐标。具体步骤如下：
S3.1对光流计算后的图像序列进行形态学闭运算，以去除光流分割后带来的黑洞。
S3.2对光流计算后的图像进行连通域分析得到运动车辆的区域。
S3.3画出该区域的外接矩形，假设外接矩形的面积为S，设定一个阈值S1，将所有面积S＜S1的轮廓区域认为是虚假目标。
S3.4对区域内所有点的x,y坐标分别相加取平均，得到区域的形心坐标(x0,y0)
S4通过设定统计区域并比较车辆形心坐标的方式对道路车流量进行统计，具体步骤如下：
S4.1在双目摄像头的左摄像头所获得的交通视频中设定一个统计区域。
S4.2将获得的车辆形心坐标与统计区域范围进行比较，如车辆形心坐标落入该区域，则进行统计，令计数加1。
S5通过双目摄像头的右摄像头与左摄像头获取运动车辆形心视差，利用视差及摄像机内外参数将2维图像坐标转换为摄像机坐标下的3维空间坐标，并以此计算车辆运行速度。具体步骤如下：
S5.1通过提前标定双目摄像机获得摄像机的内外参数。
S5.2对于左右摄像头所得到的图像序列中对应形心x坐标相减，得到形心视差。
S5.3由形心视差与摄像机内外参数相结合的方式向2维形心坐标转换为摄像机坐标系下的3维坐标.具体如下；
假设形心在左右像平面上的物理坐标分别为(xl′,yl′),(xr′,yr′)。摄像机旋转矩阵为R，平移向量为r0，根据
由可求得
其中：xl′-xr′为形心视差,b为两个相机之间的基线距离,(x,y,z)T为场景中形心坐标。
S5.4记录车辆形心进入识别区域内的形心坐标(x1,y1,z1)和时间t1，以及车辆形心离开识别区域的形心坐标(x2,y2,z2)和时间t2，在识别区域内车辆形心所行驶的距离，所使用的时间t＝t2-t1。可求出车辆行驶的平均速度为
Claims (5)
1.一种基于双目立体视觉的道路车流量统计与测速方法，其特征在于，包括如下步骤：
(1)对双目摄像头的左摄像头获取的图像序列进行灰度化处理，对处理后的图像序列进行光流计算；
(2)对以上光流计算的结果进行连通域分析，通过面积特征筛除虚假目标，得到运动车辆的区域及形心坐标；对区域内所有点的x，y坐标分别相加取平均，得到区域的形心坐标(x0，y0)；
(3)通过设定统计区域并比较车辆形心坐标的方式对道路车流量进行统计；将获得的车辆形心坐标与统计区域范围进行比较，如车辆形心坐标落入该区域，则进行统计，令计数加1；
(4)利用运动车辆的视差信息与双目摄像机内外参数将车辆形心坐标转换至摄像机坐标系，对车辆速度进行计算；假设形心在左右像平面上的物理坐标分别为(x1′，y1′)，(xr′，yr′)，摄像机旋转矩阵为R，平移向量为r0，根据
<mrow>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mi>f</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mfrac>
<mi>b</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mi>z</mi>
</mfrac>
</mrow>
<mrow>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mi>f</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mo>-</mo>
<mfrac>
<mi>b</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mn>2</mn>
</mfrac>
</mrow>
<mrow>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mi>f</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mi>f</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mi>y</mi>
<mi>z</mi>
</mfrac>
</mrow>
可求得
<mrow>
<mi>x</mi>
<mo>=</mo>
<mi>b</mi>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mrow>
<mi>z</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<msup>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mi>b</mi>
<mfrac>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mrow>
<mi>z</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<msup>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>z</mi>
<mo>=</mo>
<mi>b</mi>
<mfrac>
<mi>f</mi>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<msup>
<msub>
<mi>x</mi>
<mi>r</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
</mfrac>
</mrow>
其中：x1′-xr′为形心视差，b为两个相机之间的基线距离，(x，y，z)T为场景中形心坐标；
记录车辆形心进入识别区域内的形心坐标(x1，y1，z1)和时间t1，以及车辆形心离开识别区域的形心坐标(x2，y2，z2)和时间t2，在识别区域内车辆形心所行驶的距离所使用的时间t＝t2-t1，可求出车辆行驶的平均速度为
2.根据权利要求1所述的一种基于双目立体视觉的道路车流量统计与测速方法，其特征在于，所述步骤(1)包括：
(1.1)任何光流算法都可用于本发明中对运动车辆进行光流计算；
(1.2)设定一个速度阈值对光流计算的结果进行分割；
(1.3)对光流计算后存在的黑洞利用形态学闭运算进行填充。
3.根据权利要求1所述的一种基于双目立体视觉的道路车流量统计与测速方法，其特征在于，所述步骤(2)包括：
(2.1)对连通域检测后的团块通过设定阈值的方式进行筛选以筛选掉虚假目标；
(2.2)通过连通域检测分析得到车辆的运动区域和形心坐标。
4.根据权利要求1所述的一种基于双目立体视觉的道路车流量统计与测速方法，其特征在于，所述步骤(3)包括：
(3.1)在双目摄像头获取的交通视频中设定统计计数区域；
(3.2)对所有形心坐标进入虚拟计数区域的车辆进行统计计数。
5.根据权利要求1所述的一种基于双目立体视觉的道路车流量统计与测速方法，其特征在于，所述步骤(4)包括：
(4.1)所使用双目摄像机通过提前标定获得其内外参数；
(4.2)由左右摄像头获取的图像序列中对应形心x坐标相减得到形心视差，由视差结合内外参数矩阵将形心的2维图像坐标转化为摄像机坐标系下的3维空间坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510117531.3A CN104658272B (zh) | 2015-03-18 | 2015-03-18 | 一种基于双目立体视觉的道路车流量统计与测速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510117531.3A CN104658272B (zh) | 2015-03-18 | 2015-03-18 | 一种基于双目立体视觉的道路车流量统计与测速方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104658272A CN104658272A (zh) | 2015-05-27 |
| CN104658272B true CN104658272B (zh) | 2018-02-02 |
Family
ID=53249334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510117531.3A Expired - Fee Related CN104658272B (zh) | 2015-03-18 | 2015-03-18 | 一种基于双目立体视觉的道路车流量统计与测速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104658272B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138979A (zh) * | 2015-08-19 | 2015-12-09 | 南京理工大学 | 基于立体视觉的运动人体头部检测方法 |
| CN106408589B (zh) * | 2016-07-14 | 2019-03-29 | 浙江零跑科技有限公司 | 基于车载俯视相机的车辆运动测量方法 |
| CN106781470B (zh) | 2016-12-12 | 2022-01-28 | 百度在线网络技术（北京）有限公司 | 城市道路的运行速度的处理方法及装置 |
| CN106952291B (zh) * | 2017-03-14 | 2020-07-14 | 哈尔滨工程大学 | 基于3维结构张量各向异性流驱动的场景流车流量统计与测速方法 |
| CN109087265B (zh) * | 2018-08-09 | 2020-09-04 | 北京大恒图像视觉有限公司 | 一种多相机图像坐标转换方法和装置 |
| CN109147331B (zh) * | 2018-10-11 | 2021-07-27 | 青岛大学 | 一种基于计算机视觉的道路拥堵状态检测方法 |
| CN110633678B (zh) * | 2019-09-19 | 2023-12-22 | 北京同方软件有限公司 | 一种基于视频图像的快速高效的车流量计算方法 |
| CN112863193B (zh) * | 2021-01-06 | 2022-11-01 | 厦门大学 | 一种隧道内行驶车辆的监控系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2048618A1 (de) * | 2007-10-08 | 2009-04-15 | Delphi Technologies, Inc. | Verfahren zur Objekterfassung |
| CN202058221U (zh) * | 2011-04-25 | 2011-11-30 | 湖州康普医疗器械科技有限公司 | 一种基于双目视觉的客流统计装置 |
-
2015
- 2015-03-18 CN CN201510117531.3A patent/CN104658272B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104658272A (zh) | 2015-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104658272B (zh) | 一种基于双目立体视觉的道路车流量统计与测速方法 | |
| CN110942449B (zh) | 一种基于激光与视觉融合的车辆检测方法 | |
| CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
| CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
| CN103473554B (zh) | 人流统计系统及方法 | |
| CN108108667B (zh) | 一种基于窄基线双目视觉的前方车辆快速测距方法 | |
| US20170330454A1 (en) | Method of controlling a traffic surveillance system | |
| CN106183995B (zh) | 一种基于立体视觉的可视倒车方法 | |
| CN106375706A (zh) | 利用双摄像头进行运动物体测速的方法、装置及移动终端 | |
| El Bouziady et al. | Vehicle speed estimation using extracted SURF features from stereo images | |
| CN107735812A (zh) | 视差图像生成设备、视差图像生成方法、视差图像生成程序、对象识别设备以及装置控制系统 | |
| CN104537649B (zh) | 一种基于图像模糊度比较的车辆转向判断方法及系统 | |
| US20190180121A1 (en) | Detection of Objects from Images of a Camera | |
| CN106778480A (zh) | 一种基于车牌的高精度近距离车距测量方法 | |
| Mammeri et al. | Extending the detection range of vision-based vehicular instrumentation | |
| CN110189377A (zh) | 一种基于双目立体视觉的高精度测速方法 | |
| CN103077534B (zh) | 时空多尺度运动目标检测方法 | |
| CN108021857B (zh) | 基于无人机航拍图像序列深度恢复的建筑物检测方法 | |
| CN108416798A (zh) | 一种基于光流的车辆距离估计方法 | |
| CN113221739B (zh) | 基于单目视觉的车距测量方法 | |
| CN105809092A (zh) | 人群目标检测方法及其装置 | |
| Dehghani et al. | Single camera vehicles speed measurement | |
| US9041778B2 (en) | Image processing device and method of processing image | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180202 |