CN102542797B - 图像式的交通参数检测系统与方法 - Google Patents

Abstract

图像式的交通参数检测系统与方法。该图像式的交通参数检测系统先设定欲监控的一车道的一范围大小，并于该车道设定一进入点检测窗及一离开点检测窗。利用于此进入点检测窗所撷取的图像信息，当在此进入点检测窗检测到一车辆经过事件发生时，在此进入点检测窗内检测出数个特征点，并随着时间追踪这些特征点。再将属于同一车辆的特征点予以群化，得到至少一单一车辆的位置追踪结果。当被追踪的单一车辆移动至此离开点检测窗时，根据此位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估出至少一交通参数。

Description

图像式的交通参数检测系统与方法

技术领域

本公开涉及一种图像式(image based)的交通参数(traffic parameter)检测系统与方法。

背景技术

即时交通信息检测可以提供有关交通阻塞、交通事故、预期延误时间与替代路线等最新的信息给驾驶人，并通过探测、预测的交通数据来协助驾驶人在发生交通问题时重新设定行车路径，指引使用者最迅速的路线，并可正确预估到达的时间。以车辆为例，交通参数例如是(1)车流密度(壅塞状况)、计数，可用来监控路段或路口行车状况，(2)停等时间、排队长度、平均车速，可用来最佳化红绿灯时间，(3)单一车辆车速、车道切换、安全车距，可用来警告违规驾驶，(4)临时停车事件，可用于快速事故的排除。

相较于电磁感应线圈、雷达测速枪及红外线感测器，感光式摄影机感测器具有多样化信息取得及可同时检测多车道的特点。基于视觉式(vision-based)的交通参数检测技术可分为基于背景相减(backgroundsubtraction)的检测法以及基于虚拟线圈的检测法。基于背景相减的检测法如图1的范例所示，通过图像校正的技术，先将输入的图像帧110进行兴趣区域校正120，并利用背景相减法或帧差法，进行背景相减130，检测出移动物件，再利用物件追踪技术进行物件追踪140，例如追踪车辆，然后进行交通参数估计150，例如车辆计数或车速估计。

基于背景相减法的已知文献中，例如有的是检测所撷取数字图像的边缘，并对此边缘进行学习，以撷取移动物体的部分来进行阴影移除及相连元件标记，再进行区块合并及车辆追踪，而获得交通参数。有的是利用背景相减法产生可代表移动物体的差值图像，再将此移动物体分为多个区域，而分析其中的有效区域及无效区域，藉以删除无效区域并将有效区域群聚(cluster)，而用以追踪移动物体。有的是使用目前图像与背景图像的差值来检测前景物，通过阴影移除、相连元件标示法得到单一车辆物件，再通过色彩信息作为物件相关的准则来进行车辆追踪。有的是通过架设两支摄影机来取得信号的相关性，将最大相关时的平移做为汽车移动的时间。

基于虚拟线圈的检测法如图2的范例所示，在图像上设定虚拟线圈210，此虚拟线圈例如是检测窗或检测线。并设定触发条件来判断是否有车行经该虚拟检测窗，如检测车辆通过事件220与检测进出检测窗时间相关230，作为后续的交通参数估计的依据，例如车辆计数或车流密度估计。图3是在一图像帧310上设定虚拟线圈的一范例示意图，其中，在车道340前后设置两虚拟线圈，如检测窗332与334，则可从图像剖面轴350，通过此两进出检测窗332与334于时间轴上的相关性，来估计车道340的平均车速。相较于背景相减法，基于虚拟线圈的检测法可得到较稳定的车辆检测，但此检测法没有再继续追踪物件，例如单一车辆车速估计、车道切换、安全车距等。

基于虚拟线圈法的已知文献中，例如有的是分析道路鸟瞰图中的道路，将车辆前(后)的特征部分注册为样板(template)，并在更新样板时利用图形匹配(pattern-matching)方式追踪车辆，来提高车流量检测的准确性。有的是设定检测窗来做为车辆通过事件检测，并且考虑日夜的情况，在白天通过图像的边缘特征(Edge)，而在夜间则通过车灯检测来做为检测车辆的依据。有的是计算所撷取图像中各车道感兴趣区域的对数灰阶值频谱，并计算其与基准对数灰阶值频谱在高频部分的差量，而用以辨别车道感兴趣区域是否有车辆，以计算车流量。

时下交通参数检测技术往往需要安装及维修的高成本，或是运算量大，或是易受环境光源、阴影或摄影机本身晃动所影响而造成车辆检测不易，或是不能精确切割出单一车辆而造成物件追踪的困难。所以，交通参数检测的机制需要具有追踪单一物件的能力、提高物件计数、物件追踪的准确度、以及通过物件追踪的结果来提高交通参数估计的稳定性，以有效取出多样性的交通参数，做为即时监控交通流量等应用。

发明内容

本公开的实施范例可提供一种图像式的交通参数检测系统与方法及计算机程序产品。

所公开的一实施范例是关于一种图像式的交通参数检测系统。此系统通过一车道兴趣区域设定模块，设定欲监控的一车道的一范围大小，并在此车道各设定一进入点检测窗及一离开点检测窗。当一车辆通过事件检测模块利用于此进入点检测窗所撷取的图像信息，检测到一车辆经过事件发生时，一特征点检测与追踪模块在此进入点检测窗内进行特征点检测，并随着时间进行特征点追踪。再通过一特征点群化模块将属于同一车辆的数个特征点予以群化，得到至少一单一车辆的位置追踪结果。当被追踪的至少一单一车辆移动至该离开点检测窗时，一交通参数估计模块根据车辆位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估的至少一交通参数。

所公开的另一实施范例是关于一种图像式的交通参数检测方法。此方法包含:设定欲监控的一车道的一范围大小，并在此车道设定一进入点检测窗及一离开点检测窗；利用于此进入点检测窗所撷取的图像信息，检测车辆通过事件是否发生；当在此进入点检测窗检测到一车辆经过事件发生时，在此进入点检测窗内检测出数个特征点，并随着时间追踪此数个特征点；将属于同一车辆的特征点予以群化，得到至少一单一车辆的位置追踪结果；以及当被追踪的至少一单一车辆移动至此离开点检测窗时，根据此位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估至少一交通参数。

现在配合下列图示、实施范例的详细说明及申请专利范围，将上述及本发明的其他目的与优点详述于后。

附图说明

图1是一范例示意图，说明基于背景相减的检测法的技术。

图2是一范例示意图，说明基于虚拟线圈的检测法的技术。

图3是在一图像帧上设定虚拟线圈的一范例示意图。

图4是图像式的交通参数检测系统的一个范例示意图，与所公开的某些实施范例一致。

图5A至图5C说明车道兴趣区域设定模块的检测窗选定及兴趣区域校正，与所公开的某些实施范例一致。

图6是一范例示意图，说明车辆通过事件检测模块通过一两阶层的SVM分类器，将检测窗所取得的图像区分车辆、阴影、及道路，与所公开的某些实施范例一致。

图7A与图7B是实际的车辆通过事件检测的范例，与所公开的某些实施范例一致。

图8A至图8C是范例示意图，分别说明矩形区域在图像中移动的三种情况，与所公开的某些实施范例一致。

图9A与图9B是于进入点检测窗进行特征点检测的范例示意图，与所公开的某些实施范例一致。

图10是一范例示意图，说明追踪所有被检测出来的特征点随着时间在连续多帧图像画面上的位置，与所公开的某些实施范例一致。

图11是一阶层式特征点群化架构的一范例示意图，与所公开的某些实施范例一致。

图12A与图12B是一范例示意图，说明特征点群层的点剔除，与所公开的某些实施范例一致。

图13是两特征点群的移动轨迹的一范例示意图，与所公开的某些实施范例一致。

图14A与图14B是前景占有率的计算的一范例示意图，与所公开的某些实施范例一致。

图15A与图15B是范例示意图，说明一种平均移动时间估计法，与所公开的某些实施范例一致。

图16是针对一车流顺畅的测试影片的结果，比较两种平均车速检测法的曲线图，与所公开的某些实施范例一致。

图17是图像式的交通参数检测方法的一范例流程图，与所公开的某些实施范例一致。

图18是一范例示意图，说明图像式的交通参数检测的计算机程序产品及其应用场景，与所公开的某些实施范例一致。

【主要元件符号说明】

110  图像帧                         120  兴趣区域校正

130  背景相减                       140  物件追踪

150  交通参数估计

210  设定虚拟线圈            220  检测车辆通过事件

230  检测进出检测窗时间

相关

310  图像帧                 332、334  检测窗

340  车道                   350  图像剖面轴

400  交通参数检测系统       410  车道兴趣区域设定模块

420  车辆通过事件检测模     430  特征点检测与追踪模块                        块

440  特征点群化模块         450  交通参数估计模块

412  图像帧                 452  交通参数

510  车道图像               512  兴趣区域

514  车道宽度               516  车道区隔线

522  垂直鸟瞰图像           531、534  正方形检测窗

610  图像板

620  萃取出五种有统计意义的特征

630  支持向量机分类器

710～711两兴趣车道          701～704  四个检测窗

701a  检测线                720  时间-剖面图

910  虚线圈                 920  进入点检测窗

921～923  三个小方形

1010  进入点检测窗          1020～1024图像帧

1100  阶层式特征点群化      1110  特征点层

架构

1120  特征点群层              1130  物件层

1201～1207  七个特征点        1215、1207  粗差点

1310  特征点群G_p的移动        1320  特征点群G_q的移动轨迹                      轨迹

1510  进入点检测窗的图像剖面图与

1512  离开点检测窗的图像剖面图

1610  采用ATT₁的式子而求得的曲线

1612  采用ATT₂的式子而求得的曲线

1710  设定欲监控的一车道的一范围大小，并在此车道设定一进入点检测窗及一离开点检测窗

1720  利用于此进入点检测窗所撷取的图像信息，检测车辆通过事件是否发生，当在此进入点检测窗检测到一车辆经过事件发生时，在此进入点检测窗内检测出数个特征点，并随着时间追踪此数个特征点

1730  将属于同一车辆的特征点予以群化，得到至少一单一车辆的位置追踪结果

1740  当被追踪的单一车辆移动至此离开点检测窗时，根据此位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估至少一交通参数

1800  计算机程序产品         1810  存储器

1820  计算机程序             1830  处理器

具体实施方式

本公开提出一种图像式的交通参数检测技术，此交通参数检测技术基于虚拟线圈检测法的架构下，采用一种阶层式特征点的群化技术，来提高交通工具如车辆的计数与追踪的准确度，及使其具有追踪单一车辆的能力。并且利用车辆追踪的结果，来提高进出检测窗的时间相关性分析的交通参数估计，例如平均车速，的稳定性。以下以车辆为范例来说明本公开实施范例的交通参数检测的实施方式。

当车辆通过事件发生的同时，在该进入点检测窗的区域内进行数个特征点的检测，并于后续的图像持续追踪这些特征点，并通过估计进入点与离开点所撷取的信息在时间上的最大相关，来推估该车道的交通参数。

图4是图像式的交通参数检测系统的一个范例示意图，与所公开的某些实施范例一致。图4的范例中，图像式的交通参数检测系统400包含一车道兴趣区域设定模块410、一车辆通过事件检测模块420、一特征点检测与追踪模块430、一特征点群化模块440、及一交通参数估计模块450。

交通参数检测系统400先通过车道兴趣区域设定模块410进行兴趣车道范围设定及兴趣区域校正，包括设定图像上需监控的一车道的一范围大小，并在此车道的进入点与离开点各设定一检测窗，分别称为进入点检测窗及离开点检测窗，并将所撷取图像帧412进行兴趣区域校正。图像式的交通参数检测系统400可通过或包括一图像撷取装置，来持续地撷取出前述的多帧车道图像。一般用来监控交通的图像撷取装置如摄影机，多摆放于高处，然后通过一俯视角度来撷取图像以监控车道。利用于此进入点检测窗所撷取的图像信息，当车辆通过事件检测模块420检测到一车辆经过事件发生时，特征点检测与追踪模块430在该进入点检测窗的区域内进行数个特征点检测，并随着时间进行特征点追踪，例如通过光流法追踪技术。再通过特征点群化模块440将属于同一车辆的特征点予以群化(grouping)，得到至少一单一车辆的位置追踪结果，例如通过阶层式特征点的群化技术，来追踪单一车辆的行驶轨迹。当被追踪的单一车辆移动至该离开点检测窗时，交通参数估计模块450根据车辆位置追踪结果的信息，例如将车辆追踪的结果回馈至该车道的离开点检测窗。然后，分析进入点检测窗与离开点检测窗所撷取的信息在时间上的相关性，来推估至少一交通参数452，例如单一车道上车辆的平均车速。

图5A至图5C进一步说明车道兴趣区域设定模块410如何选定检测窗及校正兴趣区域，与所公开的某些实施范例一致。第五A图是利用一图像撷取装置通过一俯视角度所撷取之一张车道图像510的范例。交通参数检测系统400先针对车道图像510，设定欲检测的一车道的一范围大小，例如可用一四边形的兴趣区域(region of interest，ROI)512来表示，其中包含于兴趣区域512的车道可以是一或多条车道，此车道于兴趣区域512内的长度是作为计算车辆行驶速度的依据。

以台湾现有的交通法规为例，车道宽度514一般为3.75公尺，而车道区隔线516一般为4公尺，虚线部分为6公尺。如果图像上无明显的车道标示，可通过实地量测取得该信息。然后，就可利用兴趣区域512的四个顶点，及通过单应性透视投影转换(Homograph Transform)而得到兴趣区域512的垂直鸟瞰图像522，如第五B图所示。兴趣区域512校正后，在各个车道上，在其车辆进入点及离开点各自设立一检测窗，例如第五C图的正方形检测窗531至534，检测窗的边长等于该车道的宽度，并以该检测窗作为后续检测车辆经过事件的依据。

如图6所示，车辆通过事件检测模块420针对每一个时间于进入点检测窗取得的图像板(Image Patch)610，先从图像板610上萃取出五种有统计意义的特征，如标号620所示。然后，通过一个支持向量机(Support VectorMachine，SVM)分类器630，支持向量机分类器630至少包含两个阶层，将各个图像板区分为车辆(vehicle)、阴影(shadow)及道路(road)三类。五种有统计意义的特征包括至少三个基于灰阶的特征及至少两个基于边缘的特征。三个基于灰阶的特征分别为标准差(standard deviation，STD)、二类别标准差(2-STD)以及熵(Entropy)。两个基于边缘的特征分别为梯度值(GradientMagnitude，GM)及边缘响应率(Edge Response)。

车辆通过事件检测模块420也可包括SVM分类器630。SVM分类器630至少包括一第一层SVM及一第二层SVM，其中第一层SVM可将图像板610区分为道路或非道路共两类别。非道路类别包含车辆及与阴影。被第一层SVM区分为非道路类别者再通过第二层SVM后，可区分出车辆或阴影。两阶层的SVM分类器630的设计可通过搜集大量图像板的测试样本，通过手动的方式，将检测窗所取得的图像板分类为车辆、道路及阴影三类事件，然后将此标记好的训练样本输入前述的两阶层SVM分类器，利用取出的两类特征，即基于灰阶的特征及基于边缘的特征，来训练出第一层SVM分类器及第二层SVM分类器。

通过与灰阶相关的特征，可将检测窗所取得的图像板区分有色车辆及道路。与灰阶信息相关的三特征分别定义如下：

标准差 $\mathrm{STD}=\sqrt{\frac{\underset{(x,y)\∈R}{\mathrm{\Σ}}(D(x,y)-\mathrm{\μ})}{N}},$

其中R为检测窗区域，N为检测窗区域R内的像素总数，D(x，y)表示像素(x，y)的灰阶值，μ为检测窗区域R内的像素灰阶平均值。

计算二类别标准差2-STD之前，先将检测窗区域R依其灰阶作为特征，利用K-Means区分成R₁与R₂两类，再通过下式计算2-STD。

$2-\mathrm{STD}=\sqrt{\frac{1}{N}(\underset{(x,y)\∈R_1}{\mathrm{\Σ}}{(D(x,y)-{\mathrm{\μ}}_1)}^2+\underset{(x,y)\∈R_2}{\mathrm{\Σ}}{(D(x,y)-{\mathrm{\μ}}_2)}^2)},$

其中μ₁与μ₂分别为R₁与R₂区域的平均灰阶值。

熵的定义则如下。

$E=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(i\right){\log }_{2}p\left(i\right),$

其中L为该区域的灰阶显示范围的最大值，i指示该范围内的每一个灰阶值，p(i)代表灰阶值i发生的机率。

通过与边缘相关的特征，可减少光影的影响。与边缘信息相关的两特征，即平均梯度值GM及边缘响应率ES，分别定义如下：

$\mathrm{GM}=\frac{\underset{(x,y)\∈R}{\mathrm{\Σ}}\left(\sqrt{{\left(D_x(x,y)\right)}^2+{\left(D_y(x,y)\right)}^2}\right)}{N}$

其中D_x与D_y分别代表该像素(x，y)于x及y方向的微分。

在计算ES之前，先对该图像作一边缘检测，假设N_E为通过该边缘检测所判定为边缘的像素数目，则ES计算方式如下：ES=N_E/N。

本公开将约为一万笔的训练样本输入SVM分类器630，其中，对于第一层SVM分类器，可得到96.81%的分类准确性，而对于第二层SVM分类器，可得到94.26%的准确性。实际的车辆通过事件检测范例如图7A与图7B所示，图7A为一交通图像以及由使用者设定的两兴趣车道710～711，车道710～711包含四个检测窗701～704。针对进入点检测窗701，考虑其前缘线段像素(即检测线701a)与时间的关系，产生一时间-剖面图(Spatial-Profile Image)720，如图7B所示，其中横轴代表时间，位置原点0表示目前时间，-t方向则表示过去时间，离原点0越远代表是越久远的信息；纵轴代表检测线701a在一时间的像素信息，如果在该时间检测出有车辆通过事件，则在时间-剖面图720上加上某一颜色记号作为标记，反之，则保留该线段的原始像素颜色信息。

当在某一进入点检测窗检测出车辆经过事件发生时，在该进入点检测窗内进行特征点检测，作为追踪该移动车辆的依据。可通过Harris角点检测技术来取得此该进入点检测窗内最大响应的m个Harris特征点。Harris角点检测技术是通过观察一张图像中局部的矩形区域，将此矩形区域图像中不同的方向作些微的移动，来了解矩形区域中灰阶变化的强弱，此矩形区域中的变化可分为下列三种情况。

(1)在矩形区域移动的图像中，如果灰阶值的变化是趋于平坦，则无论此矩形区域要往哪个方向移动，此矩形区域中的灰阶并不会有特别明显的变化，如图8A的矩形区域的范例所示；(2)若矩形区域在边或是线的图像区域中移动，则当矩形区域沿着边或线的方向与边或线垂直，则灰阶变化将会相当强烈，如图8B的范例所示，矩形区域沿着右边的方向移动，则其右边区域的灰阶变化相当强烈；(3)若矩形区域在具有特征点的图像区域中移动，则无论哪一个方向的移动都会造成此矩形区域中强烈的灰阶变化，如图8C的范例所示，矩形区域无论沿着左右或上下的方向移动，都会造成矩形区域中强烈的灰阶变化。

依此，此矩形区域在各方向移动后，其变化的总和可以用公式(1)来表示：

$E_{x,y}=\underset{u,v}{\mathrm{\Σ}}{w}_{u,v}|I_{x+u,y+v}-I_{u,v}|---\left(1\right)$

其中w_u，v表示所定义的矩形区域，若点(u，v)的位置在区域中，则w_{u， v}的值为1，否则为0；I_u，v为图像当中，点在(u，v)坐标的灰阶值；x与y则分别表示在x方向及y方向的移动量。

式(1)可以泰勒展开式展开并估算出图像I在x方向以及y方向的梯度后，公式(1)可以进一步简化为

E_x,y=Ax²+2Cxy+By²             (2)

其中， $\begin{array}{ccc}A={\left(\frac{\∂I}{\∂x}\right)}^2{w}_{u,v},& B={\left(\frac{\∂I}{\∂y}\right)}^2{w}_{u,v},& C=\left(\frac{\∂I}{\∂x}\right){\left(\frac{\∂I}{\∂y}\right)}^2\end{array},w_{u,v}.$

为了减少图像中杂讯的影响，将二元的w_u，v以Gaussian函式来取代，而公式(2)以矩阵来表示如下:

E_x,y=(x,y)Z(x,y)^T              (3)

其中，Z是一个2×2的灰阶强度变化且对称(symmetric)的矩阵，

$Z=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right].$

令λ₁，λ₂为矩阵Z的特征值，经由对λ₁与λ₂的大小可以得知:(1)若λ₁、λ₂的值都很小，则表示该区域的灰阶变化不明显；(2)若λ₁、λ₂的值为一大一小，则表示该区域有边或是线的存在；(3)若λ₁、λ₂的值都很大，则表示该区域无论在哪一个方向，其灰阶变化都很强烈，也就是该区域中有特征点的存在。因此，可设定一灰阶强度变化响应函式R(Z)来判断该点是否为特征点：

R(Z)=det(Z)-k·trace²(Z)

                   (4)

=λ₁λ₂-k·(λ₁+λ₂)²

其中k为一常数值，det(Z)为矩阵Z的行列式值，trace(Z)为矩阵Z的对角线的总和(sum of the main diagonal)。通过R的计算，即可挑选出该进入点检测窗内响应最大之前m个点作为特征点，并给定这些特征点一当前时间戳记，作为后续追踪及群化的依据。

图9A与图9B是在进入点检测窗进行特征点检测的范例示意图，与所公开的某些实施范例一致。图9A的鸟瞰图像上，右边车道的进入点检测窗检测到有车辆经过事件，如虚线圈910所示。随即通过Harris检测技术检测出三个特征点，如图9B的进入点检测窗920内三个小方形921～923所示，小方形921～923的中心即为所检测出的三个特征点位置。

当检测窗内检测出特征点之后，本公开实施范例通过光流法技术来估计所有被检测出来的特征点于下帧图像上的位置，此即为特征点的追踪。特征点的追踪原理举例说明如下。

假设同一特征点p_i于连续时间t与t+1，在图像画面上具有外貌的不变性，即I_t(x,y)=I_t+1(x+u,y+v)，(u，v)表示该点的移动向量。可通过泰勒展开式将此式子之后项展开为

$I_{t+1}(x+u,y+v)\≈I_{t+1}(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂x}v---\left(5\right)$

考虑该点满足外貌不变性，则式(5)可推导如下：

0=I_t+1(x+u,y+v)-I_t(x,y)

≈I_t+1(x,y)+I_xu+I_yv-I_t(x,y)

                         (6)

≈(I_t+1(x,y)-I_t(x,y))+I_xu+I_yv

≈I_t+I_xu+I_yv

其中 $\begin{array}{cc}{I}_t=\∂I/\∂t,& I_x=\∂I/\∂x\end{array}$ 与 $I_y=\∂I/\∂y.$

由于式(6)有两个未知数u及v，但仅有一方程式，因此，假设该点附近的点也有相同的移动向量，考虑以该点为中心的一n×n窗，可将式(6)扩增为：

$\left[\begin{array}{cc}{I}_x\left(p_1\right)& I_y\left(p_1\right)\\ I_x\left(p_2\right)& I_y\left(p_2\right)\\ ...& ...\\ I_x\left(p_{n^2}\right)& I_y\left(p_{n^2}\right)\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=-\left[\begin{array}{c}{I}_t\left(p_1\right)\\ I_t\left(p_2\right)\\ ...\\ I_t\left(p_{n^2}\right)\end{array}\right]---\left(7\right)$

如此一来，就可通过最小平方和法解出式(7)的u及v，即该特征点的移动向量。进而推得于下帧图像画面上的位置。通过光流法的技术，图10是追踪所有被检测出来的特征点随着时间在连续多帧图像画面上的位置，与所公开的某些实施范例一致。从图10可知，此特征点追踪是依一画面接着一画面(frame by frame)，从车道的进入点检测窗1010内被检测到有车辆经过事件发生时(例如时间t0)的图像帧1020上开始追踪，并随着时间在后续(例如时间t0+1、t0+2、t0+3、t0+4、…等)的图像帧1021、1022、1023、1024、…等上，持续追踪这些特征点在图像画面上的位置。

通过特征点检测与追踪模块可以找到属于移动车辆的特征点并追踪其移动行为，但值得注意的是，此时并不知道这些特征点应该属于哪一辆车辆，因此本公开的特征点群化模块440采用出一种阶层式特征点群化架构，将属于同一辆车辆的特征点合并，进而得到单一车辆的追踪结果。此阶层式特征点群化架构1100如图11所示，由特征点为底层开始，由下而上包含一特征点层(point level)1110、特征点群层(group level)1120及物件层(object level)1130，其中，层与层之间存在着关联性。

特征点群化模块440在特征点层1110与特征点群层1120间的运作是通过合并(merge)与剔除(reject)，来合并相近似的特征点及剔除因估计错误的杂讯特征点。在特征点群层及物件层是利用合并的策略，将具有动量一致性(motion consistency，MC)及空间-时间一致性(spatial-temporalconsistency)的特征点群(point group)合并为一移动物件(moving object)，即形成单一车辆。各层的运作包含特征点层的群化(Point-Level Grouping)、特征点群层的点剔除(Group-Level Point Rejection)、及特征点群层的合并(Group-Level Mergence)，现说明如下。

在特征点层的群化中，通过车辆通过事件检测模块的检测后，可以知道单一图像帧是否有车辆通过其进入点检测窗，如果连续存在k帧图像皆检测到车辆通过事件的发生，k＞1，就可以将此k帧图像所检测的n个特征点p_i予以群化，合并成一特征点群组G，并给定同一标签。特征点群组G可表示为

G={p_i(x,y)|i=1,2,...,n}

其中，x与y分别表示连续检测出的特征点p_i在一时间于图像上的位置。特征点群组G可用一个二维高斯分布N_G(μ,σ²)来描述，即特征点p_i的分布情况，其中

$\mathrm{\μ}=\left[\begin{array}{c}{\mathrm{\μ}}_x\\ {\mathrm{\μ}}_y\end{array}\right],{\mathrm{\μ}}_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,{\mathrm{\μ}}_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i$

$\mathrm{\σ}=\left[\begin{array}{cc}{\mathrm{\σ}}_x& 0\\ 0& {\mathrm{\σ}}_y\end{array}\right],{\mathrm{\σ}}_x=\sqrt{\frac{1}{n}{(x_i-{\mathrm{\μ}}_x)}^2},{\mathrm{\σ}}_y=\sqrt{\frac{1}{n}{(y_i-{\mathrm{\μ}}_y)}^2}$

如果每一特征点皆能被稳定追踪且每一车辆通过进入点检测窗时，皆可准确且连续地被判断为车辆通过事件时，则只需追踪每一个特征点群就可以完成单一车辆追踪。然而在实际应用上并非所有特征点皆能稳定且正确地被追踪，导致失败的特征点将会变成杂讯而影响该特征点群组的位置及分布，本公开实施例通过前述的特征点群层的点剔除来解决此问题；另外，当因为车辆通过事件检测模块的失误而造成同一台车辆被分为两个以上的群组时，本公开实施例通过前述的特征点群层的点合并来解决此问题。

在特征点群层的点剔除中，如图12A与图12B所示，通过一卡曼滤波器(Kalman filter)对特征点群层1120的每一特征点群组进行追踪，其中，假设车辆的运动模型为等速运动，并令每一个特征点群组G的状态模型为：

x_G=[μ_x μ_y σ_x σ_y v_x v_y]

而μ_x，μ_y，σ_x，σ_y为特征点群G的高斯分布的平均值及标准差，v_x与v_y为车辆于x与y方向的速度。并且利用卡曼滤波器的预测及更新的功能来做为特征点剔除的依据。

图12A中，至时间t所检测的特征点群G有7个特征点1201～1207。根据此t时间前的量测，通过卡曼滤波器来预测t+1时间的状态，并且根据t+1时间的量测，对预测进行更新。在图12B中，至时间t+1时，通过Mahalanobis距离公式(Mahalanobis distance，MD)，将满足下列条件的特征点视为粗差点(outlier)而予以剔除。

$\mathrm{MD}({\hat{x}}_G^{t+1},p^{t+1}(x,y))=\sqrt{\frac{{(x-{\widehat{\mathrm{\μ}}}_x)}^2}{{\widehat{\mathrm{\σ}}}_x^2}+\frac{{(y-{\widehat{\mathrm{\μ}}}_y)}^2}{{\widehat{\mathrm{\σ}}}_y^2}}>3,$ 3为一阈值。

此例中，经卡曼滤波器的预测及更新后，时间t所检测的特征点群G中的特征点1205与1207，在t+1时间更新后，被视为粗差点1215与1207而予以剔除，如图12B所示。

在特征点群层的合并中，由于车辆通过事件检测模块的检测失误，往往会造成一台车辆被分为两个以上的群组，本公开实施例考虑相邻两特征点群G_p与G_q的动量一致性MC(G_p，G_q)及空间-时间一致性ST(G_p，G_q)，则合并两特征点群G_p与G_q为一物件的条件为满足下列式子：

w·MC(G_p,G_q)+(1-w)·ST(G_p,G_q)>γ

其中w是一权重变数，γ是一个由使用者设定的阈值。MC与ST的定义如下说明。

当两特征点群实际上是属于同一车辆时，此两特征点群的移动轨迹，例如图13的范例中特征点群G_p的移动轨迹1310与特征点群G_q的移动轨迹1320，必然相似，因此计算此两特征点群的轨迹在过去一段时间n内的移动距离的交互相关性(Cross Correlation)，作为此两特征点群的移动动量一致性，如下列式子所示。

$\mathrm{MC}=(G_p,G_q)=\frac{\underset{i=t-n+1}{\overset{t}{\mathrm{\Σ}}}(d_p^i-{\stackrel{\‾}{d}}_p)(d_q^i-{\stackrel{\‾}{d}}_q)}{n{\mathrm{\σ}}_p{\mathrm{\σ}}_q},$

其中t代表目前的时间点，dⁱ为该轨迹于时间i-1至时间i的移动距离，

为该轨迹相邻两时间点的平均移动距离，而平均移动距离

的标准差σ分别定义如下：

$\begin{array}{ccc}{d}^i=\sqrt{{(x^t-x^{t-1})}^2+{(y^t-y^{t-1})}^2},& \stackrel{\‾}{d}=\frac{1}{n}\underset{i=t-n+1}{\overset{t}{\mathrm{\Σ}}}{d}^i,& \mathrm{\σ}\end{array},=\sqrt{\frac{1}{n}{(d^i-\stackrel{\‾}{d})}^2}.$

另一方面，当两特征点群实际上是属于同一车辆时，其出现时间必相近且于空间上的位置也相近，此即空间-时间一致性，此空间-时间一致性ST(G_p，G_q)可由下列式子得出：

$\mathrm{ST}(G_p,G_q)=\left\{\begin{array}{cc}\mathrm{FR}(G_p,G_q),& D(G_p,G_q)<D_{\max }\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中，针对时间的一致性，只考虑前后出现的两特征点群，并加上一距离限制条件，即两群组若属于同一车辆，其欧基里德距离D(G_p，G_q)必小于一最大间距D_max，FR代表前景占有率(foreground rate)。

另一方面，针对空间的一致性，其描述是两特征点群于欧氏空间的距离，理论上越相近的两特征点群应具有较高的机率来进行合并，然而实际上相邻前后两小客车的距离可能会比被分为两群的巴士前后距离来的短，因此若只计算其欧氏距离将会导致该空间一致性失真，因此本公开实施例将两群组的空间一致性改以前景占有率来表示，如下列式子所示。

$\mathrm{FR}(G_p,G_q)=\frac{\mathrm{Area}\left(\mathrm{Foreground}\right)}{\mathrm{Area}(G_p,G_q)},$

其中Area(G_p，G_q)代表G_p与G_q间的面积，Area(Foreground)代表移动前景的面积。

前景移动物体的判断有多种已知技术，例如通过高斯混合模型(Gaussian Mixture Model，GMM)背景模型的建立等。本公开一实施范例系针对进入点检测窗，取其前缘线段的检测线来建立其背景模型，并利用该线段的背景模型与该线段目前像素群相减，来判断该线段上是否有像素属于前景移动物，并采用GMM来实现。GMM背景模型的建立是针对该线段上每一个像素，以一个多维度的高斯混合模型来近似其在时间轴上的色彩分布情况。多维度指的是采用图像色彩R、G、B三个成份来做为该模型的特征向量。建立背景模型后，每一帧输入图像于该线段上的各个像素即可与其对应的背景模型进行比较，如果符合该背景模型，则判断该像素为背景，反之则判断为前景移动物体。

图14A与图14B是前景占有率的计算的一范例示意图，与所公开的某些实施范例一致。图14A是车辆通过事件检测结果的一范例；而图14B是移动前景检测结果及前景占有率的计算结果，其中假设D_max等于10公尺。例如，FR(G₁₀，G₉)约为0.28，FR(G₉，G₈)约为0.96，FR(G₈，G₇)约为0.01。

对于车道的平均车流速度的计算，已知常见的作法是在车道进入点与离开点设定检测窗或检测线后，计算在进入点与离开点所测得的信号最大相关的时间偏移量t，此时间偏移量代表目前车道上，由进入点移动到离开点所需花费的时间，则平均移动时间ATT₁的估计可通过下列的最大化式而求得:

${\mathrm{ATT}}_1=\arg \underset{t}{\max }\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x}_{\mathrm{Exist}}\left(n\right)x_{\mathrm{Entry}}(n-t),$

其中N为观测信号长度，x_Exist(t)与x_Entry(t)为在时间t分别于进入点与离开点所观测的信号信息。然而，如果车辆的出现频率相近的时候，例如所有车辆均维持等车速且等车距，此时最大化估计法则容易陷入局部解，因而导致错误的平均车流速度的估计。

因此，本公开实施例结合车辆追踪的信息来解决该局部解问题，藉以提高平均车速估计的准确度。图15A与图15B是范例示意图，说明一种平均移动时间估计法，与所公开的某些实施范例一致。图15A是车道进入点检测窗与离开点检测窗的图像剖面图1510与1512。图15B是进入点与离开点所测得的信号图。此平均移动时间ATT₂是通过下列式子而求得。

${\mathrm{ATT}}_2=\arg \underset{t}{\max }(w_1\mathrm{CC}\left(t\right)+w_{2}S\left(t\right)),$ 而

$\mathrm{CC}\left(t\right)=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{x}_{\mathrm{Exist}}\left(n\right)x_{\mathrm{Entry}}(n-t),$

$S\left(t\right)=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{e}^{-({\mathrm{\&Delta;O}}_m-t)},$

ΔO_m=O_m,2-O_m,1，

其中，M为共同存在两检测窗历史图像内的车辆数，O_m，Entry与O_m，Exist分别代表第m台车辆出现于进入点与离开点的时间，w₁与w₂为权重值，Om，k代表在兴趣区域k的第i个追踪物件(tracking object)的时戳(timestamp)。CCT代表进出点检测窗的观测信号的相关性，S代表平均车辆移动时间的相似性。也就是说，本公开实施例结合于进入点与离开点检测窗所观测的信号的相关性，及车道上平均车辆移动时间的相似性来推估出车道上的平均车速。

针对一车流顺畅的测试影片的结果，图16比较前述两种平均车速检测法，其中横轴表示时间，纵轴则为估计的平均车速，曲线1610是采用已知常见的ATT₁的式子而求得，曲线1612是采用本公开实施例的ATT₂的式子而求得，由图16可以得知，仅通过观测窗相关的估计法，在过去时间26秒至36秒期间，发生不稳定的错误估计，而本公开实施例的结合车辆追踪技术的估计法会提供更为稳定的车速估计结果。也就是说，本公开实施例通过车辆追踪的结果，提高了进出检测窗的时间相关性分析的平均车速估计的稳定性。

通过本公开实施例的车辆通过事件检测模块420、特征点检测与追踪模块430、及特征点群化模块440的运作，以及进出检测窗的时间相关性分析的稳定性，交通参数估计模块450可提供多样化的交通参数估计，例如车辆计数、车流密度检测、安全车距检测、单一车速检测、变换车道事件检测、(路肩)停车、平均车速等估计，并提供更为稳定且可靠的结果。以下说明这些多样化的交通参数估计。

通过车辆通过事件检测模块，可对通过该车道的车辆进行计数，本公开实施例通过特征点群化模块，有效提高车辆计数的准确性。通过车辆通过事件检测模块，可得到时间轴上车辆通过的频率，并通过式子D=N_C/N，可计算车流密度D，其中N为系统配置用来纪录的观察历史时间长度，N_C为在N中所发生的车辆通过事件的时间总和。通过车辆通过事件检测模块，可计算两车间的距离，也就是说，可用来判断前后车辆是否有保持安全车距。通过特征点检测与追踪模块430及特征点群化模块440，可判断车辆出现于离开点检测窗及进入点检测窗的时间，并通过已知的两检测窗距离，可计算该车辆的车速。通过车辆追踪，如果该车辆的轨迹跨过两车道之间隔线，即可触发车辆变换车道事件。通过车辆追踪，如果该车辆无随时间而前进，即可触发车辆停止的事件。通过进出检测窗时间相关性分析，可算出该车道的平均车速，并且有效提高平均车速检测的准确度。

承接上述，图17是图像式的交通参数检测方法的一范例流程图，与所公开的某些实施范例一致。参考图17，先设定欲检测的一车道的一范围大小，设定欲监控的一车道的一范围大小，并在此车道设定一进入点检测窗及一离开点检测窗，如步骤1710所示。利用于此进入点检测窗所撷取的图像信息，检测车辆通过事件是否发生，当在此进入点检测窗检测到一车辆经过事件发生时，在此进入点检测窗内检测出数个特征点，并随着时间追踪此数个特征点，如步骤1720所示。然后，将属于同一车辆的特征点予以群化，得到至少一单一车辆的位置追踪结果，如步骤1730所示。当被追踪的单一车辆移动至此离开点检测窗时，根据此位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估至少一交通参数如步骤1740所示。各步骤的细节如前所载，不再重述。

本公开的实施范例也可以用一计算机程序产品(computer programproduct)来实现。如图18的范例所示，计算机程序产品1000至少包含一存储器1810以及存储在此存储器的一可执行的计算机程序(executablecomputer program)1820。此计算机程序可通过一处理器1830或计算机系统来执行图17的图像式的交通参数检测方法的步骤1710至步骤1740。处理器1830还可包括车道兴趣区域设定模块410、车辆通过事件检测模块420、特征点检测与追踪模块430、特征点群化模块440、及交通参数估计模块450来执行步骤1710至步骤1740，来推估至少一交通参数452。处理器1830还可通过或包括一图像撷取装置，持续地撷取出多帧车道图像。

综上所述，本公开的实施范例可提供一种图像式的交通参数检测技术，包括图像式的交通参数检测系统与方法及计算机程序产品。在基于虚拟线圈检测法的架构下，提出一特征点的检测、追踪及群化技术，使其具有追踪单一车辆的能力，并且可有效推估出多样性的交通参数。例如，通过阶层式特征点的群化技术，提高车辆计数、车辆追踪的准确度；通过车辆追踪的结果，提高进出检测窗的时间相关性分析的平均车速估计的稳定性。此交通参数检测技术可用于道路交通监控，并可即时计算相关交通参数如车辆检测、车辆计数、单一车辆车速估计、车流密度检测、违规车道切换等。

以上所述者仅为本公开的实施范例，当不能依此限定发明实施的范围。即大凡申请专利范围所作的均等变化与修饰，皆应仍属本发明专利涵盖的范围。

Claims (17)

1.一种图像式的交通参数检测系统，其特征在于，该系统包含:

一车道兴趣区域设定模块，设定欲监控的一车道的一范围大小，并于该车道设定一进入点检测窗及一离开点检测窗；

一车辆通过事件检测模块，利用于该进入点检测窗所撷取的图像信息，检测车辆经过事件是否发生；

一特征点检测与追踪模块，当发生一车辆经过事件被检测到时，在该进入点检测窗内进行数个特征点检测，并随着时间进行特征点追踪；

一特征点群化模块，将属于同一车辆的特征点予以群化，得到单一车辆的一位置追踪结果；以及

一交通参数估计模块，当被追踪的单一车辆移动至该离开点检测窗时，根据单一车辆的该位置追踪结果的信息，并通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估出至少一交通参数。

2.如权利要求1所述的交通参数检测系统，其特征在于，该系统还包括一图像撷取装置，来持续地撷取出多帧车道图像。

3.如权利要求1所述的交通参数检测系统，其特征在于，其中该车辆通过事件检测模块针对每一时间于该进入点检测窗取得的一图像板，从该图像板上萃取出多个有统计意义的特征后，通过一支持向量机SVM分类器，将该图像板区分为车辆、阴影、及道路三类。

4.如权利要求3所述的交通参数检测系统，其特征在于，其中该多个有统计意义的特征包括至少三个基于灰阶的特征及至少两个基于边缘的特征。

5.如权利要求3所述的交通参数检测系统，其特征在于，其中该SVM分类器至少包括一第一层及一第二层SVM分类器，该第一层SVM将各个图像板区分为道路或非道路共两类别，被该第一层SVM区分为非道路类别者再通过该第二层SVM后，区分为车辆或阴影。

6.如权利要求1所述的交通参数检测系统，其特征在于，其中该特征点群化模块是采用出一阶层式特征点群化架构，来群化属于同一辆车辆的特征点，进而得到至少一单一车辆的追踪结果。

7.如权利要求6所述的交通参数检测系统，其特征在于，其中该阶层式特征点群化架构由下而上包括一特征点层、一特征点群层、及一物件层，该特征点群化模块在该特征点层与该特征点群层间，合并相近似的特征点并剔除因估计错误的杂讯特征点，而在该特征点群层及该物件层间，将具有动量一致性及空间-时间一致性的特征点群合并为一移动物件。

8.一种图像式的交通参数检测方法，运作在一交通参数检测系统上，其特征在于，该方法包含:

设定欲监控的一车道的一范围大小，并于该车道设定一进入点检测窗及一离开点检测窗；

利用于该进入点检测窗所撷取的图像信息，检测车辆通过事件是否发生，当在该进入点检测窗检测到一车辆经过事件发生时，在该进入点检测窗内检测出多个特征点，并随着时间追踪该多个特征点；

将属于同一车辆的特征点予以群化，得到至少一单一车辆的位置追踪结果；以及

当被追踪的单一车辆移动至该离开点检测窗时，根据该位置追踪结果的信息，及通过估计该进入点与离开点检测窗内所撷取的信息在时间上的相关性，来推估出至少一交通参数。

9.如权利要求8所述的交通参数检测方法，其特征在于，该方法采用一阶层式特征点群化架构，来群化属于同一辆车辆的特征点，进而得到单一车辆的追踪结果。

10.如权利要求9所述的交通参数检测方法，其特征在于，其中该阶层式特征点群化架构由下而上包括一特征点层、一特征点群层、及一物件层，该方法在该特征点层与该特征点群层间，合并相近似的特征点并剔除因估计错误的杂讯特征点，而在该特征点群层及该物件层间，将具有动量一致性及空间-时间一致性的特征点群合并为一移动物件。

11.如权利要求10所述的交通参数检测方法，其特征在于，其中该阶层式特征点群化架构内各层的运作包括特征点层的群化、特征点群层的点剔除、及特征点群层的合并。

12.如权利要求11所述的交通参数检测方法，其特征在于，其中该特征点层的群化还包括:

当连续存在多帧图像皆检测到车辆通过事件的发生时，将该多帧图像所检测的数个特征点予以群化，合并成一特征点群组。

13.如权利要求11所述的交通参数检测方法，其特征在于，其中该特征点群层的点剔除还包括:

通过一卡曼滤波器对该特征点群层的每一特征点群组进行追踪；以及

利用该卡曼滤波器的预测及更新的功能及通过一距离公式的条件来做为剔除一特征点的依据。

14.如权利要求11所述的交通参数检测方法，其特征在于，其中该特征点群层的合并还包括:

考虑相邻两特征点群G_p与G_q的动量一致性MC(G_p，G_q)及空间-时间一致性ST(G_p，G_q)；以及

合并两特征点群G_p与G_q为一物件的条件为满足w·MC(G_p,G_q)+(1-w)·ST(G_p,G_q)>γ；

其中w是一权重变数，γ是一个由使用者设定的阈值。

15.如权利要求14所述的交通参数检测方法，其特征在于，其中该特征点群层的合并还包括:

计算两特征点群G_p与G_q的轨迹在过去一段时间内的移动距离的交互相关性，作为MC(G_p，G_q)。

16.如权利要求14所述的交通参数检测方法，其特征在于，其中该特征点群层的合并还包括:

将ST(G_p，G_q)以一前景占有率FR(G_p，G_q)来表示，该FR(G_p，G_q)=(移动前景的面积)/(G_p与G_q间的面积)。

17.如权利要求8所述的交通参数检测方法，其特征在于，该方法还包括:

结合于该进入点与离开点检测窗所观测的信号的相关性，及该车道上平均车辆移动时间的相似性来推估出该车道的平均车速。

Images