CN101382997B - 夜间车辆的检测与跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种夜间车辆的检测与跟踪方法及装置，涉及车辆检测技术领域，为解决现有技术中车辆检测跟踪技术不适合对夜间车辆检测的问题而发明。所述方法包括：确定检测区域；对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；根据所述车灯信息，进行车辆检测与跟踪。所述装置包括检测区域确定单元、图像采集及处理单元以及检测与跟踪单元。本发明所述的方法及装置，能够提取车灯信息，从而根据车灯的特征信息实现对夜间车辆进行跟踪检测，技术运算力量较少。可应用于交通监控系统、家庭安检系统中。

Description

夜间车辆的检测与跟踪方法及装置

技术领域

本发明属于检测与跟踪技术领域，涉及一种夜间车辆的检测与跟踪方法及装置。

背景技术

目前的夜间车辆的检测和跟踪技术和白天的车辆检测和跟踪技术是一样的，主要采用基于背景的方法和基于运动信息的方法。基于背景的方法主要是利用背景图像来对目标进行检测和跟踪，但是对于晚上，由于车辆灯光的影响，这种方法效果不是很好；基于运动信息的方法，对于夜间模式同样存在问题，由于灯光的存在，灯光信息也会被认为运动信息，而且需要进行大量的计算。

申请号为CN200610080495.9的中国专利文件，公开了一种基于机器视觉的车辆检测和跟踪方法，是基于运动信息的方法的一个具体的例子。其中，所述基于机器视觉的车辆检测和跟踪方法，包括图像采集、图像预处理、图像背景提取和更新、识别目标和跟踪目标等步骤，其中在其目标识别过程中，对得出的背景边缘和前景边缘的差图进行全局阈值分割，得到初步边缘目标区域，对增强后的背景图像和前景图像差图进行类间方差阈值分割，得到初步目标区域，在融合俄基础上形成目标区域，对目标区域进行膨胀运算和腐蚀运算后，提取有效目标区域的目标特征，进行目标识别，在目标识别后即对目标实时锁定和跟踪，形成目标轨迹。上述专利文件提到的车辆检测跟踪方法适用于白天，但如果在夜间由于灯光的干扰，灯光信息也会被认为运动信息；而且，在每一步骤中都需要大量的逻辑计算。

发明内容

本发明实施例所要解决的一个技术问题在于提供一种夜间车辆的检测与跟踪方法，适合于夜间车辆的检测与跟踪。

为解决上述问题，本发明实施例采用如下的技术方案：

一种夜间车辆的检测与跟踪方法，包括：

确定检测区域；

对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；

根据所述车灯信息，进行车辆检测与跟踪；

所述确定检测区域的步骤包括：

根据两条车道线的坐标关系及斜率，确定检测区域；

所述确定检测区域的步骤之后，还包括：

取检测区域图像的最小像素值；

将检测区域中车道线外的区域设置为最小像素值；

所述对所述检测区域进行图像采集以及数字图像处理，获取车灯信息的步骤包括：

对检测区域进行图像采集；

选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理。

本发明所述的方法，通过对采集到的图像进行数字图像处理，从而能够获取车灯信息，实现对夜间车辆的检测跟踪。

本发明实施例所要解决的另一个技术问题在于提供一种夜间车辆的检测与跟踪装置，适合于对夜间车辆的检测与跟踪。

为解决上述问题，本发明实施例采用如下的技术方案：

一种夜间车辆的检测与跟踪装置，包括：

检测区域确定单元，用于确定检测区域；

图像采集及处理单元，用于对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；

检测与跟踪单元，用于根据所述车灯信息，进行车辆检测与跟踪；

所述夜间车辆的检测与跟踪装置还包括：

最小像素值选择单元，用于选取检测区域图像的最小像素值；

最小像素处理单元，用于将检测区域中车道线外的区域设置为最小像素值；

所述图像采集及处理单元包括：

二值化处理模块，用于选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理。

本发明所述的装置，通过对采集到的图像进行数字图像处理，从而能够获取车灯信息，实现对夜间车辆的检测与跟踪。

附图说明

图1为本发明实施例所述夜间车辆的检测与跟踪方法的流程示意图；

图2为本发明实施例所述对检测区域进行图像采集以及数字图像处理，获取车灯信息的方法流程示意图；

图3为本发明实施例所述的经过图像处理、二值化以及形态滤波后的示意图；

图4为本发明实施例所述根据所述车灯信息，进行车辆检测与跟踪的方法流程示意图；

图5为本发明实施例所述的车灯轮廓及重心信息提取的效果示意图；

图6为本发明实施例所述通过WTT获取车灯信息的方法流程示意图；

图7为本发明实施例所述夜间车辆的检测与跟踪装置的结构示意图；

图8为本发明实施例所述夜间车辆的检测与跟踪装置的另一种结构示意图；

图9为本发明实施例所述夜间车辆的检测与跟踪装置的另一种结构示意图；

图10为本发明实施例所述夜间车辆的检测与跟踪装置的另一种结构示意图。

具体实施方式

本发明实施例旨在提供一种夜间车辆的检测与跟踪方法，通过选定合适的检测区域，对车道线外侧进行最小像素化处理，去除车道线外侧噪声，有利于选取最佳二值化阈值；通过二值化处理以及数字图像处理的模板操作，提取车灯信息，而且能够降低车灯与背景信息的错分概率，保证二值图像的准确性；最后根据对车灯信息的提取和跟踪对夜间车辆进行检测与跟踪；无需进行大量的技术性计算，准确性较高。本发明实施例适合于夜间车辆的检测与跟踪。

下面结合附图和具体实施例对本发明实施例进行详细说明。

如图1所示，本发明实施例所述夜间车辆的检测与跟踪方法，包括：

步骤101、确定检测区域。

在交通监控中，不可能对整帧图像进行处理，那样的计算量较大，所以需要确定合适的检测区域，将要检测或跟踪的车辆限制于检测区域中。

本发明实施例所述步骤101确定检测区域之后，还可以包括：

取检测区域图像的最小像素值，将检测区域中车道线外的区域设置为最小像素值。

将图像最小像素赋给检测区域图像中车道线以外的像素点，这样就可以使得图像直方图的分布更具有2峰值性，能够得到较大的二值化阈值，又可以将车道线以外的信息在二值化后彻底的去除(因为是最小像素值，所以二值化后肯定为背景)。

步骤102、对所述检测区域进行图像采集以及数字图像处理，获取车灯信息。

如图2所示，具体过程包括：

步骤201、对所述检测区域进行图像采集。

通过摄像机采集车辆和道路信息，生成数字视频图像，如果采集到的是模拟图像，将所述的模拟图像转换为数字图像。

步骤202、选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯 信息的图像进行二值化处理。

二值化就是在每一个区域内设有一灰度阈值，使每一个像素的亮度值同灰度阈值进行比较，高于该灰度阈值，则表示为1，低于该灰度阈值，则表示为0。经过二值化，表示在最终目标图像中的图片为由0和1表示的数字图像。因为我们的目的就是提取出车灯信息，二值化后肯定会存在一些噪声。这就要求二值化的阈值比较大，这样既可以保留车灯信息，又能去掉别的噪声。当然，较大的二值化阈值也会车灯的边缘信息去掉。但是不影响后期检测的需要。所以经过大量试验和多种方法对比，我们选择了OSTU(最大类间方差法)方法。

因方差是灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的二值化意味着错分概率最小。

具体技术描述：

设t为车灯与背景的二值化阈值，车灯点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁。图像总的平均灰度为：

u＝w₀*u₀+w₁*u₁

从最小灰度值到最大灰度值遍历t，当t使得值

b＝w₀*(u₀-u)²+w₁*(u₁-u)²最大时，t即为二值化最佳阈值。

以上二值化技术仅为最优技术，同时其他二值化技术也可以实现本功能。

本发明实施例通过采取了自适应的二值化方法，保证了二值图像的准确性。二值化处理之后，对二值图像进行形态滤波，形态滤波就是为了去除WTT后图像有些孤立或者较小的噪声点。此操作后，检测区域内基本只留下车灯信息，小的噪声点也被去除。便于后期的轮廓操作(轮廓提取和轮廓跟踪)，图3即为经过图像处理、二值化以及形态滤波后的图像。

步骤103、根据所述车灯信息，进行车辆检测与跟踪。

如图4所示，所述步骤103具体包括：

步骤401、记录检测区域中车灯的个数、每个车灯轮廓的周长和车灯的特征信息。

其中，车灯轮廓的周长即为车灯轮廓像素点的个数值，记录获得的车灯轮廓中像素点的个数，得到所述车灯轮廓的周长信息。所述车灯的特征信息包括：车灯轮廓的重心坐标或中心坐标，也可以是其他类似的特征信息。以重心坐标为例进行说明，计算所述车灯轮廓的重心坐标，将重心坐标在图像中用目标像素值标出。图5即为车灯轮廓及重心信息提取的效果示意图。

步骤402、根据所述的记录信息，对夜间车辆进行检测与跟踪。

利用记录的信息实现夜间车辆的检测和跟踪。本发明实施例通过数字图像处理技术对车辆进行跟踪。在进行夜间车辆的检测与跟踪时，将记录的车灯轮廓的周长以及重心坐标跟前一时刻或前一地点的信息进行比对，如果相同，则为同一车辆；如果二者都不相同，则不是同一车辆；如果只有车灯轮廓的重心坐标相同，而车灯轮廓的周长不相同，则也不是同一车辆，很可能是非车灯信息的噪声。因此，进行周长比对的目的主要是为了判断是否为车灯信息，去除非车灯信息的噪声。

本发明所述夜间车辆的检测与跟踪方法的实施例中，所述步骤202选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理之前或之后，还可以包括：

步骤601、对检测区域的图像进行腐蚀运算和膨胀运算。

White top-hat transform(WTT)是一种数字图像处理的技术，它能有效的分离出图像内像素值较高的白色区域，主要是基于图像处理技术中的模板操作。对检测区域进行腐蚀运算，腐蚀运算时模板选取的原则是：模板的大小约等于车灯的直径；对腐蚀后的检测区域进行膨胀运算，膨胀运算时模板选取的原则是：模板的大小约等于车灯的直径。

步骤602、取原始检测区域图像与进行腐蚀运算和膨胀运算后图像的差图，获取车灯信息。

用原始检测区域图像与开运算后的检测区域图像(也就是先腐蚀后膨胀的图像)进行做差，得出的图像既是WTT变换后的图像；这时候，车灯信息会很明显地与背景信息分离。

其中，模板大小约等于车灯直径的原因如下：

因为WTT技术的优点是能够分离出图像内的白色区域(像素值较高区域)，它是基于图像的模板操作，也就是能够分离出的白色区域的大小和选择的模板的大小近似，故利用此原理来检测车灯信息。

本发明实施例通过采用夜间车辆的检测与跟踪技术，对夜间车辆进行检测，能够避免以前车辆检测的不足，尤其适用夜间车辆的跟踪与检测；通过进行二值化处理以及数字图像处理技术的模板操作，提取车灯信息，并能够将车灯错分为背景信息以及将背景信息错分为车灯信息的概率达到最小，保证了二值图像的准确性；在进行夜间车辆跟踪时，通过数字图像处理计数方法，将车辆的有用信息进行记录，从而非常准确的得到车辆的相关信息，精确实现检测与跟踪功能；而且计算量较小，实现性较高。可应用于交通监控系统、家庭安检系统中。

本发明实施例还提供一种夜间车辆的检测与跟踪装置，通过对选定检测区域进行最小像素化处理，去除噪声影响，并有利于选取最佳二值化阈值；通过二值化处理技术和数字处理的模板操作，将车灯与背景相分离，并保证二值图像的准确性；最后根据对车灯轮廓的提取和跟踪对夜间车辆进行跟踪，无需大量的技术性计算，准确性较高，适合于夜间车辆的检测与跟踪。

如图7所示，本发明实施例所述夜间车辆的检测与跟踪装置，包括检测区域确定单元71、图像采集及处理单元72以及检测与跟踪单元73，其中

检测区域确定单元用于确定检测区域；图像采集及处理单元用于对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；检测与跟踪单元用于根据所述车灯信息，进行车辆检测与跟踪。

所述装置是针对夜间车辆检测与跟踪提出的，通过数字图像处理，获取 车灯信息，从而可以根据车辆的相关特征信息，实现检测与跟踪的功能。

进一步，如图8所示，本发明实施例所述的夜间车辆的检测与跟踪装置，还包括最小像素处理模块81，其中

最小像素处理模块用于选取检测区域图像的最小像素值，将检测区域中车道线外的区域设置为最小像素值。

这个处理也是为了能得到较大的二值化阈值。将图像最小像素赋给检测区域图像中车道线以外的像素点，这样就可以使得图像直方图的分布更具有2峰值性，便于得到较大的二值化阈值，又可以将车道线以外的信息在二值化后彻底的去除(因为是最小像素值，所以二值化后肯定为背景)。

同样如图8所示，本发明实施例中，所述图像采集及处理单元72包括二值化处理模块82，其中

二值化处理模块用于选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理。

选取最佳二值化阈值，既可以保留车灯信息，又能去掉别的噪声。当然，较佳的二值化阈值也会将车灯的边缘信息去掉。但是不影响后期检测的需要。所以经过大量试验和多种方法对比，我们选择了OSTU(最大类间方差法)方法。

因方差是灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的二值化意味着错分概率最小。

具体技术描述：

设t为车灯与背景的二值化阈值，车灯点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁。图像总的平均灰度为：

u＝w₀*u₀+w₁*u₁

从最小灰度值到最大灰度值遍历t，当t使得值

b＝w₀*(u₀-u)²+w₁*(u₁-u)²最大时，t即为二值化最佳阈值。

以上二值化技术仅为最优技术，同时其他二值化技术也可以实现本功能。

本发明实施例通过采取了自适应的二值化方法，保证了二值图像的准确性。二值化处理之后，对二值图像进行形态滤波，能够去除小的噪声点。

进一步，如图9所示，所述图像采集及处理单元72还可以包括腐蚀与膨胀运算模块91以及差图提取模块92，其中

腐蚀与膨胀运算模块用于对检测区域的图像进行腐蚀运算和膨胀运算；差图提取模块用于取原始检测区域图像与进行腐蚀运算和膨胀运算后图像的差图，获取车灯信息。

详细说明如下：本发明实施例所述的数字图像处理技术是指White top-hattransform(WTT)，它能通过模板操作，对检测区域进行腐蚀运算和膨胀运算，并取原始检测区域图像与经腐蚀运算和膨胀运算后的图像的差图，即为WTT变换后的图像。此时，车灯信息与背景信息明显分离，车灯信息即为图像内像素值较高的白色区域。其中，腐蚀运算与膨胀运算时，模板选取的原则是：模板的大小约等于车灯的直径。

进一步，如图10所示，所述检测与跟踪单元73包括车灯信息提取模块101以及检测跟踪模块102，其中

车灯信息提取模块用于记录检测区域中车灯的个数、每个车灯轮廓的周长和车灯的特征信息；所述车灯的特征信息可以是车灯轮廓的重心坐标，也可以是车灯轮廓的中心坐标。

检测跟踪模块用于根据所述的记录信息，对夜间车辆进行检测与跟踪。

本发明实施例通过记录车灯轮廓的重心坐标，实现对夜间车辆的检测与跟踪。在求得重心坐标后，将重心坐标在图像中用目标像素值标出，这样，可以通过跟踪车灯的重心坐标从而实现对夜间车辆的跟踪。同理，可以通过跟踪车灯的中心坐标实现对夜间车辆的跟踪。

本发明实施例在进行夜间车辆检测与跟踪时，为了避免非车灯信息的干扰，在跟踪车灯轮廓的重心坐标等特征信息外，还通过判断两个时刻或者两 个地点车灯轮廓的周长信息，去除非车灯噪声信息。其中，车灯轮廓的周长数值上等于车灯轮廓的像素点的个数。如果特征信息和周长信息和前一时刻或前一地点的信息一致，则为所检测与跟踪的车辆；只要有其一与前一时刻或前一地点的信息不一致，则不是所检测与跟踪的车辆。

本发明实施例所述的装置，通过自适应的二值化方法以及WTT数字图像处理技术，能够准确的将车灯信息和非车灯信息分离开，保证了二值图像的准确性，降低了车灯和背景的错分概率；并通过对车灯轮廓信息进行记录，从而能够精确实现检测与跟踪的功能；技术运算量较小，实现性较高。可应用于交通监控系统、家庭安检系统中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (7)

1.一种夜间车辆的检测与跟踪方法，其特征在于，包括：

确定检测区域；

对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；

根据所述车灯信息，进行车辆检测与跟踪；

所述确定检测区域的步骤包括：

根据两条车道线的坐标关系及斜率，确定检测区域；

所述确定检测区域的步骤之后，还包括：

取检测区域图像的最小像素值；

将检测区域中车道线外的区域设置为最小像素值；

所述对所述检测区域进行图像采集以及数字图像处理，获取车灯信息的步骤包括：

对检测区域进行图像采集；

选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理。

2.根据权利要求1所述的夜间车辆的检测与跟踪方法，其特征在于，所述根据所述车灯信息，进行车辆检测与跟踪的步骤包括：

记录检测区域中车灯的个数、每个车灯轮廓的周长和车灯的特征信息，所述车灯的特征信息为车灯轮廓的重心坐标或车灯轮廓的中心坐标；

根据所述的记录信息，对夜间车辆进行检测与跟踪。

3.根据权利要求1所述的夜间车辆的检测与跟踪方法，其特征在于，所述的二值化处理采用最大类间方差处理方法。

4.根据权利要求1所述的夜间车辆的检测与跟踪方法，其特征在于，所述选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理的步骤之前或之后还包括：

对检测区域的图像进行腐蚀运算和膨胀运算；

取原始检测区域图像与进行腐蚀运算和膨胀运算后图像的差图，获取车灯信息。

5.一种夜间车辆的检测与跟踪装置，其特征在于，包括：

检测区域确定单元，用于确定检测区域；

图像采集及处理单元，用于对所述检测区域进行图像采集以及数字图像处理，获取车灯信息；

检测与跟踪单元，用于根据所述车灯信息，进行车辆检测与跟踪；

所述夜间车辆的检测与跟踪装置还包括：

最小像素值选择单元，用于选取检测区域图像的最小像素值；

最小像素处理单元，用于将检测区域中车道线外的区域设置为最小像素值；

所述图像采集及处理单元包括：

二值化处理模块，用于选择最佳的二值化阈值，并根据所述的二值化阈值对包含车灯信息的图像进行二值化处理。

6.根据权利要求5所述的夜间车辆的检测与跟踪装置，其特征在于，所述图像采集及处理单元还包括：

腐蚀与膨胀运算模块，用于对检测区域的图像进行腐蚀运算和膨胀运算；

差图提取模块，用于取原始检测区域图像与进行腐蚀运算和膨胀运算后图像的差图，获取车灯信息。

7.根据权利要求6所述的夜间车辆的检测与跟踪装置，其特征在于，所述检测与跟踪单元包括：

车灯信息提取模块，用于记录检测区域中车灯的个数、每个车灯轮廓的周长和车灯的特征信息，所述车灯的特征信息为车灯轮廓的重心坐标或车灯轮廓的中心坐标；

检测跟踪模块，用于根据所述的记录信息，对夜间车辆进行检测与跟踪。

Images