CN102298852A - 基于视频的交通信号灯检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于视频的交通信号灯检测方法及装置，属于智能交通技术领域。该检测方法包括：获取视频图像中采样像素点的颜色特征属性；将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。本发明通过实时的视频图像来识别交通信号灯的颜色，实现了智能交通监控系统与交通信号灯的真正分离；该方法能适应现实环境中多种因素对交通信号灯颜色的影响，保证识别结果的准确性。

Description

基于视频的交通信号灯检测方法及装置

技术领域

本发明涉及智能交通技术领域，更具体地说，涉及一种基于视频的交通信号灯检测方法及装置。

背景技术

随着社会经济的发展，汽车在人们日常生活中扮演一个不可或缺的角色，然而汽车数量的日益增多也给城市交通管理特别是一线大城市的交通管理带来巨大挑战。智能交通已经成为如今城市交通管理的重要手段，其中电子警察系统更是成为城市道路违章检测、车流量统计等管理手段的主要实现途径。而交通信号灯作为电子警察系统的输入信号之一，成为交通执法管理的重要依据。

目前现有的交通信号灯检测方式可分为以下几种：一种是传统的通过连接线来进行智能交通监控系统与交通信号灯之间的通信，对于连接线缆的方式来说，工程线路过长，有时候需要跨过路口，施工、维护难度高；另一种是通过无线收发设备来进行智能交通监控系统与交通信号灯之间的通信，该方式虽然可以避免传统的线缆连接方式的缺陷，但是无线收发设备价格昂贵，且受周围电磁环境干扰较大，有时候会出现无法接收信号的现象，而且会增加项目成本。

现有技术还公开了一种交通违章监控系统，该系统通过预先设置交通信号灯的区域，对摄像机实时传输过来的每一帧图像的交通信号灯区域进行识别，具体是对交通信号灯区域的亮度、色度、对比度进行阈值比较来综合判断交通信号灯的颜色状态。该系统通过视频方式对交通信号灯区域的亮度、色度等的调整很大程度上是一种基于经验的阈值判断，无法涵盖各种光照条件下交通信号灯的颜色变化情况，从而在某些特殊环境中的信号灯检测会出现异常。

发明内容

本发明的发明目的是针对现有技术的缺陷，提出一种基于视频的交通信号灯检测方法及装置，用以实现智能交通监控系统与交通信号灯的真正分离，并且能有效地检测出各种光照条件下的交通信号灯的颜色变化情况。

根据本发明的一个方面，提供一种基于视频的交通信号灯检测方法，其包括：获取视频图像中采样像素点的颜色特征属性；将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。

根据本发明的另一方面，提供一种基于视频的交通信号灯检测装置，其包括：特征属性获取模块，用于获取视频图像中采样像素点的颜色特征属性；运算模块，用于将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；识别模块，用于根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。

本发明通过实时的视频图像来识别交通信号灯的颜色，实现了智能交通监控系统与交通信号灯的真正分离，智能交通监控系统不再受实际环境中交通信号灯安装位置的影响，避免了工程线缆过长，施工、维护难度高的问题，从而降低了项目成本；本发明是通过预先训练得到的识别模型来得到识别结果，该识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的，因此该方法能适应现实环境中多种因素(如光照、尘土或雾)对交通信号灯颜色的影响，保证识别结果的准确性。

附图说明

图1为本发明提供的基于视频的交通信号灯检测方法一实施例流程图；

图2为本发明提供的基于视频的交通信号灯检测方法一实施例中获取识别模型的流程图；

图3为本发明提供的基于视频的交通信号灯检测装置一实施例的结构示意图。

具体实施方式

本发明提供了一种基于视频的交通信号灯检测方法及装置，其核心思想是获取视频图像中采样像素点的颜色特征属性；将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。本发明通过实时的视频图像来识别交通信号灯的颜色，实现了智能交通监控系统与交通信号灯的真正分离，智能交通监控系统不再受实际环境中交通信号灯安装位置的影响，避免了工程线缆过长，施工、维护难度高的问题，从而降低了项目成本。而且本发明是通过预先训练得到的识别模型来得到识别结果，该识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的，因此该方法能适应现实环境中多种因素(如光照、尘土或雾)对交通信号灯颜色的影响，保证识别结果的准确性。

下面结合附图及优选实施方式对本发明技术方案进行详细说明。

图1为本发明提供的基于视频的交通信号灯检测方法一实施例流程图。如图1所示，该方法包括以下步骤：

步骤101、从视频图像中获取交通信号灯颜色的待识别区域，对待识别区域进行采样取点，得到采样像素点。

本实施例中，智能交通监控系统的摄像机实时拍摄交通信号灯的颜色变化情况，得到视频图像。在实际应用环境中，摄像机一旦安装好，其安装位置和角度不会随意发生改变，因此图像中交通信号灯的位置一般是固定不变的。本实施例可以在视频图像中设置固定的感兴趣区域作为交通信号灯颜色的待识别区域。从理论上来讲，待识别区域的颜色为单一颜色，通过识别出的只需很少的像素点的颜色便可认定其代表该待识别区域的颜色，因此本实施例在待识别区域中进行采样取点，得到若干个采样像素点作为处理对象，从而能在保证准确率的情况下实现实时识别。

此外，设置固定的感兴趣区域也是对实际应用环境进行分析后得出的。由于城市路口的交通信号灯的位置很少发生变化，而摄像机的安装位置也是根据实际路口环境设置好之后很少再更改，自然地交通信号灯出现在摄像机视频图像中的位置也是固定不变的，所以本实施例无需进行交通信号灯颜色的待识别区域的动态定位，预先设定好感兴趣区域作为待识别区域可以减少识别所需时间，更好的满足实时运行需求。

步骤102、获取采样像素点的颜色特征属性。

在摄像机拍摄的视频图像中，像素点的颜色空间一般为RGB模式。而本实施例选取国际发光照明委员会(简称：CIE)提出的Lab模式作为颜色识别的特征属性。因此需要将采样像素点的颜色空间转换到Lab颜色空间。

Lab颜色空间是由CIE于1976年公布的一种颜色模型，它是表征物体颜色空间最完备的颜色模型之一，同时也是最接近人类视觉的颜色表征。它采用一组L、a、b数据将一种颜色表示出来，一组L、a、b数据与一种颜色一一对应，其中L值表示亮度，a值表示红绿方向颜色变化，b值表示黄蓝方向颜色变化。a值为正值表示向红色方向变化，a值为负值表示向绿色方向变化，b值为正值表示向黄色方向变化，b值为负值表示向蓝色方向变化。

由于Lab颜色空间的颜色分布均匀，该颜色空间的两种颜色的色差可以用欧式距离来表示。Lab颜色特征属性通过进行非线性映射可映射到线性可分的特征空间，有利于采用支持向量机进行分类，适合作为采样像素点的颜色特征属性。

步骤103、将采样像素点的颜色特征属性作标准化处理。

本实施例的Lab颜色特征属性为三维特征属性，为了防止某一维特征属性的绝对数值过大，对其他维的特征属性产生影响，需要对Lab颜色特征属性作标准化处理。举例来说，如属性L的取值范围为[0，100]，属性a的取值范围为[-1，1]，属性b的取值范围为[0，1]，将属性L和a的取值范围作标准化处理，将属性L和a的取值范围全部统一到取值范围[0，1]内。

步骤104、将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的。

支持向量机(Support Vector Machine，以下简称：SVM)方法是通过一个非线性映射，将样本空间映射到一个高维的特征空间，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题的方法，该高维空间是一个线性可分空间。对于分类问题来说，很可能在低维样本空间内无法线性处理的数据，在高维特征空间中却可以通过一个线性超平面实现线性划分。本实施例即采用这种方法，将采样像素点的Lab颜色特征属性通过预先训练得到的识别模型映射到高维的线性可分空间，与各种颜色类别的支持向量做点积运算，即分别与红色类别的支持向量、绿色类别的支持向量以及黄色类别的支持向量做点积运算。

步骤105、根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。

在与各种颜色类别的支持向量做点积运算之后，获取点积运算得到的距离最小的结果，该距离最小的结果对应的颜色即为采样像素点对应的交通信号灯的颜色。举例来说，若采样像素点的特征属性数据与红色类别的支持向量做点积运算后得到的距离最小，那么认定当前采样像素点对应的交通信号灯的颜色为红色。

上述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的，图2为本发明提供的基于视频的交通信号灯检测方法一实施例中获取识别模型的流程图，如图2所示，该训练的步骤具体包括：

步骤201、采集不同光照条件下交通信号灯各颜色的样本数据。

为了适应现实环境下不同光照条件下的交通信号灯颜色识别，本实施例分别在不同光照条件如日光、补光灯等照射条件下进行交通信号灯的样本数据采集，用于训练出识别模型。

步骤202、获取交通信号灯的各颜色的样本数据的颜色特征属性作为交通信号灯的训练样本集。

由于采集的样本数据的颜色空间一般为RGB模式，本实施例需要将样本数据的颜色空间转换到Lab颜色空间，获得样本数据的Lab颜色特征属性作为训练样本集。获取红灯、绿灯和黄灯颜色的样本数据的Lab颜色特征属性作为训练样本集。

步骤203、将训练样本集作标准化处理。

本实施例的Lab颜色特征属性为三维特征属性，为了防止某一维特征属性的绝对数值过大，对其他维的特征属性产生影响，需要对Lab颜色特征属性作标准化处理。

步骤204、选取径向基函数为支持向量机的核函数。

在实际应用中，多数的分类问题通常是分类多于两种类别的问题，此时采用支持向量机进行分类的时候，需要将多分类问题通过某一函数映射到高维空间中，而能够作此映射的函数就是核函数。核函数分为很多种，例如线性核函数、多项式核函数、Sigmoid核函数和径向基核函数。本实施例中，选取径向基核函数为支持向量机的核函数。径向基核函数是沿径向对称的标量函数，适合作为多分类问题的核函数。径向基核函数的参数γ可以通过步骤204得到，它表征线性分类的最小误差，它的变化能隐含的改变映射核函数，从而改变样本数据子空间分布的复杂程度。

步骤205、将训练样本集分成多个等份做封闭测试，得到惩罚系数和核函数参数。

所谓将训练样本集分成多个等份做封闭测试指的是根据训练样本集所包含的训练数据的数量将训练样本集进行等分，分成k个训练数据数量相等的子集，轮流选取一个子集用于测试，另外k-1个子集用于对分类器进行训练，使得整个训练样本集中的每一个子集都被预测一次。该方法交叉验证的正确率是k次正确分类数据百分比的平均值，可以防止过拟合的问题。

举例来说，设训练样本集包含10000条训练数据，可按照训练样本集的排列顺序将其等分为5个子集，每个子集包含2000条训练数据。首先选取第1个子集用作测试数据，另外4个子集用作训练数据，进行模型训练并测试；然后选取第2个子集用作测试数据，另外4个子集用作训练数据，进行模型训练并测试；依此类推，共进行5次模型训练和测试，这个过程即为等份封闭测试的过程。

通过上述等份封闭测试的过程，可以得到适合的惩罚系数C和核函数参数。在训练过程中，有的训练数据相对来说并不是真正有用的训练数据，而是噪声数据，对模型训练会产生消极作用，需要将这些噪声数据对模型的影响降到最低程度。惩罚系数C的作用表征对这些噪声数据对错分样本惩罚的程度。若C值较小，则会忽略噪声数据，但是训练误差就越大，使得结构风险也变大；若C值较大，惩罚程度就越高，对错分样本的约束程度就越高，则会使得分类问题变成无解，进而退化为硬间隔问题。所以选择合适的惩罚系数C还是很有必要的。核函数参数是后续识别过程所需核函数的参数，可以在训练过程中得到。

步骤206、根据得到的惩罚系数和核函数参数，对训练样本集中的样本进行训练，得到各种颜色类别的支持向量，从而获取识别模型。

本步骤得到的各种颜色类别的支持向量用于与采样像素点的颜色特征属性数据做点积运算，从而实现检测交通信号灯颜色的目的。

进一步的，由于交通信号灯的颜色种类是固定的，只有红灯、绿灯和黄灯三种，而且这三种颜色的信号灯的排列也是遵循某种预先设定的交通信号灯变化规则的，例如绿灯熄灭后应该是黄灯先亮等。因此，本实施例可以在得到点积运算的结果之后，结合预先设定的规则对该结果进行矫正，得到采样像素点对应的交通信号灯的颜色。该矫正包括对识别出的错误结果进行矫正，还包括当识别结果出现异常时，可以根据预先设定的规则推导出当前信号灯的颜色。

本实施例提供的方法通过实时的视频图像来识别交通信号灯的颜色，实现了智能交通监控系统与交通信号灯的真正分离，智能交通监控系统不再受实际环境中交通信号灯安装位置的影响，避免了工程线缆过长，施工、维护难度高的问题，从而降低了项目成本。而且本实施例提供的方法是通过预先训练得到的识别模型来得到识别结果，该识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的，因此该方法能适应现实环境中多种因素(如光照、尘土或雾)对交通信号灯颜色的影响，保证识别结果的准确性。本实施例采用的支持向量机的方法具有良好的分类能力，且具有分类速度快的特点，在确保准确性的前提下能够满足实时运算要求。本实施例在得到识别结果之后，可以结合预先设定的规则对匹配结果进行矫正，确保最终结果能符合常识且满足实际需求。本实施例可用于高清电子警察项目中路口交通信号灯检测，为车辆的闯红灯检测以及不按道行驶检测提供必要的执法依据。

图3为本发明提供的基于视频的交通信号灯检测装置一实施例的结构示意图。如图3所示，该装置包括：特征属性获取模块10、运算模块20和识别模块30。其中，特征属性获取模块10用于获取视频图像中采样像素点的颜色特征属性；运算模块20用于将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；识别模块30用于根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色；该识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的。

该装置还可以包括模型获取模块40，该模型获取模块40用于获取识别模型。需要说明的是，识别模型是通过预先训练中得到的，并不是在实际运行中一直在进行训练。

所述模型获取模块40包括：采集单元41、特征属性获取单元42、训练单元43和模型获取单元44。其中，采集单元41用于采集不同光照条件下交通信号灯各颜色的样本数据；特征属性获取单元42用于获取各颜色的样本数据的颜色特征属性作为训练样本集；训练单元43用于将训练样本集分成多个等份做封闭测试，得到惩罚系数和核函数参数；模型获取单元44用于选取径向基函数为支持向量机的核函数，根据得到惩罚系数和核函数参数对训练样本集中的样本进行训练，得到各种颜色类别的支持向量，从而获取识别模型。

在摄像机拍摄的视频图像中，像素点的颜色空间一般为RGB模式，本实施例选取CIE提出的Lab模式作为颜色识别的特征属性，所以需要将采样像素点的颜色空间转换到Lab颜色空间。上述特征属性获取模块10具体用于获取视频图像中采样像素点的Lab颜色特征属性；上述特征属性获取单元42具体用于获取各颜色的样本数据的Lab颜色特征属性作为训练样本集。

本实施例的Lab颜色特征属性为三维特征属性，为了防止某一维特征属性的绝对数值过大，对其他维的特征属性产生影响，需要对Lab颜色特征属性作标准化处理。因此，该装置还可以包括处理模块50，用于将采样像素点的颜色特征属性作标准化处理。上述模型获取模块40还可以包括：处理单元45，用于将训练样本集作标准化处理。

上述识别模块30具体用于获取经过点积运算得到的距离最小的结果，识别出所述距离最小的结果对应的颜色即为采样像素点对应的交通信号灯的颜色。

进一步的，由于交通信号灯的颜色种类是固定的，只有红灯、绿灯和黄灯三种，而且这三种颜色的信号灯的排列也是遵循某种预先设定的交通信号灯变化规则的，例如绿灯熄灭后应该是黄灯先亮等。上述识别模块30可以具体用于根据点积运算的结果，结合预先设定的规则进行矫正，得到采样像素点对应的交通信号灯的颜色。

本实施例提供的装置通过实时的视频图像来识别交通信号灯的颜色，实现了智能交通监控系统与交通信号灯的真正分离，智能交通监控系统不再受实际环境中交通信号灯安装位置的影响，避免了工程线缆过长，施工、维护难度高的问题，从而降低了项目成本。而且本实施例提供的装置是通过预先训练得到的识别模型来得到识别结果，该识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的，因此该装置能适应现实环境中多种因素(如光照、尘土或雾)对交通信号灯颜色的影响，保证识别结果的准确性。本实施例采用的支持向量机的方法具有良好的分类能力，且具有分类速度快的特点，在确保准确性的前提下能够满足实时运算要求。本实施例在得到识别结果之后，可以结合预先设定的规则对匹配结果进行矫正，确保最终结果能符合常识且满足实际需求。本实施例可用于高清电子警察项目中路口交通信号灯检测，为车辆的闯红灯检测以及不按道行驶检测提供必要的执法依据。

最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (12)

1.一种基于视频的交通信号灯检测方法，其特征在于，包括：

获取视频图像中采样像素点的颜色特征属性；

将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；

根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。

2.根据权利要求1所述的方法，其特征在于，还包括获取识别模型的步骤；该步骤包括：

采集不同光照条件下交通信号灯各颜色的样本数据；

获取交通信号灯各颜色的样本数据的颜色特征属性作为交通信号灯的训练样本集；

选取径向基函数为支持向量机的核函数；

将交通信号灯的训练样本集分成多个等份做封闭测试，得到交通信号灯对应的识别模型的惩罚系数和核函数的参数；

根据得到的惩罚系数和核函数参数，对训练样本集中的样本进行训练，得到各种颜色类别的支持向量，从而获取交通信号灯对应的识别模型。

3.根据权利要求2所述的方法，其特征在于，所述获取视频图像中采样像素点的颜色特征属性具体为：获取视频图像中采样像素点的Lab颜色特征属性；

所述获取交通信号灯各颜色的样本数据的颜色特征属性作为交通信号灯的训练样本集具体为：获取交通信号灯各颜色的样本数据的Lab颜色特征属性作为交通信号灯的训练样本集。

4.根据权利要求2所述的方法，其特征在于，在所述将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间之前还包括：将采样像素点的颜色特征属性作标准化处理；

在所述将交通信号灯的训练样本集分成多个等份做封闭测试之前还包括：将训练样本集作标准化处理。

5.根据权利要求1所述的方法，其特征在于，所述根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色包括：获取经点积运算得到的距离最小的结果，所述距离最小的结果对应的颜色为采样像素点对应的交通信号灯的颜色。

6.根据权利要求1所述的方法，其特征在于，所述根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色具体为：根据点积运算的结果，结合预先设定的交通信号灯变化规则，得到采样像素点对应的交通信号灯的颜色。

7.一种基于视频的交通信号灯检测装置，其特征在于，包括：

特征属性获取模块，用于获取视频图像中采样像素点的颜色特征属性；

运算模块，用于将采样像素点的颜色特征属性通过预先训练得到的识别模型映射到高维空间，与各种颜色类别的支持向量做点积运算；所述识别模型是通过采集不同光照条件下交通信号灯各颜色的样本数据训练得到的；

识别模块，用于根据点积运算的结果，检测出采样像素点对应的交通信号灯的颜色。

8.根据权利要求7所述的装置，其特征在于，还包括模型获取模块；

所述模型获取模块包括：

采集单元，用于采集不同光照条件下交通信号灯各颜色的样本数据；

特征属性获取单元，用于获取交通信号灯各颜色的样本数据的颜色特征属性作为交通信号灯的训练样本集；

训练单元，用于将训练样本集分成多个等份做封闭测试，得到惩罚系数和核函数参数；

模型获取单元，用于选取径向基函数为支持向量机的核函数，利用根据得到的惩罚系数和核函数参数，对训练样本集中的样本进行训练，得到各种颜色类别的支持向量，从而获取交通信号灯对应的识别模型。

9.根据权利要求8所述的装置，其特征在于，所述特征属性获取模块具体用于获取视频图像中采样像素点的Lab颜色特征属性；

所述特征属性获取单元具体用于获取交通信号灯各颜色的样本数据的Lab颜色特征属性作为交通信号灯的训练样本集。

10.根据权利要求8所述的装置，其特征在于，还包括：处理模块，用于将采样像素点的颜色特征属性作标准化处理；

所述模型获取模块还包括：处理单元，用于将交通信号灯的训练样本集作标准化处理。

11.根据权利要求7所述的装置，其特征在于，所述识别模块具体用于获取经过点积运算得到的距离最小的结果，识别出所述距离最小的结果对应的颜色即为采样像素点对应的交通信号灯的颜色。

12.根据权利要求7所述的装置，其特征在于，所述识别模块具体用于根据点积运算的结果，结合预先设定的交通信号灯变化规则，得到采样像素点对应的交通信号灯的颜色。

Images