CN105279511A - 基于颜色时变特征的交通信号灯重定位方法及装置 - Google Patents

Abstract

本发明公开了一种基于颜色时变特征的交通信号灯重定位方法，用于对图像中的交通信号灯进行重定位，交通信号灯含有多个相互配合以显示交通信号的指示灯，交通信号灯重定位方法包括：分别获取各指示灯的重定位区域；以若干帧为一个定位周期，计算单个定位周期内每帧图像重定位区域中各像素点的颜色分量强度；在每个定位周期结束时，删除不满足指示灯特点的像素点，并根据删除后所保留的像素点找到指示灯的中心点，将中心点结合指示灯的尺寸确定当前定位周期结束时指示灯的位置。本发明还公开了对应的交通信号灯重定位装置。

Description

基于颜色时变特征的交通信号灯重定位方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及基于颜色时变特征的交通信号灯重定位方法及装置。

背景技术

电子警察相机需要实时检测交通信号灯状态以便进行闯红灯行为抓拍。交通信号灯包括多个指示灯，例如常见的为红绿灯，包括红色指示灯(红灯)及绿色指示灯(绿灯)。当现场环境不允许安装灯检器时，需要在电警相机通过图像处理灯方法根据视频内容实时进行交通信号灯检测。

如图1所示，电子警察相机应用场景一般为十字路口，交通信号灯距离相机较远，且信号灯面积较小，一般单个信号灯在20*20像素。所以，当电警相机由于安装杆件热胀冷缩等原因有微小移动时，交通信号灯在图像上会出现较大偏移。为保证交通信号灯识别的准确性，需要对交通信号灯进行重定位。

目前，现有的重定位技术是在将图1所示的一帧实时图像中，参考图2，进行如下步骤：

步骤1，提取满足色度、亮度和饱和度阈值范围的颜色前景点，得到图2中包含图1中A所指示的方框位置所代表的指示灯的前景图。常见方法为将图像转化为HSV格式，使用H分量确认各像素点的颜色，并通过S分量和V分量过滤灰暗或高亮的像素点。

步骤2，对提取出的颜色前景点按行投影得到如图2中前景图右侧所示的行投影序列col_proj以及按列投影得到图2前景图下方所示的列投影序列row_proj，分别获取行投影序列及列投影序列的最大波峰的起始位置(wCorSt,wCorEnd)以及终止位置(wRowSt,wRowEnd)，其中wCorSt为行投影序列的起始位置，wCorEnd为行投影序列的终止位置，wRowSt为列投影序列的起始位置，wRowEnd为列投影序列的终止位置。在图2中用直线将投影序列中各位置与前景图中对应位置进行标出。

步骤3，根据行投影序列及列投影序列的起始位置及终止位置的坐标得到矩形框(wCorSt,wRowSt),(wCorEnd,wRowEnd)，以常用的红绿灯为交通信号灯的情况下，如果矩形框中的红色或绿色像素点个数满足一定阈值条件，则该矩形框为信号灯所在区域。

但是当红绿灯的附近存在颜色相近的物体时，很难正确定位，尤其是当图像中出现快速闪过且颜色接近的干扰物时，由于该现有技术是以单帧图像进行定位的，突发性的干扰很容易被误认为是红绿灯所在位置，因此定位存在较大的误差。

综上所述可以看出，现有的交通信号灯重定位技术存在抗干扰能力较弱的问题。

发明内容

为了解决现有技术存在的抗干扰能力较弱的问题，本发明提供了一种重定位方法，通过多帧图像周期性重定位方式，排除相近颜色的干扰，提高交通信号灯重定位的抗干扰能力。

一种基于颜色时变特征的交通信号灯重定位方法，用于重定位图像中的交通信号灯，所述交通信号灯含有多个周期性变换并相互配合以显示交通信号的指示灯，所述交通信号灯重定位方法包括：

分别获取各指示灯的重定位区域，各重定位区域包含完整的指示灯；

以若干帧为一个定位周期，对单个定位周期内每帧图像的各指示灯重定位区域计算各像素点与指示灯颜色相对应的颜色分量强度；

在每个定位周期结束时，根据定位周期内计算得到的像素点颜色分量强度删除不满足指示灯特点的像素点，并根据删除后所保留的像素点找到指示灯的中心点，将中心点结合指示灯在图像中显示的尺寸确定当前定位周期结束时指示灯的位置。

其中像素点对应重定位区域中指示灯颜色的颜色分量强度是指，像素点的颜色可以分为若干颜色分量，求取与所在重定位区域中的指示灯颜色相同的颜色分量的强度，例如在绿灯的重定位区域中获取的像素点的颜色分量强度为绿色的强度，同理红灯重定位区域中的像素点颜色分量强度为红色的强度。在像素点颜色分量强度的计算上可以直接采用RGB图像，而不需要转换为HSV图像，因此可以降低运算量。

本发明通过划定重定位区域，将红绿灯不可能出现的位置上存在的颜色接近的干扰物进行了排除，并且采用多帧图像周期性地根据颜色特征进行定位，通过一个周期内像素点的颜色与交通信号灯颜色进行综合的比对，排除不符合交通信号灯颜色变化特点的干扰，将交通信号灯的在一段时间内的特点加以考虑，从而避免了突发干扰对交通信号灯重定位所造成的影响，提高交通信号灯的定位准确度。

进一步而言，所述重定位区域获取方式为，在初始图像帧中获取各个指示灯的原始位置，各原始位置为含有对应的完整指示灯的区域，以原始位置中心点作为重定位区域中心，将表示原始位置的区域周向扩大r倍形成的区域作为重定位区域，其中r大于1。

重定位区域为信号灯从最初的位置可能偏移的区域。在方法初始化时，进行获取，后续每一次定位均在初始化时获取的重定位区域中进行。

进一步而言，保留的各个像素点需满足的指示灯特点包括：在单个定位周期内的最大颜色分量强度、在单个定位周期内最大亮起持续时间、在单个定位周期内最大熄灭持续时间、在单个定位周期内的最大颜色分量强度变化差值，其中最大亮起持续时间为颜色分量强度被判定为亮起的最大持续时间，最大熄灭持续时间为颜色分量强度被判定为熄灭的最大持续时间。

通过最大颜色分量强度的匹配，排除一些颜色分量强度上不满足的干扰物。例如附近颜色相近的房屋；由于指示灯的亮灭时间上固定且周期性交替的，因此通过亮起持续时间及熄灭持续时间排除一些突发的干扰物，例如塑料袋、快速开过的车等，由于定位周期中可能还包含有不完整的亮起或熄灭持续时间，因此选取最大的亮起或熄灭持续时间进行判断；由于同一图像中可能会拍摄到远处非关注区域的红绿灯，其颜色强度及周期性与关心的红绿灯相同或相近，容易导致误判，但这类远处的红绿灯，其颜色强度波动范围受其距离影响通常较小，因此通过最大颜色分量强度变化差值的匹配可以排除这类红绿灯。

进一步而言，所述定位周期为图像中所有待重定位的指示灯完成一次完整变换的周期。

设定该定位周期使得所有的指示灯均能够进行完整的亮灭变换过程，便于对像素点的亮灭持续时间进行比对。

进一步而言，还包括：

在得到像素点的颜色分量强度时计算颜色分量强度的包络，对应地在定位周期结束时根据各像素点在定位周期内的包络进行像素点的删除；

根据阈值将像素点的包络进行二值化，其中单个像素点在当前定位周期进行包络二值化的阈值为该像素点在上一个定位周期中颜色分量强度包络最大值与最小值的平均值。

由于像素点的颜色分量强度受外界因素影响会有一定的变化，因此通过求取包络根据包络进行亮灭持续时间的判断，能够保证各像素点的亮灭状态稳定并连续，避免因遮挡或车灯等突发造成亮灭持续时间统计错误。

单个指示灯只存在亮起和熄灭两种状态，但图像中可能因光照和遮挡导致颜色强度并不是两极分化的，因此通过二值化方法将像素通过门限判断加以划分，无需关注具体的颜色分量强度值，以符合指示灯的亮灭特性。通过二值化可以得到亮起和熄灭的持续时间。

进一步而言，进行所述包络二值化得到第一值及第二值，其中第一值大于第二值，对应地，进行保留的像素点需满足的指示灯特点包括最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值，进行像素点的删除包括：

对于重定位区域内存在的各个像素点，统计单个定位周期内第一值的持续时间作为指示灯的亮起持续时间，第二值的持续时间作为指示灯的熄灭持续时间，将最大亮起持续时间或者最大熄灭持续时间小于预设时长的像素点删除；

获取各个像素点的颜色分量强度包络的最大包络值及最小包络值，并将最大包络值与最小包络值相减得到最大包络差值；

设置第一门限值，并删除最大包络值小于第一门限值的像素点；

设置第二门限值，并删除最大包络差值小于第二门限值的像素点。

最大包络值与第一门限值的比较实质上为颜色分量强度的比较，最大包络差值与第二门限值的比较为颜色分量强度变化的比较。其中根据持续时间进行的像素点删除、通过最大包络值比较进行的像素点删除以及最大包络差值比较的像素点删除三者顺序可以互换。将在重定位区域中的所有像素点的最大包络值中找到最大值，将最大包络值的最大值除以一个第一预设系数得到第一门限值；将在重定位区域中的所有像素点的最大包络差值中找到最大值，将最大包络差值的最大值除以一个第二预设系数得到第二门限值，其中第一预设系数及第二预设系数均为经验取值。

进一步而言，进行保留的像素点所需满足的指示灯特点还包括多个指示灯之间固定的相对位置关系，对应地，从最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值中选择一种或多种指示灯特点进行像素的初步删除后先根据相对位置关系进行像素点删除，再根据其余的指示灯特点进行像素点删除，根据相对位置关系进行像素点删除的方法包括：

获取各个指示灯的重定位区域之间的相对位置关系；

根据相对位置关系，得到各重定位区域中像素点在其他重定位区域中的对应像素点；

对于单个重定位区域中的任意像素点，如果该像素点在其他任一重定位区域中的对应像素点已被删除，则将该像素点删除。

这一步主要用于过滤不对称的像素点，例如信号灯中间黄灯和倒计时数字灯复用产生的干扰点等。可以将这一删除步骤穿插在根据最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值进行的像素点删除中进行，也可以在这些像素点删除全都完成之后再进行。如果是穿插进行，例如先完成根据最大包络差值的像素点进行初步删除，再根据初步删除的结果进行根据相对位置关系的像素点删除，然后再进行根据最大亮起持续时间、最大熄灭持续时间、最大包络值的删除。

进一步而言，对于单个重定位区域，根据删除后所保留的像素点找到指示灯中心点的方法包括：

设定符合指示灯尺寸及形状的匹配框，分别将各个保留的像素点设为指示灯中心，根据计算得到对应匹配框中所保留像素点的个数，所述个数作为所设匹配框中心像素点的权重；

利用各像素点的权重，将重定位区域中所有像素点的坐标进行加权平均，将得到的坐标平均值作为指示灯的中心。

作为指示灯的中心，其周围被判定为指示灯的像素点是最多的。因此通过先假设各像素点为表示信号灯区域的匹配框的中心点再利用匹配框对周围像素点进行框选，真正的信号灯中心对应的匹配框位置所框选出属于信号灯的像素点是最多的。但是由于信号灯中心点附近的像素点也可能会框选出相同数目的信号灯像素点，因此这就可能造成定位不准确，考虑到这一问题，将全部的像素点以框选的像素点个数作为权重进行像素点坐标的加权平均，所得到的平均坐标值作为中心点。

一种基于颜色时变特征的交通信号灯重定位装置，用于对图像中的交通信号灯进行重定位，所述交通信号灯含有多个周期性变换并相互配合以显示交通信号的指示灯，所述交通信号灯重定位装置包括：

重定位区域获取单元，分别获取各指示灯的重定位区域，所述重定位区域包含完整的指示灯；

颜色分量强度计算单元，以若干帧为一个定位周期，对单个定位周期内每帧图像的各指示灯重定位区域计算各像素点与指示灯颜色相对应的颜色分量强度；

指示灯中心点定位单元，在每个定位周期结束时，根据定位周期内计算得到的像素点颜色分量强度删除不满足指示灯特点的像素点，并根据删除后所保留的像素点找到指示灯的中心点，将中心点结合指示灯在图像中显示的尺寸确定当前定位周期结束时指示灯的位置。

其中像素点对应重定位区域中指示灯颜色的颜色分量强度是指，像素点的颜色可以分为若干中颜色分量，求取与所在重定位区域中的指示灯颜色相同的颜色分量的强度，例如在绿灯的重定位区域中获取的像素点的颜色分量强度为绿色的强度，同理红灯重定位区域中的像素点颜色分量强度为红色的强度。

本发明通过划定重定位区域，将红绿灯不可能出现的位置上存在的颜色接近的干扰物进行了排除，并且采用多帧图像周期性地根据颜色特征进行定位，通过一个周期内像素点的颜色与交通信号灯颜色进行综合的比对，排除不符合交通信号灯颜色变化特点的干扰，将交通信号灯的在一段时间内的特性加以考虑，从而避免了突发干扰对交通信号灯重定位所造成的影响，提高交通信号灯的定位准确度。

进一步而言，还包括包络计算单元及包络二值化单元，所述包络计算单元在所述颜色分量强度计算单元得到像素点的颜色分量强度时计算颜色分量强度的包络，对应地在定位周期结束时根据各像素点在定位周期内的包络进行像素点的所述删除，所述包络二值化单元根据阈值将像素点的包络进行二值化，其中单个像素点在当前定位周期进行包络二值化的阈值为该像素点在上一个定位周期中颜色分量强度包络最大值与最小值的平均值。

由于像素点的颜色分量强度受外界因素影响会有一定的变化，因此通过求取包络根据包络进行亮灭持续时间的判断，能够保证各像素点的亮灭状态稳定并连续，避免因遮挡或车灯等突发造成亮灭持续时间统计错误。

单个指示灯只存在亮起和熄灭两种状态，但图像中可能因光照和遮挡导致颜色强度并不是两极分化的，因此通过二值化方法将像素通过门限判断加以划分，无需关注具体的颜色分量强度值，以符合指示灯的亮灭特性。通过二值化可以得到亮起和熄灭的持续时间。指示灯随时间变化处于不同的位置，因此受环境影响颜色分量强度的最大值和最小值也存在差异，为了使二值化能够反映出这种变化，每一个像素点在当前定位周期中的包络二值化阈值均为像素点在上一定位周期颜色分量强度包络值的最大值与最小值的平均值。

进一步而言，所述包络二值化单元进行所述包络二值化得到第一值及第二值，其中第一值大于第二值，对应地，进行保留的像素点需满足的指示灯特点包括最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值，进行像素点的删除包括：

对于重定位区域内存在的各个像素点，统计单个定位周期内第一值的持续时间作为指示灯的亮起持续时间，第二值的持续时间作为指示灯的熄灭持续时间，将亮起持续时间或者熄灭持续时间小于预设时长的像素点删除；

获取各个像素点的颜色分量强度包络的最大包络值及最小包络值，并将最大包络值与最小包络值相减得到最大包络差值；

设置第一门限值，并删除最大包络值小于第一门限值的像素点；

设置第二门限值，并删除最大包络差值小于第二门限值的像素点。

进一步而言，所述指示灯中心点定位单元进行保留的像素点所需满足的指示灯特点还包括多个指示灯之间固定的相对位置关系，对应地，所述指示灯中心点定位单元从最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值中选择一种或多种指示灯特点进行像素的初步删除后先根据相对位置关系进行像素点删除，再根据其余的指示灯特点进行像素点删除，根据相对位置关系进行像素点删除的方法包括：

获取各个指示灯的重定位区域之间的相对位置关系；

根据相对位置关系，得到各重定位区域中像素点在其他重定位区域中的对应像素点；

对于单个重定位区域中的任意像素点，如果该像素点在其他任一重定位区域中的对应像素点已被删除，则将该像素点删除。

这一步主要用于过滤不对称的像素点，例如信号灯中间黄灯和倒计时数字灯复用产生的干扰点等。可以将这一删除步骤穿插在根据最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值进行的像素点删除中进行，也可以在这些像素点删除全都完成之后再进行。如果是穿插进行，例如先完成根据最大包络差值的像素点进行初步删除，再根据初步删除的结果进行根据相对位置关系的像素点删除，然后再进行根据最大亮起持续时间、最大熄灭持续时间、最大包络值的删除。

进一步而言，对于单个重定位区域，所述指示灯中心定位单元根据删除后所保留的像素点找到指示灯中心点的方法包括：

设定符合指示灯尺寸及形状的匹配框，分别将各个保留的像素点设为指示灯中心，根据计算得到对应匹配框中所保留像素点的个数，所述个数作为所设匹配框中心像素点的权重；

利用各像素点的权重，将重定位区域中所有像素点的坐标进行加权平均，将得到的坐标平均值作为指示灯的中心。

作为指示灯的中心，其周围被判定为指示灯的像素点是最多的。因此通过先假设各像素点为表示信号灯区域的匹配框的中心点再利用匹配框对周围像素点进行框选，真正的信号灯中心对应的匹配框位置所框选出属于信号灯的像素点是最多的。但是由于信号灯中心点附近的像素点也可能会框选出相同数目的信号灯像素点，因此这就可能造成定位不准确，考虑到这一问题，将全部的像素点以框选的像素点个数作为权重进行像素点坐标的加权平均，所得到的平均坐标值作为中心点。

本发明的交通信号灯重定位方法及装置突出效果在于，采用多帧图像周期性地根据颜色特征进行定位，通过一个周期内像素点的颜色与交通信号灯颜色进行综合的比对，排除不符合交通信号灯颜色变化特点的干扰，将交通信号灯的在一段时间内的特性加以考虑，从而避免了突发干扰对交通信号灯重定位所造成的影响，提高交通信号灯的定位准确度。各像素点对应色度求包络后再运算，降低光照条件突变的影响，例如smear现象；统计一个周期内各像素点的连续亮灭时间，可以有效过滤中间黄灯的干扰。尤其是实际信号灯偏移较大时，现有技术方案难以区分黄灯和红灯；使用红灯和绿灯的位置关系不变性过滤实际信号灯外的点，增强抗干扰性。

附图说明

图1为现有技术拍摄用于信号灯重定位的图像；

图2为现有技术进行信号灯重定位的方法示意图；

图3a为本发明一个实施例的红灯重定位区域示意图；

图3b为当前实施例的绿灯重定位区域示意图；

图4为当前实施例的方法示意图；

图5为当前实施例获取的红灯及绿灯重定位区域的示意图；

图6a为表示红灯的像素点在单个定位周期中的红色强度值；

图6b为图6a所示红色强度值的包络值；

图6c为红灯重定位区域像素点最大亮起持续时间的示意图；

图6d为红灯重定位区域像素点最大熄灭持续时间的示意图；

图6e为红灯重定位区域像素点最大红色强度差值的示意图；

图6f为当前实施例红灯重定位区域进行步骤5像素点删除后得到的示意图；

图7a为表示绿灯的像素点在单个定位周期中的绿色强度值；

图7b为图7a所示绿色强度值的包络值；

图7c为绿灯重定位区域像素点最大亮起持续时间的示意图；

图7d为绿灯重定位区域像素点最大熄灭持续时间的示意图；

图7e为绿灯重定位区域像素点最大绿色强度差值的示意图；

图7f为当前实施例绿灯重定位区域进行步骤5像素点删除后得到的示意图；

图8a为图5所示示意图中绿灯重定位区域内一个背景像素点在单个定位周期中的绿色强度值；

图8b为图8a所示绿色强度值的包络值；

图9为当前实施例红灯或绿灯重定位区域进行步骤6像素点删除后得到的示意图；

图10为当前实施例红灯或绿灯的最终重定位结果示意图。

具体实施方式

为了使本发明更为清楚明了，现结合附图和实施例进行详细的解释说明。

本发明当前实施例中进行重定位的信号灯为较常见的红绿灯，包含一个红灯和一个绿灯。对于红绿灯，本发明当前实施例的方法如图4所示，步骤如下：

步骤1，分别获取各信号灯的重定位区域，所述重定位区域包含完整的信号灯。

当前实施例的交通信号灯为红绿灯，包括用于指示停止的红色指示灯(图3a所示矩形区域A₁所框定的指示灯)及用于指示通行的绿色指示灯(图3b所示矩形区域A₂所框定的指示灯)。各信号灯的原始位置以及指示灯的大小、形状及颜色由用户配置，以红灯为例，原始位置为矩形A₁所表示的区域，重定位区域为矩形B₁所表示的区域。其中重定位区域B₁的宽度和长度分别为矩形区域A₁的宽度和长度的r倍。系数r表示红灯或绿灯可能的偏移范围，根据经验一般设为3。

同理，绿灯的原始位置和重定位区域如图3b中矩形A₂及矩形B₂所示。

步骤2，每一帧中提取各颜色信号灯的重定位区域中像素点对应信号灯颜色的颜色分量强度。

对于图3a中处于原始位置区域A₁的红灯，提取红灯的重定位区域B₁内各像素点的红色强度饱和度，对于图3b中处于原始区域A₂的绿灯，提取绿灯的重定位区域B₂内各像素点的绿色强度。

对于HSV图像或RGB图像，均可以进行像素点的颜色分量强度提取。当前实施例中，为便于计算，各重定位区域分别建立坐标系，以重定位区域左上角的像素点为原点，水平方向为x方向，垂直方向为y方向。各重定位区域位置相对应的像素点具有相同的坐标值，例如红灯的重定位区域B₁中，中心像素点坐标为(x,y)，则在绿灯的重定位区域B₂中，坐标为(x,y)像素点也是中心像素点。在其他实现方式中，也可以直接采用像素点在整个图像中的坐标进行后续步骤的各项计算。

对于HSV图像，设坐标值为(i,j)的像素点HSV分量分别为H(i,j)、S(i,j)及V(i,j)，则在红灯重定位区域中坐标值为(i,j)的像素点的红色分量I_R(i,j)强度为：

同理，在绿灯重定位区域中坐标值为(i,j)的像素点的绿色分量强度I_G(i,j)为：

对于RGB图像，设各点RGB分量为别为R(i,j)、G(i,j)、B(i,j)，则红色强度为：

绿色强度为：

步骤3，对各帧中各像素点所求出来的颜色分量强度求包络。

设第n帧图像单个像素点的颜色分量强度为I(n)，当前包络值为Env(n)，则对于第n+1帧图像，为便于计算，该像素点的包络值可以采用如下公式：

$Env(n+1)=\left\{\begin{array}{c}Env\left(n\right)+1............I\left(n\right)>Env\left(n\right)\\ Env\left(n\right)..................I\left(n\right)=Env\left(n\right)\\ Env\left(n\right)-1............I\left(n\right)<Env\left(n\right)\end{array}\right.$

采用+1或-1的方式，能够使包络大致地反映像素点颜色分量强度的变化情况，这种方式在计算量上较小，效率较高。如果要追求准确度，则可以采用如下公式进行颜色分量强度包络的计算：

$Env(n+1)=\left\{\begin{array}{c}Env\left(n\right)+MAX(1,\frac{I\left(n\right)-Env\left(n\right)}{kE})\mathrm{..........}I\left(n\right)>Env\left(n\right)\\ Env\left(n\right)\mathrm{........................................................}I\left(n\right)=Env\left(n\right)\\ Env\left(n\right)-MAX(1,\frac{Env\left(n\right)-I\left(n\right)}{kE})\mathrm{.................}I\left(n\right)<Env\left(n\right)\end{array}\right.$

其中，kE一般与帧率相等。

初始包络值使用第一帧的颜色分量强度，即Env(1)＝I(1)

求取包络再进行后续步骤是为了保证步骤4中各像素点的亮灭状态稳定并连续。

步骤4，将每一帧中各像素点的红色或绿色强度包络进行二值化。每个定位周期长度为M帧。根据经验值，常见指示灯变换周期一般小于90s。若帧率为F赫兹，则取M＝2*90*F＝180F。定位周期长度选择2倍指示灯变换最长周期(90s)，是为了保证每个定位周期内都有一个完整的红灯周期和绿灯周期。

每个周期中，各像素点包络二值化的门限值均为上一个定位周期中对应的像素点颜色分量强度包络值的均值，例如当前坐标值为(i,j)的像素点包络最大值为MaxEnv(i,j)，最小值为MinEnv(i,j)，则下个定位周期中，该像素点的包络二值化门限值为：

$Gate(i,j)=\frac{MaxEnv(i,j)+MinEnv(i,j)}{2}$

对每帧图像中单个重定位区域坐标为(i,j)的像素点的颜色分量强度包络进行二值化得到第一值及第二值，表示如下：

$D(i,j)=\left\{\begin{array}{c}\mathrm{1............}Env(i,j)>Gate(i,j)\\ \mathrm{0...........}Env(i,j)<=Gate(i,j)\end{array}\right.$

其中，当前实施例中，第一值为1，第二值为0，每个定位周期结束时，记录重定位区域内每个像素点(i,j)该周期内最长的连续亮起和熄灭时间，记为MaxOn(i,j)和MaxOff(i,j)。计算过程如下：

对于任意一个像素点(i,j)，在第n帧时，前n-1帧的连续亮起时间为OnTime(i,j),连续灭灯时间为OffTime(i,j)，当前帧该像素点的二值化结果为D(i,j)，则当前帧进行如下操作：

MaxOn(i,j)＝MAX(MaxOn(i,j),OnTime(i,j))

MaxOff(i,j)＝MAX(MaxOff(i,j),OffTime(i,j))

其中，OnTime(i,j)、OffTime(i,j)、MaxOn(i,j)和MaxOff(i,j)在每个周期开始时置为0。

步骤5，一个周期结束时，统计各像素点的亮灭时间，根据各点的亮灭时间、颜色分量强度波动范围等提取信号灯候选像素点。

首先，删除亮灭时间明显不满足信号灯特点的像素点。设黄灯时间为Xs，则删除最大亮起持续时间或者最大熄灭持续时间小于(X+1)s的点：

其中，矩阵R用来表示候选点筛选结果，R(i,j)＝1表示像素点(i,j)可能是实际信号灯上的点，R(i,j)＝0表示点(i,j)确定不是实际信号灯上的点。

这一步主要用于过滤背景中快速闪过的目标，如车辆尾灯、信号灯中间的黄灯等。

然后，根据颜色分量强度的最大包络值及颜色分量强度的最大包络差值的对剩余的像素点进行筛选。

以红灯为例，其中最大颜色分量强度包络值IMax为：

$IMax=\underset{R(i,j)=1}{MAX}MaxEnv(i,j);$

IMax的该计算公式表示在重定位区域中所存在的所有像素点的最大包络值中找到的最大值，R(i,j)＝1表示在重定位区域中存在的像素点。这一步实质上是找到最大颜色分量强度。

最大包络差值DIMax为：

$DIMax=\underset{R(i,j)=1}{MAX}\left(MaxEnv\right(i,j)-MinEnv(i,j\left)\right)$

DIMax的该计算公式含义为在重定位区域中所存在的所有像素点的最大颜色分量强度的包络差值中找到的最大值，R(i,j)＝1表示在重定位区域中存在的像素点。这一步实质上是找到最大颜色分量强度差值。

以Imax/kI作为第一门限值，以DIMax/kD作为第二门限值，通过最大包络值及最大包络差值删除颜色分量强度不足、或者颜色分量强度变化不够明显的像素点，删除公式如下，其中值为0表示被删除：

其中，第一预设系数kI与第二预设系数kD可为经验值，一般取值为4。

这一步主要用于过滤背景中连续亮灭，但最大颜色分量强度不足或颜色分量强度变化不明显的干扰，如下个路口的信号灯等。

本发明当前实施例在效率与准确度上进行了权衡采用上述像素点的删除。

在其他的实现方式里，可以采用其他的信息替代上述删除方案或在上述删除方案的基础上进行进一步筛选，例如通过指示灯稳定亮起的持续时间StdOnTime及指示灯稳定熄灭的持续时间StdOffTime进行筛选，有：

其中，参数δ控制筛选的严格程度，一般可以取1s，取值越低则筛选严格程度越高。指示灯的稳定亮灭持续时间通过长时间的信号灯识别结果统计得到，也可以由初始化配置得到。

其中根据最大亮起持续时间、最大熄灭持续时间、颜色分量强度最大包络值、颜色分量强度的最大包络差值进行的像素点删除顺序可以互换。

步骤6，根据红色信号灯和绿色信号灯的位置关系不变性对剩余像素点进一步筛选。

对红灯与绿灯的重定位区域完成步骤5的操作后，得到大小相等的矩阵R_Red和R_Gre，分别记录红灯与绿灯的重定位区域内剩余的像素点。

对于实际红灯上的点与绿灯上对应位置的点，存在以下关系：

$\left\{\begin{array}{c}{R}_{\mathrm{Re}d}(i,j)=1\\ R_{Gre}(i,j)=1\end{array}\right.$

相同坐标值表示在各重定位区域中处于相应的位置，而该相应位置关系是保持不变的。

将满足上述关系的点的R_Red(i,j)和R_Gre(i,j)值赋为1，不满足则赋值为0。即

R(i,j)＝R_Red(i,j)×R_Gre(i,j)；

这一步主要用于过滤不对称的像素点，例如信号灯中间黄灯和倒计时数字灯复用产生的干扰点等。其中，步骤6可以在步骤5完成之后进行，也可以穿插到步骤5中间进行，例如考虑到在完成步骤5后再进行步骤6，可能会导致原本属于指示灯上的点由于步骤5中对应像素点的误删产生进一步的误删，因此可以考虑在根据较能准确反映的指示灯特点进行初步删除后进行步骤6，再根据其余的指示灯特点进一步删除。例如较能准确反映的指示灯特点为最大包络差值，在根据最大包络差值进行像素点删除后，通过步骤6的删除得到剩余的像素点，再从剩余的像素点中进行最大包络值、最大亮起持续时间及最大熄灭持续时间的像素点删除。

步骤7，确定实际信号灯位置。

以红灯为例，首先计算各点与实际信号灯中心的相似程度，设定以红灯中的像素点(i,j)为中心且与指示灯尺寸相同的一个匹配框，计算匹配框内剩余像素点的总数：

$W(i,j)=\underset{y\&Element;\&lsqb;j-H/2,j+H/2\&rsqb;}{\underset{x\&Element;\&lsqb;i-W/2,i+W/2\&rsqb;}{\&Sigma;}}{R}_{\mathrm{Re}d}(x,y)$

其中，W表示实际红灯的宽度，即图3a中矩形框A₁的长度；H表示实际红灯的高度，即图3a中矩形框A₁的宽度。W及H的值在初始化过程中根据配置确定。

最终的定位结果，即红灯中心坐标(X_Red,Y_Red)由上述的W(i,j)加权平均得到：

$\left\{\begin{array}{c}{X}_{\mathrm{Re}d}=\frac{\mathrm{\&Sigma;}W(i,j)\&times;i}{\mathrm{\&Sigma;}W(i,j)}\\ Y_{\mathrm{Re}d}=\frac{\mathrm{\&Sigma;}W(i,j)\&times;j}{\mathrm{\&Sigma;}W(i,j)}\end{array}\right.$

如果为了简化计算，也可直接计算得到的各个像素点中选择权重值最大的点作为红灯的中心点，表示如下：

W(X_Red,Y_Red)＝MAX(W(i,j))

在得到中心点之后，再根据指示灯的尺寸，得到指示灯的位置。同理，可以确定绿灯的位置。

为了对本发明实施例处理结果具有更加直观的理解，现参考图5至图10对当前实施例中的若干步骤进行说明：

如图5所示，A₁所示矩形区域表示红灯的原始位置，B₁所示矩形区域表示红灯的重定位区域，A₂所示矩形区域表示绿灯的原始位置，B₂所示矩形区域表示绿灯的重定位区域，C表示在绿灯的重定位区域中的背景像素点。在单个定位周期内，红灯上的一个像素点的红色强度值如图6a所示；绿灯上的一个像素点的绿色强度值如图7a所示，背景像素点的绿色强度值如图8a所示，各颜色分量强度值的示意图中横坐标表示在单个定位周期内的时间点，纵坐标表示像素点在对应时间点上的颜色分量强度值。将各个像素点的颜色分量强度值进行包络值的求取，其中图6a对应的红色强度值得到图6b所示包络值，图7a对应的绿色强度值得到图7b所示包络值，图8a对应背景像素点的绿色强度值得到图8b所示的包络值。其中图6b中所示红灯亮起的持续时间即MaxOn的持续时间为80s，红灯熄灭的持续时间即MaxOff的持续时间为25s；同理，图7b中所示绿灯亮起的持续时间即MaxOn的持续时间为80s，绿灯的熄灭持续时间即MaxOff的持续时间为25s。图8a及图8b中可以看到，背景像素点的绿色强度值及包络值变化周期不满足红灯或绿灯的变化规律。因此该背景像素点会被删除。其中图6b及图7b中处于最大颜色分量强度值与最小颜色分量强度值之间的横线表示用于下一定位周期的包络二值化阈值。

其中，图6b中的最大亮起持续时间MaxOn、最大熄灭持续时间MaxOff及最大包络差值DIMax可以用图6c～图6e来表示，图6c显示单个定位周期内红灯的重定位区域各个像素点的最大亮起持续时间MaxOn，其中颜色越深表示最大亮起持续时间越短；其中图6d显示单个定位周期内红灯的重定位区域各个像素点的最大熄灭持续时间MaxOff，其中颜色越深表示最大熄灭持续时间越长；图6e显示单个定位周期内红灯的重定位区域各个像素点的最大包络差值(即反映最大颜色分量强度差值)DIMax，最大包络差值越小则颜色越浅。同理，图7c显示单个定位周期内绿灯的重定位区域各个像素点的最大亮起持续时间MaxOn，图7d显示单个定位周期内红灯的重定位区域各个像素点的最大熄灭持续时间MaxOff，图7e显示单个定位周期内红灯的重定位区域各个像素点的最大包络差值DIMax。

将红灯重定位区域及绿灯重定位区域进行步骤5的像素点删除之后，分别得到如图6f及图7f所示的示意图，再进行步骤6的删除后得到图9所示的像素点保留结果，对图9中的像素点求中心点，得到图10中矩形框所示的指示灯定位结果。

本发明的交通信号灯重定位方法及装置突出效果在于，采用多帧图像周期性地根据颜色特征进行定位，通过一个周期内像素点的颜色与交通信号灯颜色进行综合的比对，排除不符合交通信号灯颜色变化特点的干扰，将交通信号灯的在一段时间内的特性加以考虑，从而避免了突发干扰对交通信号灯重定位所造成的影响，提高交通信号灯的定位准确度。各像素点对应色度求包络后再运算，降低光照条件突变的影响，例如smear现象；统计一个周期内各像素点的连续亮灭时间，可以有效过滤中间黄灯的干扰。尤其是实际信号灯偏移较大时，现有技术方案难以区分黄灯和红灯；使用红灯和绿灯的位置关系不变性过滤实际信号灯外的点，增强抗干扰性。

Claims (12)

1.一种基于颜色时变特征的交通信号灯重定位方法，用于重定位图像中的交通信号灯，所述交通信号灯含有多个周期性变换并相互配合以显示交通信号的指示灯，其特征在于，所述交通信号灯重定位方法包括：

分别获取各指示灯的重定位区域，各重定位区域包含完整的指示灯；

以若干帧为一个定位周期，对单个定位周期内每帧图像的各指示灯重定位区域计算各像素点与指示灯颜色相对应的颜色分量强度；

在每个定位周期结束时，根据定位周期内计算得到的像素点颜色分量强度删除不满足指示灯特点的像素点，并根据删除后所保留的像素点找到指示灯的中心点，将中心点结合指示灯在图像中显示的尺寸确定当前定位周期结束时指示灯的位置。

2.如权利要求1所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，所述重定位区域获取方式为，在初始图像帧中获取各个指示灯的原始位置，各原始位置为含有对应的完整指示灯的区域，以原始位置中心点作为重定位区域中心，将表示原始位置的区域周向扩大r倍形成的区域作为重定位区域，其中r大于1。

3.如权利要求1所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，所述定位周期为图像中所有待重定位的指示灯完成一次完整变换的周期。

4.如权利要求1所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，还包括：

在得到像素点的颜色分量强度时计算颜色分量强度的包络，对应地在定位周期结束时根据各像素点在定位周期内的包络进行像素点的删除；

根据阈值将像素点的包络进行二值化，其中单个像素点在当前定位周期进行包络二值化的阈值为该像素点在上一个定位周期中颜色分量强度包络最大值与最小值的平均值。

5.如权利要求4所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，进行所述包络二值化得到第一值及第二值，其中第一值大于第二值，对应地，进行保留的像素点需满足的指示灯特点包括最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值，进行像素点的删除包括：

对于重定位区域内存在的各个像素点，统计单个定位周期内第一值的持续时间作为指示灯的亮起持续时间，第二值的持续时间作为指示灯的熄灭持续时间，将最大亮起持续时间或者最大熄灭持续时间小于预设时长的像素点删除；

获取各个像素点的颜色分量强度包络的最大包络值及最小包络值，并将最大包络值与最小包络值相减得到最大包络差值；

设置第一门限值，并删除最大包络值小于第一门限值的像素点；

设置第二门限值，并删除最大包络差值小于第二门限值的像素点。

6.如权利要求5所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，进行保留的像素点所需满足的指示灯特点还包括多个指示灯之间固定的相对位置关系，对应地，从最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值中选择一种或多种指示灯特点进行像素的初步删除后先根据相对位置关系进行像素点删除，再根据其余的指示灯特点进行像素点删除，根据相对位置关系进行像素点删除的方法包括：

获取各个指示灯的重定位区域之间的相对位置关系；

根据相对位置关系，得到各重定位区域中像素点在其他重定位区域中的对应像素点；

对于单个重定位区域中的任意像素点，如果该像素点在其他任一重定位区域中的对应像素点已被删除，则将该像素点删除。

7.如权利要求1所述基于颜色时变特征的交通信号灯重定位方法，其特征在于，对于单个重定位区域，根据删除后所保留的像素点找到指示灯中心点的方法包括：

设定符合指示灯尺寸的匹配框，分别将各个保留的像素点设为候选的指示灯中心，根据计算得到对应匹配框中所保留像素点的个数，所述个数作为所设匹配框中心像素点的权重；

利用各像素点的权重，将重定位区域中所有像素点的坐标进行加权平均，将得到的坐标平均值作为指示灯的中心。

8.一种基于颜色时变特征的交通信号灯重定位装置，用于重定位图像中的交通信号灯，所述交通信号灯含有多个周期性变换并相互配合以显示交通信号的指示灯，其特征在于，所述交通信号灯重定位装置包括：

重定位区域获取单元，分别获取各指示灯的重定位区域，所述重定位区域包含完整的指示灯；

颜色分量强度计算单元，以若干帧为一个定位周期，对单个定位周期内每帧图像的各指示灯重定位区域计算各像素点与指示灯颜色相对应的颜色分量强度；

指示灯中心点定位单元，在每个定位周期结束时，根据定位周期内计算得到的像素点颜色分量强度删除不满足指示灯特点的像素点，并根据删除后所保留的像素点找到指示灯的中心点，将中心点结合指示灯在图像中显示的尺寸确定当前定位周期结束时指示灯的位置。

9.如权利要求8所述基于颜色时变特征的交通信号灯重定位装置，其特征在于，还包括包络计算单元及包络二值化单元，所述包络计算单元在所述颜色分量强度计算单元得到像素点的颜色分量强度时计算颜色分量强度的包络，对应地在定位周期结束时根据各像素点在定位周期内的包络进行像素点的所述删除，所述包络二值化单元根据阈值将像素点的包络进行二值化，其中单个像素点在当前定位周期进行包络二值化的阈值为该像素点在上一个定位周期中颜色分量强度包络最大值与最小值的平均值。

10.如权利要求9所述基于颜色时变特征的交通信号灯重定位装置，其特征在于，所述包络二值化单元进行所述包络二值化得到第一值及第二值，其中第一值大于第二值，对应地，进行保留的像素点需满足的指示灯特点包括最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值，进行像素点的删除包括：

对于重定位区域内存在的各个像素点，统计单个定位周期内第一值的持续时间作为指示灯的亮起持续时间，第二值的持续时间作为指示灯的熄灭持续时间，将亮起持续时间或者熄灭持续时间小于预设时长的像素点删除；

获取各个像素点的颜色分量强度包络的最大包络值及最小包络值，并将最大包络值与最小包络值相减得到最大包络差值；

设置第一门限值，并删除最大包络值小于第一门限值的像素点；

设置第二门限值，并删除最大包络差值小于第二门限值的像素点。

11.如权利要求8所述基于颜色时变特征的交通信号灯重定位装置，其特征在于，所述指示灯中心点定位单元进行保留的像素点所需满足的指示灯特点还包括多个指示灯之间固定的相对位置关系，对应地，所述指示灯中心点定位单元从最大亮起持续时间、最大熄灭持续时间、最大包络值及最大包络差值中选择一种或多种指示灯特点进行像素的初步删除后先根据相对位置关系进行像素点删除，再根据其余的指示灯特点进行像素点删除，根据相对位置关系进行像素点删除的方法包括：

获取各个指示灯的重定位区域之间的相对位置关系；

根据相对位置关系，得到各重定位区域中像素点在其他重定位区域中的对应像素点；

对于单个重定位区域中的任意像素点，如果该像素点在其他任一重定位区域中的对应像素点已被删除，则将该像素点删除。

12.如权利要求8所述基于颜色时变特征的交通信号灯重定位装置，其特征在于，对于单个重定位区域，所述指示灯中心定位单元根据删除后所保留的像素点找到指示灯中心点的方法包括：

设定符合指示灯尺寸及形状的匹配框，分别将各个保留的像素点设为候选的指示灯中心，根据计算得到对应匹配框中所保留像素点的个数，所述个数作为所设匹配框中心像素点的权重；

利用各像素点的权重，将重定位区域中所有像素点的坐标进行加权平均，将得到的坐标平均值作为指示灯的中心。