CN103680176A - 基于位置信息的信号灯识别系统 - Google Patents

Abstract

本申请提供了一种信号灯的数据采集装置和识别装置，其中，信号灯的数据采集装置可包括：控制转动的云台；数据采集模块，设置于所述云台，用于采集所述信号灯的图像；云台控制模块，用于控制所述云台相对于所述信号灯进行转动；监听模块，监听接收与所述数据采集模块相关的位置信息；以及判断模块，至少根据所述数据采集模块面对信号灯的距离判断出需要检测所述信号灯后将所述位置信息传给所述云台控制模块；其中，所述云台控制模块根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述云台相对于所述信号灯的角度以将所述信号灯置于所述数据采集模块的可视范围内。

Description

基于位置信息的信号灯识别系统

技术领域

本申请涉及一种信号灯数据采集装置、基于位置信息的信号灯识别装置和于位置信息的信号灯识别系统。

背景技术

信号灯/交通灯的识别目前主要为图像识别。按照图像识别算法，主要存在训练模型识别和色彩形状阈值匹配算法两种。

在训练模型算法中，通过收集在不同气候能见度，不同光照条件，不同种类、形状信号灯的图像经过训练后建立交通灯识别模型。当需要识别时，将实时图像经过处理后送入模型匹配得出当前的信号灯信息。

在色彩阈值算法中需要根据经验设置固定的色值、明暗、或饱和度等阈值范围，获取实时图像后，对图像进行处理，首先检测出信号灯区域，再根据设定的阈值范围，检出符合条件的交通灯颜色，最后根据颜色形状测算出当前的具体信号灯信息。最终会通过文字，声音或图像手段展示信号等信息，以提示驾驶员，或辅助色彩识别障碍人士。

以上现有的信号灯识别技术，需要将图像采集设备置于比较理想的位置下调试设备，而后进行图像抓取或视频采集，不能在一个相对大的角度中进行图像或视频采集。同时，现有的信号灯识别技术，对于并列式的信号灯，在前车遮挡的情况下，即便有效检测出可视范围内信号灯的信息，由于缺少对车辆位置信息的分析关联，而不能提供有效准确的信号灯信息给使用者，缺少完整的用户体验。此外，现有的信号灯识别技术涉及输入参数较多，具体实施中，在移动设备或车载设备上面临许多实际问题，如光照条件，能见度，图像采集角度，信号灯遮挡或故障导致多灯信号灯显示不全等等。使得现有技术方案不具备在移动设备上实施的条件。

发明内容

一方面，本申请提供了一种信号灯的数据采集装置，可包括：

可控制转动的云台；

数据采集模块，设置于所述云台，用于采集所述信号灯的图像；

云台控制模块，用于控制所述云台相对于所述信号灯进行转动；

监听模块，监听接收与所述数据采集模块相关的位置信息；以及

判断模块，至少根据所述数据采集模块面对信号灯的距离判断出需要检测所述信号灯后将所述位置信息传给所述云台控制模块；

其中，所述云台控制模块根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述云台相对于所述信号灯的角度以将所述信号灯置于所述数据采集模块的可视范围内。

另一方面，本申请还提供了一种基于位置信息的信号灯识别装置，包括：

形状模板匹配模块，基于预定的匹配模板，根据信号灯的图像数据中包含的形状信息，识别出图像中的信号灯图像区域；以及

信号灯状态确定模块，在识别出的信号灯图像区域内获取颜色信息的采样值，其中，当所述信号灯状态确定模块通过确定采样获取的值是否落在预设的不同阈值范围内从而确定出当前的信号灯状态。

此外，本申请还提供了一种包括上述数据采集装置和信号灯识别装置的信号灯识别系统。在一个实施方式中，该系统还可包括用于向用户报告信号灯的状态的报告装置。

此外，本申请的另一个方面还提供了一种调整数据采集模块的方法，可包括：

监听接收与所述数据采集模块相关的位置信息；

至少获取所述数据采集模块面对信号灯的距离信息；

至少根据所述距离信息判断出需要检测所述信号灯；

根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述信号灯相对于所述数据采集模块的角度以将所述信号灯置于所述数据采集模块的可视范围内。

本申请的另一个方面还提供了一种基于位置信息的信号灯识别方法，包括：

基于预定的匹配模板，根据信号灯的图像数据中包含的形状信息，识别出图像中的信号灯图像区域；

在识别出的信号灯图像区域内获取颜色信息的采样值；以及

基于预设的阈值范围和所述采样值确定出当前的信号灯状态。

在一个实施方式中，基于位置信息的信号灯识别方法还可包括：根据当前识别的信号灯相对于其它信号灯的位置和与获得的信号灯显示规则，推理出所述其它信号灯的状态。其中，若当前匹配的信号灯偏左，默认右灯被遮挡；若当前匹配的信号灯偏右，默认左灯被遮挡。

附图说明

图1为根据本申请一个实施方式的基于位置信息的信号灯识别系统。

如图2所示为本申请一个用于确定云台相对于信号灯的仰角和水平面角度的场景示意图。

图3所示为本申请一个实施方式的用于确定台相对于信号灯的仰角和水平面角度的流程图。

图4示出了根据本申请一个实施方式的图像预处理模块。

图5示出了根据本申请一个实施方式的信号灯预测场景图。

图6示出了根据本申请一个实施方式的调整数据采集模块的方法流程图。

图7示出了根据本申请一个实施方式的基于位置信息的信号灯识别方法流程图。

具体实施方式

为了更好地理解本申请，参考附图将对本申请的各个方面做出更详细的说明。可以理解，所述附图和详细说明只是对本申请优选实施方案的描述，而非以任何方式限制本申请的范围。

图1所示为根据本申请一个实施方式的基于位置信息的信号灯识别系统1000。如图1所示，系统1000包括用于采集信号灯的数据图像的数据采集装置100、用于对数据图像进行识别从而确定出信号灯的状态的信号灯识别装置200、以及用于向用户报告信号灯状态的状态报告装置300。

更进一步地，数据采集装置100可例如装在到可移动的车体上，并可包括数据采集模块10、监听模块11、判断模块12和云台控制模块13。

数据采集模块10可例如为摄像头或其它图像捕获单元，并可设置于可控制转动的云台（未示出）上。监听模块11还被配置为监听接收与数据采集模块10相关的GPS信息，具体地，与数据采集模块10相关的GPS信息包括数据采集模块10的经度和纬度信息）。这可以例如在监听模块上设置GPS单元通过获取GPS卫星信号来实现。

判断模块12判断是否启动检测信号灯，当满足启动条件后，将监听模块11获取的GPS信息传给云台控制模块13。在一个实施方式中，当数据采集模块10处在信号灯前，面对信号灯时，判断模块12可根据信号灯的位置信息，即，经纬度信息，和上述监听获取的数据采集模块10的经纬度信息确定出数据采集模块10距离信号灯的直线距离，当该直线距离小于预定的值（例如10m或更小的值）后，判断模块12确定出需要启动对信号灯的检测。云台控制模块13根据信号灯的经纬度信息和数据采集模块的经纬度信息，调整云台相对于信号灯的角度以将信号灯置于数据采集模块10的可视范围内。例如使数据采集模块10（摄像头）对准交通信号灯居中，以便采集最合适的信号灯图像。此外，判断模块12还接着触发数据采集模块10对信号灯进行图像采集。

在一个实施方式中，信号灯的位置信息例如为：1）预先采集的各个路口信号灯经纬度位置或在地图路网数据中的位置；2）信号灯详细信息与类型，如三灯、双灯、悬臂式、立式、倒计时式、长形灯、圆形灯等等；以及3）多个信号灯的颜色顺序等信息。这些位置信息例如可存储在数据采集装置100的存储单元（未示出）或其它数据采集装置100能够存储访问的装置（例如网络服务器的存储单元上）。

在一个实施方式中，云台控制模块13可通过调整云台相对于信号灯的仰角和水平面角度，将信号灯置于数据采集模块10的可视范围内。具体地，如图2所示为本申请一个用于确定云台相对于信号灯的仰角和水平面角度的场景示意图，图3所示为本申请一个实施方式的用于确定台相对于信号灯的仰角和水平面角度的流程图。下面结合图2和3进行详细说明。

在步骤S310中，云台控制模块13首先根据信号灯的位置信息和图像采集模块10的GPS信息确定出数据采集模块10相对于信号灯在第一方向（y）和第二方向（x）上的距离，其中所述第一方向（y）为所述系统的移动方向，所述第二方向（x）垂直于所述第一方向的方向，如图2所示。

接着在步骤S320中，云台控制模块13通过在第一方向（y）和第二方向（x）上的距离（a和b），确定出数据采集模块与信号灯在第一、第二方向形成的投影之间的距离l，即，即以y和x方向为边形成的直角三角形斜边的长度。

在步骤S330中，通过形成的三角形计算出云台相对于信号灯的水平偏转角度θ。

在步骤S340中，云台控制模块通过y方向上的距离和信号灯距离地面的高度h计算得出云台相对于所述信号灯的仰角。

在数据采集装置100随着例如车辆的移动时，云台控制模块13持续调整云台相对于信号灯的水平偏转角度和仰角，将信号灯置于所述数据采集模块10的可视范围中的位置。

再回到图1，信号灯识别装置200可包括图像预处理模块20、形状模板匹配模块21和信号灯状态确定模块22。

图像预处理模块20用于对数据采集装置100采集的信号灯的数据图像进行过滤处理。具体地，如图4所示，图像预处理模块20可包括中心图像截取单元201、背景颜色过滤单元202和形状过滤单元203。由于云台的持续调整，信号灯始终位于图像中心附近区域，中心图像截取单元201截取图像中心附近图像生成新图像，缩小处理范围，以便进行下一步处理。背景颜色过滤单元202对截取的中心图像进行图像形态学上的顶帽(white top hat)操作，去掉图像中色彩变化很小的大块区域，过滤掉天空，马路，楼房等背景信息。形状过滤单元203则依据云台控制模块13传送的与信号灯距离l，摄像头的像素p，以及摄像头的距离像素比s，得出信号灯的像素尺寸大小s*p/l，依据此值过滤图像上的不符合被检测图像像素大小的形状噪声。

形状模板匹配模块21获取信号灯的图像数据与经过图像预处理模块20过滤处理的图像数据，并根据信号灯图像数据中包含的形状信息（例如圆形，条形），在预定的（例如Lab空间中）匹配模板识别出图像中信号灯图像。

信号灯状态确定单元22在识别出的信号灯图像区域内获取例如RGB、HSV或Lab等的颜色信息并对获取的信息进行采样，并确定采样获取的值是否落在不同的预设阈值范围内，如果是，则根据不同的阀值范围确定出当前信号灯状态。可以通过在信号灯区域内选择N个点采集颜色值，通过现有的某种算法算出平均颜色值或者其他表述该区域颜色的数值A，接着判断A是否落入表示红灯的数值范围L内，如满足条件，则确定出当前的信号灯状态为红灯状态。在开启自动检测信号灯后，上述云台控制模块将对云台进行持续调整，以便跟踪信号灯位置，并按照一定的频率不间断检测信号灯状态。若识别出连续检测的信号灯的数量与预置信号灯信息不一致时，则信号灯状态确定单元22还可根据当前识别的信号灯的相对位置和信号灯显示规则，以及存储的信号灯数据，推理出其余灯的状态。具体地，若当前匹配的信号灯偏左，默认右灯被遮挡；若当前匹配的信号灯偏右，默认左灯被遮挡。例如在图5所示的信号灯场景中，识别出一个红色信号灯（虚线箭头所指的信号灯），则根据信号灯相对位置，和信号灯数量，推理出当前直行道为绿色信号。

最后，状态报告装置300用于向用户报告信号灯的状态，从而在汽车自动驾驶、盲人辅助、导航中对驾驶员进行提醒。

以上描述了根据本申请实施方式的信号灯的数据采集装置、信号灯的识别装置。下面参照图6和图7分别描述根据本申请另一个方面的调整数据采集模块的方法600和基于位置信息的信号灯识别方法700。

如图6所示，方法600从步骤S601开始监听接收与述数据采集模块（即摄像头）相关的位置信息，即如之前所述的经纬度信息。在步骤S602中，至少获取所述数据采集模块面对信号灯的距离信息，并在步骤S603中，至少根据距离信息判断出需要检测信号灯。如上所述，可根据信号灯的经纬度信息和上述监听获取的数据采集模块的经纬度信息确定出数据采集模块距离信号灯的直线距离，当该直线距离小于预定的值（例如10m或更小的值）后，确定出需要启动对信号灯的检测。

接着在步骤S604中，根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述信号灯相对于所述数据采集模块的角度以将所述信号灯置于所述数据采集模块的可视范围内。在一个实施方式中，调整的步骤可包括通过调整信号灯相对于数据采集模块的仰角和水平面角度，从而将信号灯置于数据采集模块的可视范围内。调整仰角和水平面角度的方法在图3中进行了详细描述，因此不再赘述。

下面参照图7描述根据本申请一个实施方式的基于位置信息的信号灯识别方法700。在步骤S701中，基于预定的匹配模板，根据信号灯的图像数据中包含的形状信息，识别出图像中的信号灯图像区域。例如可通过上述的形状模板匹配模块21来别出图像中的信号灯图像区域。

接着，在步骤S702中，在识别出的信号灯图像区域内获取颜色信息的采样值，并在步骤S703中基于预设的阈值范围和所述采样值确定出当前的信号灯状态。在步骤S704中，根据当前识别的信号灯相对于其它信号灯的位置和与获得的信号灯显示规则，推理出所述其它信号灯的状态。例如，若当前匹配的信号灯偏左，默认右灯被遮挡；若当前匹配的信号灯偏右，默认左灯被遮挡。关于步骤S702-704的内容，可参见上述关于信号灯状态确定单元22的具体描述。此外，本领域技术人员还应该理解，在一些信号灯应用场景比较简单的情况下，例如信号灯没有遮挡的情况下，步骤S704是不需要的。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施方式的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本申请利用上述描述和实施例进行了具体说明，但本申请并不受此限制。本申请的保护范围由所附权利要求书中的权利要求限定，任何对权利要求中技术特征进行的等同替换，都应属于本申请所限定的范围。

Claims (17)

1.一种信号灯的数据采集装置，包括：

可控制转动的云台；

数据采集模块，设置于所述云台，用于采集所述信号灯的图像；

云台控制模块，用于控制所述云台相对于所述信号灯进行转动；

监听模块，监听接收与所述数据采集模块相关的位置信息；以及

判断模块，至少根据所述数据采集模块面对信号灯的距离判断出需要检测所述信号灯后将所述位置信息传给所述云台控制模块；

其中，所述云台控制模块根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述云台相对于所述信号灯的角度以将所述信号灯置于所述数据采集模块的可视范围内。

2.如权利要求1所述的装置，其中，所述云台控制模块被配置为通过调整所述云台相对于所述信号灯的仰角和水平面角度，将所述信号灯置于所述数据采集模块的可视范围内。

3.如权利要求2所述的装置，其中，所述装置装载到可移动的车体，以及其中，所述云台控制模块被配置为根据所述信号灯的位置信息和所述数据采集模块的位置信息，确定出所述数据采集模块相对于所述信号灯在第一方向（y）和第二方向（x）上的距离，并基于所确定的距离进一步确定出所述水平面角度，其中所述第一方向（y）为所述装置的移动方向，所述第二方向（x）垂直于所述第一方向；以及

所述云台控制模块进一步被配置为通过在所述第一方向（y）方向上的距离和所述信号灯距离地面的高度确定出所述仰角。

4.如权利要求3所述的装置，其中，所述云台控制模块被进一步配置为在移动过程中持续调整所述水平面角度和所述仰角，从而将所述信号灯置于所述数据采集模块的可视范围中的位置。

5.一种基于位置信息的信号灯识别装置，包括：

形状模板匹配模块，基于预定的匹配模板，根据信号灯的图像数据中包含的形状信息，识别出图像中的信号灯图像区域；以及

信号灯状态确定模块，在识别出的信号灯图像区域内获取颜色信息的采样值，其中，当所述信号灯状态确定模块通过确定采样获取的值是否落在预设的不同阈值范围内从而确定出当前的信号灯状态。

6.如权利要求5所述的装置，其中，所述信号灯状态确定单元进一步被配置为根据当前识别的信号灯相对于其它信号灯的位置和预获取的信号灯显示规则，推理出所述其它信号灯的状态。

7.如权利要求6所述的装置，其中，所述预置信号灯信息至少包括以下之一：

预先采集的各个路口信号灯的经纬度位置或在地图路网数据中的位置；

信号灯的类型和数量信息；以及

多个信号灯的颜色顺序信息。

8.如权利要求7所述的装置，其中，所述信号灯状态确定单元被配置为根据以下原则推理出所述其它信号灯的状态：

若当前匹配的信号灯偏左，默认右灯被遮挡；若当前匹配的信号灯偏右，默认左灯被遮挡。

9.如权利要求5-8中任意一项所述的装置，还包括

中心图像截取单元，截取所述图像数据的中心附近图像；

背景颜色过滤单元，对所截取的图像进行过滤以去掉图像中色彩变化很小的大块区域；以及

形状过滤单元，进一步过滤所述图像上的不符合被检测图像像素大小的形状噪声。

10.一种基于位置信息的信号灯识别系统，包括：

如权利要求1-4中任意一项的所述的数据采集装置，用于采集所述信号灯的数据图像；以及

如权利要求5-9中任意一项的所述的信号灯识别装置，用于对所述数据图像进行识别，从而确定出所述信号灯的状态。

11.一种调整数据采集模块的方法，包括：

监听接收与所述数据采集模块相关的位置信息；

至少获取所述数据采集模块面对信号灯的距离信息；

至少根据所述距离信息判断出需要检测所述信号灯；

根据预确定的信号灯位置信息和与所述数据采集模块相关的位置信息，调整所述信号灯相对于所述数据采集模块的角度以将所述信号灯置于所述数据采集模块的可视范围内。

12.如权利要求11所述的方法，所述调整的步骤包括：

通过调整所述信号灯相对于所述数据采集模块的仰角和水平面角度，将所述信号灯置于所述数据采集模块的可视范围内。

13.如权利要求11所述的方法，其中，所述数据采集模块为可移动的，以及

其中，所述调整的步骤包括：

根据所述信号灯位置信息和所述数据采集模块的位置信息，确定出所述数据采集模块相对于所述信号灯在第一方向（y）和第二方向（x）上的距离，其中所述第一方向（y）为所述装置的移动方向，所述第二方向（x）垂直于所述第一方向；

基于所确定的距离进一步确定出所述水平面角度；以及

通过在所述第一方向（y）方向上的距离和所述信号灯距离地面的高度确定出所述仰角。

14.如权利要求12所述的方法，其中，所述调整的步骤包括：

在所述数据采集模块的移动过程中持续调整所述水平面角度和所述仰角，将所述信号灯置于所述数据采集模块的可视范围中的位置。

15.一种基于位置信息的信号灯识别方法，包括：

基于预定的匹配模板，根据信号灯的图像数据中包含的形状信息，识别出图像中的信号灯图像区域；

在识别出的信号灯图像区域内获取颜色信息的采样值；以及

基于预设的阈值范围和所述采样值确定出当前的信号灯状态。

16.如权利要求15所述的方法，还包括：

根据当前识别的信号灯相对于其它信号灯的位置和与获得的信号灯显示规则，推理出所述其它信号灯的状态。

17.如权利要求16所述的方法，其中，若当前匹配的信号灯偏左，默认右灯被遮挡；若当前匹配的信号灯偏右，默认左灯被遮挡。

Images