CN107784844B - 智能交通信号灯系统及其道路环境检测方法 - Google Patents

Abstract

本发明提供了一种智能交通信号灯系统及其道路环境检测方法，该智能交通信号灯系统包括：摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；处理器，用于在所述摄像头模组采集的图像或视频中确定标志物的位置，通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更。本发明实现了道路环境的自动检测，降低了人力成本且提高了实时性。

Description

智能交通信号灯系统及其道路环境检测方法

【技术领域】

本发明涉及图像处理技术领域，特别涉及一种智能交通信号灯系统及其道路环境检测方法。

【背景技术】

交通信号灯是解决十字路口通行问题最重要的钥匙，无论是安全性问题还是通行效率问题，都关乎交通信号灯。在未来的自动驾驶和车联网时代，交通信号灯的智能化程度将具有更加重要的意义。

目前的交通信号灯仅作为一个单纯的“执行器”节点存在，根据预先编定的程序或者控制器传来的指令点亮相应颜色的灯。交通信号灯本身的集成度很低，道路环境的变化往往需要人为检测。例如，当某条道路的车道线发生变化、某个位置出现施工、某个交通设施位置发生变化等等，都需要人到现场确定后进行上报，一方面人力成本较高，另一方面，滞后性也较强。

【发明内容】

有鉴于此，本发明提供了一种智能交通信号灯系统及其道路环境检测方法，以便于降低检测成本，提高实时性。

具体技术方案如下：

本发明提供了一种智能交通信号灯系统，该智能交通信号灯系统包括：

摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；

处理器，用于在所述摄像头模组采集的图像或视频中确定标志物的位置，通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更。

根据本发明一优选实施方式，该系统还包括：

网络通信装置，安装于所述壳体内部；

所述处理器在确定道路环境发生变化时，通过所述网络通信装置向管理设备进行上报。

根据本发明一优选实施方式，所述处理器在所述摄像头模组采集的图像或视频中确定标志物的位置时，具体执行：

对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理；

在融合处理后得到的图像或视频图像中确定标志物的位置。

根据本发明一优选实施方式，所述处理器在进行所述融合处理时，具体执行：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

根据本发明一优选实施方式，所述处理器在所述摄像头模组采集的图像或视频中确定标志物的位置时，从所述图像或视频中提取图像元素，将提取的图像元素与标志物特征进行匹配，或者输入基于标志物特征训练的标志物识别模型，以从所述图像或视频中识别标志物。

根据本发明一优选实施方式，所述处理器在通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更时，具体执行：

将确定的标志物位置与标志物的基准位置进行比对，判断是否存在标志物的位置与对应的基准位置的偏差超过预设阈值；

如果是，则确定道路环境发生变更。

根据本发明一优选实施方式，所述处理器还用于：

若在所述摄像头模组采集的图像或视频中超过预设时长均检测不到某标志物，而其他多数标志物的位置与对应基准位置的偏差未超过预设阈值，则确定所述某标志物发生变更；或者，

若在所述摄像头模组采集的图像或视频中某标志物不存在对应的基准位置，则确定该标志物发生变更。

根据本发明一优选实施方式，所述处理器还用于：

若存在标志物的位置与对应的基准位置的偏差超过预设阈值，则确定各标志物相对于对应的基准位置的偏移量；

判断各标志物相对于对应的基准位置的偏移量是否均由所述摄像头模组引起，如果是，则确定所述摄像头模组发生变更；否则，确定与对应基准位置的偏差超过预设阈值的标志物发生变更。

根据本发明一优选实施方式，所述处理器在判断各标志物相对于对应的基准位置的偏移量是否均由所述摄像头模组引起时，具体执行：

依据与对应的基准位置的偏差超过预设阈值的各标志物的位置反推出摄像头模组的位置和朝向，若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向不一致，则确定各标志物相对于对应的基准位置的偏移量均由所述摄像头模组引起。

根据本发明一优选实施方式，所述标志物包括以下至少一种：地面交通标识、交通设施和交通警示物。

本发明还提供了一种智能交通信号灯系统的道路环境检测方法，该方法包括：

获取包括至少一个摄像头的摄像头模组采集的图像或视频；

在所述图像或视频中确定标志物的位置；

通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更；

其中所述摄像头模组安装于智能交通信号灯壳体上。

根据本发明一优选实施方式，该方法还包括：

在确定道路环境发生变化时，通过网络向管理设备上报。

根据本发明一优选实施方式，在所述图像或视频中确定标志物的位置包括：

对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理；

在融合处理后得到的图像或视频图像中确定标志物的位置。

根据本发明一优选实施方式，对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理包括：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

根据本发明一优选实施方式，在所述图像或视频中确定标志物的位置包括：

从所述图像或视频中提取图像元素，将提取的图像元素与标志物特征进行匹配，或者输入基于标志物特征训练的标志物识别模型，以从所述图像或视频中识别标志物。

根据本发明一优选实施方式，所述通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更包括：

将确定的标志物位置与标志物的基准位置进行比对，判断是否存在标志物的位置与对应的基准位置的偏差超过预设阈值；

如果是，则确定道路环境发生变更。

根据本发明一优选实施方式，该方法还包括：

若在所述摄像头模组采集的图像或视频中超过预设时长均检测不到某标志物，而其他多数标志物的位置与对应基准位置的偏差未超过预设阈值，则确定所述某标志物发生变更；或者，

若在所述摄像头模组采集的图像或视频中某标志物不存在对应的基准位置，则确定该标志物发生变更。

根据本发明一优选实施方式，该方法还包括：

若存在标志物的位置与对应的基准位置的偏差超过预设阈值，则确定各标志物相对于对应的基准位置的偏移量；

判断各标志物相对于对应的基准位置的偏移量是否均由所述摄像头模组引起，如果是，则确定所述摄像头模组发生变更；否则，确定与对应基准位置的偏差超过预设阈值的标志物发生变更。

根据本发明一优选实施方式，所述判断各标志物相对于对应的基准位置的偏移量是否均由所述摄像头模组引起包括：

依据与对应的基准位置的偏差超过预设阈值的各标志物的位置反推出摄像头模组的位置和朝向，若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向不一致，则确定各标志物相对于对应的基准位置的偏移量均由所述摄像头模组引起。

根据本发明一优选实施方式，所述标志物包括以下至少一种：地面交通标识、交通设施和交通警示物。

由以上技术方案可以看出，在本发明通过安装于智能交通信号灯的摄像头模组采集图像或视频，将所采集图像或视频中标志物的位置与标志物的基准位置进行比对，以确定道路环境是否发生变更。这种方式实现了道路环境的自动检测，降低了人力成本且提高了实时性。

【附图说明】

图1为本发明实施例提供的智能交通信号灯的结构示意图；

图2为本发明实施例提供的各组成单元的模块化连接关系图；

图3为智能交通信号灯的侧视形状示意图；

图4为本发明实施例提供的一种图层叠加的示意图；

图5为本发明实施例提供的一种信号灯状态叠显装置的实现示意图；

图6为本发明实施例提供的再一种信号灯状态叠显装置的实现示意图；

图7为本发明实施例提供的对交通场景数据进行处理的示意图；

图8为本发明实施例提供的道路环境检测的流程图。

附图标记：

壳体 01 信号灯显示装置 02 摄像头模组 03

信号灯状态叠显装置 04 存储装置 05

处理器 06 网络通信装置 07 灯罩 08

反光板 09 感光探头 10

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本文中的“多个”指的是两个或者两个以上。

图1为本发明实施例提供的智能交通信号灯系统的结构示意图，如图1中所示，该智能交通信号灯系统可以包括壳体01、信号灯显示装置02、摄像头模组03和信号灯状态叠显装置04，还可以进一步包括：存储装置05、处理器06和网络通信装置07。其模块化的连接关系可以如图2中所示。

壳体01是智能交通信号灯外形的主要基础，即壳体形状主要决定智能交通信号灯的形状。其是立体结构，图1中示出的是壳体01的前面板，其侧视形状可以如图3中所示，3中还示出了灯罩08，即位于信号灯上方，用于信号灯防雨防尘等功能的灯罩，该灯罩08为现有的单元，本发明对于形状并不加以限制。为了不阻碍其他组成单元的正常工作，该灯罩08可以采用透明材质。

信号灯显示装置02是指的是信号灯本体，其安装于壳体01的前面板。其中，安装于壳体01的前面板指的是从壳体01的前面板能够看到信号灯所指示的信息，但并不排除信号灯本体位于壳体01的内部(其他组成单元也类似，后续不再赘述)，如图3所示。本发明实施例中，信号灯显示装置至少包括指示禁止通行的信号灯和允许通行的信号灯。可以采用最常用的颜色指示方式，即红色指示禁止通行，绿色指示允许通行，还可以进一步采用黄色指示警示。当然，也可以采用图标的方式，例如圆型图标指示允许通行，×型图标指示禁止通行，或者颜色结合图标的方式，等等。

对于信号灯的排列方式本发明同样不加以限制，例如可以是如图1所示的横向排列，也可以是纵向排列。另外，信号灯的数量可以是一个，也可以是多个。以红绿灯为例，可以是分别显示红、黄、绿的三个信号灯，如图1中所示。也就是说，存在三个信号灯，一个信号灯在亮的状态下仅能够显示红色，一个信号灯在亮的状态下仅能够显示绿色，一个信号灯在亮的状态下仅能够显示黄色，这三个信号灯在处理器06的控制下切换亮或不亮的状态。正常状态下，同时仅有一个信号灯处于亮的状态。还可以是另外一种实现方式，即信号灯显示装置02仅包含一个信号灯，该信号灯能够显示红、黄、绿三种颜色，其在处理器06的控制下进行颜色切换。

除了上述的指示禁止通行、允许通行、警示的信号灯之外，还可以包含指示其他内容的信号灯，例如指示允许左转、禁止左转、允许右转、禁止右转、等待时长等等内容的信号等。

摄像头模组03安装于壳体01上，例如图1中所示，安装于壳体01的前面板，可以包括一个摄像头，也可以包括多个摄像头，图1中以三个摄像头为例，且作为一种优选的实施方式，这三个摄像头可以呈品字形排列。摄像头模组03主要负责交通路况的采集，例如车辆行驶状况、道路状况等等。通过多个同一朝向的摄像头，能够获取更好的交通场景感知能力。

单目摄像头进行静态拍摄时，通常无法建立图像的三维立体感，而双目摄像头通过比对同一物体在两个独立摄像头中成像的细微差别，可以提供立体视觉能力，从而感知图像的三维立体信息。当摄像头数目继续增加时，例如三目摄像头，通过灵活处理多个摄像头之间的叠加、单独处理关系，可以更加灵活地配置成像场景，在更好的立体感和更广的成像角度间进行取舍，从而达到均衡。此外，通过控制不同摄像头之间的曝光度等成像参数，可以在不同环境光照下确保至少有一个摄像头曝光清晰。通过叠加多个摄像头的拍摄图像，可以实现超分辨率或者超动态范围的成像。这些都可以提高拍摄的图像质量，以利于后续识别、分析算法以及证据保存。

信号灯状态叠显装置04安装于壳体01内部或者壳体01的前面板，其功能是用于将信号灯的状态叠加入摄像头模组03采集的图像或视频中，以形成交通场景数据。

在传统的实现方式中，为了抓拍诸如车辆违章，需要精细调试抓拍摄像头的位置，确保抓拍车辆违章的同时，交通信号灯也能够落入镜头之中且成像清晰，这就增加了抓拍摄像头安装的复杂度。而本发明中，摄像头模组03和信号灯显示装置02设置于一处，即都在壳体01的前面板设置，通过信号灯状态叠显装置04将信号灯状态叠加入摄像头模组03采集的图像或视频中。信号灯状态叠显装置04的实现方式可以采用但不限于以下几种方式：

第一种方式：电信号反馈的方式。信号灯状态叠显装置04可以从处理器06获取信号灯的状态。由于信号灯的状态由处理器06控制，因此从处理器06处可以获得信号灯状态，例如通过处理器06向信号灯显示装置02发送的控制信号就能够获知信号灯的状态。甚至，信号灯状态叠显装置04可以设置于处理器06，由处理器06完成其功能。由处理器06生成包含信号灯状态的图层，并将该图层与摄像头模组03中至少一个摄像头拍摄到的图像或视频图像进行叠加。

生成的包含信号灯状态的图层可以与摄像头拍摄到的图像或视频图像的尺寸一致，为了保证生成的包含信号灯状态的图层与摄像头拍摄到的图像或视频进行叠加时不影响摄像头拍摄到的图像或视频的显示，可以将该图层中除了信号灯状态部分的其他区域设置为透明。该图层中信号灯状态的显示方式可以多种多样，本发明对此并不加以限制。如图4所示，将摄像头拍摄的图像与交通灯状态图层进行叠加后，形成的图像中既包含摄像头采集的交通环境信息，也包含信号灯状态信息。

第二种方式：光学反射的方式。信号灯状态叠显装置04可以为光学反射元件，例如凸面镜，通过光学反射的方式将信号灯的状态反射入摄像头模组03中的至少一个摄像头，也就是说，保证摄像头模组03中的至少一个摄像头能够拍摄到信号灯状态叠显装置04反射的信号灯状态。图2以该实现方式为例。

举一个实施例：如图5所示，在壳体前面板上信号灯的上方，可以设置反光板09。通过调整放光板至合适的角度，反光板将信号灯的状态反射至摄像头的拍摄视野中，成像至摄像头拍摄的特定区域内。可以这么理解，那个信号灯处于亮的状态，那么其发射的光就能够被反射至摄像头，摄像头拍摄到的图像中就能够包含该处于亮的状态的信号灯的亮度信息。

第三种方式：状态探测和图层叠加的方式。即信号灯状态叠显装置04可以为感光探头、电流探测器或电压探测器等。以感光探头为例，如图6所示，可以设置三个感光探头10，分别用于检测三个信号灯的亮或灭状态，然后将检测到的状态提供给处理器，由处理器06生成包含信号灯状态的图层，并将该图层与摄像头拍摄到的图像或视频图像进行叠加。其中关于图层的生成与叠加与上述第一种方式类似，在此不做赘述。

电流探测器可以通过检测信号灯的电流状况来确定信号灯状态，电压探测器可以通过检测信号灯的电压状况来确定信号灯状态。

第四种方式：次级显示的方式。信号灯状态叠显装置04可以为一组微缩的信号灯显示装置，即可以将信号灯显示装置02作为主信号灯显示装置，信号灯状态叠显装置04为次级信号灯显示装置，该次级信号灯显示装置与主信号灯显示装置的信号灯状态保持一致。将该次级信号灯显示装置设置于摄像头模组03能够拍摄到的位置即可，这样摄像头模组03拍摄到的图像中既包含交通环境又包含次级信号灯显示装置。

次级信号灯显示装置的状态可以由处理器统一控制，即由处理器对主信号灯显示装置和次级信号灯显示装置的状态进行统一控制，从而使两者状态保持一致。也可以通过诸如感光探头或者电流探测器或电压探测器等方式，探测主信号灯显示装置的状态，然后提供给次级信号灯显示装置，以使其与主信号灯显示装置的状态保持一致。

存储装置05可以安装于壳体01的内部，用于存储交通场景数据，还可以用于存储摄像头模组03采集的图像或视频，处理器06的分析数据、检测数据等等。其中存储装置05可以是诸如U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)等各种存储介质。

处理器06可以安装于壳体01的内部，向信号灯显示装置02发送控制指令，以及处理交通场景数据，例如利用交通场景数据进行违章检测、道路分析等等。

网络通信装置07可以安装于壳体01的内部，负责实现远程设备与处理器06之间的数据通信。例如，接收远程设备的控制指令，将该控制指令发送给处理器06，由处理器06根据该控制指令实现对信号灯显示装置02或者摄像头模组03等的控制，从而实现对智能交通信号灯的远程控制、数据查询。再例如，将处理器06的分析结果、检测结果或者存储装置05存储的数据、当前信号灯的状态等，发送给远程设备。从而实现智能交通信号灯的数据分享、报告上传等。

网络通信装置07可以采用有线或者无线的方式接入网络，网络类型可以包括但不限于局域网(LAN)、广域网(WAN)、电话网络如公共交换电话网(PSTN)、因特网、或上述这些网络的结合等。

除此之外，智能交通信号灯还可以包含支撑架或支撑杆，用于支撑交通信号灯的壳体01，以使其固定于支撑架或支撑杆上，还可以包含给各组成单元进行供电的供电装置，等等其他已有组成单元，本发明对这些已有组成单元并不加以限制。

上面已经提及，处理器06可以对交通场景数据进行处理，在本发明实施例中，处理器06对交通场景数据进行的处理可以如图7中所示，包括但不限于以下内容：

1)对摄像头模组采集的图像或视频的各帧图像进行融合处理。也就是说，对多个摄像头在同一时刻采集的图像进行融合处理。其中进行的融合处理可以采用但不限于以下几种方式(以摄像头采集的图像为例，视频中同一帧图像的处理类似)：

第一种方式，标记两个以上摄像头采集的图像的重合部分，基于该标记将多个摄像头采集的图像进行拼接，形成一幅广角宽幅图像。这种图像能够检测到更广阔区域内的车辆行为和道路状况等。

第二种方式，提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

以品字形摄像头模组为例，可以进行双目成像融合，即使用品字形中横向排列的两个摄像头，提取成像重合部分，重合部分中包含两个摄像头对同一空间物理点拍摄的位置，两个摄像头对同一空间位置点拍摄的位置偏差称为视差，利用该视差就能够三维几何信息，即包含深度信息的窄视角立体图像。这样的图像很容易检测正前方的三维物体运动，从而更加准确地进行违章检测、道路环境检测等。

也可以进行三目成像融合，即同时对三个摄像头提取成像重合部分，利用三个摄像头对同一空间位置点的视差形成包含深度信息的窄视角立体图像。这样形成的画面尺寸较小，即视角较小，但物体深度信息更加准确，可用户检测正前方远处道路的路况信息等。

当然，除了上述融合方式之外，还可以采用其他方式对摄像头模组采集的图像或视频中同一帧图像进行融合。或者，也可以不进行图像融合，直接输出各摄像头独立采集的图像或视频，这样的图像或视频可为系统稳定工作提供足够的冗余性。

2)进行图像剪裁和/或分辨率的调整。

对于交通场景数据(可以是图像融合后的数据，若不做图像融合则可以是原始的交通场景数据)，可以根据实际使用需求进行图像剪裁，保留所关注区域的图像。例如若交通场景数据用于后续违章检测，则可以进行图像剪裁仅保留目标违章区域的图像。这样可以降低图像总像素，缓解存储和后续的计算压力。

另外，也可以根据实际使用需求，对图像进行分辨率调整，例如若后续进行道路环境检测，则可以适当降低图像分辨率，只要能够保证道路元素的检测即可。降低图像分辨率的方式可以采用诸如降采样的方式，这样同样可以降低图像总像素，缓解存储和后续的计算压力。

除了支持图像剪裁和分辨率调整之外，可以基于实际的应用需求对图像剪裁和分辨率调整有更进一步的优化处理：

a)由于本发明实施例提供的系统可以应用与多种应用场景，该部分将在后续第3)方面进行详述。对于不同的应用场景，对于目标区域以及分辨率的需求并不相同。对于现有技术中的实现方式而言，对于诸如路况分析和违章抓拍的分辨率是不同的，因此需要针对路况分析和违章抓拍分别设置摄像头，两者采用不同的分辨率，且两种摄像头不能混用，即用于路况分析的摄像头因其分辨率较低并不能用于违章抓拍，违章抓拍的摄像头若用于路况分析则会造成计算量很大。

但采用本发明实施例提供的系统，摄像头模组可以采用高分辨率的摄像头，对于摄像头采集到的图像，可以根据具体的应用场景对分辨率的需求，对图像进行不同分辨率的调整，然后分别存储不同分辨率的图像以用于后续不同的应用场景。这样采用一组摄像头就可以满足上层的多种应用需求。

同样，诸如路况分析和违章抓拍对应的目标区域并不相同，路况分析对应的目标区域通常是道路，而违章抓拍通常在路口。在现有技术中需要在不同地方设置分别设置摄像头，各摄像头专门用于拍摄道路和路口。而通过本发明实施例提供的系统，通过一组摄像头可以拍摄一个广阔的区域，然后通过对具体目标区域的剪裁，分别保留各目标区域对应的图像，以用于后续不同的应用场景。这样采用一组摄像头就可以满足上层的多种应用需求。

b)在进行图像裁剪时，可以基于特征识别的方式对目标区域进行剪裁，从而剪裁出不规则形状的目标区域。这种方式能够使得在后续应用中的分析和检测更加精确，降低计算量。

c)对于摄像头模组而言，前面已经提到，处理器可以通过图像融合的方式得到包含深度信息的立体图像。由于在立体图像中越深的部分物体越小，往往需要较高的分辨率才能够保证其清楚，越浅的部分物体越大，往往不需要很高的分辨率。基于这种特征，在本发明实施例中可以对于一副图像中不同的部分采用不同的分辨率，越深的部分保留较高的分辨率，越浅的部分采用较低的分辨率。

另外，其中的深度信息可以作为特征提取出来，供后续上层具体应用时使用。例如进行路况分析，判断道路是否拥堵，拥堵多远，等等。

c)可以依据三维图像中对象的深度信息，可以作为特征提取出来做后续图像的具体应用处理，例如进行路况分析。诸如道路是否拥堵，拥堵多远，等等。

3)利用交通场景数据进行分析和检测，属于具体的应用层面。可以包括但不限于以下几种应用：

进行车辆违章检测，通过检测车辆的位置和运动，判断其是否出现违章停靠、闯红灯、逆行等行为。

对目标车辆进行车牌识别，例如对违章车辆、在逃罪犯所驾驶的车辆等等进行车牌识别，其中可能会涉及到文字识别技术、图像识别技术等。

检测到违章行为后，生成违章照片。例如检测到违章车辆后，调取违章状态时的图像，以生成违章照片，该违章照片中通常包含违章车辆、违章行为、时间、信号灯状态等。

进行路况分析。例如检测前方各条车道的车辆数量、通过十字路口的速度、是否有影响交通意外的事故发生，等等。

进行道路环境检测，即检测前方道路元素是否发生变化。其中道路元素可以包括诸如：车道线、通行箭头、人行道等地面交通标志，电线杆、路灯杆、交通标志牌等交通设施，交通锥筒、施工警示牌、警灯等交通警示物。

在进行上述处理后，处理器06可以依据处理结果生成分析报告或检测报告，在受到触发后或者定时地，通过网络通信装置07将报告上报给远程设备。其中受到触发可以是例如通过网络通信装置07接收到来自远端设备的指令，或者通过网络通信装置07获取到其他网络节点(例如其他位置的智能交通信号灯)的状态且该状态满足预定规则，等等。

上述的远程设备可以是管理设备，可以是监控设备，也可以是其他智能交通信号灯。

下面对其中道路环境检测的过程进行介绍，在该过程中，处理器06在摄像头模组03采集的图像或视频中确定标志物的位置，通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更。具体如图8所示，该过程可以包括以下步骤：

在801中，获取包括至少一个摄像头的摄像头模组采集的图像或视频。

在本发明实施例中，对道路环境的检测可以是周期性执行的。即每个预设周期，就从存储装置05中获取本周期内摄像头模组采集的图像或视频。

在802中，在摄像头模组采集的图像或视频中确定标志物的位置。

在本发明实施例中，选取的标志物应该是能够体现道路环境的物体，例如地面交通标识、交通设施和交通警示物等。其中地面交通标识可以是诸如车道线、通行箭头、斑马线等等。交通设施可以是电线杆、路灯杆、交通标志牌等。交通警示物可以是诸如交通锥筒、施工警示牌、警灯等。

选择的标志物数量越多，对道路环境的检测全面性越高，通常会选取10个以上的标志物。标志物的选取可以采用人工方式，也可以从本地段的高精地图中选取。

对于预先选取出的标志物，可以预先保存标志物特征，或者预先利用标志物特征训练标志物识别模型。在本步骤中，可以将提取的图像元素与标志物特征进行匹配，从而识别标志物。或者，可以将提取的图像元素输入标志物识别模型，从而识别标志物。其中，图像元素可以是利用边缘检测等方式检测到的物体轮廓，利用颜色识别方式识别出的物体颜色，各颜色部分的大小或比例，利用文字识别技术识别出的文字等等。标志物特征也可以是诸如标志物轮廓、颜色、各颜色部分的大小或比例、包含的文字等特征信息。

在识别出标志物后，确定标志物的位置。标志物的位置可以采用中心点的位置，也可以采用轮廓的位置，也可以采用其他方式作为标志物的位置。

在803中，通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更。

标志物的基准位置也可以从摄像头模组采集的图像或视频图像中确定，可以将某个指定时间点的图像或视频图像作为基准图像，将基准图像中标志物的位置作为基准位置。例如在智能交通信号灯安装和调试完毕后，从此时摄像头模组采集的图像或视频图像中，提取标志物并记录其位置作为标志物的基准位置。

在本步骤中，将确定出的各标志物的位置与其对应的基准位置进行比对，即判断标志物的位置与其对应的基准位置的偏差是否超过预设阈值，如果超过预设阈值，则说明该标志物的位置发生变化。这里的预设阈值是为了适应计算误差，位置偏差在误差范围内，则认为标志物的位置未发生变化；位置偏差超出误差范围，则认为标志物的位置发生变更。

若不存在位置发生变化的标志物，则认为道路环境未发生变更。

若存在位置发生变化的标志物，则可以认为道路环境发生变更。但该变更可能有两种可能，一种是前方道路上有道路元素发生变更，另一种是交通信号灯本身发生变更。下面可以进一步对这两种情况进行识别：

若摄像头模组采集的图像或视频中超过预设时长均检测不到某标志物，而其他多数标志物的位置未发生变化，也就是说，标志物消失了。其中预设时长的设置是为了区分标志物消失和标志物被遮挡的情况。若标志物被遮挡，则是暂时性的检测不到，若长时间仍检测不到标志物，则说明该标志物消失。若标志物超过预设时长检测不到，而其他多数标志物的位置未变化，则说明该标志物发生了变更。可以针对该标志物的变更进行上报。

这种情况可以对道路施工、事故等的恢复进行很好的上报。例如施工警示牌、交通锥筒等标志物消失，则可以认为施工完成道路恢复，或者事故解决道路恢复。也可以对道路通行属性的变更进行很好的上报，例如某道路的右转箭头消失，则说明该道路禁止右转。

若存在标志物的位置发生变化，则可以确定各标志物相对于对应的基准位置的偏移量。判断各标志物相对于对应的基准位置的偏移量是否均由摄像头模组引起，也就是说，这些标志物的位置偏移是否可以由摄像头模组的位置或朝向的变更来解释。如果是，则可以确定是摄像头模组发生变更；否则可以确定是位置发生变化的标志物发生变更。

其中，在判断各标志物相对于对应的基准位置的偏移量是否均由摄像头模组引起时，可以依据位置发生变化的各标志物的位置反推出摄像头模组的位置和朝向，若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向不一致，则确定各标志物相对于对应的基准位置的偏移量均由摄像头模组引起。若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向一致，则可以说明摄像头模组位置和朝向未发生变更，而是标志物本身发生变更。其中，上述的依据位置变化的各标志物的位置反推出摄像头模组的位置和朝向的方式，本发明并不加以限制，可以采用现有技术中的任何方式。

这种情况可以对车道属性的变更进行很好的检测，例如车道线、车辆停止线等位置的重绘。也可以对交通设施的位置变更进行很好的检测，例如电线杆的位置变更、交通标志牌的位置变更等等。

还有一种情况，即识别出新的标志物，例如是基准图像中没有的，即不存在该标志物对应的基准位置，那么也说明该标志物发生变更。例如在道路上新增添了施工警示牌，则可以说明道路在施工。对于新增交通警示物的情况，可以进一步结合场景分析的方法，判断该交通警示物周围的车辆运动情况，从而确定可通行区域和无法通行区域，并将可通行区域和无法通行区域的信息进行上报。也就是说，这种情况能够对影响通行的突发区域进行很好的检测。

在804中，将道路环境发生变更的信息通过网络上报给管理设备。

若确定出标志物发生变更，则可以将发生变更的标志物信息以及变更信息(消失、新增或位置变化)通过网络上报给管理设备。

若确定出摄像头模组(即智能交通信号灯的位置或朝向)发生变更，则可以将摄像头模组发生变更的信息通过网络上报给管理设备。

管理设备接收到上报的信息后，可以依据上报的信息进行相应的维修、调试等等。例如，若确定出摄像头模组发生变更，则管理人员可以去当地查看交通信号灯的位置或朝向是否需要调整。若管理人员认为不需要调整，则可以利用当前位置或朝向的交通信号灯上摄像头模组采集的图像或视频图像确定并更新标志物的基准位置。或者，若管理人员对交通信号灯的位置或朝向进行了调整，则可以利用调整后的交通信号灯上摄像头模组采集的图像或视频图像确定并更新标志物的基准位置。

另外，管理设备还可以将接收到的各智能交通信号灯上报的道路环境信息进行整合，并提供给其他应用服务器。诸如提供给地图类应用服务器，以便地图类应用服务器进行地图数据的更新、路况的更新或者发布临时通知等。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种智能交通信号灯系统，其特征在于，该智能交通信号灯系统包括：

摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；

处理器，用于在所述摄像头模组采集的图像或视频中确定标志物的位置，通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更；其中若存在标志物的位置与对应的基准位置的偏移量超过预设阈值，则依据与对应的基准位置的偏差超过预设阈值的各标志物的位置反推出摄像头模组的位置和朝向，若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向不一致，则确定各标志物相对于对应的基准位置的偏移量均由所述摄像头模组引起。

2.根据权利要求1所述的智能交通信号灯系统，其特征在于，该系统还包括：

网络通信装置，安装于所述壳体内部；

所述处理器在确定道路环境发生变化时，通过所述网络通信装置向管理设备进行上报。

3.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述处理器在所述摄像头模组采集的图像或视频中确定标志物的位置时，具体执行：

对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理；

在融合处理后得到的图像或视频图像中确定标志物的位置。

4.根据权利要求3所述的智能交通信号灯系统，其特征在于，所述处理器在进行所述融合处理时，具体执行：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

5.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述处理器在所述摄像头模组采集的图像或视频中确定标志物的位置时，从所述图像或视频中提取图像元素，将提取的图像元素与标志物特征进行匹配，或者输入基于标志物特征训练的标志物识别模型，以从所述图像或视频中识别标志物。

6.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述处理器还用于：

若在所述摄像头模组采集的图像或视频中超过预设时长均检测不到某标志物，而其他多数标志物的位置与对应基准位置的偏差未超过预设阈值，则确定所述某标志物发生变更；或者，

若在所述摄像头模组采集的图像或视频中某标志物不存在对应的基准位置，则确定该标志物发生变更。

7.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述处理器还用于：

若反推出的摄像头模组的位置和朝向与摄像头模组原有的位置和朝向一致，则确定与对应基准位置的偏差超过预设阈值的标志物发生变更。

8.根据权利要求1至7任一权项所述的智能交通信号灯系统，其特征在于，所述标志物包括以下至少一种：地面交通标识、交通设施和交通警示物。

9.一种智能交通信号灯系统的道路环境检测方法，其特征在于，该方法包括：

获取包括至少一个摄像头的摄像头模组采集的图像或视频；

在所述图像或视频中确定标志物的位置；

通过将确定的标志物位置与标志物的基准位置进行比对，确定道路环境是否发生变更；

其中若存在标志物的位置与对应的基准位置的偏移量超过预设阈值，则依据与对应的基准位置的偏差超过预设阈值的各标志物的位置反推出摄像头模组的位置和朝向，若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向不一致，则确定各标志物相对于对应的基准位置的偏移量均由所述摄像头模组引起；

其中所述摄像头模组安装于智能交通信号灯壳体上。

10.根据权利要求9所述的方法，其特征在于，该方法还包括：

在确定道路环境发生变化时，通过网络向管理设备上报。

11.根据权利要求9所述的方法，其特征在于，在所述图像或视频中确定标志物的位置包括：

对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理；

在融合处理后得到的图像或视频图像中确定标志物的位置。

12.根据权利要求11所述的方法，其特征在于，对所述摄像头模组中至少两个摄像头拍摄的图像或视频图像进行融合处理包括：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

13.根据权利要求9所述的方法，其特征在于，在所述图像或视频中确定标志物的位置包括：

从所述图像或视频中提取图像元素，将提取的图像元素与标志物特征进行匹配，或者输入基于标志物特征训练的标志物识别模型，以从所述图像或视频中识别标志物。

14.根据权利要求9所述的方法，其特征在于，该方法还包括：

若在所述摄像头模组采集的图像或视频中超过预设时长均检测不到某标志物，而其他多数标志物的位置与对应基准位置的偏差未超过预设阈值，则确定所述某标志物发生变更；或者，

若在所述摄像头模组采集的图像或视频中某标志物不存在对应的基准位置，则确定该标志物发生变更。

15.根据权利要求9所述的方法，其特征在于，该方法还包括：

若反推出的摄像头模组的位置和朝向与摄像头模组的原有位置和朝向一致，则确定与对应基准位置的偏差超过预设阈值的标志物发生变更。

16.根据权利要求9至15任一权项所述的方法，其特征在于，所述标志物包括以下至少一种：地面交通标识、交通设施和交通警示物。

Images