CN107784843A - 智能交通信号灯系统及其图像处理方法 - Google Patents

Abstract

本发明提供了一种智能交通信号灯系统及其图像处理方法，该智能交通信号灯系统包括：摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；处理器，用于对所述摄像头模组中各摄像头采集的图像或视频进行融合处理。本发明避免了在很多位置布设摄像头并安装支架，降低了监控成本、维护起来也更加方便。

Description

智能交通信号灯系统及其图像处理方法

【技术领域】

本发明涉及图像处理技术领域，特别涉及一种智能交通信号灯系统及其图像处理方法。

【背景技术】

交通信号灯是解决十字路口通行问题最重要的钥匙，无论是安全性问题还是通行效率问题，都关乎交通信号灯。在未来的自动驾驶和车联网时代，交通信号灯的智能化程度将具有更加重要的意义。

目前的交通信号灯仅作为一个单纯的“执行器”节点存在，根据预先编定的程序或者控制器传来的指令点亮相应颜色的灯。交通信号灯本身的集成度很低，交通环境的感知和理解则需要由专用的监控设备完成。例如在十字路口的不同位置额外安装摄像头，由于需要保证摄像头能够尽可能覆盖周围的交通环境，往往需要在很多位置布设摄像头并安装支架。一方面成本较高，另一方面由于需要占据多处公共空间，维护起来也十分不便。

【发明内容】

有鉴于此，本发明提供了一种智能交通信号灯系统及其图像处理方法，以便于降低监控成本，维护起来也更加方便。

具体技术方案如下：

本发明提供了一种智能交通信号灯系统，该智能交通信号灯系统包括：

摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；

处理器，用于对所述摄像头模组中各摄像头采集的图像或视频进行融合处理。

根据本发明一优选实施方式，该系统还包括：

信号灯显示装置，安装于智能交通信号灯壳体的前面板上，包括指示禁止通行的信号灯以及允许通行的信号灯；

所述处理器，还用于对所述信号灯显示装置发送控制指令。

根据本发明一优选实施方式，该系统还包括：

信号灯状态叠显装置，用于将信号灯的状态叠加入摄像头模组采集的图像或视频中。

根据本发明一优选实施方式，该系统还包括：

存储装置，用于存储所述摄像头模组采集的图像或视频，以及所述处理器进行融合处理后的图像或视频。

根据本发明一优选实施方式，该系统还包括：

网络通信装置，安装于所述壳体内部，用于实现远程设备与所述处理器之间的数据通信。

根据本发明一优选实施方式，所述信号灯显示装置包括：

用于分别指示不同内容的多个信号灯，该信号灯在所述处理器的控制下切换亮或不亮的状态；或者，

用于指示不同内容的一个信号灯，该信号灯在所述处理器的控制下切换指示的内容；

所述指示不同内容包括指示禁止通行、允许通知和警示。

根据本发明一优选实施方式，所述摄像头模组包括：

三个呈品字形排列的摄像头。

根据本发明一优选实施方式，所述处理器在进行融合处理时，具体执行：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

根据本发明一优选实施方式，所述处理器还用于：

对融合后得到的图像或视频图像剪裁，保留所关注区域的图像；和/或，

对融合后得到的图像或视频图像进行分辨率调整，以降低图像总像素。

根据本发明一优选实施方式，所述处理器进一步用于：

利用融合后得到的图像或视频，进行车辆违章检测；或者，

利用融合后得到的图像或视频，对目标车辆进行车牌识别；或者，

利用融合后得到的图像或视频，检测到违章行为后，生成违章照片；或者，

利用融合后得到的图像或视频，进行路况分析；或者，

利用融合后得到的图像或视频，进行道路环境检测。

根据本发明一优选实施方式，所述信号灯状态叠显装置，从所述处理器获取信号灯的状态，并由所述处理器生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加；或者，

所述信号灯状态叠显装置为光学反射元件，通过光学反射的方式将信号灯的状态反射入所述摄像头模组中的至少一个摄像头；或者，

所述信号灯状态叠显装置为一组与所述信号灯显示装置的信号灯状态保持一致的微缩信号灯显示装置，该微缩信号灯显示装置置于所述摄像头模组能够拍摄到的位置；或者，

所述信号灯状态叠显装置为感光探头、电流探测器或电压探测器，用于将检测到的信号灯状态提供给处理器，由所述处理器生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加。

本发明还提供了一种智能交通信号灯系统的图像处理方法，该方法包括：

获取包括至少一个摄像头的摄像头模组采集的图像或视频；

对所述图像或视频进行融合处理；

其中所述摄像头模组安装于智能交通信号灯壳体的前面板。

根据本发明一优选实施方式，所述摄像头模组采集的图像或视频中叠加有信号灯的状态。

根据本发明一优选实施方式，所述摄像头模组包括：

三个呈品字形排列的摄像头。

根据本发明一优选实施方式，对所述图像或视频进行融合处理包括：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

根据本发明一优选实施方式，该方法还包括：

对融合后得到的图像或视频图像剪裁，保留目标区域的图像；和/或，

对融合后得到的图像或视频图像进行分辨率调整，以降低图像总像素。

根据本发明一优选实施方式，所述剪裁包括：针对不同的应用场景，分别剪裁出不同目标区域的图像；

所述分辨率调整包括：针对不同的应用场景，对融合得到的图像或视频图像分别进行不同分辨率的调整，得到不同分辨率的图像或视频图像。

根据本发明一优选实施方式，所述分辨率调整包括：

对于包含深度信息的窄视角立体图像，将其中具有不同深度的部分分别采用不同的分辨率进行调整，越深的部分分辨率越高，越浅的部分分辨率越低。

根据本发明一优选实施方式，该方法还包括：

利用融合后得到的图像或视频，进行车辆违章检测；或者，

利用融合后得到的图像或视频，对目标车辆进行车牌识别；或者，

利用融合后得到的图像或视频，检测到违章行为后，生成违章照片；或者，

利用融合后得到的图像或视频，进行路况分析；或者，

利用融合后得到的图像或视频，进行道路环境检测。

根据本发明一优选实施方式，实现所述摄像头模组采集的图像或视频中叠加有信号灯的状态，包括：

从向信号灯发送控制指令的处理器获取信号灯状态，生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加；或者，

通过光学反射的方式将信号灯的状态反射入所述摄像头模组中的至少一个摄像头；或者，

所述摄像头模组的拍摄范围内设置有一组与信号灯状态保持一致的微缩信号灯；或者，

从感光探头、电流探测器或电压探测器获取检测到的信号灯状态，生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加。

由以上技术方案可以看出，在本发明提供的智能交通信号灯系统中，在智能交通信号灯壳体上安装了摄像头模组，并通过处理器对摄像头模组中各摄像头采集的图像或视频进行融合处理，实现交通环境的监控。避免了在很多位置布设摄像头并安装支架，降低了监控成本，维护起来也更加方便。

【附图说明】

图1为本发明实施例提供的智能交通信号灯的结构示意图；

图2为本发明实施例提供的各组成单元的模块化连接关系图；

图3为智能交通信号灯的侧视形状示意图；

图4为本发明实施例提供的一种信号灯状态叠显装置的实现示意图；

图5为本发明实施例提供的再一种信号灯状态叠显装置的实现示意图；

图6为本发明实施例提供的对交通场景数据进行处理的示意图。

附图标记：

壳体01 信号灯显示装置 02 摄像头模组 03

信号灯状态叠显装置 04 存储装置 05

处理器 06 网络通信装置 07 灯罩 08

反光板 09 感光探头 10

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本文中的“多个”指的是两个或者两个以上。

图1为本发明实施例提供的智能交通信号灯系统的结构示意图，如图1中所示，该智能交通信号灯系统可以包括壳体01、信号灯显示装置02、摄像头模组03和处理器06还可以进一步包括：信号灯状态叠显装置04、存储装置05、和网络通信装置07。其模块化的连接关系可以如图2中所示。

壳体01是智能交通信号灯外形的主要基础，即壳体形状主要决定智能交通信号灯的形状。其是立体结构，图1中示出的是壳体01的前面板，其侧视形状可以如图3中所示，3中还示出了灯罩08，即位于信号灯上方，用于信号灯防雨防尘等功能的灯罩，该灯罩08为现有的单元，本发明对于形状并不加以限制。为了不阻碍其他组成单元的正常工作，该灯罩08可以采用透明材质。

信号灯显示装置02是指的是信号灯本体，其安装于壳体01的前面板。其中，安装于壳体01的前面板指的是从壳体01的前面板能够看到信号灯所指示的信息，但并不排除信号灯本体位于壳体01的内部(其他组成单元也类似，后续不再赘述)，如图3所示。本发明实施例中，信号灯显示装置至少包括指示禁止通行的信号灯和允许通行的信号灯。可以采用最常用的颜色指示方式，即红色指示禁止通行，绿色指示允许通行，还可以进一步采用黄色指示警示。当然，也可以采用图标的方式，例如圆型图标指示允许通行，×型图标指示禁止通行，或者颜色结合图标的方式，等等。

对于信号灯的排列方式本发明同样不加以限制，例如可以是如图1所示的横向排列，也可以是纵向排列。另外，信号灯的数量可以是一个，也可以是多个。以红绿灯为例，可以是分别显示红、黄、绿的三个信号灯，如图1中所示。也就是说，存在三个信号灯，一个信号灯在亮的状态下仅能够显示红色，一个信号灯在亮的状态下仅能够显示绿色，一个信号灯在亮的状态下仅能够显示黄色，这三个信号灯在处理器06的控制下切换亮或不亮的状态。正常状态下，同时仅有一个信号灯处于亮的状态。还可以是另外一种实现方式，即信号灯显示装置02仅包含一个信号灯，该信号灯能够显示红、黄、绿三种颜色，其在处理器06的控制下进行颜色切换。

除了上述的指示禁止通行、允许通行、警示的信号灯之外，还可以包含指示其他内容的信号灯，例如指示允许左转、禁止左转、允许右转、禁止右转、等待时长等等内容的信号等。

摄像头模组03安装于壳体01上，例如图1中所示，安装于壳体01的前面板，可以包括一个摄像头，也可以包括多个摄像头，图1中以三个摄像头为例，且作为一种优选的实施方式，这三个摄像头可以呈品字形排列。摄像头模组03主要负责交通路况的采集，例如车辆行驶状况、道路状况等等。通过多个同一朝向的摄像头，能够获取更好的交通场景感知能力。

单目摄像头进行静态拍摄时，通常无法建立图像的三维立体感，而双目摄像头通过比对同一物体在两个独立摄像头中成像的细微差别，可以提供立体视觉能力，从而感知图像的三维立体信息。当摄像头数目继续增加时，例如三目摄像头，通过灵活处理多个摄像头之间的叠加、单独处理关系，可以更加灵活地配置成像场景，在更好的立体感和更广的成像角度间进行取舍，从而达到均衡。此外，通过控制不同摄像头之间的曝光度等成像参数，可以在不同环境光照下确保至少有一个摄像头曝光清晰。通过叠加多个摄像头的拍摄图像，可以实现超分辨率或者超动态范围的成像。这些都可以提高拍摄的图像质量，以利于后续识别、分析算法以及证据保存。

信号灯状态叠显装置04安装于壳体01内部或者壳体01的前面板，其功能是用于将信号灯的状态叠加入摄像头模组03采集的图像或视频中，以形成交通场景数据。

在传统的实现方式中，为了抓拍诸如车辆违章，需要精细调试抓拍摄像头的位置，确保抓拍车辆违章的同时，交通信号灯也能够落入镜头之中且成像清晰，这就增加了抓拍摄像头安装的复杂度。而本发明中，摄像头模组03和信号灯显示装置02设置于一处，即都在壳体01的前面板设置，通过信号灯状态叠显装置04将信号灯状态叠加入摄像头模组03采集的图像或视频中。信号灯状态叠显装置04的实现方式可以采用但不限于以下几种方式：

第一种方式：电信号反馈的方式。信号灯状态叠显装置04可以从处理器06获取信号灯的状态。由于信号灯的状态由处理器06控制，因此从处理器06处可以获得信号灯状态。甚至，信号灯状态叠显装置04可以设置于处理器06，由处理器06完成其功能。由处理器06生成包含信号灯状态的图层，并将该图层与摄像头拍摄到的图像或视频图像进行叠加。

第二种方式：光学反射的方式。信号灯状态叠显装置04可以为光学反射元件，例如凸面镜，通过光学反射的方式将信号灯的状态反射入摄像头模组03中的至少一个摄像头，也就是说，保证摄像头模组03中的至少一个摄像头能够拍摄到信号灯状态叠显装置04反射的信号灯状态。图2以该实现方式为例。

举一个实施例：如图4所示，在壳体前面板上信号灯的上方，可以设置反光板09。通过调整放光板至合适的角度，反光板将信号灯的状态反射至摄像头的拍摄视野中，成像至摄像头拍摄的特定区域内。

第三种方式：状态探测和图层叠加的方式。即信号灯状态叠显装置04可以为感光探头、电流探测器或电压探测器等。以感光探头为例，如图5所示，可以设置三个感光探头，分别用于检测三个信号灯的亮或灭状态，然后将检测到的状态提供给处理器，由处理器生成包含信号灯状态的图层，并将该图层与摄像头拍摄到的图像或视频图像进行叠加。

电流探测器可以通过检测信号灯的电流状况来确定信号灯状态，电压探测器可以通过检测信号灯的电压状况来确定信号灯状态。

第四种方式：次级显示的方式。信号灯状态叠显装置04可以为一组微缩的信号灯显示装置，即可以将信号灯显示装置02作为主信号灯显示装置，信号灯状态叠显装置04为次级信号灯显示装置，该次级信号灯显示装置与主信号灯显示装置的信号灯状态保持一致。将该次级信号灯显示装置设置于摄像头模组03能够拍摄到的位置即可。

次级信号灯显示装置的状态可以由处理器统一控制，即由处理器对主信号灯显示装置和次级信号灯显示装置的状态进行统一控制，从而使两者状态保持一致。也可以通过诸如感光探头或者电流探测器或电压探测器等方式，探测主信号灯显示装置的状态，然后提供给次级信号灯显示装置，以使其与主信号灯显示装置的状态保持一致。

存储装置05可以安装于壳体01的内部，用于存储交通场景数据，还可以用于存储摄像头模组03采集的图像或视频，处理器06的分析数据、检测数据等等。其中存储装置05可以是诸如U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)等各种存储介质。

处理器06可以安装于壳体01的内部，向信号灯显示装置02发送控制指令，以及处理交通场景数据，例如利用交通场景数据进行违章检测、道路分析等等。

网络通信装置07可以安装于壳体01的内部，负责实现远程设备与处理器06之间的数据通信。例如，接收远程设备的控制指令，将该控制指令发送给处理器06，由处理器06根据该控制指令实现对信号灯显示装置02或者摄像头模组03等的控制，从而实现对智能交通信号灯的远程控制、数据查询。再例如，将处理器06的分析结果、检测结果或者存储装置05存储的数据、当前信号灯的状态等，发送给远程设备。从而实现智能交通信号灯的数据分享、报告上传等。

网络通信装置07可以采用有线或者无线的方式接入网络，网络类型可以包括但不限于局域网(LAN)、广域网(WAN)、电话网络如公共交换电话网(PSTN)、因特网、或上述这些网络的结合等。

除此之外，智能交通信号灯还可以包含支撑架或支撑杆，用于支撑交通信号灯的壳体01，以使其固定于支撑架或支撑杆上，还可以包含给各组成单元进行供电的供电装置，等等其他已有组成单元，本发明对这些已有组成单元并不加以限制。

上面已经提及，处理器06可以对交通场景数据进行处理，在本发明实施例中，处理器06对交通场景数据进行的处理可以如图6中所示，包括但不限于以下内容：

1)对摄像头模组采集的图像或视频的各帧图像进行融合处理。也就是说，对多个摄像头在同一时刻采集的图像进行融合处理。其中进行的融合处理可以采用但不限于以下几种方式(以摄像头采集的图像为例，视频中同一帧图像的处理类似)：

第一种方式，标记两个以上摄像头采集的图像的重合部分，基于该标记将多个摄像头采集的图像进行拼接，形成一幅广角宽幅图像。这种图像能够检测到更广阔区域内的车辆行为和道路状况等。

第二种方式，提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

以品字形摄像头模组为例，可以进行双目成像融合，即使用品字形中横向排列的两个摄像头，提取成像重合部分，重合部分中包含两个摄像头对同一空间物理点拍摄的位置，两个摄像头对同一空间位置点拍摄的位置偏差称为视差，利用该视差就能够三维几何信息，即包含深度信息的窄视角立体图像。这样的图像很容易检测正前方的三维物体运动，从而更加准确地进行违章检测、道路环境检测等。

也可以进行三目成像融合，即同时对三个摄像头提取成像重合部分，利用三个摄像头对同一空间位置点的视差形成包含深度信息的窄视角立体图像。这样形成的画面尺寸较小，即视角较小，但物体深度信息更加准确，可用户检测正前方远处道路的路况信息等。

当然，除了上述融合方式之外，还可以采用其他方式对摄像头模组采集的图像或视频中同一帧图像进行融合。或者，也可以不进行图像融合，直接输出各摄像头独立采集的图像或视频，这样的图像或视频可为系统稳定工作提供足够的冗余性。

2)进行图像剪裁和/或分辨率的调整。

对于交通场景数据(可以是图像融合后的数据，若不做图像融合则可以是原始的交通场景数据)，可以根据实际使用需求进行图像剪裁，保留所关注区域的图像。例如若交通场景数据用于后续违章检测，则可以进行图像剪裁仅保留目标违章区域的图像。这样可以降低图像总像素，缓解存储和后续的计算压力。

另外，也可以根据实际使用需求，对图像进行分辨率调整，例如若后续进行道路环境检测，则可以适当降低图像分辨率，只要能够保证道路元素的检测即可。降低图像分辨率的方式可以采用诸如降采样的方式，这样同样可以降低图像总像素，缓解存储和后续的计算压力。

除了支持图像剪裁和分辨率调整之外，可以基于实际的应用需求对图像剪裁和分辨率调整有更进一步的优化处理：

a)由于本发明实施例提供的系统可以应用与多种应用场景，该部分将在后续第3)方面进行详述。对于不同的应用场景，对于目标区域以及分辨率的需求并不相同。对于现有技术中的实现方式而言，对于诸如路况分析和违章抓拍的分辨率是不同的，因此需要针对路况分析和违章抓拍分别设置摄像头，两者采用不同的分辨率，且两种摄像头不能混用，即用于路况分析的摄像头因其分辨率较低并不能用于违章抓拍，违章抓拍的摄像头若用于路况分析则会造成计算量很大。

但采用本发明实施例提供的系统，摄像头模组可以采用高分辨率的摄像头，对于摄像头采集到的图像，可以根据具体的应用场景对分辨率的需求，对图像进行不同分辨率的调整，然后分别存储不同分辨率的图像以用于后续不同的应用场景。这样采用一组摄像头就可以满足上层的多种应用需求。

同样，诸如路况分析和违章抓拍对应的目标区域并不相同，路况分析对应的目标区域通常是道路，而违章抓拍通常在路口。在现有技术中需要在不同地方设置分别设置摄像头，各摄像头专门用于拍摄道路和路口。而通过本发明实施例提供的系统，通过一组摄像头可以拍摄一个广阔的区域，然后通过对具体目标区域的剪裁，分别保留各目标区域对应的图像，以用于后续不同的应用场景。这样采用一组摄像头就可以满足上层的多种应用需求。

b)在进行图像裁剪时，可以基于特征识别的方式对目标区域进行剪裁，从而剪裁出不规则形状的目标区域。这种方式能够使得在后续应用中的分析和检测更加精确，降低计算量。

c)对于摄像头模组而言，前面已经提到，处理器可以通过图像融合的方式得到包含深度信息的立体图像。由于在立体图像中越深的部分物体越小，往往需要较高的分辨率才能够保证其清楚，越浅的部分物体越大，往往不需要很高的分辨率。基于这种特征，在本发明实施例中可以对于一副图像中不同的部分采用不同的分辨率，越深的部分保留较高的分辨率，越浅的部分采用较低的分辨率。

另外，其中的深度信息可以作为特征提取出来，供后续上层具体应用时使用。例如进行路况分析，判断道路是否拥堵，拥堵多远，等等。

c)可以依据三维图像中对象的深度信息，可以作为特征提取出来做后续图像的具体应用处理，例如进行路况分析。诸如道路是否拥堵，拥堵多远，等等。

3)利用交通场景数据进行分析和检测，属于具体的应用层面。可以包括但不限于以下几种应用：

进行车辆违章检测，通过检测车辆的位置和运动，判断其是否出现违章停靠、闯红灯、逆行等行为。

对目标车辆进行车牌识别，例如对违章车辆、在逃罪犯所驾驶的车辆等等进行车牌识别，其中可能会涉及到文字识别技术、图像识别技术等。

检测到违章行为后，生成违章照片。例如检测到违章车辆后，调取违章状态时的图像，以生成违章照片，该违章照片中通常包含违章车辆、违章行为、时间、信号灯状态等。

进行路况分析。例如检测前方各条车道的车辆数量、通过十字路口的速度、是否有影响交通意外的事故发生，等等。

进行道路环境检测，即检测前方道路元素是否发生变化。其中道路元素可以包括诸如：车道线、人行道等地面交通标志，交通标志牌等标牌信息，道路施工、塌方、事故等动态信息等。

在进行上述处理后，处理器06可以依据处理结果生成分析报告或检测报告，在受到触发后或者定时地，通过网络通信装置07将报告上报给远程设备。其中受到触发可以是例如通过网络通信装置07接收到来自远端设备的指令，或者通过网络通信装置07获取到其他网络节点(例如其他位置的智能交通信号灯)的状态且该状态满足预定规则，等等。

上述的远程设备可以是管理设备，可以是监控设备，也可以是其他智能交通信号灯。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (20)

1.一种智能交通信号灯系统，其特征在于，该智能交通信号灯系统包括：

摄像头模组，安装于智能交通信号灯壳体上，包括至少一个摄像头；

处理器，用于对所述摄像头模组中各摄像头采集的图像或视频进行融合处理。

2.根据权利要求1所述的智能交通信号灯系统，其特征在于，该系统还包括：

信号灯显示装置，安装于智能交通信号灯壳体的前面板上，包括指示禁止通行的信号灯以及允许通行的信号灯；

所述处理器，还用于对所述信号灯显示装置发送控制指令。

3.根据权利要求1所述的智能交通信号灯系统，其特征在于，该系统还包括：

信号灯状态叠显装置，用于将信号灯的状态叠加入摄像头模组采集的图像或视频中。

4.根据权利要求1所述的智能交通信号灯系统，其特征在于，该系统还包括：

存储装置，用于存储所述摄像头模组采集的图像或视频，以及所述处理器进行融合处理后的图像或视频。

5.根据权利要求1所述的智能交通信号灯系统，其特征在于，该系统还包括：

网络通信装置，安装于所述壳体内部，用于实现远程设备与所述处理器之间的数据通信。

6.根据权利要求2所述的智能交通信号灯系统，其特征在于，所述信号灯显示装置包括：

用于分别指示不同内容的多个信号灯，该信号灯在所述处理器的控制下切换亮或不亮的状态；或者，

用于指示不同内容的一个信号灯，该信号灯在所述处理器的控制下切换指示的内容；

所述指示不同内容包括指示禁止通行、允许通知和警示。

7.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述摄像头模组包括：

三个呈品字形排列的摄像头。

8.根据权利要求1所述的智能交通信号灯系统，其特征在于，所述处理器在进行融合处理时，具体执行：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

9.根据权利要求8所述的智能交通信号灯系统，其特征在于，所述处理器还用于：

对融合后得到的图像或视频图像剪裁，保留所关注区域的图像；和/或，

对融合后得到的图像或视频图像进行分辨率调整，以降低图像总像素。

10.根据权利要求1、8或9所述的智能交通信号灯系统，其特征在于，所述处理器进一步用于：

利用融合后得到的图像或视频，进行车辆违章检测；或者，

利用融合后得到的图像或视频，对目标车辆进行车牌识别；或者，

利用融合后得到的图像或视频，检测到违章行为后，生成违章照片；或者，

利用融合后得到的图像或视频，进行路况分析；或者，

利用融合后得到的图像或视频，进行道路环境检测。

11.根据权利要求3所述的智能交通信号灯系统，其特征在于，所述信号灯状态叠显装置，从所述处理器获取信号灯的状态，并由所述处理器生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加；或者，

所述信号灯状态叠显装置为光学反射元件，通过光学反射的方式将信号灯的状态反射入所述摄像头模组中的至少一个摄像头；或者，

所述信号灯状态叠显装置为一组与所述信号灯显示装置的信号灯状态保持一致的微缩信号灯显示装置，该微缩信号灯显示装置置于所述摄像头模组能够拍摄到的位置；或者，

所述信号灯状态叠显装置为感光探头、电流探测器或电压探测器，用于将检测到的信号灯状态提供给处理器，由所述处理器生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加。

12.一种智能交通信号灯系统的图像处理方法，其特征在于，该方法包括：

获取包括至少一个摄像头的摄像头模组采集的图像或视频；

对所述图像或视频进行融合处理；

其中所述摄像头模组安装于智能交通信号灯壳体的前面板上。

13.根据权利要求12所述的方法，其特征在于，所述摄像头模组采集的图像或视频中叠加有信号灯的状态。

14.根据权利要求12所述的方法，其特征在于，所述摄像头模组包括：

三个呈品字形排列的摄像头。

15.根据权利要求12所述的方法，其特征在于，对所述图像或视频进行融合处理包括：

标记两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，基于该标记将多个摄像头采集的图像或者视频中同一帧图像进行拼接，形成一幅广角宽幅图像；或者，

提取两个以上摄像头采集的图像或者视频中同一帧图像的重合部分，利用不同摄像头对同一空间物理点的视差，形成包含深度信息的窄视角立体图像。

16.根据权利要求15所述的方法，其特征在于，该方法还包括：

对融合后得到的图像或视频图像剪裁，保留目标区域的图像；和/或，

对融合后得到的图像或视频图像进行分辨率调整，以降低图像总像素。

17.根据权利要求16所述的方法，其特征在于，所述剪裁包括：针对不同的应用场景，分别剪裁出不同目标区域的图像；

所述分辨率调整包括：针对不同的应用场景，对融合得到的图像或视频图像分别进行不同分辨率的调整，得到不同分辨率的图像或视频图像。

18.根据权利要求16所述的方法，其特征在于，所述分辨率调整包括：

对于包含深度信息的窄视角立体图像，将其中具有不同深度的部分分别采用不同的分辨率进行调整，越深的部分分辨率越高，越浅的部分分辨率越低。

19.根据权利要求12、15或16所述的方法，其特征在于，该方法还包括：

利用融合后得到的图像或视频，进行车辆违章检测；或者，

利用融合后得到的图像或视频，对目标车辆进行车牌识别；或者，

利用融合后得到的图像或视频，检测到违章行为后，生成违章照片；或者，

利用融合后得到的图像或视频，进行路况分析；或者，

利用融合后得到的图像或视频，进行道路环境检测。

20.根据权利要求13所述的方法，其特征在于，实现所述摄像头模组采集的图像或视频中叠加有信号灯的状态，包括：

从向信号灯发送控制指令的处理器获取信号灯状态，生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加；或者，

通过光学反射的方式将信号灯的状态反射入所述摄像头模组中的至少一个摄像头；或者，

所述摄像头模组的拍摄范围内设置有一组与信号灯状态保持一致的微缩信号灯；或者，

从感光探头、电流探测器或电压探测器获取检测到的信号灯状态，生成包含信号灯状态的图层，并将该图层与摄像头同一时间拍摄到的图像或视频图像进行叠加。