CN107992789A - 识别交通灯的方法、装置及车辆 - Google Patents
识别交通灯的方法、装置及车辆 Download PDFInfo
- Publication number
- CN107992789A CN107992789A CN201610959788.8A CN201610959788A CN107992789A CN 107992789 A CN107992789 A CN 107992789A CN 201610959788 A CN201610959788 A CN 201610959788A CN 107992789 A CN107992789 A CN 107992789A
- Authority
- CN
- China
- Prior art keywords
- traffic lights
- target
- connected domain
- target traffic
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Abstract
本公开提供了一种识别交通灯的方法、装置及车辆。该方法采用由单个摄像机与TOF传感器组合成的图像采集装置来采集图像。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力。本公开中结合飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。
Description
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种识别交通灯的方法、装置及车辆。
背景技术
随着社会经济的快速发展，车辆越来越普及，但与此同时，交通事故的发生率也日益提高。为避免交通事故的发生，智能交通系统越来越得到重视，而交通信号灯的识别是智能交通系统的一个重要方面。
目前的交通灯识别方法能够识别的交通灯的种类不够全面，且识别的准确率无法满足用户的需求，主要原因在于现有的传感器技术以及摄像头自身的局限性，使得交通灯的识别存在缺陷。
发明内容
本公开的目的是提供一种识别交通灯的方法、装置及车辆，以能够识别更多类型的交通灯，且提高识别交通灯的准确率。
为了实现上述目的，本公开提供一种识别交通灯的方法，所述方法包括：
获取针对同一拍摄区域的彩色图像和深度图像；
根据所述深度图像中的深度信息，确定交通灯候选区域；
结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
可选地，根据所述深度图像中的深度信息，确定交通灯候选区域，包括：
根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
可选地，对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形，包括：
对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
可选地，对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型，包括：
对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
可选地，结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯，包括：
根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
本公开还提供一种识别交通灯的装置，所述装置包括：
图像获取模块，用于获取针对同一拍摄区域的彩色图像和深度图像；
候选区域确定模块，用于根据所述深度图像中的深度信息，确定交通灯候选区域；
目标交通灯提取模块，用于结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
形状类型确定模块，用于对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
灯光颜色确定模块，用于根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
目标交通灯类型确定模块，用于结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
可选地，所述候选区域确定模块包括：
连通域确定子模块，用于根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
第一外接矩形确定子模块，用于对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
目标外接矩形确定子模块，用于从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
可选地，所述第一外接矩形确定子模块包括：
行坐标范围确定子模块，用于对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
列坐标范围确定子模块，用于对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
第二外接矩形确定子模块，用于分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
可选地，所述形状类型确定模块包括：
第一特征确定子模块，用于对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
第二特征确定子模块，用于对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
形状类型确定子模块，用于将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
可选地，所述目标交通灯提取模块包括：
彩色区域确定子模块，用于根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
目标区域确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
目标像素点确定子模块，用于从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
本公开还提供了一种车辆，所述车辆包括：
单个摄像机，用于采集彩色图像；
TOF传感器，用于采集深度图像；以及
根据本公开提供的上述识别交通灯的装置。
本公开提出利用单个摄像机与TOF传感器组合成的图像采集装置来识别交通灯的方法。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。相关技术中，交通灯的识别都是以单个摄像头拍摄图像为基础的，单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力，本公开中除单个摄像头以外，还采用了飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种识别交通灯的方法的流程图；
图2是根据一示例性实施例示出的确定多个连通域的示意图；
图3是根据一示例性实施例示出的确定连通域的外接矩形的过程的示意图；
图4是根据一示例性实施例示出的进行颜色分割后的图像的示意图；
图5是根据一示例性实施例示出的模板交通灯的示意图；
图6是根据一示例性实施例示出的左转箭头交通灯的水平投影特征和垂直投影特征的示意图；
图7是根据一示例性实施例示出的一种识别交通灯的装置的示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
相关技术中，交通灯的识别方法能够识别的交通灯的种类不够全面，且识别的准确率无法满足用户的需求，主要原因在于现有的传感器技术以及摄像头自身的局限性，使得交通灯的识别存在缺陷。
为解决该技术问题，本公开提出一种利用由单个摄像机与TOF(中文：飞行时间；英文：Time of Flight)传感器组合成的图像采集装置来识别交通灯的方法。其中，飞行时间传感器是指TOF像素传感器的阵列或集合，其中TOF像素传感器可以是光传感器、相位传感器等，可以检测来自脉冲光源、调制光源的光在TOF像素传感器与被检测物体之间传播的飞行时间，从而检测物体的距离并获取深度图像。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像，利用两种图像的交织映射关系，结合相关算法来识别交通灯。下面分别对本公开提供的识别交通灯的方法、装置及车辆进行说明。
请参考图1，图1是根据一示例性实施例示出的一种识别交通灯的方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11：获取针对同一拍摄区域的彩色图像和深度图像；
步骤S12：根据所述深度图像中的深度信息，确定交通灯候选区域；
步骤S13：结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
步骤S14：对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
步骤S15：根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
步骤S16：结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
本公开提出利用单个摄像机与TOF传感器组合成的图像采集装置来识别交通灯的方法。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。相关技术中，交通灯的识别都是以单个摄像头拍摄图像为基础的，单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力，本公开中除单个摄像头以外，还采用了飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。
在实际应用中，单个摄像头和飞行时间传感器组合成的图像采集装置可以安装在汽车的车身上，一种可能的安装方式是：将该图像采集装置安装在车内后视镜前方的挡风玻璃处。这样能够保证在汽车的行驶过程中，该图像采集装置可以实时采集前方道路的图像，从而实时识别交通灯。
可选地，单个摄像头和飞行时间传感器组合成的图像采集装置在车身上的安装位置及安装角度可根据实际采集回来的图像进行标定，以便于在图像处理过程中，可以剔除道路信息和部分无用的背景信息，从而减少图像处理的区域和数据量。
在获取针对同一拍摄区域的彩色图像和深度图像之后，可以先对深度图像进行处理。，步骤S12中，根据所述深度图像中的深度信息，确定交通灯候选区域，该步骤包括：
根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
在实际应用中，一个或多个交通灯位于一个交通灯背景框中，因此，在定位交通灯之前，可以先确定交通灯背景框的位置，在深度图像中找到可能是交通灯背景框的区域，再进行筛选。
首先，设定一个预设差值范围(例如小于0.1m)，当两个像素点的深度值的差值在预设差值范围内，则判定这两个像素点的深度信息相同(下文提到的深度信息相同都是指深度值的差值在预设差值范围内)。同时，设定一个预设深度阈值范围(例如100～200m范围内)，在该预设深度阈值范围内的像素点才可能是组成交通灯背景框的像素点，这是因为构成交通灯背景框的像素点的深度值应远小于构成天空等环境背景的像素点的深度值，通过预设深度阈值范围对像素点深度信息的限定，能够将可能是交通灯背景框的区域从环境背景中分离出来，与此同时排除了距离图像采集装置过近的干扰区域。
遍历深度图像中的所有像素点的深度信息，确定多个连通域。每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内，如图2所示，图2是根据一示例性实施例示出的确定多个连通域的示意图，所确定出的多个连通域被标记为白色区域，如图2中标记的1、2、3区域。由此得到的多个连通域中就可能存在交通灯背景框。
下面从得到的多个连通域中筛选出是交通灯背景框的连通域。由于交通灯背景框是矩形框架，所以如果一个连通域是交通灯背景框，那么该连通域的形状就是矩形，相应地，该连通域的边界就是该连通域的外接矩形；如果一个连通域不是交通灯背景框，那么该连通域的形状就是除矩形外的其他形状，例如：椭圆形、不规则形状等，相应地，该连通域的边界就包含于该连通域的外接矩形之内。由于需要用到连通域的外接矩形，所以下面首先对确定多个连通域的外接矩形的方法进行说明。
为确定多个连通域的外接矩形，本公开采用的方法是对多个连通域分别进行水平投影和垂直投影，具体包括以下步骤：
对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
请参考图3，图3是根据一示例性实施例示出的确定连通域的外接矩形的过程的示意图，其中图3(a)是对连通域进行水平投影的示意图，图3(b)是对连通域进行垂直投影的示意图，图3(c)是连通域的外接矩形的示意图。
首先将连通域进行水平投影，以图2中的连通域2为例，如图3(a)所示，将连通域水平投影至图像的行坐标轴上，并在行坐标轴上进行一维查找，即可确定该连通域的行坐标范围；
然后对连通域进行垂直投影，如图3(b)所示，将连通域垂直投影至图像的列坐标轴上，并在列坐标轴上进行一维查找，即可确定该连通域的列坐标范围；
确定了连通域的行坐标范围和列坐标范围之后，即可确定该连通域的外接矩形的四条边在图像中的具体位置，也就确定了该连通域的外接矩形，如图3(c)所示。
考虑到在深度图像中，交通灯背景框的四条边的深度信息相同，因此，在分别确定多个连通域的外接矩形之后，验证每个连通域的外接矩形的四条边是否是由深度信息相同的像素点组成的，若一个连通域的外接矩形的四条边是由深度信息相同的像素点组成的，则对应的连通域就是交通灯背景框，也就是交通灯候选区域；若一个连通域的外接矩形的四条边不是由深度信息相同的像素点组成的，则对应的连通域就不是交通灯背景框，予以排除。
经过以上步骤，从深度图像中定位出交通灯候选区域之后，再结合彩色图像，从交通灯候选区域中定位出交通灯，具体包括以下步骤：
根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
交通灯通常显示为红、黄、绿三种颜色，根据此颜色特性，从获得的彩色图像中分割出符合颜色特性的彩色区域，也就是交通灯可能存在的区域。
从获得的彩色图像中分割出符合颜色特性的彩色区域，有多种可能的实施方式。例如，针对RGB(R：红色；G：绿色；B：蓝色)格式的彩色图像，以交通灯可能的三种灯光颜色的R、G、B三个分量为阈值，对整张彩色图像进行筛选，保留R、G、B三个分量在阈值范围内的像素点，由这些像素点组成的区域则是交通灯可能存在的区域。除RGB格式外，也可在Lab、YUV等格式下对彩色图像进行类似的分割处理，区别在于，在不同格式下，针对红、黄、绿三种颜色所设定的阈值有所不同。
请参考图4，图4是根据一示例性实施例示出的进行颜色分割后的图像的示意图，图中的白色区域a、b就是彩色图像中符合颜色特性的交通灯可能存在的彩色区域。
本公开中采用单个摄像头和飞行时间传感器组合成的图像采集装置进行图像采集，获得的针对同一区域的彩色图像和深度图像之间存在交织映射的关系，因此可根据深度图像中得到的交通灯候选区域，在彩色图像中找到对应的目标区域。若该目标区域与前面得到的交通灯可能存在的彩色区域相重叠，也就是说可能是交通灯背景框的目标区域中又存在可能是交通灯的彩色区域，那么可以判定该目标区域是交通灯背景框，且该彩色区域也就是对应的目标交通灯，由此便实现了通过定位交通灯背景框来定位交通灯的过程。
如图2中标记的白色区域1和图4中标记的白色区域a相重叠，则可以判定图2中标记的白色区域1是交通灯背景框，而图4中标记的白色区域a则是目标交通灯；又如图2中标记的白色区域2和3，与图4中标记的任一白色区域都不重叠，则说明没有符合颜色特性的彩色区域与图2中标记的白色区域2或3构成交通灯和交通灯背景框的关系，也就是说图2中标记的白色区域2和3都不可能是交通灯背景框；同理，图4中标记的白色区域b与图2中标记的任一白色区域都不重叠，图4中标记的白色区域b也不可能是交通灯。
在实现目标交通灯定位之后，对目标交通灯的类型进行识别。交通灯的类型包括灯光颜色和形状类型，其中，根据彩色图像的颜色信息，可以直接确定目标交通灯的灯光颜色。剩下的就是确定目标交通灯的形状类型，采用的方法是对目标交通灯分别进行水平投影和垂直投影，该过程包括以下步骤：
对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
请参考图5，图5是根据一示例性实施例示出的模板交通灯的示意图，因为在实际应用中，交通灯的模板数量较少，因此使用水平投影特征结合垂直投影特征便可以区分各种交通灯的形状类型。
首先，根据模板交通灯的水平投影特征和垂直投影特征建立模板特征库，其中模板交通灯的水平投影特征为该模板交通灯所占的行范围内每一行上用于组成该模板交通灯的像素点数量，模板交通灯的垂直投影特征为该模板交通灯所占的列范围内每一列上用于组成该模板交通灯的像素点数量。下面以图5中的左转箭头交通灯为例，说明获得模板交通灯的水平投影特征和垂直投影特征的过程。
请参考图6，图6是根据一示例性实施例示出的左转箭头交通灯的水平投影特征和垂直投影特征的示意图。其中，图6(a)是左转箭头交通灯的水平投影特征的示意图，图6(b)是左转箭头交通灯的垂直投影特征的示意图。
如图6(a)所示，对箭头交通灯进行水平投影，即将箭头交通灯投影至行坐标轴，得到的结果是：组成箭头交通灯的像素点在行坐标轴上的分布范围(即y1至y2)，以及每一行上组成箭头交通灯的像素点的数量(即高度h)。该结果就是该箭头交通灯的水平投影特征。
如图6(b)所示，对箭头交通灯进行垂直投影，即将箭头交通灯投影至列坐标轴，得到的结果是：组成箭头交通灯的像素点在列坐标轴上的分布范围(即x1至x2)，以及每一列上组成箭头交通灯的像素点的数量(即高度H)。该结果就是该箭头交通灯的垂直投影特征。每个模板交通灯的水平投影和垂直投影结果都各不相同，利用以上方法对每个模板交通灯进行水平投影和垂直投影，将所有得到的水平投影特征和垂直投影特征建立成一个模板特征库，这里要特别说明的是，该模板特征库可根据实际需要进行扩展，例如加入包含文字的模板交通灯，如图5中的“慢”字。
同样采用以上方法，对形状类型未知的目标交通灯进行水平投影和垂直投影，获得水平投影特征和垂直投影特征，再与模板特征库中的各个模板交通灯的特征值进行匹配，便可以确定目标交通灯是属于模板交通灯中的哪一类形状的交通灯。
结合目标交通灯的灯光颜色和形状类型，最终确定目标交通灯的类型，由此实现了交通灯的识别。
本公开还提供一种识别交通灯的装置，请参考图7，图7是根据一示例性实施例示出的一种识别交通灯的装置的示意图。如图7所示，该装置700包括：
图像获取模块701，用于获取针对同一拍摄区域的彩色图像和深度图像；
候选区域确定模块702，用于根据所述深度图像中的深度信息，确定交通灯候选区域；
目标交通灯提取模块703，用于结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
形状类型确定模块704，用于对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
灯光颜色确定模块705，用于根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
目标交通灯类型确定模块706，用于结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
可选地，所述候选区域确定模块包括：
连通域确定子模块，用于根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
第一外接矩形确定子模块，用于对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
目标外接矩形确定子模块，用于从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
可选地，所述第一外接矩形确定模块包括：
行坐标范围确定子模块，用于对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
列坐标范围确定子模块，用于对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
第二外接矩形确定子模块，用于分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
可选地，所述形状类型确定模块包括：
第一特征确定子模块，用于对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
第二特征确定子模块，用于对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
形状类型确定子模块，用于将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
可选地，所述目标交通灯提取模块包括：
彩色区域确定子模块，用于根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
目标区域确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
目标像素点确定子模块，用于从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，本公开还提供了一种车辆，该车辆包括单个摄像机，用于采集彩色图像；TOF传感器，用于采集深度图像；以及根据本公开提供的上述识别交通灯的装置。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (11)
1.一种识别交通灯的方法，其特征在于，所述方法包括：
获取针对同一拍摄区域的彩色图像和深度图像；
根据所述深度图像中的深度信息，确定交通灯候选区域；
结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
2.根据权利要求1所述的方法，其特征在于，根据所述深度图像中的深度信息，确定交通灯候选区域，包括：
根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
3.根据权利要求2所述的方法，其特征在于，对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形，包括：
对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
4.根据权利要求1所述的方法，其特征在于，对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型，包括：
对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
5.根据权利要求1所述的方法，其特征在于，结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯，包括：
根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
6.一种识别交通灯的装置，其特征在于，所述装置包括：
图像获取模块，用于获取针对同一拍摄区域的彩色图像和深度图像；
候选区域确定模块，用于根据所述深度图像中的深度信息，确定交通灯候选区域；
目标交通灯提取模块，用于结合所述交通灯候选区域和所述彩色图像，提取出目标交通灯；
形状类型确定模块，用于对所述目标交通灯分别进行水平投影和垂直投影，以确定所述目标交通灯的形状类型；
灯光颜色确定模块，用于根据所述彩色图像中的颜色信息，确定所述目标交通灯的灯光颜色；
目标交通灯类型确定模块，用于结合所述目标交通灯的灯光颜色和所述目标交通灯的形状类型，确定所述目标交通灯的类型。
7.根据权利要求6所述的装置，其特征在于，所述候选区域确定模块包括：
连通域确定子模块，用于根据所述深度图像中的深度信息，确定多个连通域，每个连通域内的像素点的深度值在预设深度阈值范围内，且任两个像素点的深度值之差在预设差值范围内；
第一外接矩形确定子模块，用于对所述多个连通域分别进行水平投影和垂直投影，以分别确定所述多个连通域的外接矩形；
目标外接矩形确定子模块，用于从确定出的多个外接矩形中筛选出目标外接矩形，所述目标外接矩形的四条边是由深度值相同的像素点组成的。
8.根据权利要求7所述的装置，其特征在于，所述第一外接矩形确定子模块包括：
行坐标范围确定子模块，用于对所述多个连通域分别进行水平投影，以确定所述多个连通域的行坐标范围；
列坐标范围确定子模块，用于对所述多个连通域分别进行垂直投影，以确定所述多个连通域的列坐标范围；
第二外接矩形确定子模块，用于分别结合所述多个连通域的行坐标范围和列坐标范围，确定所述多个连通域的外接矩形。
9.根据权利要求6所述的装置，其特征在于，所述形状类型确定模块包括：
第一特征确定子模块，用于对所述目标交通灯进行水平投影，以确定所述目标交通灯的水平投影特征，所述目标交通灯的水平投影特征为所述目标交通灯所占的行范围内每一行上用于组成所述目标交通灯的像素点数量；
第二特征确定子模块，用于对所述目标交通灯进行垂直投影，以确定所述目标交通灯的垂直投影特征，所述目标交通灯的垂直投影特征为所述目标交通灯所占的列范围内每一列上用于组成所述目标交通灯的像素点数量；
形状类型确定子模块，用于将所述目标交通灯的水平投影特征与模板交通灯的水平投影特征进行比较，并将所述目标交通灯的垂直投影特征与所述模板交通灯的垂直投影特征进行比较，以确定所述目标交通灯的形状类型；
其中，所述模板交通灯的水平投影特征为所述模板交通灯所占的行范围内每一行上用于组成所述模板交通灯的像素点数量，所述模板交通灯的垂直投影特征为所述模板交通灯所占的列范围内每一列上用于组成所述模板交通灯的像素点数量。
10.根据权利要求6所述的装置，其特征在于，所述目标交通灯提取模块包括：
彩色区域确定子模块，用于根据所述彩色图像中的颜色信息，确定多个彩色区域，每个彩色区域内的像素点的颜色为红、绿和黄三种颜色中任一种；
目标区域确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述彩色图像中确定出与所述交通灯候选区域对应的目标区域；
目标像素点确定子模块，用于从所述彩色图像中提取出属于所述目标区域且属于所述彩色区域的目标像素点，所述目标像素点为组成所述目标交通灯的像素点。
11.一种车辆，其特征在于，所述车辆包括：
单个摄像机，用于采集彩色图像；
TOF传感器，用于采集深度图像；以及
根据权利要求6-10任一项所述的识别交通灯的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610959788.8A CN107992789B (zh) | 2016-10-27 | 2016-10-27 | 识别交通灯的方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610959788.8A CN107992789B (zh) | 2016-10-27 | 2016-10-27 | 识别交通灯的方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107992789A true CN107992789A (zh) | 2018-05-04 |
| CN107992789B CN107992789B (zh) | 2020-09-15 |
Family
ID=62028720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610959788.8A Active CN107992789B (zh) | 2016-10-27 | 2016-10-27 | 识别交通灯的方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107992789B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109931912A (zh) * | 2019-04-12 | 2019-06-25 | 成都睿铂科技有限责任公司 | 一种航空倾斜摄影方法及装置 |
| CN109993202A (zh) * | 2019-02-15 | 2019-07-09 | 广东智媒云图科技股份有限公司 | 一种线稿型图形相似度判断方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867311A (zh) * | 2011-07-07 | 2013-01-09 | 株式会社理光 | 目标跟踪方法和目标跟踪设备 |
| CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
| CN103680176A (zh) * | 2012-09-18 | 2014-03-26 | 中国移动通信集团公司 | 基于位置信息的信号灯识别系统 |
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| US20160004923A1 (en) * | 2014-07-01 | 2016-01-07 | Brain Corporation | Optical detection apparatus and methods |
| CN105303860A (zh) * | 2015-10-22 | 2016-02-03 | 四川膨旭科技有限公司 | 车辆行驶过程中对红绿灯进行识别的系统 |
| CN105354563A (zh) * | 2015-12-14 | 2016-02-24 | 南京理工大学 | 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 |
-
2016
- 2016-10-27 CN CN201610959788.8A patent/CN107992789B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867311A (zh) * | 2011-07-07 | 2013-01-09 | 株式会社理光 | 目标跟踪方法和目标跟踪设备 |
| CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
| CN103680176A (zh) * | 2012-09-18 | 2014-03-26 | 中国移动通信集团公司 | 基于位置信息的信号灯识别系统 |
| US20160004923A1 (en) * | 2014-07-01 | 2016-01-07 | Brain Corporation | Optical detection apparatus and methods |
| CN104408424A (zh) * | 2014-11-26 | 2015-03-11 | 浙江大学 | 一种基于图像处理的多信号灯识别方法 |
| CN105303860A (zh) * | 2015-10-22 | 2016-02-03 | 四川膨旭科技有限公司 | 车辆行驶过程中对红绿灯进行识别的系统 |
| CN105354563A (zh) * | 2015-12-14 | 2016-02-24 | 南京理工大学 | 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 武莹 等: "基于图像处理的交通信号灯识别方法", 《交通信息与安全》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993202A (zh) * | 2019-02-15 | 2019-07-09 | 广东智媒云图科技股份有限公司 | 一种线稿型图形相似度判断方法、电子设备及存储介质 |
| CN109993202B (zh) * | 2019-02-15 | 2023-08-22 | 广东智媒云图科技股份有限公司 | 一种线稿型图形相似度判断方法、电子设备及存储介质 |
| CN109931912A (zh) * | 2019-04-12 | 2019-06-25 | 成都睿铂科技有限责任公司 | 一种航空倾斜摄影方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107992789B (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| CN110619750B (zh) | 面向违停车辆的智能航拍识别方法及系统 | |
| CN105718870B (zh) | 自动驾驶中基于前向摄像头的道路标线提取方法 | |
| CN107506760B (zh) | 基于gps定位与视觉图像处理的交通信号检测方法及系统 | |
| CN100437660C (zh) | 基于全方位视觉传感器的违章车辆监控装置 | |
| CN103971380B (zh) | 基于rgb-d的行人尾随检测方法 | |
| CN104776849B (zh) | 车辆定位装置与方法 | |
| CN106909937A (zh) | 交通信号灯识别方法、车辆控制方法、装置及车辆 | |
| CN101833859A (zh) | 基于虚拟线圈的自触发车牌识别方法 | |
| CN102867417A (zh) | 一种出租车防伪系统及方法 | |
| CN102902957A (zh) | 一种基于视频流的自动车牌识别方法 | |
| CN112364707B (zh) | 一种智能车对复杂路况进行超视距感知的系统及方法 | |
| CN106709412B (zh) | 交通标志检测方法和装置 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| US10217240B2 (en) | Method and system to determine distance to an object in an image | |
| CN106991821A (zh) | 违章车辆用手持移动终端数据采集系统 | |
| CN108090459A (zh) | 一种适用于车载视觉系统的交通标志检测识别方法 | |
| KR20130076378A (ko) | 차량용 색상검출기 | |
| CN107992788A (zh) | 识别交通灯的方法、装置及车辆 | |
| WO2022166606A1 (zh) | 一种目标检测方法及装置 | |
| CN107992789A (zh) | 识别交通灯的方法、装置及车辆 | |
| CN109978842A (zh) | 一种基于摄像头图像的能见度解析方法 | |
| CN105022992A (zh) | 一种车牌自动鉴别方法 | |
| JP2007280041A (ja) | 車体色判別装置 | |
| Philipsen et al. | Ongoing work on traffic lights: Detection and evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |