CN107886029B - 定位交通灯背景框的方法、装置及车辆 - Google Patents
定位交通灯背景框的方法、装置及车辆 Download PDFInfo
- Publication number
- CN107886029B CN107886029B CN201610871095.3A CN201610871095A CN107886029B CN 107886029 B CN107886029 B CN 107886029B CN 201610871095 A CN201610871095 A CN 201610871095A CN 107886029 B CN107886029 B CN 107886029B
- Authority
- CN
- China
- Prior art keywords
- traffic light
- axis direction
- target area
- area
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种定位交通灯背景框的方法、装置及车辆。该方法基于3D摄像头采集到的具有深度信息的图像，对交通灯背景框进行定位。由于3D摄像头的深度成像原理不受自然光照影响，所以在定位交通灯背景框的过程中，对于白天、夜晚等不同光照情况下的识别会更加准确。并且，由于深度信息是由3D摄像头直接输出的，无需额外处理，因此在一定程度上可以减少图像处理的复杂度，提升识别效率。此外，3D摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的，这样使得在结合两者对交通灯背景框进行定位时，定位结果更加准确。无需采集样本以及机器学习，简化了定位交通灯背景框的过程，提高了定位交通灯背景框的效率和准确度。
Description
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种定位交通灯背景框的方法、装置及车辆。
背景技术
随着社会经济的快速发展，汽车越来越普及，然而人们在享受汽车带来的好处的同时，也面临着日益加剧的城市交通安全问题和路口通行效率问题，因此，用于车辆行驶安全的交通信号灯识别技术应运而生，而交通灯背景框的定位方法在交通信号灯的识别过程中起着举足轻重的作用。
目前的交通灯背景框定位方法都是基于2D摄像头采集回来的彩色图像，在此基础上利用背景框的一些特征结合相应的图像处理技术进行定位。由于交通路况的复杂性，要想获得准确的定位结果，除了对图像质量要求特别高之外，对算法复杂度的要求也很苛刻，同时定位结果也不尽人意，主要原因在于2D图像本身的图像质量有一定局限，且图像质量受外界干扰影响比较大，这些都会对定位结果产生直接的影响。
发明内容
本公开的目的是提供一种定位交通灯背景框的方法、装置及车辆，以简化定位交通灯背景框的过程，提高定位交通灯背景框的效率和准确度。
为了实现上述目的，本公开提供一种定位交通灯背景框的方法，所述方法包括：
对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。
可选地，在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，所述方法还包括：
确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
若所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变，则确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
可选地，所述对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像，包括：
确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
可选地，所述确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况，包括：
根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；
若所述交通灯相对于地面是水平放置的，则分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
若所述交通灯相对于地面是垂直放置的，则分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
可选地，通过以下方式确定所述目标区域的边缘在所述Y轴方向的高度存在突变：
在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
自所述中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；
通过以下方式确定所述目标区域的边缘在所述X轴方向的宽度存在突变：
在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
可选地，所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：
确定在所述高度差值出现突变时，所述第一滑动窗的位置；
根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者
所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：
确定在所述宽度差值出现突变时，所述第二滑动窗的位置；
根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
本公开还提供一种定位交通灯背景框的装置，所述装置包括：
颜色分割模块，用于对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
目标深度图像提取模块，用于从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
目标区域提取模块，用于对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
定位模块，用于根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。
可选地，所述装置还包括：
第一确定模块，用于在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
第二确定模块，用于在所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变时，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开模块，用于断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
可选地，所述颜色分割模块包括：
色调值确定子模块，用于确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
图像分割子模块，用于以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
可选地，所述第一确定模块包括：
第一确定子模块，用于根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；
第一遍历模块，用于在所述交通灯相对于地面是水平放置时，分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
第二遍历模块，用于在所述交通灯相对于地面是垂直放置时，分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
可选地，所述第二确定模块包括：
第一滑动窗生成子模块，用于在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
第一记录子模块，用于记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
第一移动子模块，用于自所述中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；
第二滑动窗生成子模块，用于在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
第二记录子模块，用于记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
第二移动子模块，用于自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
可选地，所述断开模块包括：
第一位置确定子模块，用于确定在所述高度差值出现突变时，所述第一滑动窗的位置；
第一交界线确定子模块，用于根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第一断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者
所述断开模块包括：
第二位置确定子模块，用于确定在所述宽度差值出现突变时，所述第二滑动窗的位置；
第二交界线确定子模块，用于根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第二断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
本公开还提供一种车辆，所述车辆包括：
3D摄像头，用于采集具有深度信息的图像；以及
本公开提供的上述定位交通灯背景框的装置。
基于3D摄像头采集到的具有深度信息的图像，对交通灯背景框进行定位。由于3D摄像头的深度成像原理不受自然光照影响，所以在定位交通灯背景框的过程中，对于白天、夜晚等不同光照情况下的识别会更加准确。并且，由于深度信息是由3D摄像头直接输出的，无需额外处理，因此在一定程度上可以减少图像处理的复杂度，提升识别效率。此外，3D摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的，这样使得在结合两者对交通灯背景框进行定位时，定位结果更加准确。无需采集样本以及机器学习，简化了定位交通灯背景框的过程，提高了定位交通灯背景框的效率和准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种定位交通灯背景框的方法的流程图。
图2是根据一示例性实施例示出的目标深度图像的示意图。
图3是根据一示例性实施例示出的从目标区域中定位出交通灯背景框的流程图。
图4是根据一示例性实施例示出的一种定位交通灯背景框的装置的示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
相关技术中，交通灯背景框的定位方法是基于2D摄像头采集到的彩色图像进行研究的，由于2D摄像头采集到的图像本身有质量上的局限性，且图像质量受外界干扰影响较大，进而对交通灯背景框的定位结果产生影响。为解决该技术问题，本公开提出一种利用CMOS(中文：互补金属氧化物半导体；英文：Complementary Metal Oxide Semiconductor)结合TOF(中文：飞行时间；英文：Time of Flight)的新型传感器(3D摄像头)来定位交通灯背景框的方法。该3D摄像头可以获取具有深度信息的彩色图像，利用彩色图像的深度信息，结合其他图像处理方法，能够快速定位交通灯背景框。
请参考图1，图1是根据一示例性实施例示出的一种定位交通灯背景框的方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11：对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
步骤S12：从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
步骤S13：对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
步骤S14：根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框。
交通灯背景框是指用于装载交通信号灯的矩形框架，故在本公开中，交通灯背景框的定位是在确定交通信号灯的区域的基础上进行的，即首先确定符合交通信号灯颜色(红、绿和黄)的区域，然后在相对应的区域范围内确定交通灯背景框的区域。另外，交通灯背景框的安装位置、高度以及框架结构都由《GB 14886-2006道路交通信号灯设置与安装规范》作了相关规定，因此交通灯背景框的面积大小、长宽比等特性都是有相关依据的。
本公开中，使用3D摄像头代替传统的2D摄像头，以获得彩色图像的深度信息，因而在算法处理过程中融入了对图像的深度信息的处理。
在实际应用中，3D摄像头可以安装在汽车的车身上，一种可能的安装方式是：将3D摄像头安装在车内后视镜前方的挡风玻璃处。这样能够保证在汽车的行驶过程中，3D摄像头可以实时采集前方道路的图像，从而实时定位交通灯背景框。
可选地，3D摄像头向上或向下的安装角度可以根据实际采集回来的图像进行标定，以便于在进行图像处理时，可以减少图像处理的区域和数据量，还能减少一部分其它光源(如部分汽车尾灯等)带来的影响。一种可能的标定方式是：结合《GB 14886-2006道路交通信号灯设置与安装规范》，保证3D摄像头采集回来的图像中的交通信号灯区域位于图像的上面1/2处(上一半)。
步骤S11，对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像，也就是通过颜色分割处理确定交通信号灯可能存在的区域。该步骤包括：
确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
一种可能的实施方式是：由于HSV色彩空间(色调H、饱和度S和明度V)中H与V具有无关性，可以将3D摄像头采集到的RGB(红R、绿G和蓝B)图像转换为HSV图像，利用不同交通信号灯颜色的H阈值对图像进行颜色分割。其中，红色的H值范围是小于6或大于244，绿色的H值范围是81至130之间，黄色的H值范围是21至46之间。如何确定红、绿和黄三种颜色的H值范围，可参考相关技术，在此就不再赘述。
步骤S12，从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像。利用3D摄像头采集图像，可以获取图像的深度信息，即图像中的每一个像素点都有一个距离信息，根据预设深度阈值范围进行适当筛选，可以排除一些干扰区域。而该预设深度阈值范围的一种可能的设定方式是：根据《GB 14886-2006道路交通信号灯设置与安装规范》，图像中太近或太远的目标区域则为干扰区域，在适当范围内(例如50～200m范围内)的区域则为需要提取出来的目标深度图像，如图2所示，图2是根据一示例性实施例示出的目标深度图像的示意图，图中显示的数字表示深度信息。
可选地，考虑到提取出的目标深度图像中存在一些细小的突出物，使得交通灯背景框周围存在噪声干扰。为消除噪声干扰，使得交通灯背景框的轮廓变得平滑，可以对目标深度图像进行形态学开运算处理，以去除细小的突出物。
步骤S13，对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域。该步骤是结合图像的颜色特性和深度信息，确定既符合交通信号灯颜色要求又满足预设深度阈值范围的区域，更加准确地定位出交通灯背景框可能存在的区域。
可选地，目标区域中可能出现交通灯背景框候选区域与交通灯灯杆区域相连的情况，则在从所述目标区域中定位出交通灯背景框之前，需要断开交通灯背景框候选区域和交通灯灯杆区域，包括以下步骤：
确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
若所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变，则确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
在实际应用中，交通信号灯相对于地面可能是水平放置的，也可能是垂直放置的。而交通信号灯放置方式不同，使得所述目标区域的边缘在所述目标区域的X轴方向或Y轴方向的变化情况不同，因此，所述确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况，包括以下步骤：
根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通信号灯相对于地面是水平放置的或垂直放置的；
若所述交通灯相对于地面是水平放置的，则分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
若所述交通灯相对于地面是垂直放置的，则分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
经过以上步骤之后，便确定了交通信号灯的放置方式，以及目标区域的边缘在该目标区域的X轴方向或Y轴方向的变化情况。然后确定该目标区域的边缘在相应X轴方向或Y轴方向是否存在突变。
若确定交通信号灯相对于地面是水平放置的，则目标区域的边缘在该目标区域的Y轴方向的高度可能存在突变，通过以下方式确定所述目标区域的边缘在所述Y轴方向的高度是否存在突变：
在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
自所述中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止。
若确定交通信号灯相对于地面是垂直放置的，则目标区域的边缘在该目标区域的X轴方向的宽度可能存在突变，通过以下方式确定所述目标区域的边缘在所述X轴方向的宽度是否存在突变：
在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
通过以上步骤，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域之后，断开交通灯背景框候选区域和所述交通灯灯杆区域。
若交通信号灯相对于地面是水平放置的，包括以下步骤：
确定在所述高度差值出现突变时，所述第一滑动窗的位置；
根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
若交通信号灯相对于地面是垂直放置的，则根据所述第二滑动窗的位置进行类似操作。
在断开所述交通灯背景框候选区域和所述交通灯灯杆区域后，保留下所述交通灯背景框候选区域(例如图2中位于85m处的目标区域，滤除交通灯灯杆区域)，从所述交通灯背景框候选区域中定位交通灯背景框。
步骤S14，根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框，该步骤包括：
步骤S1401，根据所述目标区域的面积大小特性，排除不是交通灯背景框的目标区域；
步骤S1402，根据所述目标区域的矩形度，排除不是交通灯背景框的目标区域；
步骤S1403，根据所述目标区域的长宽比，排除不是交通灯背景框的目标区域。
步骤S1401、S1402和S1403是三个相对独立的过程，三者的执行顺序不分先后。请参考图3，图3是根据一示例性实施例示出的从目标区域中定位出交通灯背景框的流程图。图3以按照步骤S1401、S1402和S1403顺序执行作为示例。
根据《GB 14886-2006道路交通信号灯设置与安装规范》，交通灯背景框是一个长方形黑色矩形框，且该矩形框的面积大小有确切的规定值，因此当目标区域的面积过大或过小时，可确定该目标区域不是交通灯背景框，排除该目标区域(例如图2中位于20和180m处的目标区域)；当目标区域的面积满足规定值时，保留该目标区域。
根据《GB 14886-2006道路交通信号灯设置与安装规范》，交通灯背景框是符合长宽比在一定范围内的规则矩形，因此可以通过对比目标区域的矩形度与预设矩形度阈值(例如预设矩形度阈值是0.92)，若目标区域的矩形度小于预设矩形度阈值，则确定该目标区域不是交通灯背景框，排除该目标区域(例如图2中位于80m处的目标区域)；若目标区域的矩形度大于或等于预设矩形度阈值，则保留该目标区域。
对比目标区域的长宽比与预设长宽比阈值范围(例如预设长宽比阈值范围是1/5至1/2之间)，若目标区域的长宽比不满足预设长宽比阈值范围，则确定该目标区域不是交通灯背景框，排除该目标区域；若目标区域的长宽比满足预设长宽比阈值范围，则保留该目标区域。
同时满足步骤S1401、S1402和S1403三个步骤中的保留条件的目标区域则是交通灯背景框(例如图2中位于85m处的目标区域)，由此实现从所述目标区域中定位出交通灯背景框。
本公开还提供一种定位交通灯背景框的装置。请参考图4，图4是根据一示例性实施例示出的一种定位交通灯背景框的装置的示意图。如图4所示，该装置400包括：
颜色分割模块401，用于对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
目标深度图像提取模块402，用于从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
目标区域提取模块403，用于对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
定位模块404，用于根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。
可选地，所述装置还包括：
第一确定模块，用于在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
第二确定模块，用于在所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变时，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开模块，用于断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
可选地，所述颜色分割模块包括：
色调值确定子模块，用于确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
图像分割子模块，用于以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
可选地，所述第一确定模块包括：
第一确定子模块，用于根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；
第一遍历模块，用于在所述交通灯相对于地面是水平放置时，分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
第二遍历模块，用于在所述交通灯相对于地面是垂直放置时，分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
可选地，所述第二确定模块包括：
第一滑动窗生成子模块，用于在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
第一记录子模块，用于记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
第一移动子模块，用于自所述中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；
第二滑动窗生成子模块，用于在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
第二记录子模块，用于记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
第二移动子模块，用于自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
可选地，所述断开模块包括：
第一位置确定子模块，用于确定在所述高度差值出现突变时，所述第一滑动窗的位置；
第一交界线确定子模块，用于根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第一断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者
所述断开模块包括：
第二位置确定子模块，用于确定在所述宽度差值出现突变时，所述第二滑动窗的位置；
第二交界线确定子模块，用于根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第二断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，本发明还提供一种车辆，该车辆可以包括3D摄像头，用于采集具有深度信息的图像；以及根据本公开所提供的定位交通灯背景框的装置。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (9)
1.一种定位交通灯背景框的方法，其特征在于，所述方法包括：
对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
若所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变，则确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开所述交通灯背景框候选区域和所述交通灯灯杆区域；
根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框；
其中，通过以下方式确定所述目标区域的边缘在所述Y轴方向的高度存在突变：
在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
自中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；
通过以下方式确定所述目标区域的边缘在所述X轴方向的宽度存在突变：
在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
2.根据权利要求1所述的方法，其特征在于，所述对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像，包括：
确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况，包括：
根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；
若所述交通灯相对于地面是水平放置的，则分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
若所述交通灯相对于地面是垂直放置的，则分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
4.根据权利要求1所述的方法，其特征在于，所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：
确定在所述高度差值出现突变时，所述第一滑动窗的位置；
根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者
所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：
确定在所述宽度差值出现突变时，所述第二滑动窗的位置；
根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
5.一种定位交通灯背景框的装置，其特征在于，所述装置包括：
颜色分割模块，用于对3D摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；
目标深度图像提取模块，用于从3D摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；
目标区域提取模块，用于对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；
定位模块，用于根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框；
第一确定模块，用于在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，确定所述目标区域的边缘在所述目标区域的Y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的X轴方向的宽度变化情况；
第二确定模块，用于在所述目标区域的边缘在所述Y轴方向的高度存在突变，或所述目标区域的边缘在所述X轴方向的宽度存在突变时，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；
断开模块，用于断开所述交通灯背景框候选区域和所述交通灯灯杆区域；
其中，所述第二确定模块包括：
第一滑动窗生成子模块，用于在所述目标区域的边缘中与所述X轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；
第一记录子模块，用于记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值；
第一移动子模块，用于自中心点起，以预定步长分别沿所述X轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述Y轴方向的第一高度与所述第二像素点在所述Y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；
第二滑动窗生成子模块，用于在所述目标区域的边缘中与所述Y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；
第二记录子模块，用于记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值；
第二移动子模块，用于自所述中心点起，以预定步长分别沿所述Y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述X轴方向的第一宽度与所述第四像素点在所述X轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。
6.根据权利要求5所述的装置，其特征在于，所述颜色分割模块包括：
色调值确定子模块，用于确定3D摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；
图像分割子模块，用于以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。
7.根据权利要求5所述的装置，其特征在于，所述第一确定模块包括：
第一确定子模块，用于根据所述目标区域的中心点分别在所述X轴方向以及所述Y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；
第一遍历模块，用于在所述交通灯相对于地面是水平放置时，分别向所述X轴的正负方向遍历所述目标区域的边缘在所述Y轴方向的高度；
第二遍历模块，用于在所述交通灯相对于地面是垂直放置时，分别向所述Y轴的正负方向遍历所述目标区域的边缘在所述X轴方向的宽度。
8.根据权利要求5所述的装置，其特征在于，所述断开模块包括：
第一位置确定子模块，用于确定在所述高度差值出现突变时，所述第一滑动窗的位置；
第一交界线确定子模块，用于根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第一断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者
所述断开模块包括：
第二位置确定子模块，用于确定在所述宽度差值出现突变时，所述第二滑动窗的位置；
第二交界线确定子模块，用于根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；
第二断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。
9.一种车辆，其特征在于，所述车辆包括：
3D摄像头，用于采集具有深度信息的图像；以及
根据权利要求5-8任一项所述的定位交通灯背景框的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610871095.3A CN107886029B (zh) | 2016-09-30 | 2016-09-30 | 定位交通灯背景框的方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610871095.3A CN107886029B (zh) | 2016-09-30 | 2016-09-30 | 定位交通灯背景框的方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886029A CN107886029A (zh) | 2018-04-06 |
| CN107886029B true CN107886029B (zh) | 2020-08-25 |
Family
ID=61769176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610871095.3A Active CN107886029B (zh) | 2016-09-30 | 2016-09-30 | 定位交通灯背景框的方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107886029B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146906B (zh) * | 2018-08-22 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112908006B (zh) * | 2021-04-12 | 2022-06-07 | 吉林大学 | 一种识别道路交通信号灯状态和倒计时显示器时间的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103680142A (zh) * | 2013-12-23 | 2014-03-26 | 苏州君立软件有限公司 | 一种交通路口智能监控方法 |
| CN104050827A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种基于视觉的交通信号灯自动检测识别方法 |
| CN104915943A (zh) * | 2014-03-12 | 2015-09-16 | 株式会社理光 | 用于在视差图中确定主要视差值的方法和装置 |
| CN105303860A (zh) * | 2015-10-22 | 2016-02-03 | 四川膨旭科技有限公司 | 车辆行驶过程中对红绿灯进行识别的系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9145140B2 (en) * | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
-
2016
- 2016-09-30 CN CN201610871095.3A patent/CN107886029B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103680142A (zh) * | 2013-12-23 | 2014-03-26 | 苏州君立软件有限公司 | 一种交通路口智能监控方法 |
| CN104915943A (zh) * | 2014-03-12 | 2015-09-16 | 株式会社理光 | 用于在视差图中确定主要视差值的方法和装置 |
| CN104050827A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种基于视觉的交通信号灯自动检测识别方法 |
| CN105303860A (zh) * | 2015-10-22 | 2016-02-03 | 四川膨旭科技有限公司 | 车辆行驶过程中对红绿灯进行识别的系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视觉的交通信号灯检测与识别系统的设计与实现;孟江曼;《中国优秀硕士学位论文全文数据库》;20160315(第3期);第8-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107886029A (zh) | 2018-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10592754B2 (en) | Shadow removing method for color image and application | |
| US9405980B2 (en) | Arrow signal recognition device | |
| JP6819996B2 (ja) | 交通信号認識方法および交通信号認識装置 | |
| KR101409340B1 (ko) | 교통 표지 인식 방법 및 그 시스템 | |
| KR101799778B1 (ko) | 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법 | |
| CN104899554A (zh) | 一种基于单目视觉的车辆测距方法 | |
| CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
| KR20170104287A (ko) | 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법 | |
| JP2011216051A (ja) | 信号灯識別プログラムおよび信号灯識別装置 | |
| Wu et al. | Raindrop detection and removal using salient visual features | |
| JP6753134B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム | |
| CN102609702B (zh) | 一种道路指路标志的快速定位方法以及系统 | |
| CN111832388B (zh) | 一种车辆行驶中交通标志检测与识别方法及系统 | |
| CN107644538B (zh) | 交通信号灯的识别方法及装置 | |
| CN107886033B (zh) | 识别圆形交通灯的方法、装置及车辆 | |
| CN111046741A (zh) | 车道线识别的方法和装置 | |
| US20200042808A1 (en) | Apparatus and Method for Detecting a Traffic Light Phase for a Motor Vehicle | |
| CN107886029B (zh) | 定位交通灯背景框的方法、装置及车辆 | |
| CN107886035B (zh) | 识别箭头交通灯的方法、装置及车辆 | |
| CN107992788B (zh) | 识别交通灯的方法、装置及车辆 | |
| JP6375911B2 (ja) | カーブミラー検出装置 | |
| JP2022152922A (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
| JP7308115B2 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
| CN114365182A (zh) | 物体检测装置、物体检测系统、移动体和物体检测方法 | |
| CN107992789B (zh) | 识别交通灯的方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |