CN104769652A - 用于检测交通灯的方法和系统 - Google Patents

用于检测交通灯的方法和系统 Download PDF

Info

Publication number
CN104769652A
CN104769652A CN201280076730.9A CN201280076730A CN104769652A CN 104769652 A CN104769652 A CN 104769652A CN 201280076730 A CN201280076730 A CN 201280076730A CN 104769652 A CN104769652 A CN 104769652A
Authority
CN
China
Prior art keywords
scale images
image
converted
monochromatic scale
coloured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280076730.9A
Other languages
English (en)
Other versions
CN104769652B (zh
Inventor
张燕昆
洪初阳
蒋如意
周允
诺曼·韦里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104769652A publication Critical patent/CN104769652A/zh
Application granted granted Critical
Publication of CN104769652B publication Critical patent/CN104769652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供一种用于检测交通灯的方法。所述方法包含:获得相机捕获的彩色图像;将所述彩色图像转换为第一单色标度图像;将所述第一单色标度图像转换为第一二值图像;基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及使用绿色交通灯分类符确定所述彩色图像中的第一区是否是绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。准确性和效率可得以改进。

Description

用于检测交通灯的方法和系统
技术领域
本公开大体涉及一种用于检测交通灯的方法和系统。
发明背景
交通灯检测可辅助车辆安装的导航系统改进其准确性。在现有方法中,交通灯是基于颜色来检测的。在此方法中,彩色图像由车辆安装的相机捕获。接着可通过彩色分段(color segmentation)和斑点分析(blob analysis)来识别候选区。随后,彩色图像中的候选区分别与红色交通灯模型和/或绿色交通灯模型比较以确定彩色图像中是否存在交通灯。然而,基于颜色的绿色交通灯检测不是太可靠,因为相机捕获的图像中的绿色交通灯的颜色可能容易受例如环境光等其它因素影响。因此,需要一种用于检测交通灯的稳健的方法。还需要一种用于检测红色交通灯的稳健的方法。
发明概要
根据本公开的一个实施方案,提供一种用于检测交通灯的方法。所述方法包含:获得相机捕获的彩色图像;将所述彩色图像转换为第一单色标度图像;将所述第一单色标度图像转换为第一二值图像;基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
在一些实施方案中,所述第一单色标度图像可为灰度图像。在一些实施方案中,彩色图像可基于亮度值转换为灰度图像。在一些实施方案中,彩色图像可基于绿色通道值转换为灰度图像。
在一些实施方案中,所述第一单色标度图像可为绿色标度图像。在一些实施方案中,可通过移除红色通道和蓝色通道信息而将彩色图像转换为绿色标度图像。
在一些实施方案中,可移除彩色图像的下部部分,且可将彩色图像的剩余上部部分转换为单色标度图像。
在一些实施方案中,所述方法可进一步包含在所述第一单色标度图像上应用白顶帽形态学算子(white top-hat morphology operator)以获得第二单色标度图像,以及将所述第二单色标度图像转换为第一二值图像。
在一些实施方案中,第一二值图像可使用OSTU方法从第一或第二单色标度图像转换。
在一些实施方案中,第一二值图像可基于亮度的第一阈值从第一或第二单色标度图像转换。在一些实施方案中,亮度的所述第一阈值是第一或第二单色标度图像的均值亮度的约70%至约80%。在一些实施方案中,亮度的所述第一阈值可为均值亮度的75%。因此,如果第一或第二单色标度图像中像素的亮度大于亮度的第一阈值,那么像素将设定为有效,否则像素将设定为无效。有效像素意味着在识别候选斑点的第一集合时将考虑所述像素。
在一些实施方案中,在第一二值图像中,有效像素可呈白色,且无效像素可呈黑色。在一些实施方案中,在第一二值图像中,有效像素可呈黑色,且无效像素可呈白色。
在一些实施方案中,所述至少一个几何参数可包含大小参数。在一些实施方案中,所述至少一个几何参数可包含形状参数。
在一些实施方案中,大小参数可为像素数目的范围。在一些实施方案中,像素数目的范围可从约5个像素至300个像素。换句话说,具有多于约300个像素或少于约5个像素的斑点可被滤出。像素数目的范围可基于例如分辨率和焦距等相机的参数确定。因此,可滤出太大或太小的斑点(其不可能是交通灯)。另外,距相机太近或太远的交通灯也可滤出,因为其对于导航准确性可能没有帮助。
在一些实施方案中,大小参数可为宽度范围。在一些实施方案中,宽度范围可从约5个像素至约25个像素。换句话说,可滤出具有拥有大于约25个像素或少于5个像素的宽度的最小封围矩形的斑点。还可基于例如分辨率和焦距等相机的参数确定宽度范围。因此,可滤出距相机太近或太远的交通灯。在一些实施方案中,所述至少一个几何参数可包含像素数目的范围和宽度范围两者。
在一些实施方案中,形状参数可为宽度与高度的比率的范围。在一些实施方案中,宽度与高度的比率的范围可从约0.8至约1.25。换句话说,可滤出具有拥有大于约1.25或小于约0.8的纵横比的最小封围矩形的斑点。因此,可滤出不可能为圆形的斑点。
在一些实施方案中,绿色交通灯分类符可适于单色标度图像,且其可在第一单色标度图像上应用以确定彩色图像中的第一区是否表示绿色交通灯。在一些实施方案中,红色交通分类符可适于彩色图像,且其可在彩色图像上应用以确定彩色图像中的第一区是否为绿色交通灯。
在一些实施方案中,绿色交通灯分类符可为模板匹配、神经网络、支持向量机(SVM)或级联检测器。
根据本公开的一个实施方案,所述用于检测交通灯的方法可进一步包含:将所述彩色图像转换为第二二值图像;基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合;以及使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中所述彩色图像可基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,如果所述像素的Q值小于第二阈值,那么所述像素将被设定为无效。
在一些实施方案中,红色交通分类符可适于单色图像,且可在第一单色标度图像上应用以确定彩色图像中的第二区是否表示红色交通灯。在一些实施方案中,红色交通分类符可适于彩色图像,且可在彩色图像上应用以确定彩色图像中的第二区是否为红色交通灯。
在一些实施方案中,第二阈值可在约210至约230的范围内。在一些实施方案中,第二阈值可为220。第二阈值可基于例如色域和色饱和度等相机的参数确定。因此,其中红色占主导的像素可设定为有效。
根据本公开的一个实施方案,提供一种用于检测绿色交通灯的方法。所述方法包含:获得相机捕获的彩色图像;将所述彩色图像转换为第一单色标度图像;将所述第一单色标度图像转换为第一二值图像;基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及通过在第一单色标度图像上应用绿色交通灯分类符来确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
根据本公开的一个实施方案,提供一种用于检测红色交通灯的方法。所述方法包含:获得相机捕获的彩色图像;将所述彩色图像转换为第二二值图像;基于至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合;以及使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中所述彩色图像基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,且如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。有效像素意味着在识别候选斑点时将考虑所述像素。
在一些实施方案中,在第二二值图像中,有效像素可呈白色,且无效像素可呈黑色。在一些实施方案中,在第二二值图像中,有效像素可呈黑色,且无效像素可呈白色。
在一些实施方案中,彩色图像可基于红色通道值转换为单色标度图像,且红色交通分类符可适于单色图像,且可在单色标度图像上应用以确定彩色图像中的第二区是否表示红色交通灯。在一些实施方案中,红色交通分类符可适于彩色图像,且可在彩色图像上应用以确定彩色图像中的第二区是否为红色交通灯。
在一些实施方案中,第二阈值可在约210至约230的范围内。在一些实施方案中,第二阈值可为220。第二阈值可基于例如色域和色饱和度等相机的参数确定。因此,其中红色占主导的像素可设定为有效。
在一些实施方案中,所述至少一个几何参数可包含大小参数。在一些实施方案中,所述至少一个几何参数可包含形状参数。
在一些实施方案中,大小参数可为像素数目的范围。在一些实施方案中,像素数目的范围可从约5个像素至300个像素。换句话说,具有多于约300个像素或少于约5个像素的斑点可被滤出。像素数目的范围可基于例如分辨率和焦距等相机的参数确定。因此,可滤出太大或太小的斑点(其不可能是交通灯)。另外,距相机太近或太远的交通灯也可滤出,因为其对于导航准确性可能没有帮助。
在一些实施方案中,大小参数可为宽度范围。在一些实施方案中,宽度范围可从约5个像素至约25个像素。换句话说,可滤出具有拥有大于约25个像素或少于5个像素的宽度的最小封围矩形的斑点。还可基于例如分辨率和焦距等相机的参数确定宽度范围。因此,可滤出距相机太近或太远的交通灯。在一些实施方案中,所述至少一个几何参数可包含像素数目的范围和宽度范围两者。
在一些实施方案中,形状参数可为宽度与高度的比率的范围。在一些实施方案中,宽度与高度的比率的范围可从约0.8至约1.25。换句话说,可滤出具有拥有大于约1.25或小于约0.8的纵横比的最小封围矩形的斑点。因此,可滤出不可能为圆形的斑点。
在一些实施方案中,红色交通灯分类符可为模板匹配、神经网络、支持向量机(SVM)或级联检测器。
根据本公开的一个实施方案,提供一种用于检测交通灯的系统。所述系统包含相机和处理装置,所述处理装置经配置以:获得相机捕获的彩色图像;将所述彩色图像转换为第一单色标度图像;将所述第一单色标度图像转换为第一二值图像;基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
在一些实施方案中,所述处理装置可进一步经配置以:将所述彩色图像转换为第二二值图像;基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合;以及使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中所述彩色图像基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,且如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。有效像素意味着在识别候选斑点时将考虑所述像素。
根据本公开的一个实施方案,提供一种用于检测交通灯的系统。所述系统可包含:相机;第一单元,其用于将相机捕获的彩色图像转换为第一单色标度图像;第二单元,其用于将所述第一单色标度图像转换为第一二值图像;第三单元,其用于基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及第四单元,其用于使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。在一些实施方案中,所述系统可进一步包含:第五单元,其用于将相机捕获的彩色图像转换为第二二值图像,其中所述第三单元可基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合,且所述第四单元可使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中所述彩色图像基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,且如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。
通过采用本公开的方法或系统,可改进交通灯检测的准确性。
图式简单描述
结合附图阅读,从以下详细描述和所附权利要求书将更充分了解本公开的以上和其它特征。应理解,这些图式仅描绘根据本公开的若干实施方案,且因此不应视为限制其范围,将以额外特殊性和细节通过使用附图描述本公开。
图1示出根据本公开的一个实施方案的用于检测绿色交通灯的方法的示意流程图;
图2示意性示出由安装在车辆上的相机捕获的彩色图像;
图3示意性示出图2所示的彩色图像的上部部分;
图4示意性示出从图3所示的彩色图像的上部部分转换的第一单色标度图像的实例;
图5示意性示出从图4所示的第一单色标度图像转换的第二单色标度图像的实例;
图6示意性示出从图5所示的第二单色标度图像转换的第一二值图像的实例;
图7示意性示出图6中识别的候选斑点的第一集合;
图8示意性示出在第一单色标度图像中开窗的对应于候选斑点的第一集合的区;
图9示出根据本公开的一个实施方案的用于检测红色交通灯的方法的示意流程图;以及
图10示意性示出由安装在车辆上的相机捕获的彩色图像;
图11示意性示出图10所示的彩色图像的上部部分;
图12示意性示出从图11所示的彩色图像的上部部分转换的第二二值图像的实例;
图13示意性示出图12中识别的候选斑点的第二集合;以及
图14示意性示出在单色标度图像中开窗的对应于候选斑点的第二集合的区。
详细描述
在以下详细描述中,参看附图,附图形成描述内容的一部分。图式中,除非上下文另外指示,否则类似符号通常标示类似组件。详细描述、图式和权利要求书中描述的说明性实施方案不意图具有限制性。可利用其它实施方案,且可作出其它改变,而不脱离此处呈现的标的物的精神或范围。将容易理解,如本文大体描述且图式中示出的本公开的各方面可以多种不同配置来布置、替换、组合和设计,其全部明确地预期且组成本公开的一部分。
本申请的发明者发现,如果在绿色交通灯检测中使用单色标度图像,那么可改进准确性。
图1示出根据本公开的一个实施方案的用于检测绿色交通灯的方法100的示意流程图。
参看图1,在S101中,获得相机捕获的彩色图像。在一些实施方案中,相机可安装在车辆上。
图2示出由安装在车辆上的相机捕获的示例性彩色图像。在一些实施方案中,单目相机可用于捕获彩色图像。在一些实施方案中,可在均匀间隔的时间点捕获彩色图像,且可连续地逐一处理所述彩色图像。
在S103中,移除彩色图像的下部部分。因此,如图3所示的彩色图像的剩余上部部分被保留用于后续处理。移除图像的下部部分,因为通常交通灯可能不在此部分中出现。通过移除上部部分,可改进处理效率。然而,移除彩色图像的下部部分是任选的。
在S105中,将彩色图像的剩余上部部分转换为第一单色标度图像。在一些实施方案中,所述第一单色标度图像可为灰度图像。
可使用不同方法将彩色图像转换为单色标度图像。在一些实施方案中,彩色图像的上部部分可基于亮度转换为灰度图像。算法可为:灰度=0.299R+0.587G+0.114B,其中R、G和B分别代表像素的红色、绿色和蓝色通道值。在一些实施方案中,可基于绿色通道值将彩色图像的上部部分转换为灰度图像,其中灰度=G。图4示出基于绿色通道值从图3所示的彩色图像的上部部分转换的第一单色标度图像的实例。
在S107中,将第一单色标度图像转换为第二单色标度图像。
图5示出从图4所示的第一单色标度图像转换的第二单色标度图像的实例。在一些实施方案中,可在第一单色标度图像上应用白顶帽形态学算子以将第一单色标度图像转换为第二单色标度图像,以增强对比度,以便防止遗漏任何阳性。因此,相对亮的区将更亮,且相对暗的区将更暗。除此之外,例如对应于天空的区等较大亮区可归因于白顶帽形态学算子而转换为暗区。在一些实施方案中,在将第一单色标度图像转换为第二单色标度图像时可应用扩增和/或削弱,以减少隔离噪声点的干扰。
然而,将第一单色标度图像转换为第二单色标度图像也是任选的。
在S109中,将第二单色标度图像转换为第一二值图像。
图6示出从图5所示的第二单色标度图像转换的第一二值图像的实例。通过将第二单色标度图像转换为第一二值图像,像素可分类为两个类别,一个是“有效”(即,图6中的白色斑点)且另一个是“无效”(即,图6中的黑色部分)。有效像素将在后续过程中考虑以用于斑点分析。图6中的白色斑点是对应于绿色交通灯的可能区。在一些实施方案中,有效像素可转换为黑色,且无效像素可转换为白色。
在一些实施方案中,第二单色标度图像可使用OSTU方法转换为第一二值图像。
在一些实施方案中,第二单色标度图像可基于亮度的第一阈值转换为第一二值图像。在一些实施方案中,亮度的所述第一阈值可在第二单色标度图像的均值亮度的约70%至约80%的范围内。在一些实施方案中,亮度的所述第一阈值可为均值亮度的75%。亮度的所述第一阈值可基于例如光敏性等相机的参数来确定。
应注意,在一些实施方案中,第一二值图像可直接从第一单色标度图像转换。
在S111中,基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合。
图7示出图6中识别的候选斑点的第一集合。为减少计算负担,可滤出一些斑点,因为其基于其大小和/或形状不可能是交通灯。
在一些实施方案中,所述至少一个几何参数可包含大小参数。
在一些实施方案中,大小参数可为像素数目的范围。在一些实施方案中,像素数目的范围可从约5个像素至300个像素。换句话说,具有多于约300个像素或少于约5个像素的斑点可被滤出。像素数目的范围可基于例如分辨率和焦距等相机的参数确定。因此,可滤出太大或太小的斑点(其不可能是交通灯)。另外,距相机太近或太远的交通灯也可滤出,因为其对于导航准确性可能没有帮助。
在一些实施方案中,大小参数可为宽度范围。在一些实施方案中,宽度范围可从约5个像素至约25个像素。换句话说,可滤出具有拥有大于约25个像素或少于5个像素的宽度的最小封围矩形的斑点。还可基于例如分辨率和焦距等相机的参数确定宽度范围。因此,可滤出距相机太近或太远的交通灯。在一些实施方案中,所述至少一个几何参数可包含像素数目的范围和宽度范围两者。
在一些实施方案中,所述至少一个几何参数可包含形状参数。
在一些实施方案中,形状参数可为宽度与高度的比率的范围。在一些实施方案中,宽度与高度的比率的范围可从约0.8至约1.25。换句话说,可滤出具有拥有大于约1.25或小于约0.8的宽度与高度比率的最小封围矩形的斑点。因此,可滤出不可能为圆形的斑点。
在S113中,使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
在一些实施方案中,绿色交通灯分类符可适于彩色图像,且可直接在彩色图像中的第一区上应用以确定其是否表示绿色交通灯。
在一些实施方案中,绿色交通灯分类符可适于单色标度图像,且可在第一单色标度图像中的区上应用以确定第一区是否表示绿色交通灯,所述区对应于候选斑点的第一集合中的一者(即,对应于彩色图像中的第一区)。当使用适于单色标度图像的绿色交通灯分类符时,可基于单色标度图像的亮度确定一区是否表示绿色交通灯,因此可减少环境光对彩色图像中的绿色交通灯的颜色的影响。
图8示出在第一单色标度图像中开窗的对应于候选斑点的第一集合的区。一些区是假候选者,例如车辆前照灯、窗户、交通标志等。通过应用绿色交通灯分类符,可滤出那些假候选者,且可识别对应于绿色交通灯的区。
在一些实施方案中,绿色交通灯分类符可在第二单色标度图像中的区上应用以确定其是否表示绿色交通灯,所述区对应于候选斑点的第一集合中的一者。
在一些实施方案中,绿色交通灯分类符可为模板匹配、神经网络、支持向量机(SVM)或级联检测器。在一些实施方案中,绿色交通灯分类符优选为SVM或级联检测器。
图9示出根据本公开的一个实施方案的用于检测红色交通灯的方法200的示意流程图。
参看图9,在S201中,获得相机捕获的彩色图像。
图10示出相机捕获的示例性彩色图像。
在S203中,移除彩色图像的下部部分。图11示出彩色图像的剩余上部部分。
S201和S203的过程可分别类似于S101和S103的过程。因此,此处将不详细描述S201和S203。
在S205中,将彩色图像的剩余上部部分转换为第二二值图像。
图12示出从图11转换的第二二值图像。在一些实施方案中,彩色图像的上部部分可基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,且如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。有效像素意味着在识别候选斑点时将考虑所述像素。
获得彩色图像中的像素的RGB信息是本领域众所周知的,且此处将不详细描述。本公开的发明者发现,彩色图像中对应于红色交通灯的区在不同环境下可具有不同R值。因此,在仅使用R值确定一区是否表示红色交通灯的常规方法中,可确定表示红色交通灯的区为阴性,因为所述R值可在预定范围外。然而,Q值较稳定,因为环境对RGB值引起的影响可在某种程度上抵消。与常规技术相比,可减小假阴性率。
在一些实施方案中,第二阈值可在约210至约230的范围内。在一些实施方案中,第二阈值可为220。第二阈值可基于例如色域和色饱和度等相机的参数确定。因此,其中红色占主导的像素将设定为有效。在图12中,有效像素转换为白色,且无效像素转换为黑色。在一些实施方案中,有效像素可转换为黑色,且无效像素可转换为白色。
在S207中,基于至少一个预定几何参数识别第二二值图像中的候选斑点的第二集合。
图13示出从第二二值图像识别的候选斑点的第二集合。
因为用于红色交通灯检测的几何参数可与用于绿色交通灯检测的几何参数相同,且S207的过程可类似于S111的过程,所以此处将不详细描述S207。
在S209中,使用红色交通灯分类符确定彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者。
在一些实施方案中,红色交通分类符可在彩色图像中的第二区上应用以确定第二区是否表示红色交通灯。
在一些实施方案中,彩色图像可转换为单色标度图像,且红色交通分类符可在单色标度图像中的一区上应用以确定彩色图像中的第二区是否表示红色交通灯,所述区对应于彩色图像中的第二区。图14示出从彩色图像转换的单色标度图像,其中对应于候选斑点的第二集合的区被开窗。
在一些实施方案中,单色标度图像可为基于亮度从彩色图像转换的灰度图像。在一些实施方案中,可通过移除绿色和蓝色通道信息而从彩色图像转换单色标度图像。
在一些实施方案中,红色交通灯分类符可为模板匹配、神经网络、SVM或级联检测器。在一些实施方案中,红色交通灯分类符优选为SVM或级联检测器。
在一些实施方案中,可基于相同彩色图像串行或并行执行用于检测绿色交通灯的方法和用于检测红色交通灯的方法。
根据本公开的一个实施方案,提供一种用于检测交通灯的方法。所述方法包含绿色交通灯检测和红色交通灯检测,且所述方法可包含S101至S113以及S201至S209。在一些实施方案中,在S209中,可在S105中获得的第一单色图像上应用红色交通灯以确定第二区是否表示红色交通灯。
根据本公开的一个实施方案,提供一种用于检测交通灯的系统。所述系统包含经配置以执行S101至S113(其在上文的实施方案中描述)的处理装置。在一些实施方案中,所述处理装置可进一步经配置以执行S201至S209。
根据本公开的一个实施方案,提供一种用于检测交通灯的系统。所述系统可包含:相机;第一单元,其用于将相机捕获的彩色图像转换为第一单色标度图像;第二单元,其用于将所述第一单色标度图像转换为第一二值图像;第三单元,其用于基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及第四单元,其用于使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。在一些实施方案中,所述系统可进一步包含:第五单元,其用于将相机捕获的彩色图像转换为第二二值图像,其中所述第三单元能够基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合,且所述第四单元能够使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述区对应于候选斑点的所述第二集合中的一者,其中所述彩色图像基于等式(1)转换为第二二值图像:
Q=2R-G-B  等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,且如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。
通过采用本公开的方法或系统,可改进交通灯检测的准确性和效率。
系统的各方面的硬件与软件实现方式之间存在极小差别;硬件或软件的使用通常是表示成本与效率折衷的设计选择。举例来说,如果实施者确定速度和准确度为最重要的,那么实施者可选择主要硬件和/或固件车辆;如果灵活性为最重要的,那么实施者可选择主要软件实现方式;或者,再一次作为替代,实施者可选择硬件、软件和/或固件的某一组合。
虽然本文已公开各个方面和实施方案,但本领域的技术人员将了解其它方面和实施方案。本文公开的各个方面和实施方案是出于说明的目的,且不希望具有限制性,其真实范围和精神由所附权利要求书指示。

Claims (21)

1.一种用于检测交通灯的方法,其包括:
获得相机捕获的彩色图像;
将所述彩色图像转换为第一单色标度图像;
将所述第一单色标度图像转换为第一二值图像;
基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;以及
使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
2.根据权利要求1所述的方法,其中所述第一单色标度图像是灰度图像。
3.根据权利要求2所述的方法,其中基于绿色通道值将所述彩色图像转换为所述灰度图像。
4.根据权利要求1所述的方法,其进一步包括在所述第一单色标度图像上应用白顶帽形态学算子以获得第二单色标度图像,以及将所述第二单色标度图像转换为所述第一二值图像。
5.根据权利要求4所述的方法,其中基于亮度的第一阈值将所述第二单色标度图像转换为所述第一二值图像。
6.根据权利要求5所述的方法,其中亮度的所述第一阈值是所述第二单色标度图像的均值亮度的约70%至约80%。
7.根据权利要求1所述的方法,其中所述至少一个几何参数包括像素数目的范围、宽度范围,以及宽度与高度比率的范围。
8.根据权利要求1所述的方法,其中所述绿色交通灯分类符适于单色标度图像,且其在所述第一单色标度图像上应用以确定所述第一区是否表示绿色交通灯。
9.根据权利要求1所述的方法,其进一步包括:
将所述彩色图像转换为第二二值图像;
基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合;以及
使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中基于等式(1)将所述彩色图像转换为所述第二二值图像:
Q=2R-G-B等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。
10.根据权利要求9所述的方法,其中所述第二阈值是约210至约230。
11.根据权利要求9所述的方法,其中所述红色交通灯分类符适于单色标度图像,且其在所述第一单色标度图像上应用以确定所述第二区是否表示红色交通灯。
12.一种用于检测交通灯的系统,其包括:
处理装置,其经配置以:
获得相机捕获的彩色图像;
将所述彩色图像转换为第一单色标度图像;
将所述第一单色标度图像转换为第一二值图像;
基于至少一个预定几何参数识别所述第一二值图像中的候选斑点的第一集合;且
使用绿色交通灯分类符确定所述彩色图像中的第一区是否表示绿色交通灯,所述第一区对应于候选斑点的所述第一集合中的一者。
13.根据权利要求12所述的系统,其中所述第一单色标度图像是灰度图像。
14.根据权利要求13所述的系统,其中基于绿色通道值将所述彩色图像转换为所述灰度图像。
15.根据权利要求12所述的系统,其中所述处理装置进一步经配置以在所述第一单色标度图像上应用白顶帽形态学算子以获得第二单色标度图像,且将所述第二单色标度图像转换为所述第一二值图像。
16.根据权利要求15所述的系统,其中基于亮度的第一阈值将所述第二单色标度图像转换为所述第一二值图像。
17.根据权利要求16所述的系统,其中亮度的所述第一阈值是所述第二单色标度图像的均值亮度的约70%至约80%。
18.根据权利要求12所述的系统,其中所述至少一个几何参数包括像素数目的范围、宽度范围,以及宽度与高度比率的范围。
19.根据权利要求12所述的系统,其中所述处理装置进一步经配置以:
将所述彩色图像转换为第二二值图像;
基于所述至少一个预定几何参数识别所述第二二值图像中的候选斑点的第二集合;且
使用红色交通灯分类符确定所述彩色图像中的第二区是否表示红色交通灯,所述第二区对应于候选斑点的所述第二集合中的一者,其中基于等式(1)将所述彩色图像转换为所述第二二值图像:
Q=2R-G-B           等式(1)
其中R、G和B分别表示像素的红色通道值、绿色通道值和蓝色通道值,如果所述像素的Q值大于第二阈值,那么所述像素将被设定为有效,否则所述像素将被设定为无效。
20.根据权利要求19所述的系统,其中所述第二阈值是约210至约230。
21.根据权利要求19所述的系统,其中所述红色交通灯分类符适于单色标度图像,且在所述第一单色标度图像上应用以确定所述第二区是否表示红色交通灯。
CN201280076730.9A 2012-11-20 2012-11-20 用于检测交通灯的方法和系统 Active CN104769652B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/084862 WO2014078979A1 (en) 2012-11-20 2012-11-20 Method and system for detecting traffic lights

Publications (2)

Publication Number Publication Date
CN104769652A true CN104769652A (zh) 2015-07-08
CN104769652B CN104769652B (zh) 2017-10-03

Family

ID=50775368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280076730.9A Active CN104769652B (zh) 2012-11-20 2012-11-20 用于检测交通灯的方法和系统

Country Status (4)

Country Link
US (1) US9811746B2 (zh)
EP (1) EP2923349A4 (zh)
CN (1) CN104769652B (zh)
WO (1) WO2014078979A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183427A (zh) * 2020-10-10 2021-01-05 厦门理工学院 一种箭形交通信号灯候选图像区域的快速提取方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3036730B1 (en) * 2013-08-20 2019-12-18 Harman International Industries, Incorporated Traffic light detection
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
JP6477876B2 (ja) * 2015-06-18 2019-03-06 日産自動車株式会社 信号機検出装置及び信号機検出方法
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术(北京)有限公司 道路三维模型的建模方法和装置
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
US10032085B2 (en) * 2016-02-24 2018-07-24 Audi Ag Method and system to identify traffic lights by an autonomous vehicle
CN107545556B (zh) * 2016-06-28 2021-08-17 杭州海康威视数字技术股份有限公司 一种信号灯图像的处理方法和系统
JP6825299B2 (ja) * 2016-10-24 2021-02-03 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP6629169B2 (ja) * 2016-11-15 2020-01-15 本田技研工業株式会社 信号機認識装置、車両及び信号機認識方法
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN107563301A (zh) * 2017-08-09 2018-01-09 上海炬宏信息技术有限公司 基于图像处理技术的红灯信号检测方法
EP3846440B1 (en) * 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4351004A (en) * 1980-01-31 1982-09-21 Texas Instruments Incorporated CCD Imager
WO2002031806A1 (en) * 2000-10-13 2002-04-18 Bokhour, Edward Method of and system for low-bandwidth transmission of color video
US20020080998A1 (en) * 2000-12-25 2002-06-27 Yoshihiko Matsukawa Image detection apparatus, program, and recording medium
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
JP2007257300A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 信号機認識装置
CN101382997A (zh) * 2008-06-13 2009-03-11 青岛海信电子产业控股股份有限公司 夜间车辆的检测与跟踪方法及装置
CN101908271A (zh) * 2010-06-28 2010-12-08 青岛海信网络科技股份有限公司 信号灯颜色识别方法及装置
CN102117546A (zh) * 2011-03-10 2011-07-06 上海交通大学 车载交通信号灯辅助装置
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN102298852A (zh) * 2011-08-26 2011-12-28 北京汉王智通科技有限公司 基于视频的交通信号灯检测方法及装置
CN102496282A (zh) * 2011-12-16 2012-06-13 湖南工业大学 一种rgb颜色变换的交通路口信号灯状态识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP4408095B2 (ja) * 2005-06-03 2010-02-03 本田技研工業株式会社 車両及び路面標示認識装置
US7783117B2 (en) * 2005-08-12 2010-08-24 Seiko Epson Corporation Systems and methods for generating background and foreground images for document compression
JP4863951B2 (ja) 2007-08-09 2012-01-25 本田技研工業株式会社 信号機認識装置
CN101404117B (zh) 2008-10-21 2011-02-09 东软集团股份有限公司 交通标志识别方法及装置
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
CN102354457B (zh) 2011-10-24 2013-10-16 复旦大学 基于广义霍夫变换的交通信号灯位置检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4351004A (en) * 1980-01-31 1982-09-21 Texas Instruments Incorporated CCD Imager
WO2002031806A1 (en) * 2000-10-13 2002-04-18 Bokhour, Edward Method of and system for low-bandwidth transmission of color video
US20020080998A1 (en) * 2000-12-25 2002-06-27 Yoshihiko Matsukawa Image detection apparatus, program, and recording medium
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
JP2007257300A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 信号機認識装置
CN101382997A (zh) * 2008-06-13 2009-03-11 青岛海信电子产业控股股份有限公司 夜间车辆的检测与跟踪方法及装置
CN101908271A (zh) * 2010-06-28 2010-12-08 青岛海信网络科技股份有限公司 信号灯颜色识别方法及装置
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN102117546A (zh) * 2011-03-10 2011-07-06 上海交通大学 车载交通信号灯辅助装置
CN102298852A (zh) * 2011-08-26 2011-12-28 北京汉王智通科技有限公司 基于视频的交通信号灯检测方法及装置
CN102496282A (zh) * 2011-12-16 2012-06-13 湖南工业大学 一种rgb颜色变换的交通路口信号灯状态识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUNHE YU 等: "Traffic light detection during day and night conditions by a camera", 《SIGNAL PROCESSING(ICSP),2010 IEEE 10TH INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA》 *
RAOUL DE CHARETTE 等: "Real time visual traffic lights recognition based on Spot Light Detection and adaptive traffic lights templates", 《INTELLIGENT VEHICLE SYMPOSIUM》 *
徐成 等: "基于Lab色彩空间和模板匹配的实时交通灯识别算法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183427A (zh) * 2020-10-10 2021-01-05 厦门理工学院 一种箭形交通信号灯候选图像区域的快速提取方法
CN112183427B (zh) * 2020-10-10 2023-05-30 厦门理工学院 一种箭形交通信号灯候选图像区域的快速提取方法

Also Published As

Publication number Publication date
CN104769652B (zh) 2017-10-03
EP2923349A4 (en) 2016-09-14
US20150294167A1 (en) 2015-10-15
WO2014078979A1 (en) 2014-05-30
EP2923349A1 (en) 2015-09-30
US9811746B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
CN104769652A (zh) 用于检测交通灯的方法和系统
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
EP3036730B1 (en) Traffic light detection
CN103345766B (zh) 一种信号灯识别方法及装置
EP2959454B1 (en) Method, system and software module for foreground extraction
US20150278615A1 (en) Vehicle exterior environment recognition device
US9483699B2 (en) Apparatus and method for detecting traffic lane in real time
CN105488492B (zh) 一种彩色图像预处理方法、道路识别方法及相关装置
EP2031571A1 (en) Vehicle type determination device, program, and method
CN103761529A (zh) 一种基于多色彩模型和矩形特征的明火检测方法和系统
KR20130105952A (ko) 차량 번호판 인식 방법과 그 장치
JP6723328B2 (ja) 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム
CN102609702B (zh) 一种道路指路标志的快速定位方法以及系统
KR20110115927A (ko) 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치
KR101778605B1 (ko) 차량 번호판 인식 방법 및 장치
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
CN104751116A (zh) 箭头信号识别装置
CN104778833A (zh) 识别交通信号灯的方法
CN111325769A (zh) 一种目标对象检测方法及装置
CN108960259A (zh) 一种基于hsv的车牌预处理方法
CN106650728A (zh) 一种阴影车牌图像二值化方法
CN107886033A (zh) 识别圆形交通灯的方法、装置及车辆
CN111402185A (zh) 一种图像检测方法及装置
KR20190105273A (ko) 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템
JP2001222680A (ja) ナンバー読取り装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant