CN107507142A - 信号灯图像处理方法 - Google Patents
信号灯图像处理方法 Download PDFInfo
- Publication number
- CN107507142A CN107507142A CN201710685848.6A CN201710685848A CN107507142A CN 107507142 A CN107507142 A CN 107507142A CN 201710685848 A CN201710685848 A CN 201710685848A CN 107507142 A CN107507142 A CN 107507142A
- Authority
- CN
- China
- Prior art keywords
- area
- red light
- pixel
- halation
- signal lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims description 36
- 241000736199 Paeonia Species 0.000 claims description 18
- 235000006484 Paeonia officinalis Nutrition 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 description 5
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004383 yellowing Methods 0.000 description 2
- BYACHAOCSIPLCM-UHFFFAOYSA-N 2-[2-[bis(2-hydroxyethyl)amino]ethyl-(2-hydroxyethyl)amino]ethanol Chemical compound OCCN(CCO)CCN(CCO)CCO BYACHAOCSIPLCM-UHFFFAOYSA-N 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种信号灯图像处理方法，对相机在全天时间内采集的图像进行处理时，首先根据图像的平均亮度进行划分，然后分别使用不同的方法进行处理；1）当图像平均亮度值小于亮度阈值A时，这时使用亮度值最小区间的图像处理方法进行处理；2）当图像平均亮度值大于亮度阈值A并且小于阈值B时，B>A，使用亮度值较小区间的图像处理方法进行处理；3）当图像平均亮度值大于亮度阈值B时，使用白天的图像处理方法进行处理。本发明能够较好地对信号灯过曝产生的光晕、信号灯因曝光过度或者光线不足而引起的颜色失真问题进行处理。
Description
技术领域
本发明涉及视频监控技术领域，尤其是一种信号灯图像处理方法。
背景技术
为了监控城市路网的交通状况，交通管理部门安装电子警察系统，对交叉路口和路段上的车道内机动车行驶行为进行不间断自动检测和记录。虽然智能相机中有自动曝光和自动增益算法来控制图片的亮度，但是由于交通信号灯在整幅图中占比例极小，算法调节时往往更注重整体的亮度效果而非局部。因此，当环境光线过低时，算法调节之后，信号灯中心区域会出现过曝现象，造成颜色失真，信号灯边缘会出现光晕。当环境光线过高时，算法调节之后，还会出现信号灯亮度不理想的情况。还有些天气情况下色温异于以往，比如阴雨天，信号灯颜色受到白平衡算法的影响，会出现颜色变深失真的情况。
在图像处理中，最常见的就是RGB彩色模型，即红、绿、蓝三种颜色作为基色，再通过三基色加权混合成各种颜色。在RGB彩色模型中，图片中的每个像素点由三个值来表示，分别是R、G、B，三个值的取值范围是0到255。R、G、B三个分量之间具有极高的相关性，比较容易受光照条件变化的影响。交通信号灯图像中的颜色存在着比较严重的颜色退化现象，特别是红色容易变成黄色，绿色容易变成白色。
现有技术根据相机采集一帧图像中的信号灯的边缘信息，并根据边缘信息在图像中将信号灯区域分割出来，对分割出来的信号灯区域进行颜色增强。这种方法在获得信号灯的边缘信息后，还要进行列扫描或者行扫描，经过线到面的映射，才能完成信号灯区域的图像分割，步骤较为繁琐。在这个过程中，要求边缘线条必须是连通的，如果边缘断续，判断就会失误。而在信号灯的边缘，如果灰度值变化不明显，边缘检测效果就不好，线条不会是连续的。进一步地，即使改变阈值获得了连续的线条，因为灰度值变化不明显，也会增加一些假的边缘，这并不利于下一步的处理。
现有技术对于低照度时信号灯产生的光晕怎么处理缺乏阐述。
这里先阐述一下光晕产生的原因。CCD相机拍摄目标亮度具有很大的动态范围，在CCD感光时，所有像素的感光时间是一致的，但是各像素点的光辐射通量有很大差别，当像素点之间的光辐射通量差别过大时，在保证低亮度像素得到正确的感光时间产生足够的电荷时，高亮度对应像素产生的电荷将饱和,多余的电荷会溢出到临近的像素单元,使得临近的像素单元的感光多于实际光辐射通量,从而产生光晕现象,使拍摄的图像失真。换言之，光晕是由于电子器件的原因产生的，所以去掉光晕是非常必要的。
在相机拍摄图片时，由于受到环境光线的影响，或者天气状况影响色温改变，极易出现信号灯颜色退化，或者亮度不理想，或者有光晕存在等这些失真的情况。信号灯失真的这些情况，会造成相机采集的图像作为违章证据时并不可靠。因此，在后期对信号灯区域进行图像处理是必要的。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种信号灯图像处理方法，能够较好地对信号灯过曝产生的光晕、信号灯因曝光过度或者光线不足而引起的颜色失真问题进行处理。本发明采用的技术方案是：
一种信号灯图像处理方法，其主要改进之处在于，
对相机在全天时间内采集的图像进行处理时，首先根据图像的平均亮度进行划分，然后分别使用不同的方法进行处理；
1）当图像平均亮度值小于亮度阈值A时，这时使用亮度值最小区间的图像处理方法进行处理；
2）当图像平均亮度值大于亮度阈值A并且小于阈值B时，B>A，使用亮度值较小区间的图像处理方法进行处理；
3）当图像平均亮度值大于亮度阈值B时，使用白天的图像处理方法进行处理。
进一步地，亮度值最小区间的图像处理方法具体包括：
亮度值最小区间的图像处理方法具体包括：
步骤S201，对图像进行二值化处理，分割前景和背景，对像素数值进行归一化处理；
步骤S202，分割好的背景中，存在着要处理的光晕；当红灯产生的光晕像素中R值大于设定阈值或者绿灯产生的光晕像素中G值与B值都大于相应设定阈值，留下不进行处理，用于标志信号灯的颜色；否则，进入步骤S203；
步骤S203，在分割好的背景中，根据公式(1)判断是否有红灯光晕像素，如果有，对红灯光晕进行处理，在光晕区域内逐像素降低R值；否则转向步骤S204；
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
步骤S204，在分割好的背景中，根据公式(5)判断是否有绿灯光晕像素，如果有，对绿灯光晕进行处理，在光晕区域内逐像素按照不同的比例降低RGB值；
夜晚绿灯光晕像素判断公式：(b-r)>0.12&(b-g)>0.02&(g-r)>0.08 (5)
r、b、g指的都是R、G、B经过归一化处理的数值，RGB指的是像素点颜色的三个分量。
进一步地，白天的图像处理方法具体包括：
对信号灯区域进行划分：纵向灯从上到下等分为一二三这三个区域，横向灯从左到右等分为一二三这三个区域；根据交通信号灯灯序排列，一区内会包含红灯，二区内会包含黄灯，三区内会包含绿灯；
红灯处理流程分为ABC三个流程，流程之间是顺序衔接；
红灯处理流程A包括以下步骤：
步骤S301,判断一区内深红色像素比例是否大于0.05且一区图像的平均亮度是否大于三区图像的平均亮度，或者判断一区内深红色像素比例是否大于0.1；这两个条件至少一个符合就进行下一步，若否则进入绿灯处理流程；
深红色像素判断公式：(r/g)>3 (2)
步骤S302，判断二区内深红色像素比例是否小于0.18，若否则进入下一红灯处理流程B，若是则进行下一步；
步骤S303，判断一区内是否黄色像素小于深红色像素比例；若否则不处理，若是则进行下一步；
步骤S304，判断一区内黄色像素比例是否小于0.15，若是，则一区中深红色像素用红灯模板随机替换，若否，则进行下一步；
步骤S305，判断一区内黄色像素比例是否小于0.3，若是，则不处理，若否，交下一红灯处理流程B处理；
红灯处理流程B包括以下步骤：
步骤S401，根据公式(2)判断二区是否有深红色像素且深红色像素比例小于0.3，或是有上一流程提交的处理请求；若否则进入下一红灯处理流程C，若是则进行下一步；
步骤S402，根据公式(3)判断一区黄色像素比例是否小于0.3，若否则进入下一红灯处理流程C，若是则进行下一步；
黄色像素判断公式：(r-b)>0.12&(g-b)>0.12 (3)
步骤S403，在一区、二区范围内根据公式(1)判断像素是否是红灯光晕像素，若否则在一区的红灯过曝区用红灯模板替换，若是则进行下一步；
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
步骤S404，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕；
红灯处理流程C包括以下步骤：
步骤S501，根据公式(2)判断二区内深红色像素比例是否大于0.3，或有上一流程提交的处理请求；若是则进行下一步；
步骤 S502，对于纵向灯在原来的数据源基础上向左、右、上三个方向扩展，对于横向灯在原来的数据源基础上向左、上、下三个方向扩展，形成扩展后的区域；
步骤S503，在扩展后的区域，根据公式(1)判断像素是否是红灯光晕像素，若否则红灯过曝区用红灯模板替换，若是则进行下一步；
步骤S504，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕。
绿灯处理流程包括：
步骤S601，在原信号灯区域基础上扩大范围；如果是纵向灯，在信号灯区域向左、右、下三个方向扩大范围，如果是横向灯，在信号灯区域向上、右、下三个方向扩大范围，扩大后的区域包含光晕在内；对像素数值进行归一化处理；
步骤S602，判断原信号灯区域中三区与一区的亮度差是否超过阈值，不超过时认为绿灯不过曝，不需要处理，否则进入步骤S603；
步骤S603，对于扩大后区域中除了原信号灯区域以外的区域，根据公式(4)分割出绿灯光晕区域，再用不同的阈值将绿灯光晕区域分成多个环形区域分别擦除绿灯光晕；
白天绿灯光晕像素判断公式：(g-r)>0.09&(b-r)>0.09 (4)
步骤S604，对于原信号灯区域，先进行二值化处理，得到前景区和背景区；
然后在背景区使用公式(4)和公式(1)分割出绿灯光晕和红灯光晕，再使用不同的阈值分别将绿灯光晕区域和红灯光晕区域分成多个环形区域分别擦除；
最后在前景区对过曝的绿灯中心区域使用绿灯模板随机填充，纠正过曝区域；
步骤S605，将处理好的信号灯区域数据嵌回步骤S601中扩大后区域中原信号灯区域位置。
更进一步地，步骤S404和步骤S504中，具体用不同的阈值将红灯光晕区域分成多个环形区域分别擦除红灯光晕。
本发明的优点在于：通过本发明处理方法处理后的图像，解决了交通信号灯因曝光过度或者光线不足而引起的颜色失真问题，更容易进行信号灯的识别。
附图说明
图1为本发明的信号灯图像处理方法的整体流程图。
图2为本发明的亮度值最小区间的图像处理方法流程图。
图3为本发明白天的红灯处理流程A流程图。
图4为本发明白天的红灯处理流程B流程图。
图5为本发明白天的红灯处理流程C流程图。
图6为本发明的绿灯处理流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
发明首先以图像的平均亮度为依据对相机拍摄的全天的图像进行区间划分，然后分区间区别处理。在处理中，再根据图像中的信号灯的亮度信息对信号灯灯箱范围进行二值处理。对于灰度变化明显的信号灯区域，采用最大类间方差法计算图像分割的最佳阈值，根据阈值来分割信号灯的前景和背景，提取出完整的信号灯区域，完成图像的二值化，然后进行下一步处理。对于灰度变化不明显的信号灯区域或者夜晚的图像，利用RGB三通道的相关性以及红色、黄色和绿色三通道间差值的特点，按照区域使用颜色分割，区分信号灯区域，然后进行下一步处理。两种方法结合，嵌套使用，解决交通信号灯因曝光过度或者光线不足而引起的颜色失真问题；本发明中信号灯区域指信号灯灯箱范围这个区域；
本发明主要完成对横向交通信号灯和纵向交通信号灯的图像处理，主要处理这三种失真的情况：是否属于颜色过深，是否属于中心区域过曝但周围没有光晕，是否属于中心区域过曝附带大光晕。对于判断出的正常情况不加处理。
在图像处理中进行颜色分割时，首先对R、G、B三个分量进行归一化处理，分别得到r，g，b：
r=R/(R+G+B)
g=G/(R+G+B)
b=B/(R+G+B)
经过分析得到以下公式用于颜色分割：
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
深红色像素判断公式：(r/g)>3 (2)
黄色像素判断公式：(r-b)>0.12&(g-b)>0.12 (3)
白天绿灯光晕像素判断公式：(g-r)>0.09&(b-r)>0.09 (4)
夜晚绿灯光晕像素判断公式：(b-r)>0.12&(b-g)>0.02&(g-r)>0.08 (5)
本文以下内容中的r、b、g指的都是R、G、B经过归一化处理的数值，RGB指的是像素点颜色的三个分量。
在整体流程里，对相机在全天时间内采集的图像进行处理时，首先根据图像的平均亮度进行划分，然后分别使用不同的方法进行处理，如图1所示；
1.当图像平均亮度值小于亮度阈值A时，认为是环境光线最暗的情况（比如夜晚），这时使用亮度值最小区间的图像处理方法进行处理；
2.当图像平均亮度值大于亮度阈值A并且小于阈值B(B>A)时，认为是环境光线较暗的情况（比如傍晚），使用亮度值较小区间的图像处理方法进行处理；
3.当图像平均亮度值大于亮度阈值B时，认为是白天环境光线较亮的情况，使用白天的图像处理方法进行处理。
（一）亮度值最小区间的图像处理方法；如图2所示；
亮度值最小区间内图像的主要特点是，整体亮度不高，信号灯作为主动发光的光源，自身亮度远远超过环境平均亮度，中心区域会出现过曝现象，边缘会出现光晕造成颜色失真；低照度时，绿灯像素中G与B的值大致相等；本区间处理的主要目的是减小信号灯的光晕，处理后的光晕区域和周围环境可以融为一体。处理的步骤是：
步骤S201，对图像进行二值化处理，分割前景和背景，对像素数值进行归一化处理；
步骤S202，分割好的背景中，存在着要处理的光晕；当红灯产生的光晕像素中R值大于设定阈值或者绿灯产生的光晕像素中G值与B值都大于相应设定阈值，留下不进行处理，用于标志信号灯的颜色；否则，进入步骤S203；
步骤S203，在分割好的背景中，根据公式(1)判断是否有红灯光晕像素，如果有，对红灯光晕进行处理，在光晕区域内逐像素降低R值；否则转向步骤S204；
步骤S204，在分割好的背景中，根据公式(5)判断是否有绿灯光晕像素，如果有，对绿灯光晕进行处理，在光晕区域内逐像素按照不同的比例降低RGB值。
（二）亮度值较小区间的图像处理方法；
本区间处理方法与亮度值最小区间的图像处理方法相同，只是步骤S202中的阈值稍有不同，以及步骤S204中RGB降低的比例不同；
（三）白天的图像处理方法；
在对信号灯进行图像处理时，白天的情况下需要对信号灯区域进行划分：纵向灯从上到下等分为一二三这三个区域，横向灯从左到右等分为一二三这三个区域；根据交通信号灯灯序排列，一区内会包含红灯，二区内会包含黄灯，三区内会包含绿灯。
白天图像的处理较为复杂，要考虑到箭头灯和圆灯的发光面积不同带来的像素中各种颜色的比例不同。特别是红灯，在同一时刻，如果是过曝现象，箭头灯产生的光晕比圆灯的小。红灯过曝时红色灯变成黄色灯，周围的光晕还是红色的，如果过曝严重光晕会超过信号灯灯箱区域，就要扩大范围进行处理，这时要区分横向灯或者纵向灯，因为两者扩大的范围不同。
白天图像处理流程中，不管是纵向灯还是横向灯，都包含对红灯处理流程和绿灯处理流程。
（3.1）红灯处理流程；
红灯失真的情况有以下三种：
1.颜色过深；
2.过曝时中心变成黄色或者白色；
3.过曝时有光晕。
对于红灯的处理分为ABC三个流程，流程之间是顺序衔接；
红灯处理流程A：识别出正常的红灯并且处理颜色过深的红灯。根据一区黄色像素占的比例，以及二区深红色像素的比例，结合圆灯和箭头灯的特点设定多个阈值，用来判断出正常的红灯和颜色过深的红灯。对于正常红灯不需要处理，对于颜色过深的红灯，深红色像素采用红灯模板数据随机替换。对于判断出来的过曝的箭头灯，属于本流程无法处理的情况，需要交给下一个流程进行处理。具体如图3所示，包括以下步骤：
步骤S301,判断一区内深红色像素比例是否大于0.05且一区图像的平均亮度是否大于三区图像的平均亮度，或者判断一区内深红色像素比例是否大于0.1；这两个条件至少一个符合就进行下一步，若否则进入绿灯处理流程；
深红色像素判断公式：(r/g)>3 (2)
步骤S302，判断二区内深红色像素比例是否小于0.18，若否则进入下一红灯处理流程B，若是则进行下一步；若否的情况代表了过曝不是很严重的箭头灯；
步骤S303，判断一区内是否黄色像素小于深红色像素比例；若否则不处理，若是则进行下一步；
步骤S304，判断一区内黄色像素比例是否小于0.15，若是，则一区中深红色像素用红灯模板随机替换，若否，则进行下一步；
步骤S305，判断一区内黄色像素比例是否小于0.3，若是，则不处理，若否，交下一红灯处理流程B处理；
红灯处理流程B：识别出带有光晕但是光晕比较小没有超过信号灯区域的红灯；根据一区黄色像素占的比例，以及二区深红色像素的比例，判断红晕的大小；如果是没有超过信号灯区域的就在本流程进行处理，否则交给下一个流程处理；具体如图4所示，包括以下步骤：
步骤S401，根据公式(2)判断二区是否有深红色像素且深红色像素比例小于0.3，或是有上一流程提交的处理请求；若否则进入下一红灯处理流程C，若是则进行下一步；
步骤S402，根据公式(3)判断一区黄色像素比例是否小于0.3，若否则进入下一红灯处理流程C，若是则进行下一步；
黄色像素判断公式：(r-b)>0.12&(g-b)>0.12 (3)
步骤S403，在一区、二区范围内根据公式(1)判断像素是否是红灯光晕像素，若否则在一区的红灯过曝区用红灯模板替换，若是则进行下一步；
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
步骤S404，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕；
对红灯光晕区域再进行分割，可以分割为下面四个环形区域，再分别处理；
(r-g)>0.4&(r-b)>0.4
0.2<(r-g)≤0.4&0.2<(r-b)≤0.4
0.08<(r-g)≤0.2&0.08<(r-b)≤0.2
0.05<(r-g)≤0.08&0.05<(r-b)≤0.08
红灯处理流程C：识别出带有光晕并且光晕超过信号灯区域（信号灯灯箱范围）的红灯。根据二区深红色像素的比例可以判断出红灯光晕超出了信号灯的灯箱范围，如果是纵向灯要在原来的数据源基础上向左、右、上三个方向扩展，如果是横向灯要在原来的数据源基础上向左、上、下三个方向扩展。然后在新的大区域内使用红灯光晕像素判断公式(1)分割出红灯光晕区域，再用不同的阈值将红灯光晕区域分成多个环形区域分别擦除红灯光晕。过曝的红灯中心区域使用红灯模板随机填充，纠正过曝区域。具体如图5所示，包括以下步骤：
步骤S501，根据公式(2)判断二区内深红色像素比例是否大于0.3，或有上一流程提交的处理请求；若是则进行下一步；
步骤 S502，对于纵向灯在原来的数据源基础上向左、右、上三个方向扩展，对于横向灯在原来的数据源基础上向左、上、下三个方向扩展，形成扩展后的大区域；
步骤S503，在扩展后的大区域，根据公式(1)判断像素是否是红灯光晕像素，若否则红灯过曝区（通常是一区的中间部位）用红灯模板替换，若是则进行下一步；
步骤S504，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕；此处与步骤S404类似；
（3.2）绿灯处理流程；
步骤S601，在绿灯的处理方法中，在原信号灯区域基础上扩大范围；如果是纵向灯，在信号灯区域（信号灯灯箱范围）向左、右、下三个方向扩大一定的范围，如果是横向灯，在信号灯区域（信号灯灯箱范围）向上、右、下三个方向扩大一定的范围，扩大后的区域包含光晕在内；对像素数值进行归一化处理；
步骤S602，判断原信号灯区域中三区与一区的亮度差是否超过阈值，不超过时认为绿灯不过曝，不需要处理，否则进入步骤S603；
步骤S603，对于扩大后区域中除了原信号灯区域以外的区域，根据公式(4)分割出绿灯光晕区域，再用不同的阈值将绿灯光晕区域分成多个环形区域分别擦除绿灯光晕；
白天绿灯光晕像素判断公式：(g-r)>0.09&(b-r)>0.09 (4)
步骤S604，对于原信号灯区域，先进行二值化处理，得到前景区和背景区，前景区对应于绿灯的区域，背景区对应于绿灯以外的区域；
然后在背景区使用公式(4)和公式(1)分割出绿灯光晕和红灯光晕，再使用不同的阈值分别将绿灯光晕区域和红灯光晕区域分成多个环形区域分别擦除；以消除一区和二区受相邻信号灯灯箱发出的光晕影响；
最后在前景区对过曝的绿灯中心区域使用绿灯模板随机填充，纠正过曝区域；
步骤S605，将处理好的信号灯区域数据嵌回步骤 S601中扩大后区域中原信号灯区域位置。
Claims (4)
1.一种信号灯图像处理方法，其特征在于，
对相机在全天时间内采集的图像进行处理时，首先根据图像的平均亮度进行划分，然后分别使用不同的方法进行处理；
1）当图像平均亮度值小于亮度阈值A时，这时使用亮度值最小区间的图像处理方法进行处理；
2）当图像平均亮度值大于亮度阈值A并且小于阈值B时，B>A，使用亮度值较小区间的图像处理方法进行处理；
3）当图像平均亮度值大于亮度阈值B时，使用白天的图像处理方法进行处理。
2.如权利要求1所述的信号灯图像处理方法，其特征在于，
亮度值最小区间的图像处理方法具体包括：
步骤S201，对图像进行二值化处理，分割前景和背景，对像素数值进行归一化处理；
步骤S202，分割好的背景中，存在着要处理的光晕；当红灯产生的光晕像素中R值大于设定阈值或者绿灯产生的光晕像素中G值与B值都大于相应设定阈值，留下不进行处理，用于标志信号灯的颜色；否则，进入步骤S203；
步骤S203，在分割好的背景中，根据公式(1)判断是否有红灯光晕像素，如果有，对红灯光晕进行处理，在光晕区域内逐像素降低R值；否则转向步骤S204；
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
步骤S204，在分割好的背景中，根据公式(5)判断是否有绿灯光晕像素，如果有，对绿灯光晕进行处理，在光晕区域内逐像素按照不同的比例降低RGB值；
夜晚绿灯光晕像素判断公式：(b-r)>0.12&(b-g)>0.02&(g-r)>0.08 (5)
r、b、g指的都是R、G、B经过归一化处理的数值，RGB指的是像素点颜色的三个分量。
3.如权利要求1所述的信号灯图像处理方法，其特征在于，
白天的图像处理方法具体包括：
对信号灯区域进行划分：纵向灯从上到下等分为一二三这三个区域，横向灯从左到右等分为一二三这三个区域；根据交通信号灯灯序排列，一区内会包含红灯，二区内会包含黄灯，三区内会包含绿灯；
红灯处理流程分为ABC三个流程，流程之间是顺序衔接；
红灯处理流程A包括以下步骤：
步骤S301,判断一区内深红色像素比例是否大于0.05且一区图像的平均亮度是否大于三区图像的平均亮度，或者判断一区内深红色像素比例是否大于0.1；这两个条件至少一个符合就进行下一步，若否则进入绿灯处理流程；
深红色像素判断公式：(r/g)>3 (2)
步骤S302，判断二区内深红色像素比例是否小于0.18，若否则进入下一红灯处理流程B，若是则进行下一步；
步骤S303，判断一区内是否黄色像素小于深红色像素比例；若否则不处理，若是则进行下一步；
步骤S304，判断一区内黄色像素比例是否小于0.15，若是，则一区中深红色像素用红灯模板随机替换，若否，则进行下一步；
步骤S305，判断一区内黄色像素比例是否小于0.3，若是，则不处理，若否，交下一红灯处理流程B处理；
红灯处理流程B包括以下步骤：
步骤S401，根据公式(2)判断二区是否有深红色像素且深红色像素比例小于0.3，或是有上一流程提交的处理请求；若否则进入下一红灯处理流程C，若是则进行下一步；
步骤S402，根据公式(3)判断一区黄色像素比例是否小于0.3，若否则进入下一红灯处理流程C，若是则进行下一步；
黄色像素判断公式：(r-b)>0.12&(g-b)>0.12 (3)
步骤S403，在一区、二区范围内根据公式(1)判断像素是否是红灯光晕像素，若否则在一区的红灯过曝区用红灯模板替换，若是则进行下一步；
红灯光晕像素判断公式：(r-g)>0.05&(r-b)>0.05 (1)
步骤S404，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕；
红灯处理流程C包括以下步骤：
步骤S501，根据公式(2)判断二区内深红色像素比例是否大于0.3，或有上一流程提交的处理请求；若是则进行下一步；
步骤 S502，对于纵向灯在原来的数据源基础上向左、右、上三个方向扩展，对于横向灯在原来的数据源基础上向左、上、下三个方向扩展，形成扩展后的区域；
步骤S503，在扩展后的区域，根据公式(1)判断像素是否是红灯光晕像素，若否则红灯过曝区用红灯模板替换，若是则进行下一步；
步骤S504，上一步判断为红灯光晕像素的区域为红灯光晕区域，对红灯光晕区域再进行分割，并分别去掉红灯光晕；
绿灯处理流程包括：
步骤S601，在原信号灯区域基础上扩大范围；如果是纵向灯，在信号灯区域向左、右、下三个方向扩大范围，如果是横向灯，在信号灯区域向上、右、下三个方向扩大范围，扩大后的区域包含光晕在内；对像素数值进行归一化处理；
步骤S602，判断原信号灯区域中三区与一区的亮度差是否超过阈值，不超过时认为绿灯不过曝，不需要处理，否则进入步骤S603；
步骤S603，对于扩大后区域中除了原信号灯区域以外的区域，根据公式(4)分割出绿灯光晕区域，再用不同的阈值将绿灯光晕区域分成多个环形区域分别擦除绿灯光晕；
白天绿灯光晕像素判断公式：(g-r)>0.09&(b-r)>0.09 (4)
步骤S604，对于原信号灯区域，先进行二值化处理，得到前景区和背景区；
然后在背景区使用公式(4)和公式(1)分割出绿灯光晕和红灯光晕，再使用不同的阈值分别将绿灯光晕区域和红灯光晕区域分成多个环形区域分别擦除；
最后在前景区对过曝的绿灯中心区域使用绿灯模板随机填充，纠正过曝区域；
步骤S605，将处理好的信号灯区域数据嵌回步骤S601中扩大后区域中原信号灯区域位置。
4.如权利要求3所述的信号灯图像处理方法，其特征在于，
步骤S404和步骤S504中，具体用不同的阈值将红灯光晕区域分成多个环形区域分别擦除红灯光晕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685848.6A CN107507142B (zh) | 2017-08-11 | 2017-08-11 | 信号灯图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685848.6A CN107507142B (zh) | 2017-08-11 | 2017-08-11 | 信号灯图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507142A true CN107507142A (zh) | 2017-12-22 |
| CN107507142B CN107507142B (zh) | 2021-02-09 |
Family
ID=60689573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710685848.6A Active CN107507142B (zh) | 2017-08-11 | 2017-08-11 | 信号灯图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507142B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145746A (zh) * | 2018-07-20 | 2019-01-04 | 浙江浩腾电子科技股份有限公司 | 一种基于图像处理的信号灯检测方法 |
| CN110070009A (zh) * | 2019-04-08 | 2019-07-30 | 北京百度网讯科技有限公司 | 路面物体识别方法和装置 |
| CN110175582A (zh) * | 2019-05-29 | 2019-08-27 | 南京林业大学 | 基于像素分布的茶树嫩芽智能识别方法 |
| CN111639656A (zh) * | 2020-05-28 | 2020-09-08 | 东软睿驰汽车技术（沈阳）有限公司 | 交通信号灯识别方法及装置 |
| CN112419187A (zh) * | 2020-11-23 | 2021-02-26 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN114241438A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
| CN114783192A (zh) * | 2022-03-24 | 2022-07-22 | 杭州海康威视数字技术股份有限公司 | 一种信号灯色彩的处理方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496282A (zh) * | 2011-12-16 | 2012-06-13 | 湖南工业大学 | 一种rgb颜色变换的交通路口信号灯状态识别方法 |
| CN105427639A (zh) * | 2015-12-18 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种基于嵌入式系统的交通信号红灯减光晕系统以及方法 |
| CN106991707A (zh) * | 2017-05-27 | 2017-07-28 | 浙江宇视科技有限公司 | 一种基于昼夜成像特征的交通信号灯图像强化方法及装置 |
-
2017
- 2017-08-11 CN CN201710685848.6A patent/CN107507142B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496282A (zh) * | 2011-12-16 | 2012-06-13 | 湖南工业大学 | 一种rgb颜色变换的交通路口信号灯状态识别方法 |
| CN105427639A (zh) * | 2015-12-18 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种基于嵌入式系统的交通信号红灯减光晕系统以及方法 |
| CN106991707A (zh) * | 2017-05-27 | 2017-07-28 | 浙江宇视科技有限公司 | 一种基于昼夜成像特征的交通信号灯图像强化方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145746A (zh) * | 2018-07-20 | 2019-01-04 | 浙江浩腾电子科技股份有限公司 | 一种基于图像处理的信号灯检测方法 |
| CN109145746B (zh) * | 2018-07-20 | 2021-07-06 | 浙江浩腾电子科技股份有限公司 | 一种基于图像处理的信号灯检测方法 |
| CN110070009A (zh) * | 2019-04-08 | 2019-07-30 | 北京百度网讯科技有限公司 | 路面物体识别方法和装置 |
| CN110175582A (zh) * | 2019-05-29 | 2019-08-27 | 南京林业大学 | 基于像素分布的茶树嫩芽智能识别方法 |
| CN111639656A (zh) * | 2020-05-28 | 2020-09-08 | 东软睿驰汽车技术（沈阳）有限公司 | 交通信号灯识别方法及装置 |
| CN112419187A (zh) * | 2020-11-23 | 2021-02-26 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN112419187B (zh) * | 2020-11-23 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN114241438A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
| CN114241438B (zh) * | 2021-11-26 | 2023-05-16 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
| CN114783192A (zh) * | 2022-03-24 | 2022-07-22 | 杭州海康威视数字技术股份有限公司 | 一种信号灯色彩的处理方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507142B (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507142A (zh) | 信号灯图像处理方法 | |
| US8774503B2 (en) | Method for color feature extraction | |
| TWI389559B (zh) | 前景影像分離方法 | |
| US8036427B2 (en) | Vehicle and road sign recognition device | |
| CN104301621B (zh) | 图像处理方法、装置及终端 | |
| WO2019148912A1 (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CA3001430C (en) | Image processing method and device for led display screen | |
| JP3018914B2 (ja) | 階調補正装置 | |
| CN106412534A (zh) | 一种图像亮度调节方法及装置 | |
| CN105812674A (zh) | 一种信号灯的颜色修正方法、监控方法及装置 | |
| US20150326840A1 (en) | On-Vehicle Image Capture Device | |
| JP2014107852A (ja) | 撮像装置 | |
| JP2007164737A (ja) | 色識別方法 | |
| CN107644437B (zh) | 基于分块的偏色检测系统及其方法 | |
| US20050134702A1 (en) | Sampling images for color balance information | |
| CN101771825B (zh) | 图像亮色补偿的方法和装置 | |
| US20070041064A1 (en) | Image sampling method for automatic white balance | |
| CN104683780A (zh) | 一种视频监控摄像机的自动白平衡方法和装置 | |
| CN111192227B (zh) | 一种重叠画面的融合处理方法 | |
| CN105704363B (zh) | 图像数据处理方法和装置 | |
| CN113099191B (zh) | 一种图像处理方法及装置 | |
| CN112070081B (zh) | 一种基于高清视频的智能化车牌识别方法 | |
| CN107203979A (zh) | 一种低照度图像增强的方法 | |
| KR101370545B1 (ko) | 자동적인 영상데이터 분석에 기초하여 선택적으로 영상개선처리를 수행하는 방법 | |
| CN106548170B (zh) | 一种违章车辆图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |