CN105791710A - 一种信号灯图像增强处理方法 - Google Patents

Abstract

本发明公开了一种信号灯图像增强处理方法，本方法首先将原始图像的RAW数据进行插值转换到RGB的图像域，再对R、G、B分量进行算法分析和处理，并对其进行修正，实现信号灯图像过爆区域的合理还原，有效解决了信号灯颜色过爆问题，使信号灯的色彩更加的符合实际的需求。

Description

一种信号灯图像增强处理方法

技术领域

本发明属于图像处理领域，具体涉及一种信号灯图像增强处理方法。

背景技术

随着科技的发展，前端sensor的性能越来越好，支持后端的RAW数据的位宽也越来越宽，提供了更宽的动态效果。RAW的原意就是“未经加工”。RAW图像可以理解为就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。RAW格式的全称是RAWImageFormat，在编程中称之为原始。许多摄影师都尽量拍摄TIFF或者RAW格式的照片，来获得尽可能最好的图像品质，RAW格式文件将提供给我们最大的图片后期调整余地。RAW数据就是由感光元件记录的图像的所有灰度数据。为了得到最终可用的图像，这些RAW数据必须经过所谓的“RAW转换程序(RAWConverter)”的处理(包括去马赛克)。

RAW数据位宽的差别就是一个颜色点可以用更大的数据表示。计算机的颜色空间是RGB，也就是每个点包括红、绿、蓝三个分量，位数就是每个分量在计算机系统中占用的空间。RAW数据的位宽越大，每个分量的级别越高，可以表示的颜色种类也越多。

虽然RAW数据位宽的增大，提高了图像色彩的多样性，使得图像质量有了很大的提高，但是本身也加大了图像处理的难度，以及实现所需要的资源。

更重要的一点是，随着智能交通行业的发展，信号灯的设计也越来越高端，进而导致智能相机前端sensor输出的RAW数据出现过饱和的状态，位宽的增加并没有很好的改善饱和电子的数量，因此图像在某些场景下也会出现过爆的情况，特别在智能交通领域，随着信号灯的设计越来越亮，本身反映到图像上就会出现过爆的状态，不仅对图像的质量产生了很大的影响，更重要的是影响到了后续相关的闯红灯、压线等违规情况的识别，所以急需一种较好的信号灯修正算法来弥补。

发明内容

本发明主要解决的技术问题是提供一种信号灯图像增强处理的方法，弥补RAW数据本身的缺欠，还能够有效解决信号灯颜色过爆的问题，对信号灯的颜色进行有效的调整，使其更符合实际的颜色。

为解决上述技术问题，本发明采用如下技术方案：

一种信号灯图像增强处理方法，所述方法包括如下步骤：

(1)首先根据24小时不同时段的场景，对需要处理的包含信号灯的图像初始化相关参数；所述相关参数值包括亮度判决的最低门限(luma_threshold_low)、亮度判决的最高门限(luma_threshold_high)、像素点G分量与B分量差值的判决门限(ydelta_threshold)、像素点R分量与G分量差值的判决门限(rgdelta_threshold)、像素点G分量与R分量差值的判决门限(grdelta_threshold)、亮度二次判决门限(luma_threshold2)、红色占比率(red_ratio)、颜色检测比率(color_determine_radio)、颜色补偿值(color_compensate)。这部分参数是根据24小时不同时段的场景，根据信号灯在不同情况下的颜色显示，通过大量的统计、测试和本领域技术的经验得到的合理的参数及取值；并且将需要处理的信号灯进行框选，并且给定框选的有效框的四个点的坐标；

(2)串行输入包含信号灯的图像数据，然后根据每一帧图像的行有效信息和场有效信息进行图像的行、列计数，进而确定每个像素点的坐标，同时还对像素点的坐标与有效框的坐标进行比较，如果像素点的坐标在有效框的坐标范围内，则是需要增强的像素点，如果像素点的坐标不在有效框的坐标范围内，则直接输出；

(3)对于坐标在有效框的坐标范围内的像素点，对所述像素点的亮度阈值(luma_threshold)实时参数值进行计算；再将有效框内的像素点逐点转换为亮度(luma)信号；

具体地，根据图像处理中的增益gain来确定luma图像的亮度阈值(luma_threshold)，一般分为三种情况，在设计之前需要先对该参数进行运算。具体的设计公式如下：

$luma\_threshold=\left\{\begin{array}{c}luma\_threshold\_low,gain>20;\\ luma\_threshold\_high,gain==1;\\ luma\_threshold\_high-(luma\_threshold\_high-luma\_threshold\_low)/20*(gain-1),20\≥gain>1;\end{array}\right.$

对算法的实现需要将框内的像素转换为luma信号，具体的转换公式为luma＝0.2654*R+0.6704*G+0.0642*B，然后对框内的像素逐点进行，对同一像素来讲，框内像素转化的具体公式为：

当时，或者时，cntred(红色个数)做加一操作；当时，或者时，cntyellow(黄色个数)做加一操作；当B-R＞grdelta_threshold时，cntgreen(绿色个数)做加一操作；当G-R＞rddelta_threshold时，cntblue(蓝色个数)做加一操作；

当cntred、cntyellow、cntgreen、cntblue在有效框内计数结束后，然后根据颜色计数的关系，进行模式选择。具体为：

当时，mode设置为1；当cntgreen＞cntred*color_determine_radio或者cntblue＞cntred*color_determine_radio时，mode设置为2；当判断条件既不满足mode为1，也不满足mode为2的情况下，mode设置为3。

最后在框选的有效范围内，当时，像素点的G和B分别减掉系数color_compensate，R值不变；当时，像素点的B减掉系数color_compensate，G值不变，R值减掉color_compensate/2；当时，像素点R减掉系数color_compensate，G、B值不变；

比如说，在luma>luma_threshold的情况下，如有效框判决为红色信号灯模式，则R值分量不变，G分量和B分量都减去参数color_compensate；

在luma>luma_threshold的情况下，如有效框判决为绿色信号灯模式，则像素点的B减掉参数color_compensate，G值不变，R值减掉color_compensate/2；

(4)再根据图像数据的行、场同步信息，对有效框内的像素点进行红色、绿色、蓝色、黄色的计数统计，针对多个有效框，分别进行统计；

(5)针对每个有效框的颜色统计值，根据统计结果，判断该有效框内是什么颜色的信号灯；

(6)通过对有效框内信号灯颜色的判断，对有效框内像素的RGB分量信息进行修正；

(7)最后根据实际的场景，通过对参数的调节，校正出符合实际要求的图像颜色。

这样在最后数据输出的时候就会对信号灯过爆的区域重新进行校正，颜色比较符合实际情况。

本发明的有益效果是：

本发明首先将原始的RAW数据进行插值，转换到RGB的图像域，然后对R、G、B分量进行算法分析和处理，实现信号灯的过爆区域的合理还原，使信号灯的色彩更加的符合实际的需求。

本发明通过新的算法对RGB分量信息进行修正，这种方法简单、有效，有效的解决了信号灯颜色过爆的问题，对信号灯的颜色进行有效的调整。

附图说明

图1是本发明信号灯图像增强处理方法流程图；

图2是本发明算法设计流程图；

图3是本发明红色信号灯增强效果对比图；

图4是本发明绿色信号灯增强效果对比图。

具体实施方式

下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

实施例1

一种信号灯图像增强处理方法，具体流程图见图1，该方法的红色信号灯实施例采用1920*1080的图像为例，首先设定有效框的四个坐标点分别为(100，200)、(100，230)、(120，200)、(120，230)，增益值为5，且框选的为红色信号灯，每个像素点的颜色分量分别记为(r，g，b)；

(1)根据24小时不同时段的场景，对需要处理的信号灯，首先对参数初始化，具体为luma_threshold_low的取值为120、luma_threshold_high的取值为180、ydelta_threshold的取值为60、rgdelta_threshold的取值为50、grdelta_threshold的取值为100、luma_threshold2的取值为100、red_ratio的取值为1.4、color_determine_radio的取值为5、color_compensate的取值为120；

(2)根据每帧输入图像的行场同步信息，当行信息设置为高时，开始对行像素的个数进行统计记为h_cnt，同时列也会统计，记为v_cnt，并且和像素点一一对应，在统计的过程中不断去判断该像素点的h_cnt、v_cnt的范围是否在有效框的给定的坐标范围内；

(3)对于坐标在有效框的坐标范围内的像素点，对所述像素点的亮度阈值(luma_threshold)实时参数值进行计算；再将有效框内的像素点逐点转换为亮度(luma)信号；因为增益值gain＝5，根据公式

可得，luma_threshold＝luma_threshold_high-(luma_threshold_high-luma_threshold_low)/20*(gain-1)＝180-(180-120)/20*(5-1)＝168值，并对有效的像素点计算luma＝0.2654*r+0.6704*g+0.0642*b，每个像素点对应一个luma值；

(4)当计数的h_cnt在100-120，v_cnt在200-230范围之间时，对每个像素点逐点进行，对于同一像素来讲，根据框内像素转化的具体公式

(当时，或者时，cntred做加一操作；当时，或者时，cntyellow做加一操作；当B-R＞grdelta_threshold时，cntgreen做加一操作；当G-R＞rddelta_threshold时，cntblue做加一操作)对框内的像素点进行红色、绿色、蓝色、黄色的计数统计，分别记为cntred(红色个数)、cntgreen(绿色个数)、cntblue(蓝色个数)、cntyellow(黄色个数)，从统计结果发现cntred要比cntgreen、cntblue、cntyellow大很多，然后根据颜色计数的关系，进行模式选择。具体模式的判断公式为：

当时，mode(模式)设置为1；当cntgreen＞cntred*color_determine_radio或者cntblue＞cntred*color_determine_radio时，mode(模式)设置为2；当判断条件既不满足mode为1，也不满足mode为2的情况下，mode设置为3。

(5)通过判断该有效框处在模式为1，即有效框里是红色信号灯。

(6)最后在有效框的范围内，根据下述公式进行计算：

①当时，像素点的G和B分别减掉系数color_compensate，R值不变；②当时，像素点的B减掉系数color_compensate，G值不变，R值减掉color_compensate/2；③当时，像素点R减掉系数color_compensate，G、B值不变；

因此，对于有效框所处模式为1，是红色信号灯时，属于上述①的情况，则r＝r，g＝g-color_compensate＝g-120，b＝b-color_compensate＝b-120。

对于输入的图像信号，其像素点在有效框范围内的反复做上述操作，如果在像素点在不在有效框范围内，则不做处理，直接输出，本发明的算法设计流程图具体见图2。

表1为本实施例红色信号灯增强前后的像素值对比，通过像素分量的比对可以发现，绿色和蓝色分量明显减小，进而可以突出红色分量，实现增强的效果。

表1红色信号灯增强前后像素值对比

颜色分量	增强前取值	增强后取值	增强前取值	增强后取值
					R	255	255	220	220
G	255	135	222	102
					B	255	135	218	98

图3为本实施例红色信号灯增强的效果对比图，左侧这张截图为原始的过爆的图像，右侧这张是算法做了修正的图片，经过实际图像对比，结果发现，经过本发明的方法修正后的图片，解决了原始红色信号灯过爆的问题，从图像的效果来看，信号灯增强算法的效果还是非常明显的。

实施例2

一种信号灯图像增强处理方法，该方法采用绿色信号灯为例，采用1600*1200的图像，首先设定有效框的四个坐标点分别为(800，1000)、(800，1080)、(850，1000)、(850，1080)，增益值为3，且框选的为绿色信号灯，每个像素点的颜色分量分别记为(r1，g1，b1)；

(1)根据24小时不同时段的场景，对需要处理的信号灯，首先对参数初始化，具体为luma_threshold_low的取值为120、luma_threshold_high的取值为180、ydelta_threshold的取值为60、rgdelta_threshold的取值为50、grdelta_threshold的取值为100、luma_threshold2的取值为100、red_ratio的取值为1.4、color_determine_radio的取值为5、color_compensate的取值为120；

(2)根据每帧输入图像的行场同步信息，当行信息设置为高时，开始对行像素的个数进行统计记为h_cnt，同时列也会统计，记为v_cnt，并且和像素点一一对应，在统计的过程中不断去判断该像素点的h_cnt、v_cnt的范围是否在有效框的给定的坐标范围内；

(3)对于坐标在有效框的坐标范围内的像素点，对所述像素点的luma_threshold实时参数值进行计算；再将有效框内的像素点逐点转换为luma信号；因为增益值gain＝3，根据公式可得，luma_threshold＝luma_threshold_high-(luma_threshold_high-luma_threshold_low)/20*(gain-1)＝180-(180-120)/20*(3-1)＝174值，并对有效的像素点计算luma＝0.2654*r1+0.6704*g1+0.0642*b1，每个像素点对应一个luma值；

(4)当计数的h_cnt在800-850，v_cnt在1000-1080范围之间时，对每个像素点逐点进行，对于同一像素来讲，根据框内像素转化的具体公式

(当时，或者时，cntred做加一操作；当时，或者时，cntyellow做加一操作；当B-R＞grdelta_threshold时，cntgreen做加一操作；当G-R＞rddelta_threshold时，cntblue做加一操作)对框内的像素点进行红色、绿色、蓝色、黄色的计数统计，分别记为cntred(红色个数)、cntgreen(绿色个数)、cntblue(蓝色个数)、cntyellow(黄色个数)，从统计结果发现cntgreen要比cntred、cntblue、cntyellow大很多，然后根据颜色计数的关系，进行模式选择。具体模式的判断公式为：

当时，mode(模式)设置为1；当cntgreen＞cntred*color_determine_radio或者cntblue＞cntred*color_determine_radio时，mode(模式)设置为2；其他情况设置为3。

(5)通过判断该有效框处在模式为2，即有效框里是绿色信号灯。

(6)最后在有效框的范围内，根据下述公式进行计算：

①当时，像素点的G和B分别减掉系数color_compensate，R值不变；②当时，像素点的B减掉系数color_compensate，G值不变，R值减掉color_compensate/2；③当时，像素点R减掉系数color_compensate，G、B值不变；

因此，对于有效框所处模式为2，属于绿色信号灯时，属于上述②的情况，则g1＝g1，r1＝r1-color_compensate/2＝r1-120/2＝r1-60，b1＝b1-color_compensate＝b1-120。

对于输入的图像信号，其像素点在有效框范围内的反复做上述操作，如果在像素点在不在有效框范围内，则不做处理，直接输出。

表2为本实施例绿色信号灯增强前后的像素值对比，通过像素分量的比对也可以发现，红色和蓝色分量明显减小，进而可以突出绿色分量，实现增强的效果。

表2绿色信号灯增强前后像素值对比

图4为绿色信号灯增强的效果对比图，左侧开始第一张截图为原始的过爆的图像，第二张是算法做了修正的图片，修正后绿色有些重，第三张更直观的对比了绿色信号灯过爆情况与修正后的对比，数字为原始过爆信号灯，下面的箭头为修正后的绿灯。从图像的效果来看，信号灯增强算法的效果还是非常明显的。

表2为本实施例红色信号灯增强前后的像素值对比，通过像素分量的比对可以发现，绿色和蓝色分量明显减小，进而可以突出红色分量，实现增强的效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种信号灯图像增强处理方法，其特征在于，所述方法包括如下步骤：

(1)首先根据24小时不同时段的场景，对需要处理的包含信号灯的图像初始化相关参数，并对包含信号灯的图像进行框选，并且给定框选的有效框的四个点的坐标；

(2)串行输入包含信号灯的图像数据，然后根据每一帧图像的行有效信息和场有效信息进行图像的行、列计数，进而确定图像每个像素点的坐标，同时还对像素点的坐标与有效框的坐标进行比较，如果像素点的坐标在有效框的坐标范围内，则是需要增强的像素点，如果像素点的坐标不在有效框的坐标范围内，则直接输出；

(3)对于坐标在有效框坐标范围内的像素点，对其亮度阈值实时参数值进行计算；再将有效框内的像素点逐点转换为亮度信号；

(4)再根据图像数据的行、场同步信息，对有效框内的像素点进行红色、绿色、蓝色、黄色的计数统计；

(5)针对有效框的颜色计数统计值，判断该有效框内是什么颜色的信号灯；

(6)通过对有效框内信号灯颜色的判断，对有效框内像素的RGB分量信息进行修正；

(7)最后根据实际的场景，通过对参数的调节，校正出符合实际要求的图像颜色。

2.根据权利要求1所述的信号灯图像增强处理方法，其特征在于，步骤(1)中所述相关参数包括luma_threshold_low、luma_threshold_high、ydelta_threshold、rgdelta_threshold、grdelta_threshold、luma_threshold2、red_ratio、color_determine_radio、color_compensate，所述参数对应的中文含义分别为：亮度判决的最低门限、亮度判决的最高门限、像素点G分量与B分量差值的判决门限、像素点R分量与G分量差值的判决门限、像素点G分量与R分量差值的判决门限、亮度二次判决门限、红色占比率、颜色检测比率、颜色补偿值。

3.根据权利要求1所述的信号灯图像增强处理方法，其特征在于，步骤(3)中对亮度阈值进行计算的公式为：

。

4.根据权利要求1所述的信号灯图像增强处理方法，其特征在于，步骤(3)中有效框内的像素转换为亮度信号时，具体的转换公式为luma＝0.2654*R+0.6704*G+0.0642*B。

5.根据权利要求4所述的信号灯图像增强处理方法，其特征在于，对同一像素来讲，框内像素转化的具体公式为：

当时，或者时，cntred做加一操作；当时，或者时，cntyellow做加一操作；当B-R>grdelta_threshold时，cntgreen做加一操作；当G-R>rddelta_threshold时，cntblue做加一操作；所述cntred、cntyellow、cntblue对应的中文含义分别为红色个数、黄色个数、绿色个数。

6.根据权利要求1所述的信号灯图像增强处理方法，其特征在于，信号灯颜色模式的判决条件为：当时，mode设置为1；当cntgreen>cntred*color_determine_radio或者cntblue>cntred*color_determine_radio时，mode设置为2；当判断条件既不满足mode为1，也不满足mode为2的情况下，mode设置为3。

7.根据权利要求6所述的信号灯图像增强处理方法，其特征在于，对像素的RGB分量信息进行修正的公式为：

当时，像素点的G和B分别减掉系数color_compensate，R值不变；当时，像素点的B减掉系数color_compensate，G值不变，R值减掉color_compensate/2；当时，像素点R减掉系数color_compensate，G、B值不变。