CN114697558B - 一种抑制宽动态范围图像频闪的方法 - Google Patents

Abstract

本发明提供一种抑制宽动态图像频闪的方法，能够简单的检测场景频闪，并有效抑制宽动态图像的频闪。具体地，本发明提供一种抑制宽动态范围图像频闪的方法，所述方法包括以下步骤：S1，输入长短帧图像；S2，判断图像中是否有频闪；S3，根据检测出的结果，对融合策略做调整，降低合成的宽动态范围图像中的频闪；S3.1，根据数据特征判断频闪的强度；S3.2，根据频闪强度调整融合权重和/或曝光时间；S3.3，合成宽动态范围图像；S4，输出图像。

Description

一种抑制宽动态范围图像频闪的方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种抑制宽动态范围图像频闪的方法。

背景技术

由于现有的电力供应系统包括50HZ和60HZ两种不同的频率，所以工作在交流电上的光源会散发出不同频率的光。人眼对具有强大的适应性，所以不会看到光强的变化，但是普通的camera sensor对光强变化敏感，使得采集的图像呈现频闪现象。目前对于正常动态范围图像，主要采用控制曝光的方法抑制频闪。因为频闪具有周期性，所以一个周期内，光强的累计值基本相同，让曝光时间是频闪周期的整数倍，即可得到光强均匀的无频闪图像。

但是对于帧融合的宽动态图像，为了保证图像的动态范围，会尽量的降低短帧的曝光时间，使得融合后的图像能有更多的信息，同时为了减少运动导致的伪影，会限制短帧的曝光时间，通过增加Gain值达到目标亮度。所以在绝大多数情况下短帧的曝光时间都低于频闪周期，因此如果在有频闪的场景，融合过程中大量地使用短帧信息，会导致图像出现严重的频闪现象。

此外，现有技术中的常用术语如下：

WDR：宽动态范围；

ISP：image signal processer,图像处理器，对CMOS sensor输入的RAW图进行算法处理的模块，包括WDR，插值，降噪，锐化等。

RAW数据：RAW数据就是由感光元件记录的图像的所有灰度数据。为了得到最终可用的图像，这些RAW数据必须经过所谓的“RAW转换程序(RAW Converter)”的处理(包括去马赛克)。JPEG格式的数码相片实际上使用了整合在相机固件内的RAW转换程序进行全部转换处理。

Bayer格式：Bayer数据的格式一般为：奇数扫描行输出RGRG……；偶数扫描行输出GBGB……。根据人眼对彩色的响应带宽不高的大面积着色特点，每个像素没有必要同时输出3种颜色。因此，数据采样时，奇数扫描行的第1，2，3，4，…象素分别采样和输出R，G，R，G，…数据；偶数扫描行的第1，2，3，4，…象素分别采样和输出G，B，G，B，…数据。在实际处理时，每个象素的R，G，B信号由象素本身输出的某一种颜色信号和相邻象素输出的其他颜色信号构成。

发明内容

为了解决上述问题，本方法的目的在于：提出一种抑制宽动态图像频闪的方法，能够简单的检测场景频闪，并有效抑制宽动态图像的频闪。

具体地，本发明提供一种抑制宽动态范围图像频闪的方法，所述方法包括以下步骤：

S1，输入长短帧图像；

S2，判断图像中是否有频闪；

S3，根据检测出的结果，对融合策略做调整，降低合成的宽动态范围图像中的频闪；

S3.1，根据数据特征判断频闪的强度；

S3.2，根据频闪强度调整融合权重和/或曝光时间；

S3.3，合成宽动态范围图像；

S4，输出图像。

所述步骤S2包括：选取长短帧合适的图像列对应相减；滤波处理帧差数据。

所述步骤S2进一步包括：

S2.1，调整图像曝光，使得长短帧达到合理曝光，即长帧暗区细节清晰，且无频闪，短帧亮区细节清晰；

S2.2，由于频闪会导致图像在列方向上呈现亮度的周期性变化，所以有无频闪的图像在列数据上会存在一定差异；

为此，先统计图像列方向上的信息：

(4)sensor采集到的图像数据具有特定的bayer格式；

(5)因为R，G，B分量的值存在较大的差异，但是各个通道的亮度变化趋势相同，所以任选一个通道信息；

(6)分别统计长短帧对应列上的步骤(2)中选择的通道的像素值，得到长短帧的统计结果为sum_L和sum_S，累加的列数为K列；

S2.3，对统计结果求平均得到长短帧列方向上的，每个行的平均亮度，avg_L和avg_S，

S2.4，由于长短帧的曝光时间不同所以在亮度上会存在较大的差异，且亮度的差异与曝光比ratio有关，因此将短帧的平均亮度乘以曝光比得到与长帧同等亮度水平的avg_S2L：

avg_S2L＝min(maxValue,ratio·avg_S)；

其中，maxValue表示像素最大值，与sensor有关；

S2.5，将avg_L与avg_S2L做差，可得到差异矩阵D，对D做滤波处理；

S2.6，求取D的所有极大值对应的横坐标x＝{x₀,x₁,…,x_n}，其中n是极值点总数，或者取D的所有极小值对应的横坐标；

S2.7，计算相邻极值点间的水平距离d＝{d₀,d₁,…,d_n-1}，去掉最大值和最小值，求得d的方差V；V越小则图像中有频闪的可能性越大，根据如下公式即可得到频闪的概率p：

其中，i∈[1,5]，x_p＝[20,40,80,120,160,200]，y_p＝[10,8,4,2,1,0]，具体的分段数和参数值根据需求调整。

所述步骤S2.2的(1)中Bayer格式包括RGGB，BGGR，GBGR，GRGB；以RGGB为例，图像大小以1080*1920。

所述步骤S2.2的(2)中如果任选一个通道的是R通道；则所述步骤S2.2的(3)则分别统计长短帧对应列上的R像素值。

所述S2.2的(3)中统计时需要注意两点：

A.由于短帧的噪声较大，所以为了较低噪声的影响，需要统计多的列数；B.由于目前的sensor通常是12bit和10bit，有个共同的特点就是截断效应，当场景亮度较高时，就会出现过曝区域，此时长短帧的对应位置信息是完全不同的，所以这样的像素点不能被拿来比较；因此在统计时需要判断当前列中长帧是否有过曝像素，如果有，则不统计该列，如果没有，则将该列的像素值对应累加到前面统计的列像素值上，依次循环，直到累加的列数达到目标值或者图像到达最后一列，得到长短帧的统计结果为sum_L和sum_S，累加的列数为K列，两者矩阵大小相同。

所述步骤S2.2的(3)的步骤A中所述统计多的列数为统计200列；所述步骤B中两者矩阵大小相同都为540*1。

所述步骤S2.5中，由于噪声的影响，D的数据分布会存在一些无规则的跳变；为了减少噪声对数据的影响，对D做高斯滤波和均值滤波，得到先做高斯滤波后再均值滤波的结果。

所述步骤S3.2进一步包括：

(1)降低长短帧数据融合时短帧的权重；频闪越严重，短帧的权重越低；

w(i,j)＝w_lum(i,j)·(10-p)

y_fusion(i,j)＝(w(i,j)·y_s(i,j)+(256-w(i,j))·y_l(i,j))/256

其中y_fusion(i,j)，y_s(i,j)和y_l(i,j)分别表示像素点(i,j)处的融合像素亮度，短帧像素亮度和长帧像素亮度；w(i,j)表示短帧的权重，w_lum(i,j)表示根据长帧像素亮度值计算的短帧的权重，

如果长帧亮度小于阈值thrLong，则完全采用长帧，如果长帧亮度大于阈值thrShort，则完全采用短帧，如果长帧亮度介于二者之间，则采用线性插值方式计算权重，阈值d-1表示最大像素亮度，其中，thrLong＝3000，thrShort＝4000，最大像素亮度为4095，阈值可根据图像内容进行调节；

(2)降低长帧的曝光时间，减少长帧过曝区域大小，使得在融合过程中避免使用短帧的数据。

所述步骤S3.3进一步包括：

将亮度值按照比例的形式恢复颜色，得到融合后的RAW数据，公式如下：

其中，R_in,G_in,B_in,Y_in分别表示融合前的R，G，B，Y通道像素值，R_out,G_out,B_out,Y_out分别表示融合后的R，G，B，Y通道像素值，γ∈(0,2)，当γ<1时，饱和度降低，当γ＝1时饱和度不变，当γ>1时，饱和度增大。

由此，本申请的优势在于：本方法简单，针对频闪问题，能够有效抑制宽动态图像频闪的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明方法的流程示意图。

图2是常见的Bayer格式的示意图。

图3是帧差数据的处理结果的示意图。

图4是融合权重曲线的示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

如图1所示，本发明涉及一种抑制宽动态范围图像频闪的方法，所述方法包括以下步骤：

S1，输入长短帧图像；

S2，判断图像中是否有频闪；

S3，根据检测出的结果，对融合策略做调整，降低合成的宽动态范围图像中的频闪；

S3.1，根据数据特征判断频闪的强度；

S3.2，根据频闪强度调整融合权重和/或曝光时间；

S3.3，合成宽动态范围图像；

S4，输出图像。

具体地，本发明的实施例如下描述：

1.调整图像曝光，使得长短帧达到合理曝光，即长帧暗区细节清晰，且无频闪，短帧亮区细节清晰。

2.由于频闪会导致图像在列方向上呈现亮度的周期性变化，所以有无频闪的图像在列数据上会存在一定差异。为此，先统计图像列方向上的信息：

(1)sensor采集到的图像数据具有特定的bayer格式，常见的有RGGB，BGGR，GBGR，GRGB，具体分布，如图2所示。本发明中以RGGB为例，图像大小以1080*1920为例；

(2)因为R，G，B分量的值存在较大的差异，但是各个通道的亮度变化趋势相同，所以可以任选一个通道信息，本发明以R通道为例；

(3)分别统计长短帧对应列上的R像素值，统计时需要注意两点：

A.由于短帧的噪声较大，所以为了较低噪声的影响，需要统计较多的列数，本发明统计了200列；

B.由于目前的sensor大多是12bit和10bit，他们有个共同的特点就是截断效应，当场景亮度较高时，就会出现过曝区域，此时长短帧的对应位置信息是完全不同的，所以这样的像素点不能被拿来比较；

因此在统计时需要判断当前列中长帧是否有过曝像素，如果有，则不统计该列，如果没有则将该列的像素值对应累加到前面统计的列像素值上，依次循环，直到累加的列数达到目标值或者图像到达最后一列，得到长短帧的统计结果为sum_L和sum_S，累加的列数为K列，两者矩阵大小都为540*1；

3.对统计结果求平均得到长短帧列方向上的，每个行的平均亮度，avg_L和avg_S，

4.由于长短帧的曝光时间不同所以在亮度上会存在较大的差异，且亮度的差异与曝光比ratio有关，因此将短帧的平均亮度乘以曝光比得到与长帧同等亮度水平的avg_S2L：

avg_S2L＝min(4095,ratio·avg_S)

5.将avg_L与avg_S2L做差，可得到差异矩阵D。由于噪声的影响，D的数据分布会存在一些无规则的跳变，如图3第一行图像所示，左边为无频闪的图像的结果，右边为有频闪的图像的结果。

6.为了减少噪声对数据的影响，对D做高斯滤波和均值滤波，得到如图3第二行和第三行图像所示的图像，第二行为高斯滤波后的结果，第三行为高斯滤波后再均值滤波的结果。

7.求取D的所有极大值对用的横坐标x＝{x₀,x₁,…,x_n}，其中n是极值点总数，或者取D的所有极小值对用的横坐标，本发明以极大值为例。

8.计算相邻极值点间的水平距离d＝{d₀,d₁,…,d_n-1}，去掉最大值和最小值，求得d的方差V。V越小则图像中有频闪的可能性越大，根据如下公式即可得到频闪的概率p：

其中，i∈[1,5]，x_p＝[20,40,80,120,160,200]，y_p＝[10,8,4,2,1,0]，具体的分段数和参数值可以根据需求调整。

9.根据上述方法可以判断图像中是否有频闪，下面根据检测出的结果，对融合策略做调整，降低合成的WDR图像中的频闪。为了避免在融合图像中出现严重的频闪，当场景有频闪时，有两种方式可以减少频闪效应。(1)适当降低长短帧数据融合时短帧的权重，频闪越严重，短帧的权重越低：

w(i,j)＝w_lum(i,j)·(10-p)

y_fusion(i,j)＝(w(i,j)·y_s(i,j)+(256-w(i,j))·y_l(i,j))/256

其中y_fusion(i,j)，y_s(i,j)和y_l(i,j)分别表示像素点(i,j)处的融合像素亮度，短帧像素亮度和长帧像素亮度；w(i,j)表示短帧的权重，w_lum(i,j)表示根据长帧像素亮度值计算的短帧的权重，如图4中的曲线所示，其中横轴表示长帧的亮度，纵轴表示短帧的权重，如果长帧亮度小于thrLong，则完全采用长帧，如果长帧亮度大于thrShort，则完全采用短帧，如果长帧亮度介于二者之间，则采用线性插值方式计算权重，d-1表示最大像素亮度。

(2)适当地降低长帧的曝光时间，减少长帧过曝区域大小，使得在融合过程中避免使用短帧的数据。

10.将亮度值按照比例的形式恢复颜色，得到融合后的RAW数据，公式如下：

其中，R_in,G_in,B_in,Y_in分别表示融合前的R，G，B，Y通道像素值，R_out,G_out,B_out,Y_out分别表示融合后的R，G，B，Y通道像素值，γ∈(0,2)，当γ<1时，饱和度降低，当γ＝1时饱和度不变，当γ>1时，饱和度增大。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种抑制宽动态范围图像频闪的方法，其特征在于，所述方法包括以下步骤：

S1，输入长短帧图像；

S2，判断图像中是否有频闪；

所述步骤S2进一步包括：

S2.1，调整图像曝光，使得长短帧达到合理曝光，即长帧暗区细节清晰，且无频闪，短帧亮区细节清晰；

S2.2，由于频闪会导致图像在列方向上呈现亮度的周期性变化，所以有无频闪的图像在列数据上会存在一定差异；

为此，先统计图像列方向上的信息：

(1)sensor采集到的图像数据具有特定的bayer格式；

(2)因为R，G，B分量的值存在较大的差异，但是各个通道的亮度变化趋势相同，所以任选一个通道信息；

(3)分别统计长短帧对应列上的步骤（2）中选择的通道的像素值，得到长短帧的统计结果为和/>，累加的列数为K列；

S2.3，对统计结果求平均得到长短帧列方向上的，每个行的平均亮度，和/>，

，

；

S2.4，由于长短帧的曝光时间不同所以在亮度上会存在较大的差异，且亮度的差异与曝光比有关，因此将短帧的平均亮度乘以曝光比得到与长帧同等亮度水平的/>：

；

其中，avg_S2L表示短帧每行的平均亮度乘以曝光比,maxValue表示像素最大值，与sensor有关；

S2.5，将与/>做差，可得到差异矩阵/>，对/>做滤波处理；

S2.6，求取的所有极大值对应的横坐标/>，其中n是极值点总数，或者取/>的所有极小值对应的横坐标；

S2.7，计算相邻极值点间的水平距离，去掉最大值和最小值，求得d的方差v；v越小则图像中有频闪的可能性越大，根据如下公式即可得到频闪的概率p：

；

其中，，/>，/>，具体的分段数和参数值根据需求调整；

S3，根据检测出的结果，对融合策略做调整，降低合成的宽动态范围图像中的频闪：

S3.1，根据数据特征判断频闪的强度；

S3.2，根据频闪强度调整融合权重和/或曝光时间；

所述步骤S3.2进一步包括：

(1)降低长短帧数据融合时短帧的权重;频闪越严重，短帧的权重越低;

；

；

其中，/>和/>分别表示像素点/>处的融合像素亮度，短帧像素亮度和长帧像素亮度；/>表示短帧的权重，/>表示根据长帧像素亮度值计算的短帧的权重，p表示频闪的概率；

如果长帧亮度小于阈值thrLong，则完全采用长帧，如果长帧亮度大于阈值thrShort，则完全采用短帧，如果长帧亮度介于二者之间，则采用线性插值方式计算权重，设阈值为d-1表示最大像素亮度，其中，thrLong = 3000，thrShort = 4000，最大像素亮度为4095，阈值可根据图像内容进行调节;

（2）降低长帧的曝光时间，减少长帧过曝区域大小，使得在融合过程中避免使用短帧的数据；

S3.3，合成宽动态范围图像；

S4，输出图像。

2.根据权利要求1所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S2包括：选取长短帧合适的图像列对应相减；滤波处理帧差数据。

3.根据权利要求1所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S2.2的（1）中Bayer格式包括RGGB，BGGR，GBGR，GRGB；

所述步骤S2.4中,当选择12bit sensor时, maxValue最大像素值是4095。

4.根据权利要求1所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S2.2的（2）中如果任选一个通道的是R通道；则所述步骤S2.2的（3）则分别统计长短帧对应列上的R像素值。

5.根据权利要求1、3或4所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述S2.2的（3）中统计时需要注意两点：

A.由于短帧的噪声较大，所以为了较低噪声的影响，需要统计多的列数；

B.在统计时判断当前列中长帧是否有过曝像素，如果有，则不统计该列，如果没有，则将该列的像素值对应累加到前面统计的列像素值上，依次循环，直到累加的列数达到目标值或者图像到达最后一列，得到长短帧的统计结果为和/>，累加的列数为K列，两者矩阵大小相同。

6.根据权利要求5所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S2.2的（3）的步骤A中所述统计多的列数为统计200列；所述步骤B中两者矩阵大小相同都为540*1。

7.根据权利要求1所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S2.5中，由于噪声的影响，的数据分布会存在一些无规则的跳变；为了减少噪声对数据的影响，对/>做高斯滤波和均值滤波，得到先做高斯滤波后再均值滤波的结果。

8.根据权利要求1所述的一种抑制宽动态范围图像频闪的方法，其特征在于，所述步骤S3.3进一步包括：

将亮度值按照比例的形式恢复颜色，得到融合后的RAW数据，公式如下：

；

其中，分别表示融合前的R，G，B，Y通道像素值，/>分别表示融合后的R，G，B，Y通道像素值，/>，当/>时，饱和度降低，当/>时饱和度不变，当时，饱和度增大。