CN113347375B - 脉冲图像传感器的像素闪烁抑制方法 - Google Patents

Abstract

本发明涉及CMOS图像传感器的图像处理领域，为基于传感器脉冲序列的高度相关性和均匀光下脉冲间隔波动的规律特性，本发明旨在提出一种自适应划分照度、均衡脉冲间隔的闪烁抑制方法。旨在实现良好的图像去闪烁效果，增强重构图像的稳定性。为此，本发明采取的技术方案是，脉冲图像传感器的像素闪烁抑制方法,处理时将脉冲间隔序列分割成不同照度下的脉冲间隔序列单元，然后均衡各照度下的脉冲间隔的波动。本发明主要应用于CMOS图像传感器的图像处理场合。

Description

脉冲图像传感器的像素闪烁抑制方法

技术领域

本发明涉及CMOS图像传感器的图像处理领域，具体涉及脉冲图像传感器的像素闪烁抑制方法。

背景技术

脉冲图像传感器借鉴了生物视觉信息异步脉冲化和多细胞并行化的特征，将场景信息用时间域的连续脉冲信号表示，极大地减少了数据量，在机器视觉和动态场景捕获等方向有较大的应用价值。脉冲序列图像传感器通过单比特数据量化光强信息，其像素结构如图1所示，包括积分模块、比较模块、自复位模块和读出模块。工作时，光电二极管积分光强电压下降，达到阈值后比较器触发；比较模块输出脉冲并复位光电二极管使其继续积分；触发的脉冲信号被存入寄存器，当以一帧时长为周期的扫描信号锁定该像素时，寄存器中数据被读出到输出总线上，信号被输出后，寄存器清零。像素输出连续的脉冲序列，‘1’和‘0’分别代表像素触发和未触发，其中1出现的频率表征了光强的大小。脉冲序列中相邻触发脉冲之间的间隔称作脉冲间隔，是脉冲再次触发所需的时间帧数。上述可知像素进行“异步复位，同步读出”。

上述的工作方式下，像素触发后存储并在接下来最近的读出时间点读出，这会存在时间误差，导致获取的脉冲间隔波动。脉冲间隔重构法利用脉冲间隔和光强的反比关系进行图像的重构，因此脉冲间隔的波动将导致图像像素点闪烁，该问题带来了不良的感官效果，同时也给图像的应用带来了不利的影响，制约了传感器的发展。

理论上均匀光下脉冲间隔应该是稳定的，误差的存在导致均匀光下存在两种脉冲间隔码，这将使像素灰度随时间波动。基于传感器工作原理分析了均匀光下脉冲间隔波动的规律：同一均匀光下只存在两种间隔码，不连续出现的称作波动码，连续出现不少于1次的称作稳定码。波动出现时，脉冲间隔序列被分割成一个个的脉冲间隔序列单元，该单元由连续的稳定码和一个波动码组成，形如(sss…ssf,s为稳定码，f为波动码)。同一均匀光下最多出现两种脉冲间隔序列单元，其中的一个不连续出现称作波动序列单元，另一个连续出现称作稳定序列单元。均匀光下出现两种脉冲间隔序列单元时，波动序列单元和稳定序列单元仅在稳定码的数量上相差一个。脉冲图像传感器以μs级时间分辨率记录脉冲数据，理论上可以从脉冲数据中还原任意时间的照度。脉冲间隔序列在时域上具有高度相关性，即高光强下间隔小，低光强下间隔大。因此可以通过简单的阈值或其他基于概率的模型轻松区分照度的变化。根据上述时间上的相关性和均匀光下脉冲间隔波动的规律，可以进行光强场景的划分，然后进行自适应的脉冲间隔均衡，进而还原稳定的图像，抑制像素的闪烁。

发明内容

为克服现有技术的不足，基于传感器脉冲序列的高度相关性和均匀光下脉冲间隔波动的规律特性，本发明旨在提出一种自适应划分照度、均衡脉冲间隔的闪烁抑制方法。旨在实现良好的图像去闪烁效果，增强重构图像的稳定性。为此，本发明采取的技术方案是，脉冲图像传感器的像素闪烁抑制方法,处理时将脉冲间隔序列分割成不同照度下的脉冲间隔序列单元，然后均衡各照度下的脉冲间隔的波动。

具体步骤如下：根据脉冲间隔序列的相关性将不同场景下的脉冲间隔数据进行区分，称作场景的粗区分；接着根据脉冲间隔波动的规律进行场景中光照度的区分，称作照度的细区分，该方式将均匀光照下的脉冲间隔数据分割，或者根据脉冲序列单元的相关性区分出照度的变化；最后选取三种均衡策略来处理不同照度区间下脉冲间隔的波动，三种均衡策略包括：不均衡；均衡单个脉冲间隔序列单元；均衡脉冲间隔序列块；均衡处理即平均处理，将同一照度下的稳定码和波动码进行平均，将异步复位同步读出机制下的误差均衡到同一照度下的每一个脉冲间隔。

详细步骤如下：

像素脉冲间隔序列存在波动，导致利用脉冲间隔重构公式重构的图像中出现像素的闪烁，脉冲间隔重构公式如下：

式中uint8()函数表明重构灰度为8bit表示的灰度值，且具有取整的功能，L用来调节图像的亮度区间；

(1)脉冲间隔序列的分割和组合

处理原始脉冲间隔数据，根据相邻脉冲间隔的差值进行场景变化的区分，并区分波动码和稳定码，组合脉冲间隔序列，当abs(N_m+1-N_m)>1时，N_m+1表示下一个间隔码，N_m表示前一个码值，即当前脉冲间隔值相对于前一个脉冲间隔值变化大于1时，认为像素曝光场景发生了变化，变化后的脉冲间隔是变化后场景中的数据，此时，前面的脉冲数据的处理就和后续场景的脉冲数据无关，后面的脉冲间隔数据需要开始新的比较、划分和组合；

场景变化之前进行相邻脉冲间隔的比较时，当N_m+1-N_m＝0时，该间隔码被认为是一个稳定码，即脉冲间隔未改变，记录该码值为s并计数，后续的脉冲间隔值继续和s比较，当abs(N_m+1--s)＝1,认为波动码出现，此时稳定码和波动码组合成一个脉冲间隔序列单元,形式为ss…ssf，仅最后有一个波动码，接着重新开始新的脉冲数据的比较，并组合s和f成脉冲间隔序列单元，脉冲间隔序列单元中，稳定码s和波动码f的大小以及稳定码个数占整个脉冲间隔序列的比例共同决定了该脉冲间隔序列所处的光强度，r＝w/(w+1),r表示占比，w是序列中稳定码的数量，认为该脉冲间隔序列单元是一个短期均匀光下的数据；

比较相邻的脉冲间隔数据，稳定码和波动码组合出一个新的脉冲间隔序列单元，将该脉冲间隔序列单元M2和前一个脉冲间隔序列单元M1进行比较，如果两者完全一样则记录下M1并进行计数，包括s,f和r的大小；当出现不同的脉冲间隔序列单元时，如果新出现的脉冲间隔序列单元仅s的数量和M1中相差一个则认为两者是同一照度下的脉冲间隔序列单元，将它们进行组合，称作脉冲间隔序列块，形式为M1,M1…M1M2，M1称作稳定序列单元，M2称作波动序列单元，否则认为新出现的脉冲间隔序列单元是另一个照度下的数据；

(2)均衡策略的选取

基于脉冲间隔数据的相关性和均匀光下脉冲间隔波动的规律上述操作实现了不同光照下的数据的分割和波动的识别，后续需要将各照度下脉冲间隔的波动进行消除，由于公式(1)的非线性特性，不同光强下脉冲间隔的波动还原成灰度后波动的幅度不同，采用三种不同的脉冲间隔处理策略处理上述的数据；

1)不均衡:利用公式(1)进行灰度的还原，当G_diff＝abs(L/s-L/f)<G₁时，G₁是波动引起的灰度波动差值的可接受范围，在脉冲间隔码大于A＝max(s,f)时忽略掉脉冲间隔波动的影响，处理脉冲间隔数据并不需要将所有的数据划分好以后进行再均衡处理，而是比较相邻的脉冲间隔数据、组合脉冲序列单元、区分间隔所处的照度区间、均衡处理脉冲间隔数据流水进行，由于脉冲间隔码大于A时引起灰度的波动较小，因此在比较相邻的脉冲间隔之前可先和A比较，当间隔码值小于A时，继续进行稳定码和波动码的鉴定和组合，否则将选取均衡策略处理前面的数据，后续大于A的脉冲间隔数据不进行处理，直到出现小于A的值后重新开始稳定码和波动码的鉴定、组合等操作；

2)均衡单个脉冲间隔序列单元：当脉冲间隔码小于A时就需要对脉冲间隔码的波动进行处理，通过均衡脉冲间隔序列单元来均衡传感器工作机制引入的误差，消除灰度的闪烁。首先考虑的是单个脉冲间隔序列单元的均衡处理，如下：

ave＝s×r+f×(1-r), (2)

其中ave是处理后的间隔值，s是脉冲间隔序列单元中的稳定码，r是脉冲间隔序列单元中稳定码s的数量所占比例，f是波动码。但当r不变，s和f的减小；或s和f不变，r减小时，仅用公式(2)处理脉冲间隔序列单元后灰度值的波动仍然较大，此时需要进行脉冲间隔序列块的均衡；

3)均衡脉冲间隔序列块：该均衡方式在脉冲间隔序列单元中稳定码的数量占比(r)小于一定值B时使用，因为随着脉冲间隔码s和f的减小或r的减小均衡策略2)处理后仍然存在波动，均衡脉冲间隔序列块的公式如下：

ave＝n×ave1+(1-n)×ave2, (3)

其中，n是脉间隔序列块中稳定序列单元的数量占整个脉冲序列块的比例，ave1，ave2分别是稳定序列单元和波动序列单元经公式(2)处理后的值。

本发明的特点及有益效果是：

本发明提出了一种均衡脉冲间隔的闪烁抑制方法。该方法依据时间相关性和均匀光下脉冲间隔波动的规律特性划分不同的照度区间，选取不同的均衡策略对不同区间内脉冲间隔数据进行处理，在区分场景变化的同时抑制了脉冲图像传感器还原图像中像素的闪烁，增强了重构图像的稳定性。均衡脉冲间隔后将会补充原重构图像中稀疏的灰度级，更多的灰度级被还原，重建的信息更加丰富，重构图像的质量获得提升。

附图说明：

图1脉冲像素结构示意图。

图2抑制闪烁算法的流程图。

图3 L为400时，间隔还原灰度曲线。

具体实施方式

像素脉冲间隔序列存在波动，导致利用脉冲间隔重构公式重构的图像中出现像素的闪烁，脉冲间隔重构公式如下：

式中uint8()函数表明重构灰度为8bit表示的灰度值，且具有取整的功能，L用来调节图像的亮度区间。

图2是去闪烁算法的处理流程图，为了消除像素的闪烁需要处理脉冲间隔码的波动，处理时将脉冲间隔序列分割成不同照度下的脉冲间隔序列单元，然后均衡各照度下的脉冲间隔的波动。依据如下：根据脉冲间隔序列的相关性将不同场景下的脉冲间隔数据进行区分，称作场景的粗区分。接着根据脉冲间隔波动的规律进行场景中光照度的区分，称作照度的细区分，该方式可以将均匀光照下的脉冲间隔数据分割，也可以根据脉冲序列单元的相关性区分出照度的变化。最后选取三种均衡策略来处理不同照度区间下脉冲间隔的波动。具体的操作如下：

(1)脉冲间隔序列的分割和组合

处理原始脉冲间隔数据，根据相邻脉冲间隔的差值进行场景变化的区分，并区分波动码和稳定码，组合脉冲间隔序列。当abs(N_m+1-N_m)>1时，(N_m+1表示下一个间隔码，N_m表示前一个码值)，即当前脉冲间隔值相对于前一个脉冲间隔值变化大于1时，认为像素曝光场景发生了变化，变化后的脉冲间隔是变化后场景中的数据。此时，前面的脉冲数据的处理就和后续场景的脉冲数据无关，后面的脉冲间隔数据需要开始新的比较、划分和组合。

场景变化之前进行相邻脉冲间隔的比较时，当N_m+1-N_m＝0时，该间隔码被认为是一个稳定码，即脉冲间隔未改变，记录该码值(记作s)并计数。后续的脉冲间隔值继续和s比较，当abs(N_m+1-s)＝1,认为波动码出现，此时稳定码和波动码组合成一个脉冲间隔序列单元,形式为(ss…ssf，仅最后有一个波动码)。接着重新开始新的脉冲数据的比较，并组合s和f成脉冲间隔序列单元。脉冲间隔序列单元中，稳定码(s)和波动码(f)的大小以及稳定码个数占整个脉冲间隔序列的比例(r＝w/(w+1),r表示占比，w是序列中稳定码的数量)共同决定了该脉冲间隔序列所处的光强度，认为该脉冲间隔序列单元是一个短期均匀光下的数据。

比较相邻的脉冲间隔数据，稳定码和波动码组合出一个新的脉冲间隔序列单元，将该脉冲间隔序列单元(M2)和前一个脉冲间隔序列单元(M1)进行比较。如果两者完全一样则记录下M1(包括s,f和r的大小)并进行计数。当出现不同的脉冲间隔序列单元时，如果新出现的脉冲间隔序列单元仅s的数量和M1中相差一个则认为两者是同一照度下的脉冲间隔序列单元，将它们进行组合，称作脉冲间隔序列块，形式为(M1,M1…M1M2。M1称作稳定序列单元，M2称作波动序列单元)，否则认为新出现的脉冲间隔序列单元是另一个照度下的数据。

(2)均衡策略的选取

基于脉冲间隔数据的相关性和均匀光下脉冲间隔波动的规律上述操作实现了不同光照下的数据的分割和波动的识别，后续需要将各照度下脉冲间隔的波动进行消除。由于公式(1)的非线性特性，不同光强下脉冲间隔的波动还原成灰度后波动的幅度不同，如图3所示，在强光下脉冲间隔小，码值波动1个数值时将会造成较大灰度值的变化；弱光下间隔码波动1个数值时，还原的灰度的差值较小，故本发明据此提出了三种不同的脉冲间隔处理策略处理上述的数据。包括：不均衡；均衡单个脉冲间隔序列单元；均衡脉冲间隔序列块。均衡处理即平均处理，将同一照度下的稳定码和波动码进行平均，将异步复位同步读出机制下的误差均衡到同一照度下的每一个脉冲间隔。

1)不均衡:利用公式(1)进行灰度的还原，当G_diff＝abs(L/s-L/f)<G₁时(G₁是波动引起的灰度波动差值的可接受范围)，本发明认定该曝光环境下波动影响不计。故在脉冲间隔码大于A＝max(s,f)时忽略掉脉冲间隔波动的影响。处理脉冲间隔数据并不需要将所有的数据划分好以后进行再均衡处理，而是比较相邻的脉冲间隔数据、组合脉冲序列单元、区分间隔所处的照度区间、均衡处理脉冲间隔数据流水进行。由于脉冲间隔码大于A时引起灰度的波动较小，因此在比较相邻的脉冲间隔之前可先和A比较，当间隔码值小于A时，继续进行稳定码和波动码的鉴定和组合，否则将选取均衡策略处理前面的数据，后续大于A的脉冲间隔数据不进行处理，直到出现小于A的值后重新开始稳定码和波动码的鉴定、组合等操作。

2)均衡单个脉冲间隔序列单元：当脉冲间隔码小于A时就需要对脉冲间隔码的波动进行处理，通过均衡脉冲间隔序列单元来均衡传感器工作机制引入的误差，消除灰度的闪烁。首先考虑的是单个脉冲间隔序列单元的均衡处理，如下：

ave＝s×r+f×(1-r), (2)

其中ave是处理后的间隔值，s是脉冲间隔序列单元中的稳定码，r是脉冲间隔序列单元中稳定码s的数量所占比例，f是波动码。但当r不变，s和f的减小；或s和f不变，r减小时，仅用公式(2)处理脉冲间隔序列单元后灰度值的波动仍然较大，例如处理同一照度下的稳定序列单元M1和波动序列单元M2后得到ave1和ave2,而G_diff＝abs(L/ave1-L/ave2)仍大于G₁。此时需要进行脉冲间隔序列块的均衡。

3)均衡脉冲间隔序列块：该均衡方式在脉冲间隔序列单元中稳定码的数量占比(r)小于一定值B时使用，因为随着脉冲间隔码s和f的减小或r的减小均衡策略2)处理后仍然存在波动。均衡脉冲间隔序列块的公式如下：

ave＝n×ave1+(1-n)×ave2, (3)

其中，n是脉间隔序列块中稳定序列单元的数量占整个脉冲序列块的比例，ave1，ave2分别是稳定序列单元和波动序列单元经公式(2)处理后的值。

利用脉冲传感器分别拍摄均匀光场景和包含运动的场景以获取脉冲数据。根据亮度的调节需求选定重构亮度参数L，计算出算法中均衡策略的分界参数。例如基于本发明图三中的亮度参数L＝400并将G_diff设定为1；则计算出策略1)和策略2)的分界参数A＝21。策略2)和策略3)的分界是由参数s、f、r共同确定，当min(s,f)不小于5时仅通过策略2)处理即可；当min(s,f)<5时，s、f、B设定为如下值(s＝5、f＝4、B＝3/4；s＝4、f＝5、B＝3/4；s＝4、f＝3、B＝4/5；s＝3、f＝4、B＝5/6；s＝3、f＝2、B＝5/6；s＝2、f＝3、B＝6/7；s＝2、f＝1、B＝7/8；s＝1、f＝2、B＝**(s＝1，最小的r＝1/2时，在L＝400的参数下已经是最大的灰度级，仅进行策略2)的处理即可))。在设定好亮度和计算出策略分界参数后，使用本发明的算法流水处理脉冲间隔数据，最后重构图像和视频。该方法处理后将会补充缺失的灰度级，使直方图更加均衡，灰度信息更加丰富。例如L＝400时，脉冲间隔序列3,3,3,3,4在未处理前还原的灰度为133,133,133,133,100，经过本发明算法处理后还原的值为125,125,125,125,125，而125这个灰度级在处理前是不存在的，经过将脉冲间隔序列分照度处理将更加精准的还原灰度，补充缺失的灰度级，且经过闪烁处理后重构出的图像和视频中的场景变化获得保留像素闪烁将得到抑制。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种脉冲图像传感器的像素闪烁抑制方法，其特征是，处理时将脉冲间隔序列分割成不同照度下的脉冲间隔序列单元，然后均衡各照度下的脉冲间隔的波动，详细步骤如下：

像素脉冲间隔序列存在波动，导致利用脉冲间隔重构公式重构的图像中出现像素的闪烁，脉冲间隔重构公式如下：

式中uint8()函数表明重构灰度为8bit表示的灰度值，且具有取整的功能，重构亮度参数L用来调节图像的亮度区间；

(1)脉冲间隔序列的分割和组合

处理原始脉冲间隔数据，根据相邻脉冲间隔的差值进行场景变化的区分，并区分波动码和稳定码，组合脉冲间隔序列，当abs(N_m+1-N_m)>1时，N_m+1表示下一个间隔码，N_m表示前一个码值，即当前脉冲间隔值相对于前一个脉冲间隔值变化大于1时，认为像素曝光场景发生了变化，变化后的脉冲间隔是变化后场景中的数据，此时，前面的脉冲数据的处理就和后续场景的脉冲数据无关，后面的脉冲间隔数据需要开始新的比较、划分和组合；场景变化之前进行相邻脉冲间隔的比较时，当N_m+1-N_m＝0时，该间隔码被认为是一个稳定码，即脉冲间隔未改变，记录该码值为s并计数，后续的脉冲间隔值继续和s比较，当abs(N_m+1-s)＝1,认为波动码出现，此时稳定码和波动码组合成一个脉冲间隔序列单元,形式为ss…ssf，仅最后有一个波动码，接着重新开始新的脉冲数据的比较，并组合s和f成脉冲间隔序列单元，脉冲间隔序列单元中，稳定码s和波动码f的大小以及稳定码个数占整个脉冲间隔序列的比例共同决定了该脉冲间隔序列所处的光强度，r＝w/(w+1),r表示占比，w是序列中稳定码的数量，认为该脉冲间隔序列单元是一个短期均匀光照下的数据；

比较相邻的脉冲间隔数据，稳定码和波动码组合出一个新的脉冲间隔序列单元，将该脉冲间隔序列单元M2和前一个脉冲间隔序列单元M1进行比较，如果两者完全一样则记录下M1并进行计数，包括s,f和r的大小；当出现不同的脉冲间隔序列单元时，如果新出现的脉冲间隔序列单元仅s的数量和M1中相差一个则认为两者是同一照度下的脉冲间隔序列单元，将它们进行组合，称作脉冲间隔序列块，形式为M1,M1…M1M2，M1称作稳定序列单元，M2称作波动序列单元，否则认为新出现的脉冲间隔序列单元是另一个照度下的数据；

(2)均衡策略的选取

基于脉冲间隔数据的相关性和均匀光照下脉冲间隔波动的规律，实现不同光照下的数据的分割和波动的识别，后续需要将各照度下脉冲间隔的波动进行消除，由于公式(1)的非线性特性，不同光强下脉冲间隔的波动还原成灰度后波动的幅度不同，采用三种不同的脉冲间隔处理策略处理上述的数据；

1)不均衡:利用公式(1)进行灰度的还原，当G_diff＝abs(L/s-L/f)<G₁时，G₁是波动引起的灰度波动差值的可接受范围，在脉冲间隔码大于A＝max(s,f)时忽略掉脉冲间隔波动的影响，处理脉冲间隔数据并不需要将所有的数据划分好以后进行再均衡处理，而是比较相邻的脉冲间隔数据、组合脉冲序列单元、区分间隔所处的照度区间、均衡处理脉冲间隔数据流水进行，由于脉冲间隔码大于A时引起灰度的波动较小，因此在比较相邻的脉冲间隔之前可先和A比较，当间隔码值小于A时，继续进行稳定码和波动码的鉴定和组合，否则将选取均衡策略处理前面的数据，后续大于A的脉冲间隔数据不进行处理，直到出现小于A的值后重新开始稳定码和波动码的鉴定、组合等操作；

2)均衡单个脉冲间隔序列单元：当脉冲间隔码小于A时就需要对脉冲间隔码的波动进行处理，通过均衡脉冲间隔序列单元来均衡传感器工作机制引入的误差，消除灰度的闪烁，首先考虑的是单个脉冲间隔序列单元的均衡处理，如下：

ave＝s×r+f×(1-r), (2)

其中ave是处理后的间隔值，s是脉冲间隔序列单元中的稳定码，r是脉冲间隔序列单元中稳定码s的数量所占比例，f是波动码，但当r不变，s和f的减小；或s和f不变，r减小时，仅用公式(2)处理脉冲间隔序列单元后灰度值的波动仍然较大，此时需要进行脉冲间隔序列块的均衡；

3)均衡脉冲间隔序列块：该均衡方式在脉冲间隔序列单元中稳定码的数量占比(r)小于一定值B时使用，因为随着脉冲间隔码s和f的减小或r的减小均衡策略2)处理后仍然存在波动，均衡脉冲间隔序列块的公式如下：

ave＝n×ave1+(1-n)×ave2, (3)

其中，n是脉间隔序列块中稳定序列单元的数量占整个脉冲序列块的比例，ave1，ave2分别是稳定序列单元和波动序列单元经公式(2)处理后的值。

2.如权利要求1所述的脉冲图像传感器的像素闪烁抑制方法，其特征是，步骤如下：根据脉冲间隔序列的相关性将不同场景下的脉冲间隔数据进行区分，称作场景的粗区分；接着根据脉冲间隔波动的规律进行场景中光照度的区分，称作照度的细区分，将均匀光照下的脉冲间隔数据分割，或者根据脉冲序列单元的相关性区分出照度的变化；最后选取三种均衡策略来处理不同照度区间下脉冲间隔的波动，三种均衡策略包括：不均衡；均衡单个脉冲间隔序列单元；均衡脉冲间隔序列块；均衡处理即平均处理，将同一照度下的稳定码和波动码进行平均，将异步复位同步读出机制下的误差均衡到同一照度下的每一个脉冲间隔。

Images