CN101853501B - CCD传感器Smear效应处理方法 - Google Patents

Abstract

本发明公开了一种CCD传感器Smear效应处理方法，其目的是解决现有的Smear效应修正方法Smear效应消除能力低的技术问题。技术方案是利用全局图像灰度的统计信息判定Smear效应发生区域的具体位置信息，消除对已知相机相关参数才能进行Smear效应修正的依赖性。考虑到Smear效应图像和原始图像的生成关系，根据原始图像和产生Smear效应区域的灰度特性对原始图像和Smear效应区域进行背景建模，估计出Smear效应图像，借助原始图像的图像特性，考虑光照、噪声等因素对图像产生的影响。更真实的反映了产生Smear图像当前帧的图像特性，提高了Smear效应消除能力。

Description

CCD传感器Smear效应处理方法

技术领域

本发明涉及一种Smear效应处理方法，特别是CCD传感器Smear效应处理方法。

背景技术

Smear效应(拖影问题)是帧转移型CCD传感器的固有特性。当CCD传感器受到强光源照射，在进行帧转移过程中，垂直CCD不断进行光电转换，摄影区域的信号电荷转移到存储区域，转移中信号电荷会加上强光源产生的多余的光电转换信号，在读出的图像当中上下方拉出白线，将严重影响图像对比度和图像质量，降低图像细节信息。现有的Smear效应修正方法采用增加曝光时间，使用机械快门和电子快门，借助暗像元区域信息或借助相机相关参数等方法进行修正。

文献“科学级帧转移型CCD相机拖影问题的处理，科学技术与工程，2009，Vol.9(15)，p4336-4338”公开了一种借助CCD相关参数进行Smear效应修正的方法。该方法借助相机曝光时间、帧转移时间等相关参数，建立起理想图像与原始图像之间的关系，通过估计出的Smear效应参数，消除原始图像中的Smear效应。在建立理想图像与原始图像之间关系模型时，需要明确知道相机的曝光时间、帧转移时间，因此，对产生Smear效应原始图像的获取设备的相关参数具有依赖性和局限性。并且在建立理想图像与原始图像之间的关系模型时，仅借助相机的相关参数，并未考虑获取的实际图像中光照、噪声等的影响，降低了Smear效应的消除能力。

发明内容

为了克服现有的Smear效应修正方法Smear效应消除能力低的不足，本发明提供一种CCD传感器Smear效应处理方法。该方法利用全局图像灰度的统计信息判定Smear效应发生区域的具体位置信息，消除对已知相机相关参数才能进行Smear效应修正的依赖性。考虑到Smear效应图像和原始图像的生成关系，根据原始图像和产生Smear效应区域的灰度特性对原始图像和Smear效应区域进行背景建模，估计出Smear效应图像，借助原始图像的图像特性，考虑光照、噪声等因素对图像产生的影响，更真实的反映了产生Smear图像当前帧的图像特性，可以提高Smear效应消除能力。

本发明解决其技术问题所采用的技术方案：一种CCD传感器Smear效应处理方法，其特点是包括下述步骤：

(a)对大小为r×c的16位图像，灰度大小范围为(0，65535)，按照

$\mathrm{Col}\_\mathrm{sum}\left(j\right)=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{f}_{i,j}(x,y),i\∈[1,r];j\∈[1,c]---\left(1\right)$

对图像中的每列进行灰度值累加求和。

式中，Col_sum(j)表示第j列的灰度和，f_i，j(x，y)表示(i，j)处的灰度值，r表示行长度，c表示列宽度。

计算向量Col_sum的均值mean

$\mathrm{mean}=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}x\left(k\right)---\left(2\right)$

计算向量Col_sum的方差var

${\mathrm{var}}^2=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{(x\left(k\right)-\mathrm{mean})}^2---\left(3\right)$

式中，x(k)表示输入的信号，n表示输入信号的窗口大小。

计算阈值Ths

Ths＝mean+α×var    (4)

式中，α＝400。

将统计得到的第j列的Col_sum(j)与Ths进行比较，大于等于该阈值Ths，即表示该列发生了Smear效应，标记为1

$I\_\mathrm{mask}\left(j\right)=\left\{\begin{array}{cc}1,& \mathrm{Col}\_\mathrm{sum}\left(j\right)\&GreaterEqual;\mathrm{Ths}\\ 0,& \mathrm{Col}\_\mathrm{sum}\left(j\right)<\mathrm{Ths}\end{array}\right.---\left(5\right)$

式中，I_mask是Smear效应判定向量。

按照

I_area＝label(I_mask)    (6)

对连通区域进行label(·)标记，得到产生Smear效应区域的个数num，记录各连通区域的起始坐标pos_left(num)和终止坐标pos_right(num)位置信息，得到产生Smear效应的具体位置。式中，label(·)表示对输入的I_mask进行标记，I_area表示标记后的结果。

(b)对输入的全局图像的各像素I_img(i，j)的灰度值，按照大小依次进行排序

I_s_img＝sort(I_img(i，j))    (7)

找出排序后序列I_s_img的中间位置p，以半径为d选取局部区域排序后的数据，按照

$I\_\mathrm{imgmean}=\frac{1}{d}\underset{k=p-d/2}{\overset{p+d/2}{\mathrm{\&Sigma;}}}{I}_s\left(k\right)---\left(8\right)$

为基准填充各像素得到真实图像的背景图像I_imgmean。

式中，sort(·)表示对输入的图像数据进行排序，d＝50000。

同样，对判定出产生Smear效应所在列的各像素I_img(r，smear_pos)的灰度值，

I_s_img(smear_pos)＝sort(I_img(r，smear_pos))    (9)

按照大小依次进行排序，找出排序后序列的中间位置p₁，以半径为d₁选取局部区域排序后的数据，按照

$I\_\mathrm{imgsmear}(\mathrm{smear}\_\mathrm{pos})=\frac{1}{d_1}\underset{k=p-d_1/2}{\overset{p_1+d_1/2}{\mathrm{\&Sigma;}}}{I}_s\_\mathrm{img}(\mathrm{smear}\_\mathrm{pos})---\left(10\right)$

为基准填充各像素得到含有Smear效应的图像I_imgsmear。

式中，smear_pos表示产生Smear效应列的位置，d₁＝50。

将计算得到的含有Smear效应的图像I_imgsmear与估计出的背景图像I_imgmean相减，最终得到估计出的Smear效应图像I_smear。

I_smear＝I_imgmean-I_imgsmear    (11)

(c)将待修正的原始图像I_img与估计出的Smear效应图像I_smear相减，得到修正Smear效应后的理想图像I_new。

I_new＝I_img-I_smear    (12)

按照

$I_{\mathrm{cor}}\_\mathrm{new}(i,j)=\frac{w_l\&CenterDot;I\_\mathrm{new}(i,j^{\&prime;})+w_r\&CenterDot;I\_\mathrm{new}(i,j^{\&prime;\&prime;})}{w_l+w_r}---\left(13\right)$

w_l＝j″-j    (14)

w_r＝j′-j    (15)

对修正Smear效应后的理想图像I_new，再对其中产生电子溢出的区域通过插值的方式重建弥散斑，最终得到Smear效应完全修正后的结果图像I_cor_new。

式中，j′和j″表示未产生溢出的左、右两侧的最近的列坐标位置，w_l和w_r表示对应的权值。

本发明的有益效果是：由于利用全局图像灰度的统计信息判定Smear效应发生区域的具体位置信息，消除对已知相机相关参数才能进行Smear效应修正的依赖性。考虑到Smear效应图像和原始图像的生成关系，根据原始图像和产生Smear效应区域的灰度特性对原始图像和Smear效应区域进行背景建模，估计出Smear效应图像，借助原始图像的图像特性，考虑光照、噪声等因素对图像产生的影响，更真实的反映了产生Smear图像当前帧的图像特性，提高了Smear效应消除能力。

具体实施方式

1、Smear效应发生位置确定。

对大小为r×c的16位图像，单像元的灰度值大小范围为(0，65535)，按公式(1)，对图像中的每列进行灰度值累加求和，其中，r表示行长度，c表示列宽度，Col_sum(j)表示第j列的灰度和，f_i，j(x，y)表示(i，j)处的灰度值，通过计算可以得到全局图像每列的灰度和值向量Col_sum。

$\mathrm{Col}\_\mathrm{sum}\left(j\right)=\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}{f}_{i,j}(x,y),i\&Element;[1,r];j\&Element;[1,c]---\left(1\right)$

按照公式(2)，(3)分别计算向量Col_sum的均值mean和方差var，其中，x(k)表示输入的信号，n表示输入信号的窗口大小。

$\mathrm{mean}=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}x\left(k\right)---\left(2\right)$

${\mathrm{var}}^2=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{(x\left(k\right)-\mathrm{mean})}^2---\left(3\right)$

按照公式(4)，计算得到一个判定Smear效应的阈值Ths，其中，α为给定的一个实验值，本发明中选定α＝400。

Ths＝mean+α×var    (4)

将统计得到的第j列的Col_sum(j)与Ths进行比较，大于等于该阈值Ths，即为该列发生了Smear效应，并标记为1，如公式(5)所示。其中，I_mask为Smear效应判定向量。

$I\_\mathrm{mask}\left(j\right)=\left\{\begin{array}{cc}1,& \mathrm{Col}\_\mathrm{sum}\left(j\right)\&GreaterEqual;\mathrm{Ths}\\ 0,& \mathrm{Col}\_\mathrm{sum}\left(j\right)<\mathrm{Ths}\end{array}\right.---\left(5\right)$

最后如公式(6)所示，对连通区域进行label(·)标记，得到产生Smear效应区域的个数num，并记录各连通区域的起始坐标pos_left(num)和终止坐标pos_right(num)位置信息，得到产生Smear效应的具体位置。其中，label(·)表示对输入的I_mask进行标记，I_area表示标记后的结果。

I_area＝label(I_mask)    (6)

2、Smear效应估计。

对输入的全局图像的各像素I_img(i，j)的灰度值，如公式(7)所示，按照大小依次进行排序。找出排序后序列I_s_img的中间位置p，以半径为d选取局部区域排序后的数据，如公式(8)所示计算均值，以此为基准填充各像素得到真实图像的背景图像I_imgmean，其中，sort(·)表示对输入的图像数据进行排序，本方明中选定d＝50000。

I_s_img＝sort(I_img(i，j))    (7)

$I\_\mathrm{imgmean}=\frac{1}{d}\underset{k=p-d/2}{\overset{p+d/2}{\mathrm{\&Sigma;}}}{I}_s\left(k\right)---\left(8\right)$

同样，对判定出产生Smear效应所在列的各像素I_img(r，smear_pos)的灰度值，如公式(9)所示，按照大小依次进行排序，找出排序后序列的中间位置p₁，以半径为d₁选取局部区域排序后的数据，如公式(10)所示计算均值，以此为基准填充各像素得到含有Smear效应的图像I_imgsmear，其中，smear_pos表示产生Smear效应列的位置。本发明中选定d₁＝50。

I_s_img(smear_pos)＝sort(I_img(r，smear_pos))    (9)

$I\_\mathrm{imgsmear}(\mathrm{smear}\_\mathrm{pos})=\frac{1}{d_1}\underset{k=p-d_1/2}{\overset{p_1+d_1/2}{\mathrm{\&Sigma;}}}{I}_s\_\mathrm{img}(\mathrm{smear}\_\mathrm{pos})---\left(10\right)$

如公式(11)所示，将计算得到的含有Smear效应的图像I_imgsmear与估计出的背景图像I_imgmean相减，最终得到估计出的Smear效应图像I_smear。

I_smear＝I_imgmean-I_imgsmear    (11)

3、Smear效应修正。

如公式(12)所示，将待修正的原始图像I_img与估计出的Smear效应图像I_smear相减，得到修Smear效应后的理想图像I_new。

I_new＝I_img-I_smear    (12)

由于强光源照射，在产生Smear效应的强光源图像所在位置还会有电子溢出现象的产生，针对此，如公式(13)所示，对修Smear效应后的理想图像I_new，再对产生电子溢出的区域通过插值的方式重建弥散斑，最终得到Smear效应完全修正后的结果图像I_cor_new。其中，j′和j″表示未产生溢出的左、右两侧的最近的列坐标位置，w_l和w_r表示对应的权值，计算公式如(14)(15)所示。

$I_{\mathrm{cor}}\_\mathrm{new}(i,j)=\frac{w_l\&CenterDot;I\_\mathrm{new}(i,j^{\&prime;})+w_r\&CenterDot;I\_\mathrm{new}(i,j^{\&prime;\&prime;})}{w_l+w_r}---\left(13\right)$

w_l＝j″-j    (14)

w_r＝j′-j    (15)。

Claims (1)

1.一种CCD传感器Smear效应处理方法，其特征在于包括下述步骤：

(a)对大小为r×c的16位图像，灰度大小范围为(0，65535)，按照

对图像中的每列进行灰度值累加求和；

式中，Col_sum(j)表示第j列的灰度和，f_i，j(x，y)表示(i，j)处的灰度值，r表示行长度，c表示列宽度；

计算向量Col_sum的均值mean

计算向量Col_sum的方差var

式中，x(k)表示输入的信号，n表示输入信号的窗口大小；

计算阈值Ths

Ths＝mean+α×var    (4)

式中，α＝400；

将统计得到的第j列的Col_sum(j)与Ths进行比较，大于等于该阈值Ths，即表示该列发生了Smear效应，标记为1

式中，I_mask是Smear效应判定向量；

按照

I_area＝label(I_mask)(6)

对连通区域进行label(·)标记，得到产生Smear效应区域的个数num，记录各连通区域的起始坐标pos_left(num)和终止坐标pos_right(num)位置信息，得到产生Smear效应的具体位置；式中，label(·)表示对输入的I_mask进行标记，I_area表示标记后的结果；

(b)对输入的全局图像的各像素I_img(i，j)的灰度值，按照大小依次进行排序

I_s_img＝sort(I_img(i，j))(7)

找出排序后序列I_s_img的中间位置p，以半径为d选取局部区域排序后的数据，按照 

为基准填充各像素得到真实图像的背景图像I_imgmean；

式中，sort(·)表示对输入的图像数据进行排序，d＝50000；

同样，对判定出产生Smear效应所在列的各像素I_img(r，smear_pos)的灰度值，按照大小依次进行排序，

I_s_img(smear_pos)＝sort(I_img(r，smear_pos))        (9)

找出排序后序列的中间位置p₁，以半径为d₁选取局部区域排序后的数据，按照

为基准填充各像素得到含有Smear效应的图像I_imgsmear；

式中，smear_pos表示产生Smear效应列的位置，d₁＝50；

将计算得到的含有Smear效应的图像I_imgsmear与估计出的背景图像I_imgmean相减，最终得到估计出的Smear效应图像I_smear；

I_smear＝I_imgmean-I_imgsmear(11)

(c)将待修正的原始图像I_img与估计出的Smear效应图像I_smear相减，得到修正Smear效应后的理想图像I_new；

I_new＝I_img-I_smear    (12)

按照

w_l＝j″-j    (14)

w_r＝j′-j    (15)

对修正Smear效应后的理想图像I_new，再对其中产生电子溢出的区域通过插值的方式重建弥散斑，最终得到Smear效应完全修正后的结果图像I_cor_new；

式中，j′和j″表示未产生溢出的左、右两侧的最近的列坐标位置，w_l和w_r表示对应的权值。