CN100508629C - 一种基于动态刷新机制的坏点检测电路 - Google Patents

Abstract

一种坏点检测方法及其电路，用于对图像传感器采集的大小为m×n的图像进行坏点检测，该电路包括同步检测模块、检测控制模块、像素保存模块、坏点检测运算模块和坏点位置保存模块。先选定对每帧图像处理的列数q和坏点运算矩阵大小K×K且K＝2k+1，S(j)＝q×(j-1)-2k(j-1)和0中的大值，E(j)＝q×j-2k(j-1)-1和m中的小值；从第1帧图像开始，在收到第j帧图像的数据时，将该帧图像的前2k行从S(j)到E(j)列的数据保存在存储器中，构成矩阵Q；再将矩阵Q和该帧第i行从S(j)到E(j)列的数据组成一K×q矩阵，完成坏点检测，然后用第i行数据替换存储器中的第i-2k行数据；对多帧图像处理后，就完成了整个图像的坏点检测。本发明可实时进行坏点检测，电路规模较小。

Description

一种基于动态刷新机制的坏点检测电路

技术领域

本发明涉及一种坏点检测(DPD)电路。

背景技术

在图像采集和处理的电路中，需要配备图像传感器(sensor)，其作用就是将光信号转换成电信号输送到处理设备中。图1是一个带有sensor的图像处理设备的原理框图。如图所示，图像处理电路通过总线向sensor发送控制信号，而sensor接收到光信号并将其转换成电信号，在特定的总线协议下，将图像数据传送给图像处理电路。

可以将sensor送给图像处理电路的数据看成一个二维数组，

$F=\left[\begin{array}{cccc}{d}_{\mathrm{0,0}}& d_{\mathrm{0,1}}& \·\·\·& d_{0,m-1}\\ d_{\mathrm{1,0}}& d_{\mathrm{1,1}}& \·\·\·& d_{1,m-1}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ d_{n-\mathrm{1,0}}& d_{n-\mathrm{1,1}}& \·\·\·& d_{n-1,m-1}\end{array}\right]$

其中，每一个数据d_i，j都表示一个像素点，每个像素点用多少个bit表示由特定的sensor决定，m和n表示图像的长和宽，例如对一个300万像素的sensor而言，m和n分别等于2048和1536。

由于制造或者使用的原因，sensor所采到的图像中往往含有一个或多个坏点，即dead pixel，这样的点不能正确地将光信号转换成电信号，从图像处理设备来看，得到的图像中有异常亮度的点，这样的点就影响到了图像的质量。

为了避免这种情况，目前的做法通常是设计一个坏点检测电路(deadpixel detect circuit)，通过对sensor采到的数据进行分析，来判断哪个或者哪些点属于坏点。这样的电路我们称为DPD电路。DPD电路可以包括在sensor内部的电路中，也可以包括在图像处理电路中。

目前普遍的DPD算法是：检测某个点是否为坏点，需要其相邻的几个点的数据，其中的一种算法为采用一个7乘7的矩阵来检测中心点是否为坏点，例如有一个矩阵：

$P=\left[\begin{array}{ccccccc}{p}_{\mathrm{0,0}}& p_{\mathrm{0,1}}& p_{\mathrm{0,2}}& p_{\mathrm{0,3}}& p_{\mathrm{0,4}}& p_{\mathrm{0,5}}& p_{\mathrm{0,6}}\\ p_{\mathrm{1,0}}& p_{\mathrm{1,1}}& p_{\mathrm{1,2}}& p_{\mathrm{1,3}}& p_{\mathrm{1,4}}& p_{\mathrm{1,5}}& p_{\mathrm{1,6}}\\ p_{\mathrm{2,0}}& p_{\mathrm{2,1}}& p_{\mathrm{2,2}}& p_{\mathrm{2,3}}& p_{\mathrm{2,4}}& p_{\mathrm{2,5}}& p_{\mathrm{2,6}}\\ p_{\mathrm{3,0}}& p_{\mathrm{3,1}}& p_{\mathrm{3,2}}& p_{\mathrm{3,3}}& p_{\mathrm{3,4}}& p_{\mathrm{3,5}}& p_{\mathrm{3,6}}\\ p_{\mathrm{4,0}}& p_{\mathrm{4,1}}& p_{\mathrm{4,2}}& p_{\mathrm{4,3}}& p_{\mathrm{4,4}}& p_{\mathrm{4,5}}& p_{\mathrm{4,6}}\\ p_{\mathrm{5,0}}& p_{\mathrm{5,1}}& p_{\mathrm{5,2}}& p_{\mathrm{5,3}}& p_{\mathrm{5,4}}& p_{\mathrm{5,5}}& p_{\mathrm{5,6}}\\ p_{\mathrm{6,0}}& p_{\mathrm{6,1}}& p_{\mathrm{6,2}}& p_{\mathrm{6,3}}& p_{\mathrm{6,4}}& p_{\mathrm{6,5}}& p_{\mathrm{6,6}}\end{array}\right]$

其元素是上述矩阵F中一个7乘7的子阵，那么矩阵P中p_3，3是否为坏点就可以用算法来计算出来，也就是说，对于矩阵P，如果我们想检测P33是否为坏点，需要得到其他的48个像素点的值。由于DPD算法不是本发明关心的内容，这里不详细介绍。

DPD电路在实现时的难点在于：sensor往往是一行一行的将像素点的数据从总线上送过来，而DPD算法需要的却是一个二维矩阵，如果需要检测某一个点，必须在得到几行的像素点之后才能进行，这样就必须将前面若干行的数据都保存下来，对于一个图像尺寸比较大的sensor来说，保存若干行数据所耗费的电路资源是比较大的，例如一个300万像素的sensor，假定平均每个像素点占用一个字节，那么保存7行数据需要2048×7＝4096Byte，从电路规模的角度，需要进行优化。

另外一种做法是预先不进行坏点检测，先将图像数据采集进来，由处理器来计算出坏点，将坏点的信息用记忆性的存储单元如EEPROM或FLASH保存，这种做法的缺点在于，在计算坏点的过程无法进行图像的采集，同时记忆性的存储单元的控制电路比较复杂。

发明内容

本发明要解决的技术问题是提出一种坏点检测方法及其电路，可以实时地进行坏点检测，且具有较小的电路规模。

为了解决上述技术问题，本发明提供了一种基于动态刷新机制的坏点检测方法，用于对图像传感器所采集的大小为m×n的图像进行坏点检测，其中m为每行的像素点数，n为每列的像素点数，先选定对每帧图像处理的列数为q，以及坏点检测算法所用矩阵的大小为K×K且K＝2k+1，令S(j)＝q×(j-1)-2k(j-1)和0中的大值，令E(j)＝q×j-2k(j-1)-1和m中的小值，j为每帧图像的序号，j＝1，2，...，J，J等于(m-2k)除以(q-2k)的商再向上取整；

从第1帧图像开始，在图像传感器逐行送出第j帧图像的数据时，进行以下处理：

先将该帧图像的前2k行从第S(j)列到第E(j)列的数据保存在存储器中，构成一个2k×q矩阵Q；

当该帧第i行数据到来时，i＝K，K+1，......，n-1，将矩阵Q和第i行从第S(j)列到第E(j)列的数据组成了一个K×q矩阵，逐一对其中第i-(k+1)行从第S(j)+3列至第E(j)-3列的像素点做检测，如发现坏点就记录该点的位置，检测完后用第i行从第S(j)列到第E(j)列的数据替换存储器中保存的第i-2k行的数据；如此逐行处理，直到处理完第j帧图像的所有数据；

处理完所有J帧图像数据后，就检测出了整个图像上所有坏点的位置。

进一步地，上述坏点检测方法还可具有以下特点：所述存储器为可保存2k x q个像素点数据的随机存取存储器。

进一步地，上述坏点检测方法还可具有以下特点：所述k取值为3。

本发明提供的基于动态刷新机制的坏点检测电路包括同步检测模块、检测控制模块、像素保存模块、坏点检测运算模块和坏点位置保存模块，其中：

假定要检测的图像传感器所采集的图像大小为m×n，对每帧图像处理的列数为q，坏点检测算法所用矩阵的大小为K×K且K＝2k+1，令S(j)＝q×(j-1)-2k(j-1)和0中的大值，令E(j)＝q×j-2k(j-1)-1和m中的小值；j为每帧图像的序号，j＝1，2，......，J；J等于(m-2k)除以(q-2k)的商再向上取整；

所述同步检测模块，用于根据图像传感器传送过来的信号，判断出每一帧图像的起始点在哪里，将检测的结果送给检测控制模块；

所述检测控制模块，用于根据同步检测模块的检测结果判断出帧的起始位置，在图像传感器逐行送出第j帧图像的数据时，先将该帧图像的前2k行从第S(j)列到第E(j)列的数据保存到所述像素保存模块，构成了一个2k x q的矩阵Q；当该帧第i行数据到来时，i＝K，K+1，......，n-1，启动坏点检测运算模块完成坏点运算，检测完后用第i行从第S(j)列到第E(j)列的数据替换所述像素保存模块存储器中保存的第i-2k行的数据，如此逐行处理，直到处理完第j帧图像的所有数据；

所述像素保存模块，用于保存用于进行坏点检测运算的数据；

所述坏点检测运算模块，根据检测控制模块发过来的控制信号，把像素保存模块中保存的矩阵Q读出来，和当前到来的第i行从第S(j)列到第E(j)列的数据组成一个K×q矩阵，按检测算法逐一对其中第i-(k+1)行从第S(j)+3列至第E(j)-3列的像素点做检测，如发现坏点就将该点的位置记录到坏点位置保存模块；

所述坏点位置保存模块，用于保存坏点检测运算模块检测到的坏点的位置信息。

进一步地，上述坏点检测电路还可具有以下特点：所述像素保存模块为一容量为可保存2k x q个像素点数据的随机存取存储器。

进一步地，上述坏点检测电路还可具有以下特点：所述k取值为3。

由上可知，本发明的DPD电路规模小，坏点检测可以动态实时地进行，且灵活性好。

附图说明

图1是图像采集/处理电路的原理框图。

图2是本发明实施例DPD电路的示意图。

具体实施方式

坏点形成的原因，通常是因为传感器感光面的某一点或若干点出了问题，导致感光不正确。这些点往往是因为老化等造成的，而不是随机的。这样，对于同一传感器来说，其传输的每帧图像上的坏点位置在相当一段时间内是相同的，并不需要对每帧图像都进行独立的判断。这样，本发明的DPD电路就可以采用动态刷新的办法，将图像按列划分成多个部分，每部分有q列并且相邻两部分有若干列相互重叠。对sensor送出的J帧图像，每一帧检测其中的一部分，并将坏点的信息保存到如SRAM(静态随机存取存储器)(也可以用其它类型的存储器，如SDAM、FLASH等等)中，这样完成J帧图像的检测后就可以得到整个图像上坏点的位置，用于后期的处理。由于一次只需对图像中的一部分进行检测，因此所需的存储空间较小，从而可以减小电路的规模。

假定要检测的图像传感器所采集的图像大小为m×n，对每帧图像处理的列数为q，坏点检测算法所用矩阵的大小为K×K且K＝2k+1，令S(j)＝q×(j-1)-2k(j-1)和0中的大值，令E(j)＝q×j-2k(j-1)-1和m中的小值；j为每帧图像的序号，j＝1，2，......，J。

J的取值与m的大小以及坏点检测算法有关，如果坏点检测矩阵大小为2k+1，说明要想检测一个点是否为坏点，必须知道其左侧k列的像素点以及右侧k列像素点的值。因此每帧图像处理的列数为q时，我们能够检测的是各除去两侧k列之后，中间的q-2k列的像素点。对于一幅图片而言，由于算法的要求，整幅左右两侧各k列是无法进行检测的，所以总的需要检测的列数为m-2k。据此，我们可以得到J等于(m-2k)除以(q-2k)的商再向上取整。需要说明的是，本发明不针对特定的坏点检测算法。也就是说，不同坏点检测算法要求待测点左侧和右侧像素点的列数可能会不同，不过上述J的值得计算法法是通用的。

对于一个m＝2048的sensor，q＝140，取7 x 7的阵列来进行坏点检测，则：

，“

”表示向上取整运算。

如图2所示，本实施例DPD电路包括以下模块：

同步检测模块，根据sensor传送过来的信号，判断出每一帧图像的起始点在哪里，将检测的结果送给检测控制模块.用来确定用用数据的位置。

检测控制模块，这个模块是本发明的中心控制部件，这个模块根据同步检测模块的检测结果判断出帧的起始位置，确定需要保存的数据的位置并将数据保存到像素保存模块，构成了一个2k x q的矩阵Q，同时控制坏点检测运算模块进行坏点运算。具体地，在图像传感器逐行送出第j帧图像的数据时，先将该帧图像的前2k行从第S(j)列到第E(j)列的数据保存在像素保存模块；当该帧第i行数据到来时，i＝K，K+1，......，n-1，启动坏点检测运算模块完成坏点运算，检测完后用第i行从第S(j)列到第E(j)列的数据替换像素保存模块中保存的第i-2k行的数据，如此逐行处理，直到处理完第j帧图像的所有数据。

像素保存模块，用于保存用于进行坏点检测运算的数据，本实施例中该模块为一个最小容量为2k x q的SRAM，在进行坏点检测运算前保存的数据构成了一个2k x q的矩阵Q。

坏点检测运算模块，根据检测控制模块发过来的控制信号，把像素保存模块中保存的矩阵Q读出来，与当前到来的第i行从第S(j)列到第E(j)列的数据组成一个K×q矩阵，按检测算法逐一对其中第i-(k+1)行从第S(j)+3列至第E(j)-3列的像素点做检测，如发现坏点就将该点的位置记录到坏点位置保存模块。

坏点位置保存模块，用于保存坏点检测运算模块检测到的坏点的位置信息，供后续模块读取和处理。

本实施例中，假定m＝2048，q＝140，图像被划分为16部分，坏点检测算法所用矩阵的大小为7×7，这样划分出的相邻两部分有3列相重叠，根据每帧图像的数据对划分出的不同部分进行坏点检测，则经过16帧图像，就可以完成整个图像的坏点检测。由于坏点并不是随机变化时，该检测方法可以满足后续校正的要求。注意，最后一部分的列数可能并没有q列，此时只需取到最后一列即可。

图3是本实施例坏点检测的流程图，如图所示，包括以下步骤：

步骤一，当sensor送出第一帧图象的前6行时，将前6行从第0列到q-1列的数据F[0:5][0:q-1]保存在SRAM中，构成一个6×q矩阵Q[0:5][0:q-1]，即：

$Q=\left[\begin{array}{cccc}{q}_{\mathrm{0,0}}& q_{\mathrm{0,1}}& \·\·\·& q_{0,q-1}\\ q_{\mathrm{1,0}}& q_{\mathrm{1,1}}& \·\·\·& q_{1,q-1}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ q_{\mathrm{6,0}}& q_{\mathrm{6,1}}& \·\·\·& q_{6,q-1}\end{array}\right]$

步骤二，当第i行数据到来时，i＝7，8，......，n-1；将矩阵Q和第i行从第0列至第q-1列的数据F[i-1][0:q-1]组成了一个7×q矩阵，就可以逐一对其中第i-4行从第3列至第q-4列的像素点F[i-4][3:q-4]做检测，如果发现某个点为坏点，就将这个点的位置记录到一个序列中，检测完后用第i行数据F[i-1][0:q-1]替换SRAM中保存的第i-6行数据F[i-7][0:q-1]；

步骤三，重复这个过程，当第一帧图像传送完的时候，就完成了对图像中第一部分的坏点检测，需要说明的是DPD算法不对边缘的像素点做坏点检测，因此，上述坏点检测是对图像中第一部分除边界点外的其它像素点进行的，这里的边界点包括最上面和最下面的3行以及最左边和最右边的3列上的像素点；

步骤四，当第j帧图像数据到来时，j＝2，3，......15，首先将该帧图像的前6行第q×(j-1)-6(j-1)列到第q×j-6(j-1)-1列的数据保存在RAM中，构成一个6×q矩阵Q[0:5][q×(j-1)-6(j-1):q×j-6(j-1)-1]；

例如，当第2桢来时，首先将其前6行数据F[0:5][q-6:2q-7]保存在SRAM中，当第3桢来时，首先将其前6行数据F[0:5][2q-12:3q-13]保存在SRAM中，依此类推。

步骤五，当该帧第i行数据到来时，i＝7，8，......，n-1；将矩阵Q和第i行从第q×(j-1)-6(j-1)列到第q×j-6(j-1)-1列的数据组成了一个7×q矩阵，就可以逐一对其中第i-4行从第q×(j-1)-6(j-1)+3列至第q×j-6(j-1)-4列的像素点做检测，如果发现某个点为坏点，就将这个点的位置记录到一个序列中，检测完后用第i行从第q×(j-1)-6(j-1)列到第q×j-6(j-1)-1列的数据替换SRAM中保存的第i-7行数据；如此逐行处理，直当第j帧图像送完；

按步骤四和五的方法完成对第2帧到第14帧图像的处理。由于每帧图像取数据时都包括了前一帧图像的最后3列数据，所以只有整个图像的上、下、左、右边界上的像素点无法检测。

步骤六，对第16帧图像，由于最多只有2048列，因此，先将该帧图像的前6行第2010列到第2048列的数据保存在RAM中，构成一个6×q矩阵Q[0:5][2010:2048]，然后当该帧第i行数据到来时，将矩阵Q和第i行从第2010列到第2048列的数据组成了一个7×q矩阵，对其中第i-4行从第2013至第2045列的像素点做检测，如发现坏点则记录其位置，然后用第i行从第2010列到第2048列的数据替换SRAM中保存的第i-7行数据，如此逐行处理，直到将该帧图像处理完，结束。

在上述第1至16帧图像处理过程中记录的所有坏点位置，就是要检测的整个图像上的坏点位置。

综上所述，本发明具有以下特点：

1、减小了电路的规模

假设m＝2048，平均每个像素点用1个byte表示，q＝140，则经过16帧图像，就可以完成坏点检测。那么需要的存储空间是140*6＝840Bytes。此外，本发明需要的存储空间还应该包括用来保存坏点位置的存储空间，以2048 x 1536的sensor为例，记录一个坏点需要约3Bytes的空间，假定一个sensor中坏点个数最多有5个，还需要增加15Bytes的存储空间。

2、SRAM刷新的机制使得坏点检测几乎可以动态实时地进行

如上所述，对于一个30帧/秒的sensor，只需要0.5秒就可以进行一次前面的坏点检测。

3、灵活性好

本发明中，q的取值可以根据具体的应用来确定，同时需要的存储空间也要相应的调整。

本发明在上述实施例的基础上还可以有各种变换：

例如：上述实施例的DPD算法是用一个7×7的矩阵来检测中心点是否为坏点，但在其它实施例中，也可以采用其它如5×5或9×9矩阵。假设是一个(2k+1)×(2k+1)矩阵，则需要将上述实施例中的代表某一边界行数或列数的3修改为k即可。

Claims (8)

1、一种基于动态刷新机制的坏点检测方法，用于对图像传感器所采集的大小为m×n的图像进行坏点检测，其中m为每行的像素点数，n为每列的像素点数，先选定对每帧图像处理的列数为q，以及坏点检测算法所用矩阵的大小为K×K且K＝2k+1，令S(j)＝q×(j-1)-2k(j-1)和0中的大值，令E(j)＝q×j-2k(j-1)-1和m中的小值，j为每帧图像的序号，j＝1，2，…，J，J等于(m-2k)除以(q-2k)的商再向上取整；

从第1帧图像开始，在图像传感器逐行送出第j帧图像的数据时，进行以下处理：

先将该帧图像的前2k行从第S(j)列到第E(j)列的数据保存在存储器中，构成一个2k×q矩阵Q；

当该帧第i行数据到来时，i＝K，K+1，……，n-1，将矩阵Q和第i行从第S(j)列到第E(j)列的数据组成了一个K×q矩阵，逐一对其中第i-(k+1)行从第S(j)+3列至第E(j)-3列的像素点做检测，如发现坏点就记录该点的位置，检测完后用第i行从第S(j)列到第E(j)列的数据替换存储器中保存的第i-2k行的数据；如此逐行处理，直到处理完第j帧图像的所有数据；

处理完所有J帧图像数据后，就检测出了整个图像上所有坏点的位置。

2、如权利要求1所述的坏点检测方法，其特征在于，所述存储器为可保存2kxq个像素点数据的随机存取存储器。

3、如权利要求1所述的坏点检测方法，其特征在于，所述随机存取存储器为静态随机存取存储器。

4、如权利要求1所述的坏点检测方法，其特征在于，所述k取值为3。

5、一种基于动态刷新机制的坏点检测电路，其特征在于，包括同步检测模块、检测控制模块、像素保存模块、坏点检测运算模块和坏点位置保存模块，其中：

假定要检测的图像传感器所采集的图像大小为m×n，对每帧图像处理的列数为q，坏点检测算法所用矩阵的大小为K×K且K＝2k+1，令S(j)＝q×(j-1)-2k(j-1)和0中的大值，令E(j)＝q×j-2k(j-1)-1和m中的小值；j为每帧图像的序号，j＝1，2，……，J；J等于(m-2k)除以(q-2k)的商再向上取整；

所述同步检测模块，用于根据图像传感器传送过来的信号，判断出每一帧图像的起始点在哪里，将检测的结果送给检测控制模块；

所述检测控制模块，用于根据同步检测模块的检测结果判断出帧的起始位置，在图像传感器逐行送出第j帧图像的数据时，先将该帧图像的前2k行从第S(j)列到第E(j)列的数据保存到所述像素保存模块，构成了一个2kxq的矩阵Q；当该帧第i行数据到来时，i＝K，K+1，……，n-1，启动坏点检测运算模块完成坏点运算，检测完后用第i行从第S(j)列到第E(j)列的数据替换所述像素保存模块存储器中保存的第i-2k行的数据，如此逐行处理，直到处理完第j帧图像的所有数据；

所述像素保存模块，用于保存用于进行坏点检测运算的数据；

所述坏点检测运算模块，根据检测控制模块发过来的控制信号，把像素保存模块中保存的矩阵Q读出来，和当前到来的第i行从第S(j)列到第E(j)列的数据组成一个K×q矩阵，按检测算法逐一对其中第i-(k+1)行从第S(j)+3列至第E(j)-3列的像素点做检测，如发现坏点就将该点的位置记录到坏点位置保存模块；

所述坏点位置保存模块，用于保存坏点检测运算模块检测到的坏点的位置信息。

6、如权利要求5所述的坏点检测电路，其特征在于，所述像素保存模块为一容量为可保存2k x q个像素点数据的随机存取存储器。

7、如权利要求6所述的坏点检测电路，其特征在于，所述随机存取存储器为静态随机存取存储器。

8、如权利要求5所述的坏点检测电路，其特征在于，所述k取值为3。