CN101326549B

CN101326549B - 检测数字图像中的条纹的方法

Info

Publication number: CN101326549B
Application number: CN2006800458494A
Authority: CN
Inventors: S·王; G·L·阿彻尔
Original assignee: Omnivision Technologies Inc
Priority date: 2005-12-05
Filing date: 2006-11-30
Publication date: 2013-06-19
Anticipated expiration: 2026-11-30
Also published as: TWI462026B; EP1958158B1; JP2009518710A; TW200727180A; CN101326549A; EP1958158A2; KR20080072038A; US7508994B2; KR100961027B1; US20070126893A1; WO2007142682A3; WO2007142682A2; JP5011307B2

Abstract

本发明使用五个所关心区域，即4个角及1个中心，来进行傅立叶变换分析以在条纹存在的情况下粗略记录其位置。其将围绕每一傅立叶变换ROI中心的小视窗设定为零以屏蔽由透镜滚转或其他噪声引起的亮点的聚集。其使用迭代线性回归以移除随机线性值并搜寻最佳可能的线图案。若其发现任何条纹，则其计算角度并将该角度转换为空间域中的条纹角度。一旦检测到条纹，则其可被借由对所处理的量值及傅立叶变换图像的原始相位使用反向的傅立叶变换而移除。

Description

检测数字图像中的条纹的方法

技术领域

本发明一般而言涉及从图像及其类似物中检测及移除诸如条纹之类噪声的领域。更具体地，本发明涉及将诸如傅立叶变换的频率变换应用于图像以检测该图像中的条纹，这些条纹可以被量化且被移除。本发明还包括一种检测图像(尤其是平场图像或具有已知变换特征的图像)中条纹的改进方法。

背景技术

现有算法在空间域中使用边缘检测算法来识别图像数据中的不连续，且测量发生在多个像素之上的强度的变化。由于图像中的噪声，难以设定检测亮像素的阈值，该亮像素对边缘有帮助。也难以设定感兴趣区域及计算缺陷密度的准则，由于透镜滚转(roll off)或边缘效应而容易受到错误的检测。

Greg L.Archer等人于2005年7月13日申请的名称为″The Use OfFrequency Transforms In The Analysis Of Image Sensors″的美国专利，其申请号为11/180,816。其中，在频域中使用单一线性回归算法来识别在图像中心的线性图案。

虽然当前已知并使用的用于检测及移除条纹的方法是令人满意的，但总还需要改良。本发明将提供这样的改良方案。

发明内容

本发明将用于克服上文所述问题中的一个或多个。简而言之，根据本发明的一个方面，本发明使用五个感兴趣区域(4个角及1个中心)来进行傅立叶变换分析以粗略标记条纹(若存在)的位置。它将围绕每一傅立叶变换ROI的中心的小窗口设定为零以屏蔽由透镜滚转或其它噪声所引起的亮点的聚集。它使用迭代线性回归来移除随机离群值并且搜索最佳可能的线性图案。如果其发现任何条纹，则它会计算角度且将该角度转换为空间域中的条纹角度。一旦检测到条纹，则其可被借由对所处理的量值及傅立叶变换图像的原始相位应用反向的傅立叶变换而移除。

根据本发明的一方面，一种用于检测图像中的噪声的方法包含以下步骤：

一种用于检测图像中的噪声的方法，该方法包含以下步骤：

(a)将频率变换应用于所述图像以获得频域中的量值图像；

(b)将第一阈值与该量值图像的值进行比较以获得量值图像中的亮点的集合，所述亮点的值大于第一阈值；

(c)将线性回归应用于亮点的所述集合以获得估算的最佳拟合线；

(d)基于所估算的最佳拟合线确定所估算的最佳拟合线的R平方值；

(e)如果R平方值超过预定值，则计算条纹角度；

(f)如果R平方值不超过所述预定值，则将第二阈值应用于最佳拟合线与亮点的所述集合中的每个亮点之间的距离以获得亮点的新集合，所述新集合是亮点的前一集合的子集；以及

(g)重复步骤(c)至(f)直至所述R平方值在步骤(e)中超过所述预定值或直至满足步骤(c)至(f)的最大送代。

根据本发明的另一方面，一种检测图像中的噪声的方法包含以下步骤：

(a)将频率变换应用于该图像以获得频域中的量值图像；

(d)将第二阈值应用于所述最佳拟合线与亮点的所述集合中的每个亮点之间的距离以获得亮点的新集合，所述新集合是亮点的前一集合的子集；

(e)重复步骤(c)和(d)n次，其中n为0或更大；以及

(f)在条纹角度存在的情况下，计算该条纹角度。

根据本发明的又一方面，一种用于检测图像中的噪声的图像捕获装置包含：

(a)频率变换，其被应用于该图像以获得频域中的量值图像；

(b)第一阈值，其被与该量值图像的值进行比较以获得量值图像中的亮点的集合，所述亮点的值大于第一阈值；

(c)线性回归，其被应用于亮点的所述集合以获得估算的最佳拟合线；

(d)第二阈值，其被应用于所述最佳拟合线与亮点的所述集合中的每个亮点之间的距离以获得亮点的新集合，所述新集合是亮点的前一集合的子集；以及

(e)处理器，其在条纹角度存在的情况下确定该条纹角度。

本发明的优点

本发明具有以下优点：将频率变换应用于图像，然后应用迭代回归技术以改进条纹噪声的检测及移除。

附图说明

通过了解后述的较佳实施例及所附的权利要求书，并参考附图将会更清楚地理解以及明了本发明的这些以及其它方面、目的、特征及优势。

图1是含噪声的典型图像；

图2是具有条纹型噪声的典型图像；

图3是对图2的图像应用了离散傅立叶变换后所得的量值图像；

图4A至图4D是本发明软件程序流程图；

图5A至图5C是本发明回归技术的说明；

具体实施方式

图6是说明本发明典型商用实施例的数字相机。

在以下描述中，本发明将会被在较佳的实施例中描述为软件程序。本领域技术人员将容易地认识到该软件的等效物也可在硬件中建构。

应注意的是，本发明除了检测和移除条纹外还可用于图像评估、图像传感器测试以及图像处理。

参照图1，其展示了其中含有噪声20的典型图像10。噪声20可为人眼所感知或者大体上不被人眼所感知，在不被人眼感知的情况下图像将呈现颗粒状或其它类似形状。如下文所描述，本发明检测及移除来自图像之中的条纹。

在图2中展示了具有条纹型噪声40的图像30的例子。图像30显示了条纹噪声40。给图2中的图像施加离散傅立叶变换将导致图3中示出的频域中的量值图像50。在该量值图像中，线性图形60被置于跨越中心的位置，其对应于空间域中的噪声40。将该图像分割为四个象限用以促进本发明的软件程序的操作。

图4A至图4D为本发明的软件程序的流程图。参照图4A，程序自S2开始，在S4处获得数字图像30的分辨率以用于确定图像尺寸或分辨率是否为2的幂次方。若其大于1024x1024，则整个图像被分割为五个窗口(S6)且每一窗口尺寸为1024x1024。该五个窗口为左上、左下、右上、右下及中心。否则，仅使用一个中心窗口(S8)且其窗口尺寸选择为最接近2的幕的尺寸。若原始尺寸并不是2的幂次方，则需要零填塞(zero padding)。所有窗口都需要如以下段落中所描述的那样被进行处理(S10)。在一个窗口被处理后，检查是否处理了所有窗口(S12)。若没有，则选择下一窗口(S14)且再次处理S10直至所有窗口都被处理。接着其输出结果(S16)且结束此程序(S18)。

参看图4B，处理(参看S10)块自S20开始，对所选择的窗口中的图像应用傅立叶变换(S22)。一旦获得变换后的量值图像50，则将量值图像50中的中心区域设定为预定值，优选为零(S24)。此操作的目的是为了移除围绕中心的噪声点。借由噪声程度(level)来确定区域的尺寸，优选地为4个区城尺寸的1/16，该4个区域将在下一段落中进行讨论。该区域可为圆形、正方形或椭圆形或长方形或任何其它形状。接着对整个量值图像50应用对数运算以增加图像的对比度(S26)。关于对数运算的详细描述将在下文中详细说明。

围绕中心点存在四个区域(参看图3)：右上、左上、右下及左下。因为右上及左下为镜像(与左上及右下相同)，所以优选地仅需要处理两个区域，例如左上及右上区域。首先选择左上区域(S28)。接着将所有像素值与一预定阈值Td1进行比较，该预定阈值Td1优选地为该区域内所有像素值的平均值加其标准差的3倍(S30)。如果任何像素值大于此阈值，则将其标记为亮点。对所有经标记的亮点应用线性回归处理(S32)(如将在图4C中详细论述)。此后，检查是否已选择所有区域(S34)。若没有，则选择右上区域(S36)且重复步骤S30及S32的程序。在所有的区域都被处理完后，其到达程序的结尾(S38)。

参看图4C，回归模块自S40开始且其回归计数器重置为0。程序首先检查总的经标记点是否大于预定阈值Td2(优选地为5以及以上)(S42)。若总的亮点少于5个，则没有发现条纹(S44)，其到达回归的结束(S46)。若存在5个或更多的亮点，则将第一线性回归应用于经标记的点(S48)且回归计数增加1。接着计算回归最佳拟合线的R平方的值。若其大于另一预定阈值Td3(优选的为0.8)(S50)，则发现条纹，且计算其角度(S52)并到达回归的结束(S54)。关于如何计算条纹角度的详细描述在后文中给出(图5A至图了C)。

参看图4C及图5A，若拟合线70的R平方小于Td3，则计算在标记点(图5A中1到11)至拟合线70之间的所有距离(S56)。选择第一点(S58)。若其至拟合线的距离大于阈值Td4(优选的为所有距离的平均值)(S60)，则认为该点为离群值且将其从所有标记点的原始群中移除(S62)。另一方面，若该距离在阈值Td4内，则将该点被保持在群中(S64)。此后，程序检查是否已处理所有的点(S66)。若没有，则选择下一点且重复整个比较步骤(S68)直至处理了所有的点且确定点的新子集(S70)。这终止回归的一个循环。若回归之数目大于最大送代数(优选的为5次送代)(S72)，则没有发现条纹(S74)且其结束回归(S76)。若回归之数目小于最大迭代数，则程序将使用点的新子集作为标记点(在图5B中的点1、2、3、5、6、7及10)且自S42重复处理过程。其它点(4、8、9及11)被移除，因为其距离大于阈值Td4。

参看图5B，自点的新子集计算另一拟合线74。假定拟合线74的R平方小于Td3，则计算从剩余点至拟合线74的距离。将此距离与阈值Td4′(所有新距离的平均值，理论上小于Td4)进行比较。对于所有小于Td4′的距离，将这些点保存用于点的新子集(点1、2、5、6及7)以用于进一步处理。若来自最新子集点(1、2、5、6及7)的拟合线76的R平方大于Td3，则完成回归且发现条纹。参看图5C，计算来自剩余点的拟合线76的斜率。基于该斜率76(亦即垂直于拟合线76的角度)来计算条纹的角度。

参看图4D，本发明的另一实施例是应用固定及预定数目的回归周期(优选为5)，然后估算条纹的角度。应注意，为了清楚起见，图4D为图4C的替代实施例。其自S80开始且将迭代计数器重置为0。其使用标记点的第一集合(first set)以比较预定阈值Td2(S82)。若标记点少于Td2，则没有发现条纹(S84)且回归会话将结束(S86)。若所述点多于Td2，则应用第一线性回归(S88)且迭代计数器增1。接着计算从所有点到拟合线的距离(S90)。此后，选择第一点(S92)且将其到拟合线的距离与另一阈值Td4进行比较(S94)。若该距离大Td4，则将该点自原始群移除(S98)。若其并不大Td4，则将该点保存于背景中(S96)。此后，程序检查是否已处理所有的点(S100)。若没有，则选择下一点(S102)，且重复整个比较过程(S94)直至处理了所有的点并确定点的新子集(S104)。这终止回归的一个周期。若回归的数目小于迭代数目(5)(S106)，则程序将使用点的新子集作为标记点且从S82重复处理。另一方面，若回归数目等于迭代数目，则计算拟合线的最终R平方(S108)，并将其与预定值Td3进行比较。若其小于Td3，则没有发现条纹(S100)且回归结束(S114)。然而，若R平方大于Td3，则计算条纹角度(S112)，接着回归结束(S114)。

本发明中采用的傅立叶变换(S22)优选应用于每一行并且接着再次垂直地应用于每一列。应注意，傅立叶变换为优选实施例，但也可以使用其它变换方法。两种变换一起导致量值图像或曲线。典型地，可使用的傅立叶变换为(但不限于)Cooley及Tukey的快速傅立叶变换(傅立叶变换)及Danielson Lanczos的离散快速傅立叶变换。傅立叶变换的使用提供了原始图像中频率成分的分离。低频率值表示在图像(整个形状)中很少或没有改变，而高频率值指示图像中在短距离上(细节)的快速改变。因为在数字图像中存在离散、相等间隔像素，所以使用通用傅立叶变换的离散傅立叶变换(DFT)形式变得有效。

DFT的结果将是量值图像或相位图像。该量值图像将提供表示频域的相等间隔数据。不同频率在自原点的不同距离被表示。在原点的值表示原始图像数据的DC分量或平均值，而离开原点的值表示原始图像中的不同方位。频域中的像素值或能量指示该频率及方位的多少呈现于原始图像中。

DFT计算方式为：

X (k) = \frac{1}{N} Σ_{n = 0}^{N - 1} x (n) e^{- j \frac{2 πnk}{N}},

其中k＝0，1，2，....N-1

N＝数据样本量

x(n)＝数据其中n＝0，1，2，....N-1

e^{- j \frac{2 πnk}{N}} = \cos \frac{2 πnk}{N} - j \sin \frac{2 πnk}{N}

即使原始图像值为实数，由于指数具有虚数(j)项，因此使得结果为复数(实数以及虚数值)。量值及相位计算如下：

具有尺寸M×N的区域图像传感器借由均匀光来照明。来自图像传感器的图像数据f(x，y)为M×N电压阵列，用于来自图像传感器的每一像素。

具有尺寸M×N的图像f(x，y)的二维DFT由以下方程式给出：

F (u, v) = \frac{1}{MN} Σ_{x = 0}^{M - 1} Σ_{y = 0}^{N - 1} f (x, y) e^{- j 2 π (ux / M + vy / N)}

且量值图像等于F(u，v)的绝对值。

为加速DFT计算，称为快速傅立叶变换(傅立叶变换)的DFT的变体在1965年被发展。使用傅立叶变换算法的要求是x以及y维度的每一个都必须为2的幂次方，诸如256x256、512x512、256x512及1024x1024。若图像尺寸不完全是2的幂，则需要零填塞或需要平均填塞。在该实倒中，选择感兴趣的1024x1024窗口区域。

在获得图像的傅立叶变换后，将表示原始图像中的平均值的频域中的像素设定为零。接着对量值图像应用对数变换(S26)以提高与各种频率相关的峰值的低量值。所述变换由下式给出：

S(u，v)＝ln(1+|F(u，v)|)

在此实例中，阈值为象限中S(u，v)的中值。然后，基于垂直于原始捕获图像中条纹的直线应当在S(u，v)数据中体现的理论而执行这些阈值的线性回归。该线性回归计算相关系数R，将其与预定阈值Td3进行比较。如果来自于线性回归的R大于预定阈值Td3，则检测到条纹。基于等式“角度＝atan(斜率)来计算拟合线角度，其中斜率由线性回归来计算。

基于条纹角度一直垂直于拟合线角度的事实来计算条纹角度(S52及S112)。

一旦条纹在回归结束时基于标记点而被检测到，则该点优选地被设定为零或大体上为零。然后，随着检测到的条纹的移除，可将频域中经修改的量值图像与原始相位图像一起反向地变换回原始空间图像。

数字图像可由各种方法来获得。其可由任何成像装置来捕获，这类成像装置可以是其中具有图像传感器的相机、图像扫描仪等。其也可以来自于传统的电影摄影机或电影X光机。在图像形成于此类传统电影媒体之后，其可以被数字化为一数字图像。

参看图6，其展示了一数字相机80，其具有安装于存储器90中且被数字信号处理器100处理以用于在图像捕获后检测及移除噪声的本发明的软件程序。这说明了上文所描述的其中一个实施例。

部件表

10 具有随机噪声的正常平场图像

20 随机噪声

30 具有条纹噪声的平场图像

40 条纹噪声

50 频域中的FFT量值图像

60 对应于条纹噪声的线图案

70 第一次回归的拟合线

74 第二次回归的拟合线

76 最终拟合线

80 数字相机

90 存储器

100 数字信号处理器

S2-S114 流程图步骤

Claims

1.一种用于检测图像中的噪声的方法，该方法包含以下步骤：

(a)将频率变换应用于所述图像以获得频域中的量值图像；

(e)如果R平方值超过预定值，则计算条纹角度；

(g)重复步骤(c)至(f)直至所述R平方值在步骤(e)中超过所述预定值或直至满足步骤(c)至(f)的最大迭代。

2.一种检测图像中的噪声的方法，该方法包含以下步骤：

(a)将频率变换应用于该图像以获得频域中的量值图像；

(e)重复步骤(c)和(d)n次，其中n为0或更大；以及

(f)在条纹角度存在的情况下，计算该条纹角度。

3.如权利要求2所述的方法，进一步包含以下步骤：基于所估算的最佳拟合线确定所估算的最佳拟合线的R平方值，并且基于R平方值的结果在条纹角度存在的情况下计算该条纹角度。

4.如权利要求3所述的方法，进一步包含以下步骤：在计算条纹角度前将R平方值与预定值进行比较。

5.如权利要求1所述的方法，进一步包含以下步骤：在步骤(a)前将该图像分成n个窗口，其中n为1或者大于1。

6.如权利要求5所述的方法，进一步包含以下步骤：通过将围绕快速傅立叶变换中心的感兴趣范围设为预定义值而移除噪声。

7.如权利要求6所述的方法，其中该预定义值为1。

8.如权利要求7所述的方法，其进一步包含以下步骤：对所述量值图像应用对数算法以提高对比度。

9.如权利要求2所述的方法，其进一步包含以下步骤：一旦基于作为来自步骤(e)的最终迭代结果的亮点检测到条纹，则将量值图像中的与所述作为来自步骤(e)的最终迭代结果的亮点的集合相对应的点的值设为0或基本上为0以形成修改后的量值图像。

10.如权利要求9所述的方法，其进一步包含以下步骤：对该修改后的量值图像应用反频率变换以从该图像移除所述噪声。

11.一种用于检测图像中的噪声的装置，该装置包含：

(a)用于将频率变换应用于该图像以获得频域中的量值图像的单元；

(b)用于将第一阈值与该量值图像的值进行比较以获得量值图像中的亮点的集合的单元，所述亮点的值大于第一阈值；

(c)用于将线性回归应用于亮点的所述集合以获得估算的最佳拟合线的单元；

(d)用于将第二阈值应用于所述最佳拟合线与亮点的所述集合中的每个亮点之间的距离以获得亮点的新集合的单元，所述新集合是亮点的前一集合的子集；

(e)用于将所述线性回归的应用和所述第二阈值的应用重复n次的单元，其中n为等于0或更大的整数；以及

(f)用于在条纹角度存在的情况下确定该条纹角度的单元。

12.如权利要求11所述的装置，其进一步包含用于根据所估算的最佳拟合线确定的所估算的最佳拟合线的R平方值并且基于R平方值的结果在条纹角度存在的情况下计算该条纹角度的单元。

13.如权利要求12所述的装置，进一步包含用于在计算条纹角度前将R平方值与预定值进行比较的单元。

14.如权利要求11所述的装置，还包括用于在频率变换前将该图像分成n个窗口的单元，其中n为1或者大于1。

15.如权利要求14所述的装置，还包括用于通过将围绕快速傅立叶变换中心的感兴趣范围设为预定义值而移除噪声的单元。

16.如权利要求15所述的装置，其中该预定义值为1。

17.如权利要求16所述的装置，进一步包含用于将对数算法应用于所述量值图像来提高对比度的单元。

18.如权利要求12所述的装置，还包括用于一旦基于作为来自步骤(e)的最终迭代结果的亮点检测到条纹、则将量值图像中的与亮点的所述集合对应的点的值设为零或基本上为零以形成修改后的量值图像的单元。

19.如权利要求18所述的装置，其进一步包括用于将反频率变换应用于该量值图像以从该图像移除所述噪声的单元。