CN107710279A

CN107710279A - 静态脏污检测与校正

Info

Publication number: CN107710279A
Application number: CN201680038530.2A
Authority: CN
Inventors: R·格雷罗
Original assignee: Continental Automotive GmbH
Current assignee: Continental Zhixing Germany Co ltd
Priority date: 2015-07-02
Filing date: 2016-05-10
Publication date: 2018-02-16
Anticipated expiration: 2036-05-10
Also published as: CN107710279B; EP3113107A1; US11138698B2; US10521890B2; KR20180026399A; JP2018523222A; EP3113107B1; WO2017001096A1; US20180174277A1; US20200034954A1; JP6788619B2; KR102606931B1

Abstract

一种用于检测图像伪影的方法和装置。通过将邻近像素的强度差值与上限阈值和下限阈值相比较，并设定对应的像素过渡值，计算第一方向上摄像头图像的像素过渡值。向像素过渡值施加关于时间的低通滤波器和空间滤波器。通过将平滑像素过渡值的量值与预设检测阈值相比较，识别潜在伪影区域的像素。一种用于校正图像伪影的方法和装置。计算第一方向上的摄像头图像的像素商值。商值由像素的图像强度除以第一方向上的邻近像素的强度来求出。计算相应像素商值的中位数。得到作为矩阵方程迭代解的像素衰减系数，其中矩阵方程的矩阵包括中位数。通过将观察到的像素强度除以对应的像素衰减系数，得出校正后像素强度。

Description

静态脏污检测与校正

背景技术

时下越来越多的乘用车配有摄像头驾驶辅助系统，用于捕捉车辆周围环境，实现各类有助提升驾驶安全性和舒适度的功能。这类系统的功能性基于对所记录图像数据的分析。因此，系统预测的质量与图像数据的质量息息相关。

摄像头光学系统的脏污程度对图像质量造成影响，且难以控制。摄像头可以安装于脏污风险较小的位置，或者可以使用电动刮水器清理摄像头。然而尽管如此，光学系统脏污无法彻底避免。有人因此提出自动检测摄像头镜头上的脏污颗粒以触发适当的行动。EP2351351号欧洲专利申请公开了一种镜头脏污自动检测方法。

发明内容

在第一方面，本专利说明书公开一种用于检测图像伪影的计算机实施的方法。

接收来自车载摄像头的含图像帧的图像数据(例如通过车载数据总线)，将图像帧的第一方向上的邻近像素间的强度差值与预设上限阈值及预设下限阈值进行比较。

所述第一方向可对应于图像帧的行。更进一步地，能够计算第二方向或y方向上关于像素在图像帧中的位置的像素过渡值。由此能够改进整体检测质量，避免条纹状的伪影。所述第二方向可对应于图像帧的列。

当之前计算的邻近像素强度差值大于所述预设上限阈值时，像素过渡值被设为第一值。当所述强度差值小于所述预设下限阈值时，像素过渡值被设为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，像素过渡值被设为0。

具体地说，所述上限阈值能够设为正数值，所述下限阈值能够设为负数值，所述正数值和负数值能够具有相等量值。所述上限阈值和所述下限阈值能够相等，具体地说能够同时等于0。所述第一值能够选作正数值，例如1或正常数a，所述第二值能够选作负数值，例如-1或所述第一值的负值。

如果所述强度差值恰好等于所述阈值之一，其能够被设为相应第一或第二值，抑或设为0。所述像素过渡值也称为“过渡类型”。

通过施加关于时间的低通滤波器(其中时间由帧索引表示)，从所述图像帧的对应像素位置的像素过渡值来计算累加像素过渡值。在一实施例中，对于相应第一和第二方向，所述低通滤波器被计算为帧索引f处的累加值。该累加值被计算为前一帧索引f–1处的累加值与前述帧索引f处的像素过渡值的加权和。具体地说，前一帧索引f–1处的累加值的加权系数能够被设为至少0.95。由此，主要贡献来自之前的估计，从而生成低通滤波器。

更进一步地，通过对像素位置施加空间滤波器，具体地说通过计算所述空间滤波器的卷积，累加像素过渡值就像素位置而言被平滑。具体地说，所述空间滤波器能够为滤波器系数介于0和1(取决于与中心点的差值而下降至0)之间的滤波器，例如环形滤波器。

在一实施例中，关于时间的低通滤波在空间滤波之前执行。在另一实施例中，空间滤波在关于时间的低通滤波器之前执行。在第一个实施例中，低通滤波器施加于所述像素过渡值以获得累加像素过渡值，之后将空间滤波器施加于所述累加像素过渡值。在第二个实施例中，空间滤波器施加于所述像素过渡值以获得平滑像素过渡值，之后将关于时间的低通滤波器施加于所述平滑像素过渡值。

经过时间累加及针对像素位置(x,y)平滑的像素过渡值被称为“平滑累加像素过渡值”。这一表述是指滤波的两种序列。

在一实施例中，所述空间滤波器被实现为滤波器系数合计为1的平均滤波器。如果滤波器被逐步定义且坐标(x,y)距离为1，这相当于在滤波器函数中总量为1。

针对像素位置的平滑像素过渡值计算像素位置的量值。如果仅计算关于一个方向的平滑像素过渡值，可通过取模数计算所述量值。

如果计算关于所述第一方向和关于所述第二方向的平滑像素过渡值，可通过取相应第一方向和第二方向的平方值的和来计算量值，具体地说，所述量值可以被计算为一个L2范数，亦即“欧几里德范数”。其后，通过将给定像素位置(x,y)的量值与预设检测阈值相比较，识别潜在伪影区域的像素。

在另一方面，本专利说明书公开一种用于校正图像伪影的计算机实施的方法。根据该方法，例如经由车载数据总线，接收来自车载摄像头的含图像帧的图像数据。

计算第一方向或x方向上的相应像素位置的像素商值。具体地说，所述第一方向能够为图像帧的行。为改进图像校正并避免条纹状的伪影，还能够在第二方向或y方向上计算相应像素位置的像素商值。具体地说，所述第二方向能够为图像帧的列。

所述像素商值的分子为给定像素位置处的图像强度，所述像素商值的分母为相应第一或第二方向上的邻近像素处的图像强度。通过使用像素邻近位置使该方法“局部化”，避免合并位于远处像素位置的像素。该特征产生用于线性方程组的稀疏矩阵。

计算相应像素位置关于时间的像素商值的中位数，其中时间由帧索引表示。具体地说，所述中位数能够被计算为近似真实中位数的流动中位数。

将所述图像帧的像素位置的衰减系数计算为相应像素位置(x,y)衰减系数线性方程组的近似解，其中所述像素位置的衰减系数由向量表示。

所述线性方程组包括第一组线性方程，其中之前确定的中位数作为相应衰减系数的预处理系数(pre-factor)。所述线性方程组还包括第二组线性方程，其确定对应像素位置处的衰减系数的数值。具体地说，所述第二组线性方程可由前述用于识别图像伪影的方法来确定。

给定时间t处的图像帧像素的校正后像素强度由观察到的像素强度除以之前确定的衰减系数B(x,y)求出，其中所述衰减系数介于0和1之间。

在一特定实施例中，所述像素商值的中位数为直至帧索引f的像素商值的流动中位数。所述流动中位数从前一帧索引f–1的中位数估值和帧索引f处的像素商值求出。

所述流动中位数近似中位数真实值。如果当前像素商值大于前一流动中位数，通过将预设值“delta”加至前一估值，计算当前帧索引和像素的流动中位数。如果当前像素商值小于前一流动中位数，将预设值“delta”从前一流动中位数中减去。否则，将当前流动中位数设为前一流动中位数。

具体地说，前述线性方程组能够使用迭代法求得近似解。多个迭代步骤可被预先确定或依赖于收敛速度被确定。

线性方程中的衰减系数的预处理系数可被定义为约束矩阵的元素。在一实施例中，该方法包括将所述线性方程组与转置后的约束矩阵相乘。所得的线性方程组使用迭代法求解。具体地说，所述迭代法能够采用共轭梯度法，所述共轭梯度法用于寻找所得方程所定义的二次型的最小值。

根据另一方面，本专利说明书公开一种例如通过提供集成电路、ASICS、存有数据的微处理器计算机可读内存和计算机可读指令等，执行前述检测图像伪影的方法的计算部件。

所述计算部件包括用于接收图像数据的输入连接和用于输出检测到的像素的位置的输出连接。对于双向数据连接，输入和输出连接还可重合。检测到的像素的位置还可在内存区中被标示(例如，通过提供指向数据结构的指针等)。

所述计算部件操作以执行前述伪影检测方法，具体地说，所述计算部件操作以将第一方向上邻近像素间的强度差值与预设上限阈值和预设下限阈值相比较，并根据所述强度差值设定像素过渡值。

当所述强度差值大于所述预设上限阈值时，所述计算部件将像素过渡值设置为第一值；当所述强度差值小于所述预设下限阈值时，设置为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将像素过渡值设为0。

更进一步地，所述计算部件通过施加关于帧索引或关于时间的低通滤波器，计算相应像素过渡值的累加像素过渡值。所述计算部件通过对所述累加像素过渡值施加空间滤波器，计算平滑像素过渡值，然后计算图像帧的像素位置的平滑像素过渡值的量值。

所述计算部件例如通过将检测到的伪影的像素位置参照或像素位置坐标存储在所述计算部件的计算机可读内存中，经由所述输出连接输出检测到的像素。

其后，所述计算部件通过将所述量值与所述预设检测阈值相比较，识别潜在伪影区域的像素。

此外，本专利说明书公开一种配有所述计算部件的车载摄像头，其中所述车载摄像头与所述计算部件的所述输入连接相连。

在另一方面，本专利说明书公开一种用于校正图像伪影的计算部件。所述计算部件包括用于接收图像数据的输入连接和用于输出校正后图像帧的输出连接，对于双向数据连接，所述输入和输出连接可以重合。

所述计算部件操作以执行前述图像伪影校正方法。具体地说，所述计算部件操作以计算第一方向上的像素商值，其中所述像素商值从商数求出。所述商数的分子为给定像素位置处的图像强度，分母为第一方向上的邻近像素的图像强度。

更进一步地，所述计算部件计算关于时间的像素商值的中位数，并计算所述图像帧的相应像素位置的衰减系数。所述衰减系数被计算为衰减系数线性方程组的近似解，所述线性方程组包括第一组线性方程和第二组线性方程。

所述第一组方程的方程将第一像素位置处的衰减系数值和相应第一或第二方向上相邻或邻近像素位置处的衰减系数值相关联。在所述第一组线性方程中，所述中位数作为所述衰减系数的预处理系数。

所述第二组线性方程确定相应像素位置处的衰减系数值，所述像素位置通过其他方式而知，例如使用所述的伪影检测方法。

其后，所述计算部件通过将观察到的像素强度，或换言之所接收的当前图像帧的像素强度，除以相应像素位置的对应衰减系数B(x,y)，来得出校正后像素强度。

更进一步地，本专利说明书公开一种配有用于校正图像伪影的计算部件的车载摄像头，其中所述车载摄像头与所述计算部件的所述输入连接相连。

附图说明

现根据以下附图对本专利说明书的主题作更详细说明，其中

图1显示出现图像脏污的车载摄像头图像，

图2显示图1的图像在x方向的像素变差测量，

图3显示图1的图像在y方向的像素变差测量，

图4显示通过使用环形滤波器作卷积而得的图2图像的平滑结果，

图5显示通过使用环形滤波器作卷积而得的图3图像的平滑结果，

图6显示从图4和图5的阵列计算的整体像素变差测量，

图7显示图6的整体像素变差测量的阈值结果，

图8显示叠加合成模糊遮罩(mask)处理的图像，

图9显示从图8的图像得到的校正后图像，

图10显示图8的x方向的像素变差测量ξ_x，

图11显示图8的y方向的像素变差测量ξ_y，

图12显示合成模糊遮罩，

图13显示估计模糊遮罩，

图14显示存在伪影的原始图像，

图15显示校正后图像，

图16显示图14的x方向的像素变差测量ξ_x，

图17显示图14的y方向的像素变差测量ξ_y，

图18显示估计图像衰减或模糊遮罩，及

图19显示本专利说明书所述的图像缺陷校正系统。

具体实施方式

以下说明提供本专利说明书实施例的详细资料。所属领域的技术人员应可清楚理解所述实施例在缺乏此等详细资料的情况下依然能够实施。

成像系统中常见的假设为传感器可以直接观察到场景发出的辐亮度。然而，场景和成像系统之间往往存在物理层或介质。例如，车载摄像头或消费类数码相机的镜头，或者安防摄像头的前窗，随着时间推移，往往积累各类污垢，如指纹、灰尘及污物。此外，摄像头暴露于极端环境中可以导致光学路径缺陷，例如碎石片、摄像头镜头的裂缝或划痕。脏污摄像头镜头的伪影如图1所示。

伪影对用户造成干扰，而且严重妨害自动方法对场景进行分析。例如，在汽车领域，对场景的错误分析可能导致在发生事故、需要安防系统时安防系统关闭或故障，造成错误警报，或汽车错误自动制动等意外的运转状况。这些伪影可能造成危及生命的情况。

避免镜头脏污的防范举措之一是在预设时间进行清洁。然而，由于许多摄像头系统为自动化系统，并不常检查，如众多车载系统，需要一项自动检测伪影的方法。同样地，也需要一项自动检测可能造成图像伪影的镜头损坏的方法。检测镜头问题的方法在检测出问题时可以发出通知，引起使用者注意，或者禁止执行后续方法，或将图像的特定部分不可用的信息传达给后续方法。

如果清洁或更换摄像头不可行或不符合商业利益，例如室外安防摄像头、水下摄像头或车载摄像头，或者以前捕捉的视频，本专利说明书的计算算法可能具备优点，通过人为消除脏污或轻微受损镜头造成的伪影，使图像分析方法可以正常运作。

与图像修复和修补方法不同，本专利说明书的算法利用图像形成过程计算模型，以便检测脏污镜头或直接恢复图像信息，特别是在捕捉到的图像中仍然部分可见的像点。

脏污和镜头损坏造成的伪影以及遮挡造成的伪影可以使用图像形成模型进行描述，其中场景辐亮度在镜头脏污或轻微损坏情况下因衰减而降低，在遮挡物情况下因遮挡而降低。一般而言，衰减使受影响区域变暗。由于摄像头失焦，衰减平滑变化，降质图像部分保留原始场景辐亮度的高频。

这一情况可见图1，其中背景边缘在降质图像中部分可见。

本专利说明书公开两种利用上述观察结果的图像校正方法。第一种方法检测镜头包含衰减或遮挡型伪影的位置。根据第二种方法，检测各个像素的图像衰减量，取得估计的无伪影图像。两种方法仅使用从自动获取的序列图像中测量而得的信息。所述方法使用时间信息，但仅需要少量帧即可完成求解。本专利说明书的方法不需要图像全不相关，但需要如移动车辆预期出现的位移。所述方法在捕捉到的图像的统计符合自然图像统计时最有效。

其他文献提出解决该问题的几种方法。参考文献“Removing Image ArtifactsDue to Dirty Camera Lenses and Thin Occluders”(J.Gu,R.Ramamoorthi,P.N.Belhumeur和S.K.Nayar,ACM Transactions on Graphics(SIGGRAPH Asia论文集),2009年12月)中提及的方法SIGGRAPH尝试检测和校正图像序列中的伪影，但时间段内平均图像和平均图像导数量值的计算输出除伪影所在位置以外需要为常数值图像尺寸阵列(见所述论文图6b)和c))。

这意味着必须大量帧(即长时间)的数值才可用，且场景必须各异且不相关。第一个条件需要长检测时间，而第二点通常完全不可实现，因为大多数现实情境的场景总是同一类内容，例如在汽车应用中常为下方的道路和上方的天空。作者承认光线通常分布不均匀，并提出质量较差的解决方案。

图像修复和修补技术假设伪影的位置已知，以从邻近区域取得的合成估计替代受影响区域。相比之下，本专利说明书的校正方法使用仍部分可获取的原始场景信息复原原始场景。在许多情况下，结果更符合原始未观察到图像的实际结构。在图像被完全遮挡的区域，可以使用修复方法。

参考文献“Removal of Image Artifacts Due to Sensor Dust”(C.Zhou和S.Lin,Association for Computing Machinery,Inc.,2007年6月)说明通过首先表述因传感器脏污形成伪影的模型，之后使用图像的上下文信息和颜色一致性约束，从而减少图像中出现的脏污。该方法应用范围极其狭窄，即检测脏污颗粒，并最小化非凸函数，而该函数可能计算量大且不稳定。

最后，一些方法检测基本不含高频的图像区域。尽管镜头上的水滴和遮挡的脏污确实有此效果，但衰减伪影为透明效果，允许场景的大量高频通过。因此这类方法无法检测衰减伪影区域。

图1至7说明一种根据本专利说明书第一个实施例检测图像衰减的方法。图8至18说明一种根据本专利说明书第二个实施例校正图像脏污的方法。

在图1至18中，x方向的像素数标示在x轴上，y方向的像素数标示在y轴上。图1至18的图像的图像格式大约为1280x 800像素。

第一个实施例公开的检测方法适用于检测光学路径是否存在因衰减或遮挡元素造成的干扰。描述衰减或遮挡元素的模型为：

I_f＝I_0f·B, (1)

其中I_f为出现伪影的观察到图像，索引“f”(也被称为时间索引“t”)为按录制顺序对图像帧编号的帧索引，I_0f为原始未观察到图像，B∈[0,1]为衰减遮罩，其中0表示完全遮挡，1表示无遮挡。强度“I”指亮度值，但类似的处理可以在RGB或其他色彩空间中进行。计算前一方程的水平导数得出

I_f(x+1，y)-I_f(x，y)＝I_of(x+1，y)B(x+1，y)-I_of(x，y)B(x，y)， (2)其中x和y分别为水平和垂直像素索引，像素在垂直和水平方向连续编号。

当衰减遮罩无变化时，即方程变为

I_f(x+1，y)-I_f(x，y)＝B(x，y)(I_0f(x+1，y)-I_0f(x，y)). (3)

根据自然图像统计，在图像的大多数区域，连续像素之间的像素强度变化很小，仅极个别例外。这是JPEG压缩的原理，JPEG压缩包括不传送图像大多数区域的图像高频分量，即差异。同样地，很多不适定问题，例如图像复原或其他恢复方法要求图像导数的lasso(也称为“最小绝对值收敛和选择算子”)或L₁范数最小化，这解释了导数值量值接近0且仅存在少数例外的观察结果。

鉴于每个像素强度值I_0f(x,y)通过一个常见模型，即零平均值和某一方差正态分布后添加一个理想值和噪声而给出，自然图像的平滑变差可表示为

这意味着

意为，其中I_f(x,y)的导数正值和负值量大约相等。

这些判断因素会用于通过计算所出现的正过渡减去负过渡的平均数，检测图像某一特定位置和方向B存在差异，假如出现20％的显著正或负过渡，变差值为B，此即衰减。这通过首先计算过渡类型而得出，

其中T为阈值。阈值T＝0用于试验分析，以取得图2和3。校正后图9和15、图6和7的时间平均过渡量值，以及图13和18的估计模糊遮罩已通过使用移动摄像头，对几帧采用所述方法后取得。

之后，使用时间无限冲激响应(IIR)滤波器累加过渡，

其中上标f和下标f表示帧编号，α为IIR滤波器的反馈滤波器系数。可用0初始化。

确定取决于帧数F的α的一种方法由确定使正检测值在使用F帧进行滤波处理后达到0.95的α值给出，这可由以下表达式给出

使用大约F＝600帧为更新时间，相当于20秒，达到试验分析所用的α＝0.99值。

以与类似的方式被计算为：

及

图1的图像阵列和的计算结果分别如图2和3所示。图2和3中，黑色表示负过渡，白色表示正过渡，灰色表示无过渡。

在检测脏污镜头产生的衰减的特定应用中，衰减失焦。这意味着B平滑变化，特定像素处的过渡应伴随附近像素的类似带符号数过渡。

为约束所述方法，使其仅查找平滑变化的衰减映射，和使用环形滤波器K模糊，其中系数合计为1，和其中*代表卷积，箭头左侧表达式为卷积结果。当原始图像为图1所示时，所得的平滑阵列和的强度值分别如图4和5所示。图2和3中可见的个别的黑色和白色像素以及条纹状的伪影在图4和5中被消除或移除，浅色和深色区域更加邻近，边缘更平滑。

此处“环形滤波器”指一个关于空间维度x和y的循环对称滤波器。对称多元高斯滤波器或墨西哥帽形滤波器为环形滤波器的示例。自然而然，取决于图像分辨率和摄像机及滤波器属性，能够使用任意形状和类型的滤波器。

然后，将像素位置(x,y)处的过渡的总体量值S_f(x,y)计算为x和y方向单独量值的欧几里德范数：

如果s_f(x,y)≥T₂，则过渡存在。图7的实验分析使用阈值T₂＝0.2。符号数的计算、(在此例中)许多像素的加法和阈值在稳健统计文献中表示为符号检验。当记录的图像如图1所示时，图6显示阵列S_f(x,y)的强度，图7显示阈值阵列S_f(x,y)。

图7显示算法不仅检测到脏污区域，而且还有其他强度剧烈变化的时间无关特征，如镜头边缘，以及从中捕捉图像的汽车边缘。汽车边缘和镜头边缘等特征总是出现在图像中，可以轻易识别和遮盖。相反地，图7所示的阈值可用于识别未受脏污、划痕等影响的图像部分。

第二个实施例：校正衰减

本专利说明书第二个实施例公开一种确定衰减量和根据所确定的衰减量求得无伪影图像估计值的方法。该实施例如图8至18所示。图8显示一张人工脏污的图像，图像叠加包含字母“t e s t”的模糊遮罩。图9显示一张根据下述图像恢复算法从图8图像取得的恢复后图像。图10显示图8的x方向的像素变差测量ξ_x，图11显示图8的y方向的像素变差测量ζ_y。像素变差测量的计算进一步解释如下。

图12显示实际模糊遮罩，图13显示求解下述方程(19)而得的估计模糊遮罩。图9的最终结果通过求解下述方程(21)而得。

图14至18显示使用原始图像和实际脏污而非人工模糊遮罩的与图8至13类似的结果。图14显示原始图像，图15显示使用下述图像校正方法取得的校正后图像。图16显示图14的x方向的像素变差测量ζ_x，图17显示图14的y方向的像素变差测量ζ_y。图18显示估计模糊遮罩或衰减。

如果自然图像统计成立，且在图像的大多数区域连续像素之间的像素强度变化很小，仅极个别例外，则未脏污图像的相邻像素强度近似相等，

这意味着该像素的非0导数因衰减系数B的影响而产生。由此，在此假设成立的像素中，导数方程变为

前一方程显示，在图像平滑变化的位置，数值ζ_x(x,y)仅取决于B，B在视频录制过程中不随时间变化而变化。因此，ξ_x(x,y)也不随时间变化而变化。如果ξ_x(x,y)不是常数，其原因是图像变化平滑的初始假设在该特定像素和帧处不成立。

根据自然图像统计，该情况在自然图像中极少发生。本专利说明书所述的方法将此纳入考量，将不同的量值视为ξ_x(x,y)关于时间的离群值。为估计ξ_x(x,y)的中心值，可以使用多种处理离群点的方法，但最佳的方法按理说是中位数，中位数是一种崩溃率为50％的稳健统计。

根据中位数定义估计ξ_x(x,y)的中位数需要存储多个帧，然后对于每个像素，整理(x,y)位置处的像素强度值，并取得中心值。这一解决方案整体上不可行。然而，本专利说明书则将使用下述方法计算中位数的近似值。

流动中位数(streaming median)

现在设想一个一维数字序列p(t),且希望估计在最后的观察值t前观察到的所有点的中位数近似值m(t)。之后中位数近似值可以根据以下方法计算得出。中位数估计值m(t)的初始值m(-1)用某一值(如0)初始化，之后对于每一个新的观察值p(t)，计算

其中Δ为一个适当选取的数值，t为时间索引，例如帧索引f。该方法不需要存储m所有之前的数值，只需要每个点和观察值进行一次比较和一项加法运算，因此在计算和存储上非常高效。而且由于t→∞，m(t)→中位数({p(0),…,p(t)})，或者换言之，对于值足够大的t，中位数估计值接近中位数实际值。

对于Δ的值，如果Δ太小，m(t)极其缓慢地趋向于中位数实际值。如果Δ太大，m(t)将迅速趋向于中位数实际值，但之后将振荡过多。

尽管图8至18的实施例中使用实验取得的Δ常数值，可能的方法包括首先使用较大的Δ以便快速收敛，一旦m(t)稳定，使用较小的Δ以提高精确度。

还可以通过分析排序数据集合求得其他近似值。

通过使升降变化不同可以取得其他近似值。例如，第一和第三四分位数(quartile)可以分别计算为：

第一四分位数：

及

第三四分位数:

估计衰减系数B

使用此前计算的流动中位数方法估计随着时间推移的ξ_x(x,y)中位数的近似值，从而估计衰减系数B。使用此前所得的关系式

由此得出

这表明B的值彼此之间如何相关。以下为垂直导数的类似求导

其中为以下的中位数估计值

在确定不存在衰减或遮挡的位置，通过将B的某些值设为1，得出一组B(x,y)约束方程，

B(x,y)＝1。 (18)

可以使用例如第一个实施例所述的检测方法得出像素位置(x,y)。

方程(15)、(16)和(18)可通过以下方程以矩阵形式表示

Sb＝r， (19)

其中b代表阵列B重新整形为具有维数(#X×#Y)×1的列向量，其中向量b通过连续取B的各行产生，S为(#constraints)×(#X×#Y)大小的稀疏矩阵，r为具有维数(#constraints)×1的列向量。

约束项数量“#constraints”等于约束方程(15)、(16)和(18)的数量。约束项数量近似(#X-1)*#Y水平约束项加(#Y-1)*#X垂直约束项加B已知的N个点的N个约束项。

矩阵S通过将方程(15)、(16)和(18)的约束项写入S得出。每个约束项被写入稀疏矩阵S的行l，其中未赋予值的S的值为0。具体地说，通过仅存储非0系数，可以将矩阵S高效地存储在计算机内存中。

根据一个实施例，矩阵S构造如下：计数器变量l用数值1初始化，以所加的每一个新的约束项递增，坐标(x,y)从(x,y)＝(1,1)开始逐行遍历像素位置。如果存在一个来自方程(15)的(x,y)的约束项，S坐标(l,(y-1)*#X+x+1)设为1，坐标(l,(y-1)*#X+x)设为坐标(l,1)或r设为0。加该约束项后，l递增1。

如果存在一个来自方程(16)的(x,y)的约束项，S坐标(l,y*#X+x)设为1，S坐标(l,(y-1)*#X+x)设为坐标(l,1)或r设为0。加该约束项后，l递增1。如果存在一个来自方程(18)的(x,y)的约束项，S坐标(l,(y-1)*#X+x)设为1，r坐标(l,1)设为1，l递增1。之后，设(x,y)为下一数值，重复该过程。

所得的方程(19)一般可能超定，且无法直接求解。相反，方程(19)两侧从左同乘以S^T，由此得到对称矩阵S^TS:S^TSb＝S^Tr。该方程式在最小二乘近似法中也被称为正规方程。所述正规方程使用迭代法求得近似解，得出向量b。例如，迭代法可以是最小二乘法求解，如使用共轭梯度法近似计算最小化二次型的向量b。

通过将向量b重新整形回阵列形式，从列向量b中得出阵列B。对于0＜B(x,y)＜1的像素(x,y)，通过将观察到图像的每个像素除以该像素的估计B，估计未观察到图像，

I₀f(x,y)＝I_f(x,y)/B(x,y) (20)

由此能够补偿衰减B(x,y)。

根据一个修改实施例，方程(18)中不需要的约束方程会被识别并被从矩阵S中排除。例如，一种算法可以识别伪影的边缘区域，将边缘区域外的点(x,y)从方程(18)和向量b中排除。或者相反地，一种算法可用于识别无衰减的内部区域(B＝1)，并将内部区域的点从方程(18)和向量b中排除。

优选地，对于图像帧的每个行和(如存在)图像帧的每个列，至少提供一个约束方程(18)。由此，一个或多个已知衰减值B(x,y)能通过使用方程(15)和(16)寻找衰减事先未知的像素位置的衰减。

图19通过示例显示本申请所述的图像缺陷校正系统10。摄像机传感器表面12连接至图像捕捉部件13，该部件连接至视频缓冲器14。伪影检测部件15和伪影校正部件16连接至视频缓冲器14。显示器17连接至伪影校正部件16。虚线表示可以选择将伪影检测部件15的输出作为伪影校正部件16的输入。

更进一步地，图像评价部件19连接至伪影校正部件16。制动辅助部件20、停车辅助部件21和交通信号检测部件22等各类驾驶辅助部件连接至图像评价部件19。显示器18连接至部件20、21和22，以便显示部件20、21和22的输出数据。

例如，通过提供一种计算装置(如微处理器、集成电路、ASIC、用于存储数据的计算机可读内存和计算机可执行代码等)，伪影检测部件15操作以执行本专利说明书第一个实施例所述的伪影检测，伪影校正部件16操作以执行本专利说明书第二个实施例所述的伪影校正。

尽管以上说明提供详细资料，其不应被解释为限制实施例的范围，而仅为提供可预见实施例的示例。特别是实施例前述的优点不应被解释为限制实施例的范围，而仅为说明所述实施例实际应用时可能达成的成效。因此，实施例的范围应由权利要求书及其同等物界定，而不是由所述示例界定。

其中，像素矩阵可以被逐列而不是逐行遍历，且遍历矩阵的方向可被反向。衰减的约束方程可以表示为关于前一像素(x,y-1)或(x-1,y)，而不是关于下一像素(x,y+1)或(x+1,y)。在此情况下，第一列或第一行均无约束方程。

Claims

1.一种用于检测图像伪影的方法，包括

-接收来自车载摄像头的图像数据，所述图像数据包括图像帧，

-将第一方向上邻近像素间的强度差值与预设上限阈值和预设下限阈值相比较，

-当所述强度差值大于所述预设上限阈值时，将像素过渡值设置为第一值；当所述强度差值小于所述预设下限阈值时，将所述像素过渡值设置为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将所述像素过渡值设为0，

-通过施加关于帧索引的低通滤波器，计算所述像素过渡值的累加像素过渡值，

-通过施加关于像素位置的空间滤波器，计算平滑像素过渡值，

-计算所述图像帧的所述像素位置的平滑和累加像素过渡值的量值，

-通过将所述量值与预设检测阈值相比较，识别潜在伪影区域的像素。

2.根据权利要求1所述的方法，包括

-将第二方向上邻近像素间的强度差值与所述预设上限阈值和所述预设下限阈值相比较，

-当所述强度差值大于所述预设上限阈值时，将所述像素过渡值设置为所述第一值；当所述强度差值小于所述预设下限阈值时，将所述像素过渡值设置为所述第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将所述像素过渡值设为0。

3.根据权利要求1或2所述的方法，所述低通滤波器的输出值的计算包括计算相应第一或第二方向上的帧索引f处的累加值作为前一帧索引f–1处的累加值与前述帧索引f处的平滑像素过渡值的加权和。

4.根据权利要求3所述的方法，其中所述前一帧索引f–1处的累加值的加权系数至少为0.95。

5.一种用于校正图像伪影的方法，包括

-计算第一方向上的像素商值，其中所述像素商值从商数求出，所述商数的分子为给定像素位置处的图像强度，分母为所述第一方向上的邻近像素处的图像强度，

-计算关于时间的所述像素商值的中位数，

-计算像素位置的衰减系数作为衰减系数线性方程组的近似解，所述线性方程组包括：第一组线性方程，其中所述中位数作为所述衰减系数的预处理系数；以及第二组线性方程，其确定相应像素位置处的所述衰减系数的值，

-通过将观察到的像素强度除以相应像素位置的对应衰减系数B(x,y)，求出校正后像素强度。

6.根据权利要求5所述的方法，包括

计算第二方向上的像素商值，其中所述像素商值从商数求出，所述商数的分子为给定像素位置处的图像强度，分母为所述第二方向上的邻近像素处的图像强度，其中针对所述第一方向上的所述像素商值和所述第二方向上的所述像素商值计算所述中位数。

7.根据权利要求5所述的方法，包括使用权利要求1至4中任一项所述的方法来确定所述第二组线性方程。

8.根据权利要求4至6中任一项所述的方法，其中所述中位数被计算为流动中位数，所述流动中位数从前一帧索引f–1的中位数估值和帧索引f处的所述像素商值求出。

9.根据权利要求8所述的方法，其中计算当前帧索引的流动中位数，方式为：如果所述像素商值大于前一流动中位数，将预设值“delta”加至前一估值；如果所述像素商值小于前一流动中位数，减去所述预设值“delta”；否则，将当前流动中位数设置为前一流动中位数。

10.根据权利要求9所述的方法，其中所述衰减系数的所述预处理系数由约束矩阵来定义，所述方法包括将所述线性方程组与转置后的约束矩阵相乘并且使用迭代法求解所得的线性方程组。

11.一种用于执行根据权利要求1至10中任一项所述的方法的计算机程序产品。

12.一种用于检测图像伪影的计算部件，

所述计算部件包括

输入连接，其用于接收图像数据，

输出连接，其用于输出检测到的像素的位置，

其中所述计算部件操作以

13.一种配有根据权利要求12所述的计算部件的车载摄像头，其中所述车载摄像头与所述计算部件的所述输入连接相连。

14.一种用于校正图像伪影的计算部件，

所述计算部件包括

输入连接，其用于接收图像数据，

输出连接，其用于输出校正后图像帧，其中所述计算部件操作以

-计算关于时间的所述像素商值的中位数，

15.一种配有根据权利要求14所述的计算部件的车载摄像头，其中所述车载摄像头与所述计算部件的所述输入连接相连。