CN111696099B - 基于图像边缘一致性的通用异常点似然性估计方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于图像边缘一致性的通用异常点似然性估计方法，该方法包括：采用局部线性假设表征原图与测量图之间的边缘一致性；将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题；采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性。本发明公开的通用异常点似然性估计方法，不依赖于特定硬件或模型，能够应用于多数图像测量过程。并且，本发明计算负担低，且无需任何关于测量过程的经验知识即可生效，能够显著提高多种图像测量应用的输出质量，包含但不限于图像去雾、深度估计、透明度计算等。

Description

基于图像边缘一致性的通用异常点似然性估计方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像边缘一致性的通用异常点似然性估计方法。该方法基于测量图像与被测图像之间的边缘一致性，独立于测量方法来评估各像素测量值的异常点似然性。

背景技术

边缘一致性是图像处理领域中广泛存在的规律，描述着这样一种事实：一幅图像的某种逐像素测量结果，例如透射率估计、深度估计、语义分割，若组成与原图同尺寸的测量图像，极可能形成与原图一致的边缘。虽然不同的图像测量过程有着不同的目的、方法，但是对测量结果与原图的边缘一致性的期望却是相同的。

所述边缘一致性通常被描述为：“测量图像只有在原图像的边缘处才会存在边缘”，这是由于测量过程属于映射过程，且通常为非单射、连续映射，原图像中存在边缘的区域经过映射后或平滑、或亦存在边缘，而原图像中平滑的区域经过映射后只可能平滑。

尽管绝大多数测量过程的测量结果与原图之间应该具有边缘一致性，但由于噪声和异常值的影响，事实并非如此。当下存在多种噪声抑制方法，但缺少异常点抑制方法。与相对容易建模的噪声不同，异常值很难被高斯分布、泊松分布等简单模型表达。因此，现有检测方法总是高度依赖于硬件、模型，并局限于个别应用，几乎完全不具备普适性。例如，在图像去雾领域中，基于颜色线和雾线模型的异常点检测方法对其它领域、甚至同领域其它模型的去雾方法都是无效的。在视差图估计领域中，基于交叉验证的异常点检测方法需要来自不同视角的多幅输入图，不能处理简单的输入输出图像对，依赖于特殊采样硬件。在更多测量过程中，异常点检测方法是完全未开发的，异常值被简单地视为噪声处理，引入了各种各样的问题。

因此，本发明公开的通用异常点似然性估计方法是当下必要且缺乏的，对多种图像测量过程的输出质量具有促进作用。得益于该通用异常点似然性估计方法的泛用性，其在测量过程未知、检测方法缺失时可作为备用检测方案；得益于该通用异常点似然性估计方法线性复杂度带来的实用性，也可作为已有检测方法的附加方案。

发明内容

为了解决图像测量过程中异常点检测广泛缺失的问题，本发明提供一种基于图像边缘一致性的通用异常点似然性估计方法，以评估测量结果中每个像素的似然度，进而指示该像素为异常点的可能性。

为达到上述目的，本发明提供了一种基于图像边缘一致性的通用异常点似然性估计方法，包括：采用局部线性假设表征原图与测量图之间的边缘一致性；将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题；采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性。

上述方案中，所述采用局部线性假设表征原图与测量图之间的边缘一致性，包括：假设原图与图像测量过程输出的、不含异常点的测量图满足边缘一致性；并且，假设从原图与测量图中任取一小块区域，所囊括的子图像对也满足边缘一致性，测量图中导致所属局部区域违背边缘一致性的像素即为异常点。

上述方案中，所述采用局部线性假设表征原图与测量图之间的边缘一致性，采用如下公式：

给定c个通道的原图I和单通道的测量图p，局部线性假设认为存在线性系数a和b，使得下式成立：

其中，a是c维向量，测量图中导致上述等式无法成立的像素即为似然的异常点。

上述方案中，所述将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题，是采用如下带有等式约束的加权线性回归计算像素k对局部线性假设的影响：

其中，w_i为像素i的似然度，Ω_k是以像素k为中心的局部区域，随后，基于如下方程计算像素k的似然度w_k：

其中，[UB，LB]是残差上下界，∈是用于维持数值稳定的任意极小值。

上述方案中，所述采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性，包括：

步骤a：接收输入图I，测量图p，设置迭代停止条件数δ，残差上下界[UB，LB]，定义局部区域的形状Ω；

步骤b：初始化迭代次数t＝0，拟合残差变化量Δe^t＝1，拟合残差图e^t＝1，像素的似然度w^t＝1；

步骤c：判断Δe^t≥δ是否成立，若成立，则表示像素的似然度发生了显著变化，残差与像素的似然度不能互相解释，执行步骤d，否则，表示像素的似然度图已达到稳定状态，转而执行步骤i；

步骤d：赋值t＝t+1，随后基于盒滤波计算中间图，更新六种中间结果；

步骤e：计算每个像素的线性回归残差

步骤f：计算每个像素的似然度

步骤g：计算每个像素的拟合残差变化量Δe^t，返回执行步骤c；

步骤i：输出像素的似然度w＝w^t，像素的似然度w的值越小，则表明该像素是一个异常点的可能性越大。

上述方案中，所述步骤d采用如下公式更新六种中间结果：

其中，Ω_k是以k为中心像素的局部区域。

上述方案中，所述步骤e采用如下公式计算每个像素的线性回归残差：

其中，∈是用于维持数值稳定的任意极小值。

上述方案中，所述步骤f采用如下公式计算每个像素的似然度：

其中，∈是用于维持数值稳定的任意极小值。

上述方案中，所述步骤g采用如下公式计算每个像素的拟合残差变化量：

从上述技术方案可以看出，本发明提供的基于图像边缘一致性的通用异常点似然性估计方法，具有以下有益效果：

1)不依赖任何硬件、模型，具有充分的通用性，可应用于绝大多数图像测量结果而无需提供任何经验知识；

2)为初始测量值提供逐像素的似然性估计，且似然性估值是0-1之间的实数，能充分适配各种加权算法对测量结果进行优化；

3)算法复杂度仅与图像像素数线性相关，保障了运行速度。

附图说明

图1是依照本发明实施例的基于图像边缘一致性的通用异常点似然性估计方法流程图；

图2为图1中采用线性复杂度的全图迭代算法计算测量图中像素的异常点似然性的方法流程图；

图3为依照本发明实施例的异常点检测精度评价的示意图。

图4a至图4h为依照本发明实施例的异常点检测模拟样本的一对示例，其中：图4a为RM取值较低的一个测量结果；图4b为正确的异常区域标注；图4c和图4d分别为加权中值滤波(WMF)和本发明方法(ECM)的异常点标注；图4e为RM取值较高的一个测量结果；图4f、图4g和图4h分别为对应的正确标注、加权中值滤波(WMF)标注和本发明方法(ECM)标注。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

显然，所述的实施例是本发明的一部分实施例，而不是全部实施例。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围

本发明提供的基于图像边缘一致性的通用异常点似然性估计方法，异常点似然性估计结果是以像素的似然度w来表征的，该像素的似然度w的值能够表征测量图像中对应像素是否为异常点的可能性，像素的似然度w的值越小，该像素是一个异常点的可能性越高。

基于局部线性假设表达原图I与测量结果p之间的边缘一致性，并通过线性回归残差e评估局部线性假设的似然性。此外，似然度w越高的像素在回归过程中占有的比重越大，即：

本发明采用“假设——验证”的方式来评估像素的似然度。首先，假设像素k是一个内点，这表明经过该内点的上述局部线性回归模型拥有接近零的残差；随后，验证该内点假设是否成立，实际残差越高，该内点假设成立的可能性越低，即该内点的似然度值w_k越小。具体地：

其中，∈是某个极小数，用于保证数值稳定性；UB、LB是残差上下界，残差过界时，分别认为该像素是绝对的内点或异常点。

如图1所示，图1是依照本发明实施例的基于图像边缘一致性的通用异常点似然性估计方法流程图，该方法包括以下步骤：

步骤S1：采用局部线性假设表征原图与测量图之间的边缘一致性；

步骤S2：将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题；

步骤S3：采用线性复杂度的全图迭代算法，计算测量图中像素的似然度，确定测量图中像素的异常点似然性。

上述步骤S1中，所述采用局部线性假设表征原图与测量图之间的边缘一致性，包括：假设原图与图像测量过程输出的、不含异常点的测量图满足边缘一致性；并且，假设从原图与测量图中任取一小块区域，所囊括的子图像对也满足边缘一致性，测量图中导致所属局部区域违背边缘一致性的像素即为异常点。

上述步骤S1中，所述采用局部线性假设表征原图与测量图之间的边缘一致性，采用如下公式：

给定c个通道的原图I和单通道的测量图p，局部线性假设认为存在线性系数a和b，使得下式成立：

其中，a是c维向量，测量图中导致上述等式无法成立的像素即为似然的异常点。

上述步骤S2中，所述将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题，是采用如下带有等式约束的加权线性回归计算像素k对局部线性假设的影响：

其中，w_i为像素i的似然度，Ω_k是以像素k为中心的局部区域，随后，基于如下方程计算像素k的似然度w_k：

其中，[UB，LB]是残差上下界，∈是用于维持数值稳定的任意极小值。

上述步骤S3中，所述采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性的过程中，由于像素似然度与残差互相包含，采用交替优化的方式进行求解，如图2所示，具体步骤如下：

步骤a：接收输入图I，测量图p，设置迭代停止条件数δ，残差上下界[UB，LB]，定义局部区域的形状Ω；

步骤b：初始化迭代次数t＝0，拟合残差变化量Δe^t＝1，拟合残差图e^t＝1，像素的似然度w^t＝1；

步骤c：判断Δe^t≥δ是否成立，若成立，则表示像素的似然度发生了显著变化，残差与像素的似然度不能互相解释，执行步骤d，否则，表示像素的似然度图已达到稳定状态，转而执行步骤i；

步骤d：赋值t＝t+1，随后基于盒滤波计算中间图，更新六种中间结果；

其中，Ω_k是以k为中心像素的局部区域。

步骤e：计算每个像素的线性回归残差

其中，∈是用于维持数值稳定的任意极小值。

步骤f：计算每个像素的似然度

其中，∈是用于维持数值稳定的任意极小值。

步骤g：计算每个像素的拟合残差变化量Δe^t，返回执行步骤c；

步骤i：输出像素的似然度w＝w^t，像素的似然度w的值越小，则表明该像素是一个异常点的可能性越大。

为了更清晰地对本发明提供的基于图像边缘一致性的通用异常点似然性估计方法进行说明，下面结合附图对本方发明可选实施例进行展开详述。

作为本发明的一个可选实施例，在明德学院(Middlebury)2014数据集上模拟生成测量图与异常值，并基于加权中值滤波方法(WMF)与本发明公开方法，即边缘一致性度量(edge consistency metric，ECM)，分别估计异常值。首先，基于随机的线性参数对原图进行线性组合，形成模拟的测量结果；通过参数M控制异常区域的数目；通过参数R控制线性参数的变化量，R越小，相邻像素的线性参数变化量越大，测量结果噪声越大；高噪声的测量结果即使没有异常点，其与原图的边缘一致性也很差，导致很低的边缘一致性度量(ECM)期望(Expectation)，影响检测方法。因此，M越高，ECM期望越低，检测难度越大。

模拟异常值与正确取值之间的差值恒为0.5。测量图像的加权中值滤波结果中，产生了0.3以上改变的像素是WMF的异常点检测结果。本发明提供的基于图像边缘一致性的通用异常点似然性估计方法所估计的内点似然性w中，似然度低于0.05的像素是本发明公开方法的异常点检测结果。

以异常点检测结果与正确结果的交变比(IoU)作为检测精度评价。如图3所示，WMF与本发明提供的基于图像边缘一致性的通用异常点似然性估计方法(ECM)受ECM期望，即R的影响很小，但受异常区域数量影响较大。M越大，WMF与本发明提供的基于图像边缘一致性的通用异常点似然性估计方法(ECM)的精度越低，但本发明提供的基于图像边缘一致性的通用异常点似然性估计方法的检测精度始终显著高于WMF。M为50、100、200时，本发明提供的基于图像边缘一致性的通用异常点似然性估计方法(ECM)的平均IoU比WMF分别高出0.164、0.231、0.312。

图4a至图4h为依照本发明实施例的异常点检测模拟样本的一对示例，其中：图4a为RM取值较低的一个测量结果；图4b为正确的异常区域标注；图4c和图4d分别为加权中值滤波(WMF)和本发明方法(ECM)的异常点标注；图4e为RM取值较高的一个测量结果；图4f、图4g和图4h分别为对应的正确标注、加权中值滤波(WMF)标注和本发明方法(ECM)标注。

可以看出，加权中值滤波(WMF)存在较明显的漏检问题，而本发明方法(ECM)的检测结果与正确结果更为接近。图4c、图4d、图4g和图4h的IoU分别为：0.828、0.992、0.672、0.898。本发明方法(ECM)在该实例中显著优于基于加权中值滤波方法(WMF)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像边缘一致性的通用异常点似然性估计方法，其特征在于，包括：

采用局部线性假设表征原图与测量图之间的边缘一致性；

将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题；

采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性；

其中，所述将原图与测量图之间的边缘一致性建模为带有等式约束的加权线性回归问题，是采用如下带有等式约束的加权线性回归计算像素k对局部线性假设的影响：

其中，w_i为像素i的似然度，Ω_k是以像素k为中心的局部区域，随后，基于如下方程计算像素k的似然度w_k：

其中，[UB，LB]是残差上下界，

是用于维持数值稳定的任意极小值；

所述采用线性复杂度的全图迭代算法，计算测量图中像素的异常点似然性，包括：

步骤a：接收输入图I，测量图p，设置迭代停止条件数δ，残差上下界[UB，LB]，定义局部区域的形状Ω；

步骤b：初始化迭代次数t＝0，拟合残差变化量Δe^t＝1，拟合残差图e^t＝1，像素的似然度w^t＝1；

步骤c：判断Δe^t≥δ是否成立，若成立，则表示像素的似然度发生了显著变化，残差与像素的似然度不能互相解释，执行步骤d，否则，表示像素的似然度图已达到稳定状态，转而执行步骤i；

步骤d：赋值t＝t+1，随后基于盒滤波计算中间图，更新六种中间结果；

步骤e：计算每个像素的线性回归残差

步骤f：计算每个像素的似然度

步骤g：计算每个像素的拟合残差变化量Δe^t，返回执行步骤c；

步骤i：输出像素的似然度w＝w^t，像素的似然度w的值越小，则表明该像素是一个异常点的可能性越大。

2.根据权利要求1所述的通用异常点似然性估计方法，其特征在于，所述采用局部线性假设表征原图与测量图之间的边缘一致性，包括：

假设原图与图像测量过程输出的、不含异常点的测量图满足边缘一致性；并且，假设从原图与测量图中任取一小块区域，所囊括的子图像对也满足边缘一致性，测量图中导致所属局部区域违背边缘一致性的像素即为异常点。

3.根据权利要求2所述的通用异常点似然性估计方法，其特征在于，所述采用局部线性假设表征原图与测量图之间的边缘一致性，采用如下公式：

给定c个通道的原图I和单通道的测量图p，局部线性假设认为存在线性系数a和b，使得下式成立：

其中，a是c维向量，测量图中导致上述等式无法成立的像素即为似然的异常点。

4.根据权利要求1所述的通用异常点似然性估计方法，其特征在于，所述步骤d采用如下公式更新六种中间结果：

其中，Ω_k是以k为中心像素的局部区域。

5.根据权利要求1所述的通用异常点似然性估计方法，其特征在于，所述步骤e采用如下公式计算每个像素的线性回归残差：

其中，∈是用于维持数值稳定的任意极小值。

6.根据权利要求1所述的通用异常点似然性估计方法，其特征在于，所述步骤f采用如下公式计算每个像素的似然度：

其中，

是用于维持数值稳定的任意极小值。

7.根据权利要求1所述的通用异常点似然性估计方法，其特征在于，所述步骤g采用如下公式计算每个像素的拟合残差变化量：

Images