CN108320295A - 一种基于自适应阈值时空信息的旧电影斑点噪声检测方法 - Google Patents

Abstract

一种基于自适应阈值时空信息的旧电影斑点噪声检测方法涉及数字图像处理领域，通过对时间域和空间域信息进行全面约束，对老旧电影中的斑点损伤进行检测，检测出的斑点模板图可以清晰反映出斑点所在位置信息。首先对待检测帧的图像进行运动估计，以像素块为单位在前后帧之间进行匹配，对于每一帧图像得到两个运动矢量矩阵，分别记录当前帧图像的每个像素在前、后帧对应位置的运动矢量。然后基于上一步得到的运动估计结果，采用改进的SDI算法和ESROD算法对斑点进行全面检测，并经过自适应调整阈值，将所有可能成为斑点的区域都检测出来。之后进一步对斑点区域进行筛选，使用时空约束条件筛选出精确的斑点位置，得到斑点检测结果。

Description

一种基于自适应阈值时空信息的旧电影斑点噪声检测方法

技术领域

本发明涉及数字图像处理方法，特别涉及一种基于自适应阈值时空信息的旧电影斑点噪声检测方法。

背景技术

斑点检测方法主要分为基于空间不连续性和时间不连续性的检测方法。A.C.Kokaram和P.J.W.Rayner在直观法的基础上结合运动估计和运动补偿技术提出了SDIa(SpikeDetection Index-a)检测算法，该算法是一种最基本的基于斑点时间域不连续特性的检测法。它首先提出了利用视频序列中的相邻三帧来检测斑点，先分别计算当前待检测帧的像素点与前后运动补偿后参考帧对应像素差值的平方，然后将两数中较小的数值与已设定阈值进行比较。若检测位置像素值超过该阈值，则认为当前像素点属于斑点。之后A.C.Kokaram又提出了SDIa算法的改进算法，即SDIp(Spike Detection Index-p)检测算法，该算法较SDIa检测算法相比，提出了当前待检测帧与前后参考帧的两个差值的同号约束性，这样可以排除多帧内灰度渐变所引入的误点，使斑点检测效果更佳准确。该类方法都严重依赖于运动估计的准确性，且仅考虑了斑点的时间不连续性，而没有考虑到空间一致性，因此检测准确性较低。

传统的斑点检测索引算法(Spike Detection Index，SDI)算法是一种最基本的基于斑点空间不连续特性的检测法。它首先提出了利用视频序列中的相邻三帧来检测斑点，先分别计算当前待检测帧的像素点与前后运动补偿后参考帧对应像素差值的平方；然后将两数中较小的数值与已设定阈值进行比较。若检测位置像素值超过该阈值，则认为当前像素点属于斑点。但此算法仅利用单帧空域信息，受到滤波器大小的限制，没有利用时域上斑点不连续的信息，因此将像素判定为斑点的限制条件较少，检测准确率不高且斑点的边缘处像素也容易被认定为斑点。而传统的等级差分检测器(Simplified Rank-OrderedDifference，SROD)算法是对运动估计后的相邻前后帧的若干像素进行统计排序，取相邻两帧中经运动估计后匹配位置的点及竖直位置上下相邻两点，然后经过排序找到其中的最大最小值，与待检测点做差，获得的结果再和阈值进行比较。若当前像素大于阈值则判定为斑点。该算法参考了斑点的时间域特性，通过阈值的判断来确定斑点，改善了检测效果。但是传统方法仅考虑了竖直相邻两点，没有全面的利用空间信息，因此检测准确度也较低。

通过进一步利用斑点的时空域信息进行精确筛选，并使用阈值自适应调整方法，可以获得较为理想的斑点检测效果。

发明内容

本发明的目的在于，通过对时间域和空间域信息进行全面约束，对老旧电影中的斑点损伤进行检测，检测出的斑点模板图可以清晰反映出斑点所在位置信息。

本发明是采用以下技术手段实现的：

一种基于自适应阈值时空信息的旧电影斑点噪声检测方法，整体流程图如附图1所示；首先对待检测帧的图像进行运动估计，以像素块为单位在前后帧之间进行匹配，对于每一帧图像得到两个运动矢量矩阵，分别记录当前帧图像的每个像素在前、后帧对应位置的运动矢量。然后基于上一步得到的运动估计结果，采用改进的SDI算法和ESROD算法对斑点进行全面检测，并经过自适应调整阈值，将所有可能成为斑点的区域都检测出来。之后进一步对斑点区域进行筛选，使用时空约束条件筛选出精确的斑点位置，得到斑点检测结果。

所述的具体内容如下：

(1)视频连续帧图像的运动估计

本发明的运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，I_i-1,I_i和I_i+1，其中I_i为当前帧。对于每个当前帧计算出两个匹配运动矢量矩阵q_i和h_i，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离。

本发明的块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，若此时步长为1，则该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离使用这种算法得到每个像素点的运动矢量，之后调用时只需用当前点加上该距离即可。

(2)采用改进的SDI和ESROD算法全面检测斑点

本发明为了获得所有可能属于斑点的区域，首先对图像进行初步斑点检测。在初步检测中，本发明借鉴已有的SDI和SROD判断准则，提出采用单向素插值与邻域像素排序相结合的斑点噪声判断准则进行噪声点检测。

本发明首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声。对当前帧I_i中的位于坐标(x,y)处的像素I_i(x,y)，计算与前后运动补偿参考帧对应像素差值；然后将两数中绝对值较小的与设定阈值T₁进行比较。同时，对当前帧与前后帧的两个差值进行同号性约束。

本发明对于当前帧位于坐标(x,y)处的像素I_i(x,y)，取前后两帧的相对应像素点，及其邻域N_s内的水平与竖直方向的4个相邻点，共10个参考点进行排序。像素点集合为{P_(x,y)|(x,y)∈N_s}，在集合中找出最大值max(P_(x,y))和最小值min(P_(x,y))，与阈值T₂进行比较，判断当前像素点是否属于斑点。

(3)自适应调整阈值

为了合理设置阈值，本发明设计了阈值自适应调整策略。首先设定一个较小的初始阈值T₁＝5，此时算法智能只能检测出少量斑点。设得到的检测结果模板图为M₀，标注M₀中连通的斑点块，并记录斑点块的个数为n₀；将当前的阈值增加迭代步长ΔT＝2，再次进行检测。迭代检测，第i次检测模板图记为M_i；记录标注检测结果中连通的斑点块并记录斑点块的熟练n_i。直到n_i＝n_i-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代。此时结果作为初检检测结果。

(4)时空约束条件精确筛选斑点位置

本发明第二步对初步检测的斑点区域进行更加细致的时空约束筛选。由于真正的斑点区域在前后帧都没有与之相似的区域，而图中完整的景物块在前帧或者后帧的斑点附近区域可以找到对应的形状灰度相似的像素区域，所以采用时间域约束进行筛选。在空间域中，伪斑点在其周围区域没有呈现出孤立的斑点形状，而真正斑点在一帧内往往与其周围区域像素灰度差很大，因此采用空间域约束来进一步筛选。

(5)斑点检测效果评价

为了验证本发明算法的有效性，对不同算法进行了对比试验。具体比较的方法包括：单独使用的传统的SROD算法和SDI算法。使用本发明算法对来自影片《泰然尼克号》和《花样年华》的视频内容进行了测试。测试视频帧为4096片《泰然尼、1920片《泰然尼像素彩色视频序列。常用的评价方法主要采用主观评价结果和客观的计算检测准确率方法。

附图说明：

图1基于自适应阈值时空信息的旧电影斑点噪声检测方法流程图；

图2斑点检测结果对比图。

具体实施方式

根据上述描述，以下介绍本发明具体的实施流程。

步骤1：视频连续帧图像的运动估计

本发明的运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，I_i-1,I_i和I_i+1，其中I_i为第i个当前要处理的帧。对于每个当前帧计算出两个匹配运动矢量矩阵，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离。通过基于块匹配的运动估计方法确定相邻的前后帧中的最佳匹配块。以当前帧为参考帧，对前后两帧图像进行运动估计。采用的图像块大小为8×8像素。图像块相似度函数采用均方误差(Mean Square Error，MSE)计算，公式为：

其中，B为N₁×N₂大小的块，N₁、N₂为图像块的长宽，经过分析斑点的形状将块的大小设定为8×8，B为N₁×N₂大小的块，x、y为当前检测坐标，u＝1、v＝1为水平和竖直方向上移动的位移。

块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，直至步长为1，该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离使用这种算法得到每个像素点的运动矢量，之后在计算相应块的匹配位置时只需用当前点加上该运动矢量即可。

步骤2：采用改进的SDI和ESROD算法全面检测斑点

为了获得所有可能属于斑点的区域，首先对图像进行初步斑点检测。在初步检测中，本发明借鉴已有的SDI和SROD判断准则，提出采用单向素插值与邻域像素排序相结合的斑点噪声判断准则进行噪声点检测。

准则1：单向素差值判断准则

(1)首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声。d₁和d₂分别为对当前帧I_i中的位于坐标(x,y)处的像素I_i(x,y)，计算与前后运动补偿参考帧对应像素差值：d₁＝(I_i(x,y)-I_i-1(x,y))，d₂＝(I_i(x,y)-I_i+1(x,y))；SDI_i(x,y)为每一帧图像的像素点，与前后运动补偿参考帧对应像素差值的最小值。

(1)然后将两数中绝对值较小的与设定阈值T₁进行比较。首先设置较小的阈值，如设为5，之后下一步使用阈值自适应算法再进行调整。同时，对当前帧与前后帧的两个差值进行同号性约束，具体如公式(2)所示，SDI_i(x,y)为单像素差值判断算子：

(2)：

SDI_i(x,y)＝min(|d₁|,|d₂|)<T₁ (2)

准则2：邻域像素排序判断准则

本发明对于原始SROD算法的改进算法增强邻域像素判断准则ESROD，对于当前帧位于坐标(x,y)处的像素I_i(x,y)进行计算。

(2)取前后两帧的相对应像素点，及其邻域N_s内的水平与竖直方向的4个相邻点，共10个参考点进行排序。Z_i(x,y)为第i帧的当前像素点，像素点集合为{P_(x,y)|(x,y)∈N_s}，在集合中找出最大值max(P_(x,y))和最小值min(P_(x,y))，与阈值T₂进行比较，阈值T₂初始值设为10，在下一步也进行自适应阈值调整，判断当前像素点是否属于斑点。具体比较方式如公式(3)，ESROD_i(x,y)为增强邻域像素判断算子：

(2)将这两个判断方法结合起来，当前帧与前后参考帧的差值都超过阈值时，该点被判定为斑点。而当前帧与前后参考帧的差值没有都超过一定阈值时，用ESROD算子对当前像素进行判定，如果满足ESROD算子约束条件，当前像素点仍然会被判定为斑点。否则，该像素将被视为不属于斑点，以此实现斑点的初步检测。经过初步检测，可能为斑点噪声的像素会以较大概率检测到，同时，初检结果中可能会存在较多的误检。

第一步的总检测如公式(4)所示，I_{i_firstmask}(x,y)为第一步检测之后的斑点掩膜图，其中x，y为像素点的坐标。

步骤3：自适应调整阈值

为了合理设置阈值，本发明设计了阈值自适应调整策略。

(1)首先设定一个较小的初始阈值T₁＝5，此时算法只能检测出少量斑点。设得到的检测结果模板图为M₀，标注M₀中连通的斑点块，并记录斑点块的个数为n₀；将当前的阈值增加迭代步长ΔT＝2，再次进行检测。

(2)迭代检测，第i次检测模板图记为M_i；记录标注检测结果中连通的斑点块并记录斑点块的数量n_i。直到n_i＝n_i-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代。此时结果作为初检检测结果。

步骤4：时空约束条件精确筛选斑点位置

初步检测的结果是较为全面的，但其中包含了绝大部分可能成为斑点噪声的像素位置。但是斑点区域在当前帧内与其空间邻域的灰度差异在之前的检测约束中并没有很好的体现，而且由于运动估计技术精度有限，图像中运动景物的部分边缘区域往往在其前后参考帧内也呈现为灰度的突变较多的误检区域，满足上一步约束条件，从而造成误检测。因此需要通过进一步的时空筛选，获得更为准确的斑点噪声检测结果。

在第2步中对初步检测的斑点区域进行更加细致的时空约束筛选。由于真正的斑点区域在前后帧都没有与之相似的区域，而图中完整的景物块在前帧或者后帧的斑点附近区域可以找到对应的形状灰度相似的像素区域，所以采用时间域约束进行筛选。在空间域中，伪斑点在其周围区域没有呈现出孤立的斑点形状，而真正斑点在一帧内往往与其周围区域像素灰度差很大，因此采用空间域约束来进一步筛选。

(1)首先将一个斑点区域扩展成一个包括它的最小的矩形区域，这个区域取每个相邻斑点域的长宽值分别的最大值，作为矩形的长宽，边长分别为L_{H_RC}和L_{V_RC}，然后对这个矩形区域再进行一次1.5倍扩展，如公式(5)，λ＝1.5为扩展倍数，扩展之后的矩形的水平和垂直边长分别为L’_{H_RC}和L’_{V_RC}。

(2)这个矩形区域包括斑点区域C_l和周围区域Cir_C，分别求出斑点区域C_l的均值μ₁方差为σ₁，和周围区域Cir_C的均值为μ₂方差为σ₂，均值为使用该区域内所有的像素点在步骤3中得出的值加和求平均，之后再用斑点区域的均值计算出方差σ₁，因此真实斑点应满足均值μ₁，μ₂相差较大，且斑点区域内部方差σ₁较小，阈值η₁、η₂的大小经过试验验证分别设为3、6，如公式(6)所示。

|μ₁-μ₂|>η₁,σ₁<η₂ (6)

(3)然后按照判定公式(7)对斑点进行空间域约束判定，形成空间域约束掩膜图d_fsmask(x,y)，其中x，y为像素点的坐标：

(4)另外对上一步中经过空间域约束得出的斑点区域，再进一步从时间域进行筛选，首先找到当前帧斑点分别在前后的对应位置，将这三帧的位置使用(1)中的方法，扩展为一个矩形区域，在这里扩展参数λ被设为3，分别为当前帧中的矩形区域RECT(x,y)，前一帧的矩形区域RECT^prev(x,y)和后一帧的矩形区域RECT^next(x,y)，x_iy_i和x_jy_j分别为矩形左上角点的坐标，这个矩形区域的水平和垂直边长分别为L”_{H_RC}和L”_{V_RC}。

(5)然后计算当前帧中的每一个矩形块和其前后帧中相对应的矩形块的代价函数cost，来进行时间域校验。结果输出到时间域约束掩膜图d_ftmask(x,y)，其中x，y为像素点的坐标，如公式(8)所示，将当前帧的矩形斑点区域分别和其前一帧和后一帧中的矩形区域进行代价函数cost计算，η₃设定为20，若这两个值中最小的那个都大于设定阈值，说明这个块在前后帧中没有相似块，是一个孤立的点，此块是斑点；否则若不大于阈值，则说明当前块不是斑点。通过这一步即可得到参考帧最终斑点模板图像。

代价函数cost的计算如公式(9)所示：

其中RECT^ad为RECT^prev或RECT^next，代表前后相邻帧中的矩形块区域。x和y分别为矩形区域左上角的像素横纵坐标，m和n分别是为了遍历矩形区域而采用的增量。

步骤5：斑点检测效果评价

为了验证本发明算法的有效性，对不同算法进行了对比试验。本发明具体比较的方法包括：单独使用的传统的SROD算法和SDI算法。本发明对来自影片《泰然尼克号》和《花样年华》的视频内容进行了测试。测试视频帧为4096×1716和1920×1080像素彩色视频序列。评价标准主要采用主观评价结果和客观的检测准确率(accuracy rate)如公式(10)所示。

其中，DR为检测出的斑点像素个数，TB则表示真实的斑点像素个数。

步骤5.1：主观评价

如图2所示，本实验给出对影片《泰然尼克号》和《花样年华》的原始带斑点视频的检测结果。分别使用了传统的SROD算法和本发明提出的算法，经比对后证明，基于自适应阈值时空信息的旧电影斑点噪声检测方法能够更准确的检测出斑点位置。

步骤5.2：客观评价

利用上述方法，测试斑点检测情况。经计算得到，本发明的平均检测准确率为0.85，而传统的方法平均检测准确率为0.54。因此，本发明提出的斑点检测方法取得了较好的检测结果。

Claims (5)

1.一种基于自适应阈值时空信息的旧电影斑点噪声检测方法，其特征在于，包括以下步骤：

(1)视频连续帧图像的运动估计

运动估计采用块匹配运动估计，把图像帧划分为若干互不重叠的块，并以块为单位寻找目标帧中每块在前帧和后帧中最优匹配的块的相对位置，输入图像为连续3帧，I_i-1,I_i和I_i+1，其中I_i为当前帧；对于每个当前帧计算出两个匹配运动矢量矩阵q_i和h_i，分别记录了当前帧的每个像素点到其前后帧中对应点所要经过的位移距离；

块匹配算法采用三步搜索策略进行，首先从原点开始，以4为步长，在周围距离步长的8个点处计算相似度函数，进行块匹配比较，然后将步长减半，并将中心点移到上一步中确定的相似度函数值最小的点，重新在周围距离步长的8个点处进行块匹配计算并比较，找出相似度函数值最小的点，若此时步长为1，则该点所在位置即为匹配点，记录下这个匹配点与当前帧的点的横纵坐标位置距离，使用这种算法得到每个像素点的运动矢量，之后调用时只需用当前点加上该运动矢量即可；

(2)采用改进的SDI和ESROD算法全面检测斑点

首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声；对当前帧I_i中的位于坐标(x,y)处的像素I_i(x,y)，计算与前后运动补偿参考帧对应像素差值；然后将两数中绝对值较小的与设定阈值T₁进行比较；同时，对当前帧与前后帧的两个差值进行同号性约束；

对于当前帧位于坐标(x,y)处的像素I_i(x,y)，取前后两帧的相对应像素点，及其邻域N_s内的水平与竖直方向的4个相邻点，共10个参考点进行排序；像素点集合为{P_(x,y)|(x,y)∈N_s}，在集合中找出最大值max(P_(x,y))和最小值min(P_(x,y))，与阈值T₂进行比较，判断当前像素点是否属于斑点；

(3)自适应调整阈值

首先设定一个较小的初始阈值；设得到的检测结果模板图为M₀，标注M₀中连通的斑点块，并记录斑点块的个数为n₀；将当前的阈值增加迭代步长ΔT＝2，再次进行检测；迭代检测，第i次检测模板图记为M_i；记录标注检测结果中连通的斑点块并记录斑点块的数量n_i；直到n_i＝n_i-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代；此时结果作为初检检测结果；

(4)时空约束条件精确筛选斑点位置。

2.根据权利要求1所述的方法，其特征在于，视频连续帧图像的运动估计具体为：

以当前帧为参考帧，对前后两帧图像进行运动估计；采用的图像块大小为8×8像素；图像块相似度函数采用均方误差MSE计算，公式为：

其中，B为N₁×N₂大小的块，N₁、N₂为图像块的长宽，经过分析斑点的形状将块的大小设定为8×8，B为N₁×N₂大小的块，x、y为当前检测坐标，u＝1、v＝1为水平和竖直方向上移动的位移。

3.根据权利要求1所述的方法，其特征在于，采用改进的SDI和ESROD算法全面检测斑点具体为：

首先对图像进行初步斑点检测；在初步检测中，借鉴已有的SDI和SROD判断准则，提出采用单向素插值与邻域像素排序相结合的斑点噪声判断准则进行噪声点检测；

准则1：单向素差值判断准则

(1)首先在序列中利用经过运动补偿后的相邻三帧来检测当前帧的斑点噪声；d₁和d₂分别为对当前帧I_i中的位于坐标(x,y)处的像素I_i(x,y)，计算与前后运动补偿参考帧对应像素差值：d₁＝(I_i(x,y)-I_i-1(x,y))，d₂＝(I_i(x,y)-I_i+1(x,y))；SDI_i(x,y)为每一帧图像的像素点，与前后运动补偿参考帧对应像素差值的最小值；

(2)然后将两数中绝对值较小的与设定阈值T₁进行比较；首先设置较小的阈值，设为5，之后下一步使用阈值自适应算法再进行调整；同时，对当前帧与前后帧的两个差值进行同号性约束，具体如公式(2)所示，SDI_i(x,y)为单像素差值判断算子：

SDI_i(x,y)＝min(|d₁|,|d₂|)<T₁ (2)

准则2：邻域像素排序判断准则

对于原始SROD算法的改进算法增强邻域像素判断准则ESROD，对于当前帧位于坐标(x,y)处的像素I_i(x,y)进行计算；

(1)取前后两帧的相对应像素点，及其邻域N_s内的水平与竖直方向的4个相邻点，共10个参考点进行排序；Z_i(x,y)为第i帧的当前像素点，像素点集合为{P_(x,y)|(x,y)∈N_s}，在集合中找出最大值max(P_(x,y))和最小值min(P_(x,y))，与阈值T₂进行比较，阈值T₂初始值设为10，在下一步也进行自适应阈值调整，判断当前像素点是否属于斑点；具体比较方式如公式(3)，ESROD_i(x,y)为增强邻域像素判断算子：

(2)将这两个判断方法结合起来，当前帧与前后参考帧的差值都超过阈值时，该点被判定为斑点；而当前帧与前后参考帧的差值没有都超过一定阈值时，用ESROD算子对当前像素进行判定，如果满足ESROD算子约束条件，当前像素点仍然会被判定为斑点；否则，该像素将被视为不属于斑点，以此实现斑点的初步检测；；第一步的总检测如公式(4)所示，I_{i_firstmask}(x,y)为第一步检测之后的斑点掩膜图，其中x，y为像素点的坐标；

4.根据权利要求1所述的方法，其特征在于，自适应调整阈值具体为：

(1)首先设定一个较小的初始阈值T₁＝5，；设得到的检测结果模板图为M₀，标注M₀中连通的斑点块，并记录斑点块的个数为n₀；将当前的阈值增加迭代步长ΔT＝2，再次进行检测；

(2)迭代检测，第i次检测模板图记为M_i；记录标注检测结果中连通的斑点块并记录斑点块的数量n_i；直到n_i＝n_i-1，表示阈值增加后没有出现新的斑点，斑点区域没有扩大，结束迭代；此时结果作为初检检测结果。

5.根据权利要求1所述的方法，其特征在于，对初步检测的斑点区域进行更加细致的时空约束筛选具体为：

(1)首先将一个斑点区域扩展成一个包括它的最小的矩形区域，这个区域取每个相邻斑点域的长宽值分别的最大值，作为矩形的长宽，边长分别为L_{H_RC}和L_{V_RC}，然后对这个矩形区域再进行一次1.5倍扩展，如公式(5)，λ＝1.5为扩展倍数，扩展之后的矩形的水平和垂直边长分别为L’_{H_RC}和L’_{V_RC}；

(2)这个矩形区域包括斑点区域C_l和周围区域Cir_C，分别求出斑点区域C_l的均值μ₁方差为σ₁，和周围区域Cir_C的均值为μ₂方差为σ₂，均值为使用该区域内所有的像素点在步骤3中得出的值加和求平均，之后再用斑点区域的均值计算出方差σ₁，因此真实斑点应满足均值μ₁，μ₂相差较大，且斑点区域内部方差σ₁较小，阈值η₁、η₂分别设为3、6，如公式(6)所示；

|μ₁-μ₂|>η₁,σ₁<η₂ (6)

(3)然后按照判定公式(7)对斑点进行空间域约束判定，形成空间域约束掩膜图d_fsmask(x,y)，其中x，y为像素点的坐标：

(4)另外对上一步中经过空间域约束得出的斑点区域，再进一步从时间域进行筛选，首先找到当前帧斑点分别在前后的对应位置，将这三帧的位置使用(1)中的方法，扩展为一个矩形区域，在这里扩展参数λ被设为3，分别为当前帧中的矩形区域RECT(x,y)，前一帧的矩形区域RECT^prev(x,y)和后一帧的矩形区域RECT^next(x,y)，x_iy_i和x_jy_j分别为矩形左上角点的坐标，这个矩形区域的水平和垂直边长分别为L”_{H_RC}和L”_{V_RC}；

(5)然后计算当前帧中的每一个矩形块和其前后帧中相对应的矩形块的代价函数cost，来进行时间域校验；结果输出到时间域约束掩膜图d_ftmask(x,y)，其中x，y为像素点的坐标，如公式(8)所示，将当前帧的矩形斑点区域分别和其前一帧和后一帧中的矩形区域进行代价函数cost计算，η₃设定为20，若这两个值中最小的那个都大于设定阈值，说明这个块在前后帧中没有相似块，是一个孤立的点，此块是斑点；否则若不大于阈值，则说明当前块不是斑点；通过这一步即可得到参考帧最终斑点模板图像；

代价函数cost的计算如公式(9)所示：

其中RECT^ad为RECT^prev或RECT^next，代表前后相邻帧中的矩形块区域；x和y分别为矩形区域左上角的像素横纵坐标，m和n分别是为了遍历矩形区域而采用的横纵坐标增量。