CN109712079A - 盲元校正方法及装置 - Google Patents

Abstract

本发明实施例提供一种盲元校正方法及装置，其中方法包括：在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。本发明实施例具有精度更高的优势，可以有效减少这种交界处盲元校正的误差过大问题。

Description

盲元校正方法及装置

技术领域

本发明涉及图像处理技术领域，更具体地，涉及盲元校正方法及装置。

背景技术

红外成像系统因材料缺陷的限制和制作工艺水平的影响，成像过程中难免会出现盲元问题。随机盲元是在成像系统使用时随机产生的，而盲元的存在会在生成的图像中形成较亮或较暗的点，对诸如红外小目标检测等会造成大概率的漏检和虚警。因此，在红外成像系统中校正盲元是关键的图像处理步骤。

现有通过相关像素区域块或者相关邻域像素点之间的相似性对需要复原或去噪区域进行处理，即某个含有噪声或损坏的像素点或区域可以通过相邻像素点或者区域加权估计得到。权重值通过两者的相关性大小进行确定。

现有技术通常通过像素点之间空间距离等进行加权后进行盲元校正，没有将单个像素点放进图像或者图像区域进行考虑，针对盲元可能处于目标和背景等交界处时，仅仅通过像素点间关系进行盲元校正，会造成偏差。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的盲元校正方法及装置。

第一个方面，本发明实施例提供一种盲元校正方法，包括：

在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；

在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；

根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

第二个方面，本发明实施例提供一种盲元校正装置，包括：

窗口创建模块，用于在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；

权重计算模块，用于在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；

校正模块，用于根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的盲元校正方法及装置，通过在第一窗口中创建于第二窗口的边长相等的滑动窗口，并计算每个滑动窗口与第二窗口间的权重，将单个像素点放进图像或者图像区域进行考虑，相比现有技术单纯通过像素点之间的空间距离作为权重，结合所有滑动窗口与第二窗口间的权重，并结合每个滑动窗口与第二窗口间的空间距离对盲元进行校正，使得盲元校正的关注点由像素点覆盖到区域，具有精度更高的优势，可以有效减少这种交界处盲元校正的误差过大问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的盲元校正方法的流程示意图；

图2为本发明实施例提供的图像中第一窗口和第二窗口的位置关系图；

图3为本发明实施例提供的盲元校正装置的结构示意图；

图4为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了克服现有技术的上述问题，本发明实施例提供了一种xx方法，其发明构思为：基于结构相似度和空间距离加权的相关像素插值方法进行校正。通过实验验证本发明实施例算法的准确性和有效性可知，校正后图像的RMSE低于现有的AN(Average Neighboring，邻域均值)算法和NN(Nearest Neighboring，最近邻替)算法。

图1为本发明实施例提供的盲元校正方法的流程示意图，如图所示，包括：

S101、在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长。

可以理解的是，本发明实施例中的图像是指已经检测出盲元点的图像，在该图像中，以盲元点为中心分别设置第一窗口和第二窗口，第一窗口的边长大于所述第二窗口的边长，例如，第一窗口的边长为25×25，第二窗口的边长为8×8。设置第二窗口的目的是为了确定盲元的邻域范围，通常盲元邻域内的像素点的灰度具有很高的相似度。由第一窗口的定义可知，第一窗口实际上是盲元更广阔范围的邻域。图2为本发明实施例提供的图像中第一窗口和第二窗口的位置关系图，在图2中，第一窗口和第二窗口的形状均为方形，盲元点以圆形示意，由图2可知，第二窗口完全包含在第一窗口中，将第一窗口中不属于第二窗口的区域称之为区域h，区域h中像素与盲元的相似度会低于第二窗口中像素与盲元的相似度。

S102、在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等。

需要说明的是，本发明实施例通过在第一窗口中创建于第二窗口的边长相等的滑动窗口，并根据滑动窗口与所述第二窗口间的结构相似参数和空间距离计算每个滑动窗口与第二窗口间的权重，将单个像素点放进图像或者图像区域进行考虑，相比现有技术单纯通过像素点之间的空间距离作为权重，能够有效减少盲元位于目标和背景交界处校正时误差过大的问题。

本发明实施例中滑动窗口在第一窗口中每次滑动的距离可以为1个像素点，滑动窗口可以沿第一图像的左上角每次水平移动1个像素点直至第一图像的右上角，然后滑动窗口向下移动一个像素点，继续向左滑动，直至滑动窗口滑动过第一图像的所有区域。

本发明实施例的结构相似参数根据结构相似性(structural similarity index，SSIM)获得，SSIM是一种衡量两幅图像相似度的指标，结构相似度从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。在实际应用中，一般采用高斯函数计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。

在本发明实施例中，两个窗口的空间距离可以根据两个窗口的中心像素的距离来计算，具体的计算公式为：

其中，x和y分别为两个窗口，(x_i,x_j)和(y_i,y_j)分别为窗口x和窗口y的坐标值。

S103、根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

需要说明的是，本发明实施例通过结合所有滑动窗口与第二窗口间的权重，并结合每个滑动窗口与第二窗口间的空间距离对盲元进行校正，使得盲元校正的关注点由像素点覆盖到区域，具有精度更高的优势，可以有效减少这种交界处盲元校正的误差过大问题。

在上述实施例的基础上，作为一种可选实施例，计算每个滑动窗口与所述第二窗口间的结构相似参数，具体为：

对于任意一个所述滑动窗口，根据所述滑动窗口和第二窗口的灰度的均值、方差以及协方差，计算所述滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数；

所述两度比较函数的计算公式为：

所述对比度函数的计算公式为：

所述结构比较函数的计算公式为：

其中，u表示滑动窗口，v表示第二窗口，C₁，C₂，C₃是三个极小值，既考虑了人视觉系统的因素，又确保了以上3式分母不为零。μ_u，μ_v分别为滑动窗口与第二窗口的灰度的均值，σ_u，σ_v分别为滑动窗口与第二窗口的灰度的方差，σ_uv为滑动窗口与第二窗口的灰度的协方差。滑动窗口的灰度的均值可以通过统计滑动窗口内每个像素点的灰度并求平均值获得，同理可得第二窗口的灰度的均值。灰度的方差可以根据以下公式计算：

其中，s表示方差，x_n表示窗口中第n个像素点的灰度，x为窗口的灰度均值，n表示窗口内像素点的总数。

根据所述滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数计算结构相似参数。

具体地，根据滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数计算结构相似度，所述结构相似度的表达式为：

SSIM(u,v)＝l^α(u,v)c^β(u,v)s^γ(u,v)

其中，α、β和γ分别为调节参数；通常都设置为1。C₃＝C₂/2，则结构相似度可简化为：

为了使得结构相似度与高斯加权描述的相似性保持一致，根据公式计算结构相似参数。S_u,v的取值范围为[0,1]，S_u,v越小，表示两个区域相似度越高，权重越大；S_u,v越大，表示两个区域的相似度越低，权重越小。

在上述各实施例的基础上，作为一种可选实施例，根据以下公式计算滑动窗口与第二窗口间的权重：

其中，S_u,v为滑动窗口u与第二窗口v间的结构相似参数，d_u,v为滑动窗口u与第二窗口v间的空间距离，h_d为衰减参数，为正数。

需要说明的是，根据本发明实施例的权重的计算方法，结构相似参数与空间距离的乘积，再除以衰减参数的值必然为正数，通过对该值取负数，将取负数后的值构建指数函数，使得权重值的取值范围位于0至1之间，更有利于后续校正的计算。

在上述各实施例的基础上，作为一种可选实施例，根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正，具体为根据以下公式对所述盲元点的灰度进行校正：

其中，X(i₀,j₀)为盲元点校正后的灰度，(i₀,j₀)为盲元点在图像中的坐标，x(i₀,j₀)为盲元点校正前的灰度，U为第一窗口中滑动窗口的集合，w_u,v为滑动窗口u与第二窗口v₀间的权重，d_u,v为滑动窗口u与第二窗口v间的空间距离。

图3为本发明实施例提供的盲元校正装置的结构示意图，如图3所示，该装置包括：窗口创建模块301、权重计算模块302和校正模块303，其中：

窗口创建模块301，用于在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长。

具体地，窗口创建模块在该图像中，以盲元点为中心分别设置第一窗口和第二窗口，第一窗口的边长大于所述第二窗口的边长，例如，第一窗口的边长为25×25，第二窗口的边长为8×8。设置第二窗口的目的是为了确定盲元的邻域范围，通常盲元邻域内的像素点的灰度具有很高的相似度。由第一窗口的定义可知，第一窗口实际上是盲元更广阔范围的邻域。图2示出了本发明实施例的图像中第一窗口和第二窗口的位置关系，由图2可知，第二窗口完全包含在第一窗口中，将第一窗口中不属于第二窗口的区域称之为区域h，区域h中像素与盲元的相似度会低于第二窗口中像素与盲元的相似度。

权重计算模块302，用于在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等。

具体地，权重计算模块通过在第一窗口中创建于第二窗口的边长相等的滑动窗口，并计算每个滑动窗口与第二窗口间的权重，将单个像素点放进图像或者图像区域进行考虑，相比现有技术单纯通过像素点之间的空间距离作为权重，能够有效减少盲元位于目标和背景交界处校正时误差过大的问题。

本发明实施例中滑动窗口每次滑动的距离可以为1个像素点，滑动窗口可以沿第一图像的左上角每次水平移动1个像素点直至第一图像的右上角，然后滑动窗口向下移动一个像素点，继续向左滑动，直至滑动窗口滑动过第一图像的所有区域。

本发明实施例的结构相似参数根据结构相似性(structural similarity index，SSIM)获得，SSIM是一种衡量两幅图像相似度的指标，结构相似度从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。在实际应用中，一般采用高斯函数计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。

校正模块303，用于根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

需要说明的是，本发明实施例的校正模块303通过结合所有滑动窗口与第二窗口间的权重，并结合每个滑动窗口与第二窗口间的空间距离对盲元进行校正，使得盲元校正的关注点由像素点覆盖到区域，具有精度更高的优势，可以有效减少这种交界处盲元校正的误差过大问题。

本发明实施例提供的盲元校正装置，具体执行上述各盲元校正方法实施例流程，具体请详见上述各盲元校正方法实施例的内容，在此不再赘述。本发明实施例提供的盲元校正装置可以有效减少这种交界处盲元校正的误差过大问题。

图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储在存储器430上并可在处理器410上运行的计算机程序，以执行上述各实施例提供的盲元校正方法，例如包括：在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的盲元校正方法，例如包括：在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种盲元校正方法，其特征在于，包括：

在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；

在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；

根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

2.根据权利要求1所述的盲元校正方法，其特征在于，所述计算每个滑动窗口与所述第二窗口间的结构相似参数，具体为：

对于任意一个所述滑动窗口，根据所述滑动窗口和第二窗口的灰度的均值、方差以及协方差，计算所述滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数；

根据所述滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数计算结构相似参数。

3.根据权利要求2所述的盲元校正方法，其特征在于，所述两度比较函数的计算公式为：

所述对比度函数的计算公式为：

所述结构比较函数的计算公式为：

其中，u表示滑动窗口，v表示第二窗口，C₁，C₂，C₃是三个极小值，μ_u，μ_v分别为滑动窗口与第二窗口的灰度均值，σ_u，σ_v分别为滑动窗口与第二窗口的灰度的方差，σ_uv为滑动窗口与第二窗口的灰度的协方差。

4.根据权利要求3所述的盲元校正方法，其特征在于，所述根据所述动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数计算结构相似参数，具体为：

根据滑动窗口与所述第二窗口间的两度比较函数、对比度函数以及结构比较函数计算结构相似度，所述结构相似度的表达式为：

SSIM(u,v)＝l^α(u,v)c^β(u,v)s^γ(u,v)

其中，α、β和γ分别为调节参数；

根据公式计算结构相似参数。

5.根据权利要求1所述的盲元校正方法，其特征在于，根据以下公式计算每个滑动窗口与所述第二窗口间的空间距离：

其中，u_x和u_y分别为滑动窗口u的中心像素的x轴坐标和y轴坐标；v_x和v_y分别为第二窗口v的中心像素的x轴坐标和y轴坐标。

6.根据权利要求1所述的盲元校正方法，其特征在于，根据以下公式计算滑动窗口与第二窗口间的权重：

其中，S_u,v为滑动窗口u与第二窗口v间的结构相似参数，d_u,v为滑动窗口u与第二窗口v间的空间距离，h_d为衰减参数。

7.根据权利要求1所述的盲元校正方法，其特征在于，所述根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正，具体为根据以下公式对所述盲元点的灰度进行校正：

其中，X(i₀,j₀)为盲元点校正后的灰度，(i₀,j₀)为盲元点在图像中的坐标，x(i₀,j₀)为盲元点校正前的灰度，U为第一窗口中滑动窗口的集合，w_u,v为滑动窗口u与第二窗口v间的权重，d_u,v为滑动窗口u与第二窗口v间的空间距离。

8.一种盲元校正装置，其特征在于，包括：

窗口创建模块，用于在图像中以盲元点为中心分别设置第一窗口和第二窗口，所述第一窗口的边长大于所述第二窗口的边长；

权重计算模块，用于在所述第一窗口中创建滑动窗口，计算每个滑动窗口与所述第二窗口间的结构相似参数和空间距离，以获得每个滑动窗口与所述第二窗口间的权重，所述滑动窗口的边长与所述第二窗口的边长相等；

校正模块，用于根据每个滑动窗口与所述第二窗口间的权重、每个滑动窗口与所述第二窗口间的空间距离对所述盲元点的灰度进行校正。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任意一项所述的盲元校正方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的盲元校正方法。