CN114581354A - 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法 - Google Patents

Abstract

本发明提供了一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法。该方法首先对图像的形式化描述；其次对两不同传感器相同采样时间获取的原始图像进行图像分解，得到原始图像的背景的细节两个子图像；再次对分解得到的细节层和背景层分别时空特征相似性分析，有效区分两个细节层之间和两个背景层之间的互补与冗余特征，确定图像在下一步融合时的重要程度系数；再次实现对背景层和细节层的分别融合；之后进行图像细节层与背景层的叠加融合，实现图像重构。最后、向后滑动处理图像位置，并重复进行图像分解、融合和重构几个步骤，直至融合完所有的图像帧，实现巷道顶板变形时间维动态演化过程图像融合。

Description

一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道 顶板变形图像融合方法

技术领域

本发明是应用于矿山掘进工作面全监控系统的巷道顶板变形时间维动态演化过程中，一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，属于多源运动图像融合领域，尤其涉及利用多卷积稀疏表示对运动图像进行跨尺度变换解译和融合恢复，实现了对矿山安全监控系统获取的图像特征信息的融合分析、同时提出去除图像传递信号冗余、丰富图像信息的方案。

技术背景

在煤矿工作面回采过程中，在临近采空区侧掘进巷道常常受到工作面回采产生的支撑压力影响，围岩变形严重。尤其是在坚硬顶板的地质条件下，工作面的推进导致产生大面积的悬顶，大面积悬顶及其突然破断产生冲击载荷及顶板大面积来压，对工作面和巷道支护产生严重威胁。尤其是对于大采高工作面，煤层顶板倘若发生大面积的断裂现象时，不仅会对回采巷道产生冲击破坏，还会导致保护煤柱发生失稳以及煤柱内巷道发生大形变。因此，需对采空去侧掘进巷道变形情况进行实时监控。

特征相似性是一种描述图像之间相关性的度量，一般通过两幅图像的灰度信息计算相关值，可以用于区分图像之间的互补和冗余区域。特征相似性有相位一致性和图像梯度能量两部分组成。相位一致性和图像梯度能量分别描述了图像的结构特征和对比度特征，反映了人类视觉系统对环境感知的不同方面。特征相似性采用时间和空间多角度结合的方式，度量多传感器运动图像之间的互补冗余信息。

卷积稀疏表示图像变换方法常被应用于可见光图像和红外光图像的融合，用于解决红外传感器与可见光传感器所成图像的互补性。采用多卷积系数表示方法进行图像的融合，可以最大程度的地结合两种图像类型的优点，达到弥补传感器的固有缺陷，消除图像冗余增强图像互补信息的目的。

本发明依托于多卷积稀疏表示图像处理技术并对图像进行特征相似性的综合分析，提出矿山掘进巷道顶板变形图像融合方法，目的是从不同模态类型的传感器运动图像中抽取互补信息，保持尽可能多的有用的时空融合信息到融合图下方序列中，有效提高目标场景的融合质量，同时避免融合运动图像序列出现冗余信息，保持融合序列的实践稳定性和一致性，实现对于矿井内安全监控系统获取的视频图像进行分析，对于井内掘进巷道顶板变形监测具有重要意义。通过融合不同模态的多传感器获取的同一场景的运动图像序列，可以获取到比单一传感器更加完整清晰连续的目标场景图像序列。本发明在采用特征相似性分析和多层卷积稀疏表示对图像进行跨尺度分析、变换和融合，与常规的单层卷积稀疏表示先比在融合质量上表现出较大优势。

发明内容

本发明要解决的技术问题是：本发明提供一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，构建了一种新的对于多传感器获取的运动图像序列的高精度融合方法，实现对矿山不安全行为监控系统所获取的图形进行融合分析，为后期进一步实现图像识别提供高精度的数据。

本发明技术方案是：该方法首先定义时间变量,传感器采样间隔，运动图像初始位置，以及每一帧之间间隔为采样间隔等变量,将运动图像序列视为m张A×B静态图像集合，实现对图像的形式化描述；其次应用L₀梯度最小化方法对两不同传感器相同采样时间获取的原始图像进行图像分解，得到原始图像的背景的细节两个子图像；再次基于图像特征相似性分析方法，确定图像在融合时的重要程度系数；然后基于多卷积稀疏表示基本原理，实现对初步融合得到的背景层和细节层的叠加，实现图像重构。最后、向后滑动处理图像位置，并重复进行图像分解、融合和重构几个步骤，直至融合完所有的图像帧，实现巷道顶板变形时间维动态演化过程图像融合。

所述方法的具体步骤如下：

Step1、定义时间变量t,传感器采样间隔T，运动图像初始位置t＝0，往后每一帧之间间隔为采样间隔T,于是将运动图像序列视为m张A×B静态图像集合。这个主要是通过时间和空间两个维度的联合描述，对矿山安全监控系统采集的矿山掘进工作面的巷道顶板变形监控图像实现了形式上的表达。

Step2、应用L₀梯度最小化方法对原始图像进行图像分解，得到原始图像的背景的细节两个子图像：

Step2.1利用L₀梯度最小化的平滑滤波方法对已配准的图像G₁和G₂进行平滑处理，处理后的图像序列B₁和B₂分别为G₁和G₂的背景层序列：

B_i＝L_0，GMS(G_i),i＝1，2. (1)

式中，L_0,GMS(S_i)表示对原图像进行L₀梯度最小化图像分解；

Step2.2由得到的背景层序列构造细节层D₁和D₂:

D_i＝G_i-B_i,i＝1,2. (2)

作为本方法的进一步方案，所述步骤Step 2.1 中：

首先将图像分为包含整体特征和大边缘的背景层和富含大量纹理细节的细节层，该分解方法可以有效保留源图像的边缘信息，便于后续融合策略的制定及融合图像边缘的保持。图像在每一点的梯度定义为相邻像素点分别在x和y方向的差值，即

L₀梯度定义为：

其中#{}为满足

的计数式子，即像素点S_q梯度的L₀范数，图像平滑的目标函数为:

式中，S和I分别为输入图像和输出图像，S_q和I_q分别为图像中的一个像素点，λ为平滑参数，当式中λ＝0时，输出图像与输入图像相同。

Step3、对两幅原始图像经过L₀梯度最小化处理得到的背景层B₁和B₂进行时空特征相似性分析，有效区分两个背景层之间互补与冗余特征，确定图像在下一步融合时的重要程度系数。

图像的特征相似性通过两个主要的因素来衡量，一个是相位一致性，另一个是图像梯度能量。相位一致性就是图像的一种映射，对于输入的图像帧B₁和B₂,将其定义为：

B_i＝f_i(x_i,y_i,t_i),i＝1,2. (5)

其中(x,y)表示位置，t表示帧数。使用二维log-Gabor滤波器与进行卷积计算，生成尺度为n,方向为o的正交向量[e_n,o(x_i,y_i,t_i),o_n,o(x_i,y_i,t_i)],i＝1,2.，这个正交信号的局部振幅定义为：

在位置(x_i,y_i,t_i)的相位一致性定义为

其中，ε是小的正常数，PC的取值在0～1之间，PC越接近1，结构特征越显著。

图像梯度描述了图像的对比度特征，采用卷积掩膜计算，常用的梯度算子有Sobel算子、Prewitt算子和Scharr算子。通过比较，采用八方向Sobel可以同时在水平、和对角线方向进行图像梯度能量(G_a,G_b,G_c,G_d,G_e,G_f,G_g,G_h)的刻画，从而更好的表达图像的对比度特征。八方向Sobel算子定义如下：

输入图像帧f(x,y,t)的梯度能量定义为：

两个输入序列中的对应图像信号f₁(x₁,y₁,t₁)和f₂(x₂,y₂,t₂)的特征相似性指数用于反应两给图像之间的相似性程度，其计算可分为两个阶段：在第一个阶段分别进行相位相似度和图像梯度能量相似度的计算，首先定义相位相似度函数为：

其中，T₁是一个正常数，用于增加图像的结构相似性。

其次，定义图像能量相似度函数为：

其中，G₁和G₂表示两个图像的GM值，T₂是一个正常数，取决于GM的动态范围。

第二阶段，首先通过相位相似度和图像梯度能量相似度计算两图像相似度，定义相似度函数为：

S_L(x,y,t)＝[S_PC]^α·[S_GM]^β (11)

α和β表示在特征性相似性的衡量中，两个要素PC和GM的相对重要性参数，不考虑其他复杂罂粟的影响，默认α＝β＝1.

其次，定义特征相似度函数，实现对图像特征相似度的度量：

其中，PC_m(x,y,t)＝max(PC₁(x,y,t),PC₂(x,y,t))，用于加权S_L(x,y,t)在总的相似性度量中的重要性，Ω表示整个图像的范围。

SFIM指标有效的反应了两个细节图像之间的相似性，能够用于区分冗余和互补区域。在0～1之间定义与之δ，这里取δ＝0.7.满足SFIM≥δ的区域具有高度相似性，也就是图像之间存在冗余信息，，采用加权平均的方法确定图像在融合时的重要程度系数，以充分保留图像中的重要信息，降低噪声和冗余信息。反之则说明图像相似性不高，存在大量互补信息，在融合时两个的重要程度系数ρ均取值为1.

Step4、对两幅原始图像经过L₀梯度最小化处理得到的细节层D₁和D₂进行时空特征相似性分析，有效区分两个细节层之间互补与冗余特征，确定图像在下一步融合时的重要程度系数。

定义两个细节层D₁和D₂为：

D_i＝g_i(x_i,y_i,t_i),i＝1,2. (13)

按照步骤Step3所述流程，分别计算输入图像D₁和D₂的PC、GM、SL、SFIM.确定图像在融合时的重要程度系数，此处不再赘述。

Step5、基于多卷积稀疏表示基本原理，求解细节和背景基于多卷积稀疏表示方法的形式化表现形式；

给定输入图像I∈R^A×B，对应与K层的卷积字典

以及一组向量λ＝[λ₁,λ₂,...,λ_K].

应用多卷积稀疏表示方法，可以将任意图像表示为卷积字典滤波器以及与之对应的卷积稀疏响应图表，多卷积稀疏表示的函数定义为：

式中λ为稀疏正则项。

由于卷积稀疏表示S可被视为张大小为A×B的图像集合，S中的每一张卷积稀疏响应图可以进一步的被另一个卷积字典滤波器F′∈R^{a′×b′×m′}和与之对应的卷积稀疏响应图表示第K层的卷积稀疏响应图

第一层：

第二层：

第三层：

…

第K层：

假设第p层的卷积字典滤波器为

计算卷积稀疏响应图的目标函数表示为：

将(19)式化简为：

s.t

可通过交替方向乘子算法进行求解,过程如下：

将(29)式引入辅助变量u通过迭代的算法进行优化:

定义变量I,

在傅里叶域对应的变量为

先将(21)式转化为(24)所示，再引入傅里叶变量转化为(25)式

定义

如下：

将(25)式转化为(27)式

从而，所需求解的卷积稀疏频率域可表示为：

Step6、图像融合框架的构建，实现对背景层和细节层的融合:

对于通过L₀梯度最小化图像分解得到的两个背景层B₁和B₂所设计的图像融合网络共包含五层卷积稀疏表示，采用前馈的方式实现多源图像的融合。网络的第1、2层为卷积稀疏层，通过预先训练的多层字典滤波器将源图像变换成一组卷积稀疏响应图。网络的第三层为融合层，通过对活性度衡量以获得卷积稀疏响应图的融合结果。网络的第4、5层为重建层，通过融合后的卷积稀疏响应图结合预先训练的多层字典滤波器实现融合图像的重建。

在第1、2层的卷积稀疏层，给定对应于两层的预训练卷积字典

和向量λ＝[λ₁,λ₂],对应于两层的稀疏响应可表示为

然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

其中，

表示

在位置(a,b)处的元素值。

最终，第4、5层的重建层利用预先训练的卷积字典逐层的重建恢复融合图像，第4层重建过程表示为：

第5层重建过程表示为：

Step7、细节层融合框架的构建，实现对细节层的融合。

与步骤Step6同理，对于通过L₀梯度最小化图像分解得到的两个细节层D₁和D₂所设计的图像融合网络共包含五层卷积稀疏表示。

在第1、2层的卷积稀疏层，给定对应于两层的预训练卷积字典

和向量μ＝[μ₁,μ₂],对应于两层的稀疏响应可表示为

然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

其中，

表示

在位置(a,b)处的元素值。

最终，第4、5层的重建层利用预先训练的卷积字典逐层的重建恢复融合图像，第4、5层重建过程表示为：

Step8、图像细节层与背景层的融合，实现该采样时间点图像的图像重构。

根据公式

I^F＝L_0,GMS(I),i＝1,2. (39)

I＝I^F+I^F',i＝1,2. (40)

式中，L_0,GMS(O)表示对图像进行L₀梯度最小化图像分解,通过其逆变换可实现图像重构。

卷积稀疏表示实现初步融合的背景层和细节层进行梯度最小化分解逆变换，进行细节层和背景层的最终融合，完成图像重构。

Step9、向后滑动当前处理的采样时间点，重复步骤Step1到步骤Step8，直至融合完所有图像采样点，最终获得完整采样时段内监控系统视频图像的处理。

本发明的有益效果是：本发明通过多卷积稀疏表示融合框架的构建，形成了矿井掘进巷道安全监控系统数据处理的新方法，有效的解决了对于矿井工作面顶板变形监控系统图像清晰度提高和信息融合的问题。融合后的图像将更加适应人的视觉感知同时也会更加符合它在矿山掘进工作面监控系统的应用需求。

附图说明

图1为本发明的流程图；

图2为多卷积稀疏表示的融合框架图。

具体实施过程：

下面为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施过程的技术方案进行清楚、完整地描述。

传统图像融合过程中，对多传感器所获得的信息进行处理一定程度上会增加图像融合耗时。本发明提出一种新的方法和思路，稀疏表示很好的解决了图像处理时耗较大这一问题，同时融合提高了图像之间的相关性，图像所呈现的信息更加全面和清晰，这将使得基于融合图像的图像识别和图像分类更加迅速。

卷积稀疏表示图像变换方法常被应用于可见光图像和红外光图像的融合，用于解决红外传感器与可见光传感器所成图像的互补性。本发明通过图像特征相似性分析和多卷积稀疏表示融合框架的构建，形成了矿井掘进巷道安全监控系统数据处理的新方法，有效的解决了对于矿井工作面顶板变形监控系统图像清晰度提高和信息融合的问题。融合后的图像将更加适应人的视觉感知同时也会更加符合它在矿山掘进工作面监控系统的应用需求。

如图1所示，本发明提供了一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法。主要应用于对矿山安全监控系统采集的矿山掘进工作面的巷道顶板变形动态演化过程的视频图像进行融合分析，达到从不同模态类型的传感器运动图像中抽取互补信息，保持尽可能多的有用的时空融合信息到融合图下方序列中，有效提高目标场景的融合质量的目的。该方法首先定义时间变量,传感器采样间隔，运动图像初始位置，以及每一帧之间间隔为采样间隔等变量,将运动图像序列视为m张A×B静态图像集合，实现对图像的形式化描述；其次应用L₀梯度最小化方法对两不同传感器相同采样时间获取的原始图像进行图像分解，得到原始图像的背景的细节两个子图像；再次基于图像特征相似性分析方法，确定图像在融合时的重要程度系数；然后基于多卷积稀疏表示基本原理，实现对初步融合得到的背景层和细节层的叠加，实现图像重构。最后、向后滑动处理图像位置，并重复进行图像分解、融合和重构几个步骤，直至融合完所有的图像帧，实现巷道顶板变形时间维动态演化过程图像融合。所述方法具体步骤如下：

Step1、定义时间变量t,传感器采样间隔T，运动图像初始位置t＝0，往后每一帧之间间隔为采样间隔T,于是将运动图像序列视为m张A×B静态图像集合。这个主要是通过时间和空间两个维度的联合描述，对矿山安全监控系统采集的矿山掘进工作面的巷道顶板变形监控图像实现了形式上的表达。

Step2、应用L₀梯度最小化方法对原始图像进行图像分解，得到原始图像的背景的细节两个子图像：利用L₀梯度最小化的平滑滤波方法对已配准的图像G₁和G₂进行平滑处理，处理后的图像序列B₁和B₂分别为G₁和G₂的背景层序列：

B_i＝L_0，GMS(G_i),i＝1，2. (1)

式中，L_0,GMS(S_i)表示对原图像进行L₀梯度最小化图像分解；

由得到的背景层序列构造细节层D₁和D₂:

D_i＝G_i-B_i,i＝1,2. (2)

作为本方法的进一步方案，所述步骤Step2中：

首先将图像分为包含整体特征和大边缘背景层和富含大量纹理细节的细节层，该分解方法可以有效保留源图像的边缘信息，便于后续融合策略的制定及融合图像边缘的保持。图像在每一点的梯度定义为相邻像素点分别在x和y方向的差值，即

L₀梯度定义为：

其中#{}为满足

的计数式子，即像素点S_q梯度的L₀范数，图像平滑的目标函数为:

式中，S和I分别为输入图像和输出图像，S_q和I_q分别为图像中的一个像素点，λ为平滑参数，当式中λ＝0时，输出图像与输入图像相同。

Step3、对两幅原始图像经过L₀梯度最小化处理得到的背景层B₁和B₂进行时空特征相似性分析，有效区分两个背景层之间互补与冗余特征，确定图像在下一步融合时的重要程度系数。

图像的特征相似性通过两个主要的因素来衡量，一个是相位一致性，另一个是图像梯度能量。相位一致性就是图像的一种映射，对于输入的图像帧B₁和B2,将其定义为：

B_i＝f_i(x_i,y_i,t_i),i＝1,2. (5)

其中(x,y)表示位置，t表示帧数。使用二维log-Gabor滤波器与进行卷积计算，生成尺度为n,方向为o的正交向量[e_n,o(x_i,y_i,t_i),o_n,o(x_i,y_i,t_i)],i＝1,2.，这个正交信号的局部振幅定义为：

在位置(x_i,y_i,t_i)的相位一致性定义为

其中，ε是小的正常数，PC的取值在0～1之间，PC越接近1，结构特征越显著。

图像梯度描述了图像的对比度特征，采用卷积掩膜计算，常用的梯度算子有Sobel算子、Prewitt算子和Scharr算子。通过比较，采用八方向Sobel可以同时在水平、和对角线方向进行图像梯度能量(G_a,G_b,G_c,G_d,G_e,G_f,G_g,G_h)的刻画，从而更好的表达图像的对比度特征。八方向Sobel算子定义如下：

输入图像帧f(x,y,t)的梯度能量定义为：

两个输入序列中的对应图像信号f₁(x₁,y₁,t₁)和f₂(x₂,y₂,t₂)的特征相似性指数用于反应两给图像之间的相似性程度，其计算可分为两个阶段：在第一个阶段分别进行相位相似度和图像梯度能量相似度的计算，首先定义相位相似度函数为：

其中，T₁是一个正常数，用于增加图像的结构相似性。

其次，定义图像能量相似度函数为：

其中，G₁和G₂表示两个图像的GM值，T₂是一个正常数，取决于GM的动态范围。

第二阶段，首先通过相位相似度和图像梯度能量相似度计算两图像相似度，定义相似度函数为：

S_L(x,y,t)＝[S_PC]^α·[S_GM]^β (11)

α和β表示在特征性相似性给衡量中，两个要素PC和GM的相对重要性参数，不考虑其他复杂罂粟的影响，默认α＝β＝1.

其次，定义特征相似度函数，实现对图像特征相似度的度量：

其中，PC_m(x,y,t)＝max(PC₁(x,y,t),PC₂(x,y,t))，用于加权S_L(x,y,t)在总的相似性度量中的重要性，Ω表示整个图像的范围。

SFIM指标有效的反应了两个细节图像之间的相似性，能够用于区分冗余和互补区域。在0～1之间定义阈值δ，这里取δ＝0.7.满足SFIM≥δ的区域具有高度相似性，也就是图像之间存在冗余信息，，采用加权平均的方法确定图像在融合时的重要程度系数，以充分保留图像中的重要信息，降低噪声和冗余信息。反之则说明图像相似性不高，存在大量互补信息，在融合时两个的重要程度系数ρ均取值为1.

Step4、对两幅原始图像经过L₀梯度最小化处理得到的细节层D₁和D₂进行时空特征相似性分析，有效区分两个细节层之间互补与冗余特征，确定图像在下一步融合时的重要程度系数。

定义两个细节层D₁和D₂为：

D_i＝g_i(x_i,y_i,t_i),i＝1,2. (13)

按照所述流程，分别计算输入图像D₁和D2的PC、GM、SL、SFIM.确定图像在融合时的重要程度系数，此处不再赘述。

Step5、基于多卷积稀疏表示基本原理，求解细节和背景基于多卷积稀疏表示方法的形式化表现形式；

给定输入图像I∈R^A×B，对应与K层的卷积字典

以及一组向量λ＝[λ₁,λ₂,...,λ_K].

应用多卷积稀疏表示方法，可以将任意图像表示为卷积字典滤波器以及与之对应的卷积稀疏响应图表，多卷积稀疏表示的函数定义为：

式中λ为稀疏正则项。

由于卷积稀疏表示S可被视为张大小为A×B的图像集合，S中的每一张卷积稀疏响应图可以进一步的被另一个卷积字典滤波器F′∈R^{a′×b′×m′}和与之对应的卷积稀疏响应图表示第K层的卷积稀疏响应图

第一层：

第二层：

第三层：

…

第K层：

假设第p层的卷积字典滤波器为

计算卷积稀疏响应图的目标函数表示为：

将(19)式化简为：

s.t

可通过交替方向乘子算法进行求解,过程如下：

将(20)式引入辅助变量u通过迭代的算法进行优化:

定义变量I,

在傅里叶域对应的变量为

先将(21)式转化为(24)所示，再引入傅里叶变量转化为(25)式

定义

如下：

将(25)式转化为(27)式

从而，所需求解的卷积稀疏频率域可表示为：

Step6、背景层融合框架的构建，实现对背景层的融合：

对于通过L₀梯度最小化图像分解得到的两个背景层B₁和B₂所设计的图像融合网络共包含五层卷积稀疏表示，采用前馈的方式实现多源图像的融合。网络的第1、2层为卷积稀疏层，通过预先训练的多层字典滤波器将源图像变换成一组卷积稀疏响应图。网络的第三层为融合层，通过对活性度衡量以获得卷积稀疏响应图的融合结果。网络的第4、5层为重建层，通过融合后的卷积稀疏响应图结合预先训练的多层字典滤波器实现融合图像的重建。

在第1、2层的卷积稀疏层，给定对应于两层的预训练卷积字典

和向量λ＝[λ₁,λ₂],对应于两层的稀疏响应可表示为

然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

其中，

表示

在位置(a,b)处的元素值。

最终，第4、5层的重建层利用预先训练的卷积字典逐层的重建恢复融合图像，第4层重建过程表示为：

第5层重建过程表示为：

Step7、细节层融合框架的构建，实现对细节层的融合。

与步骤三同理，对于通过L₀梯度最小化图像分解得到的两个细节层D₁和D₂所设计的图像融合网络共包含五层卷积稀疏表示。

在第1、2层的卷积稀疏层，给定对应于两层的预训练卷积字典

和向量μ＝[μ₁,μ₂],对应于两层的稀疏响应可表示为

然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

其中，

表示

在位置(a,b)处的元素值。

最终，第4、5层的重建层利用预先训练的卷积字典逐层的重建恢复融合图像，第4、5层重建过程表示为：

Step8、图像细节层与背景层的融合，实现该采样时间点图像的图像重构。

根据公式

I^F＝L_0,GMS(I),i＝1,2. (39)

I＝I^F+I^F',i＝1,2. (40)

式中，L_0,GMS(I)表示对图像进行L₀梯度最小化图像分解,通过其逆变换可实现图像重构。

卷积稀疏表示实现初步融合的背景层和细节层进行梯度最小化分解逆变换，进行细节层和背景层的最终融合，完成图像重构。

Step9、向后滑动当前处理的采样时间点，重复步骤一到步骤八，直至融合完所有图像采样点，最终获得完整采样时段内监控系统视频图像的处理。

多源图像融合是一个包括信息融合和图像处理的课题，它受环境等因素影响很大，例如可能出现图像的模糊或者扭曲等问题，本法明并未考虑这些因素的影响，该方法仅适用于已经过配准处理的图像，对于图像的处理还存在一定的局限性。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:首先定义时间变量,传感器采样间隔，运动图像初始位置，以及每一帧之间间隔为采样间隔等变量,将运动图像序列视为m张A×B静态图像集合，实现对图像的形式化描述；其次应用L₀梯度最小化方法对两不同传感器相同采样时间获取的原始图像进行图像分解，得到原始图像的背景的细节两个子图像；再次基于特征相似性分析的基本原理，确定图像融合时的重要程度系数；然后基于多卷积稀疏表示基本原理，实现对初步融合得到的背景层和细节层的叠加，实现图像重构；最后、向后滑动处理图像位置，并重复进行图像分解、融合和重构步骤，直至融合完所有的图像帧，实现巷道顶板变形时间维动态演化过程图像融合。

2.根据权利要求1所述的采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:所述构建方法的具体步骤如下：

Step1、定义时间变量t,传感器采样间隔T，运动图像初始位置t＝0，往后每一帧之间间隔为采样间隔T,于是将运动图像序列视为m张A×B静态图像集合；

Step2、用L₀梯度最小化方法对原始图像进行图像分解，得到原始图像的背景的细节两个子图像：利用L₀梯度最小化的平滑滤波方法对已配准的图像序列G₁和G₂进行平滑处理，处理后的图像序列B₁和B₂分别为G₁和G₂的背景层序列：

B_i＝L_0，GMS(G_i),i＝1，2. (1)

式中，L_0,GMS(G_i)表示对原图像进行L₀梯度最小化平滑处理；

然后由得到的背景层序列构造细节层D₁和D₂:

D_i＝G_i-B_i,i＝1,2. (2)

Step3、对两幅原始图像经过L₀梯度最小化处理得到的背景层B₁和B₂进行时空特征相似性分析，有效区分两个背景层之间互补与冗余特征，以此得到场景内容更加丰富完整融合背景图像；

Step4、对两幅原始图像经过L₀梯度最小化处理得到的细节层D₁和D₂进行时空特征相似性分析，有效区分两个细节层之间互补与冗余特征，得到图像在融合时的重要程度系数以此确定场景内容更加丰富完整融合细节图像；

Step5、基于多卷积稀疏表示基本原理，求解由基于特征相似性分析融合得到的细节层和背景层的多卷积稀疏表示方法的形式化表现形式；

Step6、图像融合框架的构建，实现对背景层和细节层的融合：

对于通过L₀梯度最小化图像分解得到的两个背景层B₁和B₂所设计的图像融合网络共包含五层卷积稀疏表示；

Step7、细节层融合框架的构建，实现对细节层的融合：

Step8、图像细节层与背景层的融合，实现该采样时间点图像的图像重构；

Step9、向后滑动处理图像位置，即t＝t+T,并重复步骤Step2至步骤Step8，直至融合完所有的图像帧，最终完成完整采样时段内监控系统视频图像的处理。

3.根据权利要求2所述的采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:所述Step5中包括：

应用多卷积稀疏表示方法，能将任意图像表示为卷积字典滤波器以及与之对应的卷积稀疏响应图表，多卷积稀疏表示的函数定义为：

式中λ为稀疏正则项。

4.根据权利要求2所述的采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:所述Step6中包括：

在第1、2层的卷积稀疏层，给定对应于两层的预训练卷积字典

和向量λ＝[λ₁,λ₂]对应于两层的稀疏响应表示为

然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

其中，

表示

在位置(a,b)处的元素值；

最终，在考虑步骤Step4中确定的图像融合时的重要程度系数ρ₁，ρ₂的情况下，第4、5层的重建层利用预先训练的卷积字典逐层的重建恢复融合图像，第4层重建过程表示为：

第5层重建过程表示为：

其中ρ₁，ρ₂为步骤四中确定的图像融合时的重要程度系数。

5.根据权利要求2所述的采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:所述Step7中包括：

与步骤Step6同理，对于通过L₀梯度最小化图像分解得到的两层D₁和D₂设计包含五层卷积稀疏表示的图像融合网络；

给定对应于1、2两层的预训练卷积字典

和向量μ＝[μ₁,μ₂],得到对应于1、2两层的稀疏响应，然后通过L₁最大绝对值融合规则来融合第2层卷积稀疏层输出的

和

考虑两幅图像参与融合时的重要程度系数ρ₃和ρ₄最终重建过程表示为：

。

6.根据权利要求5所述的采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法，其特征在于:所述Step8中包括：

通过卷积稀疏表示实现初步融合的背景层和细节层进行L₀梯度最小化分解逆变换，进行细节层和背景层的最终融合，完成图像重构。公式为：

I^F＝L_0,GMS(I),i＝1,2. (11)

I＝I^F+I^F',i＝1,2. (12)

式中，L_0,GMS(I)表示对图像进行L₀梯度最小化图像分解,通过其逆变换可实现图像重构。

Images