CN115131412B - 多光谱图像融合过程中的图像处理方法 - Google Patents

Abstract

本申请实施例提出了多光谱图像融合过程中的图像处理方法，包括获取源图像I和源图像N；对源图像I和源图像N分别进行图像配准；对源图像I和源图像N进行图像配准后的结果进行特征提取；对源图像I和源图像N进行特征提取后的结果进行特征分类；基于特征分类后的结果进行决策级融合。三光融合时序数据技术的发展对电力设备深度学习技术能够有效实现电网设备故障检测，并且在维护的准确性和稳定性方面有了很大的提升。

Description

多光谱图像融合过程中的图像处理方法

技术领域

本申请涉及图像融合领域，尤其涉及多光谱图像融合过程中的图像处理方法。

背景技术

通过不同的传感器获取图像时，虽然是同一个场景进行拍摄，但是由于不同时间段、不通过拍摄距离、不同的拍摄视角等因素的影响，会导致多源传感器拍摄到的图像可能存在移位、拉伸、缩放等空间变换关系，在同一坐标下并没有严格对齐。

发明内容

本申请实施例提出了多光谱图像融合过程中的图像处理方法，通过图像配准实现对同一目标的两幅及以上的图像在空间位置上的对准。

具体的，本申请实施例提出的多光谱图像融合过程中的图像处理方法，包括：

获取源图像I和源图像N；

对源图像I和源图像N分别进行图像配准；

对源图像I和源图像N进行图像配准后的结果进行特征提取；

对源图像I和源图像N进行特征提取后的结果进行特征分类；

基于特征分类后的结果进行决策级融合。

可选的，所述方法包括：

对源图像I和源图像N配准后的结果进行像素级融合。

可选的，所述方法包括：

对源图像I和源图像N像素级融合的结果进行特征提取。

可选的，所述方法包括：

对源图像I和源图像N特征提取后的结果进行特征分类。

可选的，所述方法包括：

对源图像I和源图像N进行特征提取后的结果进行特征融合。

可选的，所述方法包括：

对源图像I和源图像N特征融合后的结果进行特征分类。

可选的，其特征在于，所述特征融合包括：

分别对源图像I和源图像N的数据进行像素变换，得到变换后的结果；

构建变换域融合规则，对变化后的结果进行数学反变换后得到融合图像。

可选的，还包括：

对源图像I和源图像N中的紫外光、红外光和可见光进行多光谱融合。

可选的，还包括：

融合图像的几何校正与预处理：对输入的三光图像根据光学设计和视角变换，包括裁剪、缩放、插值等；

提取图像特征点：通过sift算子对可见与红外图像进行特征点提取；

特征匹配：通过BBF算法进行特征点匹配；

匹配提取与图像叠加：通过配准阀值提取最终的仿射变换矩，并进行图像叠加。

有益效果：

三光融合时序数据技术的发展对电力设备深度学习技术能够有效实现电网设备故障检测，并且在维护的准确性和稳定性方面有了很大的提升。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为多光谱图像融合过程中的图像处理方法的流程示意图；

图2为变换域图像融合的模型；

图3为长短期记忆网络LSTM的网络结构图；

图4为热红外和紫外表征融合至可见光环境背景的示意图。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

本申请实施例提出的多光谱图像融合过程中的图像处理方法，如图1所示，包括：

获取源图像I和源图像N；

对源图像I和源图像N分别进行图像配准；

对源图像I和源图像N进行图像配准后的结果进行特征提取；

对源图像I和源图像N进行特征提取后的结果进行特征分类；

基于特征分类后的结果进行决策级融合。

可选的，所述方法包括：

对源图像I和源图像N配准后的结果进行像素级融合。

可选的，所述方法包括：

对源图像I和源图像N像素级融合的结果进行特征提取。

可选的，所述方法包括：

对源图像I和源图像N特征提取后的结果进行特征分类。

可选的，所述方法包括：

对源图像I和源图像N进行特征提取后的结果进行特征融合。

可选的，所述方法包括：

对源图像I和源图像N特征融合后的结果进行特征分类。

可选的，其特征在于，所述特征融合包括：

分别对源图像I和源图像N的数据进行像素变换，得到变换后的结果；

构建变换域融合规则，对变化后的结果进行数学反变换后得到融合图像。

可选的，还包括：

对源图像I和源图像N中的紫外光、红外光和可见光进行多光谱融合。

可选的，还包括：

融合图像的几何校正与预处理：对输入的三光图像根据光学设计和视角变换，包括裁剪、缩放、插值等；

提取图像特征点：通过sift算子对可见与红外图像进行特征点提取；

特征匹配：通过BBF算法进行特征点匹配；

匹配提取与图像叠加：通过配准阀值提取最终的仿射变换矩，并进行图像叠加。

在实施中，采用不同算法及融合规则对图像进行融合，可以得到不同效果的融合图像。以像素级的融合方法为例，主要有空间域方法、变换域方法和基于多尺度分解的图像融合方法。简单的空间域图像融合就是不考虑源图像各个像素之间的关系，对图像也不作任何的变换，直接对源图像的像素进行取大、取小或者加权平均等处理，最后得到新的图像。这是最简单、最基础的融合方法，运算简单、快速，但是适用范围具有一定的局限性。变换域方法就是将源图像进行数学变换后，在频域上进行融合，再通过逆变换求得融合后的图像，HIS变换法和PCA变换是比较常用的变换域融合方法。

变换域图像融合的模型如图2所示。

电力设备故障会在不同时段在不同谱段上表现出不同程度的特征。例如，高压设备发生电离放电时，空气中的电子不断获得和释放能量，在此过程中，会辐射出一系列不同波长的电磁波，可以通过检测280nm以下波长的紫外线波段来判断局部放电状态，通过观察设备的“电晕”、“电气放电”、以及“电弧”来判断故障位置及放电大小。放电现象通常会伴随着局部温度上升，因此红外热成像波段上可以相继检测出相关设备的热缺陷。同时，结合可见光波段成像可以进一步确定故障设备的类型以及外观缺陷，例如断股、污染、裂纹等。综合多谱段时序数据开展关联数据及时序数据高阶分析，可以提高对设备缺陷的精确诊断和故障预警。

(1)深度学习网络模型

深度神经网络中的循环神经网络RNN对于时序数据的预测效果显著，在时序事件检测及预测任务中都得到广泛的应用。在普通RNN基础上，长短期记忆网络LSTM通过在隐藏层各神经单元中增加记忆单元，使时间序列上的记忆信息可控，每次在隐藏层各单元间传递时通过几个可控门(遗忘门、输入门、候选门、输出门)，可以控制之前信息和当前信息的记忆和遗忘程度，与普通RNN网络相比具有长期记忆功能和可控记忆能力。

所使用的长短期记忆网络LSTM的网络结构图如图3所示。

(2)深度学习核心算法

梯度下降算法是深度学习的核心算法，也是众多机器学习算法中最常用的优化方法。主要包括批量梯度下降法、随机梯度下降法、小批量梯度下降法。批量梯度下降法每次使用全量的训练集样本来更新模型参数，其优点在于每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，但是缺点在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存，并且全量梯度下降不能进行在线模型参数更新。随机梯度下降算法每次从训练集中随机选择一个样本来进行学习，因此每次的学习是非常快速的，并且可以进行在线更新。小批量梯度下降法综合了二者的优点，在每次更新速度与更新次数中间取得一个平衡，每次更新从训练集中随机选择小于总样本数的m个样本进行学习，降低了参数更新的方差，使得更新更加稳定。相对于全量梯度下降，其提高了每次学习的速度。并且其不用担心内存瓶颈从而可以利用矩阵运算进行高效计算。

(3)深度学习实用化技术

考虑到电网设备状态在线感知及故障识别这一任务的特殊性，需要研究深度学习实用化技术以增强系统的可行性及实用性，可以在数据增强、迁移学习、集成学习等方面展开研究。通过对原来数据集进行翻转、旋转、缩放、裁剪、平移、添加噪声等操作来扩大数据集。数据增强可以提高模型的泛化能力，增加噪声数据可以提升模型的鲁棒性。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率，而不用像大多数网络那样从零开始学习，这样可以提高训练的效率和精度，在实际应用中非常重要。在大多数情况下，基本模型本身的性能并不是非常好，可能因为它们具有较高的偏置(例如低自由度模型)，或者方差太大导致鲁棒性不强(例如高自由度模型)，这时可以利用集成学习方法将这些弱学习器的偏置和方差结合起来，从而创建一个强学习器(或集成模型)，从而获得更好的性能。

多光谱融合光学设计方案决定了多光谱数据融合的算法设计。从多光谱融合光学设计可知，可见与紫外融合时，可利用共光路结构进行叠加匹配，通过微调变换矩阵进行精度修正。红外与可见光融合时，由于存在视角差，需要利用图像特征识别进行匹配与融合。

参考多光谱融合光路设计，由于紫外、红外、可见视频的分辨率与视场均不相同，且红外通道与紫外/可见通道不共光轴，因此需要针对以上情况编写视频融合算法。

细化多光谱融合算法设计思路，主要如下:

a)融合图像的几何校正与预处理：对输入的三光图像根据光学设计和视角变换，包括裁剪、缩放、插值等；

b)提取图像特征点：通过sift算子对可见与红外图像进行特征点提取；

c)特征匹配：通过BBF算法进行特征点匹配；

d)匹配提取与图像叠加：通过配准阀值提取最终的仿射变换矩，并进行图像叠加。

图像融合处理方面，首先，将各通道每个时间点采集到的图像数据进行匹配，找到每个通道基本同一时间采集数据。然后，根据每个图像不同对的视场角进行裁剪，截取出适合大小图像，为叠加做准备。接下来，会进行位置匹配，将每个通道对应叠加区域进行选取，挑选出对应部分视频数据。最后，进行叠加，叠加采用加权平均融合算法。最后将处理好合成推向进行存储。显示传输线程主要用于显示、压缩传输已压缩成功图像。

热红外图谱和紫外图谱在视觉上差别较大，因此需要以缺陷的热红外表征方式和紫外表征方式为出发点，综合像素层和特征层图像融合方法，以可见光图像为环境和电气设备的参照，将热红外和紫外表征的参数和图像，有效地融合至可见光环境背景上。具体流程如图4所示。

软件首先进行初始化，建立稳定运行环境。然后通过网络获取检测多通道检测设备获取到的视频并进行缓存。接下来，对获取到图像进行滤波降噪，屏蔽到不需要的或者微弱的干扰信号，同时，对所需特征信号处进行开闭运算，将特征进行锐化处理。再次，对各通道间每图像帧进行匹配运算，获取同一时间点所采集帧并进行标记。最后进行图像的融合处理。在融合处理中，会根据各通道视场角不同进行图像对的裁剪，然后进行位置匹配，最后采用基本叠加算法进行叠加处理。

从业务流程来看，软件需要首先开辟4个线程组，分别用于原始视频获取、视频预处理、图像融合处理、显示传输。对于原始视频获取线程组，它将监听每个通道视频数据的传输，获取到视频数据之后进行识别，按照视频类型进行分别缓存(构建每个通道的视频数据队列)。

视频预处理线程会不断轮询视频获取线程存储队列，判定是否有视频数据已进行存储且未被处理，发现此类视频之后，首先会进行滤波降噪处理。均值滤波算法可以降低图像中存在的随机噪声，然后为突出检测部分特征，对紫外图像会进行腐蚀运算，将特征除噪声进行进一步处理，保证提取特征处边缘平滑，图像骨架连续，在此部分同时进行阈值检测，将不符合阈值部分数据进行舍弃。处理完毕后将各通道图像归并到已处理视频队列，等待融合。

视频预处理线程会不断轮询视频获取线程存储队列，判定是否有视频数据已进行存储且未被处理，发现此类视频之后进行后续处理。

卷积神经网络(CNN)为多层的神经网络结构，一般由卷积层、池化层、全连接层、激活函数等构成。本项目中拟采用卷积神经网络的卷积层和池化层由多个二维平面所构成，而每个平面的像素为构成该平面的神经元。

一般来说卷积神经网络的每一个特征提取层(C层)后都紧跟着该层所对应的激活函数(Relu)、用来减少量化参数的池化层(P层)以及标准化层(N层)，经过五次权值共享卷积特征提取的结构可在保持较少训练参数的情况下保证对输入图像特征提取的敏感度，最终通过两层全连接构架的传统神经网络进行参数整合输出。整个的卷积神经网络架构对输入样本有较高的容错能力。

在环境复杂的电力场景中，多光谱数据智能分析主要分为两个阶段，首先对多光谱数据做提名处理，得到异常发生的谱段，然后再进一步对异常种类进行识别或预测，确定异常的类别。技术路线如下图所示。这种算法框架可以保证比较高的精确度和召回率，可以实时、准确地检测出电力设备的异常，并在一定程度上起到预警作用，因此在电力场景中比较适用。

本项目拟采用多示例学习(Multiple instance learning，MIL)方法来构建算法框架。MIL的思想是将某一个或者几个数据合在一起做一个bag，每个bag有自己的标记。当一个bag的标记为负时，这个bag里面所有样本的标记都是负的。当一个bag的标记为正时，这个bag里面至少有一个样本的标记为正。可以针对这种方法学习得到一个分类器，使得对新输入的样本，可以给出它的正负标记，例如在电力场景中可以具体确定电力设备异常的范围。

由于视频片段是连续的，所以异常的分数也应该是相对平滑的。并且正包中的正样本(异常事件)比例是很低的，因此正包里面的分数应该是稀疏的。可以使用包含稀疏和平滑约束的MIL排序损失来训练模型。主要使用MIL的思路构建训练集合，使用C3D+FC网络来获取异常评分，最后采用提出的MIL排序损失来训练模型，在训练的过程中，挑出正样本中分数最高的和负样本中分数最高的采用hinge-loss形式让他们距离尽可能远，这样可以加快模型的收敛，提高模型精确度。

在经过第一阶段提取得到了异常的视频片段后，第二阶段可以采用C3D或者TCNN两种事件识别算法对异常事件进行具体的分类，可以通过CNN网络对局部的特征进行提取，然后利用LSTM的时序性和记忆能力对异常现象进行全局的识别。

为了能在故障发生早期进行预警，预测异常发展趋势。应用在事件预测方向比较广泛的方法是RNN网络，可以使用下图的残差架构。输入一组设备相关的数据，经过RNN网络得到设备状态的预测，该方法应用了残差的框架，训练起来更容易，可以将预测值直接作为自己的输入，这种方法的优势在于不需要任何调参。在这里使用single gated recurrentunit(GRU)，其中包含1024个神经元。相比于LSTMs计算量更小，在电力场景中对流数据的处理的速度更快。另外，LSTM-3LR，ERD，SRNN也都可以作为时间预测的网络架构。利用RNN网络的时序性对设备状态和使用寿命进行检测，能够极大地减少了设备突发的故障异常带来的损失。

研究基于卷积神经网络的故障分类与智能预警技术，实现端到端的主要设备的典型故障诊断，在故障区域定位的基础上，训练建立多光谱融合时序数据输入与故障类别之间的卷积神经网络模型，实现典型故障分类。分析多光谱时序数据的变化趋势，参照故障样本库中的故障特征图谱，实现安全威胁分析及智能预警。研究多光谱融合时序数据的特征提取和参数自适应方法，通过深度学习方法建立典型故障的特征提取准则。

发生高温和放电等外部变化时，变化的形式是多种多样的，多光谱融合得到的时序数据比较繁杂。这就要求大量的数据样例作为学习的样本以训练模型，然而在实际状况中我们的样本量较少。针对样本量少的问题，为了对模型进行训练，可能存在了两个解决方案：一、使用数据增强技术对样本量进行扩充；二、使用迁移学习方法基于少样本对模型进行训练。所以，将针对样本的扩充以及迁移学习来对模型进行补充训练。另外，异常状况识别对速度有比较严格的要求，所以需要在速度上面对学习算法进行约束。

研究基于卷积神经网络的故障分类与智能预警技术，实现端到端的主要设备的典型故障诊断，在故障区域定位的基础上，训练建立三光融合时序数据输入与故障类别之间的卷积神经网络模型，实现典型故障分类。分析多光谱时序数据的变化趋势，参照故障样本库中的故障特征图谱，实现安全威胁分析及智能预警。研究三光融合时序数据的特征提取和参数自适应方法，通过深度学习方法建立典型故障的特征提取准则。

发生高温和放电等外部变化时，变化的形式是多种多样的，三光融合得到的时序数据比较繁杂。这就要求大量的数据样例作为学习的样本以训练模型，然而在实际状况中我们的样本量较少。针对样本量少的问题，为了对模型进行训练，可能存在了两个解决方案：一、使用数据增强技术对样本量进行扩充；二、使用迁移学习方法基于少样本对模型进行训练。所以，将针对样本的扩充以及迁移学习来对模型进行补充训练。另外，异常状况识别对速度有比较严格的要求，所以需要在速度上面对学习算法进行约束。

基于卷积神经网络硬件实现的目标，对整个网络进行总体方案设计。

从工作流程可以看出，整个卷积神经网络主要分为时序逻辑控制电路、索引地址更新配置电路、网络基本参数本地存储单元、运算系统和响应的缓存结构。

上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (3)

1.多光谱图像融合过程中的图像处理方法，其特征在于，所述方法包括：

获取源图像I和源图像N；

对源图像I和源图像N分别进行图像配准；

对源图像I和源图像N进行图像配准后的结果进行第一特征提取；

对源图像I和源图像N进行第一特征提取后的结果进行第一特征分类；

基于第一特征分类后的结果进行决策级融合；

同时：

对源图像I和源图像N配准后的结果进行像素级融合；

对源图像I和源图像N像素级融合的结果进行第二特征提取；

对源图像I和源图像N第二特征提取后的结果进行特征分类；

对源图像I和源图像N进行第一特征提取后的结果进行特征融合；

对源图像I和源图像N特征融合后的结果进行特征分类；

所述特征融合包括：

分别对源图像I和源图像N的数据进行像素变换，得到变换后的结果；

构建变换域融合规则，对变化后的结果进行数学反变换后得到融合图像。

2.根据权利要求1所述的多光谱图像融合过程中的图像处理方法，其特征在于，还包括：

对源图像I和源图像N中的紫外光、红外光和可见光进行多光谱融合。

3.根据权利要求2所述的多光谱图像融合过程中的图像处理方法，其特征在于，还包括：

融合图像的几何校正与预处理：对输入的三光图像根据光学设计和视角变换，包括裁剪、缩放、插值；

提取图像特征点：通过sift算子对可见与红外图像进行特征点提取；

特征匹配：通过BBF算法进行特征点匹配；

匹配提取与图像叠加：通过配准阀值提取最终的仿射变换矩，并进行图像叠加。