CN116681633B - 一种多波段成像及融合方法 - Google Patents

Abstract

本发明涉及一种多波段成像及融合方法，属于缺陷识别技术，解决了现有技术中图像采集成功率低的问题。方法包括：利用三通道成像单元对目标进行可见光、紫外光、红外光成像，得到可见图像、紫外图像、红外图像；获取可见图像、紫外图像、红外图像的清晰度函数，并基于各图像的图像清晰度函数采用改进的变步长爬山算法获取三通道成像单元的聚焦位置；获取聚焦位置处清晰的可见、紫外、红外图像；基于清晰的可见、紫外、红外图像采用融合算法进行融合，得到融合后的图像。实现了成像图像采集成功率低、图像融合度低的问题。

Description

一种多波段成像及融合方法

技术领域

本发明涉及缺陷识别技术领域，尤其涉及一种多波段成像及融合方法。

背景技术

在现代电力系统中，变电站作为电能传输和分配的重要节点，其安全运行对电网的稳定性和可靠性具有至关重要的作用。然而，变电站设备的缺陷或故障可能会导致电力系统的故障和停电，对社会经济造成严重影响。因此，对变电站设备进行缺陷识别和预测具有重要意义。传统的变电站设备巡检和维护方法主要依靠人工实施，效率低、成本高、易出现漏检或误判等问题。

现有技术中，有采用相机对变电站进行成像，通过获取的图像来识别缺陷的技术，但当运动的距离超出镜头的景深时，图像就会变得模糊不清，聚焦变得不清楚，处于离焦状态，影响对目标的识别和检测。

现有的聚焦算法所需的聚焦时间长，不利于快速跟踪变电站图像，从而不利于缺陷检测。另外，现有技术中在聚焦的过程中，由于成像系统处于变电站周围，成像环境不好，图像往往存在噪声，尤其是红外图像，在图像清晰度函数曲线中除最大峰值外，还有因噪声引起的多个小峰，传统的爬山算法往往将此小峰误认为是顶峰，因而使得聚焦位置不准确，成像不清晰。容易将极大值作为最清晰的位置，从而造成“伪峰值”的状态，进而错过最佳的聚焦位置。

目前对于多波段图像融合方面，采用的主要思想是将图像比喻为金字塔结构，通过分解源图像获得不同频带结构上的子图像。但是传统的金字塔分解过程中会产生采样频率高于信号最高频率两倍，从而影响最终多光谱输出图像融合的细节，使得图像融合度较低。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种多波段成像及融合方法，用以解决现有成像方法及融合方法中聚焦速度慢、由于聚焦位置不准确导致的成像清晰度低、图像融合度低的问题。

本发明实施例提供了一种多波段成像及融合方法，所述方法包括；

利用三通道成像单元对目标进行可见光、紫外光、红外光成像，得到可见图像、紫外图像、红外图像；

获取可见图像、紫外图像、红外图像的清晰度函数，并基于各图像的图像清晰度函数采用改进的变步长爬山算法获取三通道成像单元的聚焦位置；

获取聚焦位置处清晰的可见、紫外、红外图像；

基于清晰的可见、紫外、红外图像采用融合算法进行融合，得到融合后的图像。

可选地，所述三通道成像单元包括可见光成像通道、红外光成像通道和紫外光成像通道；每个成像通道均采用改进的变步长爬山算法获取各成像通道的聚焦位置。

可选地，所述采用改进的变步长爬山算法获取各成像通道的聚焦位置，包括：

S11、获取成像通道当前位置处的图像；

S12、计算图像的清晰度函数值F，控制成像通道向前连续移动两个大步长D，获取每次移动步长后的位置的图像，并计算得到清晰度函数值分别为F1、F2；

S13、判断F、F1、F2是否满足F<F1<F2；

S14、若满足，则退回到步长F所在位置，以小步长d为基准，采用改进的爬山算法精确寻找聚焦位置；若不满足，则将F更新为F1，F1更新为F2，继续向前移动一个大步长D，获取移动后位置的图像，并计算得到清晰度函数值作为F2，返回步骤S13。

可选地，所述采用改进的爬山算法精确寻找聚焦位置，包括：

S21、获取初始位置处的图像，并计算得到图像清晰度函数值F3；

S22、以小步长d向前移动，获取每次移动后的图像并计算清晰度函数值直至移动到一个位置处对应的图像清晰度函数F4小于前一次移动后位置处的清晰度函数；

S23、得到F4后，再继续向前连续移动n个步长，得到每次移动后的图像并计算清晰度函数值F5₁……F5_n；

S24、若F4>F5₁>…>F5_k>…>F5_n,则以更小的步长d0向后移动，直至找到精确的峰值，其中1<k<n，否则转入步骤S22。

可选地，所述清晰度函数可以采用方差函数、Roberts函数或者Sobel算子函数中的任意一种。

可选地，在计算清晰度函数时，在同一成像位置处连续获取N幅图像，计算出每幅图像的清晰度函数值后，计算N幅图像的平均值作为该成像位置处的清晰度函数值，其中所述N取值为2-4。

可选地，在计算每幅图像清晰度函数时，从整幅图像中截取中间位置处的图像，计算中间位置处图像的清晰度函数作为整个图像的清晰度函数值。

可选地，所述融合算法包括：

将清晰的可见、紫外、红外图像均分解为高斯塔；

基于各图像的高斯塔生成各图像的拉普拉斯金字塔；

对可见、紫外、红外图像的拉普拉斯金字塔图像进行融合，得到融合后的各层拉普拉斯金字塔图像；

对融合后的各层拉普拉斯图像，从顶层至底层逐层迭代，得到最终的融合图像。

可选地，采用下述公式进行迭代：

其中，G_n为第n层高斯金字塔，LP_n为第n层拉普拉斯金字塔，是第n+1层图像G_n+1通过内插提高信息采样率后得到4倍放大的图像。

可选地，在得到可见图像、紫外图像、红外图像之后，获取可见图像、紫外图像、红外图像的清晰度函数之前，还包括如下步骤：

对可见图像、紫外图像、红外图像进行场景配准和几何矫正处理，使三波段图像的像素点对齐，保证输出时得到相同的场景信息。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、采用三通道成像单元对目标进行可见光、紫外光、红外光成像，得到可见图像、紫外图像和红外图像；通过对可见、红外、紫外图像清晰度的计算并基于改进的变步长爬山算法获取三通道成像单元的聚焦位置，根据聚焦位置得到清晰成像的可见、紫外、红外图像，并基于此进行融合得到融合后的图像，由此可以达到实现快速聚焦，获得清晰图像的目的。

2、本发明通过采用三通道进行分别对可见光、红外光和紫外光进行成像，并通过计算各波段图像的清晰度函数对各自成像通道单独找聚焦位置，通过聚焦位置找到各通道成像清晰的聚焦位置，实现了各通道分别进行聚焦，三通道互不干扰，保证成像清晰。

3、为了缩短聚焦时间，加快聚焦速度，采用从整幅图像中截取中间位置处的图像，计算中间图像处图像的清晰度函数作为整个图像的清晰度函数值，并在此基础上通过采用改进的变步长爬山算法，通过先采用大步长找到峰值大概位置，在采用小步长的方式精确寻找峰值，同时在精确寻找峰值时采用连续获取多个步长处的清晰度函数值，根据多个清晰度函数值识别出虚假峰值，从而找到真正的峰值，使得得到的聚焦位置更准确。

4、可见、紫外、红外图像融合中，以像素融合的方式，采用拉普拉斯金字塔的模式将图像进行融合，可以有效地去除图像噪声保持图像细节边缘清晰，从而提高输出图像的质量。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中多波段成像及融合方法的流程示意图；

图2为本发明实施例中光学成像组件结构；

附图标记说明：

1-内光学镜筒；2-外螺纹；3-外光学镜筒；4-传动齿。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种多波段成像及融合方法，如图1所示。所述方法包括：

利用三通道成像单元对目标进行可见光、紫外光、红外光成像，得到可见图像、紫外图像、红外图像；

获取可见图像、紫外图像、红外图像的清晰度函数，并基于各图像的图像清晰度函数采用改进的变步长爬山算法获取三通道成像单元的聚焦位置；

获取聚焦位置处清晰的可见、紫外、红外图像；

基于清晰的可见、紫外、红外图像采用融合算法进行融合，得到融合后的图像。

所述三通道成像单元包括可见光成像通道、红外光成像通道和紫外光成像通道；每个成像通道均采用改进的变步长爬山算法获取各成像通道的聚焦位置。

可以理解的，通过三通道成像单元对目标进行可见光、紫外光、红外光成像，并将得到的可见图像、红外图像和紫外图像进行输出。即分别有可见光成像通道、红外光成像通道和紫外光成像通道，每个通道均包括：光学成像组件、调焦组件以及编码器。

根据光学成像组件可以得到相应频段光的成像，以及得到对应的光学图像；可以理解的，可见光成像通道中的成像组件用于生成可见图像，红外光成像通道中的成像组件用于生成红外图像，紫外光成像通道中的成像组件用于生成紫外图像；

调焦组件在电机的带动下可以使调焦组件中光学元件进行移动，从而实现聚焦功能。

其中光学成像组件包括镜筒、以及设置在镜筒内的光学元件；所述光学镜筒包括外光学镜筒和内光学镜筒，所述外光学镜筒还包括内螺纹和传动齿，所述内光学镜筒包括外螺纹，内螺纹与外螺纹相互啮合。

所述调焦组件包括蜗杆、步进电机；所述蜗杆与传动齿啮合，随着步进电机的转动，带动蜗杆与传动齿进行转动，使外光学镜筒进行转动，进一步的内光学镜筒也进行转动，内外光学镜筒通过螺纹伸缩，以此达到镜头运动的目的，得到清晰的像，实现调焦。

通过编码器获取步进电机的当前位置，并与前述的调焦组件进行反馈配合，从而带动成像通道中的光学成像组件向聚焦位置处运动，使得得到三通道清晰的图像。

可以理解的，在获取可见图像、紫外图像、红外图像的清晰度函数之前，还包括如下步骤：

对可见图像、紫外图像、红外图像进行场景配准和几何矫正处理，使可见图像、紫外图像、红外图像的像素点对齐，保证输出时得到相同的场景信息。

可以理解的，本发明采用MCU芯片实现图像清晰度的处理，同时采用MCU芯片进行预处理对初始图像进行场景配准和几何矫正处理，使多路波段图像的像素点对齐，保证输出时得到相同的场景信息。在MCU芯片中采用爬山算法对清晰度评价数据进行计算，进而实现对电机的控制，通过电机的运动，从而调整镜头焦距，使得画面最清晰，完成聚焦。

具体地，对每个通道的图像进行场景配准和几何矫正处理，使多路波段图像的像素点对齐，保证输出时得到相同的场景信息。经过预处理模块处理后的多路图像输入至调焦模块。

在调焦过程中，均需计算图像清晰度值，在基于图像清晰度函数采用改变的变步长爬山算法获取各成像通道的聚焦位置。

具体地，采用方差函数作为清晰度评价函数；

所述方差函数为：

其中，图像中某像素点(x,y)的灰度值为f(x,y)，图像清晰度评价值为K，μ为图像的平均灰度，

其中，M、N是图像尺寸。

在另外的实施例中，所述清晰度函数可以采用方差函数、Roberts函数或者Sobel算子函数中的任意一种。

具体地，清晰度评价函数还可以选择能量梯度函数方式将图像水平和垂直方向相邻的像素点的灰度值作差，在进行平方运算，然后将多个平方差运算的和作为评价值。还可以选择Roberts函数的方式，利用对角线方向像素点灰度值差的平方和作为每个像素点灰度值差的平方和作为每个像素点新的梯度值，所有像素梯度值的累加和即为清晰度值。还可以采用Sobel算子函数的方式以及其他的函数方式进行清晰度计算。

为使获取的清晰度函数值更加准确，避免异常噪声的干扰，优选的，本申请在同一聚焦位置连续获取N幅图像，再计算出每幅图像的清晰度函数值后，计算N幅图像的平均值，作为该聚焦位置处的清晰度函数值；

优选的，N取值为2-4。

进一步的，为缩短聚焦时间，加快聚焦速度，在计算每幅图像的清晰度函数时，从整幅图像中截取中间位置处的图像，计算中间位置处图像的清晰度函数作为整个图像的清晰度函数值。这样能够大大减小计算量，从而加快聚焦速度。

所述采用改进的变步长爬山算法获取各成像通道的聚焦位置，包括：

S11、获取成像通道当前位置处的图像；

S12、计算图像的清晰度函数值F，控制成像通道向前连续移动两个大步长D，获取每次移动步长后的位置的图像，并计算得到清晰度函数值分别为F1、F2；

S13、判断F、F1、F2是否满足F<F1<F2；

S14、若满足，则退回到步长F所在位置，以小步长d为基准，采用改进的爬山算法精确寻找聚焦位置；若不满足，则将F更新为F1，F1更新为F2，继续向前移动一个大步长D，获取移动后位置的图像，并计算得到清晰度函数值作为F2，返回步骤S13。

具体的，所述D>d，即刚开始以大步长寻找峰值大概所在的范围，找到大概的范围后，在该范围内以小步长开始精确查找峰值的准确位置；采用上述变步长的算法寻找峰值位置，可以加快聚焦速度，同时能够保证聚焦精度。

可以理解的，峰值所在位置即为聚焦位置，即成像最清晰的位置。

由于红外光图像自身的噪声原因，在爬山过程中中容易产生多个小峰的状态，尤其是在小步长爬山时，传统的爬山算法容易被小峰所欺骗，认为找到的小峰即为聚焦位置，从而容易使得聚焦失败，因此针对这个问题，本发明在进行小步长精确搜索时采用改进的爬山算法。

所述采用改进的爬山算法精确寻找聚焦位置，包括：

S21、获取初始位置处的图像，并计算得到图像清晰度函数值F3；

S22、以小步长d向前移动，获取每次移动后的图像并计算清晰度函数值直至移动到一个位置处对应的图像清晰度函数F4小于前一次移动后位置处的清晰度函数；

S23、得到F4后，再继续向前连续移动n个步长，得到每次移动后的图像并计算清晰度函数值F5₁……F5_n；

S24、若F4>F5₁>…>F5_k>…>F5_n,则以更小的步长d0向后移动，直至找到精确的峰值，其中1<k<n，否则转入步骤S22。

具体的，所述n的值根据红外图像噪声引起的小峰形状进行设定，一般取n为2-3；

具体的，d0<d<D。

以n＝2为例，当找到F4对应的位置后，由于该位置处清晰度函数下降了，说明F4对应的位置之前有一个峰值，为验证该峰值是否是真正的峰值，再继续向前移动两个步长，得到两个步长处的图像清晰度函数F5₁、F5₂，如果两个步长处的清晰度函数与F4相比，逐步下降，即存在F4>F5₁>F5₂，说明该峰值是真正要找的峰值，然后以一个更小的步长d0向相反方向移动，即返回去找到具体的峰值位置。如果不满足F4>F5₁>F5₂，例如存在如下情形F4>F5₂>F5₁或者F5₂>F5₁>F4，则说明该峰值为小峰值，并不是真正要找的顶峰。

可以理解的，每移动一个步长，都需要记录当前步进电机的位置，电机根据当前设置的步长以及电机当前所处的位置控制电机运动，电机带动调焦组件内的光学元件移动到特定位置处；各成像通道均达到聚焦位置后，在聚焦位置处获取的可见图像、红外图像以及紫外图像即为成像清晰的图像。

根据在聚焦位置处得到的清晰的可见图像、红外图像以及紫外图像通过融合算法进行融合，所述融合算法包括：

将清晰的可见、紫外、红外图像均分解为高斯塔；

基于各图像的高斯塔生成各图像的拉普拉斯金字塔；

对可见、紫外、红外图像的拉普拉斯金字塔图像进行融合，得到融合后的各层拉普拉斯金字塔图像；

对融合后的各层拉普拉斯图像，从顶层至底层逐层迭代，得到最终的融合图像。

具体地，在将清晰的可见、紫外、红外图像进行融合时，采用ARM芯片完成，首先在融合前，采用ARM芯片对三波段图像进行异步隔离，将每个通道的图像统一成与AMR芯片内部时钟域相同的波段，再利用融合算法将待融合的图像进行细节层的提取以及采样，进行融合处理。

具体的，所述融合算法具体为：

S31、将清晰的可见、紫外、红外图像均分解为高斯塔；

由于拉普拉斯金字塔是由高斯塔进化来的，因此须先对图像进行高斯塔处理。将输入的初始图像G₀作为高斯塔的最底层，对G₀进行高斯低通滤波与间隔行列的下采样，这样就得到了高斯塔G₀的上一层G₁，再对G₁进行高斯低通滤波与间隔行列的降采样，得到了G₁的上一层，以此方式不断进行滤波采样，便形成了高斯塔。第n层高斯塔可表示为

G_n(i,j)＝w(2i,2j,σ)*G_n-1(2i,2j)

其中1≤n≤N为金字塔层数，(i,j)为图像像素点坐标，*代表卷积算子，w(2i,2j,σ)代表方差σ的高斯核算子。

S32、基于各图像的高斯塔生成各图像的拉普拉斯金字塔；

因此将图像分解为高斯塔后，令第n层拉普拉斯金字塔为式中0≤n≤N，当n＝N时，则LP_N＝G_N。

其中，是第n层图像G_n通过内插提高信息采样率后得到4倍放大的图像/>的图像大小与G_n的上一层图像G_n-1大小一致，/>与G_n图像大小相同。

初始红外图像I_IR，可见光图像I_CCD与紫外光图像I_UV分别经过拉普拉斯金字塔分层处理后得到了第n层图像LP_IR(n)、LP_CCD(n)、LP_UV(n)，经过图像金字塔融合输出后的图像为LP_DIS(n)。

S33、对可见、紫外、红外图像的拉普拉斯金字塔图像进行融合，得到融合后的各层拉普拉斯金字塔图像；

当n＝N时，融合后的第N层拉普拉斯金字塔为三通道图像第N层拉普拉斯金字塔图像中梯度最大的通道图像；即LP_IR(N)、LP_CCD(N)、LP_UV(N)分别为初始红外图像I_IR，可见光图像I_CCD与紫外光图像I_UV经过图像的金字塔分层处理输出后的最顶层的图像。

即图像采用下列公式进行融合：

其中，g为像素点周围邻域窗口中的区域平均梯度。

当0≤n≤N时，经过金字塔分层分解后的第n层图像，需采用基于非线性双边滤波器选择区域能量最大的通道图像的第n层图像作为融合后的第n层拉普拉斯金字塔图像。

红外图像I_IR，可见光图像I_CCD与紫外光图像I_UV各个图像的区域能量为：

其中，G(p,q)为以相邻近的像素距离为参数的高斯滤波组件，G[LP_CCD(i,j,n)-LP_CCD(i+p,j+q,n)]为以灰度相似距离为参数的高斯滤波组件，且该组件的窗口大小不同，因此此时的图像融合策略为：

S34、对融合后的各层拉普拉斯图像，从顶层至底层逐层迭代，得到最终的融合图像。

具体的，根据如下公式进行迭代：

其中，G_n为第n层高斯金字塔，LP_n为第n层拉普拉斯金字塔，与G_n图像大小相同。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种多波段成像及融合方法，其特征在于，所述方法包括：

利用三通道成像单元对目标进行可见光、紫外光、红外光成像，得到可见图像、紫外图像、红外图像；

获取可见图像、紫外图像、红外图像的清晰度函数，并基于各图像的图像清晰度函数采用改进的变步长爬山算法获取三通道成像单元的聚焦位置；

所述采用改进的变步长爬山算法获取各成像通道的聚焦位置，包括：

S11、获取成像通道当前位置处的图像；

S12、计算图像的清晰度函数值F，控制成像通道向前连续移动两个大步长D，获取每次移动步长后的位置的图像，并计算得到清晰度函数值分别为F1、F2；

S13、判断F、F1、F2是否满足F<F1<F2；

S14、若满足，则退回到步长F所在位置，以小步长d为基准，采用改进的爬山算法精确寻找聚焦位置；若不满足，则将F更新为F1，F1更新为F2，继续向前移动一个大步长D，获取移动后位置的图像，并计算得到清晰度函数值作为F2，返回步骤S13；

所述采用改进的爬山算法精确寻找聚焦位置，包括：

S21、获取初始位置处的图像，并计算得到图像清晰度函数值F3；

S22、以小步长d向前移动，获取每次移动后的图像并计算清晰度函数值直至移动到一个位置处对应的图像清晰度函数F4小于前一次移动后位置处的清晰度函数；

S23、得到F4后，再继续向前连续移动n个步长，得到每次移动后的图像并计算清晰度函数值F5₁……F5_n；

S24、若F4>F5₁>…>F5_k>…>F5_n,则以更小的步长d0向后移动，直至找到精确的峰值，其中1<k<n，否则转入步骤S22；

获取聚焦位置处清晰的可见、紫外、红外图像；

基于清晰的可见、紫外、红外图像采用融合算法进行融合，得到融合后的图像；

所述融合算法包括：

将清晰的可见、紫外、红外图像均分解为高斯塔；

基于各图像的高斯塔生成各图像的拉普拉斯金字塔；

对可见、紫外、红外图像的拉普拉斯金字塔图像进行融合，得到融合后的各层拉普拉斯金字塔图像；

对融合后的各层拉普拉斯图像，从顶层至底层逐层迭代，得到最终的融合图像。

2.根据权利要求1所述的多波段成像及融合方法，其特征在于，所述三通道成像单元包括可见光成像通道、红外光成像通道和紫外光成像通道；每个成像通道均采用改进的变步长爬山算法获取各成像通道的聚焦位置。

3.根据权利要求1所述的多波段成像及融合方法，其特征在于，所述清晰度函数采用方差函数、Roberts函数或者Sobel算子函数中的任意一种。

4.根据权利要求1所述的多波段成像及融合方法，其特征在于，在计算清晰度函数时，在同一成像位置处连续获取N幅图像，计算出每幅图像的清晰度函数值后，计算N幅图像的平均值作为该成像位置处的清晰度函数值，其中所述N取值为2-4。

5.根据权利要求1所述的多波段成像及融合方法，其特征在于，在计算每幅图像清晰度函数时，从整幅图像中截取中间位置处的图像，计算中间位置处图像的清晰度函数作为整个图像的清晰度函数值。

6.根据权利要求1所述的多波段成像及融合方法，其特征在于，采用下述公式进行迭代：

其中，G_n为第n层高斯金字塔，LP_n为第n层拉普拉斯金字塔，是第n+1层图像G_n+1通过内插提高信息采样率后得到4倍放大的图像。

7.根据权利要求1所述的多波段成像及融合方法，其特征在于，

在得到可见图像、紫外图像、红外图像之后，获取可见图像、紫外图像、红外图像的清晰度函数之前，还包括如下步骤：

对可见图像、紫外图像、红外图像进行场景配准和几何矫正处理，使三波段图像的像素点对齐，保证输出时得到相同的场景信息。