CN117611470A - 一种多时相红外图像融合方法、装置和介质 - Google Patents

一种多时相红外图像融合方法、装置和介质 Download PDF

Info

Publication number
CN117611470A
CN117611470A CN202410072231.7A CN202410072231A CN117611470A CN 117611470 A CN117611470 A CN 117611470A CN 202410072231 A CN202410072231 A CN 202410072231A CN 117611470 A CN117611470 A CN 117611470A
Authority
CN
China
Prior art keywords
temporal
pixel
image
elements
bad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410072231.7A
Other languages
English (en)
Other versions
CN117611470B (zh
Inventor
陈亮亮
孙腾骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202410072231.7A priority Critical patent/CN117611470B/zh
Publication of CN117611470A publication Critical patent/CN117611470A/zh
Application granted granted Critical
Publication of CN117611470B publication Critical patent/CN117611470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种多时相红外图像融合方法、装置和介质，该方法对连续时间采集的红外图像序列进行融合，以提供能够反映不同物体温度变化差异的可视化图像；在该方法中，首先读取红外图像序列，并进行图像坏元修复和图像去噪处理；然后利用基于关联度的聚类方法计算多时相图像序列的背景像元，以背景像元为参考计算相对多时相图像序列；最后计算相对多时相图像序列的统计特征并进行归一化处理，获得最后的融合结果。本发明同时参考了当前时刻帧图像的空间邻域信息和相邻时刻帧的时域变化信息，使得被修复的像元具有更准确的时空特征；以最大类中心像元作为参考基线计算相对图像序列，能够压缩大量背景像元的信息并使得小微物体的特征更加显著。

Description

一种多时相红外图像融合方法、装置和介质
技术领域
本发明涉及红外图像处理方法领域，尤其涉及一种多时相红外图像融合方法、装置和介质。
背景技术
红外图像是一种反应物体热辐射强度的信号，它能够在暗光条件下采集物图像信息。通常，红外图像被用于夜间侦察和非接触式的温度测量。但是，单一时刻的红外图像仅仅能够提供物体间热辐射和温度的信息，而气温、天气等其它环境对物体的热辐射和温度的影响较大，因此基于单时刻的红外图像存在一定局限性。而多时相红外图像能够提供一段时间内物体温度的变化信息。比热容是物体的固有物理属性，不同比热容的物体通常在相同环境温度下进行不同趋势的升温或降温。因此多时相物体温度变化能够反应物体比热容的差异，进而提供更准确的场景内容信息。当前，针对红外图像的处理和应用技术主要面向单时刻信号，例如，专利文献CN116128781A公开了一种红外图像处理方法及装置，提出了单时刻图像的背景图像和细节图像的融合方法从而获得细节增强的红外图像；专利文献CN116433540A公开了一种红外图像增强方法及系统，提出单了时刻红外图像的高频信息和低频信息相融合的红外图像增强方法。另一方面，现有多时相图像融合方法大多面向于可见光图像、SAR图像等信号，例如 专利文献CN116167954A公开了一种基于由粗到精框架的单对多时相遥感图像厚云去除方法，提出了对多时相的遥感可见光图像进行由粗到精的融合框架；专利文献CN101694720A公开了一种基于空间关联条件概率融合的多时相SAR图像变化检测方法，提出了利用空间关联性对多时相SAR图像进行融合和变化检测。但是，可见光图像、SAR图像的融合更多关注空间域信息的丰富和精细，本发明的多时相红外图像融合方法则以物体的固有属性为基础生成能够反映不同物体温度变化差异的可视化图像，更多关注红外图像物理属性和时相特征。
发明内容
本发明的目的在于针对现有技术中多时相红外图像融合过程中忽略温度变化差异特征的问题，提供一种多时相红外图像融合方法、装置和介质。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种多时相红外图像融合方法，包括以下步骤：
（1）读取多时相图像序列，根据图像序列对应的采集时间进行均匀时刻的插值，获得均匀时刻图像序列；
（2）基于步骤（1）获得的均匀时刻图像序列，针对图像中坏元的不同类型，分别采用单帧邻域加权插值方法或时空邻域加权插值方法进行坏元修复，然后采用均值滤波进行图像去噪处理；
（3）针对去噪处理后的图像，采用基于关联度的聚类方法计算最大元素数量对应类别的聚类中心元素作为背景中心像元，并以该背景中心像元为参考基线，计算相对多时相图像序列；
（4）针对相对多时相图像序列，计算多时相统计特征的均值、方差和中值，并进行归一化处理；
（5）以归一化处理后的多时相统计特征的均值、方差和中值分别作为R、G和B三通道图像，进行图像融合，并将最终的融合结果进行可视化显示。
进一步地，所述坏元的类型包括第一种坏元和第二种坏元；所述第一种坏元是红外探测器的镜头和传感器造成的坏元，所述第一种坏元存在于所有图像的相同空域位置；所述第二种坏元是某一时刻外部环境干扰红外探测器图像采集导致的坏元，所述第二种坏元存在于部分帧图像中，且位置具有随机性。
进一步地，所述步骤（2）包括以下子步骤：
（2.1）基于步骤（1）获得的均匀时刻图像序列，逐帧检测图像中像素的像素值是否为0，若像素的像素值为0，则该像素为坏元；否则，该像素不为坏元；
（2.2）判断图像序列的所有图像在该坏元位置的像素值是否均为0，若所有图像在该坏元位置的像素值均为0，则该坏元的类型为第一种坏元，执行步骤（2.3）；否则，该坏元的类型为第二种坏元，执行步骤（2.4）；
（2.3）根据坏元的邻域像元使用单帧邻域加权插值方法对图像中的坏元进行修复，修复后的坏元的像素值的计算公式为：
其中，px表示修复后的坏元px的像素值，p0~p7为坏元px的邻域像元的像素值，num(·)表示像素值大于零的像元个数；
（2.4）使用时空邻域加权插值方法对图像中的坏元进行修复，则修复后的t时刻的坏元的像素值的计算公式为：
其中，和/>分别为t-1时刻和t-2时刻的像元的像素值，/>和/>分别表示根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验；
（2.5）重复步骤（2.1）-步骤（2.4），遍历图像序列中所有像元，直至完成修复；
（2.6）使用均值滤波方法对坏元修复后的每一帧图像进行去噪处理，滤波计算公式为：
其中，i和j分别表示像素位于图像的第i行的第j列。
进一步地，所述根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验的计算公式分别为：
其中，表示单个像素的时空先验，/>表示t时刻坏元/>的邻域像素值，n=0,1,2,3,4,5,6,7；
像素的时空先验/>的计算公式为：
其中，表示极小常数。
进一步地，所述步骤（3）包括以下子步骤：
（3.1）基于步骤（2）获取的去噪处理后的图像序列，提取像元在不同时刻的像素值并将其作为该像元的多时相特征向量的初始值，以获取所有像元的多时相特征向量，并根据所有像元的多时相特征向量构建多时相特征向量集合，其中M表示图像共有M个像元，/>表示图像中第1个像元的多时相特征向量；
（3.2）首先从多时相特征向量集合中随机选择1个元素作为类别的中心元素/>，接着从剩余元素中选择距离/>最大的元素作为类别/>的中心元素/>，然后从剩余元素中选择距离/>和/>之和最大的元素作为类别/>的中心元素/>，以此类推，初始化聚类中心元素/>, />, />, ..., />；其中选择中心元素时根据两个元素之间的距离确定；
（3.3）计算多时相特征向量集合中每个元素到K个聚类中心元素的距离，并将元素归类到距离最小的聚类中心元素所对应的类别中；
（3.4）基于步骤（3.3）获得的K个类别中的元素，重新计算每个类别的聚类中心元素，以完成K个类别的聚类中心元素的更新；
（3.5）重复步骤（3.3）-步骤（3.4），直至达到迭代终止条件，迭代终止条件为达到预设的最大迭代次数或者所有元素与其对应的聚类中心元素之间的欧式距离均值小于预设的欧式距离阈值；
（3.6）根据完成聚类后的类别，统计每个类别中的元素数量，获取最大元素数量对应的类别以及该类别对应的聚类中心元素；
（3.7）以步骤（3.6）获取到的最大元素数量对应类别的聚类中心元素为参考，并根据步骤（3.1）获取的所有像元的多时相特征向量计算相对多时相特征向量，获取相对多时相图像序列。
进一步地，所述两个元素之间的距离的计算公式为：
其中，表示元素/>和元素/>之间的距离，/>和/>分别表示/>和/>的均值；T表示图像序列的时间长度，也表示像元多时相特征向量的长度；t为时间长度中的t时刻，也是像元多时相特征向量的索引序号，/>；
所述步骤（3.4）中更新后的聚类中心元素的计算公式为：
其中，表示更新后的类别/>的聚类中心元素，/>表示类别/>中的元素个数；
所述所有元素与其对应的聚类中心元素之间的欧式距离均值的计算公式为：
其中，表示类别/>中的所有元素与其对应的聚类中心元素之间的欧式距离均值。
进一步地，所述步骤（4）包括以下子步骤：
（4.1）根据相对多时相图像序列中每个像元的相对多时特征向量计算每个像元的多时相统计特征的均值、方差和中值；
（4.2）分别对所有像元的多时相统计特征的均值、方差和中值进行归一化处理。
进一步地，所述像元的多时相统计特征的均值、方差和中值的计算公式分别为：
其中，、/>和/>分别表示像元/>的均值、方差和中值，/>表示像元/>在时刻t的像素值，/>表示向下取整，/>表示选取第t个像素值，/>表示降序排序操作；
所述归一化的计算公式为：
其中，表示归一化处理后的矩阵，X为待归一化的矩阵，/>和/>分别表示求解矩阵的最大值和最小值。
本发明实施例第二方面提供了一种多时相红外图像融合装置，包括一个或多个处理器和存储器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的多时相红外图像融合方法。
本发明实施例第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的多时相红外图像融合方法。
本发明的有益效果是，本发明针对多时相红外图像序列中的不同坏元，分别采用单帧邻域加权插值方法和时空邻域加权插值方法进行坏元修复，本发明的时空邻域加权插值方法不仅参考了当前时刻帧图像的空间邻域信息，还参考了相邻时刻帧的时域变化信息，使得被修复的像元具有更准确的时空特征；本发明针对多时相红外图像序列采用一种基于相对图像特征的融合方法，本发明以最大类中心像元作为参考基线计算相对图像序列，能够压缩大量背景像元的信息并使得小微物体的特征更加显著；本发明的多时相红外图像序列的融合结果能够以可视化形式直观展示物体间温度变化的差异。
附图说明
图1是本发明一实施例提供的多时相红外图像融合方法的流程图；
图2是本发明一实施例提供的单帧第一种坏元示意图；
图3是本发明一实施例提供的相邻帧的第二种坏元示意图；
图4是本发明一实施例提供的像元的多时相特征向量示意图；
图5是本发明一实施例提供的多时相图像序列的读取和插帧示意图；
图6是本发明一实施例提供的坏元修复和图像去噪结果示意图；
图7是本发明一实施例提供的原多时相图像帧与相对多时相图像帧的伪彩色显示对比图；
图8是本发明一实施例提供的归一化后的均值、中值和方差的可视化效果图；
图9是本发明一实施例提供的最终的融合结果示意图；
图10是本发明一实施例提供的多时相红外图像融合装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。显而易见地，下面描述中使用的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
参见图1，本发明的多时相红外图像融合方法，具体包括以下步骤：
（1）读取多时相图像序列，根据图像序列对应的采集时间进行均匀时刻的插值，获得均匀时刻图像序列，如图5所示。
（2）基于步骤（1）获得的均匀时刻图像序列，针对图像中坏元的不同类型，分别采用单帧邻域加权插值方法或时空邻域加权插值方法进行坏元修复，然后采用均值滤波进行图像去噪处理。
进一步地，坏元的类型包括第一种坏元和第二种坏元。应当理解的是，红外图像一般存在两种坏元，第一种坏元是红外探测器的镜头和传感器造成的坏元，该类坏元存在于所有红外图像的相同空域位置；第二种坏元是某一时刻外部环境干扰红外探测器图像采集导致的坏元，该类坏元通常存在部分帧图像中，且位置具有随机性。针对两种不同类型的坏元，分别采用单帧邻域加权插值方法或时空邻域加权插值方法进行坏元修复。
（2.1）基于步骤（1）获得的均匀时刻图像序列，逐帧检测图像中像素的像素值是否为0，若像素的像素值为0，则该像素为坏元；否则，该像素不为坏元。
（2.2）判断图像序列的所有图像在该坏元位置的像素值是否均为0，若所有图像在该坏元位置的像素值均为0，则该坏元的类型为第一种坏元，执行步骤（2.3）；否则，该坏元的类型为第二种坏元，执行步骤（2.4）。
（2.3）根据坏元的邻域像元使用单帧邻域加权插值方法对图像中的坏元进行修复：将步骤（2.2）中获得的坏元记为px，其周围的8个像素p0~p7为该坏元px的邻域像元，将邻域像元进行加权求和，其中p0、p2、p5和p7与坏元px的距离为1，加权系数为；其中p1、p3、p4和p6与坏元px的距离为/>，加权系数为/>，以此对图像中的坏元进行修复，得到修复后的坏元px的像素值，其计算公式为：
（1）
其中，px表示修复后的坏元px的像素值，p0~p7为坏元px的邻域像元的像素值，num(·)表示像素值大于零的像元个数，px和p0~p7如图2所示。
（2.4）使用时空邻域加权插值方法对图像中的坏元进行修复，如图3所示，图3为t-1、t和t+1时刻的3帧图像，则修复后的t时刻的坏元的像素值的计算公式为：
（2）
其中，和/>分别为t-1和t-2时刻的像元的像素值，此处/>和/>若为坏元则采用公式（1）进行计算；/>和/>分别表示根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验。
进一步地，根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验的计算公式分别为：
（3）
（4）
其中，表示单个像素的时空先验，/>表示t时刻坏元/>的邻域像素值，n=0,1,2,3,4,5,6,7。
进一步地，像素的时空先验/>的计算公式如下所示：
（5）
其中，num(·)表示像素值大于零的像元个数，如，若像素/>大于0，则/>取值为1，否则/>取值为0；/>表示极小常数，如0.01、0.02等。
（2.5）重复步骤（2.1）-步骤（2.4），遍历图像序列中所有像元，直至完成修复，修复结果如图6所示。
（2.6）使用均值滤波方法对坏元修复后的每一帧图像进行去噪处理，滤波计算公式为：
（6）
其中，i和j分别表示像素位于图像的第i行的第j列。
（3）针对去噪处理后的图像，采用基于关联度的聚类方法计算最大元素数量对应类别的聚类中心元素作为背景中心像元，并以该背景中心像元为参考基线，计算相对多时相图像序列。
（3.1）基于步骤（2）获取的去噪处理后的图像序列，提取像元在不同时刻的像素值并将其作为该像元的多时相特征向量的初始值，以获取所有像元的多时相特征向量，并根据所有像元的多时相特征向量构建多时相特征向量集合，其中M表示图像共有M个像元，/>表示图像中第1个像元的多时相特征向量，例如，图像中的像元pa和像元pb的多时相特征向量的曲线如图4所示。
（3.2）首先从多时相特征向量集合中随机选择1个元素作为类别的中心元素/>，接着从剩余元素中选择距离/>最大的元素作为类别/>的中心元素/>，然后从剩余元素中选择距离/>和/>之和最大的元素作为类别/>的中心元素/>，以此类推，初始化聚类中心元素/>, />, />, ..., />。其中选择中心元素时根据两个元素之间的距离确定。
应当理解的是，多时相特征向量集合中的元素指的是像元的多时相特征向量。
进一步地，两个元素之间的距离的计算公式为：
（7）
其中，表示元素/>和元素/>之间的距离，/>和/>分别表示/>和/>的均值，/>表示多时相特征向量集合中的第/>个元素，也表示图像中第/>个像元的多时相特征向量；T表示图像序列的时间长度，也表示像元多时相特征向量的长度；t为时间长度中的t时刻，也是像元多时相特征向量的索引序号，/>。
应当理解的是，两个元素之间的距离越小，表示这两个元素之间的关联度越大；反之，两个元素之间的距离越大，表示这两个元素之间的关联度越小。
（3.3）根据公式（7）计算多时相特征向量集合中每个元素到K个聚类中心元素的距离，并将元素归类到距离最小的聚类中心元素所对应的类别中。
（3.4）基于步骤（3.3）获得的K个类别中的元素，重新计算每个类别的聚类中心元素，以完成K个类别的聚类中心元素的更新。
进一步地，更新后的聚类中心元素的计算公式为：
（8）
其中，表示更新后的类别/>的聚类中心元素，/>表示类别/>中的元素个数。
（3.5）重复步骤（3.3）-步骤（3.4），直至达到迭代终止条件，迭代终止条件为达到预设的最大迭代次数如1000或者所有元素与其对应的聚类中心元素之间的欧式距离均值小于预设的欧式距离阈值如0.01。
进一步地，所有元素与其对应的聚类中心元素之间的欧式距离均值的计算公式为：
（9）
其中，表示类别/>中的所有元素与其对应的聚类中心元素之间的欧式距离均值。应当理解的是，当根据公式（9）计算出来的欧式距离均值小于预设的欧式距离阈值时，表示聚类已经达到收敛状态了，此时可以停止迭代。
（3.6）根据完成聚类后的类别，统计每个类别中的元素数量，获取最大元素数量对应的类别以及该类别对应的聚类中心元素，记为/>。
应当理解的是，步骤（3.6）的目的是选取最大元素数量对应类别的像元作为图像背景；在获取最大元素数量对应的类别后，可以查询该类别的聚类中心元素，也可以根据公式（8）计算获取到。
（3.7）以步骤（3.6）获取到的最大元素数量对应类别的聚类中心元素为参考，并根据步骤（3.1）获取的所有像元的多时相特征向量计算相对多时相特征向量，获取相对多时相图像序列。
具体地，以最大元素数量对应类别的中心像元为参考，即以该类别对应的聚类中心元素为参考，计算相对时相图像序列，图7展示了原时相图像帧和计算的相对时相图像帧。相对时相图像的每个像元的多时相特征向量更新为，其中m为像元在图像中的索引序号，/>。
（10）
其中，表示图像中第m个像元的相对多时相特征向量，/>表示图像中第m个像元的多时相特征向量。应当理解的是，图像共有M个像元，计算获取所有像元的相对多时相特征向量，即可获取相对多时相图像序列。
（4）针对相对多时相图像序列，计算多时相统计特征的均值、方差和中值，并进行归一化处理，处理结果如图8所示。
（4.1）根据相对多时相图像序列中每个像元的相对多时特征向量计算每个像元的多时相统计特征的均值、方差和中值。
进一步地，像元的多时相统计特征的均值、方差和中值的计算公式分别为：
（11）
（12）
（13）
其中，、/>和/>分别表示像元/>的均值、方差和中值，/>表示像元/>在时刻t的像素值，/>表示向下取整，/>表示选取第t个像素值，/>表示降序排序操作。很容易理解的是，由于/>表示第m个像元的相对多时相特征向量，该相对多时相特征向量是由多个按照时间依次排列的像素值组成的，故/>表示像元/>在时刻t的像素值。
（4.2）分别对所有像元的多时相统计特征的均值、方差和中值进行归一化处理。
进一步地，归一化的计算公式为：
（14）
其中，表示归一化处理后的矩阵，X为待归一化的矩阵，/>和/>分别表示求解矩阵的最大值和最小值。根据所有像元的多时相统计特征的均值、方差和中值分别构建矩阵/>、/>和/>，则归一化的像元均值矩阵、方差矩阵和中值矩阵分别为：/>，/>和。例如，当对所有像元的多时相统计特征的均值进行归一化处理时，X即为待归一化的矩阵/>，归一化处理后的像元均值矩阵为/>。
（5）以归一化处理后的多时相统计特征的均值、方差和中值分别作为R、G和B三通道图像，进行图像融合，并将最终的融合结果进行可视化显示。
应当理解的是，将每个像元的多时相统计特征的均值、方差和中值作为多时相融合特征，即将均值、方差和中值分别作为R、G和B三通道图像，进行图像融合，可以得到最终的融合结果，如图9所示。
与前述多时相红外图像融合方法的实施例相对应，本发明还提供了多时相红外图像融合装置的实施例。
参见图10，本发明实施例提供的一种多时相红外图像融合装置，包括一个或多个处理器和存储器，存储器与处理器耦接；其中，存储器用于存储程序数据，处理器用于执行程序数据以实现上述实施例中的多时相红外图像融合方法。
本发明多时相红外图像融合装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本发明多时相红外图像融合装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图10所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的多时相红外图像融合方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多时相红外图像融合方法，其特征在于，包括以下步骤：
（1）读取多时相图像序列，根据图像序列对应的采集时间进行均匀时刻的插值，获得均匀时刻图像序列；
（2）基于步骤（1）获得的均匀时刻图像序列，针对图像中坏元的不同类型，分别采用单帧邻域加权插值方法或时空邻域加权插值方法进行坏元修复，然后采用均值滤波进行图像去噪处理；
（3）针对去噪处理后的图像，采用基于关联度的聚类方法计算最大元素数量对应类别的聚类中心元素作为背景中心像元，并以该背景中心像元为参考基线，计算相对多时相图像序列；
（4）针对相对多时相图像序列，计算多时相统计特征的均值、方差和中值，并进行归一化处理；
（5）以归一化处理后的多时相统计特征的均值、方差和中值分别作为R、G和B三通道图像，进行图像融合，并将最终的融合结果进行可视化显示。
2.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述坏元的类型包括第一种坏元和第二种坏元；所述第一种坏元是红外探测器的镜头和传感器造成的坏元，所述第一种坏元存在于所有图像的相同空域位置；所述第二种坏元是某一时刻外部环境干扰红外探测器图像采集导致的坏元，所述第二种坏元存在于部分帧图像中，且位置具有随机性。
3.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述步骤（2）包括以下子步骤：
（2.1）基于步骤（1）获得的均匀时刻图像序列，逐帧检测图像中像素的像素值是否为0，若像素的像素值为0，则该像素为坏元；否则，该像素不为坏元；
（2.2）判断图像序列的所有图像在该坏元位置的像素值是否均为0，若所有图像在该坏元位置的像素值均为0，则该坏元的类型为第一种坏元，执行步骤（2.3）；否则，该坏元的类型为第二种坏元，执行步骤（2.4）；
（2.3）根据坏元的邻域像元使用单帧邻域加权插值方法对图像中的坏元进行修复，修复后的坏元的像素值的计算公式为：
；
其中，px表示修复后的坏元px的像素值，p0~p7为坏元px的邻域像元的像素值，num(·)表示像素值大于零的像元个数；
（2.4）使用时空邻域加权插值方法对图像中的坏元进行修复，则修复后的t时刻的坏元的像素值的计算公式为：
；
其中，和/>分别为t-1时刻和t-2时刻的像元的像素值，/>和/>分别表示根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验；
（2.5）重复步骤（2.1）-步骤（2.4），遍历图像序列中所有像元，直至完成修复；
（2.6）使用均值滤波方法对坏元修复后的每一帧图像进行去噪处理，滤波计算公式为：
；
其中，i和j分别表示像素位于图像的第i行的第j列。
4.根据权利要求3所述的多时相红外图像融合方法，其特征在于，所述根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验的计算公式分别为：
；
；
其中，表示单个像素的时空先验，/>表示t时刻坏元/>的邻域像素值，n=0,1,2,3,4,5,6,7；
像素的时空先验/>的计算公式为：
；
其中，表示极小常数。
5.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述步骤（3）包括以下子步骤：
（3.1）基于步骤（2）获取的去噪处理后的图像序列，提取像元在不同时刻的像素值并将其作为该像元的多时相特征向量的初始值，以获取所有像元的多时相特征向量，并根据所有像元的多时相特征向量构建多时相特征向量集合，其中M表示图像共有M个像元，/>表示图像中第1个像元的多时相特征向量；
（3.2）首先从多时相特征向量集合中随机选择1个元素作为类别/>的中心元素/>，接着从剩余元素中选择距离/>最大的元素作为类别/>的中心元素/>，然后从剩余元素中选择距离/>和/>之和最大的元素作为类别/>的中心元素/>，以此类推，初始化聚类中心元素/>, />, />, ..., />；其中选择中心元素时根据两个元素之间的距离确定；
（3.3）计算多时相特征向量集合中每个元素到K个聚类中心元素的距离，并将元素归类到距离最小的聚类中心元素所对应的类别中；
（3.4）基于步骤（3.3）获得的K个类别中的元素，重新计算每个类别的聚类中心元素，以完成K个类别的聚类中心元素的更新；
（3.5）重复步骤（3.3）-步骤（3.4），直至达到迭代终止条件，迭代终止条件为达到预设的最大迭代次数或者所有元素与其对应的聚类中心元素之间的欧式距离均值小于预设的欧式距离阈值；
（3.6）根据完成聚类后的类别，统计每个类别中的元素数量，获取最大元素数量对应的类别以及该类别对应的聚类中心元素；
（3.7）以步骤（3.6）获取到的最大元素数量对应类别的聚类中心元素为参考，并根据步骤（3.1）获取的所有像元的多时相特征向量计算相对多时相特征向量，获取相对多时相图像序列。
6.根据权利要求5所述的多时相红外图像融合方法，其特征在于，所述两个元素之间的距离的计算公式为：
；
其中，表示元素/>和元素/>之间的距离，/>和/>分别表示/>和/>的均值；T表示图像序列的时间长度，也表示像元多时相特征向量的长度；t为时间长度中的t时刻，也是像元多时相特征向量的索引序号，/>；
所述步骤（3.4）中更新后的聚类中心元素的计算公式为：
；
其中，表示更新后的类别/>的聚类中心元素，/>表示类别/>中的元素个数；
所述所有元素与其对应的聚类中心元素之间的欧式距离均值的计算公式为：
；
其中，表示类别/>中的所有元素与其对应的聚类中心元素之间的欧式距离均值。
7.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述步骤（4）包括以下子步骤：
（4.1）根据相对多时相图像序列中每个像元的相对多时特征向量计算每个像元的多时相统计特征的均值、方差和中值；
（4.2）分别对所有像元的多时相统计特征的均值、方差和中值进行归一化处理。
8.根据权利要求7所述的多时相红外图像融合方法，其特征在于，所述像元的多时相统计特征的均值、方差和中值的计算公式分别为：
；
；
；
其中，、/>和/>分别表示像元/>的均值、方差和中值，/>表示像元/>在时刻t的像素值，/>表示向下取整，/>表示选取第t个像素值，/>表示降序排序操作；
所述归一化的计算公式为：
；
其中，表示归一化处理后的矩阵，X为待归一化的矩阵，/>和/>分别表示求解矩阵的最大值和最小值。
9.一种多时相红外图像融合装置，包括一个或多个处理器和存储器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-8中任一项所述的多时相红外图像融合方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的多时相红外图像融合方法。
CN202410072231.7A 2024-01-18 2024-01-18 一种多时相红外图像融合方法、装置和介质 Active CN117611470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410072231.7A CN117611470B (zh) 2024-01-18 2024-01-18 一种多时相红外图像融合方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410072231.7A CN117611470B (zh) 2024-01-18 2024-01-18 一种多时相红外图像融合方法、装置和介质

Publications (2)

Publication Number Publication Date
CN117611470A true CN117611470A (zh) 2024-02-27
CN117611470B CN117611470B (zh) 2024-05-03

Family

ID=89951884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410072231.7A Active CN117611470B (zh) 2024-01-18 2024-01-18 一种多时相红外图像融合方法、装置和介质

Country Status (1)

Country Link
CN (1) CN117611470B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117969426A (zh) * 2024-03-29 2024-05-03 广州华科环保工程有限公司 一种环境空气恶臭物质在线分析方法及系统
CN118138895A (zh) * 2024-05-08 2024-06-04 深圳市安冉安防科技有限公司 基于红外摄像头的拍摄画面清晰度提升方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881018A (zh) * 2012-09-27 2013-01-16 清华大学深圳研究生院 一种图像深度图生成方法
US20130077858A1 (en) * 2011-09-22 2013-03-28 Himax Imaging Limited Image processing module and image processing method
CN110288557A (zh) * 2019-07-04 2019-09-27 烟台艾睿光电科技有限公司 一种红外图像修复方法、装置、设备及可读存储介质
CN110427997A (zh) * 2019-07-25 2019-11-08 南京信息工程大学 面向复杂遥感影像背景的改进cva变化检测方法
CN113689414A (zh) * 2021-08-30 2021-11-23 扎赉诺尔煤业有限责任公司 一种高寒地区长时间序列高频率ndvi生成方法和装置
CN116401516A (zh) * 2023-04-06 2023-07-07 国网山西省电力公司 一种基于深度学习的电力负荷异常数据检测与修正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077858A1 (en) * 2011-09-22 2013-03-28 Himax Imaging Limited Image processing module and image processing method
CN102881018A (zh) * 2012-09-27 2013-01-16 清华大学深圳研究生院 一种图像深度图生成方法
CN110288557A (zh) * 2019-07-04 2019-09-27 烟台艾睿光电科技有限公司 一种红外图像修复方法、装置、设备及可读存储介质
CN110427997A (zh) * 2019-07-25 2019-11-08 南京信息工程大学 面向复杂遥感影像背景的改进cva变化检测方法
CN113689414A (zh) * 2021-08-30 2021-11-23 扎赉诺尔煤业有限责任公司 一种高寒地区长时间序列高频率ndvi生成方法和装置
CN116401516A (zh) * 2023-04-06 2023-07-07 国网山西省电力公司 一种基于深度学习的电力负荷异常数据检测与修正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚雪晶;慈林林;姚康泽;: "基于邻域信息的遥感图像模糊聚类及并行算法设计", 计算机应用, no. 10, 1 October 2007 (2007-10-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117969426A (zh) * 2024-03-29 2024-05-03 广州华科环保工程有限公司 一种环境空气恶臭物质在线分析方法及系统
CN118138895A (zh) * 2024-05-08 2024-06-04 深圳市安冉安防科技有限公司 基于红外摄像头的拍摄画面清晰度提升方法及系统

Also Published As

Publication number Publication date
CN117611470B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN117611470B (zh) 一种多时相红外图像融合方法、装置和介质
Işık et al. SWCD: a sliding window and self-regulated learning-based background updating method for change detection in videos
Mei et al. Robust visual tracking and vehicle classification via sparse representation
Liu et al. Tiny and dim infrared target detection based on weighted local contrast
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
Eigen et al. Restoring an image taken through a window covered with dirt or rain
Fang et al. Infrared small UAV target detection based on residual image prediction via global and local dilated residual networks
EP3438929B1 (en) Foreground and background detection method
Ajith et al. Unsupervised segmentation of fire and smoke from infra-red videos
dos Santos Rosa et al. Sparse-to-continuous: Enhancing monocular depth estimation using occupancy maps
CN104766065B (zh) 基于多视角学习的鲁棒性前景检测方法
EP3665651B1 (en) Hierarchical disparity hypothesis generation with slanted support windows
Lu et al. An improved graph cut algorithm in stereo matching
Lan et al. Online non-negative multi-modality feature template learning for RGB-assisted infrared tracking
Łoza et al. Structural similarity-based object tracking in multimodality surveillance videos
Papin et al. Unsupervised segmentation of low clouds from infrared METEOSAT images based on a contextual spatio-temporal labeling approach
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
Chen et al. Visual depth guided image rain streaks removal via sparse coding
Zhang et al. Infrared detection of small moving target using spatial–temporal local vector difference measure
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN117830611A (zh) 目标检测方法、装置及电子设备
Trongtirakul et al. Transmission map optimization for single image dehazing
Shao et al. Hyper RPCA: joint maximum correntropy criterion and Laplacian scale mixture modeling on-the-fly for moving object detection
Lee et al. Integrating wavelet transformation with Markov random field analysis for the depth estimation of light‐field images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant