CN113222832B - 一种基于结构化张量的分簇多光谱图像修复方法及装置 - Google Patents

一种基于结构化张量的分簇多光谱图像修复方法及装置 Download PDF

Info

Publication number
CN113222832B
CN113222832B CN202110401327.XA CN202110401327A CN113222832B CN 113222832 B CN113222832 B CN 113222832B CN 202110401327 A CN202110401327 A CN 202110401327A CN 113222832 B CN113222832 B CN 113222832B
Authority
CN
China
Prior art keywords
tensor
hank
blocks
multispectral image
clustered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110401327.XA
Other languages
English (en)
Other versions
CN113222832A (zh
Inventor
郑建炜
徐宏辉
杨平
陈婉君
蒋嘉伟
刘豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110401327.XA priority Critical patent/CN113222832B/zh
Publication of CN113222832A publication Critical patent/CN113222832A/zh
Application granted granted Critical
Publication of CN113222832B publication Critical patent/CN113222832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于结构化张量的分簇多光谱图像修复方法及装置，首先将受损的多光谱图像分成多个张量块，同时进一步地将张量线性映射到汉克尔结构中，然后将相似的张量聚类到同一个簇中，充分利用图像的非局部相似性，最后使用采用交替方向乘子法算法对每个簇进行优化修复。本发明充分挖掘图像的低秩性，修复效果更佳显著，计算代价小。

Description

一种基于结构化张量的分簇多光谱图像修复方法及装置
技术领域
本申请属于图像修复技术领域，尤其涉及一种基于结构化张量的分簇多光谱图像修复方法及装置。
背景技术
图像修复(image inpainting)，又称图像补全，不仅可以填充图像丢失的像素，而且可以移除图像中不需要的物体或文字，其工作原理为利用周围已知的信息即先验知识或者先验假设，建立数学模型并寻找最优化准则求解缺失部分的信息。与此同时，修复过程中要保留图像的细节以及整体结构的连贯性，最终完成图像修复。传统基于结构扩散的方法以像素为单位沿着等照度线由外到内依次进行迭代修复，通过偏微分方程(partialdifferent equation，PDE)将图像中已知的结构和颜色等信息扩散到待填补区域。但该方法只能应用于较小区域的修复，例如划痕、文字等破损。针对较大区域的图像修复，有学者提出了基于纹理的修复技术，根据等照度线驱动采样过程，通过搜索最佳相似匹配块，将其纹理复制到目标区域。此方法通过平衡优先权函数中置信项和数据项来同时处理图像中的结构信息和纹理信息。近年来，矩阵逼近问题成为图像处理领域和计算机视觉领域的研究热点。其核心思想是利用数据矩阵的某些结构信息来恢复丢失的数据元素。Jin等人利用汉克尔矩阵的低秩性，将汉克尔卷积结构矩阵移植于自然图像的修复应用。综上所述，在图像处理领域，图像修复可以归结为矩阵补全问题，这方面已经有了很好的研究。但随着现在科学技术的发展，人们常常需要存储、处理和分析的数据规模更大、维度更高、结构更复杂，仍采用矩阵补全算法来处理可能会花费大量的计算代价。
发明内容
本申请的目的是提供一种基于结构化张量的分簇多光谱图像修复方法及装置，用以克服现有技术修复方法计算代价高的问题。
为了实现上述目的，本申请技术方案如下：
一种基于结构化张量的分簇多光谱图像修复方法，包括：
将受损的多光谱图像分成多个张量块；
采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块；
将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着通道数维度进行堆叠，得到堆叠汉克尔张量块；
以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块；
将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
进一步的，所述将汉克尔张量块进行分簇处理，采用K-means聚类算法。
进一步的，所述将求得的最优解反向分拆为汉克尔张量块，包括：
根据每个汉克尔张量簇中的汉克尔张量块数量，沿着通道数维度进行均分。
本申请还提出了一种基于结构化张量的分簇多光谱图像修复装置，包括：
拆分模块，用于将受损的多光谱图像分成多个张量块；
汉克尔化操作操作模块，用于采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块；
分簇处理处理模块，用于将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着通道数维度进行堆叠，得到堆叠汉克尔张量块；
修复模块，用于以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块；
合成模块，用于将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
进一步的，所述将汉克尔张量块进行分簇处理，采用K-means聚类算法。
进一步的，所述将求得的最优解反向分拆为汉克尔张量块，包括：
根据每个汉克尔张量簇中的汉克尔张量块数量，沿着通道数维度进行均分。
本申请提出的一种基于结构化张量的分簇多光谱图像修复方法及装置，首先将受损的多光谱图像分成多个张量块，同时进一步地将张量线性映射到汉克尔结构中，然后将相似的张量聚类到同一个簇中，充分利用图像的非局部相似性，最后使用采用交替方向乘子法(alternating direction method of multipliers,ADMM)算法对每个簇进行优化修复。本申请充分挖掘图像的低秩性，修复效果更佳显著，计算代价小。
附图说明
图1为本申请基于结构化张量的分簇多光谱图像修复方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请将受损的多光谱图像分成多个重叠三维图像子块(patch)，并将数据延伸到高维张量空间中进行张量汉克尔化，使其具备低秩性，再将相似的重叠块聚类到同一个簇中以充分利用图像的非局部相似性，最后对所有簇中变换后的张量进行缺失数据补全。
在一个实施例中，如图1所示，提供了一种基于结构化张量的分簇多光谱图像修复方法，包括：
步骤S1、将受损的多光谱图像分成多个张量块。
输入受损的多光谱图像其中n1,n2,n3分别为多光谱图像的空间维度以及通道数，然后将多光谱图像分成多个大小为I1×I2的张量块，用/>表示，其中i，j为索引，分块的步长为I1/2，为方便起见，本申请使用/>来代替/>其中l＝(n1-I1+1)(n2-I2+1)。
步骤S2、采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块。
本实施例在获取张量块后，使用零化滤波器对每个张量块进行汉克尔化操作。
具体的，对于张量块的每一个通道层图像，可将尺寸为M×N图像块表示为：
其中，cj为信号幅值，G是非零的元素，ωx和ωy分别代表了x轴和y轴方向的频率。利用零化性质和交换卷积，图像块可被零化滤波器进行零化：
(h*a)[m,n]＝0. (2)
其中h代表尺寸为p×q的零化滤波器，此时图像块被映射至二维汉克尔矩阵具体形式为：
其中同样为汉克尔矩阵，其形式为：
通过公式(2)和(3)对多光谱的所有通道图像块进行汉克尔操作后，得到了汉克尔张量块
步骤S3、将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着通道数维度进行堆叠，得到堆叠汉克尔张量块。
本实施例将汉克尔张量进行分簇处理，主要操作为使用K-means聚类算法，以图像空间中k个点为中心进行聚类，对最靠近他们的对象归类。再通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果，将相似的汉克尔张量块聚类到同一个簇中，得到了不同的汉克尔张量簇。
由于汉克尔张量簇中包含了多个汉克尔张量块，所以每个汉克尔张量簇均为四维张量，矩阵的长宽两个维度，通道数是第三维度，然后簇中的张量个数是第四维度，但该形式不适用于张量核范数，因此本申请将每个汉克尔张量簇中的汉克尔张量块沿着第三维度进行堆叠，得到堆叠汉克尔张量块其中J1和J2为汉克尔张量的空间维度，L为簇的数量，lt为第t个簇中张量的数量。
步骤S4、以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块。
本实施例以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型：
其中，如果(i1i2i3)∈Ω，则Ω为观测元素索引，/>为观测张量。
接下来，采用经典的交替方向乘子法ADMM分别求解分簇多光谱图像修复模型中每一个簇的未知变量得到最优解。
首先，将式(4)重写为增广拉格朗日函数形式：
其中为辅助张量，/>为拉格朗日乘子，μ是惩罚参数，<·>表示内积运算，||·||F为F范数约束。根据ADMM的规则，式(5)可以通过固定余下变量逐个求解各未知量进行优化。
在一个示例中，求解子问题：
的求解公式可改写为：
式(6)可直接使用奇异值阈值收缩算子来获得闭式解，其解为：
在另一个示例中，求解子问题：
子问题可直接获得其闭式解，其解为：
其中，为Ω的补集。
在另一个示例中，求解子问题：
根据标准ADMM框架，拉格朗日乘子的解为：
具体的，输入汉克尔张量簇观测元素索引Ω,惩罚参数μ，迭代次数k，初始化k＝0、/>
令k＝k+1，迭代下述步骤：
Step1.
Step2.
Step3.
直至收敛条件满足，停止迭代，得到最优解。
所求解得到的最优解也是堆叠汉克尔张量块，将其反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块。在反向分拆为汉克尔张量块时，由于同一簇中第三维度相同，则根据每个汉克尔张量簇中的汉克尔张量块数量，沿着通道数维度进行均分。
步骤S5、将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
最后将修复后的张量块进行拼接，合成完整的修复后多光谱图像，完成受损多光谱图像的修复。
本申请将多光谱图像分成了多个张量块，将多维的张量块构建成三维的汉克尔张量，并将相似的汉克尔张量进行分簇处理，充分挖掘图像的低秩性，修复效果更佳显著。
在另一个实施例中，本申请还提供了一种基于结构化张量的分簇多光谱图像修复装置，包括：
拆分模块，用于将受损的多光谱图像分成多个张量块；
汉克尔化操作操作模块，用于采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块；
分簇处理处理模块，用于将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着第三维度进行堆叠，得到堆叠汉克尔张量块；
修复模块，用于以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块；
合成模块，用于将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
关于基于结构化张量的分簇多光谱图像修复装置的具体限定可以参见上文中对于基于结构化张量的分簇多光谱图像修复方法的限定，在此不再赘述。上述基于结构化张量的分簇多光谱图像修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于结构化张量的分簇多光谱图像修复方法，其特征在于，所述基于结构化张量的分簇多光谱图像修复方法，包括：
将受损的多光谱图像分成多个张量块；
采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块；
将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着通道数维度进行堆叠，得到堆叠汉克尔张量块；
以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块；
将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
2.如权利要求1所述的基于结构化张量的分簇多光谱图像修复方法，其特征在于，所述将汉克尔张量块进行分簇处理，采用K-means聚类算法。
3.如权利要求1所述的基于结构化张量的分簇多光谱图像修复方法，其特征在于，所述将求得的最优解反向分拆为汉克尔张量块，包括：
根据每个汉克尔张量簇中的汉克尔张量块数量，沿着通道数维度进行均分。
4.一种基于结构化张量的分簇多光谱图像修复装置，其特征在于，所述基于结构化张量的分簇多光谱图像修复装置，包括：
拆分模块，用于将受损的多光谱图像分成多个张量块；
汉克尔化操作操作模块，用于采用零化滤波器将每个张量块进行汉克尔化操作，得到对应的汉克尔张量块；
分簇处理处理模块，用于将汉克尔张量块进行分簇处理，得到了不同的汉克尔张量簇，每个汉克尔张量簇中的汉克尔张量块沿着通道数维度进行堆叠，得到堆叠汉克尔张量块；
修复模块，用于以最小化堆叠汉克尔张量块为目标函数建立分簇多光谱图像修复模型，并采用交替方向乘子法求解所述分簇多光谱图像修复模型，将求得的最优解反向分拆为汉克尔张量块，然后逆汉克尔化得到修复后的张量块；
合成模块，用于将修复后的张量块进行拼接，合成完整的修复后多光谱图像。
5.如权利要求4所述的基于结构化张量的分簇多光谱图像修复装置，其特征在于，所述将汉克尔张量块进行分簇处理，采用K-means聚类算法。
6.如权利要求4所述的基于结构化张量的分簇多光谱图像修复装置，其特征在于，所述将求得的最优解反向分拆为汉克尔张量块，包括：
根据每个汉克尔张量簇中的汉克尔张量块数量，沿着通道数维度进行均分。
CN202110401327.XA 2021-04-14 2021-04-14 一种基于结构化张量的分簇多光谱图像修复方法及装置 Active CN113222832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401327.XA CN113222832B (zh) 2021-04-14 2021-04-14 一种基于结构化张量的分簇多光谱图像修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401327.XA CN113222832B (zh) 2021-04-14 2021-04-14 一种基于结构化张量的分簇多光谱图像修复方法及装置

Publications (2)

Publication Number Publication Date
CN113222832A CN113222832A (zh) 2021-08-06
CN113222832B true CN113222832B (zh) 2024-02-06

Family

ID=77087195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401327.XA Active CN113222832B (zh) 2021-04-14 2021-04-14 一种基于结构化张量的分簇多光谱图像修复方法及装置

Country Status (1)

Country Link
CN (1) CN113222832B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119426B (zh) * 2022-01-26 2022-07-01 之江实验室 非局部低秩转换域与全连接张量分解图像重构方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023098A (zh) * 2016-05-12 2016-10-12 西安电子科技大学 基于张量结构多字典学习与稀疏编码的图像修补方法
CN110244259A (zh) * 2019-06-26 2019-09-17 南京航空航天大学 数据缺失情况下基于低n-秩最小化张量填充的二维到达角估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023098A (zh) * 2016-05-12 2016-10-12 西安电子科技大学 基于张量结构多字典学习与稀疏编码的图像修补方法
CN110244259A (zh) * 2019-06-26 2019-09-17 南京航空航天大学 数据缺失情况下基于低n-秩最小化张量填充的二维到达角估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结构化矩阵优化的高光谱图像噪声去除算法;徐宏辉等;计算机辅助设计与图形学学报;第33卷(第01期);第68-80页 *

Also Published As

Publication number Publication date
CN113222832A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
EP4123515A1 (en) Data processing method and data processing device
CN105512723A (zh) 一种用于稀疏连接的人工神经网络计算装置和方法
CN111462086A (zh) 图像分割方法及装置、神经网络模型的训练方法及装置
Najafi et al. Nonlinear dimensionality reduction via path-based isometric mapping
CN113241126A (zh) 用于训练确定分子结合力的预测模型的方法和装置
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
CN114219890A (zh) 一种三维重建方法、装置、设备及计算机存储介质
CN104657962A (zh) 基于级联线性回归的图像超分辨重建方法
CN114170410A (zh) 基于PointNet的图卷积与KNN搜索的点云零件级分割方法
CN113222832B (zh) 一种基于结构化张量的分簇多光谱图像修复方法及装置
CN112330639A (zh) 一种用于彩色-热红外图像的显著性检测方法
CN116012393A (zh) 一种纸箱点云分割方法、装置以及处理设备
Long et al. Multi-view MERA subspace clustering
Pham et al. Spectral graph wavelet based nonrigid image registration
CN113435265B (zh) 高光谱图像分类方法、装置、电子设备及存储介质
van Wyk et al. Kronecker product graph matching
CN117853596A (zh) 无人机遥感测绘方法及系统
Grady Computing exact discrete minimal surfaces: Extending and solving the shortest path problem in 3D with application to segmentation
CN104992425B (zh) 一种基于gpu加速的dem超分辨率方法
JP2019046196A (ja) 行列単純化装置、プログラム、および行列単純化方法
Lézoray et al. Graph theory concepts and definitions used in image processing and analysis
CN116486151A (zh) 图像分类模型训练方法、图像分类方法、设备及存储介质
He et al. Locally affine patch mapping and global refinement for image super-resolution
CN112183559B (zh) 图像识别模型训练方法、图像识别方法及装置
WO2022052647A1 (zh) 一种数据处理方法、神经网络的训练方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant