CN114463449A - 一种基于边缘引导的高光谱图像压缩方法 - Google Patents

一种基于边缘引导的高光谱图像压缩方法 Download PDF

Info

Publication number
CN114463449A
CN114463449A CN202210030609.8A CN202210030609A CN114463449A CN 114463449 A CN114463449 A CN 114463449A CN 202210030609 A CN202210030609 A CN 202210030609A CN 114463449 A CN114463449 A CN 114463449A
Authority
CN
China
Prior art keywords
edge
image
network
compression
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210030609.8A
Other languages
English (en)
Inventor
种衍文
郭圆圆
潘少明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210030609.8A priority Critical patent/CN114463449A/zh
Publication of CN114463449A publication Critical patent/CN114463449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及一种基于边缘引导的高光谱图像压缩方法。基于深度学习的压缩框架，将边缘提取模块嵌入高光谱图像的压缩任务中，通过对边缘信息的自适应调整，提高码率分配时对于边缘部分的关注，在增强视觉质量的同时可以减少对后续其他图像处理任务的不利影响，便于高光谱图像压缩算法的应用和推广。

Description

一种基于边缘引导的高光谱图像压缩方法
技术领域
本发明属于高光谱图像压缩技术领域，具体涉及一种基于边缘引导的高光谱图像压缩方法。
背景技术
高光谱图像因其丰富而独特的光谱信息，给很多技术应用如农作物分类、质量检测、灾难预测等带来极大便利，然而这种优势在有限的传输带宽和存储能力下，也制约着高光谱图像的进一步发展。因此，如何有效应对高光谱图像中大数据量所带来的各种挑战，是高光谱图像得以广泛应用的前提和关键。
近年来，以深度学习为工具的图像压缩方法发展不仅改变了传统图像压缩手工设参的现状，而且在性能上已经超过工业界的H.266/VVC(Versatile Video Coding,VVC)标准。但是在现有有损压缩的框架下，由于率失真的限制，尤其是高压缩比下，高光谱图像边缘部分的重建效果较差，很大程度上给基于高光谱图像的实际应用如高光谱图像的分割、检测带来困难，进而限制了高光谱图像的发展。虽然基于深度学习的图像压缩架构已经提出了一些解决思路，比如利用Generative Adversarial Networks(GANs)抑制图像重构伪影的产生，但由于理论上生成器会产生和输入图像完全不相同的内容，因此不适用于高光谱图像这类科研价值比较高的数据压缩。此外，研究发现重建的模糊区域多存在于图像边缘或者纹理细节部分，边缘信息虽然只占图像的部分内容，但其能够清晰地描绘区域边界信息，对于表征图像的空间结构具有极大促进作用，同时若边缘信息保留较好，即便高压缩比下也能促进网络对于图像内容的理解。
发明内容
本发明针对现有技术的不足，提供一种基于边缘引导的高光谱图像压缩方法。基于深度学习的压缩框架，将边缘提取模块嵌入高光谱图像的压缩任务中，通过对边缘信息的自适应调整，提高码率分配时对于边缘部分的关注，在增强视觉质量的同时可以减少对后续其他图像处理任务的不利影响。
为了达到上述目的，本发明提供的技术方案是一种基于边缘引导的高光谱图像压缩方法，包括以下步骤：
步骤1，将训练集中的高光谱图像在空间维随机裁剪为尺寸为C×H×W的图像块，然后B个图像块分为一组，转换成B×C×H×W的图像张量。
步骤2，构建边缘提取网络和压缩网络。
步骤3，把步骤1得到的图像张量分别输入边缘提取网络和压缩网络，利用损失函数对两个网络同时进行端到端训练，直到边缘网络收敛，保存此时边缘提取网络和压缩网络的参数。
步骤4，将原始图像和步骤3得到的两个网络的参数输入到边缘提取网络和压缩网络，得到原始图像的预测边缘和重构图像，然后将重构图像输入步骤3训练收敛的边缘提取网络得到重构图像的预测边缘。
步骤5，利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整。
步骤6，使用参数调整后的压缩网络对高光谱图像进行压缩处理。
而且，所述步骤2中对VGG16卷积神经网络的最后一层添加通道数为1、卷积核大小为1的卷积层得到边缘提取网络。压缩网络包括编码器、量化器、熵编码模块和解码器四部分。编码器由四个卷积核为5，步长为2的卷积层和三个GDN层交错堆叠而成，图像经过编码器后将大小为C×H×W的图像变为M×H/4×W/4大小的特征，M为最后一层卷积的通道数。熵编码模块采用算数编码算法，经过熵编码模块将特征转变为二进制码流用于存储或者传输。解码器采用和编码器对称的结构，由四个卷积核为5，步长为2的卷积层和三个IGDN层交错堆叠而成，经过解码器后恢复原来的图像大小。量化器是将编码器输出的特征图进行取整操作，图像经过量化器特征由连续形式转变为离散形式，即：
Figure BDA0003466280030000021
式中，round()为取整函数，y为编码器的输出，
Figure BDA0003466280030000022
为量化后的离散表示。
而且，所述步骤3中利用canny算子提取的原始图像的边缘标签监督边缘提取网络的训练，利用率失真损失函数优化压缩网络，当边缘损失函数收敛时，整个训练结束。
Canny算子提取边缘信息过程：首先采用高斯滤波平滑图像，利用Sobel算子计算图像在垂直、水平和两个对角线的梯度，然后应用非最大抑制技术保留每个像素点上梯度强度的极大值，过滤掉其他的值，设定阈值下界N1和阈值上界N2决定可能的边界，利用滞后技术确定最终边界，边缘强度大于高阈值的作为边缘点，边缘强度小于低阈值的点直接剔除，边缘强度在双阈值之间的点，若该像素连接到一个高于高阈值的像素时被保留，否则剔除。
训练使用的损失函数为：
Figure BDA0003466280030000031
式中，R为码率，由熵编码模块得到；X为原始高光谱图像；
Figure BDA0003466280030000032
为压缩网络得到的重构图像；MSE为均方误差；λ为超参数训练时由用户自己设定，用来平衡码率和失真，以找到码率最小条件下失真最小的网络参数；BCE为二分类的交叉熵损失函数，Xedge为边缘提取网络得到的原始图像的预测边缘，labels是canny算子提取的图像边缘标签。
而且，所述步骤5中由于高光谱图像的场景比较复杂，canny提取到的边缘信息可能并没有那么准确，因此并未直接将canny算子提取的图像边缘标签labels用于指导压缩网络，而是利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整，以减少图像在边缘部分的失真，增强图像的视觉质量。
调整过程的损失函数如下：
Figure BDA0003466280030000033
式中，Xedge为原始图像的预测边缘；
Figure BDA0003466280030000034
为重构图像的预测边缘；labels是canny算子提取的图像边缘标签；a和b为超参数，用于平衡预测边缘和labels在图像压缩中影响程度，数值可由用户根据数据集和图像压缩的实际需求进行设定。
与现有技术相比，本发明具有如下优点：
1)将边缘提取网络嵌入图像压缩任务中，利用边缘提取网络将边缘信息传递给压缩网络，压缩网络基于原始图像提取的边缘信息根据自身的率失真约束得到边缘网络加强重点关注的边缘，忽略非必要的边缘，能够提高码率的分配效率；
2)在有效去除高光谱图像空间冗余和光谱冗余的同时，很好地保留了高光谱图像的边缘特征，降低了对后续其余高光谱图像处理任务的不利影响，便于高光谱图像压缩算法的应用和推广；
3)本发明提出的方法非常适用于低码率窄带宽下高光谱图像的压缩和传输，且具有优异的图像重建能力。
附图说明
图1是本发明实施例的网络架构图。
图2是本发明实施例压缩网络中编码器-量化器-熵编码模块-解码器模块结构示意图。
图3是本发明实施例中canny算子提取的图像边缘标签，其中图3(a)和图3(c)为原始高光谱图像的RGB图像，图3(b)和图3(d)分别为两幅高光谱利用canny算子提取的图像边缘标签。
图4是本发明实施例中高光谱图像在不同bpp下20波段的重构图像和预测边缘，其中图4(a)为原始高光谱图像20波段的原图，图4(b)为0.16bpp下的高光谱图像20波段的重构图，图4(c)为原图的预测边缘，图4(d)为0.16bpp下重构图的预测边缘，图4(e)为原始高光谱图像20波段的原图，图4(f)为0.43bpp高光谱图像20波段的重构图，图4(g)为原图的预测边缘，图4(h)为0.43bpp重构图的预测边缘。
具体实施方式
本发明提供一种基于边缘引导的高光谱图像压缩方法，下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明实施例的流程包括以下步骤：
步骤1，将训练集中的高光谱图像在空间维随机裁剪为尺寸为31×256×256的图像块，然后8个图像块分为一组，转换成8×31×256×256的图像张量。
训练集中的高光谱图像使用的是波段数为31的CAVE数据集，256×256为图像的空间分辨率。
步骤2，构建边缘提取网络和压缩网络。
对VGG16卷积神经网络的最后一层添加通道数为1、卷积核大小为1的卷积层得到边缘提取网络。
压缩网络包括编码器、量化器、熵编码模块和解码器四部分。编码器由四个卷积核为5，步长为2的卷积层和三个GDN层交错堆叠而成，图像经过编码器后将大小为C×H×W的图像变为M×H/4×W/4大小的特征，M为最后一层卷积的通道数。熵编码模块采用算数编码算法，经过熵编码模块将特征转变为二进制码流用于存储或者传输。解码器采用和编码器对称的结构，由四个卷积核为5，步长为2的卷积层和三个IGDN层交错堆叠而成，经过解码器后恢复原来的图像大小。量化器是将编码器输出的特征图进行取整操作，图像经过量化器特征由连续形式转变为离散形式，即：
Figure BDA0003466280030000051
式中，round()为取整函数，y为编码器的输出，
Figure BDA0003466280030000052
为量化后的离散表示。
步骤3，把步骤1得到的图像张量分别输入边缘提取网络和压缩网络，利用损失函数对两个网络同时进行端到端训练，直到边缘网络收敛，保存此时边缘提取网络和压缩网络的参数。
利用canny算子提取的原始图像的边缘标签监督边缘提取网络的训练，利用率失真损失函数优化压缩网络，当边缘损失函数收敛时，整个训练结束。Canny算子提取边缘信息过程：首先采用高斯滤波平滑图像，利用Sobel算子计算图像在垂直、水平和两个对角线的梯度，然后应用非最大抑制技术保留每个像素点上梯度强度的极大值，过滤掉其他的值，设定阈值下界0和阈值上界10决定可能的边界，利用滞后技术确定最终边界，边缘强度大于高阈值的作为边缘点，边缘强度小于低阈值的点直接剔除，边缘强度在双阈值之间的点，若该像素连接到一个高于高阈值的像素时被保留，否则剔除。
训练使用的损失函数为：
Figure BDA0003466280030000053
式中，R为码率，由熵编码模块得到；X为原始高光谱图像；
Figure BDA0003466280030000054
为压缩网络得到的重构图像；MSE为均方误差；λ为超参数训练时由用户自己设定，用来平衡码率和失真，以找到码率最小条件下失真最小的网络参数；BCE为二分类的交叉熵损失函数，Xedge为边缘提取网络得到的原始图像的预测边缘，labels是canny算子提取的图像边缘标签。
步骤4，将原始图像和步骤3得到的两个网络的参数输入到边缘提取网络和压缩网络，得到原始图像的预测边缘和重构图像，然后将重构图像输入步骤3训练收敛的边缘提取网络得到重构图像的预测边缘。
步骤5，利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整。
由于高光谱图像的场景比较复杂，canny提取到的边缘信息可能并没有那么准确，因此并未直接将canny算子提取的图像边缘标签labels用于指导压缩网络，而是利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整，以减少图像在边缘部分的失真，增强图像的视觉质量。
调整过程的损失函数如下：
Figure BDA0003466280030000061
式中，Xedge为原始图像的预测边缘；
Figure BDA0003466280030000062
为重构图像的预测边缘；labels是canny算子提取的图像边缘标签；a和b为超参数，用于平衡预测边缘和labels在图像压缩中影响程度，数值可由用户根据数据集和图像压缩的实际需求进行设定。
步骤6，使用参数调整后的压缩网络对高光谱图像进行压缩处理。
具体实施时，以上流程可采用计算机软件技术实现自动运行流程。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于边缘引导的高光谱图像压缩方法，其特征在于，包括以下步骤：
步骤1，将训练集中的高光谱图像在空间维随机裁剪为尺寸为C×H×W的图像块，然后B个图像块分为一组，转换成B×C×H×W的图像张量；
步骤2，构建边缘提取网络和压缩网络；
步骤3，把步骤1得到的图像张量分别输入边缘提取网络和压缩网络，利用损失函数对两个网络同时进行端到端训练，直到边缘网络收敛，保存此时边缘提取网络和压缩网络的参数；
步骤4，将原始图像和步骤3得到的两个网络的参数输入到边缘提取网络和压缩网络，得到原始图像的预测边缘和重构图像，然后将重构图像输入步骤3训练收敛的边缘提取网络得到重构图像的预测边缘；
步骤5，利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整；
步骤6，使用参数调整后的压缩网络对高光谱图像进行压缩处理。
2.如权利要求1所述的一种基于边缘引导的高光谱图像压缩方法，其特征在于：步骤2中对VGG16卷积神经网络的最后一层添加通道数为1、卷积核大小为1的卷积层得到边缘提取网络；压缩网络包括编码器、量化器、熵编码模块和解码器四部分；编码器由四个卷积核为5，步长为2的卷积层和三个GDN层交错堆叠而成，图像经过编码器后将大小为C×H×W的图像变为M×H/4×W/4大小的特征，M为最后一层卷积的通道数；熵编码模块采用算数编码算法，经过熵编码模块将特征转变为二进制码流用于存储或者传输；解码器采用和编码器对称的结构，由四个卷积核为5，步长为2的卷积层和三个IGDN层交错堆叠而成，经过解码器后恢复原来的图像大小；量化器是将编码器输出的特征图进行取整操作，图像经过量化器特征由连续形式转变为离散形式，即：
Figure FDA0003466280020000011
式中，round()为取整函数，y为编码器的输出，
Figure FDA0003466280020000012
为量化后的离散表示。
3.如权利要求1所述的一种基于边缘引导的高光谱图像压缩方法，其特征在于：步骤3中利用canny算子提取的原始图像的边缘标签监督边缘提取网络的训练，利用率失真损失函数优化压缩网络，当边缘损失函数收敛时，整个训练结束；Canny算子提取边缘信息过程：首先采用高斯滤波平滑图像，利用Sobel算子计算图像在垂直、水平和两个对角线的梯度，然后应用非最大抑制技术保留每个像素点上梯度强度的极大值，过滤掉其他的值，设定阈值下界N1和阈值上界N2决定可能的边界，利用滞后技术确定最终边界，边缘强度大于高阈值的作为边缘点，边缘强度小于低阈值的点直接剔除，边缘强度在双阈值之间的点，若该像素连接到一个高于高阈值的像素时被保留，否则剔除。
4.如权利要求3所述的一种基于边缘引导的高光谱图像压缩方法，其特征在于：步骤3中训练使用的损失函数为：
Figure FDA0003466280020000021
式中，R为码率，由熵编码模块得到；X为原始高光谱图像；
Figure FDA0003466280020000024
为压缩网络得到的重构图像；MSE为均方误差；λ为超参数训练时由用户自己设定，用来平衡码率和失真，以找到码率最小条件下失真最小的网络参数；BCE为二分类的交叉熵损失函数，Xedge为边缘提取网络得到的原始图像的预测边缘，labels是canny算子提取的图像边缘标签。
5.如权利要求1所述的一种基于边缘引导的高光谱图像压缩方法，其特征在于：步骤5中利用步骤4得到的原始图像的预测边缘和重构图像的预测边缘对步骤3中保存的压缩网络参数进行调整，以减少图像在边缘部分的失真，增强图像的视觉质量；调整过程的损失函数如下：
Figure FDA0003466280020000022
式中，Xedge为原始图像的预测边缘；
Figure FDA0003466280020000023
为重构图像的预测边缘；labels是canny算子提取的图像边缘标签；a和b为超参数，用于平衡预测边缘和labels在图像压缩中影响程度，数值可由用户根据数据集和图像压缩的实际需求进行设定。
CN202210030609.8A 2022-01-12 2022-01-12 一种基于边缘引导的高光谱图像压缩方法 Pending CN114463449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030609.8A CN114463449A (zh) 2022-01-12 2022-01-12 一种基于边缘引导的高光谱图像压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030609.8A CN114463449A (zh) 2022-01-12 2022-01-12 一种基于边缘引导的高光谱图像压缩方法

Publications (1)

Publication Number Publication Date
CN114463449A true CN114463449A (zh) 2022-05-10

Family

ID=81409753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030609.8A Pending CN114463449A (zh) 2022-01-12 2022-01-12 一种基于边缘引导的高光谱图像压缩方法

Country Status (1)

Country Link
CN (1) CN114463449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579959A (zh) * 2023-04-13 2023-08-11 北京邮电大学 用于高光谱图像的融合成像方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579959A (zh) * 2023-04-13 2023-08-11 北京邮电大学 用于高光谱图像的融合成像方法及装置
CN116579959B (zh) * 2023-04-13 2024-04-02 北京邮电大学 用于高光谱图像的融合成像方法及装置

Similar Documents

Publication Publication Date Title
Cheng et al. Deep convolutional autoencoder-based lossy image compression
KR102594362B1 (ko) 영상을 부호화/복호화 하는 방법 및 그 장치
CN110059796B (zh) 卷积神经网络的生成方法及装置
Cui et al. Convolutional neural networks based intra prediction for HEVC
CN110225341A (zh) 一种任务驱动的码流结构化图像编码方法
CN110971901B (zh) 卷积神经网络的处理方法、装置、设备及存储介质
CN110751597B (zh) 基于编码损伤修复的视频超分辨方法
WO2020238439A1 (zh) 无线自组织网络带宽受限下的视频业务质量增强方法
Maleki et al. Blockcnn: A deep network for artifact removal and image compression
Zhang et al. Fast CU decision-making algorithm based on DenseNet network for VVC
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
CN116916036A (zh) 视频压缩方法、装置及系统
Kuanar et al. Gated fusion network for sao filter and inter frame prediction in versatile video coding
CN110351558B (zh) 一种基于强化学习的视频图像编码压缩效率提升方法
CN114463449A (zh) 一种基于边缘引导的高光谱图像压缩方法
Liu et al. Semantic segmentation in learned compressed domain
CN102592130B (zh) 一种针对水下显微视频的目标识别系统及其视频编码方法
CN103828366B (zh) 一种编码和解码方法、编码和解码设备
CN116112694B (zh) 一种应用于模型训练的视频数据编码方法及系统
CN107682699A (zh) 一种近无损图像压缩方法
CN113194312B (zh) 结合视觉显著性的行星科学探测图像自适应量化编码系统
CN113784147B (zh) 一种基于卷积神经网络的高效视频编码方法及系统
CN113822801A (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
Poolakkachalil et al. Comparative analysis of lossless compression techniques in efficient DCT-based image compression system based on Laplacian Transparent Composite Model and An Innovative Lossless Compression Method for Discrete-Color Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination