CN111681298A - 一种基于多特征残差网络的压缩感知图像重建方法 - Google Patents

一种基于多特征残差网络的压缩感知图像重建方法 Download PDF

Info

Publication number
CN111681298A
CN111681298A CN202010509984.1A CN202010509984A CN111681298A CN 111681298 A CN111681298 A CN 111681298A CN 202010509984 A CN202010509984 A CN 202010509984A CN 111681298 A CN111681298 A CN 111681298A
Authority
CN
China
Prior art keywords
image
network
loss
compressed sensing
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010509984.1A
Other languages
English (en)
Inventor
孙桂玲
南瑞丽
王志红
王世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010509984.1A priority Critical patent/CN111681298A/zh
Publication of CN111681298A publication Critical patent/CN111681298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于信号处理和深度学习技术领域，具体涉及一种应用于压缩感知的农作物图像重建方法。针对如何在农作物生长监测中实现对农作物图像快速、准确获取这一问题，本发明提出了一种基于多特征残差网络的深度压缩感知图像重建方法。该方法利用卷积神经网络自主学习农作物图像的不同特征信息，结合残差模块，实现压缩感知逆求解。基于深度学习的图像重建方法与传统的图像重建方法相比，放宽了对原始信号稀疏性的假设条件，将多次迭代转换成深度神经网络计算，可获得更高的精确度。实验结果表明，本发明提出的基于多特征残差网络的压缩感知图像重建方法可提升农作物图像的重建质量。

Description

一种基于多特征残差网络的压缩感知图像重建方法
【技术领域】本发明公开了一种基于多特征残差网络的压缩感知图像重建方法，属于信号处理和深度学习技术领域，具体涉及一种应用于压缩感知的农作物图像重建方法。
【背景技术】压缩感知(Compressed Sensing，CS)突破了奈奎斯特采样定理的局限，以低采样率随机采样获取离散信号样本，将传统的信号采样与压缩过程合二为一，随后通过离散样本非线性重建信号，为实现低能耗、低存储、低宽带、高数据量的数据传输效果提供了解决方案。CS理论的解压缩过程实际上是求解一组欠定方程，当原始信号满足稀疏性时，测量矩阵若满足有限等距性质，那么可从数学上证明，欠定方程能大概率求得唯一逆解，从恢复原始信号。传统的CS图像重建方法就是在信号稀疏前提下，通过迭代重建原始信号。但自然图像等真实图像在变换域中并不精确满足稀疏性，而且基于迭代求解最优化问题耗时较长，难以实现图像信息的快速处理。因此传统的CS图像重建方法存在测量率较低时图像复原精度不高以及算法重建耗时长两个问题。
近年来，深度学习(Deep Learning，DL)在各领域发展迅猛并得到了广泛应用，在很多传统的信号表示和识别任务上取得了性能的显著提升，显示了其处理复杂识别任务的能力，将深度学习技术引入到CS图像重建中，为解决上述两问题提供了较好的解决方案。首先，深度学习方法基于大量数据与数据标签即压缩图像与原始图像，通过不断自适应调整网络权重和偏置量，以学习农作物图像信息的结构特征，放宽了CS理论对原始信号稀疏性的假设条件；其次，在压缩感知中利用深度学习技术可以将传统的测量与重建过程转换为端到端的映射网络，降低网络复杂度，减少测量数；最后，传统压缩感知图像重建算法采用多次迭代求解原信号，难以实现农作物生长监测图像的快速获取，从而限制了CS理论的实际应用，但随着互联网的高速发展与大数据时代的到来，高度并行化的GPU和海量数据使得网络运算时间得到保证。
本发明引入残差模块，利用不同卷积网络挖掘农作物图像的不同特征信息，提出了一种基于多特征残差网络的压缩感知图像重建方法。残差模块可以很好地解决深度神经网络的退化问题，避免了随网络加深而导致的梯度弥散问题，对图像的多尺度特征提取可以捕捉更多不同的图像细节特征信息，使得图像信息更完整的保留，使得网络的图像重建能力得到提升。实验结果表明，本发明提出的基于多特征残差网络的压缩感知图像重建方法(Compressed Sensing Image Reconstruction based on Multi-feature ResidualNetwork，MRNet)可以有效提升农作物图像的重建精度，表明了图像的多特征提取具有良好的提升重建图像质量的效果。
【发明内容】本发明的目的在于将残差网络与农作物图像信息的多特征提取相结合，提出一种基于多特征残差网络的压缩感知图像重建方法。
与传统的压缩感知图像重建方法不同，本发明基于卷积神经网络实现图像信息的多特征提取，通过不断自适应调整网络权重和偏置量，以学习实际信号的结构特征，使得重建图像不断逼近原始图像信息，是一个端到端的映射网络模型。因此，本发明没有使用任何信号的先验知识，而是给神经网络提供大量的训练数据，由纯数据驱动算法学习如何最佳利用数据的结构，来加速重建过程。
本发明的目的是通过下述技术方案来实现的：
(1)农作物图像预处理：图像归一化处理
Figure BSA0000210901870000021
其中，原始像素值b，最大像素值bmax，最小像素值bmin；
(2)数据集处理：划分为n×n的子图像块，并向量化得到N＝n2维的待压缩信号x∈RN×1；
(3)压缩感知采样：采样率MR，测量信号维度M＝N*MR，测量矩阵Ф∈RM×N，据y＝Фx得到测量值y∈RM×1；
(4)初始化：压缩感知采样率MR，完整训练集最大训练次数Epoch，一次训练所选取样本数batch_size，图像块大小n，学习率Lr；
(5)线性映射：将测量值y输入由全连接构成的线性映射网络Hy，b(y)＝f(wTy+b)进行升维，其中，网络权重向量w，偏置量b，激活函数f(·)，输出Hy，b(y)表示维度为N的初始重建向量，二维处理后得到初始重建图像
Figure BSA0000210901870000022
(6)多特征残差网络输入：将初始重建图像
Figure BSA0000210901870000023
分别经过两个不同残差模块得到不同残差信息，融合得到
Figure BSA0000210901870000024
重建图像
Figure BSA0000210901870000025
(7)计算损失函数Loss：
Figure BSA0000210901870000026
其中，初始信息x的第i个真值，第i个估计值f(yi)，共设三个损失函数：Loss1：
Figure BSA0000210901870000027
与x，Loss2：x*与x，Loss3＝Loss1+Loss2；
(8)判断是否到达最大Epoch值，未达到则进行误差反向传递，利用自适应学习率优化算法Adam更新权值，返回步骤(5)，达到则保存网络参数，结束训练；
(9)输入测试图像：将农作物图像输入训练好的重建网络，得到输出；
(10)计算峰值信噪比：
Figure BSA0000210901870000031
其中最大像素值MAXx＝1，原始图像x与重建图像x*间均方误差
Figure BSA0000210901870000032
【本发明的优点和积极效果】与现有技术相比，本发明具有如下优点和积极效果：
第一，本发明基于深度学习的方法，通过不断自适应调整网络权重和偏置量，自适应学习农作物图像的结构特征，放宽了CS理论对原始信号稀疏性的假设条件；将传统的测量与重建过程转换为端到端的映射网络，大大减少了图像重建运行时间，即在短时间内，利用少量数据精准重建农作物图像信息，实现农作物生长监测；
第二，提出了基于多特征残差网络的压缩感知图像重建方法，利用不同的卷积网络提取农作物图像的不同特征信息，充分考虑图像自身结构特征，提升了图像重建精度，经实验证明，本发明稳定性较好，在测试图像上均表现出良好的重建效果，平均峰值信噪比(Peak Signal to Noise Ratio，PSNR，单位dB)值至少提升1.4％，平均速度至少提升11.6％。
【附图说明】图1是本发明提出的基于多特征残差网络的压缩感知图像重建方法流程图；
图2是本发明重建方法的实验测试图。
【具体实施方式】为使本发明的实施方案与意义优势表述得更为清楚，下面结合后文附图及实施样例，对本发明进行更为详细的说明。
(1)农作物图像预处理：图像归一化处理
Figure BSA0000210901870000033
其中，原始像素值b，最大像素值bmax，最小像素值bmin；
(2)数据集处理：划分为n×n的子图像块，并向量化得到N＝n2维的待压缩信号x∈RN×1；
(3)压缩感知采样：采样率MR，测量信号维度M＝N*MR，测量矩阵Ф∈RM×N，据y＝Фx得到测量值y∈RM×1；
(4)初始化：压缩感知采样率MR＝0.25，完整训练集最大训练次数Epoch＝50，一次训练所选取样本数batch_size＝500，图像块大小n＝16，学习率Lr＝0.0001；
(5)线性映射：将测量值y输入由全连接构成的线性映射网络Hy，b(y)＝f(wTy+b)进行升维，其中，网络权重向量w，偏置量b，激活函数f(·)，输出Hy，b(y)表示维度为N的初始重建向量，二维处理后得到初始重建图像
Figure BSA0000210901870000041
(6)多特征残差网络输入：将初始重建图像
Figure BSA0000210901870000042
分别经过两个不同残差模块得到不同残差信息，融合得到
Figure BSA0000210901870000043
残差模块参数：①64@11×11、32@1×1、1@7×7；②64@7×7、32@5×5、1@1×1，重建图像
Figure BSA0000210901870000044
(7)计算损失函数Loss：
Figure BSA0000210901870000045
其中，初始信息x的第i个真值，第i个估计值f(yi)，共设三个损失函数：Loss1：
Figure BSA0000210901870000046
与x，Loss2：x*与x，Loss3＝Loss1+Loss2；
(8)判断是否到达最大Epoch值，未达到则进行误差反向传递，利用自适应学习率优化算法Adam更新权值，返回步骤(5)，达到则保存网络参数，结束训练；
(9)输入测试图像：将农作物图像输入训练好的重建网络，得到输出；
(10)计算峰值信噪比：
Figure BSA0000210901870000047
其中最大像素值MAXx＝1，原始图像x与重建图像x*间均方误差
Figure BSA0000210901870000048
本发明的仿真实验是在Intel(R)Core(TM)i5-6200U CPU@2.30GHz，Windows 10操作系统的仿真条件下运行的，仿真软件采用PyCharm。在仿真实验中，实验对象分别为pepper(512×512)、Bananas(512×512)、mango(512×512)、tomatoes(512×512)四幅图像，对比实验将本发明提出的基于多特征残差网络的压缩感知图像重建方法(CompressedSensing Image Reconstruction based on Multi-feature Residual Network，MRNet)、子空间追踪算法(Subspace Pursuit，SP)、基于前馈神经网络(Feedforward NeuralNetwork，FNN)的压缩感知图像重建方法以及基于单特征残差网络的压缩感知图像重建方法。
我们将采样率设定为0.25，本发明的参数选择具有一定的普适性，本实验的四幅图像使用了同一组参数，同时这组参数也可以扩展到其它农作物图像的重建过程中。表1为各种重建方法在0.25采样率下重建的每幅图像的PSNR，粗体表示同一幅图像的最大PSNR值。可以看出，本发明方法在所有情况下均能达到最优的重建效果，通过数据比较，可得得知三种基于深度学习的重建效果均优于SP算法的重建效果，证明了基于深度学习的压缩感知图像重建算法的很好重建效果，同时本发明所提出MRNet相比于基于单特征残差网络的重建算法具有更好的图像质量，体现了多特征信息提取的有效性。表2为个重建算法在进行本发明中的图像测试时从图像处理直至输出时长，粗体表示同一幅图的最短时间，通过比较，本发明平均耗时最短、速度最快。实验测试见图2，其中图tomatoes相比其它更接近于农作物生长过程中的实际监测图像，更具说服力。综上所述，本发明提出的方法图像重建质量高、稳定性好，是一种有效的压缩感知图像重建方法。
表1各方法重建图像的PSNR对比结果(dB)
Figure BSA0000210901870000051
表2各方法重建图像的测试时间(s)
Figure BSA0000210901870000052

Claims (1)

1.一种基于多特征残差网络的压缩感知图像重建方法，包括如下步骤：
(1)农作物图像预处理：图像归一化处理
Figure FSA0000210901860000011
其中，原始像素值b，最大像素值bmax，最小像素值bmin；
(2)数据集处理：划分为n×n的子图像块，并向量化得到N＝n2维的待压缩信号x∈RN×1；
(3)压缩感知采样：采样率MR，测量信号维度M＝N*MR，测量矩阵Φ∈RM×N，据y＝Φx得到测量值y∈RM×1；
(4)初始化：压缩感知采样率MR，完整训练集最大训练次数Epoch，一次训练所选取样本数batch_size，图像块大小n，学习率Lr；
(5)线性映射：将测量值y输入由全连接构成的线性映射网络Hy，b(y)＝f(wTy+b)进行升维，其中，网络权重向量w，偏置量b，激活函数f(·)，输出Hy，b(y)表示维度为N的初始重建向量，二维处理后得到初始重建图像
Figure FSA0000210901860000012
(6)多特征残差网络输入：将初始重建图像
Figure FSA0000210901860000013
分别经过两个不同残差模块得到不同残差信息，融合得到
Figure FSA0000210901860000014
重建图像
Figure FSA0000210901860000015
(7)计算损失函数Loss：
Figure FSA0000210901860000016
其中，初始信息x的第i个真值，第i个估计值f(yi)，共设三个损失函数：Loss1：
Figure FSA0000210901860000017
与x，Loss2：x*与x，Loss3＝Loss1+Loss2；
(8)判断是否到达最大Epoch值，未达到则进行误差反向传递，利用自适应学习率优化算法Adam更新权值，返回步骤(5)，达到则保存网络参数，结束训练；
(9)输入测试图像：将农作物图像输入训练好的重建网络，得到输出：
(10)计算峰值信噪比：
Figure FSA0000210901860000019
其中最大像素值MAXx＝1，原始图像x与重建图像x*间均方误差
Figure FSA00002109018600000110
CN202010509984.1A 2020-06-08 2020-06-08 一种基于多特征残差网络的压缩感知图像重建方法 Pending CN111681298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010509984.1A CN111681298A (zh) 2020-06-08 2020-06-08 一种基于多特征残差网络的压缩感知图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010509984.1A CN111681298A (zh) 2020-06-08 2020-06-08 一种基于多特征残差网络的压缩感知图像重建方法

Publications (1)

Publication Number Publication Date
CN111681298A true CN111681298A (zh) 2020-09-18

Family

ID=72454937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010509984.1A Pending CN111681298A (zh) 2020-06-08 2020-06-08 一种基于多特征残差网络的压缩感知图像重建方法

Country Status (1)

Country Link
CN (1) CN111681298A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN114501010A (zh) * 2020-10-28 2022-05-13 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN114529482A (zh) * 2022-02-21 2022-05-24 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN118587664A (zh) * 2024-08-06 2024-09-03 西南石油大学 一种压缩感知车辆图像重建与车辆追踪方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN108765279A (zh) * 2018-03-19 2018-11-06 北京工业大学 一种面向监控场景的行人人脸超分辨率重建方法
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN108846323A (zh) * 2018-05-28 2018-11-20 哈尔滨工程大学 一种面向水下目标识别的卷积神经网络优化方法
CN109086802A (zh) * 2018-07-10 2018-12-25 东南大学 一种基于八元数卷积神经网络的图像分类方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN111222646A (zh) * 2019-12-11 2020-06-02 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN108765279A (zh) * 2018-03-19 2018-11-06 北京工业大学 一种面向监控场景的行人人脸超分辨率重建方法
CN108846323A (zh) * 2018-05-28 2018-11-20 哈尔滨工程大学 一种面向水下目标识别的卷积神经网络优化方法
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN109086802A (zh) * 2018-07-10 2018-12-25 东南大学 一种基于八元数卷积神经网络的图像分类方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN111222646A (zh) * 2019-12-11 2020-06-02 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501010A (zh) * 2020-10-28 2022-05-13 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN114501010B (zh) * 2020-10-28 2023-06-06 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN114529482A (zh) * 2022-02-21 2022-05-24 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN114529482B (zh) * 2022-02-21 2024-03-29 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN118587664A (zh) * 2024-08-06 2024-09-03 西南石油大学 一种压缩感知车辆图像重建与车辆追踪方法

Similar Documents

Publication Publication Date Title
CN111681298A (zh) 一种基于多特征残差网络的压缩感知图像重建方法
CN107730451B (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN110361778B (zh) 一种基于生成对抗网络的地震数据重建方法
CN113674172B (zh) 一种图像处理方法、系统、装置及存储介质
CN105827250A (zh) 一种基于自适应字典学习的电能质量数据压缩重构方法
CN107516301A (zh) 一种基于压缩感知在图像重建中测量矩阵的构造优化方法
CN111709292A (zh) 基于递归图和深度卷积网络的压气机振动故障检测法
CN109884419A (zh) 一种智慧电网电能质量在线故障诊断方法
Mdrafi et al. Joint learning of measurement matrix and signal reconstruction via deep learning
CN111508043B (zh) 一种基于判别共享字典的机织物纹理重构方法
Tao et al. Electric insulator detection of UAV images based on depth learning
CN111798531B (zh) 一种应用于植株监测的图像深度卷积压缩感知重构方法
Rafi et al. Data driven measurement matrix learning for sparse reconstruction
CN112132924A (zh) 一种基于深度神经网络的ct重建方法
CN109188327B (zh) 基于张量积复小波紧框架的磁共振图像快速重构方法
CN114630207B (zh) 基于降噪自编码器的多传感节点感知数据收集方法
CN116112022A (zh) 一种基于消息传递的多任务聚类稀疏重构方法
CN110266318B (zh) 一种在压缩感知信号重建中基于梯度投影算法的测量矩阵优化方法
CN113556132A (zh) 一种基于信号奇异性检测改进的电力信号压缩感知新方法
CN109840888B (zh) 一种基于联合约束的图像超分辨率重建方法
Zhang et al. CRA: A generic compression ratio adapter for end-to-end data-driven image compressive sensing reconstruction frameworks
CN117319656B (zh) 一种基于深度展开的量化信号重构方法
CN118521672B (zh) 一种基于自归一化神经网络的电阻抗图像重建方法
CN112581367B (zh) 基于随机样本分类增扩的gpr图像超分辨率重建方法
Yu et al. Signal Compression Sensing Algorithm Based on Inception-LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918

RJ01 Rejection of invention patent application after publication