CN110033030B - 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 - Google Patents
基于神经网络求解0-1测量矩阵的压缩感知问题的方法 Download PDFInfo
- Publication number
- CN110033030B CN110033030B CN201910237892.XA CN201910237892A CN110033030B CN 110033030 B CN110033030 B CN 110033030B CN 201910237892 A CN201910237892 A CN 201910237892A CN 110033030 B CN110033030 B CN 110033030B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- image
- training
- measurement matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络求解0‑1测量矩阵的压缩感知问题的方法。具体步骤如下:(1)通过0‑1测量矩阵对图像降采样,制作训练数据集;(2)对训练数据预处理;(3)通过神经网络的全连接层将低维数据恢复到高维;(4)对高维数据进一步处理;(5)将处理后的高维数据传递到由卷积层组成的残差模块,对图像重建恢复;(6)由损失函数计算重建图像与真实图像的误差,通过误差反向传递更新网络的参数;(7)重复步骤(2)~(6),直至重建图像与真实图像误差较小时,完成神经网络的训练。利用本发明的方法,在重建图像的准确度和对图像噪声的抑制上均能取得比较好的效果。
Description
技术领域
本发明涉及计算摄像学、信号处理领域,尤其涉及一种基于0-1测量矩阵采样的求解压缩感知问题的方法。
背景技术
压缩感知问题是信号处理领域一个具有挑战性的问题,被广泛应用于无线通信、阵列信号处理和成像等领域。对原始信号进行采样后恢复,已经成为了信号处理领域研究的热点。
传统的应用神经网络求解压缩感知问题是基于高斯分布的行标准正交化的测量矩阵,所得到的采样信号方差较大,利于神经网络参数的调整,从而得到较好的重建图像。但实际应用中,传感器大多只能进行0-1的采样,因此传统基于神经网络求解压缩感知问题的方法在实际应用中具有局限性。当其使用0-1测量矩阵降采样时,采样后信号的元素值的方差很小,神经网络在训练阶段,重建图像与真实图像误差较小,而在测试阶段重建图像与真实图像误差较大,即出现过拟合现象,无法完成重建工作。
因此,需要采用训练数据特殊的初始化、特征化手段,避免网络的过拟合,使得神经网络在训练过程中更容易的调整网络参数,降低重建图像与真实图像的误差。
发明内容
针对以上现有神经网络求解方法中存在的缺陷,本发明的目的在于提出一种基于神经网络求解0-1测量矩阵的压缩感知问题的方法。
为达上述目的,本发明采用的技术方案如下:
基于神经网络求解0-1测量矩阵的压缩感知问题的方法,包括如下步骤:
步骤1,使用0-1高斯分布的测量矩阵对数据集图像进行降采样处理,得到降采样后的数据,作为训练数据,制作训练数据与真实图像一一对应的训练集;
步骤2,通过下式,对步骤1的训练集数据进行预处理:
步骤3,经预处理后的训练集数据输入到神经网络的第一层:线性全连接层,将降采样后的低维训练数据y恢复到采样前的高维数据x1;
步骤5,将所述新的数据重排列后,输入到由三层卷积层组成的残差神经网络,对图像进行进一步的重建恢复,所述残差神经网络采用三组;
步骤6,通过损失函数计算步骤5得到的重建图像与真实图像之间的误差,进行误差的反向传递,更新神经网络的权重w与偏置的参数b;
步骤7,神经网络参数更新完毕后,重复步骤2-6,直至损失函数计算得到的误差达到期望值,神经网络训练结束。
本发明在基于神经网络求解压缩感知问题的基础上,结合实际应用中只能采用0-1的传感器进行采样的要求,采用了特殊的数据初始化手段对训练数据进行初始化,提高训练数据的特征性,能够避免神经网络的过拟合现象,明显改善神经网络的训练效果。同时,本发明采用残差网络进行训练,能够有效的抑制重建图像的噪声,重建出更为清晰的图像。相比现有技术,利用本发明方法在重建图像的准确度和对图像噪声的抑制上均能取得比较好的效果,可以有效地应对实际应用中只能由0-1采样的传感器进行采样带来的挑战。
附图说明
图1为本发明神经网络的结构图;
图2为本发明方法的流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述,描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
参照图1和图2,本实施例的一种基于神经网络求解0-1测量矩阵的压缩感知问题的方法,具体步骤如下:
步骤1,使用0-1高斯分布的测量矩阵Φ(m×n,m<<n)对真实图像信号x(n×1)进行降采样处理,本实施例中,m取256,n取1024,即:
y=Φx,(Φ∈256×1024;x∈1024×1)
得到降采样后的图像y(m×1),m=256,制作训练数据与真实图像一一对应的训练集,用于神经网络的训练;
步骤2,根据步骤1得到的训练集数据,通过下式,对训练数据进行预处理:
步骤3,将步骤2得到的预处理后的数据输入到神经网络的第一层:线性全连接层,线性全连接层的结构为输入层结点数为降采样后信号数据维度m,输出层的结点数为原始信号数据维度n,无激活函数。训练数据由降采样的图像的低维yinput(256×1)恢复到真实图像的高维x1(1024×1);
步骤5,将步骤4得到的高维数据x1new的1024×1维矩阵变换为输入到卷积层的32×32维矩阵,矩阵维数变换后的数据用xinput表示。经过三组由三层卷积层组成的残差神经网络,对高维图像进行进一步的重建恢复,本实例中,所采用的残差卷积神经网络具体结构如下:
由卷积层组成的残差模块的基本网络结构为(conv1+ReLU)—(conv2+ReLU)—(conv3),第一层卷积:卷积核尺寸11×11,卷积核数目64,输出64张特征图;第二层卷积:卷积核尺寸1×1,卷积核数目32,输出32张特征图;第三层卷积:卷积核尺寸7×7,卷积核数目1,输出1张特征残差图xres,根据残差神经网络的特征,xres+xinput即为重建的恢复图像xoutput。在此之后再经过这样两组残差卷积神经网络,进行进一步的细节重建,得到最终重建的图像。此外在每一层卷积都进行了padding,这样保证卷积前后图像的尺寸不变。
步骤6,由损失函数计算重建图像与真实图像的误差,对误差进行反向传递,更新神经网络的权重与偏置的参数,所采用的损失函数为MSE损失函数:
MSE=(xoutput-xtruth)2
其中xoutput为重建图像,xtruth为真实图像,误差反向传递更新网络参数的优化器为Adam。
步骤7,神经网络参数更新完毕后,重复步骤2-6,直至MSE计算得到的误差达到期望,神经网络训练完毕。
Claims (5)
1.基于神经网络求解0-1测量矩阵的压缩感知问题的方法,其特征在于,包括如下步骤:
步骤1,使用0-1高斯分布的测量矩阵对数据集图像进行降采样处理,得到降采样后的数据,作为训练数据,制作训练数据与真实图像一一对应的训练集;
步骤2,通过下式,对步骤1的训练集数据进行预处理:
步骤3,经预处理后的训练集数据输入到神经网络的第一层:线性全连接层,将降采样后的低维训练数据y恢复到采样前的高维数据x1;
步骤5,将所述新的数据重排列后,输入到由三层卷积层组成的残差神经网络,对图像进行进一步的重建恢复,所述残差神经网络的数量为三组;
步骤6,通过损失函数计算步骤5得到的重建图像与真实图像之间的误差,进行误差的反向传递,更新神经网络的权重w与偏置的参数b;
步骤7,神经网络参数更新完毕后,重复步骤2-6,直至损失函数计算得到的误差达到期望值,神经网络训练结束。
2.根据权利要求1所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法,其特征在于,所述步骤1中,降采样处理的方式为:
y=Φx
其中,测量矩阵Φ∈(m×n,m<<n),其元素为高斯分布的0和1,x∈n×1为原始信号数据,n为原始信号数据维度,m为降采样后信号数据维度。
3.根据权利要求2所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法,其特征在于,所述步骤3中,线性全连接层的基本网络形式为:输入层的结点数为降采样后信号数据维度m的值,输出层的结点数为原始信号数据维度n的值,无激活函数。
5.根据权利要求4所述的基于神经网络求解0-1测量矩阵的压缩感知问题的方法,其特征在于,所述步骤6中,损失函数为MSE损失函数,其计算方式为:
MSE=(xoutput-xtruth)2
其中,xoutput为重建图像,xtruth为真实图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910237892.XA CN110033030B (zh) | 2019-03-27 | 2019-03-27 | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910237892.XA CN110033030B (zh) | 2019-03-27 | 2019-03-27 | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110033030A CN110033030A (zh) | 2019-07-19 |
CN110033030B true CN110033030B (zh) | 2023-03-24 |
Family
ID=67236788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910237892.XA Active CN110033030B (zh) | 2019-03-27 | 2019-03-27 | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110033030B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429546A (zh) * | 2020-04-16 | 2020-07-17 | 南京大学 | 一种基于神经网络的大尺寸图像压缩感知重建方法 |
CN113516601B (zh) * | 2021-06-17 | 2022-10-14 | 西南大学 | 基于深度卷积神经网络与压缩感知的图像恢复方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007050680A2 (en) * | 2005-10-25 | 2007-05-03 | William Marsh Rice University | Method and apparatus for on-line compressed sensing |
CN108242065A (zh) * | 2017-12-26 | 2018-07-03 | 天津大学 | 一种基于ldpc矩阵的光场图像压缩感知方法 |
CN109410114B (zh) * | 2018-09-19 | 2023-08-25 | 湖北工业大学 | 基于深度学习的压缩感知图像重建算法 |
-
2019
- 2019-03-27 CN CN201910237892.XA patent/CN110033030B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110033030A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754403B (zh) | 一种基于残差学习的图像超分辨率重构方法 | |
CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
CN108090871B (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
WO2021003594A1 (en) | Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation | |
CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN108492249B (zh) | 基于小卷积递归神经网络的单帧超分辨重建方法 | |
CN112699844B (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
CN109003229B (zh) | 基于三维增强深度残差网络的磁共振超分辨率重建方法 | |
CN110033030B (zh) | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 | |
CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
CN112116601A (zh) | 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统 | |
WO2023019685A1 (zh) | 一种图像处理方法、系统、装置及存储介质 | |
CN107194873B (zh) | 基于耦合字典学习的低秩核范数正则人脸图像超分辨方法 | |
CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
CN112734645B (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
CN114202459B (zh) | 一种基于深度先验的盲图像超分辨率方法 | |
CN113793267B (zh) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 | |
CN114998458A (zh) | 基于参考图像和数据修正的欠采样磁共振图像重建方法 | |
CN113838104B (zh) | 基于多光谱与多模态图像一致性增强网络的配准方法 | |
CN115100301A (zh) | 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统 | |
CN117893455A (zh) | 图像亮度和对比度调整方法 | |
CN105931184B (zh) | 基于联合优化的sar图像超分辨率方法 | |
Wang et al. | Compensation Atmospheric Scattering Model and Two-Branch Network for Single Image Dehazing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |