CN115375540A - 一种基于深度学习算法的太赫兹图像超分辨方法 - Google Patents
一种基于深度学习算法的太赫兹图像超分辨方法 Download PDFInfo
- Publication number
- CN115375540A CN115375540A CN202210858877.9A CN202210858877A CN115375540A CN 115375540 A CN115375540 A CN 115375540A CN 202210858877 A CN202210858877 A CN 202210858877A CN 115375540 A CN115375540 A CN 115375540A
- Authority
- CN
- China
- Prior art keywords
- image
- terahertz
- deep learning
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000006731 degradation reaction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000015556 catabolic process Effects 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习算法的太赫兹图像超分辨方法，包括：通过太赫兹成像设备得到原始太赫兹图像数据；将所述原始太赫兹图像数据送入太赫兹图像超分辨模型中，得到超分后的太赫兹图片；其中，所述太赫兹图像超分辨模型通过以下方式得到：获取超分重建数据集；对所述超分重建数据集中的数据进行退化处理，得到LR图像；构建深度学习网络，将所述超分重建数据集中的HR图像作为标签数据，将所述LR图像作为所述深度学习网络的输入，对所述深度学习网络进行训练，将训练好的深度学习网络作为所述太赫兹图像超分辨模型。本发明实现了对太赫兹图像进行超分辨操作。
Description
技术领域
本发明涉及太赫兹图像处理技术领域，特别是涉及一种基于深度学习算法的太赫兹图像超分辨方法。
背景技术
随着太赫兹成像技术的发展，太赫兹成像技术在速度与成像质量上得到了很大的提升。然而，在太赫兹成像过程中，由于太赫兹辐射波长较长，在成像时容易发生衍射现象，从而在图像上产生条纹。另外，由于太赫兹波对水敏感，需要在干燥的环境下实验，否则会造成太赫兹图像的模糊和对比度低等问题。因此，太赫兹图像往往具有衍射条纹、对比度较低、整体呈现灰黑色调，对于样品的成像可能存在边缘模糊等问题。
分辨率较差、信噪比低、边缘模糊严重的太赫兹图像并不能满足人们的正常视觉和后续研究需求。为了解决这一问题，最直接的办法是改善硬件环境，但目前硬件技术还在更新中，搭建硬件环境又会带来高昂的成本，因此使用软件方法去提高图像的分辨率是一种重要手段。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习算法的太赫兹图像超分辨方法，实现对太赫兹图像进行超分辨操作。
本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习算法的太赫兹图像超分辨方法，包括以下步骤：
(1)通过太赫兹成像设备得到原始太赫兹图像数据；
(2)将所述原始太赫兹图像数据送入太赫兹图像超分辨模型中，得到超分后的太赫兹图片；其中，所述太赫兹图像超分辨模型通过以下方式得到：
对所述超分重建数据集中的数据进行退化处理，得到LR图像；
构建深度学习网络，将所述超分重建数据集中的HR图像作为标签数据，将所述LR图像作为所述深度学习网络的输入，对所述深度学习网络进行训练，将训练好的深度学习网络作为所述太赫兹图像超分辨模型。
所述对所述超分重建数据集中的数据进行退化处理具体为：
对所述超分重建数据集中的数据使用高斯滤波来模拟太赫兹波PSF点扩散效应，并添加随机同向与异向的高斯核；进行不同的下采样，并添加随机高斯噪声。
所述深度学习网络包括：
浅层特征提取部分，用于对所述LR图像进行特征提取，得到浅层特征；
深层特征提取部分，用于对所述浅层特征进行特征提取，得到深层特征；
图像重建部分，用于基于所述浅层特征、深层特征和所述LR图像对图像进行重建，得到重建图像。
所述深层特征提取部分包括依次相连的若干级联的卷积模块和通道注意力机制模块，所述卷积模块包括依次连接的第一1×1卷积层、第一3×3卷积层和第一ReLU激活层；所述通道注意力机制模块包括依次连接的全局池化层、第二1×1卷积层、第二ReLU激活层、第三1×1卷积层和Sigmoid激活层，所述Sigmoid激活层的输出和所述通道注意力机制模块的输入混合后作为所述通道注意力机制模块的输出。
所述图像重建部分包括依次连接的第二3×3卷积层和亚像素卷积层。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过对退化后的超分重建数据集进行训练，得到了一套有用的太赫兹图像超分模型，该模型的网络中通过使用通道注意力机制以及亚像素卷积提高了成像质量，改善了视觉效果。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式中深度学习网络的结构示意图；
图3是采用本发明实施方式重建的太赫兹图像与原始太赫兹图像的对比图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于深度学习算法的太赫兹图像超分辨方法，如图1所示，包括以下步骤：
(1)通过太赫兹成像设备得到原始太赫兹图像数据；
(2)将所述原始太赫兹图像数据送入太赫兹图像超分辨模型中，得到超分后的太赫兹图片。其中，所述太赫兹图像超分辨模型通过以下方式得到：
对所述超分重建数据集中的数据进行退化处理，得到LR图像。本实施方式中超分重建数据集采用开源的DIV2K数据，在进行退化处理时，对DIV2K数据使用高斯滤波来模拟太赫兹波PSF点扩散效应，并添加随机同向与异向的高斯核，在进行不同的下采样后，再添加随机高斯噪声，得到退化后的LR图像。通过上述方式能够更好的模拟太赫兹图像的退化过程，确保重建的图像质量更高。
构建深度学习网络，将所述超分重建数据集中的HR图像作为标签数据，将所述LR图像作为所述深度学习网络的输入，对所述深度学习网络进行训练，将训练好的深度学习网络作为所述太赫兹图像超分辨模型。
如图2所示，本实施方式中构建的深度学习网络包括：浅层特征提取部分，用于对所述LR图像进行特征提取，得到浅层特征；深层特征提取部分，用于对所述浅层特征进行特征提取，得到深层特征；图像重建部分，用于基于所述浅层特征、深层特征和所述LR图像对图像进行重建，得到重建图像。
其中，浅层特征提取部分由一个3×3卷积层和一个ReLU激活层构成，该浅层特征提取部分将LR图像作为输入，经过一个3×3卷积层和一个ReLU激活层后能够对其浅层特征进行提取，得到浅层特征F1。
深层特征提取部分包括依次相连的若干级联的卷积模块和通道注意力机制模块，所述卷积模块包括依次连接的1×1卷积层、3×3卷积层和ReLU激活层；所述通道注意力机制模块包括依次连接的全局池化层、1×1卷积层、ReLU激活层、1×1卷积层和Sigmoid激活层，所述Sigmoid激活层的输出和所述通道注意力机制模块的输入混合后作为所述通道注意力机制模块的输出。该深层特征提取部分将浅层特征F1作为输入，经过若干级联的卷积模块和通道注意力机制模块后可以提取出深层特征F2。使用卷积神经网络虽然可以很好的提取空间上的高频信息，但是对不同通道上的高频信息进行同等对待，这势必会阻碍网络传播能力。因此，本实施方式加入通道注意力机制，根据通道间的相互信息调整各通道的权重，有利于得到更好的重建效果。
图像重建部分包括依次连接的3×3卷积层和亚像素卷积层，该图像重建部分的输入包括浅层特征F1、深层特征F2以及LR图像，经过3×3卷积层和亚像素卷积层后即可得到重建图像。本实施方式的亚像素卷积将多通道特征的单个像素组合成一个特征上的单位，是一种通道到空间的重排方式，相较于反卷积更加高效且重建效果好。
在训练该深度学习网络时，将卷积模块设置为4，学习率设置为1e-4，裁剪训练尺寸48，总共训练600个epoch，将输出的图像与HR图像计算mse(均分误差)，并以此作为损失函数进行反向传播，以调整深度学习网络参数，训练完成后，即得到太赫兹图像超分辨模型。
图3是采用本发明实施方式重建的太赫兹图像与原始太赫兹图像的对比图，其中，(a)为原始太赫兹图像，(e)为重建的太赫兹图像(PSNR：31.57db SSIM：0.85)，从中可以看出重建的太赫兹图像相比于原始太赫兹图像而言，条纹和边缘更加清晰，实现了对太赫兹图像的超分辨操作。
不难发现，本发明通过对退化后的超分重建数据集进行训练，得到了一套有用的太赫兹图像超分模型，该模型的网络中通过使用通道注意力机制以及亚像素卷积提高了成像质量，改善了视觉效果。
Claims (5)
1.一种基于深度学习算法的太赫兹图像超分辨方法，其特征在于，包括以下步骤：
(1)通过太赫兹成像设备得到原始太赫兹图像数据；
(2)将所述原始太赫兹图像数据送入太赫兹图像超分辨模型中，得到超分后的太赫兹图片；其中，所述太赫兹图像超分辨模型通过以下方式得到：
获取超分重建数据集；
对所述超分重建数据集中的数据进行退化处理，得到LR图像；
构建深度学习网络，将所述超分重建数据集中的HR图像作为标签数据，将所述LR图像作为所述深度学习网络的输入，对所述深度学习网络进行训练，将训练好的深度学习网络作为所述太赫兹图像超分辨模型。
2.根据权利要求1所述的基于深度学习算法的太赫兹图像超分辨方法，其特征在于，所述对所述超分重建数据集中的数据进行退化处理具体为：
对所述超分重建数据集中的数据使用高斯滤波来模拟太赫兹波PSF点扩散效应，并添加随机同向与异向的高斯核；进行不同的下采样，并添加随机高斯噪声。
3.根据权利要求1所述的基于深度学习算法的太赫兹图像超分辨方法，其特征在于，所述深度学习网络包括：
浅层特征提取部分，用于对所述LR图像进行特征提取，得到浅层特征；
深层特征提取部分，用于对所述浅层特征进行特征提取，得到深层特征；
图像重建部分，用于基于所述浅层特征、深层特征和所述LR图像对图像进行重建，得到重建图像。
4.根据权利要求3所述的基于深度学习算法的太赫兹图像超分辨方法，其特征在于，所述深层特征提取部分包括依次相连的若干级联的卷积模块和通道注意力机制模块，所述卷积模块包括依次连接的第一1×1卷积层、第一3×3卷积层和第一ReLU激活层；所述通道注意力机制模块包括依次连接的全局池化层、第二1×1卷积层、第二ReLU激活层、第三1×1卷积层和Sigmoid激活层，所述Sigmoid激活层的输出和所述通道注意力机制模块的输入混合后作为所述通道注意力机制模块的输出。
5.根据权利要求3所述的基于深度学习算法的太赫兹图像超分辨方法，其特征在于，所述图像重建部分包括依次连接的第二3×3卷积层和亚像素卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210858877.9A CN115375540A (zh) | 2022-07-21 | 2022-07-21 | 一种基于深度学习算法的太赫兹图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210858877.9A CN115375540A (zh) | 2022-07-21 | 2022-07-21 | 一种基于深度学习算法的太赫兹图像超分辨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115375540A true CN115375540A (zh) | 2022-11-22 |
Family
ID=84061451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210858877.9A Pending CN115375540A (zh) | 2022-07-21 | 2022-07-21 | 一种基于深度学习算法的太赫兹图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375540A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173503A (zh) * | 2023-08-16 | 2023-12-05 | 安徽派睿太赫兹医疗器械技术开发有限公司 | 一种基于深度学习的模糊太赫兹图像识别方法、装置和电子设备 |
-
2022
- 2022-07-21 CN CN202210858877.9A patent/CN115375540A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173503A (zh) * | 2023-08-16 | 2023-12-05 | 安徽派睿太赫兹医疗器械技术开发有限公司 | 一种基于深度学习的模糊太赫兹图像识别方法、装置和电子设备 |
| CN117173503B (zh) * | 2023-08-16 | 2024-04-19 | 安徽派睿太赫兹医疗器械技术开发有限公司 | 一种基于深度学习的模糊太赫兹图像识别方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Su et al. | A survey of deep learning approaches to image restoration | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN112884650B (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| CN111008936A (zh) | 一种多光谱图像全色锐化方法 | |
| Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN115375540A (zh) | 一种基于深度学习算法的太赫兹图像超分辨方法 | |
| CN110838089A (zh) | 一种基于OctBlock密集块的快速图像去噪方法 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| Xie et al. | MWA-MNN: Multi-patch Wavelet Attention Memristive Neural Network for image restoration | |
| Wu et al. | Dcanet: Dual convolutional neural network with attention for image blind denoising | |
| Wan et al. | Progressive convolutional transformer for image restoration | |
| CN115760638A (zh) | 一种基于深度学习的端到端去模糊超分辨率的方法 | |
| CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
| Huang et al. | A two‐step image stabilisation method for promoting visual quality in vision‐enabled maritime surveillance systems | |
| Liu et al. | Soft-IntroVAE for Continuous Latent Space Image Super-Resolution | |
| Yang et al. | Effective Lightweight Dual-Path Shift Compensation Network for Image Super-Resolution | |
| CN114998138B (zh) | 一种基于注意力机制的高动态范围图像去伪影方法 | |
| Din et al. | Smart embedded system based on demosaicking for enhancement of surveillance systems | |
| Huang et al. | Deep quantification down-plain-upsampling residual learning for single image super-resolution | |
| CN116823690B (zh) | 基于Swin Transformer的复杂场景HDR图像重建方法 | |
| Qiao et al. | Dual contrastive attention-guided deformable convolutional network for single image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |