CN108615222A - 一种基于多对多连接的深度卷积网络图像超分辨率系统 - Google Patents
一种基于多对多连接的深度卷积网络图像超分辨率系统 Download PDFInfo
- Publication number
- CN108615222A CN108615222A CN201810342561.8A CN201810342561A CN108615222A CN 108615222 A CN108615222 A CN 108615222A CN 201810342561 A CN201810342561 A CN 201810342561A CN 108615222 A CN108615222 A CN 108615222A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- super
- resolution
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 241000512668 Eunectes Species 0.000 claims 1
- 230000004913 activation Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多对多连接的深度卷积网络图像超分辨率系统，其特征在于，提出一种新的卷积神经网络内部的特殊连接方式，并采用并行处理的方式从而重构出超分辨率图像。
Description
技术领域
本发明涉及机器学习领域，具体涉及一种基于多对多连接的深度卷积网络图像超分辨率 系统。
背景技术
起初，处理超分辨率图像的方法可以分为两类：基于插值的算法和基于重建的算法(2)。 这些方法重建的图像质量不好，这些方法没有很好的发展空间。然而，基于深层学习的方法 在图像超分辨率领域有着重要的意义。
Dong等人提出了超分辨率卷积神经网络(SRCNN)，采用三层结构简单的卷积。这三个卷 积层的功能如下：图像块提取和特征表示，非线性特征映射和最终重建。在这种方法中，双 立方插值法应用于低分辨率图像的高档到目标大小。然后通过卷积网络进行非线性映射。处 理结果作为高分辨率图像输出。2016年后，Dong等人改进了SRCNN提出了FSRCNN。在他们 的新工作中，他们在网络的末端引入反褶积层，然后直接从原始低分辨率图像学习到高分辨 率图像。然后，他们重新映射层通过减少输入特征维数映射和扩大之前回来。最后，它们采 用较小的滤波器大小，但映射层较多。作者指出，新模型实现了速度高达40倍以上的甚至优 越的恢复质量。Schulter等人提出了一种使用随机森林的新方法。首先，证明了最近稀疏编 码方法与局部线性回归之间的密切关系。然后，利用这种连接，避免使用稀疏编码字典学习 从低分辨率图像到高分辨率图像的映射。相反，他们采用一种更直接的方法，采用随机回归 森林公式。它们的超分辨率森林建立在叶子节点的线性预测模型上，而不是通常使用的常数 模型。此外，它在分裂目标函数上采用了一种新的正则化方法，该函数在输出和数据输入域 上操作。Shi等人提出了有效像素卷积神经网络(ESPCN)。该方法直接在低分辨率图像上计算 卷积，获得高分辨率图像。
通过以前的一些工作，我们认为深度学习不仅能很好地分析图像的局部结构，而且在处理 图像的全局结构方面表现出优异的性能。我们也认为建立一个卷积神经网络产生的超分辨率 图像会非常有效。但卷积神经网络计算过程过多，训练过程缓慢，这一点不容忽视。更重要 的是，在训练卷积神经网络时，需要尽量避免梯度消失的问题，尽可能地强化特征。因此， 我们发明了一种基于多对多连接的深度卷积网络图像超分辨率系统。
发明内容
为了解决上述问题，本发明提出一种基于多对多连接的深度卷积网络图像超分辨率系统， 其特征在于，提出一种新的卷积神经网络内部的特殊连接方式，并采用并行处理的方式从而 重构出超分辨率图像
本发明涉及多对多连接的深度卷积网络结构，在设计的过程中，将多对多连接与并行神 经网络相结合，使得特征提取好，细节恢复度高，算法运行的速度也极快。
本发明具体步骤如下：
步骤1，特征提取，主要涉及到卷积操作与激活函数的选择。
步骤1.1，构建特征提取网络，我们设计了一个13层的卷积网络结构；
步骤1.2，对输入的图像进行卷积处理；
步骤1.3，输出到激活函数处理，本发明中的激活函数选择ReLU；
步骤2，将提取到的特征用于图像细节恢复。
步骤2.1，将步骤一中提取到的特征输入到一个1x1的卷积层中；
步骤2.2，将步骤一中提取到的特征输入到一个另一个1x1的卷积层中，且将该层的输 出保存；
步骤3，将步骤二中的输入融合，构造超分辨率图像：
步骤3.1，将步骤二中的两个输出融合，输入到1x1的卷积层中去；
步骤3.2，将3.1中的输出与步骤一中的输入上采样后的结果做处理得到超分辨率图像。
步骤4，基于多对多连接的深度卷积网络图像超分辨率系统的实现，包括：仿真环境模块、 算法核心模块、控制函数模块、程序运行模块，具体如下：
步骤4.1，实现仿真环境模块，实现系统运行所需的仿真实验环境。
步骤4.2，实现算法核心模块模块，对实验中用到的算法进行集成，并提供调用接口供程 序运行模块调用。
步骤4.3，实现控制函数模块，对学习过程中线程的转换进行控制，实现了分阶异步强化 学习过程的控制。
步骤4.4，实现程序运行模块，调用其他模块提供的接口，对程序的运行进行控制。
通过以上内容可知，本申请提供的是一种基于多对多连接的深度卷积网络图像超分辨率 系统，首先构造特征提取阶段网络，该部分使用一种多对多的来连接方式，然后细节重构部 分构造了一个并行的网络结构，使得算法的学习效率与重构效果有了显著的提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
图1为本申请的大致的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请 中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其它实施例，都 属于本申请保护的范围。
步骤1，特征提取，主要涉及到卷积操作与激活函数的选择。
步骤1.1，构建特征提取网络，我们设计了一个13层的卷积网络结构；
步骤1.2，对输入的图像进行卷积处理；
步骤1.3，输出到激活函数处理，本发明中的激活函数选择ReLU；
步骤2，将提取到的特征用于图像细节恢复。
步骤2.1，将步骤一中提取到的特征输入到一个1x1的卷积层中；
步骤2.2，将步骤一中提取到的特征输入到一个另一个1x1的卷积层中，且将该层的输 出保存；
步骤3，将步骤二中的输入融合，构造超分辨率图像：
步骤3.1，将步骤二中的两个输出融合，输入到1x1的卷积层中去；
步骤3.2，将3.1中的输出与步骤一中的输入上采样后的结果做处理得到超分辨率图像。
步骤4，基于多对多连接的深度卷积网络图像超分辨率系统的实现，包括：仿真环境模块、 算法核心模块、控制函数模块、程序运行模块，具体如下：
步骤4.1，实现仿真环境模块，实现系统运行所需的仿真实验环境。
步骤4.2，实现算法核心模块模块，对实验中用到的算法进行集成，并提供调用接口供程 序运行模块调用。
步骤4.3，实现控制函数模块，对学习过程中线程的转换进行控制，实现了分阶异步强化 学习过程的控制。
步骤4.4，实现程序运行模块，调用其他模块提供的接口，对程序的运行进行控制。
Claims (4)
1.一种基于多对多连接的深度卷积网络图像超分辨率系统，其特征在于，提出一种新的卷积神经网络内部的特殊连接方式，并采用并行处理的方式从而重构出超分辨率图像。
2.根据权利要求1所述的特殊连接方式，其特征是在图像特征提取阶段，层与层之间采用多对多的来连接。
3.根据权利要求1所述的并行处理方式，其特征是，在图像的细节重构阶段，采用并行的卷积操作，来重构出图像的细节。
4.一种实现上述任一权利要求所述方法的系统，其特征在于：基于Python 3.6.2、Tensorflow 1.5.0-dev20171120和Anaconda 5.0.0实现，主要包含模块有仿真环境模块、算法核心模块、控制函数模块、程序运行模块，其中仿真环境模块实现了系统运行所需的仿真实验环境，算法核心模块对实验中用到的算法进行集成，控制函数模块对学习过程中线程的转换进行控制，程序运行模块对程序的运行进行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810342561.8A CN108615222A (zh) | 2018-04-17 | 2018-04-17 | 一种基于多对多连接的深度卷积网络图像超分辨率系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810342561.8A CN108615222A (zh) | 2018-04-17 | 2018-04-17 | 一种基于多对多连接的深度卷积网络图像超分辨率系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108615222A true CN108615222A (zh) | 2018-10-02 |
Family
ID=63660412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810342561.8A Pending CN108615222A (zh) | 2018-04-17 | 2018-04-17 | 一种基于多对多连接的深度卷积网络图像超分辨率系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108615222A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279741A (zh) * | 2015-11-17 | 2016-01-27 | 集美大学 | 基于图割算法的图像超分辨率重建方法及系统 |
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
-
2018
- 2018-04-17 CN CN201810342561.8A patent/CN108615222A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN105279741A (zh) * | 2015-11-17 | 2016-01-27 | 集美大学 | 基于图割算法的图像超分辨率重建方法及系统 |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
Non-Patent Citations (4)
| Title |
|---|
| SUNGYE KIM: "《Realizing Real-Time Deep Learning-Based Super-Resolution Applications on Integrated GPUs》", 《2016 15TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS (ICMLA) 》 * |
| 徐冉等: "《利用双通道卷积神经网络的图像超分辨率算法》", 《中国图象图形学报》 * |
| 曾凯等: "《图像超分辨率重建的研究进展》", 《计算机工程与应用》 * |
| 李云飞等: "《多通道卷积的图像超分辨率方法》", 《中国图象图形学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161150B (zh) | 一种基于多尺度注意级联网络的图像超分辨率重建方法 | |
| CN108921786B (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| CN106910161B (zh) | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| Xu et al. | Dense bynet: Residual dense network for image super resolution | |
| CN106991648A (zh) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 | |
| CN105069825A (zh) | 基于深度置信网络的图像超分辨率重建方法 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| Zhang et al. | Accurate and efficient image super-resolution via global-local adjusting dense network | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN112784897B (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| WO2021115403A1 (zh) | 一种图像的处理方法及装置 | |
| Li et al. | Deep interleaved network for image super-resolution with asymmetric co-attention | |
| CN110930306B (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
| CN112598602A (zh) | 一种基于掩码的深度学习视频去摩尔纹方法 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN107154021A (zh) | 基于深层门限卷积神经网络的图像超分辨方法 | |
| CN109345609B (zh) | 基于卷积神经网络进行壁画图像去噪和线描画生成的方法 | |
| CN106447609A (zh) | 一种基于深度卷积神经网络的图像超分辨方法 | |
| CN110163803A (zh) | 一种基于卷积神经网络的图像超分辨率重建方法及系统 | |
| Hui et al. | Two-stage convolutional network for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181002 |
|
| WD01 | Invention patent application deemed withdrawn after publication |