CN111353939B - 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 - Google Patents
一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 Download PDFInfo
- Publication number
- CN111353939B CN111353939B CN202010135091.5A CN202010135091A CN111353939B CN 111353939 B CN111353939 B CN 111353939B CN 202010135091 A CN202010135091 A CN 202010135091A CN 111353939 B CN111353939 B CN 111353939B
- Authority
- CN
- China
- Prior art keywords
- scale
- information
- feature
- convolution
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 abstract description 18
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种图像超分辨率方法包括：S1、通过卷积层提取输入图像的特征信息，并形成n路不同尺度的特征信息；S2、将n路多尺度特征信息输入多尺度特征表示与权值共享卷积层中进行多尺度特征信息之间的映射和交互，并且其中的相同尺度卷积核均采用相同的权值；S3、将所述多尺度特征表示与权值共享卷积层输出的n路不同尺度的特征信息恢复到原来的尺度并进行融合，以获得最终的输出特征。本发明的方法通过多尺度的特征表示可以降低运算量，相同尺度间卷积核的权值共享的形式可以降低参数量，同时不同尺度的信息经过相同的非线性映射可以保留不同尺度特征的多样性，而且结构具有即插即用的特性，适用现有的基于卷积神经网络的图像超分辨方法。
Description
技术领域
本发明属于计算机视觉及图像处理技术领域，特别涉及一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法。
背景技术
图像超分辨率技术在计算机视觉和图像处理领域拥有重要的学术研究和工业应用价值。图像超分辨率技术的目的就是，根据给定的低分辨率图像去重构出其所对应的高分辨率图像，并且能够得到尽量好的视觉效果和小的重构误差。传统的图像超分辨率技术例如包括：基于插值的图像超分辨率技术，其通过某点与周围点的包括数值和位置在内的关系，根据一定的公式来计算该点的值；基于重建的图像超分辨率技术，例如支持向量回归方法、稀疏表示法、邻域嵌入方法等；以及基于深度学习的图像超分辨率重建技术，其通过各种神经网络学习低分辨率图像和重建的高分辨率图像之间的先验信息，比较前后图像以根据重建效果调节神经网络中的模型和参数。
其中，基于深度学习的图像超分辨率重建技术是目前备受关注的技术之一，例如SRCNN基于卷积神经网络的图像超分辨率重建技术等，这些技术比基于插值或者重建的技术的计算效率都高，超分辨效果也更好。该方法首先将样本集中的低分辨率图像和高分辨率图像裁剪为对应的图像块，然后通过卷积神经网络来学习低分辨率图像块和高分辨率图像块之间的映射关系。在卷积神经网络学习过程中，通过比较重建图像块和高分辨率图像块的误差和反向传播算法来进行卷积神经网络参数的更新。将低分辨率图像输入到训练好的卷积神经网络，就能得到重建后的高分辨率图像。
然而，现有以基于卷积神经网络图像超分辨率技术为例的深度学习超分辨技术，往往存在网络参数量过大以及计算量大的技术问题，从而导致难以将其商业化。虽然也存在如级联剩余网络CARN等压缩参数量与运算量的小型网络，然而这些网络却都是需要重新设计的网络结构，而不是一种即插即用的可运用于各种已有网络的结构，因此灵活性和适配性都比较差。
发明内容
针对上述现有技术中的缺点，本发明提出了一种基于多尺度和权值共享卷积层的图像超分辨率方法，将多尺度特征表示融入到基于卷积神经网络的图像超分辨率技术中，其能够对多尺度的特征信息进行提取以及对不同尺度特征信息之间进行交互，从而实现对具体某个但不限于某一个尺度特征进行优化以及部分特征在更低的尺度下运算。具体地：
所述图像超分辨率方法为将低分辨率图像输入到训练好的卷积神经网络以重建获得高分辨率图像，包括如下步骤：S1、通过卷积层提取输入图像的特征信息，并形成n路不同尺度的特征信息，其中n大于等于2；S2、将n路多尺度特征信息输入多尺度特征表示与权值共享卷积层中进行多尺度特征信息之间的映射和交互；S3、将所述多尺度特征表示与权值共享卷积层输出的n路不同尺度的特征信息恢复到原来的尺度并进行融合，以获得最终的输出特征。
进一步，所述步骤S1还包括将提取的特征信息映射为n路，每路信息的深度为原来的1/n；并且，对第i路特征信息进行i-1次降采样，以获得不同尺度的特征信息，其中i为小于等于n的整数。如此，相比于在原尺度进行处理来说可以降低运算量。优选地，所述降采样使得所述特征信息的长和宽均为原来的一半。
进一步，在所述步骤S2中，所述多尺度特征表示与权值共享的卷积层具有多个卷积核；其中，有n个卷积核用于相同尺度特征之间的映射；此外，有2n-2个卷积核用于不同尺度特征之间的映射。可替换地，在所述步骤S2中，所述多尺度特征表示与权值共享的卷积层具有n2个卷积核；其中，有n个卷积核用于相同尺度特征之间的映射；此外，有n×(n-1)个卷积核是不同尺度特征之间的映射。
进一步，对于n路相同尺度卷积核均采用相同的权值，由于采用了权值共享的形式，因而实现了降低参数量的效果。
优选地，第i路特征在不同尺度特征之间的映射过程包括，与其相邻的第i-1路和/或第i+1路特征通过不同尺度特征之间的映射卷积核，以及对应的上采样与降采样模块，获得与第i路特征尺度一致的信息，然后再与第i路特征相加。或者，第i路特征在不同尺度特征之间的映射过程包括，其余的n-1路特征通过不同尺度特征之间的映射卷积核，以及对应的上采样与降采样模块，获得与第i路特征尺度一致的信息，然后再与第i路特征相加。
为了进一步降低运算量，优选所述降采样模块放置于卷积核前，所述上采样块放置于卷积核后。
进一步，在所述步骤S3中，所述n路特征信息经过n个卷积层映射回多尺度特征的分离前的深度；第i路信息通过i-1次上采样恢复到原来的尺度。然后再将n路特征加在一起获得最终输出的特征。
相应的，本发明还提出一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够实现上述所述方法的步骤。同时，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现上述方法的步骤。
基于以上技术方案，本发明的基于多尺度和权值共享卷积层的图像超分辨率方法相对于现有技术具有如下优点：
(1)通过多尺度的特征表示可以降低运算量，同时多尺度的信息表征有利于图像纹理细节的恢复；
(2)通过相同尺度间卷积核的权值共享的形式可以降低参数量，同时不同尺度的信息经过相同的非线性映射可以保留不同尺度特征的多样性；
(3)通过不同尺度间的交互，实现不同尺度特征的信息融合，增加了特征的多样性，进而能够在参数量与运算量降低的同时，保持了相同的PSNR(Peak Signal to NoiseRatio)且获得更好的视觉恢复效果；
(4)拥有更强的拓展性、灵活性和适配性，具体表现为该基于多尺度特征表示与权值共享的卷积层是一种即插即用的结构，可以应用于已有的基于卷积神经网络的图像超分辨方法中，并且均可实现在降低参数量与运算量的同时提升复原质量的效果。
附图说明
下面结合本发明多尺度特征表示与权值共享卷积层的结构附图对本发明的具体实施方式作进一步详细的说明。
图1多尺度特征分离结构示意图；
图2多尺度特征映射与交互结构示意图；
图3多尺度特征融合结构示意图；
图4本发明图像超分辨率方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
多尺度特征表示的方法被广泛应用于计算机视觉的各种任务中，例如相关工作有LapSRN、U-net、FPN、PSP、MSDNet、HR-Nets、Multi-grid CNNs、以及Oct-Conv等，这些方法的共同点是通过利用多尺度的特征表示来获得更好的性能。然而这些方法却缺乏不同尺度特征信息之间的交互以及深入分析多尺度特征信息所带来的作用，这样的缺陷将导致丢失特征的多样性，不利于卷积网络的训练。而且虽然通过多尺度的特征表示能够以减少特征信息的冗余性来减少运算量，然而却无法减少参数量，例如在Oct-Conv中虽然可以在减少运算量的同时提升性能，但是参数量保持不变。而如果需要同时减少参数量和运算量，带来的往往是性能的下降。因而多尺度特征表示的方法也鲜有被应用于图像超分辨率重建中。
本发明将多尺度特征表示融入到基于卷积神经网络的图像超分辨率技术中，设计了一种基于多尺度特征表示与权值共享的卷积层结构。该结构可以直接应用于现有的各种基于卷积神经网络的图像超分辨率重建方法中，将原网络中的卷积层替换为本发明所提出的一种多尺度特征表示与权值共享的卷积层，即可以使得在参数量与运算量降低的同时，根据需要生成出理想的高分辨率图像。故此本发明所提出的方法不受训练的方式、误差函数、测试方法等因素的限制。
具体地，本发明所提出的一种基于多尺度特征表示与权值共享卷积层的图像超分辨率重建方法主要包括三个步骤：多尺度特征的分离、多尺度特征的映射与交互以及多尺度特征的融合。三个步骤对应了三个不同的卷积层结构，即多尺度特征分离卷积层、多尺度特征的映射与交互卷积层以及多尺度特征融合卷积层。基于本发明的上述卷积网络对现有的各种基于卷积神经网络的图像超分辨率重建方法进行优化改进时，只需要把原卷积网络的第一个卷积层改为本发明提出的多尺度特征分离卷积层，将最后一个卷积层改为本发明提出的多尺度特征融合卷积层，而其他所有的卷积层改为本发明提出的多尺度特征的映射与交互卷积层，就可以实现在参数量与运算量降低的同时获得更优的高分辨率图像。因而，本发明所提出的上述卷积网络具有即插即用的特性，可以适用于任何的卷积网络，例如SRCNN、FSRCNN或者SRResNet等等。以下，对三个步骤及相应卷积层结构做进一步说明。
多尺度特征的分离为先通过一个卷积层提取输入图像的特征信息。参见说明书附图1所示，将特征信息映射为n路，其中n为大于等于2的整数，每路信息的深度为原来的1/n，设原来深度为C，则特征分离后每个特征的深度为C/n。特征信息的多尺度进一步通过如下操作实现，即对第i路信息(i小于等于n，且为整数)进行i-1次降采样。例如第1路信息，进行0次降采样，故该路特征信息尺度与原尺度相同；第2路信息，进行1次降采样；第3路信息，进行2次降采样，往后以此类推。每次降采样后的特征信息的长宽均为原来的一半。因而，假设原始特征的长为H、宽为W、深度为C，则第2路信息的长为H/2、宽为W/2、深度为C/n，第3路信息的长为H/4、宽为W/4、深度为C/n，第4路信息的长为H/8、宽为W/8、深度为C/n，第n路信息的长H/2(n-1)、宽为W/2(n-1)、深度为C/n。如此，便可以获得n路的不同尺度特征信息。对于上述n路不同尺度特征信息的处理与一般在原尺度上所进行的处理相比，将能够大大降低运算量。例如，以SRResNet为例，采用128×128的图片输入时，原网络的运算量为42.76G，当采用本发明的卷积层结构进行优化时，n为2即分离为两个尺度时，运算量为28.98G，降低为原来运算量的67％，n为3即分离为三个尺度时，运算量为25.53G，降低至原来运算量的60％，而整体重建性能并没有降低，这主要得益于本发明多尺度特征分离的作用。优选地，在本实施例中，将特征信息映射为2或3路以降低图像超分辨率重建的运算量。
上述获得的n路多尺度特征信息将流入多尺度特征的映射与交互卷积层中，以完成多尺度特征的映射与交互操作。所述多尺度特征的映射与交互卷积层结构具有多个卷积核，其中有n个卷积核是相同尺度特征之间的映射，称为同尺度卷积核。有2n-2个卷积核是不同尺度特征之间的映射，称为不同尺度卷积核。其中，不同尺度特征之间的映射使得在维持一个较低的运算量的基础上，还能充分利用不同尺度特征的信息，运算中保留了不同尺度特征信息的多样性，大大提升图像超分辨率重建的效果。
对于同尺度卷积核，作用是对相同尺度的特征信息进行映射，且对于n路的同尺度卷积核采用权值共享的形式，即n路相同尺度间卷积核的权值相同，如此设置能够充分降低参数量。还以SRResNet为例，采用128×128的图片输入时，原网络的参数量为1.59M，当采用本发明的卷积层结构时，n为2即分离为两个尺度时，参数量为1.19M，降低为原来参数量的75％，n为3即分离为三个尺度时，参数量为0.98M，降低至原来参数量的62％，而整体重建性能并没有降低。
对于不同尺度卷积核，由于卷积层要求输入输出的尺度一致，故此，通过在卷积核前或后加入降采样与上采样模块来保证每一路尺度信息输入输出的尺度一致。进一步地，将降采样模块放置于卷积核前，将上采样模块放置于卷积层后，如此，优先通过降采样处理(即优先减少信息量)且最后进行上采样处理(即最后增加信息量)则可以进一步降低整个过程的运算量，从而通过降采样与上采样模块以更低的消耗获得与第i路特征经过同尺度卷积核后尺度一致的特征。
参见说明书附图2所示，对于第1路特征信息来说，除了包含相同尺度特征信息进行映射以外，还包括了不同尺度特征之间的映射，例如第2路特征会通过不同尺度特征之间的映射，也即不同尺度卷积核，经过一次上采样获得与第1路特征尺度一致的信息，然后将获得的该上采样后的信息与相应的第1路特征相加。
对于第2特征路信息来说，类似地，除了包括相同尺度特征信息映射外，也还包括不同尺度之间的映射，例如第1路特征会通过不同尺度特征之间的映射，经过一次下采样获得与第2路特征尺度一致的信息，然后将获得的该下采样后的信息经不同尺度卷积核后与相应的第2路特征相加。同时，第3路特征会通过不同尺度特征之间的映射，经过不同尺度卷积核后，进行一次上采样获得与第2路特征尺度一致的信息，然后将获得的该上采样后的信息经不同尺度卷积核后与相应的第2路特征相加。
为充分说明卷积层结构，假设n大于3。对于第3路特征信息来说，其与第2路特征信息类似，都经过了与相邻两路信息，即第2路特征信息的降采样以及第4路特征信息的上采样后的信息，进行不同尺度之间映射的过程。
对于第n路特征信息来说，除了包含相同尺度特征信息进行映射以外，还包括了与相邻前一路信息的不同尺度特征之间的映射，第n-1特征路特征会通过不同尺度特征之间的映射，经过一次降采样获得与第n特征路特征尺度一致的信息，然后经过不同尺度卷积核后将其与相应的第n特征路特征相加。
因此，对于当前的第i路特征信息，与其相邻的第i-1路特征和第i+1路特征都会通过不同尺度卷积核来完成不同尺度特征之间的映射，其中结合对应的上采样与降采样模块，获得与当前第i路特征的尺度一致的信息，然后将其加到对应的第i路特征中。如此获得的n路特征信息还可以再进入下一个位于特征信息融合卷积层之前的卷积层中，例如包括多个多尺度特征的映射与交互卷积层的情况下，经过上述映射后的n路特征信息还可以再一次进入另一个多尺度特征的映射与交互卷积层中。
可替换地，上述不同尺度特征之间的映射还可以采取另外的实施方式。例如，所述多尺度特征的映射与交互卷积层结构具有n2个卷积核，其中有n个同尺度卷积核。有n×(n-1)个不同尺度卷积核。对于第1路信息来说，除了包含相同尺度特征信息进行映射以外，还包括了不同尺度特征之间的映射，例如第2路特征会通过不同尺度特征之间的映射，也即不同尺度卷积核，经过一次上采样获得与第1路特征尺度一致的信息，然后将获得的该上采样后的信息与相应的第1路特征相加。同样地，第3路信息或者第4路特征信息也可以分别经过两次或者三次上采样以及不同尺度卷积核后去与第1路特征进行相加。对于第2路信息来说，类似地，除了包括相同尺度特征信息映射外，也还包括不同尺度之间的映射，例如第1路特征会通过不同尺度特征之间的映射，经过一次下采样，由不同尺度卷积核获得与第2路特征尺度一致的信息，然后将获得的该下采样后的信息与相应的第2路特征相加。类似地，第3路和第4路特征信息也可以分别经过上采样和不同尺度卷积核后去与第2路特征进行相加。
因此，对于当前的第i路特征，其余的n-1路特征都可以通过不同尺度特征之间的映射，也即不同尺度卷积核，以及对应的上采样与降采样模块，获得与当前第i路特征尺度一致的信息，然后将其加到对应的第i路特征中。同样的，如此获得的n路特征信息还可以再进入下一个位于特征信息融合卷积层之前的卷积层中，例如包括多个多尺度特征的映射与交互卷积层的情况下，经过上述映射后的n路特征信息还可以再一次进入另一个多尺度特征的映射与交互卷积层中。
经过所有多尺度特征的映射与交互操作后，对n路映射交互后的特征信号进行多尺度特征的融合。参见说明书附图3所示，n路特征信息经过n个卷积核映射，然后，n个尺度的特征信息分别经过上采样恢复到原来的尺度。具体地，第i路信息(i小于等于n，且为整数)通过i-1次上采样恢复到原来的尺度。例如第1路信息，进行0次上采样，该特征信息尺度与原尺度相同；第2路信息，进行1次上采样后尺度与原尺度相同；第3路信息，进行2次上采样后尺度与原尺度相同；往后以此类推，第n路信息，进行n-1次上采样后尺度与原尺度相同。最后，再将n路特征加在一起获得最终输出的特征。
综上，参见说明书附图4所示，本发明的图像超分辨率方法主要包括：
S1、通过卷积层提取输入图像的特征信息，并形成n路不同尺度的特征信息，其中n大于等于2；
S2、将n路多尺度特征信息输入多尺度特征表示与权值共享卷积层中进行多尺度特征信息之间的映射和交互；
S3、将所述多尺度特征表示与权值共享卷积层输出的n路不同尺度的特征信息恢复到原来的尺度并进行融合，以获得最终的输出特征。
本发明实施例还提供一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。该处理器执行计算机程序时实现上述图像超分辨率方法中的步骤，例如所述步骤S1至S4。
在本发明实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像超分辨率方法中的步骤，例如所述步骤S1至S4。本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
使用本发明的上述基于多尺度特征表示与权值共享的卷积层结构，可以对经典的基于卷积网络的超分辨率方法，例如SRResNet、CARN、RRDBNet、DenseNet等进行优化，实现在保证相同图像重建效果的基础上，参数量与运算量的降低。以SRResNet为例，采用128×128的图片输入时，当采用本发明的卷积层结构时，n为2即分离为两个尺度时，运算量和参数量能够分别降低到原来的67％和75％，n为3即分离为三个尺度时，运算量和参数量能够分别降低到原来的60％和62％，而且能够保证整体重建性能没有降低。
本发明也适用于传统的超分辨率优化方法的提升，同样也适用于其他的图像去噪和图像去模糊等诸多领域。替代现有方案体现在更改多尺度交互的方式，增加或减少交互的数目，可以根据特定的任务制作不同的训练数据，进一步去优化在这个任务上的指标。
以上是本发明的基于多尺度特征表示与权值共享卷积层的图像超分辨技术。在现有的基于卷积神经网络的图像超分辨方法中，研究人员通过提出不同的网络结构来实现重建效果的提升，然而这些方法本质上仅仅是参数量以及运算量的增大而带来的性能提升。相对于现有技术，本发明可以在恢复性能不变的同时，大大降低了算法的参数量与运算量。同时，本发明还可以直接应用于现有的各种基于卷积神经网络的图像超分辨率技术中，仅仅需要将原网络的卷积层转换为本发明所提出的结构即可，实现简单，即插即用，具有更好的灵活性和适配性。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像超分辨率方法，将低分辨率图像输入到训练好的卷积神经网络以重建获得高分辨率图像，其特征在于，包括如下步骤：
S1、通过卷积层提取输入图像的特征信息，并形成n路不同尺度的特征信息，其中n大于等于2；
S2、将n路多尺度特征信息输入多尺度特征与权值共享卷积层中进行多尺度特征信息之间的映射和交互；所述多尺度特征与权值共享的卷积层具有多个卷积核；其中，有第一数量个卷积核用于相同尺度特征之间的映射；此外，有第二数量个卷积核用于不同尺度特征之间的映射；
S3、将所述多尺度特征与权值共享卷积层输出的n路不同尺度的特征信息恢复到原来的尺度并进行融合，以获得最终的输出特征。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括：
将提取的特征信息映射为n路，每路信息的深度为原来的1/n；并且，对第i路特征信息进行i-1次降采样，以获得不同尺度的特征信息，其中i为小于等于n的整数。
3.根据权利要求2所述的方法，其特征在于，所述降采样使得所述特征信息的长和宽均为原来的一半。
4.根据权利要求1所述的方法，其特征在于，在所述步骤S2中，所述第一数量为n，所述第二数量为2n-2。
5.根据权利要求1所述的方法，其特征在于，在所述步骤S2中，所述第一数量为n，所述第二数量为n×(n-1)。
6.根据权利要求4或5所述的方法，其特征在于，对于n路相同尺度卷积核均采用相同的权值。
7.根据权利要求4所述的方法，其特征在于，第i路特征在不同尺度特征之间的映射过程包括，与其相邻的第i-1路和/或第i+1路特征通过不同尺度特征之间的映射卷积核，以及对应的上采样与降采样模块，获得与第i路特征尺度一致的信息，然后再与第i路特征相加，其中i为小于等于n的整数。
8.根据权利要求5所述的方法，其特征在于，第i路特征在不同尺度特征之间的映射过程包括，其余的n-1路特征通过不同尺度特征之间的映射卷积核，以及对应的上采样与降采样模块，获得与第i路特征尺度一致的信息，然后再与第i路特征相加，其中i为小于等于n的整数。
9.根据权利要求7或8所述的方法，其特征在于，所述降采样模块放置于卷积核前，所述上采样块放置于卷积核后。
10.根据权利要求2所述的方法，其特征在于，在所述步骤S3中，所述n路特征信息经过n个卷积层映射回多尺度特征的分离前的深度；第i路信息通过i-1次上采样恢复到原来的尺度。
11.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135091.5A CN111353939B (zh) | 2020-03-02 | 2020-03-02 | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135091.5A CN111353939B (zh) | 2020-03-02 | 2020-03-02 | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353939A CN111353939A (zh) | 2020-06-30 |
| CN111353939B true CN111353939B (zh) | 2023-10-27 |
Family
ID=71197194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010135091.5A Active CN111353939B (zh) | 2020-03-02 | 2020-03-02 | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353939B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11908103B2 (en) * | 2020-08-14 | 2024-02-20 | Tencent America LLC | Multi-scale-factor image super resolution with micro-structured masks |
| CN112082915B (zh) * | 2020-08-28 | 2024-05-03 | 西安科技大学 | 一种即插即用型大气颗粒物浓度检测装置及检测方法 |
| CN112200169B (zh) * | 2020-12-07 | 2021-04-30 | 北京沃东天骏信息技术有限公司 | 用于训练模型的方法、装置、设备以及存储介质 |
| CN113298740A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
| CN109886874A (zh) * | 2019-01-31 | 2019-06-14 | 西安理工大学 | 超分辨率图像重建方法及专用加速电路 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
| CN108288251A (zh) * | 2018-02-11 | 2018-07-17 | 深圳创维－Rgb电子有限公司 | 图像超分辨率方法、装置及计算机可读存储介质 |
-
2020
- 2020-03-02 CN CN202010135091.5A patent/CN111353939B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
| CN109886874A (zh) * | 2019-01-31 | 2019-06-14 | 西安理工大学 | 超分辨率图像重建方法及专用加速电路 |
Non-Patent Citations (3)
| Title |
|---|
| Scale-Aware Trident Networks for Object Detection;Yanghao Li;《Arxiv》;第2-5节 * |
| Scale-wise Convolution for Image Restoration;Yuchen Fan;《Arxiv》;第2-4节 * |
| 面向图像超分辨率的紧凑型多径卷积神经网络算法研究;应自炉等;《信号处理》(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353939A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353939B (zh) | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 | |
| CN108550115B (zh) | 一种图像超分辨率重建方法 | |
| US11449966B2 (en) | Real-time video ultra resolution | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| Hui et al. | Progressive perception-oriented network for single image super-resolution | |
| Du et al. | Anchor-based plain net for mobile image super-resolution | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| Li et al. | Hst: Hierarchical swin transformer for compressed image super-resolution | |
| Zhang et al. | Gated fusion network for degraded image super resolution | |
| CN109146813B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN107103585B (zh) | 一种图像超分辨率系统 | |
| CN111372006B (zh) | 一种面向移动端的高动态范围成像方法及系统 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN115841420A (zh) | 一种基于深度学习的偏振图像超分辨率重建方法 | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| CN112884650A (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| Esmaeilzehi et al. | SRNHARB: A deep light-weight image super resolution network using hybrid activation residual blocks | |
| Sun et al. | A rapid and accurate infrared image super-resolution method based on zoom mechanism | |
| Zhang et al. | A cross-scale framework for low-light image enhancement using spatial–spectral information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |