CN113674143A - 图像超分辨率处理方法、装置、设备及存储介质 - Google Patents
图像超分辨率处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113674143A CN113674143A CN202010403330.0A CN202010403330A CN113674143A CN 113674143 A CN113674143 A CN 113674143A CN 202010403330 A CN202010403330 A CN 202010403330A CN 113674143 A CN113674143 A CN 113674143A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- information content
- neural network
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000003062 neural network model Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 101100180051 Danio rerio isl2a gene Proteins 0.000 description 2
- 101100126318 Rattus norvegicus Isl2 gene Proteins 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种图像超分辨率处理方法、装置、设备及存储介质，图像超分辨率处理包括：获取待处理图像；通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
Description
技术领域
本申请涉及计算机技术领域，例如涉及一种图像超分辨率处理方法、装置、设备及存储介质。
背景技术
基于深度学习的超分辨率重建技术在重构效果对比中展现出了比传统方法非常明显的优势。当前超分辨率重建方法的主流开始向深度学习靠拢。
当前基于深度神经网路的超解析方法分为两个大类，一种是基于生成式对抗网络(Generative Adversarial Networks，GAN)的方法，另一类则是基于有监督的全卷积神经网络。前者通过感知机代价函数在GAN网络框架下，使输出结果位于真实背景(GroundTruth，GT)所处的高位空间之中，以判别器无法分辨生成图像和真实图像为目的。基于有监督的方法则是通过确定的退化模型生成低分辨率-高分辨对(Low-resolution and high-resolution pair，LHP)，借助负责的网络结构建模实现对这种LHP的识别。
两类方法一般针对每个数据集进行随机裁剪成固定大小的块，然后将多个块组成样本集，样本集作为输入在网络中进行正向和反向传播，更新网络参数。这种方法在自然图像中存在显著的不均衡问题，主要是由于平滑区域在统计中相比于各类纹理而言占比较高。也就是说，无干扰的随机采样会输入网络更多的平滑区域，导致网络更倾向于采纳平滑区域的LHP。
发明内容
本申请提供一种图像超分辨率处理方法、装置、设备及存储介质，可以解决现有技术中采样输出样本比例失衡问题。
第一方面，本申请实施例提供一种图像超分辨率处理方法，包括：获取待处理图像；
通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
第二方面，本申请实施例提供一种图像超分辨率处理装置，包括：获取模块，用于获取待处理图像；
处理模块，用于通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
第三方面，本申请实施例提供一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例中的任意一种方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中的任意一种方法。
关于本申请的以上实施例和其他方面以及其实现方式，在附图说明、具体实施方式和权利要求中提供更多说明。
附图说明
图1为本申请提供的一种信息确定方法的流程示意图；
图1a为本申请提供的一种深度神经网络的架构图；
图1b为本申请提供的神经网络模型的训练流程图；
图2为本申请提供的一种信息确定装置的结构示意图；
图3为本申请提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在一个示例性实施方式中，图1为本申请提供的一种图像超分辨率处理方法的流程示意图。该方法可以适用于将低分辨率的待处理图像进行超分辨率处理的情况。该方法可以由本申请提供的图像超分辨率处理装置执行，该图像超分辨率处理装置可以由软件和/或硬件实现，并集成在设备上。
如图1所示，本申请提供的一种图像超分辨率处理方法，包括S110-S120。
S110、获取待处理图像。
其中，所述待处理图像为低分辨率图像。
具体的，获取待处理图像的方式可以为通过摄像头采集待处理图像，还可以为通过截取的方式获取待处理图像，本发明实施例对获取待处理图像的方式不进行限制。
S120、通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
其中，金字塔神经网络模型针对基本特征提取模块，通过多层级联，实现从浅层特征到高层特征的获取。需要说明的是，采用给金字塔式的网络结构，一方面保留了底层特征、中层特征和高层特征均可以参与上采样过程，另一方面由于多层跳连可以提升网络的稳定性。针对基本特征提取模块φ，通过多层级联，实现从浅层特征到高层特征的获取。基本特征提取模块可以选择残差网络，也可以选用U-Net的结构模型。每个模块提取的特征作为下一级特征提取的输入，最终各层特征都作为上采样模块的输入，如下式所示：
Input:[φ0,φ1,...,φn]，
其中，φ为基本特征提取模块。
具体的，如图1a所示，为本发明实施例中的深度神经网络的架构图，将低分辨率图像输入神经网络模型，得到高分辨率图像，在神经网络模型中，先是进行浅层特征提取，基本特征提取模块包括：基本特征提取模块φ0，基本特征提取模块φ1...基本特征提取模块φn，每个模块提取的特征作为下一级特征提取的输入，最终各层特征都作为上采样模块的输入每个模块提取的特征作为下一级特征提取的输入，最终各层特征都作为上采样模块的输入。
本发明实施例中，超分辨率重构的输出不局限于有限个分类目标，和以分类识别为目的的深度神经网络不同。从输入输出维度而言，超分辨率属于多对多的映射过程，如下式所示：
Γ:X→q
K:X→Y
其中，Γ表示分类识别网络，X表示输入图像，包含了二维(灰度图)或者三位(例如，包含了色彩信息)乃至四维(例如，包含了色彩信息的视频等)。q表示一个标量，针对目标识别，q可能是bool型变量，针对多分类问题，q可能是一个有限大小的标量。K表示超分辨率隐射关系，其中Y表示输出高分辨率结果，大多数情况下，Y应与X保持相同维度，在每个维度上的幅值不小于X，可看作是一个信息膨胀的过程。从信息维度和效果提升而言K需要更广泛的关注所有输入信息。
传统的超解析输入样本提取是从样本集Α中随机选取batch个样本{a0,a1,…,an}然后对每个样本ai进行随机裁剪，最后根据需要进行数据增广，然后输入网络进行训练。这种方式只是简单的根据分类识别网络进行了迁移，并未考虑到X在底层信息的相似性，即多数图像将包含大片平滑区域(这种现象在高分辨率图像中更为明显)，平滑区域具有更高的相似性。这种相似性在网络训练过程中表现为输入端在统计上包含了超过其他纹理区域的更高的比重，而这种不均衡性将导致超分辨率神经网络更倾向于输出平滑的结果。这种结果违背了真实背景的图像信息，导致部分原本清晰的区域细节被损失。
本发明实施例目标图像样本根据样本信息含量区间过滤原始图像样本得到，也就是采用滤波的方法实现对样本的均衡控制，具体的实现方式可以为：采用梯度信息表征样本的纹理丰富程度，对每个图像样本计算其Sobel梯度信息，并对其梯度信息进行求和，将求和的结果作为样本信息含量。或者可以为：采用方差，因为方差同样可以表征样本的变化程度，计算随机获取的每个样本内的方差，然后根据方差的数值填充到对应的间隔内，直到每个间隔内的样本均达到满足。由于每次样本的获取都采用随机的方式，每一轮训练之间使用shuffle，可以同时保证了样本的随机性。
具体的，对目标图像样本集对应的整个样本信息含量空间进行划分，得到至少一个样本信息含量区间，每个区间具备样本信息含量的起始点和终止点，并对每个区间设置区间内的样本数量，获取原始图像样本的样本信息含量，根据样本信息含量确定样本信息含量对应的样本信息含量区间，找到对应的区间后，获取该空间内的样本数目，若样本数目没有达到设置的样本数量，则选取进入空间，若达到设置的样本数量，则不选用。
具体的，在对原始图像样本进行过滤后得到目标图像样本，通过目标图像样本集迭代训练金字塔神经网络模型得到目标神经网络模型，通过训练完成的目标神经网络模型对待处理图像进行超分辨处理。
如图1b所示，为神经网络模型的训练流程图，先从训练集中获取初始样本，选择样本，根据选择的样本训练网络模型，计算Loss，更新神经网络模型，迭代执行上述步骤，直至得到最终模型。
本申请提供的一种图像超分辨率处理方法，获取待处理图像，通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。解决了现有技术中采样输出样本比例失衡问题，有效的缓解网络的有偏性。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，通过目标图像样本集迭代训练金字塔神经网络模型包括：
建立金字塔神经网络模型；
将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像；
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数，其中，所述目标函数包括函数L2+αL1、函数L1+θLP以及函数L2+μL1+βLP中的一种或多种，其中，所述L2为L2范数，所述L1为L1范数，所述LP为LP范数，所述α、θ、μ、β为正则化因子的权重；
返回执行将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像的操作，直至得到目标神经网络模型。
其中，所述L1范数为
L2范数为
LP范数为
其中，xi为预测图像与所述低分辨率图像对应的高分辨率图像的差值。
具体的，当p大于0小于1时，xi在Lp范数下会有更大的响应。所以采用Lp范数作为目标函数可以让较小的差异输出更大的Loss，提升网络对弱小差异的敏感性。
具体的，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数可以为：目标函数为函数L2+αL1，L2为L2范数，所述L1为L1范数，L1范数为
L2范数为
xi为预测图像与所述低分辨率图像对应的高分辨率图像的差值；或者可以为：初始时目标函数是函数L2+αL1，目标函数下降不明显之后，目标函数为函数L1+θLP，所述LP为LP范数，所述α和θ为正则化因子的权重，LP范数为
xi为预测图像与所述低分辨率图像对应的高分辨率图像的差值；还可以为：目标函数为函数L2+μL1+βLP，μ、β为正则化因子的权重，通过调整权重来实现对全局最优的逼近。
在一个实施例中，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：
基于目标函数L2+αL1和设置为第一数值的学习率，训练所述金字塔神经网络的参数；
在目标函数输出值的下降数值小于第二数据后，基于目标函数L1+θLP，和设置为第二数值的学习率，继续训练所述金字塔神经网络的参数，其中，所述第二数值小于所述第一数值，所述α和θ随着学习率的减小而增大。
其中，所述第一数值可以为设定的较大的学习率。所述第二数值可以为设定的相对小的学习率。
具体的，在训练的初始阶段采用函数L2+αL1作为目标函数，同时使用较大学习率进行训练。在目标函数下降不明显之后，采用L1+θLP作为目标函数，在相对小的学习率下进行训练。
在一个实施例中，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数L2+μL1+βLP训练所述金字塔神经网络的参数；
在每轮训练中，或者，在两轮训练之间，调整μ和β，进而实现对全局最优的逼近。
具体的，全局选择L2+μL1+βLP范数约束作为目标函数，通过对每轮训练或者两轮训练之间动态调整正则化因子的权重实现对全局最优的逼近。
本发明实施例涉及训练过程中的目标函数设定及训练过程的参数调整。在训练过程中采用多范数正则化方法提升对非显著纹理部分的贡献。同时，通过在训练过程中根据网络收敛情况调整正则化因子的权重，动态调整一方面提升网络的收敛效率，另一方面避免网络陷入极小值，更有效地更新网络超参采用多范数正则化。现有技术中的解析方法稳定性低，偶尔会出现原图像中未包含的成分或者纹理，其客观指标(例如PSNR、SSIM)较低。通常以L2范数或者L1范数作为目标函数，该函数约束下的网络训练结果通常具有较高的客观质量。在追求量化指标的情况下，通常导致网络复杂性大幅增加，增加的算力需求带来有限的效果提升，不利于部署侧实现。而且由于偏向于提升深度忽略了网络结构和数据的影响。相比于目前常用的L2范数或者L1范数作为目标函数，本发明实施例采用同时联合Lp范数，并且在训练过程中采用动态调整的方式，提升训练收敛效率和对细小目标的关注。
在一个实施例中，所述样本信息含量包括：图像样本的梯度信息，或者，图像样本内的方差。
其中，梯度信息表征图像样本的纹理丰富程度。
具体的，对每个样本计算其Sobel算子梯度信息，并对其梯度信息进行求和，将求和的结果作为样本信息含量的表示。
其中，图像样本内的方差表征图像样本的变化程度。
具体的，计算随机获取的每个样本内的方差，将其作为样本信息含量的表示。
在一个实施例中，所述样本信息含量为：
PIC＝||max(abs(Sobel(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，所述x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
在一个实施例中，所述样本信息含量为：
PIC＝||max(abs(Var(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，所述x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
在一个实施例中，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同包括：
将目标图像样本集对应的样本信息含量空间进行划分，得到至少两个样本信息含量区间，各样本信息含量区间对应的信息含量范围不同，其中，各样本信息含量区间包含目标数量的图像样本；
获取图像样本的信息含量；
根据所述图像样本的信息含量确定对应的样本信息含量区间；
若所述样本信息含量区间内的样本数量小于目标数量，则将所述图像样本确定为目标图像样本。
其中，将目标图像样本集对应的样本信息含量空间进行划分，得到至少两个样本信息含量区间，例如可以是，将目标图像样本集对应的样本信息含量空间进行划分，得到4个样本信息含量区间，如下式所示：
PIC＝[[0,pic0],[pic0,pic1],[pic1,pic2],[pic2,∞]]；
其中，[0,pic0]表示第一区间的pic起始点和终止点，[pic0,pic1]表示第二区间的pic起始点和终止点，[pic1,pic2]表示第三区间的pic起始点和终止点，[pic2,∞]表示第四区间的pic起始点和终止点。
其中，将目标图像样本集对应的样本数量设定为N，将目标图像样本集对应的样本数量平均至四个区间，每个区间内的图像样本数量为N/4，如下式所示：
Interval＝[N/4,N/4,N/4,N/4]；
其中，N为目标图像样本集对应的样本数量，Internal表示将整体PIC空间进行划分之后的每个区间内分配的样本数量。
具体的，将目标图像样本集对应的样本信息含量空间划分为4个有效间隔，按照Batch为N，将每个间隔内样本选择为N/4。例如，第一个区间分配数目为N/4，当patch的PIC指位于[0,pic0]区间内，且该区间内样本数未到达N/4，则该样本被选取进入待处理Batch。同时，超过N/4时，该区域内的样本即达到填满状态，位于该区间的patch不在被选用。此时，如果其他间隔内仍然存在不足，那么重新进行一次随机采样，对每个采样的样本做信息量衡量，直到所有间隔内的数据均达到满足状态。
本申请提供了一种图像超分辨率处理装置，图2为本申请提供的一种图像超分辨率处理装置的结构示意图。如图2所示，本申请实施例中的一种图像超分辨率处理装置，可以集成在设备上。该装置包括：获取模块21，用于获取待处理图像；处理模块22，用于通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
本实施例提供的装置用于实现如图1所示实施例的方法，本实施例提供的装置实现原理和技术效果与图1所示实施例的方法类似，此处不再赘述。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，处理模块22具体用于：
建立金字塔神经网络模型；
将所述目标样本中的低分辨率图像输入所述金字塔神经网络得到预测图像；
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数，其中，所述目标函数包括函数L2+αL1、函数L1+θLP以及函数L2+μL1+βLP中的一种或多种，其中，所述L2为L2范数，所述L1为L1范数，所述LP为LP范数，所述α、θ、μ、β为正则化因子的权重；
返回执行将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像的操作，直至得到目标神经网络模型。
在一个实施例中，处理模块22具体用于：
基于目标函数L2+αL1和设置为第一数值的学习率，训练所述金字塔神经网络的参数；
在目标函数输出值的下降数值小于第二数据后，基于目标函数L1+θLP，和设置为第二数值的学习率，继续训练所述金字塔神经网络的参数，其中，所述第二数值小于所述第一数值，所述α和θ随着学习率的减小而增大。
在一个实施例中，处理模块22具体用于：
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数L2+μL1+βLP训练所述金字塔神经网络的参数；
在每轮训练中，或者，在两轮训练之间，调整μ和β，进而实现对全局最优的逼近。
在一个实施例中，所述样本信息含量包括：图像样本的梯度信息，或者，图像样本内的方差。
在一个实施例中，所述样本信息含量为：
PIC＝||max(abs(Sobel(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，所述x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
在一个实施例中，所述样本信息含量为：
PIC＝||max(abs(Var(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，所述x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
在一个实施例中，处理模块22具体用于：
将目标图像样本集对应的样本信息含量空间进行划分，得到至少两个样本信息含量区间，各样本信息含量区间对应的信息含量范围不同，其中，各样本信息含量区间包含目标数量的图像样本；
获取图像样本的信息含量；
根据所述图像样本的信息含量确定对应的样本信息含量区间；
若所述样本信息含量区间内的样本数量小于目标数量，则将所述图像样本确定为目标图像样本。
本申请提供的一种图像超分辨率处理装置，用于获取待处理图像，通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。解决了现有技术中采样输出样本比例失衡问题，有效的缓解网络的有偏性。
具体的，训练样本的收集过程，本发明实施例采用针对Patch添加样本信息含量的方式对样本进行滤波，提升样本进入网络训练时统计意义的均衡。首先建立一种评价样本信息量的统计指标，在该指标下对数据集随机裁剪得到的patch进行信息量标定，通过对统计指标进行分段以确定每段所需的样本数。然后，对随机裁剪的patch进行第二次选择，控制最终选择的Batch在整个训练过程中保持均衡。网络架构设计上，本发明实施例采用金字塔结构作为网络的主体结构。同时将底层、中层和高层语义信息同时引入上采样模块之中。考虑到随着卷积的加深，语义信息偏向于高层，将底层信息和中层信息丢弃会降低重构结果中对图像“微弱”细节的关注，所以一方面，采用金字塔结构，将提取的信息进行浓缩，降低运算代价，另一方面多种信息融合，提升重构效果。训练过程中的目标函数设定及训练过程超参数调整。在训练过程中采用多范数正则化方法提升对非显著纹理部分的贡献。同时，通过在训练过程中根据网络收敛情况调整正则化因子的权重，动态调整一方面提升网络的收敛效率，另一方面避免网络陷入极小值，更有效地更新网络超参数。
本发明实施例针对现有超分辨率方法中的采样输出样本比例失衡问题，平滑区域的相似性，统计上平滑区域的比例将显著高于其他数据分割之后的纹理部分。网络结构的加深导致浅层信息缺失，引起重构过程中的浅层、中层和高层信息不均衡。通过本专利的方案可以有效地缓解网络的有偏性，提升超解析重建过程中的细节缺失问题，以及重构纹理部分方向错乱的缺陷。
本发明实施例充分利用样本中的各种特征信息，有监督的深度学习效果很大程度上依赖于样本的丰富性，虽然目标提供的样本数据在绝对数量上已经有了很大提升，但是数据间的相对数目并不均衡，尤其是针对高分辨率样本中，经常存在大片的天空、玻璃或者其他缓变的区域。本发明实施例通过对样本的信息熵分析，降低数据不均衡性，为神经网络模型提供更优质的信息输入。多尺度网络架构，通过金字塔方法将多级信息输入上采样模块之中。降低了伴随深度增加导致后续特征偏向于高层特征，导致浅层特征和中层特征比例的降低。本发明将金字塔的多层输出均导入上采样模块，提升上采样模块的数据丰富性。采用多范数正则化，相比于目前有监督方法中常用的L2范数或者L1范数作为目标函数，但是本发明建议采用同时联合Lp范数，并且在训练过程中采用动态调整的方式，提升训练收敛效率和对细小目标的关注。
本申请提供了一种设备，图3本申请提供的一种设备的结构示意图，如图3所示，本申请提供的设备，包括一个或多个处理器31和存储装置32；该设备中的处理器31可以是一个或多个，图3中以一个处理器31为例；存储装置32用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器31执行，使得所述一个或多个处理器31实现如本申请实施例中图1所述的方法。
设备还包括：通信装置33、输入装置34和输出装置35。
设备中的处理器31、存储装置32、通信装置33、输入装置34和输出装置35可以通过总线或其他方式连接，图3中以通过总线连接为例。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的按键信号输入。输出装置35可包括显示屏等显示设备。
通信装置33可以包括接收器和发送器。通信装置33设置为根据处理器31的控制进行信息收发通信。信息包括但不限于上行授权信息。
存储装置32作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例图1所述图像超分辨率处理方法对应的程序指令/模块(例如，图像超分辨率处理装置中的获取模块21和处理模块22)。存储装置32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例所述的图像超分辨率处理方法，该方法包括：
获取待处理图像；
通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述，仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。
本领域内的技术人员应明白，术语用户设备涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。
一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、光存储器装置和系统(数码多功能光碟(Digital Video Disc，DVD)或光盘(Compact Disk，CD))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Field-Programmable Gate Array，FGPA)以及基于多核处理器架构的处理器。
通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本申请的范围。因此，本申请的恰当范围将根据权利要求确定。
Claims (11)
1.一种图像超分辨率处理方法，其特征在于，包括：
获取待处理图像；
通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
2.根据权利要求1所述的方法，其特征在于，通过目标图像样本集迭代训练金字塔神经网络模型包括：
建立金字塔神经网络模型；
将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像；
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数，其中，所述目标函数包括函数L2+αL1、函数L1+θLP以及函数L2+μL1+βLP中的一种或多种，其中，L2为L2范数，L1为L1范数，LP为LP范数，α、θ、μ、β为正则化因子的权重；
返回执行将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像的操作，直至得到目标神经网络模型。
3.根据权利要求2所述的方法，其特征在于，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：
基于目标函数L2+αL1和设置为第一数值的学习率，训练所述金字塔神经网络的参数；
在目标函数输出值的下降数值小于第二数据后，基于目标函数L1+θLP，和设置为第二数值的学习率，继续训练所述金字塔神经网络的参数，其中，所述第二数值小于所述第一数值，α和θ随着学习率的减小而增大。
4.根据权利要求2所述的方法，其特征在于，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：
根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数L2+μL1+βLP训练所述金字塔神经网络的参数；
在每轮训练中，或者，在两轮训练之间，调整μ和β，进而实现对全局最优的逼近。
5.根据权利要求1所述的方法，其特征在于，所述样本信息含量包括：图像样本的梯度信息，或者，图像样本内的方差。
6.根据权利要求1所述的方法，其特征在于，所述样本信息含量为：
PIC＝||max(abs(Sobel(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
7.根据权利要求1所述的方法，其特征在于，所述样本信息含量为：
PIC＝||max(abs(Var(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。
8.根据权利要求1所述的方法，其特征在于，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同包括：
将目标图像样本集对应的样本信息含量空间进行划分，得到至少两个样本信息含量区间，各样本信息含量区间对应的信息含量范围不同，其中，各样本信息含量区间包含目标数量的图像样本；
获取图像样本的信息含量；
根据所述图像样本的信息含量确定对应的样本信息含量区间；
若所述样本信息含量区间内的样本数量小于目标数量，则将所述图像样本确定为目标图像样本。
9.一种图像超分辨率处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
处理模块，用于通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。
10.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的图像超分辨率处理方法。
11.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的图像超分辨率处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010403330.0A CN113674143A (zh) | 2020-05-13 | 2020-05-13 | 图像超分辨率处理方法、装置、设备及存储介质 |
| EP21804003.8A EP4152244A4 (en) | 2020-05-13 | 2021-04-28 | METHOD, DEVICE AND APPARATUS FOR HIGH RESOLUTION IMAGE PROCESSING AND STORAGE MEDIUM |
| PCT/CN2021/090646 WO2021227877A1 (zh) | 2020-05-13 | 2021-04-28 | 图像超分辨率处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010403330.0A CN113674143A (zh) | 2020-05-13 | 2020-05-13 | 图像超分辨率处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674143A true CN113674143A (zh) | 2021-11-19 |
Family
ID=78526408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010403330.0A Pending CN113674143A (zh) | 2020-05-13 | 2020-05-13 | 图像超分辨率处理方法、装置、设备及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4152244A4 (zh) |
| CN (1) | CN113674143A (zh) |
| WO (1) | WO2021227877A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471398A (zh) * | 2022-08-31 | 2022-12-13 | 北京科技大学 | 图像超分辨率方法、系统、终端设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578553B (zh) * | 2022-11-22 | 2023-04-07 | 河南知微生物工程有限公司 | 一种基于时序图像序列的甲醛的快速检测方法 |
| CN115880157B (zh) * | 2023-01-06 | 2023-05-26 | 中国海洋大学 | 一种k空间金字塔特征融合的立体图像超分辨率重建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4190565B2 (ja) * | 2007-04-12 | 2008-12-03 | 株式会社東芝 | Ｘ線ｃｔ装置 |
| CN102208103A (zh) * | 2011-04-08 | 2011-10-05 | 东南大学 | 一种用于影像快速融合与评价的方法 |
| CN109544448B (zh) * | 2018-11-09 | 2023-06-30 | 浙江工业大学 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
-
2020
- 2020-05-13 CN CN202010403330.0A patent/CN113674143A/zh active Pending
-
2021
- 2021-04-28 WO PCT/CN2021/090646 patent/WO2021227877A1/zh unknown
- 2021-04-28 EP EP21804003.8A patent/EP4152244A4/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471398A (zh) * | 2022-08-31 | 2022-12-13 | 北京科技大学 | 图像超分辨率方法、系统、终端设备及存储介质 |
| CN115471398B (zh) * | 2022-08-31 | 2023-08-15 | 北京科技大学 | 图像超分辨率方法、系统、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4152244A4 (en) | 2024-07-03 |
| WO2021227877A1 (zh) | 2021-11-18 |
| EP4152244A1 (en) | 2023-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674143A (zh) | 图像超分辨率处理方法、装置、设备及存储介质 | |
| CN110009653A (zh) | 基于灰度阈值分割法增加边缘识别点准确图像识别的方法 | |
| CN110781885A (zh) | 基于图像处理的文本检测方法、装置、介质及电子设备 | |
| CN113781510B (zh) | 边缘检测方法、装置及电子设备 | |
| CN115019187B (zh) | 针对sar图像船舶目标的检测方法、装置、设备及介质 | |
| CN116029947B (zh) | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 | |
| CN114092794A (zh) | 一种海冰图像分类方法、系统、介质、设备及处理终端 | |
| Wang et al. | An efficient method for image dehazing | |
| CN110188815B (zh) | 一种特征点采样方法、装置、设备及存储介质 | |
| CN114494081B (zh) | 一种无人机遥感测绘图像增强方法 | |
| CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN116343051B (zh) | 一种基于遥感影像的地质环境监测方法及系统 | |
| CN110991305B (zh) | 一种遥感图像下的飞机检测方法及存储介质 | |
| CN116188834B (zh) | 基于自适应训练模型的全切片图像分类方法及装置 | |
| CN116543325A (zh) | 基于无人机影像的农作物人工智能自动识别方法和系统 | |
| CN115082299B (zh) | 非严格对齐的小样本不同源图像转换方法、系统及设备 | |
| CN114170113B (zh) | 一种无人机航空测绘三维建模方法及系统 | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN118247274B (zh) | 一种手机镜头结构件的检测装置及检测方法 | |
| CN115512117A (zh) | 实例检索模型微调方法、装置、计算机设备及存储介质 | |
| CN118052268A (zh) | 一种场景自适应的模型压缩方法及系统 | |
| CN117935074A (zh) | 一种基于高分辨率遥感影像的山火检测方法及系统 | |
| CN111680700A (zh) | 基于蝙蝠算法与归一化色差的遥感图像特征提取方法及装置 | |
| CN114943895A (zh) | 变电站地面油污识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |