CN112017113B - 图像处理方法及装置、模型训练方法及装置、设备及介质 - Google Patents
图像处理方法及装置、模型训练方法及装置、设备及介质 Download PDFInfo
- Publication number
- CN112017113B CN112017113B CN201910464965.9A CN201910464965A CN112017113B CN 112017113 B CN112017113 B CN 112017113B CN 201910464965 A CN201910464965 A CN 201910464965A CN 112017113 B CN112017113 B CN 112017113B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- feature map
- training
- edge feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000013136 deep learning model Methods 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims description 77
- 238000010586 diagram Methods 0.000 claims description 22
- 230000003321 amplification Effects 0.000 claims description 17
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理方法及装置、模型训练方法及装置、设备及介质；所属的技术领域为图像技术领域。所述图像处理方法包括：生成第一分辨率的第一图像的边缘特征图；利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率。在本实施例中，所述图像处理方法会以低分辨率的第一图像的边缘特征图和第一图像自身为输入用于深度学习模型处理，从而获得图像质量高且图像分辨率高的第二图像。
Description
技术领域
本发明涉及图像技术领域，尤其涉及一种图像处理方法及装置、模型训练方法及装置、电子设备及存储介质。
背景技术
超分辨率(Super-Resolution，SR)重建是指通过软件方法，利用低分辨率(LowResolution,LR)图像之间的冗余性、相似性及一些先验知识重建出高分辨率(HighResolution,HR)图像的技术。
在现有的超分辨率重建的技术包括以下几种：
第一种：基于插值的超分辨率重建，主要是利用各种插值函数，例如，最近邻插值算法、双线性插值算法、双三次插值算法等，但是这种算法仅是将原始像素进行简单组合，并不能增加图像的细节信息，无法重建出逼真的图像纹理。
第二种：通过非插值的图像变换方法得到高分辨率的图像，例如，比较经典Stark和凸集投影POCS(Project onto Convex Sets)方法，Irani和Peleg等人提出的迭代反向投影IBP(Iterative Back projection)方法以及Schultz和Stevenson等人提出的最大后验概率MAP(Maximum a Posteriori)方法等。由于基于单幅图像的超分辨率重建本身是一个不适定(ill-posed)问题，重建出高分辨率的图像具有边缘模糊或锯齿明显的现象。
第三种：利用卷积神经网络等进行高分辨率图像的重建，但是存在着重建效率低和重建图像的图像质量之间的冲突严重的问题；即很难同时兼顾图像重建速率和图像质量。
发明内容
本发明实施例期望提供一种图像处理方法及装置、图像设备及存储介质。
本发明的技术方案是这样实现的：
一种图像处理方法，包括：
生成第一分辨率的第一图像的边缘特征图；
利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率。
基于上述方案，所述将所述边缘特征图和所述第一图像输入到深度学习模型进行图像重建，包括：
利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像；
利用所述深度学习模型将所述第三图像与所述第一图像融合，得到所述第二图像。
基于上述方案，所述利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像，包括：
利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像。
基于上述方案，所述利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像，包括：
以第n个递归残差单元的输入特征和输出特征，同时作为第n+1个递归残差单元的输入特征，其中，n为正整数；
所述第n+1个递归残差单元对接收到的输入特征进行预定次数的卷积，得到第n+1个递归残差单元的输出。
基于上述方案，所述生成第一分辨率的第一图像的边缘特征图，包括：
确定所述第一图像的二维图像信号在各位置处的相位一致性；
基于所述相位一致性，生成所述边缘特征图。
基于上述方案，所述方法还包括：
获取所述第一图像的放大倍数；其中，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；
所述利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，包括：
利用所述深度学习模型基于所述放大倍数，分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；
基于所述第一特征图和所述第二特征图进行图像重建，获得所述第二分辨率的第二图像。
基于上述方案，所述利用所述深度学习模型基于所述放大倍数，分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图，包括：
从所述深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；
利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
基于上述方案，所述利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图，包括：
利用包含多个级联的残差区块的所述目标多尺度预处理模块，分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
一种深度学习模型训练方法，包括：
基于将第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，第二分辨率高于所述第一分辨率；
基于所述输出图像和所述训练图像，得到训练损失值；
基于所述训练损失值，确定是否继续所述深度学习模型的训练。
基于上述方案，所述基于所述输出图像和所述训练图像，得到训练损失值，包括：
基于所述输出图像和所述训练图像对应的所述第二分辨率的原始图像，得到第一损失项；
基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，获得第二损失项；
基于所述第一损失项和所述第二损失项，获得所述训练损失值。
一种图像处理装置，包括：
第一获取模块，用于生成第一分辨率的第一图像的边缘特征图；
重建模块，用于利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率。
基于上述方案，所述重建模块，具体用于利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像；利用所述深度学习模型将所述第三图像与所述第一图像融合，得到所述第二图像。
基于上述方案，所述重建模块，具体用于利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像。
基于上述方案，所述重建模块，具体用于以第n个递归残差单元的输入特征和输出特征，同时作为第n+1个递归残差单元的输入特征，其中，n为正整数；所述第n+1个递归残差单元对接收到的输入特征进行预定次数的卷积，得到第n+1个递归残差单元的输出。
基于上述方案，所述第一获取模块，具体用于确定所述第一图像的二维图像信号在各位置处的相位一致性；
基于所述相位一致性，生成所述边缘特征图。
基于上述方案，所述装置还包括：
第二获取模块，用于获取所述第一图像的放大倍数；其中，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；
所述重建模块，具体用于利用所述深度学习模型基于所述放大倍数，分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建，获得所述第二分辨率的第二图像。
基于上述方案，所述重建模块，具体用于从所述深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
基于上述方案，所述重建模块，具体用于利用包含多个级联的残差区块的所述目标多尺度预处理模块，分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
一种深度学习模型训练装置，包括：
样本模块，用于基于将第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
训练输出模块，用于获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，第二分辨率高于所述第一分辨率；
损失模块，用于基于所述输出图像和所述训练图像，得到训练损失值；
确定模块，用于基于所述训练损失值，确定是否继续所述深度学习模型的训练。
基于上述方案，所述损失模块，具体用于基于所述输出图像和所述训练图像对应的所述第二分辨率的原始图像，得到第一损失项；基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，获得第二损失项；基于所述第一损失项和所述第二损失项，获得所述训练损失值。
一种图像设备，包括：
存储器，
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意实施例提供的图像处理方法或深度学习模型训练方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意实施例提供的图像处理方法或深度学习模型训练方法。
本发明实施例提供的图像处理方法及装置、模型训练方法及装置、电子设备及存储介质，将需要提高分辨率的低分辨率(第一分辨率)的第一图像和从第一图像中提取的边缘特征图一同输入给深度学习模型，如此，在深度学习模型的处理过程中，就利用边缘特征图加强了第一图像中包含边缘信息的特征，使得重建后的高分辨率(第二分辨率)的第二图像的图像质量佳，减少了第二图像中图像元素的边缘位置处模糊或锯齿明显的现象，同时具有处理效率高的特点。
附图说明
图1为本发明实施例提供的第一种图像处理方法的流程示意图；
图2为本发明实施例提供的第二种图像处理方法的流程示意图；
图3为本发明实施例提供的一种递归残差单元的结构示意图；
图4为本发明实施例提供的一种深度学习模型训练方法的流程示意图；
图5为本发明实施例提供的一种深度学习模型的训练示意图；
图6为本发明实施例提供的一种图像处理装置的结构示意图；
图7为本发明实施例提供的一种图像处理装置的结构示意图
图8为本发明实施例提供的一种深度学习模型训练装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种图像处理方法，包括：
步骤S110：生成第一分辨率的第一图像的边缘特征图；
步骤S120：利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率。
本实施例提供的图像处理方法可以用于将低分辨率的图像转换为高分辨率的图像，如此，可以将一个低分辨率的图像转换成一个高分辨率且图像质量好的图像。
此处的分辨率为：在单位面积内图像所包含的像素个数。通常图像的分辨率越高，同单位面积内包含的像素个数就越多，包含的图像的细节内容就越多，图像的放大倍数，失真的效果也越小。
在本实施例中在进行高分辨率的图像重建时，首先会对较低的第一分辨率的第一图像进行处理，获得其边缘特征图。此处的边缘特征图，用于表征所述第一图像中图形元素的边缘的特征信息。所述边缘特征图能够表征第一图像中所包含图像对象的轮廓和/或纹理特征。
此处，所述边缘特征图可为所述第一图像等图像分辨率的图像。例如，所述第一图像为W1*H1的图像，则所述边缘特征图图像也为W1*H1的图像。
在步骤S110中可以有多种方式生成所述第一图像的边缘特征图；具体地如，所述步骤S110可包括：
利用边缘特征提取算子，从所述第一图像中提取边缘信息的边缘特征；
基于所述边缘特征生成所述边缘特征图。
所述边缘特征提取算子包括但不限于以下至少之一：
索贝尔(Sobel)算子、边缘检测计算理论(Computational theory of edgedetection，Canny)算子、二阶微分(Laplacian)算子。
通过上述任意一个所述边缘特征提取算子提取所述边缘特征可包括：
通过各种区分出第一图像中包含边缘信息和不包含边缘信息的像素。
在一些实施例中，所述边缘特征图图像相对于所述第一图像，强化了所述第一图像中所包含图形元素的轮廓和纹理信息等边缘信息，弱化了轮廓和纹理信息以外的非边缘信息。在另一些实施例中，所述边缘特征图图像相对于所述第一图像，保留了所述第一图像中所包含图形元素的轮廓和纹理信息等边缘信息，去除了轮廓和纹理信息以外的非边缘信息。例如，以人像为例，边缘特征图图像中强化了或保留了人像的身形轮廓边缘所在的特征、脸部五官的特征，弱化了或去除了皮肤和衣服等非边缘纹理信息。
在本实施例中会将提取的边缘特征图和所述第一图像共同作为所述深度学习模型的输入。即所述深度学习模型具有双输入通道，一个输入通道用于输入所述边缘特征图，另一个输入通道，用于输入所述第一图像。
在本实施例中深度学习模型不再是对单一的第一图像进行图像处理，而是获得特意提取出的边缘特征图和所述第一图像同时作为输入进行图像处理，生成一个比第一分辨率高的第二图像。
此处的第二分辨率可为任意比所述第一分辨率高的分辨率，具体可为所述第二分辨率可为所述第一分辨率的2以上的整数倍分辨率。
例如，若所述第一分辨率为W1*H2，所述第二分辨率可为：(2W1)*(2H2)。
在本实施例中，第一图像中包含边缘信息的像素相对于不包含边缘信息的像素原本就数量少，而在原始分辨率比较低的第一图像中，由于分辨率低的缘故，包含边缘信息的像素，与不包含边缘信息的像素之间的差异度很小，若直接仅对第一图像进行处理，可能会使得重建得到的高分辨率的第二图像，再对具有第二分辨率的第二图像进行图像处理，会得到更好的处理效果。
在本实施例中，如图2所示，所述步骤S120可包括：
步骤S121：利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像；
步骤S122：利用所述深度学习模型将所述第三图像与所述第一图像融合，得到所述第二图像。
在本实施例中，首先利用深度学习模型经过多次卷积、池化和/或拼接等处理得到第三图像，该第三图像是深度学习模型基于原始输入的边缘特征图和所述第一图像自行生成的图像。
为了获得原始的第一图像的更多的图像细节，在本申请实施例中，所述深度学习模型采用全局残差处理，会在输出第二图像之前，将原始获取的第一图像和第三图像进行图像融合，得到所述第二图像。
在此处的所述图像融合，可包括：基于权值的像素值的加权求和，得到第二图像中各个像素的图像。
所述第三图像的分辨率可与所述第二图像的分辨率相同，则假设将第一图像的第i个像素与第三图像与所述第i个像素对应的一个或多个像素的像素值进行加权求和。例如，在第三图像中的第j个和第m个像素是与所述第一图像的第i个像素对应，则将第j个像素的像素值与第一图像的第i个像素的像素值加权求和得到第二图像中第j个像素的像素值，将第三图像中的第m个像素的像素值与第一图像的第i个像素的像素值加权求和，得到所述第三图像中第m个像素的像素值。
以上是一种将第三图像和第一图像融合的方式，具体的实现方式有很多种，不局限于上述任意一种。
在一些实施例中，所述步骤S121可包括：利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像。
所述递归残差单元是：递归残差单元的输入会作为递归残差单元输出的一种深度学习学习模型的组成单元。
图3所示为一种所述递归残差单元的结构；在图3中箭头表示数据的传输方向。
在图.3虚线框所包含的递归残差单元中包括3个卷积层(Conv)。一个所述卷积层可对应于一组滤波器。
从图3可知，该递归残差单元的输入有两条传输路径，一条是传输路径是逐一通过各个卷积层得到输出节点，另一条传输路径是通过不经过卷积层的跳层连接直接引入到卷积层的输出节点。该递归残差单元的输出节点将两条传输路径的传输的特征进行融合后，输出到下一级的递归残差单元。
具体如，所述利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像，包括：
以第n个递归残差单元的输入特征和输出特征，同时作为第n+1个递归残差单元的输入特征，其中，n为正整数；
所述第n+1个递归残差单元对接收到的输入特征进行预定次数的卷积，得到第n+1个递归残差单元的输出。
如此，每一个递归残差单元的输出既包括自身通过至少两个卷积层处理后的特征，同时还自身从前一个递归残差单元获得特征。通过多个递归残差单元的递归处理之后，会得到生成所述第二图像的特征图，或者直接得到所述第二图像。
在一些实施例中，所述步骤S110可包括：
确定所述第一图像的二维图像信号在各位置处的相位一致性；
基于所述相位一致性，生成所述边缘特征图。
所述第一图像包括成行成列的像素，按照所述第一图像的图像坐标系，各个像素的像素坐标可以用(x，y)来指示。x表示对应像素在图像坐标系上X轴上的坐标值；y表示对应像素在图像坐标系上Y轴上的坐标值。X轴垂直于Y轴。
具体地如，可以采用如下函数关系确定所述相位一致性PC2(x,y)。
其中，ο表示滤波器方向，n表示滤波器尺度，Tο表示噪声估计，其作用是抑制噪声，Anο为表示滤波器方向为ο度尺度为n时的幅值；为表示滤波器方向为ο度尺度为n时的相位；Wο表示频率展开的权重因子，ε表示用来防止分母为零的非常小的常数。(x,y)表示像素坐标。
以上仅是相位一致性PC2(x,y)的一种计算方式，具体实现时不限于上述函数关系。
利用所述相位一致性生成的边缘特征图，不仅能够获取到第一图像中的边缘纹理特征，而且还克服第一图像在采集过程中光照不匀导致的图像阴影的负面影响，具有生成的边缘特征图的精确度高及质量好的特点。
在一些实施例中，所述方法还包括：获取所述第一图像的放大倍数；其中，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数。
在所述图像处理方法被写成代码做成产品上线后，该程序产品可以提供人机交互界面，在所述人机交互界面能够接收到用户指示的放大倍数。
在另一些实施例中，所述方法还包括：在未成功从人机界面接收到指示放大倍数的指令，根据采用默认放大倍数作为本次图像重建的放大倍数。
在还有一些实施例中，所述方法还包括：从其他设备接收所述放大倍数。总之所述放大倍数的获取方式很多种。在本实施例中，所述放大倍数决定了所述第二分辨率和第一分辨率之间的比值。
如此，用户可以根据自己的图像分辨率的提升需求，动态的设置所需的放大倍数。
对应地，所述步骤S120可包括：利用所述深度学习模型基于所述放大倍数，分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建，获得所述第二分辨率的第二图像。
此处，通过分别对所述边缘特征图和所述第一图像的预处理，得到第一特征图和第二特征图，而深度学习模型的后续网络结构通过对第一特征图和第二特征图的处理，能够生成所述第二分辨率的第二图像。
为了实现不同放大倍数的高分辨率的图像重建，提高深度学习模型的适用范围和适定性，更为了使得不同的放大倍数的图像重建能够共用同一套网络参数的递归残差单元等网络结构，引入了针对不同放大倍数进行预处理的多个多尺度预处理模块。
故，所述步骤S120可包括：从所述深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；
利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
例如所述备选多尺度预处理模块包括以下两个或两个以上的个数：
针对放大倍数为2的2倍多尺度预处理模块；
针对放大倍数为3的3倍多尺度预处理模块；
针对放大倍数为4的4倍多尺度预处理模块；
针对放大倍数为5的5倍对尺度预处理模块。
在本实施中，根据当前的放大倍数，选择出适应的所述多尺度预处理模块。例如，当前的放大倍数为3，则选择与放大倍数为3的3倍多尺度预处理模块为所述目标多尺度预处理模块。如此，图像设备在获取到边缘特征图和所述第一图像之后，将所述边缘特征图和所述第一图像仅输入到所述3倍多尺度预处理模块中进行预处理，得到第一特征图和第二特征图。而其他的多尺度预处理模块不参与预处理的任何相关计算。
在一些实施例中，所述利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图，包括：
利用包含多个级联的残差区块的所述目标多尺度预处理模块，分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
在本实施例中，每一个所述多尺度预处理模块可以具有一个或多个残差区块，这些残差区域的结构可相同，但是网络参数可是不同；从而可以适用于不同的放大倍数的边缘特征图和所述第一图像的预处理。
如图4所示，本实施例还提供一种深度学习模型训练方法，包括：
步骤S210：基于将第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
步骤S220：获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，第二分辨率高于所述第一分辨率；
步骤S230：基于所述输出图像和所述训练图像，得到训练损失值；
步骤S240：基于所述训练损失值，确定是否继续所述深度学习模型的训练。
本实施例提供的深度学习模型训练方法，可以用于训练前述图像处理方法中使用的深度学习模型。同样的该深度学习模型被训练之后，能够基于边缘特征图和需要提升分辨率的原始图像，得到一个更高分辨率的图像。
在本实施例中，进行模型训练的训练样本就包括第一分辨率的训练图像和其边缘特征图，利用训练样本对待训练的深度学习模型进行训练，在训练的过程中，所述深度学习模型会基于所述训练图像和训练图像的边缘特征图生成一个第二分辨率的图像。在本实施例中，该图像称之为输出图像。在进行图像训练的过程中，会结合输出图像和训练图像，进行训练损失值的确定；若训练损失值小于损失阈值，或者，经过大量反复训练得到了最小训练损失值时，可认为满足训练停止条件，停止所述深度学习模型的训练；否则继续所述深度学习模型的训练直到满足所述训练停止条件。
若所述深度学习模型停止训练后，可以将最后训练得到的模型参数打包，后续产品上线后，基于该模型参数能够恢复出所述深度学习模型，然后利用该深度学习模型进行高分辨率的图像的重建。
在本实施例中，为了使得后续的深度学习模型的图像处理效果更好，在计算训练损失值时，至少会引入两个损失项。具体如，所述步骤S230可包括：
基于所述输出图像和所述训练图像对应的所述第二分辨率的原始图像，得到第一损失项；
基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，获得第二损失项；
基于所述第一损失项和所述第二损失项，获得所述训练损失值。
所述训练图像可为从第二分辨率的原始图像通过降采样等方式生成的图像。如此，所述步骤S230可将自身生成的输出图像和所述训练图像的逐个像素计算相似性，然后得到表征整个图像的损失程度的第一损失项。
为了确定后续利用该深度学习模型生成的第二图像能够保留足够清晰和逼真的边缘信息，在本实施例中，还会分别获取训练图像的边缘特征图和与输出图像的边缘特征图进行误差的计算，得到第二损失项。第二损失项更加强调的边缘信息的损失程度。
在本实施例中会结合第一损失项和第二损失项，得到最终用于判断是否停止深度学习模型训练的训练损失值。
在一些实施例中，对所述第一损失项和所述第二损失项进行加权求和，得到所述训练损失值。例如，直接求取所述第一损失项和所述第二损失项的和，得到所述训练损失值。
如图5所示，该深度学习模型为一个全局残差网络(GRL)；低分辨率(LowResolution，LR)图像为前述第一分辨率的第一图像，高分辨率(High Resolution，HR)图像为前述第二分辨率的第二图像。
LR边缘对应于前述边缘特征图；LR图像利用y替代。
LR边缘和y形成了LR特征，经过2倍、3倍或4倍多尺度预处理模块的一个的多尺度预处理后，输入到递归残差网络，该递归残差网络为局部残差网络(LRL)包括多个前述的递归残差单元。最终递归残差输出的HR图像的HR特征，例如，HR边缘与LR图像的LR边缘计算第二损失项(Loss2)；将HR图像和LR图像对应的高分辨率的原始图像进行所有像素的损失计算，此时得到的损失不仅包括边缘信息的损失同时还包括非边缘信息的损失，得到第一损失项(Loss1)；求取Loss1和Loss2的和得到所述训练损失值。
如图6所示，本实施例提供一种图像处理装置，包括：
第一获取模块110，用于生成第一分辨率的第一图像的边缘特征图；
重建模块120，用于利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率。
在一些实施例中，所述第一获取模块110及所述重建模块120可为程序模块，所述程序模块被处理器执行后，能够实现边缘特征图及第二图像的生成。
在另一些实施例中，所述第一获取模块110及所述重建模块120可为纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。
在还有一些实施例中，所述第一获取模块110及所述重建模块120可为软硬结合模块；所述软硬结合模块可包括各种可编程阵列；所述可编程阵列包括但不限于复杂可编程阵列和/或现场可编程阵列。
在一些实施例中，所述重建模块120，具体用于利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像；利用所述深度学习模型将所述第三图像与所述第一图像融合，得到所述第二图像。
在一些实施例中，所述重建模块120，具体用于利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像。
在一些实施例中，所述重建模块120，具体用于以第n个递归残差单元的输入特征和输出特征，同时作为第n+1个递归残差单元的输入特征，其中，n为正整数；所述第n+1个递归残差单元对接收到的输入特征进行预定次数的卷积，得到第n+1个递归残差单元的输出。
在一些实施例中，所述第一获取模块110，具体用于确定所述第一图像的二维图像信号在各位置处的相位一致性；基于所述相位一致性，生成所述边缘特征图。
在一些实施例中，所述装置还包括：
第二获取模块，用于获取所述第一图像的放大倍数；其中，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；
所述重建模块120，具体用于利用所述深度学习模型基于所述放大倍数，分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建，获得所述第二分辨率的第二图像。
在一些实施例中，所述重建模块120，具体用于从所述深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
在一些实施例中，所述重建模块120，具体用于利用包含多个级联的残差区块的所述目标多尺度预处理模块，分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
如图7所示，本实施例提供一种深度学习模型训练装置，包括：
样本模块210，用于基于将第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
训练输出模块220，用于获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，第二分辨率高于所述第一分辨率；
损失模块230，用于基于所述输出图像和所述训练图像，得到训练损失值；
确定模块240，用于基于所述训练损失值，确定是否继续所述深度学习模型的训练。
在一些实施例中，所述样本模块210、训练输出模块220、损失模块230及所述确定模块240可为程序模块，所述程序模块被处理器执行后，能够实现边缘特征图及第二图像的生成。
在另一些实施例中，所述样本模块210、训练输出模块220、损失模块230及所述确定模块240可为纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。
在还有一些实施例中，所述样本模块210、训练输出模块220、损失模块230及所述确定模块240可为软硬结合模块；所述软硬结合模块可包括各种可编程阵列；所述可编程阵列包括但不限于复杂可编程阵列和/或现场可编程阵列。
在一些实施例中，具体用于基于所述输出图像和所述训练图像对应的所述第二分辨率的原始图像，得到第一损失项；基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，获得第二损失项；基于所述第一损失项和所述第二损失项，获得所述训练损失值。
以下结合上述任意实施例提供一个示例：
示例1：
针对基于卷积神经网络的超分辨率重建方法存在网络参数多、计算量大、只适用单一放大倍数的重建，并且网络需要输入经过插值预处理的图像、重建图像边缘细节易丢失等问题，本发明提出一种基于边缘指导的多尺度递归残差网络重建方法。该算法主要包括四个部分：(1)LR边缘提取：通过相位一致性算法提取边缘特征图，并将其与原始LR图像一起作为双通道输入，用于HR图像高频细节的恢复。(2)在进行局部残差学习之前，为适应不同放大倍数图像，分别设置对应*2、*3、*4因子的多尺度预处理模块。(3)全局和局部残差学习：由于LR图像和HR图像大部分信息具有重复性，所以整体网络的输入和输出之间采用全局残差学习(Global Residual Learning，GRL)，即在最后将LR图像与学习到的残差图像融合成HR图像，以减轻网络携带信息的负担，降低训练难度。随着卷积层数的增加，部分细节信息会丢失，为解决此问题引入局部残差学习(Local Residual Learning，LRL)，将前一残差单元的输出和输入共同作为下一残差单元的输入，以便能够将信息传递到最后。(4)构建多任务损失函数：引入边缘误差和重建误差共同构成多任务损失函数进行训练，将学习到的边缘先验知识用于指导图像边缘的重建，进而达到快速收敛的目的，获取网络最优参数，整体框架如图5所示。
特征提取模块，具体可利用Sobel算子、Canny算子和Laplacian算子等常用的边缘检测方法。其原理简单，计算量较小，但其检测结果严重依赖图像的亮度和对比度的变化程度，对于低照度、光照不均情况下的图像边缘检测效果较差。而相位一致性边缘提取方法能够通过计算图像各个位置的相位相似度来检测边缘，该方法对图像的亮度、对比度不敏感，不仅能够检测出各个方向的阶跃、线、角等特征，同时还能很好的提取图像的边缘纹理特征，克服了光照不均匀对图像边缘检测造成的影响，对于交通图像、监控图像更具有适用性。因此，本发明采用相位一致性方法提取图像的边缘特征图进行训练学习，来指导高分辨率图像边缘的重建过程。
由于图像是二维信号，Kovesi等人提出的二维图像信号的相位一致性计算方法如下：
其中，ο表示滤波器方向，n表示滤波器尺度，Tο表示噪声估计，其作用是抑制噪声，Anο和/>分别表示滤波器方向为ο度，尺度为n时的幅值和相位；Wο表示频率展开的权重因子，ε表示用来防止分母为零的非常小的常数。/>
多尺度预处理模块，可用于大多数现有的超分辨率算法将不同缩放因子的超分辨率问题作为独立的问题，并没有考虑并利用超分辨率重建过程中不同缩放之间的相互关系。因此，这些算法需要许多尺度特定的网络，并各自进行训练以处理不同的放大倍数。
根据小波多尺度分析原理，图像信号f(x)可以被分解为：
上式中，表示尺度函数，ψ(x)表示小波函数，j表示不同尺度，k为基函数的索引，/>表示近似稀疏，/>表示细节系数，第一项表示图像信号的低频分量，也是信号的主要部分，第二项为信号的高频分量，代表图像信号的边缘纹理等细节信息。在多尺度理论中图像的局部结构通常具有重复性，很多丢失细节可以通过不同尺度下的其他相似块估计得到。清晰的边缘和复杂的纹理细节往往需要不同尺度下的局部结构共同实现。受此启发，本发明采用共享层策略构建多尺度学习框架，使*2、*3、*4倍放大网络共享递归残差模块，通过跨尺度进行信息传递和交流，互相提供正则化指导，大大简化网络的复杂度，减少参数量，提高训练效率。
在本发明中，引入尺度特定的预处理模块，以在多尺度下控制超分辨率。预处理模块被置于网络的前端，以减少不同尺度的输入图像的变化幅度。每一个预处理模块包括两个5×5内核的残差区块(Residual Blocks)。通过在预处理模块中采用较大的内核，可以使尺度特定的部分保持浅层状态，在网络的早期阶段可以覆盖较大的感受域。
设网络的整体输入finput是原始LR图像y与其边缘特征图g(y)的级联，如公式(3)所示：
finput＝[y,g(y)] (3)
经过图像预处理模块后输出为则有下式：
其中，fin′put表示经过预处理模块第一个卷积层后的输出，wpre1,wpre2表示预处理模块卷积层的卷积核，这里卷积核大小设为5×5，bpre1,bpre2表示偏置。3.递归残差网络模块可包括一个或多个递归残差单元。
从频域分析，一幅图像由高频分量和低频分量组成，若用xH和xL分别表示HR图像x的高频分量和低频分量，则有x＝xH+xL。而LR图像y大部分是低频分量，即y≈xL，所以整体网络的输入和输出之间采用全局残差学习，减轻了网络携带信息的负担，有效降低网络的训练难度。随着网络深度的增加，能量较小的高频分量在传递的过程中容易丢失，为了解决此问题，采用局部残差学习，以保留更多细节信息，并且残差单元之间进行递归学习，共享权值，以控制参数数量。
每个递归残差单元由三层卷积堆叠而成，可如图3或图8中的虚线框框住的内容所示。
在每个递归残差单元中选用3层卷积，借鉴FSRCNN网络中收缩层与扩张层的特点，将递归残差单元中三个卷积层的滤波器数量分别设置为16、16和64，滤波器大小分别设置为1×1、3×3、1×1。采用这种“瓶颈残差网络”使网络在较低维度进行学习，进而降低网络参数数量。
第1个递归残差单元的输入可表示为：
其中，winput和binput表示进入递归残差网络模块的前一个卷积层的滤波器权重和偏置。当第k次递归时，表示第k个递归残差单元的输入特征，将此单元的第一、二层卷积和最终的输出分别记为/>则第k次递归的全过程可由公式(7～9)表示，
其中，是第k-1个递归残差网络单元的输出特征,{win,wmid1,wmid2}和{bin,bmid1,bmid2}分别表示各层的卷积核和偏置,/>和/>之间采用跳层连接。
假设整体网络的递归次数为K，则特征图表示重建出的前K个子带的融合，进而得到HR图像的边缘预测图fedge，如公式(10)所示，
其中wedge和bedge分别表示从中提取边缘预测特征时的滤波器权值与偏置。最后，将提取的边缘预测特征fedge和递归残差网络学习到的特征/>融合得到HR图像的高频分量预测图/>如公式(11)所示，
再通过全局残差学习，得出网络的最终输出foutput，即HR预测图像如公式(12)所示，
多任务损失函数，本示例所构建网络参数可表示为：
Θ＝{wpre1,bpre1,wpre2,bpre2,winput,binput,win,bin,wmid1,bmid1,wmid2,bmid2,wedge,bedge}，采用联合
均方误差(Mean Square Error，MSE)作为损失函数进行训练，通过最小化损失函数，获取参数的最优解。并引入边缘先验知识对HR图像的重建过程进行指导，以解决重建过程中出现的锯齿效应和边缘模糊等问题。
选取n对HR和LR图像块分别提取其高频分量/>和/>进行训练，得到HR图像重建误差Loss1和边缘估计误差Loss2如公式(13)、(14)所示，
/>
所以整体损失函数表示为：
L(Θ)＝Loss1+λLoss2 (15)
其中，F(·)和Fedge(·)分别表示由LR图像估计HR图像和由LR边缘估计HR边缘的映射函数，λ是重建误差与边缘误差之间的平衡参数，本发明中设为1。训练过程中采用随机梯度下降法和反向传播法进行参数更新，如公式(16)所示，
其中，m是动量参数，取0.9，η是学习率。
在每次更新训练多尺度模型时，采用*2、*3及*4三种尺度随机混合作为训练集。在训练过程中只有对应于所选比例的模块才能启用和更新。因此，与所选择的尺度不同的残差预处理模块将不被启用，也不被更新。本发明采用ReLU激活函数。
本实施例提供了一种电子设备，包括：
存储器；
处理器，与所述存储器连接，用于通过执行位于所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的图像处理方法或深度学习模型训练方法，例如，图1、图2及图4分别所示图像处理方法或深度学习模型训练方法中的一个或多个。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述电子设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述电子设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
该电子设备可为前述的视频集锦自动生成装置的应用设备，例如，视频集锦的自动生成服务器。
本实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意技术方案提供的图像处理方法或深度学习模型训练方法，例如，图1、图2及图4分别所示图像处理方法或深度学习模型训练方法中的一个或多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
生成第一分辨率的第一图像的边缘特征图；
通过人机交互界面指示放大倍数的指令，获取所述第一图像的放大倍数；
利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；所述深度学习模型基于训练损失值确定是否继续进行训练得到的；所述训练损失值基于第一损失项和第二损失项得到，所述第一损失项基于输出图像和训练图像对应的第二分辨率的原始图像得到，所述第一损失项表征整个图像的损失程度；所述第二损失项基于输出图像的边缘特征图和所述训练图像的边缘特征图得到，所述第二损失项表征边缘信息的损失程度；
其中，所述利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，包括：
从深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；
利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；
基于所述第一特征图和所述第二特征图进行图像重建，得到所述第二分辨率的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，包括：
利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像；
利用所述深度学习模型将所述第三图像与所述第一图像融合，得到所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述利用所述深度学习模型基于所述边缘特征图和所述第一图像生成第三图像，包括：
利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像。
4.根据权利要求3所述的方法，其特征在于，所述利用包含至少两个级联的递归残差单元组成的递归残差网络对所述边缘特征图和所述第一图像进行残差学习得到残差图像，包括：
以第n个递归残差单元的输入特征和输出特征，同时作为第n+1个递归残差单元的输入特征，其中，n为正整数；
所述第n+1个递归残差单元对接收到的输入特征进行预定次数的卷积，得到第n+1个递归残差单元的输出。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述生成第一分辨率的第一图像的边缘特征图，包括：
确定所述第一图像的二维图像信号在各位置处的相位一致性；
基于所述相位一致性，生成所述边缘特征图。
6.根据权利要求1所述的方法，其特征在于，所述利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图，包括：
利用包含多个级联的残差区块的所述目标多尺度预处理模块，分别对所述边缘特征图和所述第一图像进行预处理，得到所述第一特征图和所述第二特征图。
7.一种深度学习模型训练方法，其特征在于，包括：
基于第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，所述第二分辨率高于所述第一分辨率；所述输出图像是通过人机交互界面指示放大倍数的指令，获取所述训练图像的放大倍数；从深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；利用所述目标多尺度预处理模块分别对所述边缘特征图和第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建得到的；所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；所述第一图像为待提高分辨率的第一分辨率的图像；
基于所述输出图像和所述训练图像对应的第二分辨率的原始图像，得到第一损失项；基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，得到第二损失项；基于所述第一损失项和所述第二损失项，得到训练损失值；其中，所述第一损失项表征整个图像的损失程度，所述第二损失项表征边缘信息的损失程度；
基于所述训练损失值，确定是否继续所述深度学习模型的训练。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，用于生成第一分辨率的第一图像的边缘特征图，以及通过人机交互界面指示放大倍数的指令，获取所述第一图像的放大倍数；
重建模块，用于利用深度学习模型基于所述边缘特征图和所述第一图像进行图像重建，得到第二分辨率的第二图像，其中，所述第二分辨率高于所述第一分辨率，所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；所述深度学习模型基于训练损失值确定是否继续进行训练得到的；所述训练损失值基于第一损失项和第二损失项得到，所述第一损失项基于输出图像和训练图像对应的第二分辨率的原始图像得到，所述第一损失项表征整个图像的损失程度；所述第二损失项基于输出图像的边缘特征图和所述训练图像的边缘特征图得到，所述第二损失项表征边缘信息的损失程度；
其中，所述重建模块，具体用于：从深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；利用所述目标多尺度预处理模块分别对所述边缘特征图和所述第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建，得到所述第二分辨率的第二图像。
9.一种深度学习模型训练装置，其特征在于，包括：
样本模块，用于基于第一分辨率的训练图像的边缘特征图和所述训练图像，获得深度学习模型的训练样本；
训练输出模块，用于获取所述深度学习模型基于所述训练样本输出的第二分辨率的输出图像，其中，所述第二分辨率高于所述第一分辨率；所述输出图像是通过人机交互界面指示放大倍数的指令，获取所述训练图像的放大倍数；从深度学习模型的多个备选多尺度预处理模块中选择与所述放大倍数相适配的目标多尺度预处理模块；利用所述目标多尺度预处理模块分别对所述边缘特征图和第一图像进行预处理，得到与所述边缘特征图对应的第一特征图和与所述第一图像对应的第二特征图；基于所述第一特征图和所述第二特征图进行图像重建得到的；所述第二分辨率与所述第一分辨率的比值等于所述放大倍数；所述第一图像为待提高分辨率的第一分辨率的图像；
损失模块，用于基于所述输出图像和所述训练图像对应的第二分辨率的原始图像，得到第一损失项；基于所述输出图像的边缘特征图和所述训练图像的边缘特征图，得到第二损失项；基于所述第一损失项和所述第二损失项，得到训练损失值；其中，所述第一损失项表征整个图像的损失程度，所述第二损失项表征边缘信息的损失程度；
确定模块，用于基于所述训练损失值，确定是否继续所述深度学习模型的训练。
10.一种电子设备，包括：
存储器，
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现权利要求1至6任一项提供的方法，或者实现权利要求7提供的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至6任一项提供的方法，或者实现权利要求7提供的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464965.9A CN112017113B (zh) | 2019-05-30 | 2019-05-30 | 图像处理方法及装置、模型训练方法及装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464965.9A CN112017113B (zh) | 2019-05-30 | 2019-05-30 | 图像处理方法及装置、模型训练方法及装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017113A CN112017113A (zh) | 2020-12-01 |
| CN112017113B true CN112017113B (zh) | 2023-08-15 |
Family
ID=73502101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910464965.9A Active CN112017113B (zh) | 2019-05-30 | 2019-05-30 | 图像处理方法及装置、模型训练方法及装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017113B (zh) |
-
2019
- 2019-05-30 CN CN201910464965.9A patent/CN112017113B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 基于反馈残差网络的矿井图像超分辨率重建算法研究;宋玉龙;《万方》;20181219;第1-84页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017113A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| He et al. | A soft MAP framework for blind super-resolution image reconstruction | |
| CN110717851A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| Couturier et al. | Image denoising using a deep encoder-decoder network with skip connections | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN106169174B (zh) | 一种图像放大方法 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN111861880A (zh) | 基于区域信息增强与块自注意力的图像超分与融合方法 | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| CN113240584A (zh) | 一种基于图片边缘信息的多任务手势图片超分辨率方法 | |
| CN110136061B (zh) | 一种基于深度卷积预测与插值的分辨率提升方法及系统 | |
| CN112017113B (zh) | 图像处理方法及装置、模型训练方法及装置、设备及介质 | |
| CN116934591A (zh) | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 | |
| Bricman et al. | CocoNet: A deep neural network for mapping pixel coordinates to color values | |
| CN114972611A (zh) | 一种基于引导匹配损失的深度纹理合成方法及相关设备 | |
| CN115239559A (zh) | 一种融合视图合成的深度图超分辨率方法及系统 | |
| CN111369425A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| Yoo et al. | Bayesian approach for automatic joint parameter estimation in 3D image reconstruction from multi-focus microscope | |
| Patel et al. | Deep Learning in Medical Image Super-Resolution: A Survey | |
| WO2018120043A1 (zh) | 图像重建方法及装置 | |
| CN116310959B (zh) | 一种复杂场景下低质量摄像机画面识别方法及系统 | |
| KS | Enhancing Visual Realism with Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |