CN111784571A - 一种提高图像分辨率的方法、装置 - Google Patents
一种提高图像分辨率的方法、装置 Download PDFInfo
- Publication number
- CN111784571A CN111784571A CN202010286201.8A CN202010286201A CN111784571A CN 111784571 A CN111784571 A CN 111784571A CN 202010286201 A CN202010286201 A CN 202010286201A CN 111784571 A CN111784571 A CN 111784571A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- brightness
- component image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 119
- 230000008707 rearrangement Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 18
- 238000007499 fusion processing Methods 0.000 claims abstract description 17
- 108091006146 Channels Proteins 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种提高图像分辨率的方法、装置，涉及计算机技术领域。该方法的一具体实施方式包括：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。该实施方式降低了超分辨处理的计算量同时保持了图像质量。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种提高图像分辨率的方法、装置。
背景技术
图像超分辨技术(Super-Resolution)是指从低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。由于卷积神经网络(Convolutional Neural Networks,CNN)强大的非线性表达能力，可以利用卷积神经网络实现对低分辨率图像的超分辨处理，得到超分辨率图像。传统的卷积网络虽然可以完成超分辨率的重建工作，但存在网络结构过于复杂，计算量大，计算速度慢等问题。亟需简化超分辨处理的网络结构，降低超分辨处理的计算量。
发明内容
有鉴于此，本发明实施例提供一种提高图像分辨率的方法、装置、电子设备及存储介质，通过卷积处理和像素重排进行超分辨处理，通过一级网络实现超分，简化了超分辨处理的网络结构，降低超分辨处理的计算量，提高了超分辨处理的计算速度，同时不会因丢失高频信息而使图像模糊，能够保持图像质量。
为实现上述目的，根据本发明实施例的一个方面，提供一种提高图像分辨率的方法，包括：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像，其中；对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
可选的，在所述对待处理图像进行通道分解获得亮度分量图像、色度分量图像之后，还包括以下步骤：对所述色度分量图像进行上采样处理得到上采样处理后的色度分量图像，对所述亮度分量图像的亮度超分辨率图像及所述上采样处理后的色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
可选的，所述经过训练的图像超分辨模型是通过将亮度分量图像的低分辨率图像输入图像超分辨模型，基于与所述亮度分量图像的低分辨率图像对应的超分辨率图像对所述图像超分辨模型进行训练直至满足预设的结束条件得到的。
可选的，所述与所述亮度分量图像的低分辨率图像对应的超分辨率图像是经过锐化处理的超分辨率图像。
可选的，在所述将亮度分量图像输入经过训练的图像超分辨模型之前，还包括以下步骤：对所述亮度分量图像进行锐化处理。
可选的，所述对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像为：对所述亮度分量图像进行卷积处理以得到r*r个通道输出的卷积后图像，r为自然数；将所述r*r个通道输出的卷积后图像的相同位置上的像素按照通道顺序进行重新排列，使得r*r个通道输出的卷积后图像融合为一幅长宽分别变为所述亮度分量图像的r倍的亮度超分辨率图像。
根据本发明实施例的第二个方面，提供一种提高图像分辨率的装置，包括：分解模块：用于对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；超分辨处理模块：用于将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；融合模块：用于对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
根据本发明实施例的第三个方面，提供了一种提高图像分辨率的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如以上所述提高图像分辨率的方法中任一所述的方法。
根据本发明实施例的第四个方面，提供了一种提高图像分辨率的计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如以上所述提高图像分辨率的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：通过卷积处理和像素重排进行超分辨处理，通过一级网络实现超分，简化了超分辨处理的网络结构，降低超分辨处理的计算量，提高了超分辨处理的计算速度，同时不会因丢失高频信息而使图像模糊，能够保持图像质量。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明第一实施例的提高图像分辨率的方法的主要流程的示意图；
图2是根据本发明第二实施例的进行像素重排前的图像及进行像素重排后的图像示意图；
图3是根据本发明第三实施例的提高图像分辨率的方法的主要流程的示意图；
图4是根据本发明第四实施例的提高图像分辨率的方法的主要流程的示意图；
图5是根据本发明第五实施例的提高图像分辨率的装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的一种提高图像分辨率的方法的主要步骤的示意图，如图1所示，本发明实施例中的提高图像分辨率的方法主要包括如下的步骤S101至步骤S103：
S101：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；
在步骤S101中，将待处理图像进行通道分解获得亮度分量图像(Y，或者Luma)和色度分量图像(UV，或者CbCr，或者Chroma)，是因为亮度分量图像具有高频信息，有很多的纹理和细节，人眼对亮度更敏感，而色度分量图像一般高频信息很少，没有精细的纹理和细节，人眼对色度不敏感，因此一般亮度的样点采样率高，色度的样点采样率低，亮度的数据处理量和色度的数据处理量是不一样的，亮度的数据处理量大，色度的数据处理量小，将亮度分量图像和色度分量图像分开分别进行处理，亮度分量进行精细处理，色度分量进行普通快速处理，在保持质量的情况下，可以极大地提高速度。
所述待处理图像的格式可以为YUV或RGB。优选将RGB格式的图像转化为YUV格式，再进行处理，因为YUV格式的图像的数据处理量比RGB格式的图像的数据处理量小，可以在不影响图像质量的同时降低计算量。在YUV格式的图像中，优选色度降采样的颜色空间例如yuv420或yuv422，这样的好处是，在基本不影响质量的情况下，减少后续要计算的色度样点数量，从而减少计算量。
例如，视频和图像中常用的YUV420格式的色度采样率低，对于YUV420格式的图像或视频，亮度的采样率是1，色度的采样率是水平1/2，垂直1/2，YUV420的数据处理量是1+1/2*1/2+1/2*1/2＝1.5；而RGB24格式在三个平面上的采样率都是1，RGB24的数据处理量是1+1+1＝3；YUV420格式的图像的数据处理量是RGB24格式的图像的数据处理量的一半。因此本实施例对RGB24图像进行颜色空间变换和色度下采样处理，在YUV 420图像上进行处理，节省计算量，不影响图像质量。
本发明实施例的提高图像分辨率的方法不仅应用于图像的处理，也可以应用于视频的处理。对于视频可以通过视频解码，得到解码后的视频帧图像。
S102：将所述亮度分量图像输入经过训练的图像超分辨模型，在所述图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；
在本公开的一个实施例中，对所述亮度分量图像进行N层卷积处理得到r*r幅第N层卷积后图像，N为自然数，即经过N层卷积处理后的输出通道数为r*r，r为上采样因子，r为自然数。
若需要进行2倍的超分辨处理，则r＝2，若需要进行4倍的超分辨率处理，则r＝4。对于不同倍数的超分辨处理，网络结构如卷积的层数、顺序不变，只是超分辨模型如卷积核的大小、输出通道数r改变，因此对于不同倍数的超分辨处理均可一步实现超分辨率的处理，不用分级处理，比如，一步直接实现4倍的超分辨率处理，而不需要先2倍超分辨处理然后再进行2倍超分辨处理。
对所述亮度分量图像进行N层卷积处理以得到第N层卷积后图像的步骤为：采用滤波器对所述亮度分量图像进行第1层卷积处理，得到chan1个通道输出的第一层卷积后图像；采用滤波器对所述第t-1层卷积后图像进行第t层卷积处理，得到chant个通道输出的第t层卷积后图像，2≤t≤N，ChanN＝r*r。
具体的，对所述亮度分量图像进行N层卷积处理以得到第N层卷积后图像包括以下步骤：
对所述亮度分量图像进行第一层卷积处理，得到第一层卷积后图像：输入所述亮度分量图像为HxWx1，H为图像的高度，W为图像的宽度，1是所述亮度分量图像的输入通道数，采用卷积核大小为KxK的滤波器对所述亮度分量图像进行第一层卷积处理，输出第一层卷积后图像，所述第一层卷积后图像为HxWxChan1，H为图像的高度，W为图像的宽度，Chan1是第一层卷积后图像的输出通道数，图像的高度H与宽度W不发生变化。K为卷积核的高度及宽度，K为小于H且小于W的自然数，具体计算公式如下：
ILR为所述亮度分量图像的像素，W1是第一层卷积处理的权重系数，b1是第一层卷积处理的偏置，φ是激活函数(非线性函数)，f1(ILR)为第一层卷积后图像的像素。
对所述第t-1层卷积后图像进行第t层卷积处理，得到第t层卷积后图像：输入所述第t-1层卷积后图像为HxWxChan(t-1)，H为图像的高度，W为图像的宽度，Chan(t-1)是所述第t-1层卷积后图像的输入通道数，采用卷积核大小为K*K的滤波器对所述亮度分量图像进行第t层卷积处理，输出第t层卷积后图像，所述第t层卷积后图像为HxWxChant，H为图像的高度，W为图像的宽度，Chant是第t层卷积后图像的输出通道数，图像的高度与宽度不发生变化，2≤t≤N。具体计算公式如下：
ft-1(ILR)是第t-1层卷积后图像的像素，Wt是第t层卷积处理的权重系数，bt是第t层卷积处理的偏置，φ是激活函数(非线性函数)，ft(ILR)为第t层卷积后图像的像素。
通过N层卷积处理在所述亮度分量图像上提取特征图像，形成多个不同相位的低分辨率图像。卷积处理的层数N为自然数，N的大小可以根据需要选择，N越大，得到的图像质量越高，但需要的计算量越大，因此计算速度越慢。
在本公开的一个实施例中，网络结构有三层卷积层。对所述亮度分量图像进行三层卷积处理得到第三层卷积后图像，具体步骤如下：
对所述亮度分量图像进行第一层卷积处理，得到第一层卷积后图像：输入所述亮度分量图像为HxWx1，H为图像的高度，W为图像的宽度，1是所述亮度分量图像的输入通道数，采用卷积核大小为K1xK2的滤波器对所述亮度分量图像进行第一层卷积处理，输出第一层卷积后图像，所述第一层卷积后图像为HxWxChan1，H为图像的高度，W为图像的宽度，Chan1是经过第一层卷积处理的输出通道数，图像的高度与宽度不发生变化。具体计算公式如下：
ILR为所述亮度分量图像的像素，W1是第一层卷积处理的权重系数，b1是第一层卷积处理的偏置，φ是激活函数(非线性函数)，f1(ILR)为第一层卷积后图像的像素。
对所述第一层卷积后图像进行第二层卷积处理，得到第二层卷积后图像：输入所述第一层卷积后图像为HxWxChan1，H为图像的高度，W为图像的宽度，Chan1是所述第一层卷积后图像的输入通道数，采用卷积核大小为K3xK4的滤波器对所述第一层卷积后图像进行第二层卷积处理，输出第二层卷积后图像，所述第二层卷积后图像为HxWxChan2，H为图像的高度，W为图像的宽度，Chan2是第二层卷积后图像的输出通道数，图像的高度与宽度不发生变化。K3xK4是卷积核的大小，K3是卷积核的宽度，K4是卷积核的高度。K3是小于W的自然数，K4为小于H的自然数。具体计算公式如下：
对所述第二层卷积后图像进行第三层卷积处理，得到第三层卷积后图像：输入所述第二层卷积后图像为HxWxChan2，H为图像的高度，W为图像的宽度，Chan2是所述第一层卷积后图像的输入通道数，采用卷积核大小为K5xK6的滤波器对所述第一层卷积后图像进行第二层卷积处理，输出第二层卷积后图像，所述第二层卷积后图像为HxWxr*r，H为图像的高度，W为图像的宽度，r*r是第二层卷积后图像的输出通道数，图像的高度与宽度不发生变化。K5xK6是卷积核的大小，K5是卷积核的宽度，K6是卷积核的高度。K5是小于W的自然数，K6为小于H的自然数。具体计算公式如下：
图2是根据本发明实施例的进行像素重排前的图像(左)及进行像素重排后的图像(右)的示意图，如图2所示，所述对所述第N层卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像为：将所述亮度分量图像的r*r个通道输出的第N层卷积后图像的相同位置上的像素按照通道顺序进行重新排列，使得r*r幅第N层卷积后图像融合为一幅长宽分别变为所述第N层卷积后图像的r倍的亮度超分辨率图像。
具体的，对所述亮度分量图像进行r倍超分辨率处理，所述亮度分量图像经过N层卷积处理得到的第N层卷积后图像为HxWxr*r，即图像的高度为H，图像的宽度为W，图像的输出通道数为r*r，对r*r幅图像(HxW)进行像素重排处理，得到一幅所述亮度分量图像的亮度超分辨率图像(rHxrW)，即图像的高度为rH，图像的宽度为rW。像素重排层将r*r幅不同相位的低分辨率图像转换成一个高分辨率图像。
例如，对所述亮度分量图像进行2倍超分辨率处理，也就是将所述亮度分量图像的第N层卷积后图像的宽度和高度都变成2倍，即将维度为H*W*4的4幅第N层卷积后图像转换成维度为2H*2W*1的1幅所述亮度分量图像的亮度超分辨率图像，这样就实现了水平方向和垂直方向皆为2倍的超分辨处理。对所述亮度分量图像进行3倍超分辨率处理，也就是将所述亮度分量图像的第N层卷积后图像的宽度和高度都变成3倍，即将维度为H*W*9的9幅第N层卷积后图像转换成维度为3H*3W*1的1幅所述亮度分量图像的亮度超分辨率图像，这样就实现了水平方向和垂直方向皆为3倍的超分处理。类似的，可以实现上采样因子r为任意整数倍的像素重排。
可以采用以下公式对所述第N层卷积后图像进行像素重排：
out(x,y)＝in(x/r,y/r,r*mod(y,r)+mod(x,r))
[x/r]表示整数除法，mod表示取余数，out(x,y)为进行像素重排后的像素坐标，in(x/r,y/r,r*mod(y,r)+mod(x,r))为进行像素重排前的像素坐标，例如当r＝2时进行像素重排后的坐标为：
out(0,0)＝in(0,0,0+0)＝in(0,0,0)
out(1,0)＝in(0,0,0+1)＝in(0,0,1)
out(0,1)＝in(0,0,2*1+0)＝in(0,0,2)
out(1,1)＝in(0,0,2*1+1)＝in(0,0,3)
如图2所示，r＝2时，原坐标为(0,0,0)的像素进行像素重排后坐标变为(0,0)，原坐标为(0,0,1)的像素进行像素重排后坐标变为(1,0)，原坐标为(0,0,2)的像素进行像素重排后坐标变为(0,1)，原坐标为(0,0,3)的像素进行像素重排后坐标变为(1,1)。
像素重排实现从多张低分辨率图像到一张高分辨率图像的转换，像素重排是无损变换，不需要进行放大处理(双三次bicubic或者lanczos等插值方法)，不会丢失高频信息而使图像模块，能够完全保持图像质量，得到清晰的图像。而且不需要进行其它额外的计算。
S103：对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理即对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行通道合并。
在本公开的一个实施例中，在步骤S101之后还包括以下步骤：对所述色度分量图像进行上采样处理，得到上采样处理后的色度分量图像，对所述亮度分量图像的亮度超分辨率图像及所述上采样处理后的色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。所述上采样处理为增加所述色度分量图像的像素数量。可以采用bicubic或lanczos等插值方法。对所述色度分量图像的上采样处理可以与所述亮度分量图像的超分辨处理同时进行，或在所述亮度分量图像的超分辨处理之前或之后进行。
在本公开的一个实施例中，在步骤S103之前还包括以下步骤：对所述色度分量图像进行锐化处理，所述锐化处理为对色度分量图像的高频像素的像素值进行放大。可以对饱和度、色调等进行锐化处理。可以进一步获得更好的视觉效果。
在本公开的一个实施例中，在步骤S103之后还包括以下步骤，对所述待处理图像的超分辨率图像进行格式转化，将所述待处理图像的超分辨率图像从YUV格式转换为RGB格式，再对RGB格式的待处理图像的超分辨率图像进行锐化处理，所述锐化处理可以为对比度，亮度等的锐化处理。
本实施例通过卷积处理和像素重排进行超分辨处理，通过一级网络实现超分，简化了超分辨处理的网络结构，降低超分辨处理的计算量，提高了超分辨处理的计算速度，不仅适用于服务端，也适用于移动终端。同时不会因丢失高频信息而使图像模糊，能够保持图像质量。
图3是根据本发明实施例的一种提高图像分辨率的方法的主要步骤的示意图，如图3所示，本发明实施例中的提高图像分辨率的方法主要包括如下的步骤S301至步骤S304：
S301：构建训练集，所述训练集包括亮度分量图像的低分辨率图像以及与所述低分辨率图像对应的超分辨率图像；基于所述训练集对所述图像超分辨模型进行训练，将所述亮度分量图像的低分辨率图像输入，直至满足预设的结束条件。
在本公开的一个实施例中，构建训练集，所述训练集包括亮度分量图像的低分辨率图像、以及与所述亮度分量图像的低分辨率图像对应的经过锐化处理的超分辨率图像，基于所述训练集对所述图像超分辨模型进行训练，将所述亮度分量图像的低分辨率图像输入，直至满足预设的结束条件。
所述预设的结束条件一般可以为：输出的图像与所述与低分辨率图像对应的超分辨率图像之间的误差小于预设阈值或者训练次数达到预设次数。输出的图像与所述与低分辨率图像对应的超分辨率图像之间的误差可以通过对应像素坐标的像素值的差值平方来衡量。
本实施例把锐化处理的功能隐含在图像超分辨模型中，不需要进行锐化处理，只需要通过图像超分辨模型进行处理即可以得到锐化且分辨率提高的亮度超分辨率图像，这样可以进一步减少计算量，同时有利于视觉优化。
S302：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；
S303：将所述亮度分量图像输入经过训练的图像超分辨模型，在所述图像超分辨模型中，对所述亮度分量图像进行N层卷积处理以得到第N层卷积后图像，对所述第N层卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像，其中，N为自然数；
S304：对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
图4是根据本发明实施例的一种提高图像分辨率的方法的主要步骤的示意图，如图4所示，本发明实施例中的提高图像分辨率的方法主要包括如下的步骤S401至步骤S404：
S401：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；
S402：对所述亮度分量图像进行锐化处理，所述锐化处理为将所述亮度分量图像的高频像素的像素值进行放大。
S403：将所述亮度分量图像输入经过训练的图像超分辨模型，在所述图像超分辨模型中，对所述亮度分量图像进行N层卷积处理以得到第N层卷积后图像，对所述第N层卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像，其中，N为自然数；
S404：对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
步骤S402的锐化处理可以在步骤S403的超分处理之前或者之后进行，优选步骤S402的锐化处理在步骤S403的超分处理之前进行，因为在超分之前进行锐化处理只需要处理HxW个像素，而如果在超分之后进行锐化处理，则需要处理rHxrW个像素，可以减少计算量。
在本公开的一个实施例中，通过以下步骤对图像进行锐化处理：首先对原始图像进行模糊处理，经过模糊处理后低频像素的像素值变化小，高频像素的像素值变化大，高频像素即图像的边缘和细节；将原始图像像素减去模糊处理后的图像像素，得到具有边缘和细节的图像；将边缘和细节图像进行放大，回加到原始图像像素上，得到锐化处理后的图像。即采用如下公式对图像进行锐化处理：
g(x,y)＝f(x,y)+C*[f(x,y)-fs(x,y)]
x,y是图像的像素坐标，f是原始图像像素，fs是进行模糊处理后的图像像素，C是放大因子参数，C大于0。
经过锐化处理后原始图像的细节和边缘变得更加突出，图像在视觉上更清晰，获得更好的视觉效果。
图5是根据本发明实施例的一种提高图像分辨率的装置的示意图，如图5所示，本发明实施例中的提高图像分辨率的装置主要包括以下模块：分解模块：用于对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；超分辨处理模块：用于将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；融合模块：用于对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
图6示出了可以应用本发明实施例的一种提高图像分辨率的方法或一种提高图像分辨率的装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务端605。网络604用以在终端设备601、602、603和服务端605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务端605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务端605可以是提供各种服务的服务端，例如对用户利用终端设备601、602、603所获取的图片或信息提供支持的后台管理服务端。后台管理服务端可以对接收到的截面日期等数据进行分析等处理，并将截面日期全量数据等处理结果反馈给终端设备。
需要说明的是，本发明实施例所提供的一种提高图像分辨率的方法一般由终端设备或服务端执行，相应地，一种提高图像分辨率的装置一般设置于终端设备或服务端中。
应该理解，图6中的终端设备、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务端。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括：分解模块、超分辨处理模块、融合模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，分解模块还可以被描述为“用于对待处理图像进行通道分解后获得亮度分量图像、色度分量图像的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
根据本发明实施例的技术方案，通过卷积处理和像素重排进行超分辨处理，通过一级网络实现超分，简化了超分辨处理的网络结构，降低超分辨处理的计算量，提高了超分辨处理的计算速度，同时不会因丢失高频信息而使图像模糊，能够保持图像质量。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种提高图像分辨率的方法，其特征在于，包括：
对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；
将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；
对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，在所述对待处理图像进行通道分解获得亮度分量图像、色度分量图像之后，还包括以下步骤：对所述色度分量图像进行上采样处理得到上采样处理后的色度分量图像，对所述亮度分量图像的亮度超分辨率图像及所述上采样处理后的色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
3.根据权利要求1所述的方法，其特征在于，
所述经过训练的图像超分辨模型是通过将亮度分量图像的低分辨率图像输入图像超分辨模型，基于与所述亮度分量图像的低分辨率图像对应的超分辨率图像对所述图像超分辨模型进行训练直至满足预设的结束条件得到的。
4.根据权利要求3所述的方法，其特征在于，所述与所述亮度分量图像的低分辨率图像对应的超分辨率图像是经过锐化处理的超分辨率图像。
5.根据权利要求1所述的方法，其特征在于，在所述将亮度分量图像输入经过训练的图像超分辨模型之前，还包括以下步骤：对所述亮度分量图像进行锐化处理。
6.根据权利要求1所述的方法，其特征在于，所述对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像为：对所述亮度分量图像进行卷积处理以得到r*r个通道输出的卷积后图像，r为自然数；
将所述r*r个通道输出的卷积后图像的相同位置上的像素按照通道顺序进行重新排列，使得r*r个通道输出的卷积后图像融合为一幅长宽分别变为所述亮度分量图像的r倍的亮度超分辨率图像。
7.一种提高图像分辨率的装置，其特征在于，包括：
分解模块：用于对待处理图像进行通道分解后获得亮度分量图像、色度分量图像；
超分辨处理模块：用于将所述亮度分量图像输入经过训练的图像超分辨模型，在所述经过训练的图像超分辨模型中，对所述亮度分量图像进行卷积处理以得到卷积后图像，对所述卷积后图像进行像素重排处理得到所述亮度分量图像的亮度超分辨率图像；
融合模块：用于对所述亮度分量图像的亮度超分辨率图像及所述色度分量图像进行融合处理，获得所述待处理图像的超分辨率图像。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010286201.8A CN111784571A (zh) | 2020-04-13 | 2020-04-13 | 一种提高图像分辨率的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010286201.8A CN111784571A (zh) | 2020-04-13 | 2020-04-13 | 一种提高图像分辨率的方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784571A true CN111784571A (zh) | 2020-10-16 |
Family
ID=72753224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010286201.8A Pending CN111784571A (zh) | 2020-04-13 | 2020-04-13 | 一种提高图像分辨率的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784571A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233041A (zh) * | 2020-11-05 | 2021-01-15 | Oppo广东移动通信有限公司 | 图像美颜处理方法、装置、存储介质与电子设备 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113313632A (zh) * | 2021-06-11 | 2021-08-27 | 展讯通信(天津)有限公司 | 一种图像重建方法、系统及相关设备 |
| CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
| CN114782250A (zh) * | 2022-04-24 | 2022-07-22 | 中国工商银行股份有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
| CN114827723A (zh) * | 2022-04-25 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| TWI805085B (zh) * | 2020-11-19 | 2023-06-11 | 大陸商華為技術有限公司 | 基於機器學習的圖像解碼中色度子採樣格式的處理方法 |
| GB2615849A (en) * | 2021-10-29 | 2023-08-23 | Nvidia Corp | Image upsampling using one or more neural networks |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及系统 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN110751597A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于编码损伤修复的视频超分辨方法 |
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
-
2020
- 2020-04-13 CN CN202010286201.8A patent/CN111784571A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及系统 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN110751597A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于编码损伤修复的视频超分辨方法 |
| CN110992265A (zh) * | 2019-12-02 | 2020-04-10 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| HUTRJJ: "PixelShuffle特征图的上采样的方法", CSDN, 1 August 2019 (2019-08-01) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233041A (zh) * | 2020-11-05 | 2021-01-15 | Oppo广东移动通信有限公司 | 图像美颜处理方法、装置、存储介质与电子设备 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| TWI805085B (zh) * | 2020-11-19 | 2023-06-11 | 大陸商華為技術有限公司 | 基於機器學習的圖像解碼中色度子採樣格式的處理方法 |
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113096011B (zh) * | 2021-03-25 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113313632A (zh) * | 2021-06-11 | 2021-08-27 | 展讯通信(天津)有限公司 | 一种图像重建方法、系统及相关设备 |
| GB2615849A (en) * | 2021-10-29 | 2023-08-23 | Nvidia Corp | Image upsampling using one or more neural networks |
| CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
| CN114782250A (zh) * | 2022-04-24 | 2022-07-22 | 中国工商银行股份有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
| CN114827723A (zh) * | 2022-04-25 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114827723B (zh) * | 2022-04-25 | 2024-04-09 | 阿里巴巴（中国）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784571A (zh) | 一种提高图像分辨率的方法、装置 | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| US9501818B2 (en) | Local multiscale tone-mapping operator | |
| JP4498361B2 (ja) | レティネックス型アルゴリズムを高速化する方法 | |
| KR102122065B1 (ko) | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 | |
| Parihar et al. | Fusion‐based simultaneous estimation of reflectance and illumination for low‐light image enhancement | |
| US20110085742A1 (en) | Fast image resolution enhancement with de-pixeling | |
| US11538136B2 (en) | System and method to process images of a video stream | |
| CN110298851B (zh) | 人体分割神经网络的训练方法及设备 | |
| Sajjad et al. | Multi-kernel based adaptive interpolation for image super-resolution | |
| CN111757100B (zh) | 相机运动变化量的确定方法、装置、电子设备和介质 | |
| CN111353955A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| CN110310293B (zh) | 人体图像分割方法及设备 | |
| CN110636331B (zh) | 用于处理视频的方法和装置 | |
| JP2000165664A (ja) | 画像の解像度変換装置及び方法 | |
| JP2018515853A (ja) | 自己相似性アップサンプリングを実行するシステム及び方法 | |
| CN115190263A (zh) | 一种视频缩放方法、装置、设备及存储介质 | |
| CN114757843A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20170206637A1 (en) | Image correction apparatus and image correction method | |
| RU2310911C1 (ru) | Способ интерполяции изображений | |
| CN113592723A (zh) | 视频增强方法及装置、电子设备、存储介质 | |
| CN112215774B (zh) | 模型训练和图像去雾方法、装置、设备和计算机可读介质 | |
| JP2020191030A (ja) | 画像処理装置 | |
| CN117635424A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| CN115471398B (zh) | 图像超分辨率方法、系统、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |