CN112116528A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112116528A CN112116528A CN202011024197.4A CN202011024197A CN112116528A CN 112116528 A CN112116528 A CN 112116528A CN 202011024197 A CN202011024197 A CN 202011024197A CN 112116528 A CN112116528 A CN 112116528A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- feature map
- processing
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 199
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 17
- 238000005070 sampling Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本公开关于一种图像处理方法，所述方法包括：获取第一分辨率的待处理图像：对所述待处理图像进行特征提取处理，得到处理结果特征图；对所述处理结果特征图进行放大处理，得到放大后的特征图；根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。采用本公开可以提高图像处理效率。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像的超分辨率处理方法、装置、电子设备及存储介质。
背景技术
图像超分辨率处理是指将低分辨率图像放大至高分辨率图像的过程。
相关技术在对图像进行超分辨率处理时，往往是先将输入图像放大到所需要的尺寸，然后由神经网路进行进一步处理，进而得到高质量高分辨率输出。然而，神经网络在对放大后的图像进行处理时其所处理数据量量往往是巨大的，这也极大的加剧了电子设备计算资源的消耗，降低了电子设备进行图像处理时的运行效率。
然而，目前的图像处理方法存在处理效率不高的问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中图像处理方法存在处理效率不高的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括:
获取第一分辨率的待处理图像：
对所述待处理图像进行特征提取处理，得到处理结果特征图；
对所述处理结果特征图进行放大处理，得到放大后的特征图；
根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。
在一种可能实现方式中，所述对所述处理结果特征图进行放大处理，得到放大后的特征图，包括：
对所述处理结果特征图进行上采样处理，得到上采样后的特征图；
确定所述上采样后的特征图为所述放大后的特征图。
在一种可能实现方式中，所述对所述处理结果特征图进行上采样处理，得到上采样后的特征图，包括：
响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数；
按照所述分辨率调节倍数，对所述处理结果特征图中的图像特征进行上采样处理，得到所述上采样后的特征图。
在一种可能实现方式中，所述按照所述分辨率调节倍数对所述处理结果特征图进行上采样处理，得到所述上采样后的特征图，包括：
获取针对所述处理结果特征图的图像插值算法；所述图像插值算法至少包括双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法其中之一；
通过所述图像插值算法，按照所述分辨率调节倍数对所述处理结果特征图进行图像插值处理，得到所述上采样后的特征图。
在一种可能实现方式中，所述响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数，包括：
响应于所述图像分辨率调节指令，确定针对所述待处理图像的目标图像分辨率；
获取所述待处理图像的原始图像分辨率，并根据所述目标图像分辨率和所述初始图像分辨率之间的差异，确定所述分辨率调节倍数。
在一种可能实现方式中，所述对所述待处理图像进行特征提取处理，得到处理结果特征图，包括：
将所述待处理图像输入至预训练的特征提取网络；其中，所述预训练的特征提取网络为基于卷积神经网络训练得到的；
通过所述预训练的特征提取网络，对所述待处理图像进行卷积处理，得到卷积处理结果；
确定所述卷积处理结果为所述处理结果特征图。
在一种可能实现方式中，所述根据所述放大后的特征图，生成第二分辨率的目标图像，包括：
将所述放大后的特征图输入至预训练的图片生成网络；
通过所述预训练的图片生成网络，对所述放大后的特征图进行合成处理，得到合成后图像；所述合成后图像的图像分辨率为所述第二分辨率；
确定所述合成后图像为所述目标图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取单元，被配置为执行获取第一分辨率的待处理图像：
提取单元，被配置为执行对所述待处理图像进行特征提取处理，得到处理结果特征图；
放大单元，被配置为执行对所述处理结果特征图进行放大处理，得到放大后的特征图；
生成单元，被配置为执行根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。
在一种可能实现方式中，所述放大单元，具体被配置为执行对所述处理结果特征图进行上采样处理，得到上采样后的特征图；确定所述上采样后的特征图为所述放大后的特征图。
在一种可能实现方式中，所述放大单元，具体被配置为执行响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数；按照所述分辨率调节倍数，对所述处理结果特征图中的图像特征进行上采样处理，得到所述上采样后的特征图。
在一种可能实现方式中，所述放大单元，具体被配置为执行获取针对所述处理结果特征图的图像插值算法；所述图像插值算法至少包括双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法其中之一；通过所述图像插值算法，按照所述分辨率调节倍数对所述处理结果特征图进行图像插值处理，得到所述上采样后的特征图。
在一种可能实现方式中，所述放大单元，具体被配置为执行响应于所述图像分辨率调节指令，确定针对所述待处理图像的目标图像分辨率；获取所述待处理图像的原始图像分辨率，并根据所述目标图像分辨率和所述初始图像分辨率之间的差异，确定所述分辨率调节倍数。
在一种可能实现方式中，所述提取单元，具体被配置为执行将所述待处理图像输入至预训练的特征提取网络；其中，所述预训练的特征提取网络为基于卷积神经网络训练得到的；通过所述预训练的特征提取网络，对所述待处理图像进行卷积处理，得到卷积处理结果；确定所述卷积处理结果为所述处理结果特征图。
在一种可能实现方式中，所述生成单元，具体被配置为执行将所述放大后的特征图输入至预训练的图片生成网络；通过所述预训练的图片生成网络，对所述放大后的特征图进行合成处理，得到合成后图像；所述合成后图像的图像分辨率为所述第二分辨率；确定所述合成后图像为所述目标图像。
根据本公开实施例的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种可能实现方式所述的图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任一种可能实现方式所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：通过获取第一分辨率的待处理图像：并对待处理图像进行特征提取处理，得到处理结果特征图；再对处理结果特征图进行放大处理，得到放大后的特征图；最后，根据放大后的特征图，生成第二分辨率的目标图像；其中，第二分辨率高于第一分辨率，如此，可以实现在对待处理图像进行超分辨率重建的过程中，通过不对第一分辨率的待处理图像进行放大处理，进而减少后续电子设备在对待处理图像进行特征分析处理时的数据处理量，并在后续对处理结果特征图进行放大处理也可以大量地节省了电子设备的计算开销，从而提高了电子设备在对图像进行超分辨率处理的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的应用环境图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的另一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种图片超分辨率处理流程图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的内部结构图。
图7是根据一示例性实施例示出的另一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，电子设备110获取第一分辨率的待处理图像：然后，电子设备110对待处理图像进行特征提取处理，得到处理结果特征图；再然后，电子设备110对处理结果特征图进行放大处理，得到放大后的特征图；最后，电子设备110根据放大后的特征图，生成第二分辨率的目标图像；其中，第二分辨率高于第一分辨率。实际应用中，电子设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，该方法用于图1中的电子设备110中，包括以下步骤。
在步骤S210中，获取第一分辨率的待处理图像。
其中，待处理图像可以是指需要进行超分辨率处理的图像。
其中，待处理图像可以是视频图像或照片图像。
其中，待处理图像的图像分辨率可以为第一分辨率。
实际应用中，待处理图像也可以命名为低分辨率图像、LR(Low Resolution)图像等。
具体实现中，当用户需要提高待处理图像的图像分辨率时，用户可以将待处理图像输入至电子设备中进而供电子设备获取图像分辨率为第一分辨率的待处理图像。
在步骤S220中，对待处理图像进行特征提取处理，得到处理结果特征图。
具体实现中，当电子设备接收到待处理图像后，电子设备则可以对待处理图像进行特征提取处理，进而得到处理结果特征图。
具体来说，电子设备可以获取预训练的第一卷积神经网络，并将待处理图像输入至预训练的第一卷积神经网络中，进而通过预训练的第一卷积神经网络，对待处理图像进行特征提取分析，即对待处理图像进行分解和变换，形成多维度的特征图像即得到处理结果特征图。其中，待处理图像可以是三通道的彩色图像。
在步骤S230中，对处理结果特征图进行放大处理，得到放大后的特征图。
具体实现中，在电子设备得到处理结果特征图后，电子设备则可以对处理结果特征图进行放大处理，得到放大后的特征图。
具体来说，电子设备可以通过预设的上采样滤波器，对处理结果特征图进行特征上采样，进而实现对处理结果特征图的各个通道分别进行放大处理；然后，电子设备将该处理结果特征图对应的上采样结果，作为放大后的特征图。
在步骤S240中，根据放大后的特征图，生成第二分辨率的目标图像。
其中，第二分辨率高于第一分辨率，即目标图像的图像分辨率大于待处理图像的图像分辨率。
其中，目标图像的图像分辨率可以为第二分辨率。
实际应用中，目标图像也可以命名为高分辨率图像、HR(High Resolution)图像等。
具体实现中，当电子设备获取到放大后的特征图后，电子设备则可以根据该放大后的特征图，生成图像分辨率为第二分辨率的目标图像。
具体来说，电子设备可以获取预训练的第二卷积神经网络，并将放大后的特征图输入至预训练的第二卷积神经网络中，进而通过预训练的第二卷积神经网络，对放大后的特征图综合分析，并加工合成为最终的三通道彩色高分辨率图像即得到图像分辨率为第二分辨率的目标图像。
上述图像处理方法中，通过获取第一分辨率的待处理图像：并对待处理图像进行特征提取处理，得到处理结果特征图；再对处理结果特征图进行放大处理，得到放大后的特征图；最后，根据放大后的特征图，生成第二分辨率的目标图像；其中，第二分辨率高于第一分辨率，如此，可以实现在对待处理图像进行超分辨率重建的过程中，通过不对第一分辨率的待处理图像进行放大处理，进而减少后续电子设备在对待处理图像进行特征分析处理时的数据处理量，并在后续对处理结果特征图进行放大处理也可以大量地节省了电子设备的计算开销，从而提高了电子设备在对图像进行超分辨率处理的效率。
在一示例性实施例中，对处理结果特征图进行放大处理，得到放大后的特征图，包括：对处理结果特征图进行上采样处理，得到上采样后的特征图；确定上采样后的特征图为放大后的特征图。
具体实现中，电子设备在对处理结果特征图进行放大处理，得到放大后的特征图的过程中，具体包括：电子设备可以对处理结果特征图进行上采样处理，得到上采样后的特征图；然后，电子设备确定上采样后的特征图为放大后的特征图。
具体来说，电子设备可以获取针对该待处理图像的分辨率放大倍数，然后，再基于该分辨率放大倍数，并采用预设的上采样滤波器，对处理结果特征图进行上采样处理，进而实现对处理结果特征图的各个通道分别进行放大处理，得到上采样后的特征图；作为放大后的特征图。
本实施例的技术方案，通过对处理结果特征图进行上采样处理，得到上采样后的特征图，作为放大后的特征图，从而可以实现快速地对处理结果特征图进行放大处理，以得到放大后的特征图。
在一示例性实施例中，对处理结果特征图进行上采样处理，得到上采样后的特征图，包括：响应于用户账户的图像分辨率调节指令，确定针对待处理图像的分辨率调节倍数；按照分辨率调节倍数，对处理结果特征图中的图像特征进行上采样处理，得到上采样后的特征图。
在响应于用户账户的图像分辨率调节指令，确定针对待处理图像的分辨率调节倍数的步骤中，包括：响应于图像分辨率调节指令，确定针对待处理图像的目标图像分辨率；获取待处理图像的原始图像分辨率，并根据目标图像分辨率和初始图像分辨率之间的差异，确定分辨率调节倍数。
其中，图像分辨率调节指令可以是指用户账户对待处理图像进行分辨率调节时输入的控制指令。
其中，分辨率调节倍数可以是指对待处理图像的图像分辨率进行放大时所采用的放大倍数。实际应用中，分辨率调节倍数可以是整数倍，也可以是非整数倍。
具体实现中，当用户需要提高待处理图像的图像分辨率时，用户在将待处理图像输入至电子设备的同时，还可以设置目标图像的目标图像分辨率即输入图像分辨率调节指令至电子设备。当电子设备接收到该图像分辨率调节指令后，电子设备则响应于图像分辨率调节指令，确定针对待处理图像的目标图像分辨率。同时，电子设备则获取待处理图像的原始图像分辨率，并将目标图像分辨率除以初始图像分辨率得到的结果作为分辨率调节倍数。
然后，再基于该分辨率调节倍数，并采用预设的上采样滤波器，对处理结果特征图进行上采样处理，进而实现对处理结果特征图的各个通道分别进行放大处理，得到上采样后的特征图
本实施例的技术方案，在对处理结果特征图进行上采样处理，得到上采样后的特征图的过程中，通过响应于用户账户的图像分辨率调节指令，确定针对待处理图像的目标图像分辨率；然后，获取待处理图像的原始图像分辨率，并根据目标图像分辨率和初始图像分辨率之间的差异，确定分辨率调节倍数；最后，再基于分辨率调节倍数，对处理结果特征图中的图像特征进行上采样处理，得到上采样后的特征图。如此，可以在摆脱对放大倍数的束缚的同时，准确地基于用户需求对待处理图片进行超分辨率重建以得到目标图像。
在一示例性实施例中，按照分辨率调节倍数对处理结果特征图进行上采样处理，得到上采样后的特征图，包括：获取针对处理结果特征图的图像插值算法；通过图像插值算法，按照分辨率调节倍数对处理结果特征图进行图像插值处理，得到上采样后的特征图。
其中，图像插值算法至少包括双线性二次插值算法(bilinear)、双三次插值算法(bicubic)、最近邻插值算法(nearest_neighbor)、兰索斯插值算法(lanczos)等传统上采样算法中其中之一种。
具体实现中，电子设备在按照分辨率调节倍数对处理结果特征图进行上采样处理，得到上采样后的特征图的过程中，具体包括：电子设备可以获取针对处理结果特征图的图像插值算法；通过图像插值算法如双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法中的其中一种，并按照分辨率调节倍数对处理结果特征图进行图像插值处理，进而得到上采样后的特征图。
本实施例的技术方案，通过获取针对处理结果特征图的图像插值算法；通过图像插值算法，按照分辨率调节倍数对处理结果特征图进行图像插值处理，从而可以准确地按照分辨率调节倍数对处理结果特征图进行上采样处理，以得到上采样后的特征图。
在一示例性实施例中，对待处理图像进行特征提取处理，得到处理结果特征图，包括：将待处理图像输入至预训练的特征提取网络；通过预训练的特征提取网络，对待处理图像进行卷积处理，得到卷积处理结果；确定卷积处理结果为处理结果特征图。
其中，预训练的特征提取网络为基于卷积神经网络训练得到的。
具体实现中，电子设备在对待处理图像进行特征提取处理，得到处理结果特征图的过程中，具体包括：电子设备可以获取预训练的特征提取网络，并将待处理图像输入至预训练的特征提取网络中。通过该预训练的特征提取网络，对待处理图像进行卷积处理，得到卷积处理结果；最后，电子设备将卷积处理结果，确定为处理结果特征图。
本实施例的技术方案，通过将待处理图像输入至预训练的特征提取网络；通过预训练的特征提取网络，对待处理图像进行卷积处理，得到卷积处理结果；确定卷积处理结果为处理结果特征图，实现高效地对待处理图像进行特征提取处理以得到处理结果特征图。
在一示例性实施例中，根据放大后的特征图，生成第二分辨率的目标图像，包括：将放大后的特征图输入至预训练的图片生成网络；通过预训练的图片生成网络，对放大后的特征图进行合成处理，得到合成后图像；确定合成后图像为目标图像。
其中，合成后图像的图像分辨率为第二分辨率。
具体实现中，电子设备在根据放大后的特征图，生成第二分辨率的目标图像的过程中，具体包括：电子设备可以获取预训练的图片生成网络，并将放大后的特征图输入至预训练的图片生成网络中，进而通过预训练的图片生成网络，对放大后的特征图进行合成处理，即进行综合分析，并加工合成为合成后图像。其中，该合成后图像为三通道彩色高分辨率图像；最后，电子设备将该图像分辨率为第二分辨率的合成后图像作为目标图像。
本实施例的技术方案，通过将放大后的特征图输入至预训练的图片生成网络；通过预训练的图片生成网络，对放大后的特征图进行合成处理，实现高效地生成第二分辨率的目标图像。
图3是根据一示例性实施例示出的另一种图像处理方法的流程图，如图3所示，该方法用于图1中的电子设备110中，包括以下步骤。在步骤S310中，获取第一分辨率的待处理图像。在步骤S320中，将所述待处理图像输入至预训练的特征提取网络；其中，所述预训练的特征提取网络为基于卷积神经网络训练得到的。在步骤S330中，通过所述预训练的特征提取网络，对所述待处理图像进行卷积处理，得到卷积处理结果，作为处理结果特征图。在步骤S340中，响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数。在步骤S350中，获取针对所述处理结果特征图的图像插值算法；所述图像插值算法至少包括双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法其中之一。在步骤S360中，通过所述图像插值算法，按照所述分辨率调节倍数对所述处理结果特征图进行图像插值处理，得到放大后的特征图。在步骤S370中，将所述放大后的特征图输入至预训练的图片生成网络。在步骤S380中，通过所述预训练的图片生成网络，对所述放大后的特征图进行合成处理，得到合成后图像，作为第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。需要说明的是，上述步骤的具体限定可以参见上文对一种图像处理方法的具体限定，在此不再赘述。
为了便于本领域技术人员的理解，图4实例性地提供了一种图片超分辨率处理流程图；如图4所示，电子设备在获取到图像分辨率为H*W的三通道待处理图像(即LR图像)后，将待处理图像输入至预训练的第一卷积神经网络中，进而通过预训练的第一卷积神经网络，对待处理图像进行特征提取分析，即对待处理图像进行分解和变换，形成多维度的特征图像即得到处理结果特征图。然后，电子设备基于该分辨率调节倍数r，并采用预设的上采样滤波器，对处理结果特征图进行特征上采样处理，进而实现对处理结果特征图的各个通道分别进行放大处理，得到上采样后的特征图。最后，电子设备将上采样后的特征图输入至预训练的第二卷积神经网络中，进而通过预训练的第二卷积神经网络，对放大后的特征图综合分析，并加工合成图像分辨率为rH*rW的三通道目标图像(即HR图像)。
应该理解的是，虽然图2、图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图5是根据一示例性实施例示出的一种图像处理装置框图。参照图5，该装置包括：
获取单元510，被配置为执行获取第一分辨率的待处理图像：
提取单元520，被配置为执行对所述待处理图像进行特征提取处理，得到处理结果特征图；
放大单元530，被配置为执行对所述处理结果特征图进行放大处理，得到放大后的特征图；
生成单元540，被配置为执行根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。
在一示例性实施例中，所述放大单元530，具体被配置为执行对所述处理结果特征图进行上采样处理，得到上采样后的特征图；确定所述上采样后的特征图为所述放大后的特征图。
在一示例性实施例中，所述放大单元530，具体被配置为执行响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数；按照所述分辨率调节倍数，对所述处理结果特征图中的图像特征进行上采样处理，得到所述上采样后的特征图。
在一示例性实施例中，所述放大单元530，具体被配置为执行获取针对所述处理结果特征图的图像插值算法；所述图像插值算法至少包括双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法其中之一；通过所述图像插值算法，按照所述分辨率调节倍数对所述处理结果特征图进行图像插值处理，得到所述上采样后的特征图。
在一示例性实施例中，所述放大单元530，具体被配置为执行响应于所述图像分辨率调节指令，确定针对所述待处理图像的目标图像分辨率；获取所述待处理图像的原始图像分辨率，并根据所述目标图像分辨率和所述初始图像分辨率之间的差异，确定所述分辨率调节倍数。
在一示例性实施例中，所述提取单元510，具体被配置为执行将所述待处理图像输入至预训练的特征提取网络；其中，所述预训练的特征提取网络为基于卷积神经网络训练得到的；通过所述预训练的特征提取网络，对所述待处理图像进行卷积处理，得到卷积处理结果；确定所述卷积处理结果为所述处理结果特征图。
在一示例性实施例中，所述生成单元540，具体被配置为执行将所述放大后的特征图输入至预训练的图片生成网络；通过所述预训练的图片生成网络，对所述放大后的特征图进行合成处理，得到合成后图像；所述合成后图像的图像分辨率为所述第二分辨率；确定所述合成后图像为所述目标图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于执行图像处理方法的设备600的框图。例如，设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图6，设备600可以包括以下一个或多个组件：处理组件602、存储器604、电力组件606、多媒体组件608、音频组件610、输入/输出(I/O)的接口612、传感器组件614以及通信组件616。
处理组件602通常控制设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是根据一示例性实施例示出的另一种用于执行图像处理方法的设备700的框图。例如，设备700可以为一服务器。参照图7，设备700包括处理组件720，其进一步包括一个或多个处理器，以及由存储器722所代表的存储器资源，用于存储可由处理组件720的执行的指令，例如应用程序。存储器722中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件720被配置为执行指令，以执行上述图像处理方方法。
设备700还可以包括一个电源组件724被配置为执行设备700的电源管理，一个有线或无线网络接口726被配置为将设备700连接到网络，和一个输入输出(I/O)接口728。设备700可以操作基于存储在存储器722的操作系统，例如Window77erverTM，MacO7XTM，UnixTM,LinuxTM，FreeB7DTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器722，上述指令可由设备700的处理器执行以完成上述方法。存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取第一分辨率的待处理图像：
对所述待处理图像进行特征提取处理，得到处理结果特征图；
对所述处理结果特征图进行放大处理，得到放大后的特征图；
根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述处理结果特征图进行放大处理，得到放大后的特征图，包括：
对所述处理结果特征图进行上采样处理，得到上采样后的特征图；
确定所述上采样后的特征图为所述放大后的特征图。
3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述处理结果特征图进行上采样处理，得到上采样后的特征图，包括：
响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数；
按照所述分辨率调节倍数，对所述处理结果特征图中的图像特征进行上采样处理，得到所述上采样后的特征图。
4.根据权利要求2所述的图像处理方法，其特征在于，所述按照所述分辨率调节倍数对所述处理结果特征图进行上采样处理，得到所述上采样后的特征图，包括：
获取针对所述处理结果特征图的图像插值算法；所述图像插值算法至少包括双线性二次插值算法、双三次插值算法、最近邻插值算法、兰索斯插值算法其中之一；
通过所述图像插值算法，按照所述分辨率调节倍数对所述处理结果特征图进行图像插值处理，得到所述上采样后的特征图。
5.根据权利要求3所述的图像处理方法，其特征在于，所述响应于用户账户的图像分辨率调节指令，确定针对所述待处理图像的分辨率调节倍数，包括：
响应于所述图像分辨率调节指令，确定针对所述待处理图像的目标图像分辨率；
获取所述待处理图像的原始图像分辨率，并根据所述目标图像分辨率和所述初始图像分辨率之间的差异，确定所述分辨率调节倍数。
6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待处理图像进行特征提取处理，得到处理结果特征图，包括：
将所述待处理图像输入至预训练的特征提取网络；其中，所述预训练的特征提取网络为基于卷积神经网络训练得到的；
通过所述预训练的特征提取网络，对所述待处理图像进行卷积处理，得到卷积处理结果；
确定所述卷积处理结果为所述处理结果特征图。
7.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述放大后的特征图，生成第二分辨率的目标图像，包括：
将所述放大后的特征图输入至预训练的图片生成网络；
通过所述预训练的图片生成网络，对所述放大后的特征图进行合成处理，得到合成后图像；所述合成后图像的图像分辨率为所述第二分辨率；
确定所述合成后图像为所述目标图像。
8.一种图像处理装置，其特征在于，包括：
获取单元，被配置为执行获取第一分辨率的待处理图像：
提取单元，被配置为执行对所述待处理图像进行特征提取处理，得到处理结果特征图；
放大单元，被配置为执行对所述处理结果特征图进行放大处理，得到放大后的特征图；
生成单元，被配置为执行根据所述放大后的特征图，生成第二分辨率的目标图像；其中，所述第二分辨率高于所述第一分辨率。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011024197.4A CN112116528A (zh) | 2020-09-25 | 2020-09-25 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011024197.4A CN112116528A (zh) | 2020-09-25 | 2020-09-25 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116528A true CN112116528A (zh) | 2020-12-22 |
Family
ID=73797750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011024197.4A Pending CN112116528A (zh) | 2020-09-25 | 2020-09-25 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116528A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830322A (zh) * | 2018-06-15 | 2018-11-16 | 联想(北京)有限公司 | 一种图像处理方法及装置、设备、存储介质 |
| WO2019104705A1 (zh) * | 2017-12-01 | 2019-06-06 | 华为技术有限公司 | 图像处理的方法和设备 |
| CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111402139A (zh) * | 2020-03-25 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
-
2020
- 2020-09-25 CN CN202011024197.4A patent/CN112116528A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104705A1 (zh) * | 2017-12-01 | 2019-06-06 | 华为技术有限公司 | 图像处理的方法和设备 |
| CN108830322A (zh) * | 2018-06-15 | 2018-11-16 | 联想(北京)有限公司 | 一种图像处理方法及装置、设备、存储介质 |
| CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111402139A (zh) * | 2020-03-25 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113096011B (zh) * | 2021-03-25 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428378B (zh) | 图像的处理方法、装置及存储介质 | |
| WO2019104705A1 (zh) | 图像处理的方法和设备 | |
| CN106657780B (zh) | 图像预览方法和装置 | |
| WO2020134866A1 (zh) | 关键点检测方法及装置、电子设备和存储介质 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| WO2020007241A1 (zh) | 图像处理方法和装置、电子设备以及计算机可读存储介质 | |
| CN107992848B (zh) | 获取深度图像的方法、装置及计算机可读存储介质 | |
| CN111078170B (zh) | 显示控制方法、显示控制装置及计算机可读存储介质 | |
| JP6170626B2 (ja) | 構図変更方法、構図変更装置、端末、プログラム及び記録媒体 | |
| CN114025105B (zh) | 视频处理方法、装置、电子设备、存储介质 | |
| US20220222831A1 (en) | Method for processing images and electronic device therefor | |
| CN112116528A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110874809A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| KR20210053121A (ko) | 이미지 처리 모델의 훈련 방법, 장치 및 매체 | |
| CN113160038B (zh) | 一种图像风格迁移方法、装置、电子设备及存储介质 | |
| CN113160039B (zh) | 图像风格迁移方法、装置、电子设备及存储介质 | |
| CN107992894B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN110148424B (zh) | 语音处理方法、装置、电子设备及存储介质 | |
| CN111612875A (zh) | 一种动态图像生成方法、装置、电子设备及存储介质 | |
| CN114268802B (zh) | 虚拟空间展示方法、装置、电子设备及存储介质 | |
| CN117616455A (zh) | 多帧图像对齐方法、多帧图像对齐装置及存储介质 | |
| CN114612485A (zh) | 一种图像裁剪方法、装置及存储介质 | |
| CN111768393A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN115641269A (zh) | 一种图像修补方法、装置及可读存储介质 | |
| CN106897876B (zh) | 终端支付处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |