CN111402139A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111402139A
CN111402139A CN202010218401.XA CN202010218401A CN111402139A CN 111402139 A CN111402139 A CN 111402139A CN 202010218401 A CN202010218401 A CN 202010218401A CN 111402139 A CN111402139 A CN 111402139A
Authority
CN
China
Prior art keywords
resolution
image
value
size
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010218401.XA
Other languages
English (en)
Other versions
CN111402139B (zh
Inventor
李兴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010218401.XA priority Critical patent/CN111402139B/zh
Publication of CN111402139A publication Critical patent/CN111402139A/zh
Application granted granted Critical
Publication of CN111402139B publication Critical patent/CN111402139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质。所述方法包括：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。能够实现任意缩放倍率的分辨率重建任务，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
图像处理包括图像分辨率调整，例如，将低分辨率图像调整为高分辨率图像，称为图像超分辨率(Super-Resolution，简称SR)重建；或者将高分辨率图像调整为低分辨率。SR算法可以有效提升图像或视频分辨率。SR重建算法主要分为两大类，一类是基于卷积神经网络(Convolutional Neural Networks，简称CNN)的SR算法，另一类是非CNN的SR算法，又称为传统SR算法，鉴于网络的强大学习能力，基于CNN的SR算法在重建结果性能上取得了绝对的优势。
目前基于CNN的SR算法对图像进行缩放处理后得到的目标图像存在伪影。
发明内容
本申请实施例提供了一种方法、装置、电子设备、计算机可读存储介质，可以消除图像伪影，提高图像质量。
一种图像处理方法，包括：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种图像处理装置，包括：
获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；
提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
分辨率调整模块，用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
处理模块，用于将所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
上述图像处理方法、装置、电子设备、计算机可读存储介质，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值可以得到预测的卷积核，采用预测的卷积核对第一分辨率特征图进行卷积处理得到分辨率调整后的第二分辨率特征图，再对第二分辨率特征图进行特征学习处理，可以得到第二分辨率图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，能够实现任意缩放倍率的分辨率重建任务，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。
一种图像处理方法，包括：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种图像处理装置，包括：
获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；
提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
分辨率调整模块，用于将所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
处理模块，用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
上述图像处理方法、装置、电子设备、计算机可读存储介质，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值对第一分辨率特征图进行插值处理得到插值结果，然后对插值结果进行卷积处理得到第二分辨率特征图，再对第二分辨率特征图进行特征提取处理，可以得到第二分辨率图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，能够实现任意缩放倍率的分辨率重建任务，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，通过对提取得到的分辨率特征图进行缩放倍率调整，然后再将调整得到的分辨率特征图继续进行特征提取，得到最终的第二分辨率图，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中亚像素偏移的原理图；
图2为一个实施例中反卷积层的原理图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中根据该第一分辨率特征图的尺寸和缩放倍率值进行卷积核预测处理，得到预测的卷积核的流程示意图；
图5为一个实施例中卷积核预测的过程示意图；
图6为一个实施例中分辨率调整网络块的训练方式的示意图；
图7为一个实施例中超分辨率网络重建流程示意图；
图8为一个实施例中计算插值行号或列号的示意图；
图9为另一个实施例中图像处理方法的流程图；
图10为一个实施例中图像处理装置的结构示意图；
图11为一个实施例中第一分辨率调整模块的内部结构框图；
图12为另一个实施例中图像处理装置的结构框图；
图13为另一个实施例中图像处理装置的结构框图；
图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种数据，但这些数据不受这些术语限制。这些术语仅用于将第一个数据与另一个数据区分。举例来说，在不脱离本申请的范围的情况下，可以将第一分辨率特征图称为第二分辨率特征图，且类似地，可将第二分辨率特征图称为第一分辨率特征图。第一分辨率特征图和第二分辨率特征图两者都是分辨率特征图，但其不是同一分辨率特征图。
基于CNN的超分辨率重建算法中，绝大多数的网络，只能支持一种放大倍率的SR任务，如果需要处理其他倍率的SR，则需要重新设计网络结构后，再重新训练。这种缺陷限制了SR技术在产品端的实用性。
基于CNN的SR网络中，常用的特征放大模块主要有反卷积和亚像素偏移，这两个模块能够提升图像的分辨率。但反卷积层和亚像素偏移层，都是网络中一个固定的卷积层，在构建网络调用这两个层时，都需要明确给出放大倍率，也即是一个网络结构只能用于一种放大倍率的SR任务，无法达到一个网络实现多种放大倍率的目的。
图1为亚像素偏移的原理图。对于亚像素偏移层，以尺度因子scale＝2为例，若要使得亚像素偏移层的输出为一个大小为M×N的灰度图像(以灰度图像举例，也可以实现3通道图像的输出)，其输入应该是一个大小为
Figure BDA0002425206750000031
的3维张量，最终实现一个4×1×1的输入，输出一个2×2的图像块，在这个变换过程中，亚像素偏移层不会改变输入值的大小，只是将其由三维张量变换为一个二维的图像块，也即是亚像素偏移层的功能是将输入进行重新排列。
图2为反卷积层的原理图。反卷积层是一种具有特殊结构的卷积层，可以理解为在输入的各行各列中整行或整列的零元素，实现输入分辨率的提升，然后使用卷积核与放大后的输入进行卷积，卷积结果记为反卷积层的输出。反卷积层分辨率提升的方式是在输入特征间插入行或列。以尺度因子scale＝2为例，输入的大小为M×N，期望输出的大小为2M×2N，反卷积层的输入输出尺寸的对应公式为：
Figure BDA0002425206750000032
其中Zin、Zout表示分别表示输入和输出的大小，s为反卷积层的步长stride参数，k为滤波器的尺寸，p为边界填充padding参数，％为取模运算。
为了解决相关技术中只能用于一种缩放倍率的任务，无法达到一个网络实现多种缩放倍率，且无法消除图像伪影的问题，本申请提供了一种图像处理方法，在网络中，先对待处理图像进行特征提取，得到第一分辨率特征图，然后再通过分辨率调整网络将第一分辨率特征图的分辨率调整到指定的缩放倍率值，得到第二分辨率特征图，将第二分辨率特征图输入到第二特征学习网络块进行处理，得到第二分辨率图像。
图3为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于电子设备为例进行描述。该电子设备可以是但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。可以理解的是，该方法也可以应用于服务器。服务器可以为单个服务器或者服务器集群或者云服务器等。
如图3所示，一种图像处理方法，包括：
步骤302，获取待处理图像以及该待处理图像的缩放倍率值。
待处理图像可为摄像头拍摄的图像，或在摄像头在预览状态下的图像，或者录制的视频帧图像，或者在视频会议、视频通话等场景中的视频图像，或者在网络上存储的图像或视频中的视频帧图像等。缩放倍率值是指对待处理图像进行缩放的倍数，可以根据需要任意设置。缩放倍率值可为放大倍率值或缩小倍率值。当缩放倍率值为放大倍率值，则第二分辨率大于第一分辨率，实现了超分辨率处理；当缩放倍率值为缩小倍率值，则第二分辨率小于第一分辨率。若缩放倍率值小于1，则为缩小倍率值，若缩放倍率值大于1，则为放大倍率值。当缩放倍率值为放大倍率值时，待处理图像为LR(Low Resolution，低分辨率)图像；当缩放倍率值为缩小倍率值时，待处理图像为高分辨率图像。
步骤304，对该待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
具体地，通过分辨率重建网络中的第一特征学习网络块(Feature LearningModule)对待处理图像进行特征提取，得到第一分辨率特征图，以及该第一分辨率特征图的尺寸。例如，将待处理图像输入第一特征学习网络块进行特征提取，得到一个大小为C×W×H(维度*宽度*高度)的第一分辨率特征图，其中，C为第一分辨率特征图的维度，W为第一分辨率特征图的宽度，W为第一分辨率特征图的高度。第一分辨率特征图用于表示待处理图像中每个像素点的特征信息。特征信息可包括像素点的像素值或亮度值等，还包括像素点坐标等，不限于此。
步骤306，根据该第一分辨率特征图的尺寸和该缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用该预测的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
具体地，通过分辨率重建网络中的分辨率调整网络块根据第一分辨率特征图的尺寸和缩放倍率值进行计算可以得到第二分辨率图的尺寸，然后再根据第二分辨率图的尺寸和缩放倍率值可以生成一个三维尺寸结果，再根据三维尺寸结果进行预测得到预测的卷积核，通过预测的卷积核对第一分辨率特征图进行卷积处理，可以得到第二分辨率特征图。
例如第一分辨率特征图的尺寸为W×H，缩放倍率值为r,则第二分辨率图的尺寸为round(rW)×round(rH)，其中round表示四舍五入操作。
该分辨率调整网络块是根据图像样本尺寸及不同的缩放倍率值训练得到的。
分辨率调整网络块可以根据不同的缩放倍率值对提取到的第一分辨率特征图进行任意缩放，且不丢失第一分辨率特征图。
步骤308，对该第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
具体地，通过分辨率重建网络中的第二特征学习网络块对分辨率调整后的第二分辨率特征图进行特征提取和学习，得到第二分辨率图像。当第二分辨率大于第一分辨率时，重建得到的第二分辨率图像属于超分辨率图像。当第二分辨率小于第一分辨率时，重建得到的第二分辨率图像属于低分辨率图像。
上述图像处理方法，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值可以得到预测的卷积核，采用预测的卷积核对第一分辨率特征图进行卷积处理得到分辨率调整后的第二分辨率特征图，再对第二分辨率特征图进行特征学习处理，可以得到第二分辨率图像，即得到分辨率调整后的图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，通过对提取得到的分辨率特征图进行缩放倍率调整，然后再将调整得到的分辨率特征图继续进行特征提取，得到最终的第二分辨率图，能够实现任意缩放倍率的分辨率重建任务，且避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。此外，可以降低网络输入端的复杂度。
在一个实施例中，如图4所示，分辨率调整网络块包括依次相连的尺寸转化网络子块、卷积核预测网络子块和卷积网络子块。分辨率调整网络块可以根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
根据该第一分辨率特征图的尺寸和缩放倍率值进行卷积核预测处理，得到预测的卷积核，包括：
步骤402，根据该第一分辨率特征图的尺寸和缩放倍率值，确定第二分辨率图像的尺寸。
第一分辨率特征图的尺寸(即大小)为W×H，W为第一分辨率特征图的宽度，W为第一分辨率特征图的高度，缩放倍率值为r,则第二分辨率图的尺寸可为round(rW)×round(rH)，其中round表示四舍五入操作。可通过分辨率调整网络块中的尺寸转化网络子块根据该第一分辨率特征图的尺寸和缩放倍率值，确定第二分辨率图像的尺寸。
步骤404，根据该第二分辨率图像的尺寸和缩放倍率值生成三维尺寸结果，该三维尺寸结果的第一层中每个元素的值为该第二分辨率图像中每个像素点所在行的行号，第二层中每个元素的值为该第二分辨率图像中每个像素点所在列的列号，第三层中每个元素的值为该缩放倍率值。
可以通过分辨率调整网络块中的尺寸转化网络子块根据该第二分辨率图像的尺寸round(rW)×round(rH)和缩放倍率值r，生成一个大小为3×round(rW)×round(rH)的三维尺寸结果。
步骤406，对该三维尺寸结果进行卷积核预测处理，得到预测的卷积核。
具体地，可以通过分辨率调整网络块中的卷积核预测网络子块将三维尺寸结果进行卷积核预测处理，得到该卷积网络子块的预测的一组卷积核。卷积网络子块采用该预测的一组卷积核与第一分辨率特征图进行卷积计算得到第二分辨率特征图。可选的，一组卷积核中卷积核的数量可根据第一分辨率特征图的尺寸和缩放倍率值计算得到。具体地，一组卷积核中卷积核的数量可为第一分辨率特征图的尺寸和缩放倍率值得到第二分辨率图的尺寸，计算第二分辨率图像的尺寸中的宽度和高度的乘积，得到卷积核的数量。
如图5所示，三维尺寸结果的第一层502中元素的值为每个像素点所在行的行号，即第一层6*6表中每个格子中的数字表示该处像素点所在行号，如第一层502中第一行的元素的值为1，第二行的元素的值为2，第三行的元素的值为3，第四行的元素的值为4、第五行的元素的值为5、第六行的元素的值为6；第二层504中元素的值为每个像素点所在列的列号，即第二层6*6表中每个格子中的数字表示该处像素点所在列号，如第二层504中第一列的元素的值为1，第二列的元素的值为2，第三列的元素的值为3、第四列的元素的值为4、第五列的元素的值为5、第六列的元素的值为6。第三层506中每个元素的值为缩放倍率值r。将三维尺寸结果输入卷积核预测网络子块508，得到一组卷积核510。例如第一分辨率特征图的尺寸为3*3，缩放倍率值为2，则第二分辨率图的尺寸为6*6，则预测得到的卷积核数量为36个。
在一个实施例中，通过卷积核预测网络子块对该三维尺寸结果进行处理，得到该卷积网络子块的卷积核，包括：将该三维尺寸结果输入卷积核预测网络子块进行处理，得到三维张量数据；该三维张量数据包括卷积核以及卷积核对应的第一分辨率特征图中的行和列；从该三维张量数据中确定该分辨率调整网络块的预测的卷积核。
其中，将3×round(rW)×round(rH)输入到卷积核预测网络子块，得到一个大小为(Cin×Cout×k2+2)×round(rW)×round(rH)的三维张量数据，其中，Cin和Cout分别为输入和输出特征的通道数，k为预测输出卷积核的大小。以输出结果为一个(Cin×Cout×k2+2)×1×1三维张量数据为例，说明各参数的意义，第一个元素为此卷积核对应的第一分辨率特征图中的行，第二个元素为此卷积核对应的第一分辨率特征图中的列，此后的Cin×k2个元素对应着一个Cin×k×k卷积核，用于与输入的Cin维第一分辨率特征图中特征信息进行卷积，一共有Cout个这样的卷积核。
在一个实施例中，该预测的卷积核为一组卷积核；该采用该预测的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图，包括：采用一组卷积核中每个卷积核对该第一分辨率特征图中对应的区域进行卷积处理，得到第二分辨率特征图。
其中，一组卷积核中卷积核的数量可为第二分辨率图像的宽度和高度的乘积。每个卷积核与第一分辨率特征图中相应的区域进行一次卷积，不进行遍历操作。即，若输入为INW×INH，普通的卷积层与其进行卷积后(卷积核大小为3×3，步长为1，填充为1)，输出大小仍为INW×INH，而本申请中卷积后的输出为一个1×1大小的值。可以节省遍历时间，提高图像处理效率。
在一个实施例中，每个卷积核在该第一分辨率特征图中的对应区域的确定方式，包括：对第一分辨率特征图的尺寸和该缩放倍率值进行卷积核处理，得到预测的一组卷积核，以及该一组卷积核中每个卷积核所需要处理的第一分辨率特征图中对应区域的区域信息，该区域信息包括区域的中心坐标位置和起始坐标位置。
具体地，分辨率调整网络块包括尺寸转化网络子块、卷积核预测网络子块和卷积网络子块。分辨率网络块的尺寸转化网络子块根据第一分辨率特征图的尺寸和缩放倍率值计算得到第二分辨率图的尺寸，然后根据第二分辨率图的尺寸和缩放倍率值生成一个三维尺寸结果，再由分辨率网络块的卷积核预测单元对三维尺寸结果进行处理得到一组卷积核，以及每个卷积核所需要处理的第一分辨率特征图中对应区域的区域信息。区域信息包括区域的中心坐标位置和起始坐标位置。根据中心坐标和起始坐标位置可以确定整个区域中各像素点的坐标位置。卷积网络子块采用该预测的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
通过卷积核网络子块直接输出卷积核及对应的需要处理的区域信息，计算简单。
在一个实施例中，每个卷积核在该第一分辨率特征图中的对应区域的确定方式，包括：对第一分辨率特征图的尺寸和该缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及该一组卷积核中每个卷积核的输出位置；根据每个卷积核的输出位置和该缩放倍率值计算对应的位于第一分辨率特征图中的区域。
分辨率调整网络块可包括尺寸转化网络子块、卷积核预测网络子块、区域确定网络子块和卷积网络子块。分辨率网络块的尺寸转化网络子块根据第一分辨率特征图的尺寸和缩放倍率值计算得到第二分辨率图的尺寸，然后根据第二分辨率图的尺寸和缩放倍率值生成一个三维尺寸结果，再由分辨率网络块的卷积核预测网络子块对三维尺寸结果进行处理得到卷积网络子块的一组卷积核，以及该一组卷积核中每个卷积核的输出位置；通过区域确定网络子块根据每个卷积核的输出位置和该缩放倍率值计算对应的位于第一分辨率特征图中的区域。对于每个卷积核需要处理的第一分辨率特征图中的区域，可以采用向下取整操作floor(x/r)来确定。例如卷积核的输出位置为(Wk,Hk)，对应的第一分辨率特征图中的区域为(Wk/r,Hk/r)。在分辨率调整网络块中的卷积核预测单元外计算每个卷积核对应的区域，可以与分辨率调整网络块解耦，降低网络耦合性。
在一个实施例中，如图6所示，该分辨率调整网络块的训练方式，包括：
步骤602，获取训练样本集，该训练样本集包括至少两个批次的图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本。
其中，每个批次(batch size)的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本。预设数量可以根据需要设定，如8张、16张、32张、64张等。例如第一个批次中的图像样本编号为1-64、第二个批次中图像样本编号为65-128，则第一个批次中的1-64个图像样本的缩放倍率值相同，第二个批次中的65-128个图像样本的缩放倍率值相同，第一个批次和第二批次中图像样本的缩放倍率值可以相同，也可以不同。此外，每个图像样本还标注有对应的卷积核。
步骤604，依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率调整网络块，得到每个图像样本和缩放倍率值所对应的预测卷积核。
其中，每个图像样本对应一个缩放倍率值和标注卷积核。
步骤606，将该图像样本对应的预测卷积核和标注卷积核进行比较，得到差异值。
步骤608，根据该差异值调整待训练的分辨率调整网络块的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率调整网络块的目标参数值。
通过将训练集中图像样本分成多个批次，每个批次中图像样本对应的缩放倍率值相同，训练得到的分辨率调整网络在对图像进行分辨率调整时，能够让预测得到的卷积核仅仅与对应区域位置的特征信息进行卷积处理，不需要进行遍历，提高了图像分辨率调整效率，且通过分批次进行训练可以提高网络的收敛速度和稳定性。
在一个实施例中，分辨率重建网络包括依次相连的第一特征学习网络块、分辨率调整网络块和第二特征学习网络块；第一特征学习网络块用于对该待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；该分辨率调整网络块用于根据该第一分辨率特征图的尺寸和该缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用该预测的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图；该第二特征学习网络块用于对该第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
该分辨率重建网络的训练方式包括：获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率重建网络，得到每个图像样本和缩放倍率值所对应的实际分辨率图像；将所述图像样本对应的实际分辨率图像与标注分辨率图像进行比较，得到差异值；根据所述差异值调整待训练的分辨率重建网络的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率重建网络的目标参数值。
每个图像样本对应有标注分辨率图像。将实际分辨率图像和标注分辨率图像进行比较，可以得到差异值，然后根据差异值调整分辨率重建网络的参数。
通过将训练集中图像样本分成多个批次，每个批次中图像样本对应的缩放倍率值相同，训练得到的分辨率重建网络在对图像进行分辨率调整时，能够让预测得到的卷积核仅仅与对应区域位置的特征信息进行卷积处理，不需要进行遍历，提高了图像分辨率调整效率，且通过分批次进行训练可以提高网络的收敛速度和稳定性。
在一个实施例中，该根据该差异值调整待训练的分辨率重建网络的参数值，包括：
根据该差异值调整待训练的分辨率重建网络的除该分辨率调整网络块外的其余网络块的参数值，该分辨率调整网络块的参数值为预先训练得到的目标参数值。
预先按照上述分辨率调整网络块进行训练得到对应的分辨率调整网络块的目标参数值，然后在训练整个分辨率重建网络时，分辨率调整网络块的目标参数值不变，训练其他网络块的参数值。即分辨率调整网络块在外部单独训练，待其收敛后，将其引入到分辨率重建网络结构中，在训练分辨率重建网络时，分辨率调整网络块的卷积网络子块不再进行梯度更新操作，作为一种功能模块使用。若分辨率重建网络为超分辨率重建网络，则分辨率调整网络为分辨率提升网络块。通过将分辨率调整网络块单独训练，可以提高分辨率调整网络块的独立性，避免受到其他网络干扰。
图7为一个实施例中超分辨率网络重建流程示意图。如图7所示，以第一分辨率为低分辨率，第二分辨率为高分辨率为例，输入的待处理图像为低分辨率图LR，通过低分辨率特征提取模块对低分辨率图进行特征提取，得到低分辨率特征信息；由分辨率提升卷积核模块根据低分辨率图的尺寸和缩放倍率进行预测处理得到预测的一组卷积核；通过预测的卷积核对低分辨率特征信息进行分辨率提升处理得到高分辨率特征信息，实现分辨率提升；将高分辨率特征信息输入到高分辨率特征学习预测模块进行处理，输出超分辨率图。
在一个实施例中，该待处理图像为至少两帧图像；对该待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸，包括：
将该至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
当输入图像为至少两帧图像时，第一特征学习网络块对至少两帧图像进行特征提取，并进行多帧融合处理，得到单帧的第一分辨率特征图。多帧融合可采用对至少两帧图像中对应的像素点的像素值取加权平均值、最大值或最小值等，得到单帧图像中对应的像素点的像素值。
该图像处理方法可应用于图像分辨率调整，也可以用来处理视频分辨率重建任务，在应用于视频分辨率重建任务时，可以应用在单帧输入单帧输出的视频分辨率调整网络，也可以应用在多帧输入、单帧输出的视频分辨率调整网络。该视频分辨率调整网络可为视频SR网络。
在一个实施例中，上述图像处理方法还包括：根据该第一分辨率特征图的尺寸和该缩放倍率值对该第一分辨率特征图进行插值处理，得到插值结果；根据插值结果对预测的卷积核进行筛选；采用筛选后的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
具体地，待处理图像经过第一分辨率特征图学习网络块进行特征提取后，得到一个尺寸为C×W×H的第一分辨率特征图(维度×宽×高)，再根据缩放倍率r计算输出第二分辨率图像的尺寸为round(rW)×round(rH)，其中，round表示四舍五入操作，然后根据第二分辨率图像的尺寸计算出需要插入元素的行号和列号，再根据需要插入元素的行号和列号对第一分辨率特征图进行插值处理，得到插值结果，并记录插值结果中插入的元素的位置信息，如插入的元素的坐标。插值结果中插入的行或列中的元素的值为0，或者插入的行中元素的值为需要插入元素的行号中元素的值；插入的列中元素的值为需要插入元素的列号中元素的值。从预测的卷积核中筛选出与插入元素的位置信息对应的候选卷积核，采用预测的卷积核中除候选卷积核外的其他卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
在一个实施例中，将该第一分辨率特征图的尺寸和所述缩放倍率值对该第一分辨率特征图进行插值处理，得到插值结果，得到插值结果，包括：根据该第一分辨率特征图的尺寸和该缩放倍率值确定第二分辨率图像的尺寸；根据该第二分辨率图像的尺寸和该缩放倍率值确定需要插入元素的行号和列号；按照需要插入元素的行号和列号对该第一分辨率特征图做插值处理，得到插值结果。
其中，根据第二分辨率图像的尺寸和缩放倍率值确定需要插入元素的行号和列号包括：依次让i取值为1至第二分辨率图像的宽度值round(rW)，除以缩放倍率值，并进行四舍五入取整操作，得到A(i)的值，其中A(i)表示数组A中第i个元素，i为正整数；依次让j取值为1至第二分辨率图像的高度值round(rH)，除以缩放倍率值，并进行四舍五入取整操作，得到B(j)，其中B(j)表示数组B中第j个元素，j为正整数；依次让i取值为2至第二分辨率图像的宽度值round(rW)，当A(i)等于A(i-1)时，PaA(i)＝A(i)，当A(i)等于A(i-1)时，PaA(i)＝0；依次让j取值为2至第二分辨率图像的高度值round(rH)，当B(j)等于B(j-1)时，PaB(j)＝B(j)，当B(j)等于B(j-1)时，PaB(j)＝0。其中，PaA(i)表示向量PaA中第i个元素，PaB(j)表示向量PaB中第j个元素，向量PaA和PaB的第一个元素均为0。向量PaA中非零元素的值对应需要插入元素的列号，向量PaB中非零元素的值对应需要插入元素的行号，如PaA(i)＝5，则需要在第一分辨率特征图中的第五列第一侧(如前面)或第二侧(如后面)，插入一个值全为零的一列，相类似的，如果PaB(i)＝3，则是在第一分辨率特征图的第三行第一侧(如前面)或第二侧(如后面)，插入一个值全为零的一行。
Figure BDA0002425206750000091
得到了A和B后，再进行如下操作：
Figure BDA0002425206750000092
图8为一个实施例中计算插值行号或列号的示意图。如图8所示，输入的待处理图像提取得到的第一分辨率特征图的尺寸为W＝H＝6,缩放倍率值r＝1.5，计算得到的round(rW)为9，则i取值为1到9的自然数，数组A的元素值分别为1、1、2、3、3、4、5、5、6，向量PaA中各元素值为0、1、0、0、3、0、0、5、0。向量PaB中各元素值为0、1、0、0、3、0、0、5、0。即在第一行、第三行、第五行后面分别插入一行，在第一列、第三列、第五列后面分别插入一列。
在一个实施例中，该按照需要插入元素的行号和列号对该第一分辨率特征图做插值处理，包括：对该第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；对该第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。在插入元素时插入方式保持一致，如均在需要插入元素的行号的第一侧插入一行，或者均在需要插入元素的行号的第二侧插入一行。比如需要在插入元素的行号为3和5，则插入一行时，在第3行的第一侧(如前面)插入一行，则第5行也在第一侧(如前面)插入一行；同样，如均在需要插入元素的列号的第一侧插入一列，或者均在需要插入元素的列号的第二侧插入一列。
图9为另一个实施例中图像处理方法的流程图。如图9所示，该图像处理方法包括：
步骤902，获取待处理图像以及该待处理图像的缩放倍率值。
待处理图像可为摄像头拍摄的图像，或在摄像头在预览状态下的图像，或者录制的视频帧图像，或者在视频会议、视频通话等场景中的视频图像，或者在网络上存储的图像或视频中的视频帧图像等。缩放倍率值是指对待处理图像进行缩放的倍数，可以根据需要任意设置。缩放倍率值可为放大倍率值或缩小倍率值。当缩放倍率值为放大倍率值，则第二分辨率大于第一分辨率，实现了超分辨率处理；当缩放倍率值为缩小倍率值，则第二分辨率小于第一分辨率。若缩放倍率值小于1，则为缩小倍率值，若缩放倍率值大于1，则为放大倍率值。当缩放倍率值为放大倍率值时，待处理图像为LR(Low Resolution，低分辨率)图像；当缩放倍率值为缩小倍率值时，待处理图像为高分辨率图像。
步骤904，对该待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
具体地，通过分辨率重建网络中的第一特征学习网络块对待处理图像进行特征提取，得到第一分辨率特征图，以及该第一分辨率特征图的尺寸。例如，将待处理图像输入第一特征学习网络块进行特征提取，得到一个大小为C×W×H(维度*宽度*高度)的第一分辨率特征图，其中，C为第一分辨率特征图的维度，W为第一分辨率特征图的宽度，W为第一分辨率特征图的高度。第一分辨率特征图用于表示待处理图像中每个像素点的特征信息。特征信息可包括像素点的像素值或亮度值等，还包括像素点坐标等，不限于此。
步骤906，根据该第一分辨率特征图的尺寸和该缩放倍率值对该第一分辨率特征图进行插值处理，得到插值结果，并将该插值结果进行卷积计算，得到第二分辨率特征图。
通过分辨率重建网络中的分辨率调整网络块根据第一分辨率特征图的尺寸和缩放倍率值可以确定需要插入的行号和列号，然后按照需要插入的行号和列号对第一分辨率特征图进行插值处理，得到插值结果，对插值结果进行卷积计算，得到第二分辨率特征图，实现图像分辨率调整。该卷积计算的卷积核尺寸可为将该缩放倍率值向上取最接近的奇数后加上预设值得到的，例如k＝ceil_o(r)+a，其中，k为卷积核的尺寸，ceil_o表示向上取最接近的奇数(如ceil_o(1.6)＝3)，a为预设值，如可为1、2、3、4、5等。该卷积计算所使用的卷积网络可为一般的卷积网络。
步骤908，对该第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
具体地，通过分辨率重建网络中的第二特征学习网络块对分辨率调整后的第二分辨率特征图进行特征提取和学习，得到第二分辨率图像。当第二分辨率大于第一分辨率时，重建得到的第二分辨率图像属于超分辨率图像。
上述图像处理方法，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值对第一分辨率特征图进行插值处理得到插值结果，然后对插值结果进行卷积处理得到第二分辨率特征图，再对第二分辨率特征图进行特征提取处理，可以得到第二分辨率图像，即得到分辨率调整后的图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，通过对提取得到的分辨率特征图进行缩放倍率调整，然后再将调整得到的分辨率特征图继续进行特征提取，得到最终的第二分辨率图，能够实现任意缩放倍率的分辨率重建任务，且避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。此外，可以降低网络输入端的复杂度。
在一个实施例中，该将该第一分辨率特征图的尺寸和该缩放倍率值对该第一分辨率特征图进行插值处理，得到插值结果，包括：根据该第一分辨率特征图的尺寸和该缩放倍率值确定第二分辨率图像的尺寸；根据该第二分辨率图像的尺寸和该缩放倍率值确定需要插入元素的行号和列号；按照需要插入元素的行号和列号对该第一分辨率特征图做插值处理，得到插值结果。
待处理图像经过第一分辨率特征图学习网络块进行特征提取后，得到一个尺寸为C×W×H的第一分辨率特征图(维度×宽×高)，再根据缩放倍率r计算输出第二分辨率图像的尺寸为round(rW)×round(rH)，其中，round表示四舍五入操作。
其中，根据第二分辨率图像的尺寸和缩放倍率值确定需要插入元素的行号和列号包括：依次让i取值为1至第二分辨率图像的宽度值round(rW)，除以缩放倍率值，并进行四舍五入取整操作，得到A(i)的值，其中A(i)表示数组A中第i个元素，i为正整数；依次让j取值为1至第二分辨率图像的高度值round(rH)，除以缩放倍率值，并进行四舍五入取整操作，得到B(j)，其中B(j)表示数组B中第j个元素，j为正整数；依次让i取值为2至第二分辨率图像的宽度值round(rW)，当A(i)等于A(i-1)时，PaA(i)＝A(i)，当A(i)等于A(i-1)时，PaA(i)＝0；依次让j取值为2至第二分辨率图像的高度值round(rH)，当B(j)等于B(j-1)时，PaB(j)＝B(j)，当B(j)等于B(j-1)时，PaB(j)＝0。其中，PaA(i)表示向量PaA中第i个元素，PaB(j)表示向量PaB中第j个元素，向量PaA和PaB的第一个元素均为0。向量PaA中非零元素的值对应需要插入元素的列号，向量PaB中非零元素的值对应需要插入元素的行号，如PaA(i)＝5，则需要在第一分辨率特征图中的第五列第一侧(如前面)或第二侧(如后面)，插入一列，相类似的，如果PaB(i)＝3，则是在第一分辨率特征图的第三行第一侧(如前面)或第二侧(如后面)，插入一行。
在一个实施例中，该按照需要插入元素的行号和列号对该第一分辨率特征图做插值处理，包括：对该第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；对该第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。
可选地，插入的行中元素的值为需要插入元素的行号中元素的值；该插入的列中元素的值为需要插入元素的列号中元素的值。类似于最近邻域插值方式，实现低分辨率特征的放大。
可选地，插入的行或列中的元素的值为0。
在一个实施例中，该将插值结果进行卷积计算过程中边界采用边界填充参数自动填充；其中，该边界填充参数是根据卷积计算过程中卷积核的尺寸确定的；该卷积核的尺寸是根据该缩放倍率值确定的。
在卷积时的边界填充padding参数为floor(k/2)，floor为向下取整操作。
在一个实施例中，该边界填充参数是将卷积核的尺寸除以2后向下取整操作得到的；该卷积核的尺寸是将该缩放倍率值向上取最接近的奇数后加上预设值得到的。
在一个实施例中，分辨率重建网络包括依次相连的第一特征学习网络块、分辨率调整网络块和第二特征学习网络块；第一特征学习网络块用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；分辨率调整网络块用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；第二特征学习网络块用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
该分辨率重建网络的训练方式包括：获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率重建网络，得到每个图像样本和缩放倍率值所对应的实际分辨率图像；将所述图像样本对应的实际分辨率图像与标注分辨率图像进行比较，得到差异值；根据所述差异值调整待训练的分辨率重建网络的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率重建网络的目标参数值。
每个图像样本对应有标注分辨率图像。将实际分辨率图像和标注分辨率图像进行比较，可以得到差异值，然后根据差异值调整分辨率重建网络的参数。
通过将训练集中图像样本分成多个批次，每个批次中图像样本对应的缩放倍率值相同，训练得到的分辨率重建网络在对图像进行分辨率调整时，能够让预测得到的卷积核仅仅与对应区域位置的特征信息进行卷积处理，不需要进行遍历，提高了图像分辨率调整效率，且通过分批次进行训练可以提高网络的收敛速度和稳定性。
在一个实施例中，该待处理图像为至少两帧图像；对该待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸，包括：
对该至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
当输入图像为至少两帧图像时，第一特征学习网络块对至少两帧图像进行特征提取，并进行多帧融合处理，得到单帧的第一分辨率特征图。多帧融合可采用对至少两帧图像中对应的像素点的像素值取加权平均值、最大值或最小值等，得到单帧图像中对应的像素点的像素值。
本申请中的图像处理方法，可以固化成一个类似于反卷积层的卷积结构，封装在深度学习框架(pytorch、tensorflow)中，以提升网络训练和测试的效率。
可以理解的是，本申请实施例所提供的分辨率调整网络块，能够与任何已有的优异网络相结合，实现任意缩放倍率值的SR任务，通过一个网络实现任意缩放倍率SR任务，提高了SR重建算法在应用端的实用性。将分辨率调整网络块放在网络结构中的中间区域，既可以解决在网络输入端复杂度太高的问题，降低了网络的带宽和复杂度，又解决了在网络输出端引入人工伪影(artifacts)的问题，消除了人工伪影，提高了图像超分辨率结果的质量。
本申请中的图像处理方法在智能手机中的主要应用场景有:1)拍照、预览和录像模式下的多倍率变焦功能；2)即时通信应用类视频通话、视频会议等场景中的视频质量增强；3)手机、平板等设备投屏功能；4)在相册端对网上下载的图片/视频、即时通信应用接收到的图片/视频进行质量和分辨率的提升。
针对应用场景1)，多摄手机中，镜头主要有主摄、长焦、广角、以及黑白摄像四个，长焦的焦距一般是主摄的3～5倍，而手机支持的最大zoom(变焦)倍率已经达到了20倍，甚至是60倍。这种超高倍率的zoom功能是通过数码变焦实现的,目前使用的数码变焦大多是简单的插值放大算法。SR技术方案，可以通过一些更优的算法技术，使得zoom后的图像的噪声更小、清晰度更高。从另一角度考虑，SR技术方案，能够允许智能手机做更高倍率的zoom。
针对应用场景2)，当使用移动终端进行视频通话或视频会议时，网络问题、对方的周围环境较差(如光线较暗)、对方摄像设备较差等问题都会导致用户所看的视频画面质量受损，视频中会出现明显的噪声、块效应以及模糊等现象。使用视频SR技术方案，可以在不增加额外的网络带宽前提下，将对方传输过来的低质量视频处理成清晰的视频画面，从而提升用户的使用体验。SR技术方案在这一场景中的优势是，不会过多的依赖视频通话对象的周围环境、网络以及设备，可靠性和鲁棒性较高。
针对应用场景3)，一方面手机屏幕的小尺寸影响了用户在手机上看视频的体验；另一方面，随着智能互连技术的发展，投屏技术等机器与机器间的交互将会变得越来越简单，越来越频繁。SR技术方案，可以解决手机上的低分辨率视频，在高清的显示器上观看质量较差的问题，能够轻松实现各设备间视频的有效互连。
针对应用场景4)，在QQ、微信等社交工具中接收到的，往往是经历了二次压缩的图像或视频，导致收到的图像/视频质量较差。此外，网络上一些年代比较久远的图像/视频质量通常也不佳(老电影、老视频、老照片)。SR技术方案可以解决诸如此类的图像/视频质量不佳的问题，以提升用户的体验。
应该理解的是，虽然图3、图4、图6、图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图4、图6、图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置，包括第一获取模块1010、第一提取模块1020、第一分辨率调整模块1030和第一处理模块1040。其中：
第一获取模块1010用于获取待处理图像以及所述待处理图像的缩放倍率值。
第一提取模块1020用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
第一分辨率调整模块1030用于根据该第一分辨率特征图的尺寸和该缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用该预测的卷积核对该第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
第一处理模块1040用于将所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
上述图像处理装置，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值可以得到预测的卷积核，采用预测的卷积核对第一分辨率特征图进行卷积处理得到分辨率调整后的第二分辨率特征图，再对第二分辨率特征图进行特征学习处理，可以得到第二分辨率图像，即得到分辨率调整后的图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，通过对提取得到的分辨率特征图进行缩放倍率调整，然后再将调整得到的分辨率特征图继续进行特征提取，得到最终的第二分辨率图，能够实现任意缩放倍率的分辨率重建任务，且避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。
在一个实施例中，如图11所示，第一分辨率调整模块1030包括尺寸转化单元1032、卷积核预测单元1034和卷积处理单元1036。其中：
尺寸转化单元1032用于根据所述第一分辨率特征图的尺寸和缩放倍率值，确定第二分辨率图像的尺寸；以及根据所述第二分辨率图像的尺寸和缩放倍率值生成三维尺寸结果，所述三维尺寸结果的第一层中每个元素的值为所述第二分辨率图像中每个像素点所在行的行号，第二层中每个元素的值为所述第二分辨率图像中每个像素点所在列的列号，第三层中每个元素的值为所述缩放倍率值；
卷积核预测单元1034用于对所述三维尺寸结果进行卷积核预测处理，得到所述预测的卷积核。
卷积处理单元1036用于采用预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
在一个实施例中，卷积核预测单元1034还用于对所述三维尺寸结果进行卷积核预测处理，得到三维张量数据；所述三维张量数据包括卷积核以及卷积核对应的第一分辨率特征图中的行和列；从所述三维张量数据中确定所述预测的卷积核。
在一个实施例中，所述预测的卷积核为一组卷积核；卷积处理单元1036还用于采用一组卷积核中每个卷积核对所述第一分辨率特征图中对应的区域进行卷积处理，得到第二分辨率特征图。
在一个实施例中，卷积核预测单元1034还用于对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核所需要处理的第一分辨率特征图中对应区域的区域信息，所述区域信息包括区域的中心坐标位置和起始坐标位置。
在一个实施例中，卷积核预测单元1034还用于对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核的输出位置；卷积单元1036还用于根据每个卷积核的输出位置和所述缩放倍率值计算对应的位于第一分辨率特征图中的区域。
在一个实施例中，第一分辨率调整模块1030还用于采用分辨率调整网络块根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
在一个实施例中，上述图像处理装置还包括第一训练模块。第一训练模块用于训练分辨率调整网络块。
第一训练模块用于获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率调整网络块，得到每个图像样本和缩放倍率值所对应的预测卷积核；将所述图像样本的预测卷积核和标注卷积核进行比较，得到差异值；根据所述差异值调整待训练的分辨率调整网络块的参数值，继续直到满足预设条件时，停止训练，得到分辨率调整网络块的目标参数值。
在一个实施例中，上述图像处理装置还包括第二训练模块。第二训练模块用于训练分辨率重建网络。分辨率重建网络包括依次相连的第一特征学习网络块、分辨率调整网络块和第二特征学习网络块；所述第一特征学习网络块用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；所述分辨率调整网络块用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；所述第二特征学习网络块用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
第二训练模块用于获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率重建网络，得到每个图像样本和缩放倍率值所对应的实际分辨率图像；将所述实际分辨率图像与标注的分辨率图像进行比较，得到差异值；根据所述差异值调整待训练的分辨率重建网络的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率重建网络的目标参数值。
可选地，第二训练模块还用于根据所述差异值调整待训练的分辨率重建网络的除所述分辨率调整网络块外的其余网络块的参数值，所述分辨率调整网络块的参数值为预先训练得到的目标参数值。
可选地，所述待处理图像为视频帧图像。
在一个实施例中，待处理图像为至少两帧图像；提取模块1020还用于对所述至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
图12为另一个实施例中图像处理装置的结构框图。如图12所示，该图像处理装置还包括插值模块1050、筛选模块1060。
插值模块1050用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果。
筛选模块1060用于根据所述插值结果对预测的卷积核进行筛选。
分辨率调整模块1040还用于采用筛选后的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
在一个实施例中，插值模块1050还用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值确定第二分辨率图像的尺寸；根据所述第二分辨率图像的尺寸和所述缩放倍率值确定需要插入元素的行号和列号；按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，得到插值结果。
在一个实施例中，插值模块1050还用于对所述第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；对所述第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。
可选地，插入的行或列中的元素的值为0。
在另一个实施例中，如图13所示，一种图像处理装置，包括第二获取模块1310、第二提取模块1320、第二分辨率调整模块1330和第二处理模块1340：
第二获取模块1310，用于获取待处理图像以及所述待处理图像的缩放倍率值；
第二提取模块1320，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
第二分辨率调整模块1330，用于将该第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
第二处理模块1340，用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
在一个实施例中，第二分辨率调整模块1330还用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值确定第二分辨率图像的尺寸；根据所述第二分辨率图像的尺寸和所述缩放倍率值确定需要插入元素的行号和列号；按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，得到插值结果。
在一个实施例中，第二分辨率调整模块1330还用于对所述第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；对所述第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。
在一个实施例中，插入的行中元素的值为需要插入元素的行号中元素的值；所述插入的列中元素的值为需要插入元素的列号中元素的值。
在一个实施例中，插入的行或列中的元素值为0。
在一个实施例中，所述将插值结果进行卷积计算过程中边界采用边界填充参数自动填充；其中，所述边界填充参数是根据卷积计算过程中卷积核的尺寸确定的；所述卷积核的尺寸是根据所述缩放倍率值确定的。
在一个实施例中，所述边界填充参数是将卷积核的尺寸除以2后向下取整操作得到的；所述卷积核的尺寸是将所述缩放倍率值向上取最接近的奇数后加上预设值得到的。
在一个实施例中，所述待处理图像为视频帧图像。
在一个实施例中，所述待处理图像为至少两帧图像；对所述至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图14为一个实施例中电子设备的内部结构示意图。如图14所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (30)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述第一分辨率特征图的尺寸和缩放倍率值进行卷积核预测处理，得到预测的卷积核，包括：
根据所述第一分辨率特征图的尺寸和缩放倍率值，确定第二分辨率图像的尺寸；
根据所述第二分辨率图像的尺寸和缩放倍率值生成三维尺寸结果，所述三维尺寸结果的第一层中每个元素的值为所述第二分辨率图像中每个像素点所在行的行号，第二层中每个元素的值为所述第二分辨率图像中每个像素点所在列的列号，第三层中每个元素的值为所述缩放倍率值；
对所述三维尺寸结果进行卷积核预测处理，得到所述预测的卷积核。
3.根据权利要求2所述的方法，其特征在于，所述对所述三维尺寸结果进行卷积核预测处理，得到所述预测的卷积核，包括：
对所述三维尺寸结果进行卷积核预测处理，得到三维张量数据；所述三维张量数据包括卷积核以及卷积核对应的第一分辨率特征图中的行和列；
从所述三维张量数据中确定所述预测的卷积核。
4.根据权利要求1所述的方法，其特征在于，所述预测的卷积核为一组卷积核；所述采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图，包括：
采用一组卷积核中每个卷积核对所述第一分辨率特征图中对应的区域进行卷积处理，得到第二分辨率特征图。
5.根据权利要求4所述的方法，其特征在于，每个卷积核在所述第一分辨率特征图中的对应区域的确定方式，包括：
对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核所需要处理的第一分辨率特征图中对应区域的区域信息，所述区域信息包括区域的中心坐标位置和起始坐标位置。
6.根据权利要求4所述的方法，其特征在于，每个卷积核在所述第一分辨率特征图中的对应区域的确定方式，包括：
对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核的输出位置；
根据每个卷积核的输出位置和所述缩放倍率值计算对应的位于第一分辨率特征图中的区域。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用分辨率调整网络块根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
其中，所述分辨率调整网络块的训练方式，包括：
获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；
依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率调整网络块，得到每个图像样本和缩放倍率值所对应的预测卷积核；
将所述图像样本的预测卷积核和标注卷积核进行比较，得到差异值；
根据所述差异值调整待训练的分辨率调整网络块的参数值，继续直到满足预设条件时，停止训练，得到分辨率调整网络块的目标参数值。
8.根据权利要求1所述的方法，其特征在于，分辨率重建网络包括依次相连的第一特征学习网络块、分辨率调整网络块和第二特征学习网络块；所述第一特征学习网络块用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；所述分辨率调整网络块用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；所述第二特征学习网络块用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
9.根据权利要求8所述的方法，其特征在于，所述分辨率重建网络的训练方式包括：
获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；
依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率重建网络，得到每个图像样本和缩放倍率值所对应的实际分辨率图像；
将所述实际分辨率图像与标注的分辨率图像进行比较，得到差异值；
根据所述差异值调整待训练的分辨率重建网络的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率重建网络的目标参数值。
10.根据权利要求9所述的方法，其特征在于，所述根据所述差异值调整待训练的分辨率重建网络的参数值，包括：
根据所述差异值调整待训练的分辨率重建网络的除所述分辨率调整网络块外的其余网络块的参数值，所述分辨率调整网络块的参数值为预先训练得到的目标参数值。
11.根据权利要求1所述的方法，其特征在于，所述待处理图像为拍摄的图像、预览状态下的图像或视频帧图像。
12.根据权利要求1所述的方法，其特征在于，所述待处理图像为至少两帧图像；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸，包括：
对所述至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果；
根据所述插值结果对预测的卷积核进行筛选；
采用筛选后的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图。
14.根据权利要求13所述的方法，其特征在于，所述将所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，包括：
根据所述第一分辨率特征图的尺寸和所述缩放倍率值确定第二分辨率图像的尺寸；
根据所述第二分辨率图像的尺寸和所述缩放倍率值确定需要插入元素的行号和列号；
按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，得到插值结果。
15.根据权利要求14所述的方法，其特征在于，所述按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，得到插值结果，包括：
对所述第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；
对所述第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。
16.根据权利要求15所述的方法，其特征在于，插入的行或列中的元素的值为0。
17.根据权利要求15所述的方法，其特征在于，插入的行中元素的值为需要插入元素的行号中元素的值；所述插入的列中元素的值为需要插入元素的列号中元素的值。
18.一种图像处理方法，其特征在于，包括：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
19.根据权利要求18所述的方法，其特征在于，所述将所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，包括：
根据所述第一分辨率特征图的尺寸和所述缩放倍率值确定第二分辨率图像的尺寸；
根据所述第二分辨率图像的尺寸和所述缩放倍率值确定需要插入元素的行号和列号；
按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，得到插值结果。
20.根据权利要求19所述的方法，其特征在于，所述按照需要插入元素的行号和列号对所述第一分辨率特征图做插值处理，包括：
对所述第一分辨率特征图中需要插入元素的行号的第一侧或第二侧插入一行；
对所述第一分辨率特征图中需要插入元素的列号的第一侧或第二侧插入一列。
21.根据权利要求20所述的方法，其特征在于，插入的行中元素的值为需要插入元素的行号中元素的值；所述插入的列中元素的值为需要插入元素的列号中元素的值。
22.根据权利要求20所述的方法，其特征在于，插入的行或列中的元素值为0。
23.根据权利要求18所述的方法，其特征在于，所述将插值结果进行卷积计算过程中边界采用边界填充参数自动填充；其中，所述边界填充参数是根据卷积计算过程中卷积核的尺寸确定的；所述卷积核的尺寸是根据所述缩放倍率值确定的。
24.根据权利要求23所述的方法，其特征在于，所述边界填充参数是将卷积核的尺寸除以2后向下取整操作得到的；所述卷积核的尺寸是将所述缩放倍率值向上取最接近的奇数后加上预设值得到的。
25.根据权利要求18所述的方法，其特征在于，所述待处理图像为拍摄的图像、预览状态下的图像或视频帧图像。
26.根据权利要求18所述的方法，其特征在于，所述待处理图像为至少两帧图像；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸，包括：
对所述至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。
27.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；
第一提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
第一分辨率调整模块，用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
第一处理模块，用于将所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
28.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；
第二提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
第二分辨率调整模块，用于将所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；
第二处理模块，用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。
29.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至17，或者权利要求18至26中任一项所述的方法的步骤。
30.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至17，或者权利要求18至26中任一项所述的方法的步骤。
CN202010218401.XA 2020-03-25 2020-03-25 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN111402139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010218401.XA CN111402139B (zh) 2020-03-25 2020-03-25 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010218401.XA CN111402139B (zh) 2020-03-25 2020-03-25 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111402139A true CN111402139A (zh) 2020-07-10
CN111402139B CN111402139B (zh) 2023-12-05

Family

ID=71431294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010218401.XA Active CN111402139B (zh) 2020-03-25 2020-03-25 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111402139B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112116528A (zh) * 2020-09-25 2020-12-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112565887A (zh) * 2020-11-27 2021-03-26 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN114565802A (zh) * 2021-12-15 2022-05-31 北京信息科技大学 一种风力发电机提取方法
WO2022252640A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 图像分类预处理、图像分类方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180047156A1 (en) * 2016-08-15 2018-02-15 The Research Foundation For The State University Of New York Focal spot de-blurring
CN109360154A (zh) * 2018-10-29 2019-02-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及图像的超分辨率方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN110084309A (zh) * 2019-04-30 2019-08-02 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
CN110136061A (zh) * 2019-05-10 2019-08-16 电子科技大学中山学院 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN110309906A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 图像处理方法、装置、机器可读存储介质及处理器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180047156A1 (en) * 2016-08-15 2018-02-15 The Research Foundation For The State University Of New York Focal spot de-blurring
CN109360154A (zh) * 2018-10-29 2019-02-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及图像的超分辨率方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN110084309A (zh) * 2019-04-30 2019-08-02 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
CN110136061A (zh) * 2019-05-10 2019-08-16 电子科技大学中山学院 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN110309906A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 图像处理方法、装置、机器可读存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙法宁;朱晓姝;胡春娇;: "基于深层卷积网络的单幅图像超分辨率重建模型", no. 03 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112116528A (zh) * 2020-09-25 2020-12-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112565887A (zh) * 2020-11-27 2021-03-26 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
WO2022252640A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 图像分类预处理、图像分类方法、装置、设备及存储介质
CN114565802A (zh) * 2021-12-15 2022-05-31 北京信息科技大学 一种风力发电机提取方法

Also Published As

Publication number Publication date
CN111402139B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Cai et al. Toward real-world single image super-resolution: A new benchmark and a new model
Zhang et al. Designing a practical degradation model for deep blind image super-resolution
US10855966B2 (en) View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
Isobe et al. Revisiting temporal modeling for video super-resolution
Yi et al. Multi-temporal ultra dense memory network for video super-resolution
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
Yang et al. Real-world video super-resolution: A benchmark dataset and a decomposition based learning scheme
CN111563552B (zh) 图像融合方法以及相关设备、装置
Dai et al. Sparse representation-based multiple frame video super-resolution
US20070237425A1 (en) Image resolution increasing method and apparatus for the same
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
EP2202683A1 (en) Image generation method, device, its program and recording medium with program recorded therein
CN111447359B (zh) 数字变焦方法、系统、电子设备、介质及数字成像设备
CN108665415B (zh) 基于深度学习的图像质量提升方法及其装置
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
Jin et al. Light field super-resolution via attention-guided fusion of hybrid lenses
CN111586321B (zh) 视频生成方法、装置、电子设备和计算机可读存储介质
CN115115516A (zh) 基于Raw域的真实世界视频超分辨率算法
CN112801876A (zh) 信息处理方法、装置及电子设备和存储介质
CN111860363A (zh) 一种视频图像的处理方法及装置、电子设备、存储介质
CN111932594A (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant