CN115311145A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN115311145A
CN115311145A CN202210971621.9A CN202210971621A CN115311145A CN 115311145 A CN115311145 A CN 115311145A CN 202210971621 A CN202210971621 A CN 202210971621A CN 115311145 A CN115311145 A CN 115311145A
Authority
CN
China
Prior art keywords
image
processing
characteristic parameters
output
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210971621.9A
Other languages
English (en)
Inventor
钱刘熠辉
唐宏
武娟
刘晓军
徐晓青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210971621.9A priority Critical patent/CN115311145A/zh
Publication of CN115311145A publication Critical patent/CN115311145A/zh
Priority to PCT/CN2023/107968 priority patent/WO2024032331A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Abstract

本申请的实施例揭示了一种图像处理方法及装置、电子设备、存储介质，该方法包括：获取待处理图像和包含多个处理单元的图像处理模型，将待处理图像输入至图像处理模型，依次通过多个处理单元对待处理图像进行处理，得到每个处理单元输出的特征参数；在通过第m+1个处理单元进行处理的过程中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；基于最后一个处理单元输出的特征参数，生成分辨率高于待处理图像分辨率的目标图像。本申请实施例的技术方案能够提升图像超分辨率构建的准确性。

Description

图像处理方法及装置、电子设备、存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种图像处理方法及装置、电子设备、存储介质、程序产品。
背景技术
随着图像处理技术的快速发展，对图像的分辨率要求越来越高。图像超分辨率是计算机视觉中的一种重要的图像处理技术，其目标是基于低分辨率图像重建出高分辨率图像。但是常见的图像超分辨率方法在重建过程中容易丢失细节，所得的高分辨率图像的效果欠佳，影响图像超分辨率构建的准确性。
发明内容
为解决上述技术问题，本申请的实施例提供了一种图像处理方法及装置、电子设备、存储介质、程序产品。
根据本申请实施例的一个方面，提供了一种图像处理方法，所述方法包括：
获取待处理图像以及图像处理模型；所述图像处理模型包含多个处理单元；
将所述待处理图像输入至所述图像处理模型，并依次通过所述多个处理单元对所述待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过所述多个处理单元中的第m+1个处理单元对所述待处理图像进行处理的过程中，通过所述第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到所述第m+1个处理单元输出的特征参数，所述m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；
基于所述多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像。
根据本申请实施例的一个方面，提供了一种图像处理装置，所述装置包括：
获取模块，配置为获取待处理图像以及图像处理模型；所述图像处理模型包含多个处理单元；
处理模块，配置为将所述待处理图像输入至所述图像处理模型，并依次通过所述多个处理单元对所述待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过所述多个处理单元中的第m+1个处理单元对所述待处理图像进行处理的过程中，通过所述第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到所述第m+1个处理单元输出的特征参数，所述m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；
生成模块，配置为基于所述多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像。
根据本申请实施例的一个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的图像处理方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被电子设备的处理器执行时，使电子设备执行如前所述的图像处理方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机指令被处理器执行时实现如前所述的图像处理方法。
在本申请的实施例所提供的技术方案中，获取待处理图像以及图像处理模型；图像处理模型包含多个处理单元；将待处理图像输入至图像处理模型，并依次通过多个处理单元对待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过多个处理单元中的第m+1个处理单元对待处理图像进行处理的过程中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；基于多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像，也就是说，在图像处理模型处理待处理图像的过程中，特征参数的数量随着数据传输方向依次增加，也就是说，图像处理模型可以实现由粗略到精细的递进式高分辨率图像的生成，从而提升高分辨率图像的结构完整性和纹理精致度，提升图像超分辨率构建的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的图像处理方法的流程图；
图2是本申请的一示例性实施例示出的图像处理模型的结构示意图；
图3是本申请的一示例性实施例示出的图像处理模型的另一种结构示意图；
图4是本申请的一示例性实施例示出的处理子单元的处理流程图；
图5是本申请的另一示例性实施例示出的图像处理模型的结构示意图；
图6是本申请的一示例性实施例示出的预处理单元的处理流程图；
图7是本申请的另一示例性实施例示出的图像处理模型的结构示意图；
图8是本申请的另一示例性实施例示出的图像处理模型的结构示意图；
图9是本申请的另一示例性实施例示出的图像处理模型的优化流程图；
图10是图9所示实施例中的步骤S910在一示例性实施例中的流程图；
图11是本申请的一示例性实施例示出的获取标准图像的示意图；
图12是图9所示实施例中的步骤S930在一示例性实施例中的流程图；
图13是本申请的一示例性实施例示出的图像处理方法的流程图；
图14是本申请的另一示例性实施例示出的图像处理模型的结构示意图；
图15是本申请的另一示例性实施例示出的图像处理模型的处理框图；
图16是本申请的一示例性实施例示出的图像处理装置的结构示意图；
图17示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
相关技术中，图像超分辨率方法在重建过程中容易丢失细节，所得的高分辨率图像的效果欠佳，影响图像超分辨率构建的准确性。基于此，本申请的实施例提出了一种图像处理方法及装置、电子设备、存储介质、程序产品，从而可以提升图像超分辨率构建的准确性。
参见图1，图1是本申请的一示例性实施例示出的一种图像处理方法的流程图。如图1所示，在一示例性实施例中，该图像处理方法可以包括步骤S110至步骤S130，详细介绍如下：
步骤S110，获取待处理图像以及图像处理模型；图像处理模型包含多个处理单元。
需要说明的是，图像处理模型为一种机器学习模型，用于提升图像的分辨率，其具体类型可以根据实际需要灵活设置，例如，包括但不限于卷积神经网络、循环神经网络等，其中，卷积神经网路包括但不限于残差网络。
图像处理模型包含多个处理单元，用于对输入的数据进行处理，多个处理单元依次连接，也就是说，参见图2所示，图像处理模型200包括多个处理单元210，前一个处理单元的输出端与后一个处理单元的输入端连接。
待处理图像为需要提升分辨率的图像，其可以是视频中的视频帧，也可以是单独的图像。待处理图像的格式包括但不限于bmp(位图图像)，jpeg(JointPhotographicExpertsGroup，联合图像专家组)，png(Portable Network Graphics，便携式网络图形)，tiff(Tag Image File Format，标签图像文件格式)等。
在需要提升图像的分辨率时，可以获取待处理图像以及图像处理模型。
步骤S120，将待处理图像输入至图像处理模型，并依次通过多个处理单元对待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过多个处理单元中的第m+1个处理单元对待处理图像进行处理的过程中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量。
特征参数为表征待处理图像的特征的参数，其形式包括但不限于特征图、特征向量等。
m为整数，其取值范围可以是[1，M]，也就是说，m为大于等于1、且小于等于M的整数。其中，M为处理单元的数量，M为大于1的整数。
为了提升待处理图像的分辨率，本实施例中，将待处理图像输入至图像处理模型，图像处理模型包含的多个处理单元会依次对待处理图像进行处理。
其中，多个处理单元依次连接，因此，第m个处理单元输出的特征参数会输入至第m+1个处理单元，以通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，进而得到每个处理单元输出的特征参数。也就是说，多个处理单元依次对待处理图像进行处理的过程中，第一个处理单元对待处理图像进行处理后，得到第一个处理单元输出的特征参数；将第一个处理单元输出的特征参数输入至第二个处理单元，以通过第二个处理单元对第一个处理单元输出的特征参数进行处理，得到第二个处理单元输出的特征参数；将第二个处理单元输出的特征参数输入至第三个处理单元，并通过第三个处理单元对第二个处理单元输出的特征参数进行处理，并依此类推，直至得到最后一个处理单元输出的特征参数。
并且，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量，即，每个处理单元输出的特征参数的数量大于其上一个处理单元输出的特征单元的数量，也就是说，基于数据传输方向，多个处理单元输出的特征参数的数量依次递增，使得在处理前期图像处理模型偏向于提取图像的全局结构特征，在处理后期偏向于提取图像的细节纹理特征，也就是说，图像处理模型可以实现由粗略到精细的递进式高分辨率图像的生成，提升高分辨率图像的结构完整性和纹理精致度，提升图像超分辨率构建的准确性。
其中，每个处理单元输出的特征参数的具体数量可以根据实际需要灵活设置。可选的，每个处理单元输出的特征参数的数量可以由图像处理模型自行学习得到，或者，也可以由模型开发工程师设置，即，每个处理单元输出的特征参数的数量可以是图像处理模型的超参数。
步骤S130，基于多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像。
在得到最后一个处理单元输出的特征参数后，图像处理模块可以基于最后一个处理单元输出的特征参数生成目标图像，其中，目标图像的分辨率高于待处理图像的分辨率。
可选的，图像处理模型还可以包括上采样单元，通过上采样单元对最后一个处理单元输出的特征参数进行处理得到特征图，并对特征图进行上采样，得到目标图片。其中，上采样单元进行上采样的具体方式可以根据实际需要灵活设置，例如，可以通过最近邻插值，双线性插值，双三次插值等中的至少一种来进行上采样。上采样单元的个数以及上采样的倍率可以根据实际需要灵活设置，例如，在一个示例中，参见图3所示，图像处理模型200可以包括2个上采样单元220，每个上采样单元220的上采样倍率为2，从而进行4倍率上采样。
需要说明的是，本实施例提供的图像处理方法可以应用于不同场景，例如，图像修复、图像融合、图像编辑等场景。在一可选的示例中，可以应用于虚拟现实(VirtualReality，VR)场景，例如，用户可以佩戴VR设备(例如，VR眼镜或头盔等)，VR设备可以通过传递沉浸式的视觉和听觉信息使用户获得身临其境的体验，其中，VR设备可以通过集成在机身或者外置于房间的传感器判断用户目前的头部位置和视野方向，并在VR设备屏幕上展示全景图像或全景视频中对应的可视区域，但是全景图像帧的数据量较大，通常能够达到上千万像素级(例如，4K分辨率、8K分辨率)等，导致将全景图像或全景视频由数据提供方传输至VR设备的过程中占用大量的内存和网络带宽，因此，为了降低内存压力以及网络带宽消耗，数据提供方可以将低分辨率图像传输至VR设备，VR设备将低分辨率图像作为待处理图像，并通过本实施例提供的图像处理方法将低分辨率图像还原为高分辨率图像，从而不仅可以获得高分辨率图像，还可以降低网络的带宽消耗。
本实施例中，获取待处理图像以及图像处理模型，图像处理模型包含多个处理单元；将待处理图像输入至图像处理模型，并依次通过多个处理单元对待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过多个处理单元中的第m+1个处理单元对待处理图像进行处理的过程中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；基于多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像，也就是说，在图像处理模型处理待处理图像的过程中，特征参数的数量随着数据传输方向依次增加，使得在处理前期图像处理模型偏向于提取图像的全局结构特征，在处理后期偏向于提取图像的细节纹理特征，也就是说，图像处理模型可以实现由粗略到精细的递进式高分辨率图像的生成，从而提升高分辨率图像的结构完整性和纹理精致度，提升图像超分辨率构建的准确性。
在一示例性实施例中，参见图4所示，图4为图1所示实施例的基础上，提出的图像处理方法的流程图。如图4所示，在每个处理单元包含输出的特征参数的数量相同的多个处理子单元，每个处理子单元包含多层处理层的条件下，图像处理方法还可以包括步骤S410、步骤S411-步骤S414，详细介绍如下：
步骤S410，依次通过第m个处理单元包含的多个处理子单元对待处理图像进行处理，得到第m个处理单元包含的每个处理子单元输出的特征参数，并将第m个处理单元中的最后一个处理子单元输出的特征参数作为第m个处理单元输出的特征参数。
需要说明的是，每个处理单元包含多个处理子单元，且属于同一处理单元的多个子单元输出的特征参数的数量相同，每个处理单元包含的处理子单元的具体数量可以根据实际需要灵活设置，不同处理单元包含的处理子单元的数量可以相同，也可以不同。处理子单元的类型可以根据实际需要灵活设置，在一个示例中，若图像处理模型为卷积神经网络，处理子单元可以是卷积块。
为了获取到第m个处理单元输出的特征参数，本实施例中，可以通过第m个处理单元所包含的多个处理子单元依次对待处理图像进行处理，从而得到第m个处理单元包含的每个处理子单元输出的特征参数，并将第m个处理单元中的最后一个处理子单元输出的特征参数作为第m个处理单元输出的特征参数，然后，将第m个处理单元输出的特征参数输入至第m+1个处理单元。也就是说，参见图5所示，每个处理单元210包含多个处理子单元211，上一个处理子单元211的输出端与下一个处理子单元211的输入端连接。在每个处理单元的处理过程中，先获取该处理单元的第一个处理子单元输出的特征参数，将该处理单元的第一个处理子单元输出的特征参数输入至该处理单元的第二个处理子单元，以通过该处理单元的第二个处理子单元对该处理单元的第一个处理子单元输出的特征参数进行处理，得到该处理单元的第二个处理子单元输出的特征参数，并依此类推，直至得到该处理单元的最后一个处理子单元输出的特征参数，将该处理单元的最后一个处理子单元输出的特征参数输入至该处理单元的下一个处理单元的第一个处理子单元。
步骤S411，在通过第m个处理单元中的第j+1个处理子单元对待处理图像进行处理的过程中，将第m个处理单元中的第j个处理子单元输出的特征参数输入至第j+1个处理子单元中的第一层处理层，得到第一层处理层输出的特征参数；其中，j为整数。
需要说明的是，j为整数，其取值范围基于处理单元包含的处理子单元的数量确定，第j个处理子单元为其所属的处理单元中的任一处理子单元。
每个处理子单元包含多层处理层，且属于同一处理子单元的多层处理层输出的特征参数的数量相同，每个处理子单元包含的处理层的具体数量可以根据实际需要灵活设置，不同处理子单元包含的处理层的数量可以相同，也可以不同。处理子单元包含的处理层的类型可以根据实际需要灵活设置。
第m个处理单元中的第j+1个处理子单元也包含多层处理层，在通过第m个处理单元中的第j+1个处理子单元对待处理图像进行处理的过程中，先将第m个处理单元中的第j个处理子单元输出的特征参数输入至第j+1个处理子单元中的第一层处理层，以通过第j+1个处理子单元中的第一层处理层对第m个处理单元中的第j个处理子单元输出的特征参数进行处理，得到第j+1个处理子单元中的第一层处理层输出的特征参数。
步骤S412，将第一层处理层输出的特征参数输入至第一层处理层的下一层处理层，直至得到第j+1个处理子单元中的倒数第二层处理层输出的特征参数。
将第j+1个处理子单元中的第一层处理层输出的特征参数输入至第j+1个处理子单元中的第二层处理层中进行处理，得到第j+1个处理子单元中的第二层处理层输出的特征参数，再将第j+1个处理子单元中的第二层处理层输出的特征参数输入至第j+1个处理子单元中的第三层处理层，直至得到第j+1个处理子单元中的倒数第二层处理层输出的特征参数。
步骤S413，通过第j+1个处理子单元中的最后一层处理层对输入第一层处理层的特征参数和倒数第二层处理层输出的特征参数进行处理，得到最后一层处理层输出的特征参数。
将输入至第j+1个处理子单元中的第一层处理层的特征参数与第j+1个处理子单元中的倒数第二层处理层输出的特征参数输入至第j+1个处理子单元中的最后一层处理层，得到第j+1个处理子单元中的最后一层处理层输出的特征参数。
也就是说，参见图5所示，每个处理单元210的每个处理子单元211所包含的多层处理层2110中，多层处理层2110依次连接，并且，第一层处理层2110的输入端与最后一层处理层2110的输入端连接。在每个处理子单元的处理过程中，上一层处理层输出的特征参数输入至下一层处理层中，并且，第一层处理层的输入特征参数(即，输入至第一层处理层的特征参数)输入至最后一层处理层。
在一个示例中，若图像处理模型为卷积神经网络，处理子单元为卷积块，则按照数据传输方向，处理子单元包含的处理层可以依次为：第一卷积层、第一标准化层、非线性整流层、第二卷积层、第二标准化层、叠加层，其中，第一卷积层、第二卷积层能够通过卷积运算对输入特征参数进行融合和内容修正；第一标准化层和第二标准化层能够将输入特征参数归一化至一定的范围内，提高模型的收敛稳定性；非线性整流层能够避免在模型较深的情况下神经元不被激活的问题，加快模型的整体收敛速率；叠加层的输入端与第一层卷积层的输入端以及第二层标准化层的输出端连接，从而可以将输入第一层卷积层的特征参数以及第二标准化层输出的特征参数进行叠加。
步骤S414，将最后一层输出的特征参数作为第j+1个处理子单元输出的特征参数。
本实施例中，在每个处理单元包含输出的特征参数的数量相同的多个处理子单元，每个处理子单元包含多层处理层的条件下，每个处理子单元中，最后一层处理层对输入第一层处理层的特征参数和倒数第二层输出的特征参数进行处理，从而能够将每个处理子单元的首尾连接，保障图像的特征参数在每一个处理子单元的修正是有限的，避免过度修正导致图像失真的情况。
在一示例性实施例中，参见图6所示，图6为图1所示实施例的基础上，提出的图像处理方法的流程图。如图6所示，在图像处理模型还包括多个预处理单元的条件下，图像处理方法还可以包括步骤S610-步骤S620，详细介绍如下：
步骤S610，依次通过多个预处理单元对待处理图像进行处理，得到每个预处理单元输出的特征参数；其中，在通过多个预处理单元中的第n+1个预处理单元对待处理图像进行处理的过程中，通过第n+1个预处理单元对第n个预处理单元输出的特征参数进行处理，得到第n+1个预处理单元输出的特征参数，n为整数，第n+1个预处理单元输出的特征参数的数量小于第n个预处理单元输出的特征参数的数量。
图像处理模型还包括多个预处理单元，预处理单元的具体数量可以根据实际需要灵活设置，其数量可以与处理单元的数量相等，也可以不等。预处理单元的具体类型可以根据实际需要灵活设置，例如，可以是用于卷积运算的神经网络。
n为整数，第n个预处理单元为图像处理模型包括的多个预处理单元中的任意一个预处理单元。
图像处理模型包含的多个预处理单元会依次对待处理图像进行处理。其中，第n个预处理单元输出的特征参数会输入至第n+1个预处理单元，以通过第n+1个预处理单元对第n个预处理单元输出的特征参数进行处理，得到第n+1个预处理单元输出的特征参数，进而得到每个预处理单元输出的特征参数。也就是说，多个预处理单元依次对待处理图像进行处理的过程中，第一个预处理单元对待处理图像进行处理后，得到第一个预处理单元输出的特征参数；将第一个预处理单元输出的特征参数输入至第二个预处理单元，以通过第二个预处理单元对第一个预处理单元输出的特征参数进行处理，得到第二个预处理单元输出的特征参数；将第二个预处理单元输出的特征参数输入至第三个预处理单元，并通过第三个预处理单元对第二个预处理单元输出的特征参数进行处理，并依此类推，直至得到最后一个预处理单元输出的特征参数。
并且，每个预处理单元输出的特征参数的数量小于其上一个预处理单元输出的特征单元的数量，也就是说，基于数据传输方向，多个预处理单元输出的特征参数的数量依次递减。
步骤S610，将多个预处理单元中的最后一个预处理单元输出的特征参数输入至多个处理单元中的第一个处理单元，得到第一个处理单元输出的特征参数。
将最后一个预处理单元输出的特征参数输入至多个处理单元中的第一个处理单元，以通过第一个处理单元对最后一个预处理单元输出的特征参数进行处理，得到第一个处理单元输出的特征参数。
也就是说，参见图7所示，多个预处理单元230依次连接，上一个预处理单元230的输出端与下一个预处理单元230的输入端连接，并且，最后一个预处理单元230的输出端与第一个处理模块210的输入端连接。
可选的，在一示例性实施方式中，在第m个处理单元输出的特征参数的数量与第M-m+1个预处理单元输出的特征参数的数量相匹配(例如，相等)的条件下，步骤S120中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数的过程可以包括：将第m个处理单元输出的特征参数以及第M-m+1个预处理单元输出的特征参数输入至第m+1个处理单元，得到第m+1个处理单元输出的特征参数。
对应的，步骤S130中，基于多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像的过程可以包括：基于最后一个处理单元输出的特征参数以及多个预处理单元中的第一个预处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像。
也就是说，参见图8所示，在第m个处理单元输出的特征参数的数量与第M-m+1个预处理单元输出的特征参数的数量相匹配(例如，相等)的条件下，第m个处理单元输出端与第M-m+1个预处理单元的输出端连接，这样，可以保障待处理图像在不同单元中的特征参数能够传递至模型尾端，缓解了在深度神经网络中增加深度导致的梯度消失的问题，提升图像处理模型的准确度。
本实施例中，图像处理模型中设置多个预处理单元，多个预处理单元依次连接，最后一个预处理单元的输出端与第一个处理单元的输入端连接，并且，按照数据传输方向，多个预处理单元输出的特征参数的数量依次减少，从而提升图像处理模型的精度。
在一示例性实施例中，参见图9所示，图9为图1所示实施例的基础上，提出的图像处理方法的流程图。如图9所示，图像处理方法还可以包括步骤S910-步骤S940，详细介绍如下：
步骤S910，获取样本图像，并从样本图像中提取出多张标准图像。
其中，样本图像是指作为样本的图像，其可以是高分辨率的图像。
为了提升图像处理模型的训练样本数量，本实施例中，可以从样本图像中提取出多张图像，将提取出的图像作为标准图像。
其中，从样本图像中提取出多张标准图像的具体方式可以根据实际需要灵活设置。
步骤S920，降低每张标准图像的分辨率，得到每张标准图像对应的输入图像。
为了获取训练样本，在得到多张标准图像后，可以降低每张标准图像的分辨率，得到每张标准图像对应的输入图像。也就是说，输入图像的分辨率小于对应标准图像的分辨率。
其中，降低标准图像的分辨率的具体方式可以根据实际需要灵活设置，例如，可以对标准图像进行下采样，得到标准图像对应的输入图像。下采样的具体方式可以根据实际需要灵活设置，例如，可以通过双线性下采样的方式进行下采样。为了提升图像处理模型的泛化能力，还可以设置多种下采样方式，针对每张标准图像，可以随机从多种下采样方式中选择其中一种下采样方式对标准图像进行下采样。下采样的倍率可以根据实际需要灵活设置，例如，可以设置为4倍、2倍等。
步骤S930，通过图像处理模型对每张输入图像进行处理，得到每张输入图像对应的输出图像。
在得到低分辨率的输入图像后，可以将输入图像输入至图像处理模型，以使图像处理模型对输入图像进行处理，得到输入图像对应的输出图像。
步骤S940，基于每张输入图像对应的输出图像和标准图像之间的差异，计算图像处理模型的损失值，并基于计算出的损失值调整图像处理模型的参数。
为了计算图像处理模型的损失，本实施例中，可以计算输出图像与对应标准图像之间的差异，并根据差异计算图像处理模型的损失值，根据图像处理模型的损失值调整图像处理模型的参数，以优化图像处理模型。
其中，计算输出图像与对应标准图像之间的差异的具体方式可以根据实际需要灵活设置。可选的，可以通过以下方式计算输出图像与对应标准图像之间的差异：
Figure BDA0003796369110000121
其中，LMSE为输出图像与对应标准图像之间的差异，w为图像的宽度，h为图像的高度，IHR(x,y)为标准图像中横坐标为x，纵坐标为y的像素点的像素值，ISR(x,y)为对应输出图像中横坐标为x，纵坐标为y的像素点的像素值。
可选的，在计算出每张输出图像与对应标准图像之间的差异后，还可以基于输出图像与对应标准图像之间的差异计算图像处理模型的损失值；可选的，可以对图像处理模型进行批量训练，即，每次输入图像处理模型的输入图片的数量为多张，对应的，每次训练得到多张输出图片，在计算出这多张输出图片与对应标准图片的差异后，可以将多张输出图片与对应标准图像之间的差异的平均值作为图像处理模型的损失值。
需要说明的是，步骤S910-步骤S940的过程可以应用于图像处理模型的训练阶段，或者，也可以应用于图像处理模型训练完成后的优化阶段。
本实施例中，获取样本图像，并从样本图像中提取出多张标准图像，降低每张标准图像的分辨率，得到每张标准图像对应的输入图像，通过图像处理模型对每张输入图像进行处理，得到每张输入图像对应的输出图像，基于每张输入图像对应的输出图像和标准图像之间的差异，计算图像处理模型的损失值，并基于计算出的损失值调整图像处理模型的参数，这样，通过一张样本图像，可以获取到多张用于进行训练的标准图像和对应的输入图像，从而提升训练样本的数量，降低训练样本的获取难度，并且，标准图像的尺寸小于样本图像的尺寸，可以提升图像处理模型的处理效率，降低模型训练过程中所占用的计算资源量，提升模型收敛速度。
在一示例性实施例中，参见图10所示，图10为图9所示的步骤S910在一示例性实施例中的流程图。如图10所示，从样本图像中提取出多张标准图像的过程可以包括步骤S911-步骤S912，详细介绍如下：
步骤S911，从样本图像中确定多个尺寸与第一尺寸相匹配的区域。
第一尺寸为预先设置的区域的尺寸，包括宽度和高度，宽度和高度可以相等，也可以不同，第一尺寸的具体大小可以根据实际需要灵活设置。
本实施例中，可以从样本图像中确定出多个区域，并且，每个区域的尺寸与第一尺寸相匹配。其中，相邻区域之间可以存在重叠，也可以不存在重叠。
其中，从样本图像中确定多个尺寸与第一尺寸相匹配的区域的具体方式可以根据实际需要灵活设置。
在一可选的实施方式中，可以基于第一尺寸将样本图像划分为多个互相不重叠的区域。
在另一可选的实施方式中，可以基于宽度方向步长和高度方向步长在样本图像上进行移动，以确定出多个尺寸与第一尺寸相匹配的区域；其中，宽度方向步长为在宽度方向上移动的步长，高度方向步长为在高度方向上移动的步长；也就是说，确定出的多个区域的尺寸均为第一尺寸，且，宽度方向相邻的两个区域之间的间隔为宽度方向步长，高度方向相邻的两个区域之间的间隔为高度方向步长。其中，宽度方向步长和高度方向步长可以相等，也可以不等，其具体长度可以根据实际需要灵活设置。其中，假设样本图像的宽度为w′，高度为h′，宽度方向步长和高度方向步长均为dspace，区域的宽度和高度均为dlarge，则参见图11所示，样本图像1210中，可以依次确定出多个尺寸为dlarge×dlarge的区域1211，并且，相邻区域1211的中心点之间的间距为dspace，每个区域1211中可以随机确定出一个尺寸为dsmall×dsmall的图像块作为标准图像1212，其中，确定出的区域的个数Nlarge如下：
Figure BDA0003796369110000141
Figure BDA0003796369110000142
为向下取整函数。
需要说明的是，基于宽度方向步长和高度方向步长在样本图像上进行移动的具体方式可以根据实际需要灵活设置，例如，可以在样本图像的左边缘设置尺寸与第一尺寸相匹配的多个采样窗口，且多个采样窗口的位置在高度方向上的间距为高度方向步长，在多个采样窗口采样后，基于宽度方向步长向左移动多个采样窗口，直至采样窗口到达样本图像的右边缘，从而得到多个区域。或者，可以在样本图像的左上角设置一个采样窗口，在采样窗口采样后，可以按照从左到右、从上到下的方式在样本图像上进行移动，其中，从左到右移动的步长为宽度方向步长，从上到下移动的步长为高度方向步长。
步骤S912，从每个区域中随机提取一张尺寸与第二尺寸相匹配的图像，并将提取出的图像作为标准图像，其中，第一尺寸大于第二尺寸。
其中，第二尺寸为标准图像的尺寸，第二尺寸包含标准图像的宽度和高度，其中，标准图像的宽度和高度可以相等，也可以不等。
在从样本图像中确定出多个区域后，可以从每个区域中随机提取一张尺寸与第二尺寸相匹配的图像，并将提取出的图像作为标准图像。
可选的，还可以对提取出的图像进行翻转，并将翻转后得到的图像也作为标准图像。例如，可以对提取出的图像进行水平翻转，得到标准图像。
本实施例中，从样本图像中确定多个尺寸与第一尺寸相匹配的区域，从每个区域中随机提取一张尺寸与第二尺寸相匹配的图像，并将提取出的图像作为标准图像，其中，第一尺寸大于第二尺寸，这样，在不同区域中进行随机采样，以得到标准图像，可以保障用于训练的标准图像具有良好的特征多样性，从而能够有效地避免图像处理模型在训练过程中产生过拟合的问题，提高图像处理模型的泛化能力。
在一示例性实施例中，参见图12所示，图12为图9所示实施例中的步骤S930在一示例性实施例中的流程图。如图12所示，通过图像处理模型对每张输入图像进行处理，得到每张输入图像对应的输出图像的过程可以包括步骤S931-步骤S933，详细介绍如下：
步骤S931，获取输入图像集合；输入图像集合包含每张标准图像对应的输入图像。
其中，输入图像集合包含每张标准图像对应的输入图像，由于标准图像的数量为多张，对应的，输入图像集合中包含多张输入图像。
步骤S932，从输入图像集合中获取多张输入图像，并将多张输入图像输入至图像处理模型，得到多张输入图像各自对应的输出图像。
为了提升图像处理模型的优化速度，本实施例中，可以从输入图像集合中获取多张输入图像，并将多张输入图像输入至图像处理模型，使得图像处理模型可以批量处理输入图像，得到输入图像各自对应的输出图像。
需要说明的是，每次从输入图像集合中获取的输入图像的具体数量可以根据实际需要灵活设置，例如，可以设置为10张、20张等，或者，可以从输入图像集合中获取全部输入图像，并将获取到的输入图像一起输入至图像处理模型。
步骤S933，从输入图像集合中重新获取多张输入图像，并将重新获取的多张输入图像输入至图像处理模型，直至得到输入图像集合中的每张输入图像对应的输出图像。
在得到获取到的多张输入图像各自对应的输出图像后，若输入图像集合中还存在未输入至图像处理模型的输入图像，则从输入图像集合中重新获取多张输入图像，并将重新获取的多张输入图像输入至图像处理模型，直至得到输入图像集合包含的每张输入图像对应的输出图像。
本实施例中，可以先获取输入图像集合，输入图像集合包含每张标准图像对应的输入图像；从输入图像集合中获取多张输入图像，并将多张输入图像输入至图像处理模型，得到多张输入图像各自对应的输出图像，从输入图像集合中重新获取多张输入图像，并将重新获取的多张输入图像输入至图像处理模型，直至得到输入图像集合中的每张输入图像对应的输出图像，从而可以对图像处理模型进行批量训练。
以下对本申请实施例的一个具体应用场景进行详细说明。请参见图13所示，图像处理方法包括：
步骤S1301，获取样本图像。
其中，样本图像可以是全景图像，也可以是其它类型的图像。
步骤S1302，对样本图像进行分区采样，得到标准图像。
可选的，可以从样本图像的左上角开始，以尺寸dlarge×dlarge为模板，dspace为步长逐步向样本图像的右下角平移，得到多个区域。从每个区域中以尺寸dsmall×dsmall为模板随机采样一个图像块，并对图像块进行翻转，得到图像块的对称图像，将图像块以及图像块的对称图像作为标准图像。
其中，得到的标准图像的数量为：
Figure BDA0003796369110000161
其中，Np为标准图像的数量。
步骤S1303，对标准图像进行下采样，得到输入图像。
针对每张标准图像，可以进行下采样，得到每张标准图像的输入图像。
步骤S1304，基于输入图像和标准图像对初始图像处理模型进行训练，得到图像处理模型。
可选的，可以通过初始图像处理模型对输入图像进行处理，得到输出图像，基于输出图像与标准图像之间的差异，确定初始图像处理模型的损失值，基于损失值调整初始图像处理模型的参数，以优化初始图像处理模型。
其中，初始图像处理模型可以是递进式残差网络，参见图14所示，按照数据传输方向，初始图像处理模型包含依次连接的M个卷积单元1410、M个处理单元1420、2个上采样单元1430以及输出层1440，其中，按照数据传输方向，上一个处理单元1420输出的特征图的数量小于下一个处理单元1420输出的特征图的数量，第m个处理单元1420输出的特征图的数量与第M-m+1个卷积单元1410输出的特征图的数量相同，并且，第m个处理单元1420的输出端与第M-m+1个卷积单元1410输出端连接；每个处理单元1420包含多个输出的特征图的数量相同的多个卷积块1421，每个卷积块1421输出的特征图的数量等于其所属的处理单元输出的特征图的数量，每个卷积块1421包含6层依次连接的处理层，按照数据传输方向，6层处理层依次为第一卷积层、第一标准化层、非线性整流层、第二卷积层、第二标准化层和像素级叠加层，其中，第一卷积层的输入端与像素级叠加层的输入端(即，第二标准化层的输出端)连接，这样，像素级叠加层可以对第一卷积层的输入端对应的特征图与第二标准化层输出的特征图进行叠加，从而限制每个卷积块对特征图的修正幅度，避免修正过大导致出现偏差的情况。每个上采样单元1430可以对输入的特征图进行2倍上采样，输出层1440可以将输入的特征图转换为指定形式的图像进行输出，例如，可以转换为RBG形式。其中，图14中，填充图案相同的矩形框所输出的特征图数量相同。
步骤S1305，获取待处理图像。
步骤S1306，通过图像处理模型对待处理图像进行处理，得到目标图像。
也就是说，参见图15所示，在获取到样本图像后，对样本图像进行分区采样得到图像块，对图像块进行水平翻转得到图像块的对称图像，将图像块和图像块的对称图像作为标准图像，再对标准图像进行下采样，得到输入图像，将输入图像和标准图像作为训练数据，基于训练数据对图像处理模型进行训练，在训练完成后，将低分辨率的待处理图像输入至图像处理模型，得到高分辨率的目标图像。需要说明的是，高分辨率的目标图像是指比低分辨率的输入图像的分辨率高的图像，此处的“高分辨率”、“低分辨率”并不用于限定图像的分辨率的具体范围，仅用于限定图像分辨率的相对关系。
为了更好的理解，此处以一个示例进行说明，训练过程包括1.1-1.3，详细介绍如下：
1.1获取训练数据：以尺寸416像素×416像素为模板，从单幅高分辨率样本图像的左上角开始往右下角裁剪图像，且相邻两个裁剪区域的中心点之间的距离为208像素。此时，宽度方向上的区域数量为(3328-416)/208+1＝15个，高度方向上的区域数量为(1664-416)/208+1＝7个，因此总共有15×7＝105个区域。对于每一个区域，从中随机选择一个208像素×208像素的区域作为图像块，并且对于每一个图像块进行水平翻转得到一幅对称图像，将图像块以及对称图像作为标准图像，得到210个标准图像。对于每一个208×208像素的标准图像，进行双线性下采样得到52×52像素的输入图像，每一个52×52像素的低分辨率的输入图像和208×208像素的高分辨率的标准图像之间的映射关系便是图像处理模型需要学习的目标。
1.2构造图像处理模型并基于训练数据进行训练：图像处理模型采用递进式残差网络，按照数据传输方向，其包含特征图数量为32的卷积单元、特征图数量为48的卷积单元、特征图数量为64的卷积单元、6个特征图数量为32的卷积块、6个特征图数量为48的卷积块、6个特征图数量为64的卷积块、2个上采样层以及一个输出层，其中，特征图数量为32的卷积单元的输出端与最后一个特征图数量为32的卷积块的输出端连接，特征图数量为48的卷积单元的输出端与最后一个特征图数量为48的卷积块的输出端连接，特征图数量为64的卷积单元的输出端与最后一个特征图数量为64的卷积块的输出端连接，每一个上采样层可以将图像放大2倍。在训练过程中，以每批次16张方式将输入图像分批输入至图像处理模进行模型训练，使模型能够在尾端输出4倍上采样的高分辨率的输出图像；由于每轮训练输入16张输入图像，因此，每轮训练会得到16张输出图像，计算每轮训练过程中输出图像与对应标准图像之间的差异，并基于差异确定图像处理模型的损失，利用损失值对图像处理模型进行反向传播以优化模型中各个层的参数。其中，可以设置图像处理模型总共训练1500个周期，其中前1000个周期以学习率0.0001进行训练，后500个周期的学习率为0.00001。
1.3对图像处理模型进行测试：在完成1500个周期的训练后，可以从全景图像中随机采样10幅尺寸为3328像素×1664像素的原始高分辨率图像，对原始高分辨率图像进行4倍双线性下采样，得到尺寸为832像素×416像素的低分辨率测试图像，将低分辨率(832像素×416像素)的测试图像输入至图像处理模型，并利用图像处理模型对测试图像的信息进行补充和融合，最终得到水平长度和垂直高度均放大4倍的高分辨率(3328像素×1664像素)测试图像。将模型生成的高分辨率的测试图像和原始高分辨率图像进行对比，并基于图像评价指标对二者的相似性进行度量，以确定图像处理模型的性能。其中，图像评价指标包括但不限于PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)，SSIM(StructuralSIMilarity，结构相似性)，VIFP(Visual Information Fidelity in Pixel domain，像素域中的视觉信息保真度)等。
本实施例中，基于单幅样本图像分块采样得到较大规模的训练数据，有效提高了训练数据的特征多样性，降低模型训练过拟合的风险；由多个输出的特征图数量逐渐增大的卷积块组成的递进式深度生成网络模型，能够使浅层的卷积块倾向于存储图像的全局结构特征，深层的卷积块学习如何在浅层卷积块生成的全局结构特征基础上生成细节纹理特征，从而提升最终生成的高分辨图像的结构稳定性和纹理精细度，减少生成图像过程中不符合逻辑的噪声区域的数量；由多级跨步连接组成的残差网络结构中，每一个卷积块的首尾通过像素级叠加保证该级卷积块对图像的修正不会偏差过大，整个模型首尾特征图数量相同的单元之间的跨步连接保证图像的原始特征信息能够传递至生成的高分辨率图像，能够有效地减少模型的参数总量，提高模型的训练速度和预测阶段的计算效率，并且，避免生成的高分辨率图像出现失真的情况。
参见图16，图16是本申请的一示例性实施例示出的图像处理装置的框图。如图16所示，该装置包括：
获取模块1601，配置为获取待处理图像以及图像处理模型；图像处理模型包含多个处理单元；
处理模块1602，配置为将待处理图像输入至图像处理模型，并依次通过多个处理单元对待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过多个处理单元中的第m+1个处理单元对待处理图像进行处理的过程中，通过第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到第m+1个处理单元输出的特征参数，m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；
生成模块1603，配置为基于多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于待处理图像的分辨率的目标图像。
需要说明的是，图像处理装置还可以包含对应的模块以实现前述实施例所提供的图像处理方法中的其它步骤，上述实施例所提供的图像处理装置与上述实施例所提供的图像处理方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的图像处理方法。
图17示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图17示出的电子设备的计算机系统1700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图17所示，计算机系统1700包括中央处理单元(Central Processing Unit，CPU)1701，其可以根据存储在只读存储器(Read-Only Memory，ROM)1702中的程序或者从储存部分1708加载到随机访问存储器(Random Access Memory，RAM)1703中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1703中，还存储有系统操作所需的各种程序和数据。CPU 1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(Input/Output，I/O)接口1705也连接至总线1704。
以下部件连接至I/O接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1707；包括硬盘等的储存部分1708；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入存储部分1708。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理单元(CPU)1701执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令被电子设备的处理器执行时，使电子设备实现如前所述的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，计算机指令被处理器执行时实现上述各个实施例中提供的方法。其中，该计算机指令可以存储在计算机可读存储介质中；电子设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述各个实施例中提供的方法。
上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像以及图像处理模型；所述图像处理模型包含多个处理单元；
将所述待处理图像输入至所述图像处理模型，并依次通过所述多个处理单元对所述待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过所述多个处理单元中的第m+1个处理单元对所述待处理图像进行处理的过程中，通过所述第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到所述第m+1个处理单元输出的特征参数，所述m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；
基于所述多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像。
2.如权利要求1所述的方法，其特征在于，每个处理单元包含输出的特征参数的数量相同的多个处理子单元，每个处理子单元包含多层处理层；所述方法还包括：
依次通过所述第m个处理单元包含的多个处理子单元对所述待处理图像进行处理，得到所述第m个处理单元包含的每个处理子单元输出的特征参数，并将所述第m个处理单元中的最后一个处理子单元输出的特征参数作为所述第m个处理单元输出的特征参数；
其中，在通过所述第m个处理单元中的第j+1个处理子单元对所述待处理图像进行处理的过程中，将所述第m个处理单元中的第j个处理子单元输出的特征参数输入至所述第j+1个处理子单元中的第一层处理层，得到所述第一层处理层输出的特征参数；其中，所述j为整数；
将所述第一层处理层输出的特征参数输入至所述第一层处理层的下一层处理层，直至得到所述第j+1个处理子单元中的倒数第二层处理层输出的特征参数；
通过所述第j+1个处理子单元中的最后一层处理层对所述倒数第二层处理层输出的特征参数以及输入所述第一层处理层的特征参数进行处理，得到所述最后一层处理层输出的特征参数；
将所述最后一层输出的特征参数作为所述第j+1个处理子单元输出的特征参数。
3.如权利要求1所述的方法，其特征在于，所述图像处理模型还包括多个预处理单元；所述方法还包括：
依次通过所述多个预处理单元对所述待处理图像进行处理，得到每个预处理单元输出的特征参数；其中，在通过所述多个预处理单元中的第n+1个预处理单元对所述待处理图像进行处理的过程中，通过所述第n+1个预处理单元对第n个预处理单元输出的特征参数进行处理，得到所述第n+1个预处理单元输出的特征参数，所述n为整数，第n+1个预处理单元输出的特征参数的数量小于第n个预处理单元输出的特征参数的数量；
将所述多个预处理单元中的最后一个预处理单元输出的特征参数输入至所述多个处理单元中的第一个处理单元，得到所述第一个处理单元输出的特征参数。
4.如权利要求3所述的方法，其特征在于，所述处理单元的数量与所述预处理单元的数量均为M，所述通过所述第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到所述第m+1个处理单元输出的特征参数，包括：
将所述第m个处理单元输出的特征参数以及第M-m+1个预处理单元输出的特征参数输入至所述第m+1个处理单元，得到所述第m+1个处理单元输出的特征参数；其中，所述第m个处理单元输出的特征参数的数量与所述第M-m+1个预处理单元输出的特征参数的数量相匹配；
所述基于所述多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像，包括：
基于所述最后一个处理单元输出的特征参数以及所述多个预处理单元中的第一个预处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
获取样本图像，并从所述样本图像中提取出多张标准图像；
降低每张标准图像的分辨率，得到所述每张标准图像对应的输入图像；
通过所述图像处理模型对所述每张输入图像进行处理，得到所述每张输入图像对应的输出图像；
基于所述每张输入图像对应的输出图像和标准图像之间的差异，计算所述图像处理模型的损失值，并基于计算出的损失值调整所述图像处理模型的参数。
6.如权利要求5所述的方法，其特征在于，所述从所述样本图像中提取出多张标准图像，包括：
从所述样本图像中确定多个尺寸与第一尺寸相匹配的区域；
从每个区域中随机提取一张尺寸与第二尺寸相匹配的图像，并将提取出的图像作为目标图像，其中，所述第一尺寸大于所述第二尺寸。
7.如权利要求5所述的方法，其特征在于，所述通过所述图像处理模型对所述每张输入图像进行处理，得到所述每张输入图像对应的输出图像，包括：
获取输入图像集合；所述输入图像集合包含所述每张标准图像对应的输入图像；
从所述输入图像集合中获取多张输入图像，并将所述多张输入图像输入至所述图像处理模型，得到所述多张输入图像各自对应的输出图像；
从所述输入图像集合中重新获取多张输入图像，并将重新获取的多张输入图像输入至所述图像处理模型，直至得到所述输入图像集合中的每张输入图像对应的输出图像。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，配置为获取待处理图像以及图像处理模型；所述图像处理模型包含多个处理单元；
处理模块，配置为将所述待处理图像输入至所述图像处理模型，并依次通过所述多个处理单元对所述待处理图像进行处理，得到每个处理单元输出的特征参数；其中，在通过所述多个处理单元中的第m+1个处理单元对所述待处理图像进行处理的过程中，通过所述第m+1个处理单元对第m个处理单元输出的特征参数进行处理，得到所述第m+1个处理单元输出的特征参数，所述m为整数，第m+1个处理单元输出的特征参数的数量大于第m个处理单元输出的特征参数的数量；
生成模块，配置为基于所述多个处理单元中的最后一个处理单元输出的特征参数，生成所对应的分辨率高于所述待处理图像的分辨率的目标图像。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现权利要求1-7中的任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述电子设备实现权利要求1-7中的任一项所述的图像处理方法。
CN202210971621.9A 2022-08-12 2022-08-12 图像处理方法及装置、电子设备、存储介质 Pending CN115311145A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210971621.9A CN115311145A (zh) 2022-08-12 2022-08-12 图像处理方法及装置、电子设备、存储介质
PCT/CN2023/107968 WO2024032331A1 (zh) 2022-08-12 2023-07-18 图像处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971621.9A CN115311145A (zh) 2022-08-12 2022-08-12 图像处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN115311145A true CN115311145A (zh) 2022-11-08

Family

ID=83862745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971621.9A Pending CN115311145A (zh) 2022-08-12 2022-08-12 图像处理方法及装置、电子设备、存储介质

Country Status (2)

Country Link
CN (1) CN115311145A (zh)
WO (1) WO2024032331A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032331A1 (zh) * 2022-08-12 2024-02-15 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112270645A (zh) * 2020-11-03 2021-01-26 中南民族大学 多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113191950A (zh) * 2021-05-07 2021-07-30 西南交通大学 一种超分辨率人脸图像重建方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN113962861A (zh) * 2021-10-29 2022-01-21 中国联合网络通信集团有限公司 图像重建方法、装置、电子设备和计算机可读介质
KR20220039368A (ko) * 2020-09-22 2022-03-29 인천대학교 산학협력단 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치
CN114266771A (zh) * 2022-03-02 2022-04-01 深圳市智源空间创新科技有限公司 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置
US20220222786A1 (en) * 2020-04-15 2022-07-14 Tencent Technology (Shenzhen) Company Limited Image processing method, smart device, and computer readable storage medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4223223B2 (ja) * 2002-03-25 2009-02-12 富士フイルム株式会社 画像処理方法および装置並びにプログラム
CN107481192B (zh) * 2017-08-11 2021-08-24 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备
CN109191382B (zh) * 2018-10-18 2023-12-05 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109903219B (zh) * 2019-02-28 2023-06-30 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN113096132B (zh) * 2020-01-08 2022-02-08 东华医为科技有限公司 图像处理的方法、装置、存储介质和电子设备
CN115311145A (zh) * 2022-08-12 2022-11-08 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
US20220222786A1 (en) * 2020-04-15 2022-07-14 Tencent Technology (Shenzhen) Company Limited Image processing method, smart device, and computer readable storage medium
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
KR20220039368A (ko) * 2020-09-22 2022-03-29 인천대학교 산학협력단 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치
CN112270645A (zh) * 2020-11-03 2021-01-26 中南民族大学 多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113191950A (zh) * 2021-05-07 2021-07-30 西南交通大学 一种超分辨率人脸图像重建方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113962861A (zh) * 2021-10-29 2022-01-21 中国联合网络通信集团有限公司 图像重建方法、装置、电子设备和计算机可读介质
CN114266771A (zh) * 2022-03-02 2022-04-01 深圳市智源空间创新科技有限公司 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG GUOAN等: "Encoder-Decoder Residual Network for Real Super-resolution", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, pages 2169 - 2173 *
XIAO-JIAO MAO等: "Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", 《ARXIV:1606.08921V3》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032331A1 (zh) * 2022-08-12 2024-02-15 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2024032331A1 (zh) 2024-02-15
WO2024032331A9 (zh) 2024-03-28

Similar Documents

Publication Publication Date Title
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
Dong et al. Multi-scale boosted dehazing network with dense feature fusion
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
US20230071559A1 (en) Neural opacity point cloud
CN108876716B (zh) 超分辨率重建方法及装置
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
WO2024032331A1 (zh) 图像处理方法及装置、电子设备、存储介质
CN107220934B (zh) 图像重建方法及装置
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN117036581B (zh) 基于二维神经渲染的体渲染方法、系统、设备及介质
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
Tian et al. Deformable convolutional network constrained by contrastive learning for underwater image enhancement
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
TW200820744A (en) Image encoding method and image encoding apparatus
CN114511487A (zh) 图像融合方法及装置、计算机可读存储介质、终端
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
CN112365400A (zh) 一种快速光场角度超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination