CN111476719A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111476719A
CN111476719A CN202010372906.1A CN202010372906A CN111476719A CN 111476719 A CN111476719 A CN 111476719A CN 202010372906 A CN202010372906 A CN 202010372906A CN 111476719 A CN111476719 A CN 111476719A
Authority
CN
China
Prior art keywords
module
image
result
super
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010372906.1A
Other languages
English (en)
Other versions
CN111476719B (zh
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010372906.1A priority Critical patent/CN111476719B/zh
Publication of CN111476719A publication Critical patent/CN111476719A/zh
Application granted granted Critical
Publication of CN111476719B publication Critical patent/CN111476719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质。该方法包括：获取第一图像；通过超分辨率重建模型对第一图像进行图像超分辨率重建处理，得到第二图像。在本申请实施例中，通过超分辨率重建模型来完成低分辨图像的图像超分辨率重建处理，进而得到高分辨图像，提高图像超分辨率重建的效率。此外，通过多尺度残差融合模块、第一上采样模块、第二上采样模块以及多尺度预测模块的组合，来替代深度较大的深度卷积神经网络来进行特征提取、融合，使得超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及机器学习技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
图像超分辨率重建技术是指从一幅低分辨率图像，或者一系列低分辨率图像序列中重建出高分辨率图像的技术，该技术被广泛应用于医疗领域、视频监控领域、卫星图像领域等等。
在相关技术中，通常采用基于统计特征的方法来实现上述图像超分辨率重建技术。具体地，计算机设备建立一种映射模型，通过该映射模型将低分辨率图像映射到高分辨率图像。上述映射模型可以通过马尔科夫随机场算法、领域嵌入算法、稀疏编码算法等建立。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质。所述技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取第一图像，所述第一图像的分辨率为第一分辨率；
通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述通过所述超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，包括：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合处理结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
图像获取模块，用于获取第一图像，所述第一图像的分辨率为第一分辨率；
图像重建模块，用于通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述图像重建模块，具体用于：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合处理结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条指令，所述指令由所述处理器加载并执行以实现
如下方法：
获取第一图像，所述第一图像的分辨率为第一分辨率；
通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述通过所述超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，包括：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合处理结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的图像处理方法。
本申请实施例提供的技术方案可以带来的有益效果至少包括：
通过超分辨率重建模型来完成低分辨图像的图像超分辨率重建处理，进而得到高分辨图像，能有效提高图像超分辨率重建的效率。此外，本申请实施例提供的超分辨率重建模型中，通过多尺度残差融合模块、第一上采样模块、第二上采样模块以及多尺度预测模块的组合，来替代深度较大的深度卷积神经网络来进行特征提取、融合，使得超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用。
附图说明
图1是本申请一个示例性实施例示出的图像超分辨率模型的结构图；
图2是本申请一个示例性实施例示出的特征提取层的结构图；
图3是本申请一个示例性实施例示出的残差融合层的结构图；
图4是本申请一个示例性实施例示出的自适应残差层的结构图；
图5是本申请一个实施例示出的上采样层的结构图；
图6是本申请一个示例性实施例示出的图像处理方法的流程图；
图7是本申请一个示例性实施例示出的图像超分辨率模型的训练方法的流程图；
图8是本申请另一个示例性实施例示出的图像处理方法的流程图；
图9是本申请一个示例性实施例示出的图像处理装置的框图；
图10是本申请一个示例性实施例示出的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中，基于统计学方法来进行图像超分辨率重建，该过程所需的时间较长，图像超分辨率重建的效率较低。
基于此，本申请实施例提供了一种图像处理方法，通过超分辨率重建模型来完成低分辨图像的图像超分辨率重建处理，进而得到高分辨图像，能有效提高图像超分辨率重建的效率。此外，还通过对轻量级神经网络进行训练得到的超分辨率重建模型，使得超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用。
本申请实施例各步骤的执行主体可以是计算机设备，该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备，也可以是服务器。当计算机设备用于执行图像处理方法时，该计算机设备中包括训练完成的超分辨率重建模型。
下面将结合图1-图5对超分辨率重建模型的结构进行讲解。
结合参考图1，其示例性示出了本申请一个实施例提供的超分辨率重建模型的结构示意图。该超分辨率重建模型包括特征提取模块11、多尺度残差融合模块12、下采样模块13、第一上采样模块14、多尺度预测模块15、第二上采样模块16、全局连接模块17、图像重建模块18。
特征提取模块11用于提取待重建图像的图像特征，得到待重建图像的特征图。结合参考图2，其示出了本申请一个实施例提供的特征提取模块的结构示意图。在本申请实施例中，特征提取模块包括第一输入模块21、第一卷积模块22、第一激活模块23。第一输入模块21用于输入低分辨率图像。第一卷积模块22用于对待重建图像进行卷积运算，以提取待重建图像的特征。第一激活层23用于将提取出的特征映射到高维的非线性区间进行解释。在该实施例中，第一卷积模块22的卷积核数量为32，卷积核的大小为3×3，步长为1。
多尺度残差融合模块12用于对第一输入数据(也即输入多尺度残差融合模块的数据)进行残差融合处理，得到残差融合结果。上述第一输入数据可以是以下任意一种：特征提取模块11输出的特征提取结果、第一上采样层14输出的第一上采样结果、下采样模块13输出的下采样结果。需要说明的是，输入多尺度残差融合模块12的数据不同时，其输出的结果也不相同。
多尺度残差融合模块12包括通道维度拼接模块以及多个自适应残差模块。由于相同尺度的目标在不同尺度空间具有不同的表现形式，在本申请实施例中，通过不同的自适应残差模块来找寻不同尺度的目标的最合适的表达形式，并通过通道维度拼接层对上述多种表达形式进行信息互补，保证了目标表达的准确性。
结合参考图3，其示出了本申请一个实施例示出的残差融合模块的结构示意图。多尺度残差融合模块12包括第二输入模块31、自适应残差模块32(包括自适应残差模块0、自适应残差模块1、自适应残差模块2、自适应残差模块3)、通道维度连接模块33、第一输出模块34。结合参考图4，其示出了本申请一个实施例示出的自适应残差模块的结构示意图。自适应残差模块32包括第三输入模块41、第二卷积模块42(包括第二卷积模块0、第二卷积模块1)、第二激活模块43、第二输出模块44。
在本申请实施例中，多尺度残差融合模块12包括多尺度残差融合模块0、多尺度残差融合模块1、多尺度残差融合模块2、多尺度残差融合模块3、多尺度残差融合模块4。其中，多尺度残差融合模块0用于对特征提取模块11输出的特征提取结果进行残差融合处理，得到第一残差融合结果，多尺度残差融合模块1和多尺度残差融合模块2用于对在下采样阶段对下采样模块13输出的下采样结果进行残差融合处理，得到第二残差融合结果。多尺度残差融合模块3和残差融合模块4用于在上采样阶段对第一上采样模块14输出的第一上采样结果进行残差融合处理，得到第三残差融合结果。
在本申请实施例中，多尺度残差融合模块0中的每一个自适应残差模块的第一个卷积核数量为32，第二个卷积核数量为128，卷积核大小为3x3，步长为1；多尺度残差融合模块1中的每一个自适应残差模块的第一个卷积核数量为64，第二个卷积核数量为256，卷积核大小为3x3，步长为1；多尺度残差融合模块2中的每一个自适应残差模块的第一个卷积核数量为128，第二个卷积核数量为512，卷积核大小为3x3，步长为1；多尺度残差融合模块3中的每一个自适应残差模块的第一个卷积核数量为64，第二个卷积核数量为256，卷积核大小为3x3，步长为1；多尺度残差融合模块4中的每一个自适应残差模块的第一个卷积核数量为32，第二个卷积核数量为128，卷积核大小为3x3，步长为1。
下采样模块13用于对多尺度残差融合模块12输出的残差融合结果进行下采样，得到下采样结果。下采样是指对于一个样值序列间隔几个样值取样一次。在本申请实施例中，下采样模块包括下采样模块0和下采样模块1。其中，下采样模块0用于对多尺度残差融合模块0输出的第一残差融合结果进行下采样，下采样模块1用于对多尺度残差融合模块1输出的第二残差融合结果进行下采样。在本申请实施例中，下采样模块0的卷积核数量为64，卷积核大小为3×3，步长为2；下采样模块1的卷积核数量为128，卷积核大小为3×3，步长为2。
第一上采样模块14用于对残差融合结果(第二残差融合结果或第三残差融合结果)。在本申请实施例中，第一上采样模块14先对不同多尺度残差融合模块输出的残差融合结果进行拼接，得到拼接结果，之后对上述拼接结果进行上采样，得到第一上采样结果。在一些实施例中，第一上采样模块采用目标函数并以通道数量作为拼接维度，对下采样阶段输出的两个第二残差融合结果进行拼接，得到拼接结果；第一上采样模块还采用目标函数并以通道数量作为拼接维度，对第一残差融合结果以及上采样阶段输出的第三残差融合处理结果进行拼接，得到拼接结果。在一些实施例中，上述目标函数为concat函数。通过上述方式，可以将底层特征与高层特征有效结合，使得上采样结果更为精细准确。
在本申请实施例中，第一上采样模块14包括上采样模块0和上采样模块1。其中，上采样模块0用于将多尺度残差融合模块1输出的第二残差融合结果和多尺度残差融合模块2输出的第二残差融合结果进行拼接，得到拼接结果，再对拼接结果进行上采样；上采样模块1用于将多尺度残差融合模块0输出的第一残差融合结果和多尺度残差融合模块3输出的第三残差融合结果进行拼接，得到拼接结果，再对拼接结果进行上采样。此外，在本申请实施例中，上采样模块0的卷积核数量为64，卷积核大小为3×3，步长为1；上采样模块1的卷积核数量为32，卷积核大小为3×3，步长为1。
结合参考图5，其示出了本申请一个实施例示出的第一上采样模块14的结构示意图。上采样模块14包括第四输入模块51、亚像素卷积模块52、第三卷积模块53和第三激活模块54。其中，亚像素卷积模块52可以采用tensorflow中tf.depth_to_space算子实现。
多尺度预测模块15用于对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果。目标残差融合模块是超分辨率重建模型中位于最后位置的残差融合模块。具体地，多尺度预测模块15用于对残差融合模块4输出的第三残差融合结果进行预测处理。
在一些实施例中，多尺度预测模块15采用至少两个卷积核，对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果，上述至少两个卷积核的大小不相同。通过上述方式，可以将不同感受野的结果融合，有利于提高预测效果。在一个具体的例子中，多尺度预测模块15通过两个不同大小的卷积核分别对残差融合处理的特征图进行卷积，最后将两者结果相加，得到预测结果，在本申请实施例中，多尺度预测模块15的第一个卷积核的大小为3×3，第二个卷积核大小为5×5，两者数量均为32，步长为1。
第二上采样模块16用于对多尺度预测模块15输出的预测结果进行上采样处理，得到第二上采样结果。在本申请实施例中，第二上采样模块16为上采样模块2，上采样模块2的卷积核数量为3，卷积核大小为3×3，步长为1。
全局连接模块17用于对待重建图像以及第二上采样结果进行全局连接处理，得到全局连接结果。全局连接是指将待重建图像以及第二上采样结果进行整合，输出一个值。由于全局连接层整合了原始的待重建图像以及超分辨率重建模型再完成图像重建前最后输出的特征信息，可以得到更为宏观的残差结构。在本申请实施例中，全局连接模块17的卷积核数量为33，卷积核大小为3×3，步长为1。
图像重建模块18用于对全局连接模块17输出的全局连接结构进行图像重建处理，得到重建后图像。重建后图像的分辨率大于待重建图像的分辨率。
需要说明的是，在本申请实施例中，卷积模块(包括第一卷积模块21、第二卷积模块42、第三卷积模块53等)均为权重归一化卷积模块，也即将卷积的权重进行归一化，可以提高超分辨率重建模型的收敛速度，减小内存占用。其中，权重归一化的公式如下：
Figure BDA0002478988890000081
其中，v为卷积中原卷积核，g为训练参数，与v维度相同，w为归一化后的卷积核。
结合参考图6，其示出了本申请一个实施例示出的图像处理方法的流程图。
该方法可以包括如下步骤：
步骤601，获取第一图像。
第一图像的分辨率为第一分辨率。第一图像可以是医疗机器或者计算机设备输出的医疗影像图像，也可以是监控设备输出的监控图像，还可以是计算机设备输出的卫星图像。本申请实施例对第一图像的类型不作限定。
可选地，计算机设备在获取第一图像之后，检测第一图像的分辨率是否低于第一阈值，若第一图像的分辨率低于第一阈值，则执行后续图像超分辨率重建处理的步骤，若第一图像的分辨率大于第一阈值，则结束流程。第一阈值可以根据实际需求设定，本申请实施例对此不作限定。
步骤602，通过超分辨率重建模型对第一图像进行图像超分辨率重建处理，得到第二图像。
超分辨率重建模型是采用样本图像对对神经网络进行训练得到的。第二图像的分辨率为第二分辨率，第二分辨率大于第一分辨率。
与传统的超分辨率重建模型不相同的是，本申请实施例提供的超分辨率重建模型包括多尺度残差融合模块、第一上采样模块、多尺度预测模块以及第二上采样模块。上述几个模块的连接关系可以参考图1。
在一些实施例中，步骤602包括如下子步骤：
步骤602a，调用超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合结果。
多尺度残差融合模块为多个。多尺度残差融合模块的数量可以根据实际需求设定，本申请实施例对此不作限定。
第一输入数据是指输入多尺度残差融合模块的数据。在一些实施例中，第一输入数据为以下任意一种：超分辨率重建模型中的特征提取模块输出的特征提取结果、第一上采样结果、下采样模块输出的下采样结果。
当第一输入数据为特征提取模块输出的特征提取结果时，步骤602a具体实现为：调用多尺度残差融合模块对所述特征提取结果进行残差融合处理，得到第一残差融合结果。
当第一输入数据为下采样结果时，步骤602a具体实现为：在下采样阶段，调用多尺度残差融合模块对下采样结果进行残差融合处理，得到第二残差融合结果。具体地，在下采样阶段，调用多尺度残差融合模块对前一下采样模块输出的下采样结果进行残差融合处理，得到第二残差融合结果，第二残差融合结果用于输入后一下采样模块或者后一上采样模块。
当第一输入数据为第一上采样结果时，步骤602a具体实现为：在下采样阶段，调用多尺度残差融合模块对第一上采样结果进行残差融合处理，得到第三残差融合结果。具体地，在上采样阶段，调用多尺度残差融合模块对前一上采样模块输出的第一上采样结果进行残差融合处理，得到第三残差融合结果，第三残差融合结果用于输入后一上采样模块或者多尺度预测模块。
步骤602b，调用超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对拼接结果进行上采样处理，得到第一上采样结果。
在一些实施例中，步骤602b可以包括如下几个子步骤：
步骤602b1，调用第一上采样模块采用目标函数并以通道数量作为拼接维度，对下采样阶段输出的两个第二残差融合结果进行拼接，得到拼接结果；
步骤602b2，调用第一上采样模块采用目标函数并以通道数量作为拼接维度，对第一残差融合结果以及上采样阶段输出的第三残差融合处理结果进行拼接，得到拼接结果。
步骤602c，调用超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果。
在一些实施例中，步骤602c可以具体实现为：调用多尺度预测模块采用至少两个卷积核，对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；至少两个卷积核的大小不相同。
步骤602d，调用超分辨率重建模型中的第二上采样模块对预测结果进行上采样处理，得到第二上采样结果。
在一些实施例中，步骤602还包括如下子步骤：
步骤602e，通过超分辨率重建模型中的全局连接模块对第一图像和第二上采样结果进行全局连接处理，得到全局连接结果。
综上所述，本申请实施例提供的技术方案，通过超分辨率重建模型来完成低分辨图像的图像超分辨率重建处理，进而得到高分辨图像，能有效提高图像超分辨率重建的效率。此外，本申请实施例提供的超分辨率重建模型中，通过多尺度残差融合模块、第一上采样模块、第二上采样模块以及多尺度预测模块的组合，来替代深度较大的深度卷积神经网络来进行特征提取、融合，使得超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用。
请参考图7，其示出了本申请一个实施例提供的超分辨率重建模型的训练方法的流程图。该方法可以包括如下步骤：
步骤701，获取n组样本图像对，n为正整数。
n组样本图像对中的每组样本图像对包括第一样本图像和第二样本图像，第一样本图像的分辨率小于第二样本图像的分辨率。n的取值可以根据超分辨率重建模型的重建精度实际确定，超分辨率重建模型的重建精度越高，则n的取值越大，超分辨率重建模型的重建精度越低，则n的取值越小。
在本申请实施例中，计算机设备可以从DIV2K_train_HR数据集和RealSR_HR数据集中获取高分辨率图像集合(也即第二样本图像集合)，之后对上述高分辨率图像集合中的高分辨率图像进行插值处理，得到低分辨率图像集合(也即第一样本图像集合)。
可选地，计算机设备在获取到n组样本图像对后，对于n组样本图像对中的第k组样本图像对，对第k组样本图像对包括的第一样本图像和第二分别图像分别进行预处理，预处理后的第一样本图像的尺寸与预处理后的第二样本图像的尺寸相同，k为小于或等于n的正整数，预处理后的第一样本图像和预处理后的第二样本图像均用于训练超分辨率重建模型。也即，对于n组样本图像对中的每组样本图像对，计算机设备其包括的第一样本图像和第二样本图像进行预处理，以使得第一样本图像的尺寸与第二样本图像的尺寸相同。通过上述方式，可以使超分辨率重建模型的收敛速度加快，提高超分辨率重建模型的训练效率。
在一种可能的实现方式中，计算机设备分别从第一样本图像和第二样本图像中截取尺寸相同且位置相对应的部分图像，得到预处理后的第一样本图像和预处理后的第二样本图像。在其它可能的实现方式中，计算机设备还可以采用插值处理方法对第一样本图像和第二样本图像进行预处理，得到预处理后的第一样本图像和预处理后的第二样本图像。
步骤702，对于n组样本图像对中的第i组样本图像对，将第i组样本图像对中的第一样本图像输入轻量级神经网络，得到重建图像，i为小于或等于n的正整数。
在本申请实施例中，轻量级神经网络是改进的U-net网络。该改进的U-net网络的结构与超分辨率重建模型的结构相同，此处不作赘述。另外，该改进的U-net网络与超分辨率重建模型不同的是，该改进的U-net网络所包括的各个层的参数与超分辨率重建模型所包括的各个层的参数不相同。
步骤703，将第i组样本图像对中的第二样本图像和重建图像之间的MSE确定为损失函数(loss function)。
MSE是指参数估计值与参数真值之差平方的期望值。在本申请实施例中，第二样本图像也即是参数估计值，重建图像也即是参数真值。损失函数用于估量超分辨率重建模型的预测值与真实值的不一致程度。
步骤704，通过损失函数对轻量级神经网络进行训练，得到超分辨率重建模型，并保存超分辨率重建模型。
计算机设备根据损失函数调节轻量级神经网络的各个隐层的参数，后续重复上述步骤，直至损失函数符合预设条件，最后生成超分辨率重建模型。上述预设条件可以根据实际需求设定，例如第二样本图像与重建图像之间的MSE小于预设条件。本申请实施例对此不作限定。
可选地，计算机设备通过Adam优化器进行迭代训练，直至超分辨率重建模型收敛。此外，训练轻量级神经网络得到超分辨率重建模型时所采用的算法可以是反向传播算法(Back-Propagation，BP)、更快的区域卷积神经网络(faster Regions withConvolutional Neural Network，faster RCNN)算法等，本申请实施例对此不作限定。
综上所述，本申请实施例提供的技术方案，通过采用样本图像对对轻量级神经网络训练得到超分辨率重建模型，由该超分辨率重建模型完成低分辨率图像的图像超分辨率重建，由于对轻量级神经网络训练得到的超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用。
在一个具体的例子中，结合参考图8，其示出了本申请一个实施例示出的图像处理方法的流程图。该方法包括如下步骤：
步骤801，读取低分辨率图片和高分辨率图片，组成训练样本对。
步骤802，将低分辨率图片输入超分网络(也即轻量级神经网络)，输出重建图像。
步骤803，计算高分辨图片与重建图像之间的MSE，作为损失函数。
步骤804，使用Adam优化器并基于损失函数对超分网络进行迭代训练，直至超分辨率重建模型收敛，保存超分辨率重建模型。
步骤805，将待超分辨率重建图像输入超分辨率重建模型，生成相应的重建图像。
以下为本申请装置实施例，对于装置实施例中未详细阐述的部分，可以参考上述方法实施例中公开的技术细节。
请参考图9，其示出了本申请一个示例性实施例提供的图像处理装置的框图。该图像处理装置可以通过软件、硬件或者两者的组合实现成为终端的全部或一部分。该图像处理装置包括：
图像获取模块901，用于获取第一图像，所述第一图像的分辨率为第一分辨率。
图像重建模块902，用于通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率。
其中，所述图像重建模块902，用于：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
综上所述，本申请实施例提供的技术方案，通过超分辨率重建模型来完成低分辨图像的图像超分辨率重建处理，进而得到高分辨图像，能有效提高图像超分辨率重建的效率。此外，本申请实施例提供的超分辨率重建模型中，通过多尺度残差融合模块、第一上采样模块、第二上采样模块以及多尺度预测模块的组合，来替代深度较大的深度卷积神经网络来进行特征提取、融合，使得超分辨率重建模型的层级结构的复杂度较低，在保证图像超分辨重建处理的处理效果的同时，减小计算量和存储占用
在基于图9所述实施例提供的一个可选实施例中，所述第一输入数据为以下任意一种：所述超分辨率重建模型中的特征提取模块输出的特征提取结果、所述第一上采样结果、所述下采样模块输出的下采样结果；
所述图像处理模块902，用于：
调用所述多尺度残差融合模块对所述特征提取结果进行残差融合处理，得到第一残差融合结果；
在下采样阶段，调用所述多尺度残差融合模块对所述下采样结果进行残差融合处理，得到第二残差融合结果；
在上采样阶段，调用所述多尺度残差融合模块对所述第一上采样结果进行残差融合处理，得到第三残差融合结果。
可选地，所述图像处理模块902，用于：
在所述下采样阶段，调用所述多尺度残差融合模块对前一下采样模块输出的所述下采样结果进行残差融合处理，得到所述第二残差融合结果，所述第二残差融合结果用于输入后一下采样模块或者后一上采样模块；
在所述上采样阶段，调用所述多尺度残差融合模块对前一上采样模块输出的所述第一上采样结果进行残差融合处理，得到所述第三残差融合结果，所述第三残差融合结果用于输入后一上采样模块或者所述多尺度预测模块。
在基于图9所述实施例提供的一个可选实施例中，所述图像处理模块902，用于：
调用所述第一上采样模块采用目标函数并以通道数量作为拼接维度，对下采样阶段输出的两个所述第二残差融合结果进行拼接，得到所述拼接结果；
调用所述第一上采样模块采用目标函数并以通道数量作为拼接维度，对所述第一残差融合结果以及上采样阶段输出的所述第三残差融合处理结果进行拼接，得到所述拼接结果。
在基于图9所述实施例提供的一个可选实施例中，所述图像处理模块902，用于：调用所述多尺度预测模块采用至少两个卷积核，对所述目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到所述预测结果；所述至少两个卷积核的大小不相同。
在基于图9所述实施例提供的一个可选实施例中，所述图像处理模块902，还用于：通过所述超分辨率重建模型中的全局连接模块对所述第一图像和所述第二上采样结果进行全局连接处理，得到全局连接结果。
在基于图9所述实施例提供的一个可选实施例中，所述超分辨率重建模型的训练过程如下：
获取n组所述样本图像对，所述n组样本图像对中的每组样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像的分辨率，所述n为正整数；
对于所述n组样本图像对中的第i组样本图像对，将所述第i组样本图像对中的第一样本图像输入轻量级神经网络，得到重建图像；
将所述第i组样本图像对中的第二样本图像和所述重建图像之间的MSE确定为损失函数；
通过所述损失函数对所述轻量级神经网络进行迭代训练，得到超分辨率重建模型，并保存所述超分辨率重建模型。
可选地，所述装置还包括：预处理模块(图9未示出)。
预处理模块，用于对于所述n组样本图像对中的第k组样本图像对，对所述第k组样本图像对包括的第一样本图像和第二样本图像分别进行预处理，预处理后的第一样本图像的尺寸与预处理后的第二样本图像的尺寸相同，所述k为小于或等于所述n的正整数，所述预处理后的第一样本图像和所述预处理后的第二样本图像用于训练所述超分辨率重建模型。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
参考图10，其示出了本申请一个示例性实施例提供的计算机设备的结构方框图。本申请中的计算机设备可以包括一个或多个如下部件：处理器1010和存储器1020。
处理器1010可以包括一个或者多个处理核心。处理器1010利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集，以及调用存储在存储器1020内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器1010可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块芯片进行实现。
可选地，处理器1010执行存储器1020中的程序指令时实现下上述各个方法实施例提供的图像处理方法或者超分辨率重建模型的训练方法。
存储器1020可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器1020包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据等。
上述计算机设备的结构仅是示意性的，在实际实现时，计算机设备可以包括更多或更少的组件，比如：摄像头等，本实施例对此不作限定。
本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由计算机设备的处理器加载并执行以实现上述方法实施例中的图像处理方法。
可选地，上述计算机可读存储介质可以是ROM、RAM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述方法实施例中提供的图像处理方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像，所述第一图像的分辨率为第一分辨率；
通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述通过所述超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，包括：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
2.根据权利要求1所述的方法，其特征在于，所述第一输入数据为以下任意一种：所述超分辨率重建模型中的特征提取模块输出的特征提取结果、所述第一上采样结果、所述下采样模块输出的下采样结果；
所述调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到第一输出数据，包括：
调用所述多尺度残差融合模块对所述特征提取结果进行残差融合处理，得到第一残差融合结果；
在下采样阶段，调用所述多尺度残差融合模块对所述下采样结果进行残差融合处理，得到第二残差融合结果；
在上采样阶段，调用所述多尺度残差融合模块对所述第一上采样结果进行残差融合处理，得到第三残差融合结果。
3.根据权利要求2所述的方法，其特征在于，
所述在下采样阶段，调用所述多尺度残差融合模块对所述下采样结果进行残差融合处理，得到第二残差融合处理结果，包括：
在所述下采样阶段，调用所述多尺度残差融合模块对前一下采样模块输出的所述下采样结果进行残差融合处理，得到所述第二残差融合结果，所述第二残差融合结果用于输入后一下采样模块或者后一上采样模块；
所述在上采样阶段，调用所述多尺度残差融合模块对所述第一上采样结果进行残差融合处理，得到第三残差融合结果，包括：
在所述上采样阶段，调用所述多尺度残差融合模块对前一上采样模块输出的所述第一上采样结果进行残差融合处理，得到所述第三残差融合结果，所述第三残差融合结果用于输入后一上采样模块或者所述多尺度预测模块。
4.根据权利要求1所述的方法，其特征在于，所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，包括：
调用所述第一上采样模块采用目标函数并以通道数量作为拼接维度，对下采样阶段输出的两个所述第二残差融合结果进行拼接，得到所述拼接结果；
调用所述第一上采样模块采用目标函数并以通道数量作为拼接维度，对所述第一残差融合结果以及上采样阶段输出的所述第三残差融合处理结果进行拼接，得到所述拼接结果。
5.根据权利要求1所述的方法，其特征在于，所述调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果，包括：
调用所述多尺度预测模块采用至少两个卷积核，对所述目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到所述预测结果；所述至少两个卷积核的大小不相同。
6.根据权利要求1所述的方法，其特征在于，所述通过所述超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，还包括：
通过所述超分辨率重建模型中的全局连接模块对所述第一图像和所述第二上采样结果进行全局连接处理，得到全局连接结果。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述超分辨率重建模型的训练过程如下：
获取n组所述样本图像对，所述n组样本图像对中的每组样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像的分辨率，所述n为正整数；
对于所述n组样本图像对中的第i组样本图像对，将所述第i组样本图像对中的第一样本图像输入轻量级神经网络，得到重建图像；
将所述第i组样本图像对中的第二样本图像和所述重建图像之间的均方误差MSE确定为损失函数；
通过所述损失函数对所述轻量级神经网络进行迭代训练，得到超分辨率重建模型，并保存所述超分辨率重建模型。
8.根据权利要求7所述的方法，其特征在于，所述获取n组样本图像对之后，还包括：
对于所述n组样本图像对中的第k组样本图像对，对所述第k组样本图像对包括的第一样本图像和第二样本图像分别进行预处理，预处理后的第一样本图像的尺寸与预处理后的第二样本图像的尺寸相同，所述k为小于或等于所述n的正整数，所述预处理后的第一样本图像和所述预处理后的第二样本图像用于训练所述超分辨率重建模型。
9.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取第一图像，所述第一图像的分辨率为第一分辨率；
图像处理模块，用于通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述图像重建模块，具体用于：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合处理结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如下方法：
获取第一图像，所述第一图像的分辨率为第一分辨率；
通过超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，所述第二图像的分辨率为第二分辨率，所述第一分辨率小于所述第二分辨率；
其中，所述通过所述超分辨率重建模型对所述第一图像进行超分辨率重建处理，得到第二图像，包括：
调用所述超分辨率重建模型中的多尺度残差融合模块对第一输入数据进行残差融合处理，得到残差融合处理结果，所述第一输入数据是指输入所述多尺度残差融合模块的数据，所述多尺度残差融合模块为多个；
所述调用所述超分辨率重建模型中的第一上采样模块对不同残差融合模块输出的残差融合结果进行拼接，得到拼接结果，调用第一上采样模块对所述拼接结果进行上采样处理，得到第一上采样结果；
调用所述超分辨率重建模型中的多尺度预测模块对目标残差融合模块输出的残差融合结果进行多尺度预测处理，得到预测结果；
调用所述超分辨率重建模型中的第二上采样模块对所述预测结果进行上采样处理，得到第二上采样结果。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至8任一项所述的图像处理方法。
CN202010372906.1A 2020-05-06 2020-05-06 图像处理方法、装置、计算机设备及存储介质 Active CN111476719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010372906.1A CN111476719B (zh) 2020-05-06 2020-05-06 图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010372906.1A CN111476719B (zh) 2020-05-06 2020-05-06 图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111476719A true CN111476719A (zh) 2020-07-31
CN111476719B CN111476719B (zh) 2023-05-12

Family

ID=71757289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010372906.1A Active CN111476719B (zh) 2020-05-06 2020-05-06 图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111476719B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419152A (zh) * 2020-11-23 2021-02-26 中国科学院深圳先进技术研究院 一种图像超分辨率方法、装置、终端设备和存储介质
CN112488923A (zh) * 2020-12-10 2021-03-12 Oppo广东移动通信有限公司 图像超分辨率重建方法、装置、存储介质及电子设备
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112991167A (zh) * 2021-01-27 2021-06-18 广东工业大学 一种基于分层特征融合网络的航拍图像超分辨率重建方法
CN113298716A (zh) * 2021-05-31 2021-08-24 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN113420641A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN114022348A (zh) * 2021-09-30 2022-02-08 浪潮(北京)电子信息产业有限公司 一种图像的超分辨率方法、系统及相关装置
CN114782624A (zh) * 2022-04-07 2022-07-22 重庆大学 一种3d图像投影融合方法、装置、计算机设备和存储介质
WO2023185706A1 (zh) * 2022-03-31 2023-10-05 京东方科技集团股份有限公司 影像处理方法、影像处理装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109064408A (zh) * 2018-09-27 2018-12-21 北京飞搜科技有限公司 一种多尺度图像超分辨率重建的方法及装置
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109064408A (zh) * 2018-09-27 2018-12-21 北京飞搜科技有限公司 一种多尺度图像超分辨率重建的方法及装置
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419152B (zh) * 2020-11-23 2024-03-29 中国科学院深圳先进技术研究院 一种图像超分辨率方法、装置、终端设备和存储介质
CN112419152A (zh) * 2020-11-23 2021-02-26 中国科学院深圳先进技术研究院 一种图像超分辨率方法、装置、终端设备和存储介质
CN112488923A (zh) * 2020-12-10 2021-03-12 Oppo广东移动通信有限公司 图像超分辨率重建方法、装置、存储介质及电子设备
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112991167A (zh) * 2021-01-27 2021-06-18 广东工业大学 一种基于分层特征融合网络的航拍图像超分辨率重建方法
CN113298716B (zh) * 2021-05-31 2023-09-12 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN113298716A (zh) * 2021-05-31 2021-08-24 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113420641A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN114022348A (zh) * 2021-09-30 2022-02-08 浪潮(北京)电子信息产业有限公司 一种图像的超分辨率方法、系统及相关装置
WO2023185706A1 (zh) * 2022-03-31 2023-10-05 京东方科技集团股份有限公司 影像处理方法、影像处理装置、存储介质
CN114782624A (zh) * 2022-04-07 2022-07-22 重庆大学 一种3d图像投影融合方法、装置、计算机设备和存储介质
CN114782624B (zh) * 2022-04-07 2023-08-25 重庆大学 一种3d图像投影融合方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111476719B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
EP3923233A1 (en) Image denoising method and apparatus
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN110246084B (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN110781923A (zh) 特征提取方法及装置
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112613541A (zh) 目标检测方法及装置、存储介质及电子设备
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN116704206A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115546766B (zh) 车道线生成方法、装置、电子设备和计算机可读介质
CN116681888A (zh) 一种智能图像分割方法及系统
CN111223046A (zh) 一种图像超分辨率重建方法及装置
CN113496228B (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
CN113902617A (zh) 基于参考图像的超分辨率方法、装置、设备及介质
CN113610704B (zh) 图像生成方法、装置、设备和可读存储介质
CN113111891B (zh) 一种图像重建方法、装置、终端设备和存储介质
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant