CN111951167B - 超分辨率图像重建方法、装置、计算机设备和存储介质 - Google Patents

超分辨率图像重建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111951167B
CN111951167B CN202010862957.2A CN202010862957A CN111951167B CN 111951167 B CN111951167 B CN 111951167B CN 202010862957 A CN202010862957 A CN 202010862957A CN 111951167 B CN111951167 B CN 111951167B
Authority
CN
China
Prior art keywords
image
processed
characteristic information
pixel position
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010862957.2A
Other languages
English (en)
Other versions
CN111951167A (zh
Inventor
李文博
周昆
亓鲁
蒋念娟
吕江波
贾佳亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202010862957.2A priority Critical patent/CN111951167B/zh
Publication of CN111951167A publication Critical patent/CN111951167A/zh
Application granted granted Critical
Publication of CN111951167B publication Critical patent/CN111951167B/zh
Priority to JP2022564634A priority patent/JP7482253B2/ja
Priority to PCT/CN2021/106647 priority patent/WO2022042124A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种超分辨率图像重建方法、装置、计算机设备和存储介质，方法包括：获取待处理图像的初始分辨率图像；提取待处理图像的图像特征信息，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数；按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器；通过目标滤波器对初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到待处理图像的超分辨率图像。本申请提供一种新的超分辨率图像重建策略，仅需一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。

Description

超分辨率图像重建方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种超分辨率图像重建方法、装置、计算机设备和存储介质。
背景技术
图像超分辨率旨在从单张低分辨率的图像重建出高分辨率的图像。在过去的十几年里，这项技术被广泛地应用于高清图像、监控视频等领域，取得了长足的发展。
现有技术是通过基于深度学习的方法，大致可以分为两类：一类是直接学习从低分辨率图像到高分辨率图像的映射，二是进行像素自适应滤波。
然而，现有的基于深度学习对图像进行重建的方法虽然有着较好的图像恢复效果，但模型复杂度高，计算力需求大，推理速度慢；因此，现有的超分辨率图像重建方法的效率还较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高超分辨率图像重建效率的方法、装置、计算机设备和存储介质。
一种超分辨率图像重建方法，所述方法包括：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
在其中一个实施例中，所述提取所述待处理图像的图像特征信息，包括：
通过残差网络提取所述待处理图像的第一图像特征信息；
对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
在其中一个实施例中，所述通过残差网络提取所述待处理图像的第一图像特征信息，包括：
将所述待处理图像分为多个大小相同的图像分块；
通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
在其中一个实施例中，所述获取待处理图像的初始分辨率图像，包括：
获取所述待处理图像；
对所述待处理图像进行线性插值处理，将线性插值处理后的图像作为所述初始分辨率图像。
在其中一个实施例中，所述根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数，包括：
对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
在其中一个实施例中，所述按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器，包括：
从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；
将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器。
在其中一个实施例中，所述目标滤波器，通过下述方式计算得到：
Figure BDA0002648776910000021
其中，所述Fi为单个所述目标滤波器；D为所述预定义的滤波器参数信息表；所述L为所述预定义的滤波器参数信息表中所述预设滤波器的数量；所述Φ为所述滤波参数。
一种超分辨率图像重建装置，所述装置包括：
图像获取模块，用于获取待处理图像的初始分辨率图像；
特征提取模块，用于提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
滤波器组合模块，用于按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
图像重建模块，用于通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
上述超分辨率图像重建方法、装置、计算机设备和存储介质，方法包括：获取待处理图像的初始分辨率图像；提取待处理图像的图像特征信息，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数；按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器；通过目标滤波器对初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到待处理图像的超分辨率图像。本申请通过将待处理图像各个像素位置对应的多个滤波参数与预设滤波器进行组合得到目标滤波器，再利用目标滤波器对待处理图像的初始分辨率图像进行滤波即可得到超分辨率图像；本申请提供一种新的超分辨率图像重建策略，仅需一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
附图说明
图1为一个实施例中超分辨率图像重建方法的应用环境图；
图2为一个实施例中超分辨率图像重建方法的流程示意图；
图3为一个实施例中通过预定义网络提取待处理图像的图像特征信息的流程示意图；
图4为一个实施例中预定义的滤波器参数信息表的示意图；
图5为一个实施例中高斯滤波器的获得方式的流程示意图；
图6为一个实施例中得到目标滤波器的流程示意图；
图7为一个实施例中滤波处理的流程示意图；
图8为一个实施例中提取待处理图像的图像特征信息步骤的流程示意图；
图9为一个实施例中通过残差网络提取待处理图像的第一图像特征信息步骤的流程示意图；
图10为一个实施例中超分辨率图像重建装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的超分辨率图像重建方法，可以应用于如图1所示的应用环境中。其中，终端11通过网络与服务器12进行通信。服务器12获取终端11通过网络发送的待处理图像；服务器12获取待处理图像的初始分辨率图像；服务器12提取待处理图像的图像特征信息，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数；服务器12按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器；服务器12通过目标滤波器对初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到待处理图像的超分辨率图像，服务器12将得到待处理图像的超分辨率图像返回至终端11，完成超分辨率图像的重建。其中，终端11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器12可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种超分辨率图像重建方法，以该方法应用于图1中的服务器12为例进行说明，包括以下步骤：
步骤21，获取待处理图像的初始分辨率图像。
其中，待处理图像是单张低分辨率的图像(LR，Low Resolution，低分辨率)；初始分辨率图像是将单张低分辨率的图像进行简单的插值处理后得到的初始高分辨率图像(HR，High Resolution，高分辨率)。
具体地，终端向服务器发送超分辨率图像重建请求，请求中携带有待进行超分辨率图像重建处理的低分辨率的图像，可以是单张也可以是多张图像组成的数据集形式；服务器验证终端发送的超分辨率图像重建请求后，依次从超分辨率图像重建请求中提取低分辨率的待处理图像；另外，服务器获取图像的方式还可以是从请求中获取图像的存储地址以及待处理图像的列表，服务器根据图像列表从终端提供的存储地址中获取图像。
服务器获取到待进行超分辨率图像重建处理的低分辨率的图像后，通过插值算法对低分辨率的待处理图像进行初步处理，得到对应的初始分辨率图像。插值算法可以采用最近邻插值法(Nearest Neighbour Interpolation)、双线性插值法(BilinearInterpolation)以及双三次插值(Bicubic Interpolation)等。待处理图像经过插值处理后得到的初始分辨率图像的分辨率高于待处理图像的分辨率，初始分辨率图像利用后续得到的目标滤波器进行滤波后即可得到超分辨率图像结果。
本步骤服务器从终端处获取待处理图像，并对待处理图像进行初步的处理后得到初始分辨率图像，能够直δ1接用于后期的滤波处理，提升了超分辨率图像重建的效率。
步骤22，提取待处理图像的图像特征信息，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数。
具体地，通过如图3所示的预定义网络提取待处理图像的图像特征信息，并进一步根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数。
该预定义网络可以进一步分为三个部分，分别是局部融合部、像素重组部以及卷积部。
其中，局部融合部由多个局部融合单元(LFB，Local Fusion Block，高效残差学习的局部融合块)组成，每个局部融合单元能够提取待处理图像的图像特征，并进行深度的残差学习；局部融合单元结构如图3下部分拓展框所示，主要由两个分支组成；其中第一个分支经过多个残差模块(RB模块，Residual Block)，多个残差模块的输出连接在一起，经过一个卷积层(Conv)后与参数δ2相乘；另外一个分支由直接与参数δ1相乘；最后将两个分支的结果进行相加处理，作为一个局部融合单元的输出结果。
像素重组部由像素重组部件(Pixelshuffle)构成，能够将低分辨率的图像特征转换为高分辨率的图像特征。
卷积部能够执行卷积操作，回归线性组合系数后，输出线性组合系数作为与待处理图像中各个像素位置对应的多个滤波参数；输出结果的三维大小分别是Hs×Ws×L，其中H为图片高度，W为图片宽度，s为放大倍数，L为预设滤波器数量。
本步骤通过包含有局部融合部、像素重组部以及卷积部的预定义网络，对待处理图像的图像特征信息进行提取处理，得到图像特征信息后进一步获取对应的滤波参数，模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
步骤23，按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器。
其中，如图4所示为本申请中的预定义的滤波器参数信息表，也即预定义滤波器字典，该信息表中包含多个预设滤波器，并且其个数与各个像素位置对应的多个滤波参数个数相同。该预定义的滤波器参数信息表由两种类型的滤波器构成，分别是高斯和高斯差，高斯差是有两个高斯滤波器相减处理得到。
如图5所示，是高斯滤波器的获得方式：
1)由一个标准的圆形滤波器，通过控制长轴(σ1)和短轴(σ2)的大小，使之变成一个椭圆；2)通过对椭圆进行逆时针旋转(旋转度数为θ)，得到倾斜了一定角度的椭圆；3)然同时调整椭圆的长短轴(σ1与σ2同时与系数γ相乘)，对其进行放缩，得到最后的结果。
图4详细描述了每个滤波器对应的系数，其中γ包含三个值1.0，0.6和0.2，r的含义是短轴与长轴的比值(σ1除以σ2)，有1.0，0.8，0.6，0.4，0.2这几个值，θ是旋转的角度，有0度，30度，60度，90度，120度，150度。
具体地，如图6所示，是将对应的各个预设滤波器进行组合并得到目标滤波器的示意图。
服务器可以根据预定义的滤波器参数信息表将各个像素位置对应的多个滤波参数对应的预设滤波器进行组合，以得到各个像素位置对应的目标滤波器。
本步骤根据像素位置，将滤波参数与预设滤波器进行对应组合，得到待处理图像中各个像素位置对应的目标滤波器；利用目标滤波器对待处理图像的初始分辨率图像进行滤波即可得到超分辨率图像；本模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
步骤24，通过目标滤波器对初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到待处理图像的超分辨率图像。
具体地，滤波是图像处理中常见的一种处理方法；通过图6对应的步骤可以得到与每个像素点都对应的不同滤波器组合，将这些滤波器作用在经过插值处理得到的初始分辨率图像后，可得到最终的结果。
如图7的滤波处理示意图所示，将获取到的待处理图像的初始分辨率图像作为输入，利用与待处理图像中各个像素位置对应的目标滤波器作为滤波处理装置，通过单次滤波后即可得到超分辨率图像HR-Y，作为超分辨率图像重建结果。
本实施例通过一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
上述超分辨率图像重建方法，包括：获取待处理图像的初始分辨率图像；提取待处理图像的图像特征信息，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数；按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器；通过目标滤波器对初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到待处理图像的超分辨率图像。本申请通过将待处理图像各个像素位置对应的多个滤波参数与预设滤波器进行组合得到目标滤波器，再利用目标滤波器对待处理图像的初始分辨率图像进行滤波即可得到超分辨率图像；本申请提供一种新的超分辨率图像重建策略，仅需一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度明显提升，整个模型框架易于优化，整体提高了超分辨率图像重建的效率。
在一个实施例中，如图8所示，上述步骤22，提取待处理图像的图像特征信息，包括：
步骤81，通过残差网络提取待处理图像的第一图像特征信息；
步骤82，对第一图像特征信息进行像素重组，得到第一图像特征信息对应的第二图像特征信息，作为待处理图像的图像特征信息；第二图像特征信息对应的图像分辨率高于第一图像特征信息对应的图像分辨率。
具体地，如图3所示，局部融合单元相当于一个残差网络，其中可以包括一个或多个级联的残差块、串联的拼接层、串联的卷积层、通道分离模块等，残差块的输入与特征提取的输出相连；特征融合模块提取残差块输入的特征图像和最后一级残差块的输出特征图像，并将这些不同层级的特征图像进行融合后输出至下一残差网络，直至迭代训练训完成。
像素重组模块获取多层残差网络从图像块中提取到的深层特征后，将特征图像进行重组，提升图像的分辨率；之后可采用一个卷积层，用于回归线性组合系数后得到与待处理图像中各个像素位置对应的多个滤波参数。
本实施例通过残差网络获取第一图像特征信息，再通过像素重组将第一图像特征信息重组为第二图像特征信息，已得到待处理图像完整的图像特征信息，可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
在一个实施例中，如图9所示，上述步骤71，通过残差网络提取待处理图像的第一图像特征信息，包括：
步骤91，将待处理图像分为多个大小相同的图像分块；
步骤92，通过残差网络中包含的多个残差分支，分别提取多个图像分块的特征信息，作为待处理图像的第一图像特征信息。
具体地，将待处理图像进行分块处理，分别裁剪为像素大小尺寸相同的图像块；将图像块分别输入残差网络，通过残差网络进行特征提取后分别得到与、多个图像分块的特征信息，以此作为待处理图像的第一图像特征信息。本实施例将图像进行分块，提高了图像的处理运行速度。
在一个实施例中，上述步骤22，获取待处理图像的初始分辨率图像，包括：获取待处理图像；对待处理图像进行线性插值处理，将线性插值处理后的图像作为初始分辨率图像。
具体地，服务器获取到待处理图像，通过对待处理图像进行线性插值处理，例如通过双三次插值方法放大待处理图像，可得到待处理图像的初始分辨率图像。本实施例通过简单的线性插值即可得到初步的高分辨率图像，使用的数据较少，模型单元较少，配置简单，运行速度较快。
在一个实施例中，上述步骤21，根据图像特征信息确定出与待处理图像中各个像素位置对应的多个滤波参数，包括：对图像特征信息进行卷积处理，得到待处理图像中各个像素位置对应的组合系数；组合系数包括相应像素位置对应的多个滤波参数。
具体地，通过卷积处理，可得到与待处理图像中各个像素位置对应的组合系数；组合系数由各个像素位置对应的多个滤波参数组成，其三维大小分别是Hs，Ws，L，其中H为图片高度，W为图片宽度，s为放大倍数，L为预设滤波器的数量。本实施例通过简单的卷积，使得组合系数回归，得到与待处理图像中各个像素位置对应的多个滤波参数；之后通过将待处理图像各个像素位置对应的多个滤波参数与预设滤波器进行组合得到目标滤波器，再利用目标滤波器对待处理图像的初始分辨率图像进行滤波即可得到超分辨率图像，仅需一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
在一个实施例中，按照各个像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到待处理图像中各个像素位置对应的目标滤波器，包括：
从预定义的滤波器参数信息表中，确定出多个与滤波参数对应的预设滤波器；将多个与滤波参数对应的预设滤波器进行线性加权，得到待处理图像中各个像素位置对应的目标滤波器。
具体地，预定义的滤波器参数信息表即为预定义字典；假设一个字典中一共有L个滤波器，图片的每个像素位置都会通过图像特征信息提取后，得到不同的L个系数，每个系数乘上预定义的滤波器参数信息表内对应的预设滤波器，并将乘积结果进行求和后，即可得到每个像素对应的最终滤波器，作为与待处理图像中各个像素位置对应的目标滤波器。本实施例通过将待处理图像各个像素位置对应的多个滤波参数与预设滤波器进行组合得到目标滤波器，再利用目标滤波器对待处理图像的初始分辨率图像进行滤波即可得到超分辨率图像；仅需一次滤波就可以得到很好的图像恢复效果，同时模型数量较少，计算速度加快，模型框架易于优化，整体提高了超分辨率图像重建的效率。
在一个实施例中，目标滤波器，通过下述方式计算得到：
Figure BDA0002648776910000111
其中，Fi为单个目标滤波器；D为预定义的滤波器参数信息表；L为预定义的滤波器参数信息表中预设滤波器的数量；Φ为滤波参数。
具体地，每个系数乘上预定义的滤波器参数信息表内对应的预设滤波器，并将乘积结果进行求和后，即可得到每个像素对应的最终滤波器，作为与待处理图像中各个像素位置对应的目标滤波器。本实施例通过将待处理图像各个像素位置对应的多个滤波参数与预设滤波器进行组合得到目标滤波器，整体提高了超分辨率图像重建的效率。
在一个实施例中，本申请所提供的超分辨率图像重建方法，还可以用于图像去噪以及图像去JPEG压缩。
具体地，图像去噪和图像去JPEG压缩的具体流程跟上述超分辨率图像重建方法一致，仅需去掉对待处理图像进行线性插值的步骤，以及无需对第一图像特征信息进行像素重组的步骤；因为图像去噪和图像去JPEG压缩时不需要进行上采样，输入输出大小相同。
应该理解的是，虽然图2、8-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、8-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种超分辨率图像重建装置，包括：图像获取模块101、特征提取模块102、滤波器组合模块103和图像重建模块104，其中：
图像获取模块101，用于获取待处理图像的初始分辨率图像；
特征提取模块102，用于提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
滤波器组合模块103，用于按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
图像重建模块104，用于通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
在一个实施例中，特征提取模块102还用于通过残差网络提取所述待处理图像的第一图像特征信息；对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
在一个实施例中，特征提取模块102还用于将所述待处理图像分为多个大小相同的图像分块；通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
在一个实施例中，特征提取模块102还用于获取所述待处理图像；对所述待处理图像进行线性插值处理，将线性插值处理后的图像作为所述初始分辨率图像。
在一个实施例中，特征提取模块102还用于对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
在一个实施例中，滤波器组合模块103还用于从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器。
在一个实施例中，滤波器组合模块103还用于通过下述方式计算得到目标滤波器：
Figure BDA0002648776910000121
其中，所述Fi为单个所述目标滤波器；D为所述预定义的滤波器参数信息表；所述L为所述预定义的滤波器参数信息表中所述预设滤波器的数量；所述Φ为所述滤波参数。
关于超分辨率图像重建装置的具体限定可以参见上文中对于超分辨率图像重建方法的限定，在此不再赘述。上述超分辨率图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储超分辨率图像重建数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超分辨率图像重建方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过残差网络提取所述待处理图像的第一图像特征信息；对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述待处理图像分为多个大小相同的图像分块；通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述待处理图像；对所述待处理图像进行线性插值处理，将线性插值处理后的图像作为所述初始分辨率图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过下述方式计算得到目标滤波器：
Figure BDA0002648776910000141
其中，所述Fi为单个所述目标滤波器；D为所述预定义的滤波器参数信息表；所述L为所述预定义的滤波器参数信息表中所述预设滤波器的数量；所述Φ为所述滤波参数。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过残差网络提取所述待处理图像的第一图像特征信息；对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述待处理图像分为多个大小相同的图像分块；通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述待处理图像；对所述待处理图像进行线性插值处理，将线性插值处理后的图像作为所述初始分辨率图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过下述方式计算得到目标滤波器：
Figure BDA0002648776910000151
其中，所述Fi为单个所述目标滤波器；D为所述预定义的滤波器参数信息表；所述L为所述预定义的滤波器参数信息表中所述预设滤波器的数量；所述Φ为所述滤波参数。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种超分辨率图像重建方法，其特征在于，所述方法包括：
获取待处理图像的初始分辨率图像；
提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到与所述待处理图像中各个所述像素位置对应的目标滤波器；
通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像；
所述按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器，包括：
从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；
将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
所述根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数，包括：
对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像的图像特征信息，包括：
通过残差网络提取所述待处理图像的第一图像特征信息；
对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
3.根据权利要求2所述的方法，其特征在于，所述通过残差网络提取所述待处理图像的第一图像特征信息，包括：
将所述待处理图像分为多个大小相同的图像分块；
通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
4.根据权利要求1所述的方法，其特征在于，所述获取待处理图像的初始分辨率图像，包括：
获取所述待处理图像；
对所述待处理图像进行线性插值处理，将线性插值处理后的图像作为所述初始分辨率图像。
5.根据权利要求1所述的方法，其特征在于，所述目标滤波器，通过下述方式计算得到：
Figure FDA0003012879760000021
其中，所述Fi为单个所述目标滤波器；D为所述预定义的滤波器参数信息表；所述L为所述预定义的滤波器参数信息表中所述预设滤波器的数量；所述Φ为所述滤波参数。
6.一种超分辨率图像重建装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像的初始分辨率图像；
特征提取模块，用于提取所述待处理图像的图像特征信息，根据所述图像特征信息确定出与所述待处理图像中各个像素位置对应的多个滤波参数；
滤波器组合模块，用于按照各个所述像素位置对应的多个滤波参数，分别将对应的各个预设滤波器进行组合，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
图像重建模块，用于通过所述目标滤波器对所述初始分辨率图像中对应的像素位置的像素信息进行滤波处理，得到所述待处理图像的超分辨率图像；
所述滤波器组合模块，还用于从预定义的滤波器参数信息表中，确定出多个与所述滤波参数对应的预设滤波器；将多个与所述滤波参数对应的预设滤波器进行线性加权，得到所述待处理图像中各个所述像素位置对应的目标滤波器；
所述特征提取模块，还用于对所述图像特征信息进行卷积处理，得到所述待处理图像中各个像素位置对应的组合系数；所述组合系数包括相应像素位置对应的多个滤波参数。
7.根据权利要求6所述的装置，其特征在于，所述特征提取模块，还用于通过残差网络提取所述待处理图像的第一图像特征信息；对所述第一图像特征信息进行像素重组，得到所述第一图像特征信息对应的第二图像特征信息，作为所述待处理图像的图像特征信息；所述第二图像特征信息对应的图像分辨率高于所述第一图像特征信息对应的图像分辨率。
8.根据权利要求7所述的装置，其特征在于，所述特征提取模块还用于将所述待处理图像分为多个大小相同的图像分块；通过所述残差网络中包含的多个残差分支，分别提取多个所述图像分块的特征信息，作为所述待处理图像的第一图像特征信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202010862957.2A 2020-08-25 2020-08-25 超分辨率图像重建方法、装置、计算机设备和存储介质 Active CN111951167B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010862957.2A CN111951167B (zh) 2020-08-25 2020-08-25 超分辨率图像重建方法、装置、计算机设备和存储介质
JP2022564634A JP7482253B2 (ja) 2020-08-25 2021-07-16 画像処理方法、装置、コンピュータ機器及び記憶媒体
PCT/CN2021/106647 WO2022042124A1 (zh) 2020-08-25 2021-07-16 超分辨率图像重建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010862957.2A CN111951167B (zh) 2020-08-25 2020-08-25 超分辨率图像重建方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111951167A CN111951167A (zh) 2020-11-17
CN111951167B true CN111951167B (zh) 2021-05-18

Family

ID=73366367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010862957.2A Active CN111951167B (zh) 2020-08-25 2020-08-25 超分辨率图像重建方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
JP (1) JP7482253B2 (zh)
CN (1) CN111951167B (zh)
WO (1) WO2022042124A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951167B (zh) * 2020-08-25 2021-05-18 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质
CN113034368A (zh) * 2021-04-01 2021-06-25 深圳思谋信息科技有限公司 图像超分辨率模型训练方法、装置、计算机设备和介质
CN113808020A (zh) * 2021-09-18 2021-12-17 北京字节跳动网络技术有限公司 图像处理方法及设备
CN114219710A (zh) * 2021-12-13 2022-03-22 北京奕斯伟计算技术有限公司 超分辨率图像重建方法、装置、电子设备及存储介质
CN115564653A (zh) * 2022-09-30 2023-01-03 江苏济远医疗科技有限公司 一种多因子融合的图像超分辨率方法
CN116503933B (zh) * 2023-05-24 2023-12-12 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574336A (zh) * 2015-01-19 2015-04-29 上海交通大学 基于自适应亚模字典选择的超分辨率图像重建系统
CN105389778A (zh) * 2015-11-04 2016-03-09 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及系统
WO2017075768A1 (zh) * 2015-11-04 2017-05-11 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
CN108830791A (zh) * 2018-05-09 2018-11-16 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN110070486A (zh) * 2018-01-24 2019-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及电子设备
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166976A (ja) * 2014-03-04 2015-09-24 学校法人慶應義塾 画像処理装置、画像処理方法及びプログラム
US9633274B2 (en) * 2015-09-15 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep Gaussian conditional random field network
CN107194879A (zh) * 2017-06-26 2017-09-22 司马大大（北京）智能系统有限公司 超分辨率重建方法、装置及电子设备
CN107644398B (zh) * 2017-09-25 2021-01-26 上海兆芯集成电路有限公司 图像插补方法及其相关图像插补装置
CN108776954B (zh) * 2018-06-26 2020-04-28 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN110838085B (zh) * 2018-08-15 2021-09-24 Tcl科技集团股份有限公司 一种图像的超分辨率重建方法、装置及电子设备
CN111951167B (zh) * 2020-08-25 2021-05-18 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574336A (zh) * 2015-01-19 2015-04-29 上海交通大学 基于自适应亚模字典选择的超分辨率图像重建系统
CN105389778A (zh) * 2015-11-04 2016-03-09 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
WO2017075768A1 (zh) * 2015-11-04 2017-05-11 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及系统
CN110070486A (zh) * 2018-01-24 2019-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及电子设备
CN108830791A (zh) * 2018-05-09 2018-11-16 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lightweight image super-resolution with adaptive weighted learning network;Wang C 等;《arXiv preprint arXiv:1904.02358》;20191231;第1-9页 *
Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering;Xie J 等;《2014 IEEE International Conference on Multimedia and Expo (ICME)》;20141231;第1-6页 *
基于多组耦合字典及交替学习的图像超分辨率重建;孙广玲 等;《应用科学学报》;20121231;第642-648页 *

Also Published As

Publication number Publication date
WO2022042124A1 (zh) 2022-03-03
JP7482253B2 (ja) 2024-05-13
JP2023523047A (ja) 2023-06-01
CN111951167A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
JP2021100247A (ja) 歪んだドキュメント画像の矯正方法及び装置
CN109410123B (zh) 基于深度学习的去除马赛克的方法、装置及电子设备
CN110246084B (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
Li et al. A lightweight multi-scale channel attention network for image super-resolution
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN111951165B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
Dai et al. Image super-resolution via residual block attention networks
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN115358932A (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN114913094A (zh) 图像修复方法、装置、计算机设备、存储介质和程序产品
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN113673675A (zh) 模型训练方法、装置、计算机设备和存储介质
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN112950478B (zh) 基于双重身份属性约束的人脸超分辨率方法及系统
Liang et al. Jointly solving deblurring and super-resolution problems with dual supervised network
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN114494006A (zh) 图像重建模型的训练方法、装置、电子设备及存储介质
US12094084B2 (en) Multi-channel feature map fusion
CN115861100A (zh) 视频处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Wenbo

Inventor after: Zhou Kun

Inventor after: Qi Lu

Inventor after: Jiang Nianjuan

Inventor after: Lv Jiangbo

Inventor before: Li Wenbo

Inventor before: Zhou Kun

Inventor before: Qi Lu

Inventor before: Jiang Nianjuan

Inventor before: Lv Jiangbo

Inventor before: Jia Jiaya