CN113096011A - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113096011A CN113096011A CN202110319786.3A CN202110319786A CN113096011A CN 113096011 A CN113096011 A CN 113096011A CN 202110319786 A CN202110319786 A CN 202110319786A CN 113096011 A CN113096011 A CN 113096011A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- images
- rearranged
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000013139 quantization Methods 0.000 claims abstract description 72
- 230000003321 amplification Effects 0.000 claims abstract description 56
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 230000008707 rearrangement Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 229910009207 xMxN Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种图像处理方法、装置及电子设备，包括：对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。本公开可以提高图像分辨率的放大能力。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及电子设备。
背景技术
超分辨率视频增强一般是指：对输入低分辨率视频，利用传统图像处理算法、传统机器学习方法乃至深度学习方法将低分辨率视频放大至高分辨率视频的过程。目前，通常采用基于深度学习的超分网络进行超分辨率视频增强，且基于深度学习的超分网络处理流程中可以后置上采样结构将输入图像放大至所需要的尺寸。
后置上采样结构指的是将图像的特征图像利用反卷积网络将图像信息进行综合，以得到高分辨率图像。然而，后置上采样结构中的上采样模块受限于反卷积网络的结构特性，通常只能进行整数倍的上采样，如此，现有技术中超分辨率视频增强存在图像分辨率的放大能力比较差的问题。
发明内容
本公开提供一种图像处理方法、装置及电子设备，以至少解决相关技术中超分辨率视频增强存在图像分辨率的放大能力比较差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
可选的，所述针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像的步骤包括：
针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
可选的，所述基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
可选的，所述基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；
基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；
基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
可选的，所述针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像的步骤包括：
针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；
其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
特征提取模块，被配置为执行对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
重排模块，被配置为执行针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
放大特征图像生成模块，被配置为执行基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
特征合成模块，被配置为执行对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
可选的，所述重排模块，具体被配置为针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
可选的，所述放大特征图像生成模块包括：
第一获取单元，被配置为执行基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
第一生成单元，被配置为执行基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
第二生成单元，被配置为执行基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
可选的，所述第二生成单元，具体被配置为执行基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
可选的，所述重排模块，具体被配置为执行针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述放大特征图像生成模块包括：
第二获取单元，被配置为执行基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
第三生成单元，被配置为执行将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面中任一项所述的图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面中任一项所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括：可执行指令，当所述可执行指令在计算机上运行时，使得计算机能够执行第一方面中任一项所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例通过三部分将低分辨率图像放大至高分辨率图像，第一部分，对第一图像进行特征提取，获得所述第一图像对应的N个特征图像。第二部分，针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像；基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像。第三部分，对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
由于在第二部分中，针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像；因此，可以基于任意倍数的分辨率放大参数和这K个第一待重排特征图像，重构高分辨率图像，从而可以提高图像分辨率的放大能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是基于深度学习的超分网络系统的结构示意图；
图3是通过分步放大的方式将特征图像的分辨率放大的上采样模块的结构示意图；
图4是根据一示例性实施例示出的一种图像处理装置的框图；
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，包括以下步骤。
在步骤S101中，对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
在步骤S102中，针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
在步骤S103中，基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
在步骤S104中，对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
首先，介绍本公开的图像处理方法的应用场景，该图像处理方法可以应用于对图像进行分辨率放大的场景，也可以应用于对视频进行分辨率放大的场景，即超分辨率视频增强的场景。针对超分辨率视频增强的场景，需要对视频中每个图像都进行相同的分辨率放大处理，以达到将视频进行分辨率放大的目的。
该图像处理方法通常可以应用于电子设备，该电子设备可以为终端设备，也可以为服务器，这里不做具体限定。
另外，该图像处理方法可以应用于图像超分系统，该图像超分系统可以为基于深度学习的超分网络系统，如图2所示，该系统包括多个卷积神经网络和上采样模块。其中，第一卷积神经网络用于对3通道彩色或单通道灰度的低分辨率图像进行特征提取分析，并对该低分辨率图像进行分解和变换，形成多个特征图像，上采样模块用于对图像特征进行上采样，以将低分辨率特征图像放大至高分辨率特征图像，而第二卷积神经网络用于对放大后的高分辨率特征图像进行综合分析，并加工合成为最终的3通道彩色或单通道灰度的高分辨率图像。
并且，为了节省了前端特征分析的计算开销，在基于深度学习的超分网络系统采用后置上采样结构，即上采样模块后置于第一卷积神经网络之后，是对第一卷积神经网络输出的特征图像进行上采样，以将特征图像进行分辨率放大。相对于前置上采样结构，后置上采样结构的系统，其前端信号处理部分即第一卷积神经网络，均是在低分辨率图像即小尺寸图像上进行，因此可以有效节约计算开销。
在步骤S101中，所述第一图像可以是单独的一张图片，也可以是视频中的任意一张图像，所述第一图像可以为3通道彩色图像或单通道灰度图像，且其相对于分辨率放大后的图像，其可以称之为低分辨率图像。以下所述第一图像以3通道彩色图像为例进行详细说明。
所述第一图像尺寸可以表示为WxH，其可以包括两个方向上的特征，分别为第一方向和第二方向，第一方向和第二方向可以为两个相互垂直的方向，比如为x方向和y反向，或者可以称之为长和宽的方向。
每个方向可以包括多个特征维度，比如100个特征维度，W表示在x方向包括的特征维度数量，H表示在y方向包括的特征维度数量，两个方向上的特征维度数量相乘即为第一图像的像素点个数。另外，由于第一图像为3通道彩色图像，因此，第一图像的图像参数可以表示为(H，W，3)。
可以将第一图像输入至基于深度学习的超分网络系统，第一卷积神经网络对输入的第一图像进行特征提取分析，并对该第一图像进行分解和变换，最终输出N个特征图像，N为正整数。其中，N是由第一卷积神经网络的处理能力决定的，数量越多，处理能力越好，后续对特征图像进行分辨率放大则越精细。
这N个特征图像的图像参数可以表示为(N，H，W)，其中，N表示图像的数量，可以包括颜色、语义和细节纹理等特征信息。也就是说，第一卷积神经网络最终输出的是N个尺寸为WxH的特征图像，每个特征图像上的像素点表征第一图像的特征。
在步骤S102中，第一卷积神经网络的输出进入至上采样模块，由上采样模块对这多个特征图像进行分辨率放大，得到多个目标放大特征图像。其中，一个特征图像得到一个目标放大特征图像。所述上采样模块可以包括至少一个卷积神经网络。
针对多个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数。具体的，可以基于预设量化精度对所述特征图像的特征维度进行扩展，生成所述特征图像对应的多个第一待重排特征图像。其中，所述预设量化精度基于上采样模块的卷积神经网络中的扩展维度决定，该扩展维度可以表示为M，表示可以将一个特征图像在每个方向上的特征维度扩展成M倍。
所述分辨率放大倍数将以M为基础进行量化，M的大小决定了分辨率放大倍数的量化精度，M越大量化越精细。具体的，特征图像在每个方向的特征维度中相邻两个像素点可以按照M进行等分处理，比如，M为10，相邻两个像素点的间距为1，则按照10等分将1划分成10等分，每个等分为0.1，量化精度则为0.1。然后，将特征图像在每个方向上的特征维度按照所述预设量化精度的不同整数倍进行扩展。
举个例子来说，针对特征图像在y方向的特征维度，其包括100个特征维度，位置分别为0、1、2…99，按照所述预设量化精度的不同整数倍将特征维度扩展成10倍，即扩展成10个第一待重排特征图像，每个第一待重排特征图像是基于预设量化精度对所述特征图像中的特征信息进行重排后生成的图像，分别为，特征维度的位置包括0、1、2…99的第一待重排特征图像，特征维度的位置包括0.1、1.1、2.1…99.1的第一待重排特征图像，…，特征维度的位置包括0.8、1.8、2.8…99.8的第一待重排特征图像，特征维度的位置包括0.9、1.9、2.9…99.9的第一待重排特征图像。
可以有两种方式基于预设量化精度对所述特征图像中的特征信息进行重排，第一种为整体放大的方式，即将特征图像在第一方向和第二方向的特征维度同时进行重排，以扩展特征维度。由于在一个方向上的特征维度被扩展成M倍，因此，若同时在两个方向的特征维度进行扩展，则特征维度被扩展成MxM倍，也就是说，针对每个特征图像，其特征维度被扩展成MxM倍，而其有N个特征图像，则待重排特征图像的个数为MxMxN。即在该种应用场景下，K等于MxM。
第二种是分步放大的方式，即首先在y方向进行放大，在第一方向上即y方向上进行放大后，随后在第二方向即x方向进行放大。在一个方向上的特征维度扩展成M倍，因此，针对N个特征图像，第一待重排特征图像的个数为MxN，即在该种应用场景下，K等于M。而经过两次放大，则最终生成的待重排特征图像的个数为2xMxN。相对于整体放大的方式，分步放大的方式可以远远降低待重排特征图像的个数，因此，通过分步放大的方式，可以有效提高信息以及内存的利用率。
在步骤S103中，所述分辨率放大参数r可以为任意的放大倍数，其可以为整数，也可以为非整数，可以基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像。
具体的，可以基于所述分辨率放大参数确定高分辨率特征图像的像素点在第一待重排特征图像中的抽取位置，然后在该抽取位置抽取高分辨率特征图像中的像素点的像素值。
比如，若分辨率放大参数为1.1，M为10，图像尺寸为100x100，对于第一个特征维度的像素点，特征图像在第一方向的特征维度的位置为0，则第一个特征维度的像素点在第一待重排特征图像中的抽取位置为位置0的像素点，而对于特征图像的多个第一待重排特征图像，在第一方向的特征维度包括位置0的第一待重排特征图像为特征维度的位置包括0、1、2、3…99的第一待重排特征图像，因此，可以从该第一待重排特征图像中为0的位置抽取该特征维度的像素点的像素值。
对于第二特征维度的像素点，特征图像在第一方向的特征维度上的位置为1，1/1.1＝0.9，因此，计算得到在第一待重排特征图像在第一方向的特征维度的位置为0.9，而在第一方向的特征维度包括位置0.9的第一待重排特征图像为特征维度的位置包括0.9、1.9、2.9…99.9的第一待重排特征图像，因此，可以从该第一待重排特征图像中为0.9的位置处抽取该特征维度的像素点的像素值。
对于其他特征维度的像素点，抽取方式与上述类似，这里不对其进行一一赘述。另外，在从多个第一待重排特征图像抽取完成高分辨率特征图像中在第一方向上的所有特征维度的像素点。然后，可以基于所述多个第一像素点构成第一放大特征图像，该第一放大特征图像在第一方向上的分辨率已经放大了r倍，之后将第一放大特征图像在第二方向上的分辨率放大r倍，即可以等同于将特征图像的分辨率放大r倍，得到特征图像的目标放大特征图像。
另外，若多个第一待重排特征图像是基于整体放大的方式对特征图像的特征信息进行重排生成，则基于特征图像在第一方向和第二方向的特征维度的位置和分辨率放大参数，确定在第一待重排特征图像中的抽取位置，然后在该抽取位置抽取高分辨率特征图像中的像素点的像素值即可。
比如，像素点位置为(1,1)，在第一待重排特征图像中的抽取位置即为(0.9,0.9)，确定包括该抽取位置的第一待重排特征图像，相应的，在该第一待重排特征图像中的该抽取位置抽取该像素点的像素值即可。
若所述多个第一待重排特征图像基于所述预设量化精度对所述特征图像在第一方向和第二方向上的特征信息进行重排生成，可以将所述多个第一像素点构成的图像作为所述特征图像的目标放大特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向。
也就是说，在基于分辨率放大参数和特征图像中所有像素点的位置确定特征图像的目标放大特征图像中所有第一像素点的抽取位置，并在生成的多个第一待重排特征图像中的相应抽取位置分别抽取获得所述多个第一像素点中每个第一像素点之后，将所述多个第一像素点构成的图像直接作为所述特征图像的目标放大特征图像。
若所述多个第一待重排特征图像基于所述预设量化精度对所述特征图像在第一方向的特征信息进行重排生成，可以基于所述多个第一像素点构成第一放大特征图像，该第一放大特征图像在第一方向上的分辨率已经放大了r倍，之后将第一放大特征图像在第二方向上的分辨率放大r倍，即可得到特征图像的目标放大特征图像。
在步骤S104中，上采样模块输出N个特征图像的目标放大特征图像之后，可以将这N个特征图像的目标放大特征图像输入至第二卷积神经网络，第二卷积神经网络将对目标放大特征图像进行综合分析，并加工合成为第二图像，即3通道彩色高分辨率图像，表示为(rxH，rxW，3)。
本实施例中，通过三部分将低分辨率图像放大至高分辨率图像，第一部分，对第一图像进行特征提取，获得所述第一图像对应的N个特征图像。第二部分，针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像；基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像。第三部分，对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
由于在第二部分中，针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像；因此，可以基于任意倍数的分辨率放大参数和这K个第一待重排特征图像，重构高分辨率图像，从而可以提高图像分辨率的放大能力。
并且，相对于前置上采样结构，可以节省前端特征分析的计算开销，与常见后置上采样结构相比，摆脱了上采样的固定倍数限制，可以高效地实现非整数倍的分辨率放大，而且上采样模块作用域为特征图像，能够极大化信息利用率。另外，基于预设量化精度将非整数倍的分辨率放大任务量化至有限精度，有效兼容了各种非整数倍的分辨率放大任务的训练以及推理，通过控制放大量化精度的方式还可以直观地控制计算复杂度。
针对每个特征图像，以下实施例通过分步放大的方式将特征图像的分辨率放大至r倍，得到特征图像的目标放大特征图像。
参见图3，图3是通过分步放大的方式将特征图像的分辨率放大的上采样模块的结构示意图，如图3所示，上采样模块包括第三卷积神经网络、第一特征抽取重排单元、第四卷积神经网络和第二特征抽取重排单元。
可选的，所述步骤S102具体包括：
针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
在得到第一卷积神经网络输出的特征图像之后，针对每个特征图像，基于第三卷积神经网络基于预设量化精度对所述特征图像在第一方向上的特征信息进行重排，以将第一方向上的特征维度进行扩展，生成M个第一待重排特征图像，表示为(M，H，W)，最终输出MxN个尺寸为WxH的第一待重排特征图像，表示为(MxN，H，W)。其中，第一方向可以为y方向。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述步骤S103具体包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
这里，可以将第三卷积神经网络的输出作为第一特征抽取重排单元的输入，第一特征抽取重排单元用于针对每个特征图像，从所述特征图像的多个第一待重排特征图像中抽取多个第一像素点，得到第一目标特征信息。基于第一目标特征信息可以组合成第一放大特征图像。其中，该第一放大特征图像为特征图像在第一方向上的分辨率放大了r倍的特征图像。
具体的，首先确定在所述第一方向的每个特征维度上所需要抽取的多个第一目标像素点，比如，特征图像尺寸为100x100，若需要对特征图像在第一方向的特征维度放大1.1倍，则需要在第一方向上抽取110个特征维度，每个特征维度上抽取100个像素点，这样才能组合得到第一放大特征图像。
针对在第一方向的每个特征维度上所需要抽取的多个第一目标像素点，基于所述分辨率放大参数从所述多个第一待重排特征图像中确定第一目标待重排特征图像。比如，针对第二个特征维度所需要抽取的多个第一目标像素点，其特征维度的位置为1/1.1＝0.9，而包括该位置的是这多个第一待重排特征图像中的编号为9的第一待重排特征图像，则编号为9的第一待重排特征图像即为该特征维度对应的第一目标待重排特征图像，在所述第一目标待重排特征图像中确定每个第一目标像素点的第一抽取位置，并抽取获得该特征维度对应的多个第一目标像素点。
从多个第一待重排特征图像中抽取多个第一像素点的简单代码如下，其中，令F(MxN，H，W)为待重排特征，输出为R(N，rxH，W)，即输出为重排后构建的多个特征图像的第一放大特征图像。
在实际应用中，为了得到第一目标待重排特征图像，通常需要对特征图像对应的多个第一待重排特征图像进行编号，以通过该编号获取到第一目标待重排特征图像。
抽取完成在第一方向的所有特征维度上所需要抽取的多个第一目标像素点之后，即可获得多个第一像素点，这多个第一像素点可以组合成第一放大特征图像。
之后，可以基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
可选的，所述基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；
基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；
基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
这里，可以基于所述预设量化精度对所述特征图像的第一放大特征图像在第二方向上的特征信息进行重排，以对第一放大特征图像在第二方向上的特征维度进行扩展，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一放大特征图像基于所述多个第一像素点生成，所述第一方向和所述第二方向为两个相互垂直的方向。
上采样模块中的第一特征抽取重排单元输出为N个尺寸为Wx(rxH)的第一放大特征图像，第一放大特征图像相对于特征图像而言，其在第一方向的分辨率放大了r倍。所述第一特征抽取重排单元抽取获得多个第一像素点之后，可以按照这多个第一像素点的位置重排得到第一放大特征图像。
将这多个特征图像的第一放大特征图像输入至第四卷积神经网络中，第四卷积神经网络可以基于所述预设量化精度对所述特征图像的第一放大特征图像在第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像，表示为(MxN，rxH，W)，其中，第二方向可以为x方向。
这多个第二待重排特征图像的生成方式与第一待重排特征图像的生成方式类似，只是第一待重排特征图像是对特征图像在第一方向的特征信息进行重排得到，而第二待重排特征图像是对第一放大特征图像在第二方向的特征信息进行重排得到，这里不再对其进行赘述。
将第四卷积神经网络的输出输入至第二特征抽取重排单元，第二特征抽取重排单元首先确定在所述第二方向的每个特征维度上所需要抽取的多个第二目标像素点，比如，第一放大特征图像尺寸为110x100，若需要对第一放大特征图像在第二方向的特征维度放大1.1倍，则需要在第二方向上抽取110个特征维度，重排成相应110个像素图像，这样才能重排得到目标放大特征图像。
针对在第二方向的每个特征维度上所需要抽取的多个第二目标像素点，基于所述分辨率放大参数从所述多个第二待重排特征图像中确定第二目标待重排特征图像。比如，针对第二方向的第二个特征维度所需要抽取的多个第二目标像素点，其特征维度的位置为1/1.1＝0.9，而包括该位置的是这多个第二待重排特征图像中的编号为9的第二待重排特征图像，则编号为9的第二待重排特征图像即为该特征维度对应的第二目标待重排特征图像，在所述第二目标待重排特征图像中确定每个第二目标像素点的第二抽取位置，并抽取获得该特征维度对应的多个第二目标像素点，以抽取获得多个第二像素点。
从多个第二待重排特征图像中抽取多个第二像素点的简单代码如下，其中，第一特征抽取重排单元输出R(N，rxH，W)，对第一放大特征图像在第二方向的特征维度进行扩展后得到多个第二待重排特征图像，即待重排特征为FF(MxN，rxH，W)，最后第二特征抽取重排单元输出H(N，rxH，rxW)。
在实际应用中，为了得到第二目标待重排特征图像，通常需要对第一放大特征图像对应的多个第二待重排特征图像进行编号，以通过该编号获取到第二目标待重排特征图像。
本实施例中，通过分步放大的方式分别对特征图像在不同方向上进行分辨率放大，相对于整体放大的方式，可以有效提高信息以及内存的利用率。
可选的，所述步骤S102具体包括：
针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；
其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
本实施例中，通过对量化精度的控制，可以方便且直观地对计算复杂度进行控制，达到复杂度与性能之间的平衡。
针对每个特征图像，以下实施例通过整体放大的方式将特征图像的分辨率放大至r倍，最终得到特征图像的目标放大特征图像。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
本实施例中，可以基于分辨率放大参数，从所述K个第一待重排特征图像中获取多个第三像素点，以得到第三目标特征信息，之后将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像。
图4是根据一示例性实施例示出的一种图像处理装置的框图。参照图4，该装置包括：
特征提取模块401，被配置为执行对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
重排模块402，被配置为执行针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
放大特征图像生成模块403，被配置为执行基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
特征合成模块404，被配置为执行对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
可选的，所述重排模块402，具体被配置为针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
可选的，所述放大特征图像生成模块403包括：
第一获取单元，被配置为执行基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
第一生成单元，被配置为执行基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
第二生成单元，被配置为执行基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
可选的，所述第二生成单元，具体被配置为执行基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
可选的，所述重排模块402，具体被配置为执行针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述放大特征图像生成模块403包括：
第二获取单元，被配置为执行基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
第三生成单元，被配置为执行将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备的框图，包括处理组件501，其进一步包括一个或多个处理器，以及由存储器502所代表的存储器资源，用于存储可由处理组件501的执行的指令，例如应用程序。存储器502中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件501被配置为执行指令，以执行下列过程：
对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
可选的，处理组件501还被配置为执行：
针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
可选的，处理组件501还被配置为执行：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
可选的，处理组件501还被配置为执行：
基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；
基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；
基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
可选的，处理组件501还被配置为执行：
针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；
其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
可选的，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成，处理组件501还被配置为执行：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
电子设备500还可以包括一个电源组件503被配置为执行电子设备500的电源管理，一个有线或无线网络接口504被配置为将电子设备500连接到网络，和一个输入输出(I/O)接口505。电子设备500可以操作基于存储在存储器502的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器502，上述指令可由电子设备500的处理组件501执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
2.根据权利要求1所述的方法，其特征在于，所述针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像的步骤包括：
针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
3.根据权利要求2所述的方法，其特征在于，所述基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第一目标特征信息；
基于所述第一目标特征信息，生成所述特征图像的第一放大特征图像；
基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述分辨率放大参数和第一放大特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于所述预设量化精度对所述第一放大特征图像中第二方向上的特征信息进行重排，生成所述第一放大特征图像对应的多个第二待重排特征图像；其中，所述第一方向和所述第二方向为两个相互垂直的方向；
基于所述分辨率放大参数，从所述多个第二待重排特征图像中获取第二目标特征信息；
基于所述第二目标特征信息，生成所述特征图像的目标放大特征图像。
5.根据权利要求1所述的方法，其特征在于，所述针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像的步骤包括：
针对所述N个特征图像中每个特征图像，将所述特征图像中的特征信息分别按照所述预设量化精度的不同整数倍进行重排，生成所述K个第一待重排特征图像；
其中，所述K基于所述预设量化精度确定，所述预设量化精度的整数倍小于所述特征图像中相邻两个特征点的间距。
6.根据权利要求1所述的方法，其特征在于，所述K个第一待重排特征图像基于所述预设量化精度对所述特征图像中第一方向和第二方向上的特征信息进行重排生成；所述基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像的步骤包括：
基于分辨率放大参数，从所述K个第一待重排特征图像中获取第三目标特征信息；
将所述第三目标特征信息构成的图像作为所述特征图像的目标放大特征图像；
其中，所述第一方向和所述第二方向为两个相互垂直的方向。
7.一种图像处理装置，其特征在于，包括：
特征提取模块，被配置为执行对第一图像进行特征提取，获得所述第一图像对应的N个特征图像，N为正整数；
重排模块，被配置为执行针对所述N个特征图像中每个特征图像，基于预设量化精度对所述特征图像中的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像，K为大于1的正整数；
放大特征图像生成模块，被配置为执行基于分辨率放大参数和所述K个第一待重排特征图像，生成所述特征图像的目标放大特征图像；
特征合成模块，被配置为执行对所述N个特征图像的目标放大特征图像进行特征合成，生成第二图像；其中，所述第二图像的分辨率高于所述第一图像。
8.根据权利要求7所述的装置，其特征在于，所述重排模块，具体被配置为针对所述N个特征图像中每个特征图像，基于所述预设量化精度对所述特征图像中第一方向上的特征信息进行重排，生成所述特征图像对应的K个第一待重排特征图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319786.3A CN113096011B (zh) | 2021-03-25 | 2021-03-25 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319786.3A CN113096011B (zh) | 2021-03-25 | 2021-03-25 | 图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096011A true CN113096011A (zh) | 2021-07-09 |
| CN113096011B CN113096011B (zh) | 2024-02-09 |
Family
ID=76669520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110319786.3A Active CN113096011B (zh) | 2021-03-25 | 2021-03-25 | 图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096011B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6343098B1 (en) * | 1998-02-26 | 2002-01-29 | Lucent Technologies Inc. | Efficient rate control for multi-resolution video encoding |
| CN101854491A (zh) * | 2009-04-03 | 2010-10-06 | 深圳市融创天下科技发展有限公司 | 一种样条放大与自适应模版结合的图像下采样的方法 |
| WO2014097703A1 (ja) * | 2012-12-20 | 2014-06-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US20140300726A1 (en) * | 2013-04-05 | 2014-10-09 | Mitutoyo Corporation | System and method for obtaining images with offset utilized for enhanced edge resolution |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN110222758A (zh) * | 2019-05-31 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN112116528A (zh) * | 2020-09-25 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112419150A (zh) * | 2020-11-06 | 2021-02-26 | 中国科学技术大学 | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 |
-
2021
- 2021-03-25 CN CN202110319786.3A patent/CN113096011B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6343098B1 (en) * | 1998-02-26 | 2002-01-29 | Lucent Technologies Inc. | Efficient rate control for multi-resolution video encoding |
| CN101854491A (zh) * | 2009-04-03 | 2010-10-06 | 深圳市融创天下科技发展有限公司 | 一种样条放大与自适应模版结合的图像下采样的方法 |
| WO2014097703A1 (ja) * | 2012-12-20 | 2014-06-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US20140300726A1 (en) * | 2013-04-05 | 2014-10-09 | Mitutoyo Corporation | System and method for obtaining images with offset utilized for enhanced edge resolution |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN110222758A (zh) * | 2019-05-31 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN112116528A (zh) * | 2020-09-25 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112419150A (zh) * | 2020-11-06 | 2021-02-26 | 中国科学技术大学 | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096011B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10311547B2 (en) | Image upscaling system, training method thereof, and image upscaling method | |
| US9076234B2 (en) | Super-resolution method and apparatus for video image | |
| US20070237425A1 (en) | Image resolution increasing method and apparatus for the same | |
| US20220012612A1 (en) | System, method, and program for predicting information | |
| WO2020146911A2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
| US8605118B2 (en) | Matrix generation apparatus, method, and program, and information processing apparatus | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| CN108242063B (zh) | 一种基于gpu加速的光场图像深度估计方法 | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| CN111259841B (zh) | 一种图像处理方法及相关设备 | |
| KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| CN107220934B (zh) | 图像重建方法及装置 | |
| Shi et al. | (SARN) spatial-wise attention residual network for image super-resolution | |
| DE112016005482T5 (de) | Objektdetektion mit adaptiven Kanalmerkmalen | |
| WO2020000877A1 (zh) | 用于生成图像的方法和装置 | |
| CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN111353955A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| CN113393468A (zh) | 图像处理方法、模型训练方法、装置和电子设备 | |
| CN113628115A (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
| CN112116528A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113096011B (zh) | 图像处理方法、装置及电子设备 | |
| Peng | Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image | |
| Hsin | Saliency histogram equalisation and its application to image resizing | |
| CN113556496B (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |