CN114782249A - 一种图像的超分辨率重建方法、装置、设备以及存储介质 - Google Patents
一种图像的超分辨率重建方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN114782249A CN114782249A CN202210394103.5A CN202210394103A CN114782249A CN 114782249 A CN114782249 A CN 114782249A CN 202210394103 A CN202210394103 A CN 202210394103A CN 114782249 A CN114782249 A CN 114782249A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- feature extraction
- original image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims description 38
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012015 optical character recognition Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像的超分辨率重建方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为深度学习、图像处理以及计算机视觉技术领域，可应用于OCR等场景。具体实现方案为：获取原始图像；分别在通过卷积位置和卷积精度中的至少一项上不同的图像特征提取网络构建得到多个查找表中，查找获取与所述原始图像对应的图像特征；对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像，本公开实施例的技术方案提供了一种基于改进查找表的超分图像处理方案，在减少查表法的搜索空间的同时，提高对复杂纹理图像的重建效果，实现时效性和精确度的折中。
Description
技术领域
本公开涉及人工智能技术领域，具体为深度学习、图像处理以及计算机视觉技术领域，可应用于OCR(Optical Character Recognition，光学字符识别)等场景，尤其涉及一种图像的超分辨率重建方法、装置、设备以及存储介质。
背景技术
视频和直播行业在近几年发展迅速，对应的相关技术需求也越来越广泛。在视频直播中，为了提升在高分辨率播放端的画质，通常需要超分辨率这一项基本而又核心的技术。
相关技术中，可以通过SR-LUT(Super-Resolution，Look Up Table，超分辨率-查找表)技术，实现对图像的超分处理。具体的，可以首先训练一个小感受野的超分网络，之后，将上述超分网络的输出迁移至一个查找表中，进而，针对输入图像，可以通过在查找表中查询获取超分结果的方式，实现与输入图像对应的超分图像。
随着技术的不断发展，在时效性和精确度上，SR-LUT技术已经无法满足人们对超分图像处理的需求。
发明内容
本公开提供了一种图像的超分辨率重建方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种图像的超分辨率重建方法，包括：
获取原始图像；
分别在多个查找表中，查找获取与所述原始图像对应的图像特征；
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同；
对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
根据本公开的另一方面，提供了一种图像的超分辨率重建装置，包括：
原始图像获取模块，用于获取原始图像；
图像特征获取模块，用于分别在多个查找表中，查找获取与所述原始图像对应的图像特征；
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同；
超分辨率图像生成模块，用于对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所提供的图像的超分辨率重建方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开所提供的图像的超分辨率重建方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开所提供的图像的超分辨率重建方法。
本公开实施例的技术方案提高了对复杂纹理图像的重建效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1a是根据本公开实施例提供的一种图像的超分辨率重建方法的流程示意图；
图1b是根据本公开实施例提供的一种不同卷积位置的场景示例图；
图2是根据本公开实施例提供的另一种图像的超分辨率重建方法的流程示意图；
图3a是根据本公开实施例提供的一种机器学习模型的训练过程示意图；
图3b是根据本公开实施例提供的一种机器学习模型的使用过程示意图；
图3c是根据本公开实施例提供的一种图像特征提取过程示意图；
图3d是根据本公开实施例提供的一种图像特征融合过程示意图；
图4是根据本公开实施例提供的一种图像的超分辨率重建装置的结构示意图；
图5是用来实现本公开实施例的图像的超分辨率重建方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1a是根据本公开实施例提供的一种图像的超分辨率重建方法的流程示意图，本实施例适用于对低分辨率图像进行超分辨率重建处理的情况，该方法可以通过图像的超分辨率重建装置来执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成于具有图像或者视频渲染功能的智能终端设备中。参考图1a，该方法具体包括如下步骤：
S110、获取原始图像。
在本公开实施例中，原始图像是指需要进行超分辨率重建的低分辨率图像。例如，原始图像可以为服务器发送至客户端的低分辨率视频中的一帧图像。
或者该原始图像还可以为对低分辨率图像进行初始化处理后的图像，其中，该初始化处理可以为对该低分辨率图像进行图像通道数缩减处理。
S120、分别在多个查找表中，查找获取与所述原始图像对应的图像特征。
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同。
如前所述，SR-LUT技术在使用查表法进行图像的超分辨率的重建时，仅训练一个小感受野的超分网络。因此，SR-LUT技术对复杂纹理的重建效果较差。所谓感受野，是指在进行图像的卷积处理时，参与卷积计算的像素点在原始图像中所涉及的图像范围，感受野越大，卷积计算结果所携带的全局特征越多，特征越高维。
其中，一个网络的感受野，可以通过该网络的卷积位置确定，所述卷积位置，是指针对原始图像中的一个设定像素点，选择使用原始图像中与该设定像素点所在位置对应的哪几个位置的像素点，与预设的卷积核进行卷积运算，得到匹配的卷积结果。
换句话说，卷积位置可以是指，将图像A输入至图像特征提取网络，由图像特征提取网络提取图像特征时，所使用的图像A中像素点的位置。示例性的，图1b为图像中的设定像素区域B，也即，某一个具体的图像片。在针对该像素区域B中的P像素点进行卷积运算时，可以使用P11、P12、P13和P14四个像素点的像素值与卷积核进行卷积运算，也可以使用P21、P22、P23和P24四个像素点的像素值与卷积核进行卷积运算，这种情况可以理解为查找表对应的图像特征提取网络在卷积位置上不同。
可以理解的是，在选取卷积位置时，选择的像素点数量越多，选择的像素点距离设定像素点的距离越远，训练得到的图像特征提取网络的感受野也越大。进而，通过构建卷积位置不同的多个图像特征提取网络，可以得到不同感受野的图像特征提取网络，进而，构建出的不同感受野的查找表，以提高对复杂纹理图像的重建效果。
进一步的，图像特征提取网络的卷积精度，是指图像特征提取网络对输入的各像素点的像素值进行卷积计算时，对像素值的处理精度。例如，如果每个像素值选择使用8bit的位长来表示，则卷积精度可以为高4位bit，也可以为低4位bit。也即，对输入图像中的每个像素点的像素值仅取其中的高4位或者低4位进行卷积处理。通过上述设置，可以大大减少构建得到的查找表的搜索空间。
在本公开实施例中，通过预先训练不同卷积位置，或者不同卷积精度的多个图像特征提取网络，并基于多个图像特征提取网络分别形成匹配的查找表，进而，通过将原始图像在每个查找表中进行查找，可以获取原始图像在不同的维度上提取的不同类型的图像特征。
可选的，在设置卷积位置时，可以同时确定卷积时所选择的像素点的数量，而选择的像素点数量越多，感受野越大，但是后期得到查询表时，查找表的搜索空间也越大。进而，可以考虑在一个图像特征提取网络中，在使用像素点数量较多的卷积位置的同时，结合使用一个较低的卷积精度，或者，在使用像素点数量较少的卷积位置的同时，结合使用一个较高的卷积精度，以实现感受野和计算量的折中。
S130、对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
其中，特征融合结果可以是指对原始图像通过不同查找表查找获取的多个图像特征进行融合得到的结果。超分辨率图像可以是指分辨率高于原始图像的图像。
在本公开实施例中，可以对原始图像通过不同查找表查找获取的各图像特征进行融合，得到特征融合结果，从而根据特征融合结果，生成与原始图像匹配的超分辨率图像。
本公开实施例的技术方案，通过获取原始图像；分别在通过卷积位置和卷积精度中的至少一项上不同的图像特征提取网络构建得到多个查找表中，查找获取与所述原始图像对应的图像特征；对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像，解决了现有SR-LUT技术无法满足人们在超分图像时对时效性和精确度需求的的问题，提供了一种基于改进查找表的超分图像处理方案，在减少查表法的搜索空间的同时，提高对复杂纹理图像的重建效果，实现时效性和精确度的折中。
图2是根据本公开实施例提供的另一种图像的超分辨率重建方法的流程示意图，本实施例在上述各实施例的基础上，将分别在多个查找表中，查找获取与所述原始图像对应的图像特征操作，进行细化。参考图2，该方法具体包括如下步骤：
S210、获取原始图像。
可选的，原始图像具体可以通过提取待重建图像中各像素点的亮度分量值所形成。其中，该待重建图像可以是指需要进行超分辨率重建的一张彩色图像，具体可以是一个视频文件中的一个视频帧。
相应的，获取原始图像可以为包括：获取待重建图像；提取所述待重建图像中各像素点的亮度分量值，形成所述原始图像。
其中，可以首先将待重建图像转换为YUV图像，并提取该YUV图像中的Y通道图像，作为该原始图像。
YUV，是一种颜色编码方法。常使用在各个视频处理组件中。YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。“Y”表示明亮度，也就是灰阶值或者说亮度，“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。这样设置的好处在于，仅对待重建图像的亮度通道图像进行超分辨率重建，可以在相同重建效果的基础上有效减少工作量。
S220、获取与当前查找表对应的图像特征提取网络的目标卷积精度和目标卷积位置。
其中，目标卷积精度可以是用于构建当前查找表的图像特征提取网络所对应的卷积精度。目标卷积位置可以是用于构建当前查找表的图像特征提取网络所对应的卷积位置。
其中，需要针对每个查找表分别对原始图像进行处理，得到匹配的图像特征，在本实施例中，仅以针对一个查找表的图像特征提取为例进行介绍，实际上，基于该原始图像，需要针对每个查找表分别执行S220-S260，以得到与每个查找表分别对应的图像特征。
在一个具体的例子中，当需要针对查找表1提取原始图像的图像特征时，需要首先确定用于构建该查找表1的图像特征提取网络1，进而，可以唯一确定与该图像特征提取网络对应的卷积位置以及卷积精度，也即，目标卷积位置和目标卷积精度。
S230、响应于确定所述目标卷积精度满足像素值截短条件，对所述原始图像中各像素点的像素值进行与目标卷积精度匹配的截短处理。
如前所述，卷积精度图像特征提取网络对输入的各像素点的像素值进行卷积计算时，对像素值的处理精度。
如果该处理精度和原始图像中的像素值精度相匹配，则无需对原始图像进行像素值截短处理。例如，如果目标卷积精度为8bit，而原始图像中的各像素值的位长也为8bit，则无需对该原始图像进行处理，可以直接执行S240。
相对应的，如果该处理精度小于原始图像的像素值精度，则确定该目标卷积精度满足像素值截短条件。进而需要对该原始图像进行与该目标卷积精度匹配的截短处理。例如，如果目标卷积精度为高位4bit，而原始图像中的各像素点的位长为8bit，则需要将原始图像中每个像素点的像素值进行取高位4bit的截短处理；同理，如果目标卷积精度为低位4bit，而原始图像中的各像素点的位长为8bit，则需要将原始图像中每个像素点的像素值进行取低位4bit的截短处理。
一般来说，如果一个图像特征提取网络的卷积精度较低，则从一定程度上说明该图像处理网络在与原始图像进行卷积运算时，使用的原始图像中的像素点数量较多(也即，卷积尺度较大)，而该像素点数量，直接影响最终查找表的查找规模。具体的，如果卷积尺度为4，而每个像素点的位长为8bit，则查找表的查找规模为28*28*28*28＝232，进而，通过将目标卷积精度设置为高位4bit，则可以直接将查找表的查找规模缩减至24*24*24*24＝216。
相应的，在本实施例中，可以对卷积尺度较大的图像特征提取网络，设置一个较低的卷积精度。进而，在查询该图像特征提取网络对应的查找表时，需要对原始图像中的各像素点的像素值进行截短处理。
S240、根据所述目标卷积位置，获取与所述原始图像中各像素点对应的参与卷积像素点集合。
其中，参与卷积像素点集合可以是在对原始图像提取图像特征的过程中与各像素点对应的参与卷积处理的多个像素点的集合。示例性的，参考图1b，P像素点对应的参与卷积像素点集合，可以是{P11，P12，P13，P14}，也可以是{P21，P22，P23，P24}等。
进而，可以针对该目标卷积位置，确定出与原始图像中的每个像素点分别对应的参与卷积像素点集合。在一个具体的例子中，如果目标卷积位置中的卷积尺度为2*2，则与每个像素点对应的参与卷积像素点集合中包括4个像素点；如果目标卷积位置中的卷积尺度为1*2，则与每个像素点对应的参与卷积像素点集合中包括2个像素点。
可以理解的是，与一个像素点A对应的参与卷积像素点集合中可以包括像素点A，也可以不包括像素点A，这里并不进行限制。
在本公开实施例中，可以根据目标卷积位置，获取与原始图像中各像素点对应的参与卷积像素点集合。
在本公开的一个可选实施方式中，在根据所述目标卷积位置，获取与所述原始图像中的各像素点对应的参与卷积像素点集合之前，还可以包括：根据所述目标卷积位置，确定与所述原始图像对应的扩展尺度；按照所述扩展尺度，对所述原始图像进行像素点填充处理。
其中，扩展尺度可以是原始图像在宽方向和高方向上扩展的像素点数量。
具体的，可以根据目标卷积位置，确定对原始图像的扩展倍数，对原始图像进行像素点填充处理后，可以根据目标卷积位置，获取原始图像各像素点对应的参与卷积像素点集合。
示例性的，参考图1b，若P像素点为原始图像的第一个像素点，如果目标卷积位置为与设定像素点相邻的四个对角线位置，则与P像素点对应的参与卷积像素点集合中包括P11、P12、P13和P14，显然，P11、P12和P13并未位于原始图像中，因此，需要对原始图像在宽方向和高方向上的均扩展1个像素点，也即，选取扩展尺度为1。在对原始图像的宽方向和高方向进行1个像素点的填充后，才能获取与P像素点对应的参与卷积像素点集合{P11，P12，P13，P14}。
相类似的，如果目标卷积位置为设定像素点间隔一个像素点的四个对角线位置，则与P像素点对应的参与卷积像素点集合中包括P21、P22、P23和P24，针对上述目标卷积位置，需要对原始图像在宽方向和高方向上的均扩展2个像素点，也即，选取扩展尺度为2对原始图像进行像素点填充。
其中，可以选择任意的填充方式，例如，周围像素点的像素值取均值，或者在周围随机选择一个像素点的像素值等，对原始图像进行像素点填充处理。
这样设置的好处在于，通过对原始图像进行像素点填充处理，可以保证在卷积过程中能够选取到相应位置的参与卷积像素点。
S250、在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征。
在本公开实施例中，可以根据当前查找表，查找获取与各参与卷积像素点集合对应的像素点特征。
在本公开的一个可选实施方式中，在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征，可以包括：
获取当前参与卷积像素点集合；在所述原始图像中，读取所述当前参与卷积像素点集合中每个像素点的像素值；在当前查找表中，查找获取与读取出的各所述像素值对应的查表值，作为像素点特征。
其中，查表值可以是指查找表中的记录值。
具体的，将各参与卷积像素点集合中当前处理的参与卷积像素点集合作为当前参与卷积像素点集合，从原始图像中，读取当前参与卷积像素点集合中每个像素点的像素值；进而从当前查找表中，查找获取与读取的各像素值对应的查表值，作为当前参与卷积像素点集合对应的像素点特征。
其中，在该查找表中，记录有当一个像素点的参与卷积像素点集合中的每个像素点的像素值确定后，该像素点在至少一个通道下的像素点特征。
按照超分辨率处理规则，针对一个像素点所得到的像素点特征的通道数，与超分辨率的倍数s的平方相匹配。具体的，如果针对一个像素点，查表得到s2个通道的像素点特征，相当于将一个像素点扩展至四个像素点，进而，在对一个H*W原始图像进行特征提取后，可以得到一个s2*H*W维度下的图像特征，进而，可以最终重建得到一个s*H*s*W的超分辨率图像。
可选的，在与多个查找表分别对应的各图像特征提取网络中，包括有卷积位置相同，卷积精度互补的至少两个图像特征提取网络；其中，所述卷积精度与所述图像特征提取网络对输入图像的像素值处理精度相匹配。
以像素值的位长为8bit的原始图像为例，假设全部查找表中包括查找表1和查找表2，其中，查找表1对应的图像特征提取网络1根据原始图像像素值的高4位bit获取与原始图像对应的图像特征，查找表2对应的图像特征提取网络2根据原始图像像素值的低4位bit获取与原始图像对应的图像特征，且图像特征提取网络1和图像特征提取网络2的卷积位置相同。则图像特征提取网络1和图像特征提取网络2的卷积位置相同而卷积精度互补。
如前所述，通过在图像特征提取网络中设置一个较低的卷积精度，可以大大减少查表规模，但是，在提取图像特征时发生信息损失。在本实施例中，通过巧妙设计卷积位置相同，卷积精度互补的图像特征提取网络，可以在保证较小的查表规模的基础上，没有造成明显的信息损失。
续前例，如果原图像特征提取网络对应的卷积位置中的卷积尺度为4，而每个像素点的位长为8bit，则查找表的查找规模为28*28*28*28＝232，进而，通过上述原图像特征提取网络使用一个目标卷积精度为高位4bit的图像特征提取网络1，以及，一个目标卷积精度为低位4bit的图像特征提取网络2进行替换，可以将查找表的查找规模缩减至2*24*24*24*24＝2*216。显然，在明显缩小查找规模的同时，没有对信息进行明显损失，因为，同时对原始图像中每个像素值的高位4bit和低位4bit均进行了图像特征的提取。
这样设置的好处在于，可以解决现有技术牺牲像素点的像素深度的问题，避免在提取图像特征时发生信息损失和画质下降的情况。
S260、根据各所述像素点特征，形成所述原始图像针对当前查找表的图像特征。
具体的，可以根据原始图像中各像素点分别对应的各像素点特征，形成原始图像根据当前查找表所获取的图像特征。
续前例，如果针对每个像素点均输出s2个通道的像素点特征，进而，可以针对原始图像输出s2个通道的图像特征，该图像特征的分辨率与原始图像的分辨率相一致。
针对上述S220至S260的操作，这样设置的好处在于，可以有效提取与当前查找表的卷积位置匹配的目标尺度的图像特征，针对性的减少查找表的搜索空间，减小查找表的内存占用。
S270、对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
在本公开的一个可选实施方式中，对各所述图像特征进行特征融合，并根据特征融合结果，生成与原始图像匹配的超分辨率图像，可以包括：
对各所述图像特征进行特征拼接，得到拼接图像特征；对拼接图像特征中包括的各特征项进行融合处理，得到融合图像特征；根据所述融合图像特征，进行上采样处理，得到与原始图像匹配的超分辨率图像。
其中，拼接图像特征可以是指对经由不同查找表获取的多个图像特征分别在每个通道上进行拼接得到的多通道拼接图像特征。特征项可以是指拼接图像特征在每个通道上的特征。
在本公开实施例中，对各图像特征在每个通道上进行特征拼接得到多通道拼接图像特征后，将不同通道上的拼接图像特征进行融合处理得到融合图像特征；进而对融合图像特征进行上采样处理，得到与原始图像匹配的超分辨率图像。
这样设置的好处在于，对各图像特征进行拼接处理后再进行融合处理，可以避免信息损失和画质下降。
本公开实施例的技术方案，通过获取原始图像；获取与当前查找表对应的图像特征提取网络的目标卷积精度和目标卷积位置；响应于确定所述目标卷积精度满足像素值截短条件，对所述原始图像中各像素点的像素值进行与目标卷积精度匹配的截短处理；根据所述目标卷积位置，获取与所述原始图像中各像素点对应的参与卷积像素点集合；在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征；根据各所述像素点特征，形成所述原始图像针对当前查找表的图像特征；对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像，解决了现有技术中由于SR-LUT技术训练得到的超分网络一般感受野较小以及通过单一查找表进行查找，导致无法明显提升复杂纹理图像的重建效果和牺牲像素点的像素深度的问题，提供了一种基于改进查找表的超分图像处理方案，在减少查表法的搜索空间的同时，提高对复杂纹理图像的重建效果，避免信息损失和画质下降。
在上述各实施例的基础上，可选的，当前查找表以及其他查找表可以通过图像特征提取网络预先构建，具体方法可以如下：
构建待训练的机器学习模型，所述机器学习模型可以包括：特征提取模块以及融合模块，所述特征提取模块中包括多个特征提取网络；使用预先构建的训练样本集对所述机器学习模型进行训练，得到超分辨率图像重建模型；将测试样本集输入至所述机器学习模型中，根据每个特征提取网络针对各测试样本输出的图像特征，构建与每个特征提取网络分别对应的查找表；其中，所述测试样本集中的各测试样本遍历全部输入像素值组合。
这样设置的好处在于，通过特征提取网络构建查找表，通过查找表查找获取图像特征，可以有效提升获取图像特征的效率。
其中，所述特征提取网络中可以包括：第一卷积模块，残差块网络以及第二卷积网络；其中，不同特征提取网络的第一卷积模块具有相同或者不同的卷积位置，以及，不同特征提取网络的第一卷积模块具有相同或者互补的卷积精度。
这样设置的好处在于，可以为不同查找表构建相应的卷积位置和卷积精度。
示例性的，以下为本公开实施例提供一种图像的超分辨率重建方法的具体应用场景。
针对单通道8bit图像，具体为YUV图像中的Y通道，表示图像的亮度分布，像素值的范围在0～255。参考图3a，在对机器学习模型的训练过程中，将单通道8bit图像作为输入图像并行地输入k(k大于或者等于2)个特征提取模块，不同的特征提取模块具有不同的卷积位置(也即，感受野尺度)或者不同的卷积精度，然后输出k个图像特征。将k个图像特征输入融合模块得到超分辨率重建后的图像，然后计算损失并反向传播更新模型参数。训练数据方面，获取高码率视频，对视频进行CRF(Constant Rate Factor，固定码率系数)压缩、高斯模糊和下采样后间隔抽帧作为输入，以最终完成各特征提取模块以及融合模块的模型参数进行训练。
参考图3b，在机器学习模型的使用过程中，对每个特征提取模块通过查找表转换过程生成一个查找表(LUT)，用查找表代替特征提取模块，对输入图像数据通过查表获取图像特征，然后将图像特征输入融合模块得到超分辨率重建后的图像。
在一个具体的示例中，参考图3c，特征提取模块可以由一个卷积核为2×2或1×2的卷积G1、m(m大于等于1)个残差块GM、以及一个卷积核为1×1的卷积G2串联组成。
对于第n∈{1，2，…，k}个特征提取模块，G1利用如图1b所示的任意一种位置的像素组合(例如{P11，P12，P13，P14})，对像素组合进行卷积(可选的，在卷积核为1×2的卷积情况下，对P像素点的卷积不需要P像素值的信息)。每个残差块由两个卷积核为1×1的卷积组成。G1和GM的通道数量设为64，G2的通道数量设为s2，其中s为超分辨率的倍数。
对于输入的单通道图像I，先进行反射padding(填充像素)X个像素(也即，扩展尺度)得到I′，然后将I′分别输入至k个特征提取块，得到k个特征{f1，f2，…，fk}。
其中，如图1b所示的由2×2个位置像素点组成的像素组合{P11，P12，P13，P14}(也即，卷积尺度为2×2)，建立两个特征提取模块，其中一个先对输入图像I′中每个像素点的像素值取高4位值floor(I′/4)，然后进行卷积运算。另一个先对输入图像I′中每个像素点的像素值取低4位值floor(I′％4)，然后进行卷积运算。
而由1×2个像素点组成的像素组合，仅建立一个特征提取模块，直接对输入图像I′进行卷积运算。
参考图3d，融合模块将特征提取模块生成的k个图像特征经过Concatenate操作(即为本公开实施例中的特征拼接操作)合成为特征C，然后经过一个卷积核为1×1的卷积和Pixel Shuffle模块(即为本公开实施例中的特征融合操作)生成高分辨率结果(即为本公开实施例中的超分辨率结果)。其中，卷积的通道数量为s2。
查找表是一个多维数组。对于卷积位置中的卷积尺度为2×2的特征提取模块，考虑到若直接用8bit的像素值作为数组下标会导致查找表规模过大，因此生成2个查找表Lk1和Lk2，具体表示为Lk1[24][24][24][24][s2]和Lk2[24][24][24][24][s2]。
其中，Lk1中前四个取值范围为[0，24)的维度分别代表第k个特征提取模块中G1所输入的每个像素点的像素值的高4位，Lk2中前四个取值范围为[0，24)的维度分别代表第k个特征提取模块中G1所输入的每个像素点的像素值的低4位，每个维度的数组下标即为像素点的高4位或低4位值，查找表中最后一个[0，s2)的维度代表特征提取模块输出特征维度的索引。因此，对于由输入图像I′中像素点P1的所确定像素值为p1，p2，p3，p4的卷积位置，特征提取模块输出的特征值为：
qk1＝Lk1[floor(p1/4)][floor(p2/4)][floor(p3/4)][floor(p4/4)]，qk2＝Lk2[p1％4][p2％4][p3％4][p4％4]。
对于卷积位置中的卷积尺度为1×2卷积的特征提取模块，生成1个查找表Lk，具体表示为Lk1[28][28][s2]。其中，Lk1中前两个取值范围为[0，28)的维度分别代表第k个特征提取模块中G1所输入的每个像素点的像素值。查找表中最后一个[0，s2)的维度代表特征提取模块输出特征维度的索引。因此，对于由输入图像I′中像素点P2所确定的像素值为p1，p2的卷积位置，特征提取模块输出的特征值为：qk＝Lk2[p1][p2]。
在查找表转换过程中，对于每个查找表L，遍历搜索空间中所有输入像素值的组合，无论1×2的卷积还是2×2的卷积组成的特征提取模块，搜索空间都是216。将2×2像素值的组合[p1][p2][p3][p4]输入对应的特征提取模块得到s2个输出，将其作为Lk[p1][p2][p3][p4][s2]的值。将1×2像素值的组合[p1][p2]输入对应的特征提取模块得到s2个输出，将其作为Lk[p1][p2][s2]的值。
图4是根据本公开实施例提供的一种图像的超分辨率重建装置的结构示意图。该装置可以用于执行本公开任意实施例提供的图像的超分辨率重建方法。参考图4，该装置包括：原始图像获取模块410、图像特征获取模块420和超分辨率图像生成模块430。其中：
原始图像获取模块410，用于获取原始图像；
图像特征获取模块420，用于分别在多个查找表中，查找获取与所述原始图像对应的图像特征；
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同；
超分辨率图像生成模块430，用于对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
上述装置中，可选的是，图像特征获取模块420，包括：
目标卷积精度和卷积位置获取单元，用于获取与当前查找表对应的图像特征提取网络的目标卷积精度和目标卷积位置；
像素值截短处理单元，用于响应于确定所述目标卷积精度满足像素值截短条件，对所述原始图像中各像素点的像素值进行与目标卷积精度匹配的截短处理；
像素点集合获取单元，用于根据所述目标卷积位置，获取与所述原始图像中各像素点对应的参与卷积像素点集合；
像素点特征获取单元，用于在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征；
图像特征形成单元，用于根据各所述像素点特征，形成所述原始图像针对当前查找表的图像特征。
上述装置中，可选的是，还包括，像素点填充处理模块，用于在根据所述目标卷积位置，获取与所述原始图像中的各像素点对应的参与卷积像素点集合之前：
根据所述目标卷积位置，确定与所述原始图像对应的扩展尺度；
按照所述扩展尺度，对所述原始图像进行像素点填充处理。
上述装置中，可选的是，像素点特征获取单元，具体可以用于：
获取当前参与卷积像素点集合；
在所述原始图像中，读取所述当前参与卷积像素点集合中每个像素点的像素值；
在当前查找表中，查找获取与读取出的各所述像素值对应的查表值，作为像素点特征。
上述装置中，可选的是，在与多个查找表分别对应的各图像特征提取网络中，包括有卷积位置相同，卷积精度互补的至少两个图像特征提取网络；
其中，所述卷积精度与所述图像特征提取网络对输入图像的像素值处理精度相匹配。
上述装置中，可选的是，原始图像获取模块410，具体可以用于：
获取待重建图像；
提取所述待重建图像中各像素点的亮度分量值，形成所述原始图像。
上述装置中，可选的是，超分辨率图像生成模块430，具体可以用于：
对各所述图像特征进行特征拼接，得到拼接图像特征；
对拼接图像特征中包括的各特征项进行融合处理，得到融合图像特征；
根据所述融合图像特征，进行上采样处理，得到与原始图像匹配的超分辨率图像。
上述装置中，可选的是，还包括，查找表构建模块，用于在分别在多个查找表中，查找获取与所述原始图像对应的图像特征之前：
构建待训练的机器学习模型，所述机器学习模型包括：特征提取模块以及融合模块，所述特征提取模块中包括多个特征提取网络；
使用预先构建的训练样本集对所述机器学习模型进行训练，得到超分辨率图像重建模型；
将测试样本集输入至所述机器学习模型中，根据每个特征提取网络针对各测试样本输出的图像特征，构建与每个特征提取网络分别对应的查找表；
其中，所述测试样本集中的各测试样本遍历全部输入像素值组合。
上述装置中，可选的是，所述特征提取网络中包括：第一卷积模块，残差块网络以及第二卷积网络；
其中，不同特征提取网络的第一卷积模块具有相同或者不同的卷积位置，以及，不同特征提取网络的第一卷积模块具有相同或者互补的卷积精度。
本公开实施例所提供的图像的超分辨率重建装置可执行本公开任意实施例所提供的图像的超分辨率重建方法，具备执行方法相应的功能模块和有益效果。
本公开的技术方案中，在机器学习模型的训练及使用过程所涉及的用户图像信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如云手机应用的运行监控方法。例如，在一些实施例中，云手机应用的运行监控方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的云手机应用的运行监控方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行云手机应用的运行监控方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (21)
1.一种图像的超分辨率重建方法，包括：
获取原始图像；
分别在多个查找表中，查找获取与所述原始图像对应的图像特征；
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同；
对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
2.根据权利要求1所述的方法，其中，分别在多个查找表中，查找获取与所述原始图像对应的图像特征，包括：
获取与当前查找表对应的图像特征提取网络的目标卷积精度和目标卷积位置；
响应于确定所述目标卷积精度满足像素值截短条件，对所述原始图像中各像素点的像素值进行与目标卷积精度匹配的截短处理；
根据所述目标卷积位置，获取与所述原始图像中各像素点对应的参与卷积像素点集合；
在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征；
根据各所述像素点特征，形成所述原始图像针对当前查找表的图像特征。
3.根据权利要求2所述的方法，在根据所述目标卷积位置，获取与所述原始图像中的各像素点对应的参与卷积像素点集合之前，还包括：
根据所述目标卷积位置，确定与所述原始图像对应的扩展尺度；
按照所述扩展尺度，对所述原始图像进行像素点填充处理。
4.根据权利要求2所述的方法，其中，在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征，包括：
获取当前参与卷积像素点集合；
在所述原始图像中，读取所述当前参与卷积像素点集合中每个像素点的像素值；
在当前查找表中，查找获取与读取出的各所述像素值对应的查表值，作为像素点特征。
5.根据权利要求1所述的方法，其中，在与多个查找表分别对应的各图像特征提取网络中，包括有卷积位置相同，卷积精度互补的至少两个图像特征提取网络；
其中，所述卷积精度与所述图像特征提取网络对输入图像的像素值处理精度相匹配。
6.根据权利要求1所述的方法，其中，获取原始图像，包括：
获取待重建图像；
提取所述待重建图像中各像素点的亮度分量值，形成所述原始图像。
7.根据权利要求1所述的方法，其中，对各所述图像特征进行特征融合，并根据特征融合结果，生成与原始图像匹配的超分辨率图像，包括：
对各所述图像特征进行特征拼接，得到拼接图像特征；
对拼接图像特征中包括的各特征项进行融合处理，得到融合图像特征；
根据所述融合图像特征，进行上采样处理，得到与原始图像匹配的超分辨率图像。
8.根据权利要求1所述的方法，在分别在多个查找表中，查找获取与所述原始图像对应的图像特征之前，还包括：
构建待训练的机器学习模型，所述机器学习模型包括：特征提取模块以及融合模块，所述特征提取模块中包括多个所述特征提取网络；
使用预先构建的训练样本集对所述机器学习模型进行训练，得到超分辨率图像重建模型；
将测试样本集输入至所述机器学习模型中，根据每个特征提取网络针对各测试样本输出的图像特征，构建与每个特征提取网络分别对应的查找表；
其中，所述测试样本集中的各测试样本遍历全部输入像素值组合。
9.根据权利要求8所述的方法，其中，所述特征提取网络中包括：第一卷积模块，残差块网络以及第二卷积网络；
其中，不同特征提取网络的第一卷积模块具有相同或者不同的卷积位置，以及，不同特征提取网络的第一卷积模块具有相同或者互补的卷积精度。
10.一种图像的超分辨率重建装置，包括：
原始图像获取模块，用于获取原始图像；
图像特征获取模块，用于分别在多个查找表中，查找获取与所述原始图像对应的图像特征；
其中，所述查找表使用预先训练的图像特征提取网络构建得到，与不同查找表对应的图像特征提取网络在卷积位置和卷积精度中的至少一项上不同；
超分辨率图像生成模块，用于对各所述图像特征进行特征融合，并根据特征融合结果，生成与所述原始图像匹配的超分辨率图像。
11.根据权利要求10所述的装置，其中，图像特征获取模块，包括：
目标卷积精度和卷积位置获取单元，用于获取与当前查找表对应的图像特征提取网络的目标卷积精度和目标卷积位置；
像素值截短处理单元，用于响应于确定所述目标卷积精度满足像素值截短条件，对所述原始图像中各像素点的像素值进行与目标卷积精度匹配的截短处理；
像素点集合获取单元，用于根据所述目标卷积位置，获取与所述原始图像中各像素点对应的参与卷积像素点集合；
像素点特征获取单元，用于在当前查找表中，查找获取与各参与卷积像素点集合对应的像素点特征；
图像特征形成单元，用于根据各所述像素点特征，形成所述原始图像针对当前查找表的图像特征。
12.根据权利要求11所述的装置，还包括，像素点填充处理模块，用于在根据所述目标卷积位置，获取与所述原始图像中的各像素点对应的参与卷积像素点集合之前：
根据所述目标卷积位置，确定与所述原始图像对应的扩展尺度；
按照所述扩展尺度，对所述原始图像进行像素点填充处理。
13.根据权利要求11所述的装置，其中，像素点特征获取单元，具体用于：
获取当前参与卷积像素点集合；
在所述原始图像中，读取所述当前参与卷积像素点集合中每个像素点的像素值；
在当前查找表中，查找获取与读取出的各所述像素值对应的查表值，作为像素点特征。
14.根据权利要求10所述的装置，其中，在与多个查找表分别对应的各图像特征提取网络中，包括有卷积位置相同，卷积精度互补的至少两个图像特征提取网络；
其中，所述卷积精度与所述图像特征提取网络对输入图像的像素值处理精度相匹配。
15.根据权利要求10所述的装置，其中，原始图像获取模块，具体用于：
获取待重建图像；
提取所述待重建图像中各像素点的亮度分量值，形成所述原始图像。
16.根据权利要求10所述的装置，其中，超分辨率图像生成模块，具体用于：
对各所述图像特征进行特征拼接，得到拼接图像特征；
对拼接图像特征中包括的各特征项进行融合处理，得到融合图像特征；
根据所述融合图像特征，进行上采样处理，得到与原始图像匹配的超分辨率图像。
17.根据权利要求10所述的装置，还包括，查找表构建模块，用于在分别在多个查找表中，查找获取与所述原始图像对应的图像特征之前：
构建待训练的机器学习模型，所述机器学习模型包括：特征提取模块以及融合模块，所述特征提取模块中包括多个所述特征提取网络；
使用预先构建的训练样本集对所述机器学习模型进行训练，得到超分辨率图像重建模型；
将测试样本集输入至所述机器学习模型中，根据每个特征提取网络针对各测试样本输出的图像特征，构建与每个特征提取网络分别对应的查找表；
其中，所述测试样本集中的各测试样本遍历全部输入像素值组合。
18.根据权利要求17所述的装置，其中，所述特征提取网络中包括：第一卷积模块，残差块网络以及第二卷积网络；
其中，不同特征提取网络的第一卷积模块具有相同或者不同的卷积位置，以及，不同特征提取网络的第一卷积模块具有相同或者互补的卷积精度。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-9所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210394103.5A CN114782249A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的超分辨率重建方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210394103.5A CN114782249A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的超分辨率重建方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782249A true CN114782249A (zh) | 2022-07-22 |
Family
ID=82428635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210394103.5A Pending CN114782249A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的超分辨率重建方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782249A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051298A1 (zh) * | 2022-09-09 | 2024-03-14 | 华为技术有限公司 | 一种图像处理方法、装置及计算设备 |
-
2022
- 2022-04-14 CN CN202210394103.5A patent/CN114782249A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051298A1 (zh) * | 2022-09-09 | 2024-03-14 | 华为技术有限公司 | 一种图像处理方法、装置及计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11537873B2 (en) | Processing method and system for convolutional neural network, and storage medium | |
| US20220261960A1 (en) | Super-resolution reconstruction method and related apparatus | |
| US8780996B2 (en) | System and method for encoding and decoding video data | |
| CN115409755B (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| US20220245764A1 (en) | Method for image super-resolution, device and storage medium | |
| CN113379627B (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
| CN111080655A (zh) | 图像分割及其模型训练方法、装置、介质及电子设备 | |
| CN105979283A (zh) | 视频转码方法和装置 | |
| CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
| CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| US20230011823A1 (en) | Method for converting image format, device, and storage medium | |
| US20230047748A1 (en) | Method of fusing image, and method of training image fusion model | |
| CN106133791B (zh) | 用于颜色压缩的群聚和编码 | |
| CN111768467A (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN113839998B (zh) | 图像数据传输方法、装置、设备、存储介质及程序产品 | |
| CN114782249A (zh) | 一种图像的超分辨率重建方法、装置、设备以及存储介质 | |
| CN108668169B (zh) | 图像信息处理方法及装置、存储介质 | |
| CN113610731B (zh) | 用于生成画质提升模型的方法、装置及计算机程序产品 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN113240780B (zh) | 生成动画的方法和装置 | |
| CN115082624A (zh) | 一种人体模型构建方法、装置、电子设备及存储介质 | |
| CN115174774A (zh) | 一种深度图像的压缩方法、装置、设备及存储介质 | |
| CN115272667A (zh) | 农田图像分割模型训练方法、装置、电子设备和介质 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
| CN116309160B (zh) | 图像分辨率修复方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |