CN115115912A - 基于串并联查找表的轻量化图像超分辨率重建方法及装置 - Google Patents
基于串并联查找表的轻量化图像超分辨率重建方法及装置 Download PDFInfo
- Publication number
- CN115115912A CN115115912A CN202210583275.7A CN202210583275A CN115115912A CN 115115912 A CN115115912 A CN 115115912A CN 202210583275 A CN202210583275 A CN 202210583275A CN 115115912 A CN115115912 A CN 115115912A
- Authority
- CN
- China
- Prior art keywords
- image
- lookup table
- pixel
- feature
- outputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 230000002776 aggregation Effects 0.000 claims abstract description 42
- 238000004220 aggregation Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于串并联查找表的轻量化图像超分辨率重建方法及装置，该方法包括：对输入图像进行特征提取，输出第一像素图像和第二像素图像；输入并联网络利用第一查找表提取第一图像邻域结构信息和第二图像邻域结构信息；对输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；加和操作输出得到超分图像。该方法解决现有基于查找表的高效图像超分方法中因查找表规模限制导致的信息损失的问题，通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及基于串并联查找表的轻量化图像超分辨率重建方法及装置。
背景技术
作为计算机视觉领域的一个基础研究课题，单图像超分辨率(SISR)吸引了大量研究人员的注意力，也在很多应用场景中发挥重要的作用，例如监控录像、卫星图片、高清电视等等。图像超分的目的是从低分辨率图像中恢复出高分辨率图像，并根据输入图像中所提供的信息补充丢失的高频细节分量，因此通过足够大小的感受野利用上下文信息对于推测丢失的细节十分重要。深度学习近几年快速发展，在图像超分领域的应用也取得了令人振奋的性能。然而，大多数这些工作都包含较多的网络参数，在测试时耗费较多的存储空间和计算时间。虽然研究者提出一些方法从不同的角度来减少图像超分的计算开销，这些方法依然依赖于特定的高性能计算单元(例如GPU和CPU)来实现并行计算。这种硬件依赖性制约了算法的实际应用，因为一旦离开高性能计算设备的支持，算法在普通计算设备上的速度会大大降低，严重影响其在实际场景中的应用。因此，开发实用且高效的图像超分辨率算法是近年来的热点研究课题。
查找表(Look-Up Tables，LUTs)建立输入数值(索引号)和输出数值之间的关联关系，用速度较快的内存读取操作替代了耗时较多的复杂计算，能够大大节省计算开销并提高算法效率，因此在很多任务中得到了广泛的应用，例如数值计算、视频编码、视频监控、图像转换等。作为相机成像和相片编辑软件中经典且流行的像素调整工具，查找表可以很高效且很方便地实现对图像的操作，例如颜色、曝光度、饱和度等等。近期，基于查找表的方法已经在包括图像增强任务和图像超分任务在内的低层视觉任务中展露头角。然而，在图像增强任务中的应用多数在推理过程中引入了卷积神经网络，导致该模型无法真正在手机等计算资源受限的平台上实现实时的计算。图像超分任务中虽然实现了在手机移动端的高性能算法，但是受制于查找表的规模和可扩展性有限的框架，我们很难在单层查找表的基础上根据实际应用的需求进行进一步的性能提升。如何在不指数级增长查找表的开销的情况下提高查找表的感受野，进而增强图像超分辨率的性能，依然是一个十分关键的开放性问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于串并联查找表的轻量化图像超分辨率重建方法，该方法通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
本发明的另一个目的在于提出一种基于串并联查找表的轻量化图像超分辨率重建装置。
为达到上述目的，本发明一方面实施例提出了一种基于串并联查找表的轻量化图像超分辨率重建方法，包括：
对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像；
将所述第一像素图像和第二像素图像输入并联网络，利用第一查找表对所述第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息；
对根据所述第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；
将输出的所述第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
本发明实施例的基于串并联查找表的轻量化图像超分辨率重建方法还可以具有以下附加技术特征：
进一步的，在本发明的一个实施例中，所述基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图，包括：将获取的所述输入特征图分为多组图像，将所述多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，以及将第二两组特征图通过竖直聚合输出第二聚合特征图；利用第二查找表对所述第一聚合特征图进行处理以及利用第三查找表对所述第二聚合特征图进行处理，输出第一融合特征图和第二融合特征图。
进一步的，在本发明的一个实施例中，所述对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像，包括：对输入图像各个通道上每个像素的八比特数值提取四位最高有效位和四位最低有效位；基于提取的所述四位最高有效位和四位最低有效位，得到预设精度的第一像素图像和第二像素图像。
进一步的，在本发明的一个实施例中，所述第一查找表为LUTWH类型查找表，所述第二查找表为LUTWC类型查找表，所述第三查找表为LUTHC类型的查找表。
进一步的，在本发明的一个实施例中，所述将多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，包括：提取所述多组图像中的相邻的两组特征图，对所述相邻的两组特征图进行数据反射填充，得到填充后的两组数据特征图；基于像素偏移对所述填充后的两组数据特征图进行数据叠加，得到叠加后的两组数据特征图；对所述叠加后的两组数据特征图的每一个数值进行数据量化，得到预设数值的取值个数。
本发明实施例的基于串并联查找表的轻量化图像超分辨率重建方法，通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
为达到上述目的，本发明另一方面实施例提出了一种基于串并联查找表的轻量化图像超分辨率重建装置，包括：
第一特征提取模块，用于对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像；
第二特征提取模块，用于将所述第一像素图像和第二像素图像输入并联网络，利用第一查找表对所述第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息；
聚合融合模块，用于对根据所述第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；
加和输出模块，用于将输出的所述第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
本发明实施例的基于串并联查找表的轻量化图像超分辨率重建装置，通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于串并联查找表的轻量化图像超分辨率重建方法流程图；
图2为根据本发明实施例的基于串并联查找表的轻量化图像超分辨率重建流程框图；
图3为根据本发明实施例的查询模块结构的流程框图；
图4为根据本发明实施例的水平聚合模块的具体流程框图；
图5为根据本发明实施例的基于串并联查找表的轻量化图像超分辨率重建装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于串并联查找表的轻量化图像超分辨率重建方法及装置。
首先将参照附图描述根据本发明实施例提出的基于串并联查找表的轻量化图像超分辨率重建方法。
如图2所示，本发明将这两张图片分别作为并联网络两个子分支的输入，并将两个子分支的输出通过加和得到最终的超分图像，在一起来补偿建立查找表时量化过程带来的精度损失。每个分支由一个空间查找模块、多个查询模块和跳跃连接构成。空间查找模块和查询模块逐步提高所提特征的感受野尺寸，查询模块中包含的水平聚合模块和竖直聚合模块也分别在水平和竖直两个维度扩大了特征的感受野。跳跃连接可以将查找表返回的结果和输入特征的实值信息进行融合，从而提高输出特征的精度。训练过程中，用映射模块替代框架中的每一个查找表，在训练完成后根据映射模块输入和输出之间的对应关系来建立每一个查找表。测试过程中，根据由输入模式计算出来的索引值从每个查找表中查询该输入模式对应的输出，其中输入模式指的是每次参与查询的n个输入像素值或特征响应值的某种排列。
图1为根据本发明一个实施例的基于串并联查找表的轻量化图像超分辨率重建方法流程图。
如图1所示，该基于串并联查找表的轻量化图像超分辨率重建方法包括以下步骤：
步骤S1，对输入图像通道上每个像素的比特数值进行特征提取，输出通道的第一像素图像和第二像素图像。
具体的，本发明实施例对输入图像各个通道上每个像素的8比特数值分别提取4位最高有效位(MSB)和4位最低有效位(LSB)，进而构成两张新的精度更低的图像IMSB和ILSB，前者包含图像的整体语义信息但丢失了细节信息，后者则将丢失的细节信息保存起来。
构成两张新的精度更低的图像IMSB和ILSB，即输出通道的第一像素图像和第二像素图像。
步骤S2，将第一像素图像和第二像素图像输入并联网络，利用第一查找表对第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息。
可以理解的是，不同于只适合于小感受野的传统插值方法，本发明实施例设计了新型的并联网络，该网络包括两个拥有相同串联查找表结构的分支，一个分支处理IMSB，另一个分支处理ILSB，前者集中于上下文语义信息的捕捉，后者则对这些缺失的高频信息进行补全。因此在利用加法将两个分支和的超分结果融合之后即可补偿建立查找表时对输入模式量化造成的精度损失，得到细节纹理清晰的超分辨率结果。
本发明实施例也即是在空间查找模块利用空间维度的查找表LUTWH来对两张新的精度更低的图像IMSB和ILSB局部的纹理信息进行挖掘，从而形成对图像邻域结构信息的初步把握。提取第一图像邻域结构信息和第二图像邻域结构信息。
步骤S3，对根据第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图。
本发明实施例致力于在线性复杂度增长的基础上提高图像感受野，图3给出了查询模块结构的流程，如图3所示。
作为一种示例，对根据第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图的通道维度为8，相邻的两张特征图合为一组，将8张中间特征图分为4组，其中，前两组传入水平聚合模块，后两组传入到竖直聚合模块，以此分别从宽度维度和高度维度增加输出特征的感受野。两个模块的输出的特征图分别为MW和MH，其通道数均为2。本模块中不仅挖掘空间维度的相关性，而且关注通道维度的关联信息。后续过程中用LUTWC类型查找表对MW的信息进行处理而用LUTHC类型的查找表对MH的信息进行处理。经过简单的加法操作得到输出维度为8、感受野得到扩大的输出特征图。
进一步地，查询模块间的聚合模块融合两组特征图用于后续查找表索引中，水平聚合模块的具体流程如图4所示。假定图中输入的两组特征图M12和M34空间尺寸均为3×3，都包含两个通道，此时两个特征图上的某一位置(x,y)处的特征所对应的感受野是相同的。首先将M12的左侧进行反射填充得到M12’,M34右侧进行反射填充得M34’。此时，M12上在(x,y)处的感受野和M12’在(x-1,y)处的感受野相同，M34上在(x,y)处的感受野和M34’在(x,y)处的感受野相同，故M12’和M34’特征图的感受野在宽度维度有一个像素的偏移，叠加后得到的MW’感受野提升。随后为了将实值响应映射为用于后续查找表的查询索引值，需要对MW’进行量化，将每一个数值都量化为取值个数为16。对于竖直聚合模块来说，使用类似的操作进行特征提取，不同点在于反射填充和感受野的扩大都是针对高度维度上进行的。
可以理解的是，所有查找表在查找之前都需要对输入进行量化操作，这个步骤会损失掉中间特征的精度。为了缓解这个问题，本发明还引入了跳跃连接，保持输出特征的精度。在本发明的框架中，空间查找模块和第一个查询模块的输入和输出部分各有一个跳跃连接，第二个查询模块前后没有跳跃连接，但我们将输入低分辨率图片经过最近邻上采样后的图像与输出的超分图像相加，以此提高超分辨率重建的准确率。
步骤S4，将输出的第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
最后，将并联网络两个子分支输出的融合特征图，通过加和得到最终的超分图像。
综上，本发明利用串联查找表来扩大图像超分辨率模型的感受野，通过叠加空间查找模块和查询模块，叠加多个小感受野查找表；输出的每个特征中包含输入图像中更多像素的信息，从而进行更加准确的推断和重建；通过并联网络补偿量化输入像素值带来的精度损失；技术效果是补充缺失的高频信息，解决方格效应、细节信息不全的问题，既避免了基于插值算法的复杂计算，又实现了对大感受野串联网络输出的补偿；利用串联查找表和并联查找表的结合，可以设计结构灵活、性能可控的图像超分辨率网络；可以灵活控制计算效率和重建精度之间的权衡关系，根据实际应用场景设计所需的图像超分辨率网络。
本发明的方法输出的每个特征包含输入图像中更多像素的信息，从而进行更加准确的推断和重建，提高模型可扩展能力；然后，中间特征包含更多上下文信息；最后，准确、高效地重建低分辨率图像中丢失的像素。实验结果证明，该方法很大程度上提高了性能。
根据本发明实施例提出的基于串并联查找表的轻量化图像超分辨率重建方法，解决现有基于查找表的高效图像超分方法中因查找表规模限制导致的信息损失的问题，通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
其次参照附图描述根据本发明实施例提出的基于串并联查找表的轻量化图像超分辨率重建装置。
图5为根据本发明一个实施例的基于串并联查找表的轻量化图像超分辨率重建装置结构示意图。
如图5所示，该基于串并联查找表的轻量化图像超分辨率重建装置10包括：第一特征提取模块100、第二特征提取模块200、聚合融合模块300和加和输出模块400。
第一特征提取模块100，用于对输入图像通道上每个像素的比特数值进行特征提取，输出通道的第一像素图像和第二像素图像；
第二特征提取模块200，用于将第一像素图像和第二像素图像输入并联网络，利用第一查找表对第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息；
聚合融合模块300，用于对根据第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；
加和输出模块400，用于将输出的第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
进一步地，在本发明的一个实施例中，上述聚合融合模块300，包括：
聚合输出模块，用于将获取的输入特征图分为多组图像，将多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，以及将第二两组特征图通过竖直聚合输出第二聚合特征图；
查找融合模块，用于分别利用第二查找表对第一聚合特征图进行处理以及利用第三查找表对第二聚合特征图进行处理，输出第一融合特征图和第二融合特征图。
进一步地，在本发明的一个实施例中，上述第一特征提取模块100，包括：
比特数值提取模块，用于对输入图像各个通道上每个像素的八比特数值提取四位最高有效位和四位最低有效位；
精度像素输出模块，用于基于提取的四位最高有效位和四位最低有效位，得到预设精度的第一像素图像和第二像素图像。
进一步地，在本发明的一个实施例中，第一查找表为LUTWH类型查找表，第二查找表为LUTWC类型查找表，第三查找表为LUTHC类型的查找表。
进一步地，在本发明的一个实施例中，上述聚合输出模块，包括：
数据填充模块，用于提取多组图像中的相邻的两组特征图，对相邻的两组特征图进行数据反射填充，得到填充后的两组数据特征图；
数据叠加模块，用于基于像素偏移对填充后的两组数据特征图进行数据叠加，得到叠加后的两组数据特征图；
数据量化模块，用于对叠加后的两组数据特征图的每一个数值进行数据量化，得到预设数值的取值个数。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例的基于串并联查找表的轻量化图像超分辨率重建装置，通过串并联查找表方法，串联网络堆叠多个感受野较小的查找表来逐渐扩大感受野，并联网络补偿量化输入像素值带来的精度损失，从而实现快速、准确的超分图像推理。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于串并联查找表的轻量化图像超分辨率重建方法，其特征在于，包括以下步骤：
对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像；
将所述第一像素图像和第二像素图像输入并联网络，利用第一查找表对所述第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息；
对根据所述第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；
将输出的所述第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
2.根据权利要求1所述的方法，其特征在于，所述基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图，包括：
将获取的所述输入特征图分为多组图像，将所述多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，以及将第二两组特征图通过竖直聚合输出第二聚合特征图；
利用第二查找表对所述第一聚合特征图进行处理以及利用第三查找表对所述第二聚合特征图进行处理，输出第一融合特征图和第二融合特征图。
3.根据权利要求1所述的方法，其特征在于，所述对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像，包括：
对输入图像各个通道上每个像素的八比特数值提取四位最高有效位和四位最低有效位；
基于提取的所述四位最高有效位和四位最低有效位，得到预设精度的第一像素图像和第二像素图像。
4.根据权利要求2所述的方法，其特征在于，所述第一查找表为LUTWH类型查找表，所述第二查找表为LUTWC类型查找表，所述第三查找表为LUTHC类型的查找表。
5.根据权利要求2所述的方法，其特征在于，所述将多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，包括：
提取所述多组图像中的相邻的两组特征图，对所述相邻的两组特征图进行数据反射填充，得到填充后的两组数据特征图；
基于像素偏移对所述填充后的两组数据特征图进行数据叠加，得到叠加后的两组数据特征图；
对所述叠加后的两组数据特征图的每一个数值进行数据量化，得到预设数值的取值个数。
6.一种基于串并联查找表的轻量化图像超分辨率重建装置，其特征在于，包括：
第一特征提取模块，用于对输入图像通道上每个像素的比特数值进行特征提取，输出所述通道的第一像素图像和第二像素图像；
第二特征提取模块，用于将所述第一像素图像和第二像素图像输入并联网络，利用第一查找表对所述第一像素图像和第二像素图像的纹理信息进行特征提取，以提取第一图像邻域结构信息和第二图像邻域结构信息；
聚合融合模块，用于对根据所述第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设分组数，基于分组后的输入特征图进行特征聚合，将聚合后的特征图进行融合操作并输出第一融合特征图和第二融合特征图；
加和输出模块，用于将输出的所述第一融合特征图和第二融合特征图进行加和操作，输出得到超分图像。
7.根据权利要求6所述的装置，其特征在于，所述聚合融合模块，包括：
聚合输出模块，用于将获取的所述输入特征图分为多组图像，将所述多组图像中的第一两组特征图通过水平聚合输出第一聚合特征图，以及将第二两组特征图通过竖直聚合输出第二聚合特征图；
查找融合模块，用于分别利用第二查找表对所述第一聚合特征图进行处理以及利用第三查找表对所述第二聚合特征图进行处理，输出第一融合特征图和第二融合特征图。
8.根据权利要求6所述的装置，其特征在于，所述第一特征提取模块，包括：
比特数值提取模块，用于对输入图像各个通道上每个像素的八比特数值提取四位最高有效位和四位最低有效位；
精度像素输出模块，用于基于提取的所述四位最高有效位和四位最低有效位，得到预设精度的第一像素图像和第二像素图像。
9.根据权利要求7所述的装置，其特征在于，所述第一查找表为LUTWH类型查找表，所述第二查找表为LUTWC类型查找表，所述第三查找表为LUTHC类型的查找表。
10.根据权利要求7所述的装置，其特征在于，所述聚合输出模块，包括：
数据填充模块，用于提取所述多组图像中的相邻的两组特征图，对所述相邻的两组特征图进行数据反射填充，得到填充后的两组数据特征图；
数据叠加模块，用于基于像素偏移对所述填充后的两组数据特征图进行数据叠加，得到叠加后的两组数据特征图；
数据量化模块，用于对所述叠加后的两组数据特征图的每一个数值进行数据量化，得到预设数值的取值个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210583275.7A CN115115912B (zh) | 2022-05-26 | 2022-05-26 | 基于串并联查找表的轻量化图像超分辨率重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210583275.7A CN115115912B (zh) | 2022-05-26 | 2022-05-26 | 基于串并联查找表的轻量化图像超分辨率重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115115912A true CN115115912A (zh) | 2022-09-27 |
| CN115115912B CN115115912B (zh) | 2024-06-07 |
Family
ID=83326987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210583275.7A Active CN115115912B (zh) | 2022-05-26 | 2022-05-26 | 基于串并联查找表的轻量化图像超分辨率重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115912B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060171602A1 (en) * | 2005-01-31 | 2006-08-03 | International Business Machines Corporation | Method and system for using a look-up table for a linear operation in image processing |
| US20160171344A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Model compression in binary coded image based object detection |
| CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
| CN111241317A (zh) * | 2020-01-08 | 2020-06-05 | 四川大学 | 一种基于多个二维查找表的相位和调制信息获取方法 |
| CN113591825A (zh) * | 2021-10-08 | 2021-11-02 | 湖南大学 | 基于超分辨网络的目标搜索重建方法、装置及存储介质 |
| CN113744153A (zh) * | 2021-09-02 | 2021-12-03 | 深圳大学 | 双分支图像修复伪造检测方法、系统、设备及存储介质 |
| CN114022357A (zh) * | 2021-10-29 | 2022-02-08 | 北京百度网讯科技有限公司 | 图像重建方法、图像重建模型的训练方法、装置和设备 |
-
2022
- 2022-05-26 CN CN202210583275.7A patent/CN115115912B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060171602A1 (en) * | 2005-01-31 | 2006-08-03 | International Business Machines Corporation | Method and system for using a look-up table for a linear operation in image processing |
| US20160171344A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Model compression in binary coded image based object detection |
| CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
| WO2019192588A1 (zh) * | 2018-04-04 | 2019-10-10 | 华为技术有限公司 | 图像超分方法及装置 |
| CN111241317A (zh) * | 2020-01-08 | 2020-06-05 | 四川大学 | 一种基于多个二维查找表的相位和调制信息获取方法 |
| CN113744153A (zh) * | 2021-09-02 | 2021-12-03 | 深圳大学 | 双分支图像修复伪造检测方法、系统、设备及存储介质 |
| CN113591825A (zh) * | 2021-10-08 | 2021-11-02 | 湖南大学 | 基于超分辨网络的目标搜索重建方法、装置及存储介质 |
| CN114022357A (zh) * | 2021-10-29 | 2022-02-08 | 北京百度网讯科技有限公司 | 图像重建方法、图像重建模型的训练方法、装置和设备 |
Non-Patent Citations (2)
| Title |
|---|
| YOUNGHYUN JO: "Practical Single-Image Super-Resolution Using Look-Up Table", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 31 December 2021 (2021-12-31), pages 1 - 10 * |
| 李欣;崔子冠;朱秀昌;: "超分辨率重建算法综述", 电视技术, no. 09, 17 September 2016 (2016-09-17), pages 1 - 8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115115912B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN108921910B (zh) | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 | |
| CN113052764B (zh) | 一种基于残差连接的视频序列超分重建方法 | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN110136067B (zh) | 一种针对超分辨率b超影像的实时影像生成方法 | |
| WO2023185284A1 (zh) | 视频处理方法和装置 | |
| CN113837946A (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
| CN111882053B (zh) | 一种基于拼接卷积的神经网络模型压缩方法 | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| CN113362239A (zh) | 一种基于特征交互的深度学习图像修复方法 | |
| CN115115912B (zh) | 基于串并联查找表的轻量化图像超分辨率重建方法及装置 | |
| CN116823647A (zh) | 基于快速傅里叶变换和选择性注意力机制的图像补全方法 | |
| CN115908139A (zh) | 一种基于神经网络的图像超分辨率模型的构建方法 | |
| US20220044370A1 (en) | Image processing methods | |
| CN111915492B (zh) | 一种基于动态重建的多分支视频超分辨率方法及系统 | |
| CN113744220A (zh) | 一种基于pynq的无预选框检测系统 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN115019022B (zh) | 一种基于双深度融合网络的轮廓检测方法 | |
| TWI748426B (zh) | 單視角影像深度圖序列生成方法、系統與電腦程式產品 | |
| He et al. | Capturing Cross-Scale Disparity for Stereo Image Super-Resolution | |
| CN113556581B (zh) | 插值帧的生成方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |