CN112203098B - 基于边缘特征融合和超分辨率的移动端图像压缩方法 - Google Patents
基于边缘特征融合和超分辨率的移动端图像压缩方法 Download PDFInfo
- Publication number
- CN112203098B CN112203098B CN202011002649.9A CN202011002649A CN112203098B CN 112203098 B CN112203098 B CN 112203098B CN 202011002649 A CN202011002649 A CN 202011002649A CN 112203098 B CN112203098 B CN 112203098B
- Authority
- CN
- China
- Prior art keywords
- image
- branches
- resolution
- information
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000006835 compression Effects 0.000 title claims abstract description 24
- 238000007906 compression Methods 0.000 title claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：在移动端对采集的图像进行梯度提取和下采样操作，得到边缘梯度图像和低分辨率图像；服务器使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取；将两个支路输出E0与D0送入两个级联的边缘特征融合模块，对两支路特征进行进一步的深度提取；最后通过亚像素卷积层进行上采样，得到输出图片。本发明设计合理，对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息，降低了传输带宽；服务器充分利用了上传的高频信息，在保证了低参数量的同时，取得了良好的重建效果。
Description
技术领域
本发明涉及计算机视觉图像技术领域，尤其涉及基于边缘特征融合和超分辨率的移动端图像压缩方法。
背景技术
移动终端已经被接受为在线社交的主流工具，人们可以上传照片和视频来分享自己的生活。然而，密集的带宽占用所带来的巨大费用却增加了服务供应商的运营成本。图像压缩对于减少存储空间和网络带宽占用至关重要。
对于无损图像压缩，由于原始图像需要完全重建，所以压缩率是有限的。但是对于有损图像压缩，可以在不受图像质量限制的情况下采用更高的存储压缩比。一些传统的数字图像处理方法是对从原始图像中裁剪出来的区块进行编码操作。但是在采用高压缩比的情况下会有明显的区块效应，并在重建图像中会出现不自然的伪影。随着卷积神经网络的兴起，人们引入深度学习来压缩图像，以提高重建图像的质量。大多数方法使用基于卷积神经网络的模块作为编码器，但是随着模型复杂度的急剧增加，处理速度大大减慢。里斯等人在降低执行速度的同时引入递归结构来减少参数的数量，但在运行速度的问题上并没有明显的改善。里贝尓等人在桌面图像处理器上提出了一种基于生成对抗网络的方法，虽然加快了处理速度，但是目前大部分的互联网流量来自移动终端，而不是台式机。因此需要一种能够在移动端进行实时高清图像上传的压缩算法。
对于大多数移动终端处理器来说，降采样操作是便于计算的，而复杂的解码重建则被分配给了共享平台的强大服务器；为了加快重建过程，提高重建质量，我们提出了一种嵌入高效深度神经网络的边缘特征融合超分辨率方法，用于高分辨率图像上传。
发明内容
针对现有技术存在的不足，本发明目的是提供基于边缘特征融合和超分辨率的移动端图像压缩方法。本发明提出一个轻量级的编码器，并通过在解码器端引入一个基于超分辨率算法的解码模块来节省带宽；图像在信源处被缩小，以较少的带宽传输，并在接收点进行解码重建；本发明在保证重建质量的同时，消除了编码过程带来的繁重计算；对基准的定量和定性评估表明，在相同的编码方法中，本发明的性能超过了当前最先进的水平，同时大大减少了参数和计算量。
本发明的目的可以通过以下技术方案实现：基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：
步骤一：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔算子的边缘梯度图像提取得到边缘梯度图像，以及对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；
步骤二：服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，包括：
在收到上传的边缘梯度图像和低分辨率图像之后，由尺寸为3×3×64的卷积层对边缘梯度图像和低分辨率图像这两个支路的原始特征进行提取，得到两支路各自的初步特征E0与D0；
步骤三：将两个支路输出E0与D0送入两个级联的边缘特征融合模块，进行特征融合，然后对两支路特征进行进一步的深度提取；
步骤四：将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；
步骤五：利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像。
进一步地，步骤一的具体实现方法包括以下步骤：
S11：利用索贝尔算子对图像的亮度通道进行梯度信息提取；得到边缘梯度图像；
S12：根据所需压缩比选取对应的下采样尺度对移动端采集的图像进行下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，可选的下采样尺度共有×2、×3、×4一共三种，分别对应着各自尺度的解码模块。
进一步地，步骤三的具体实现方法包括以下步骤：
S31：两支路的原始特征分别为E0与D0；将E0和D0进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后，得到相应的通道权重向量β1和β2，使用各自权重向量对输入的E0和D0进行权重分配得到E1和D1；
S32：两支路信息分别通过1×1×384的卷积层；对E1和D1进行升维得到残差特征E2和D2；再经过线性整流后由1×1×51的卷积层对信息进行降维得到具有强非线性映射的特征E3和D3，再经过3×3×64的卷积层得到最终的特征E4和D4；
S33：再将两支路信息E4和D4在通道维度上进行特征拼接得到EF和DF，将EF和DF两路特征信息进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β3和β4，使用各自权重向量对输入的EF和DF进行权重分配得到EF1和DF1；
S34：各支路再对EF1和DF1进行进一步的特征提取，EF1和DF1通过1×1×768的卷积层对融合特征信息进行升维得到特征EF2和DF2，经过再次线性整流后由1×1×102的卷积层对信息进行降维得到具有更强非线性映射的特征EF3和DF3；最后经过3×3×128的卷积层得到最终的特征EF4和DF4；
S35：最后将EF4和DF4与原始特征在通道维度上进行拼接得到两支路各自的输出O1和O2；两支路特征再次经过一个级联的特征信息融合模块便可得到输出O3与O4。
进一步地，步骤四的具体实现方法包括以下步骤：
S41：将之前各支路拼接得到的特征O3和O4进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β5和β6；
S42：使用权重向量β5和β6对输入的O3和O4进行权重分配得到U1和U2。
进一步地，步骤五的具体实现方法包括以下步骤：
S51：对两路信息U1和U2由1×1×64的瓶颈层进行降维得到UC1和UC2；
S52：各自运用3×3×256的卷积层对压缩后的特征进行提取，然后通过像素重组操作对通道进行组合实现尺寸的放大得到UC1和UC2；
S53：把UC1和UC2送入3×3×1的重建卷积层得到最终的高分辨率图像输出HR1和HR2；
S54：把HR1和HR2进行逐像素相加得到最后的输出HR。
本发明的有益效果是：
1、本发明在移动端信息编码部分，仅使用双三次下采样算法和基于Sobel算子的边缘梯度信息提取算法；其包含的运算量远远低于现有的基于卷积神经网络的图像压缩编码器，使其更易于在移动设备上进行部署，并且能够提升在进行高清图像上传时的用户体验；由于使用深度卷积神经网络进行编解码，避免了由传统压缩编码方式而产生的区块效应，有更好的视觉效果；
2、本发明在服务器使用了结合边缘梯度信息的超分辨率卷积神经网络，对由移动端传输来的图像进行深度特征提取与特征融合，充分利用了下采样过程中丢失的高频信息，和现有的超分变率算法相比，在减少参数量的同时加快了网络的前馈速度，并具有远远超过当前超分辨率算法的重建精度和视觉效果。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明的流程示意图；
图2为本发明的总体网络框图；
图3为本发明的边缘特征融合模块的网络框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1-3所示，基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：
步骤一：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔算子的边缘梯度图像提取得到边缘梯度图像，以及对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；从而减少传输中的带宽占用；具体为：
S11：利用索贝尔算子对图像的亮度通道进行梯度信息提取；得到边缘梯度图像；
S12：根据所需压缩比选取对应的下采样尺度对移动端采集的图像进行下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，可选的下采样尺度共有×2、×3、×4一共三种，分别对应着各自尺度的解码模块；
步骤二：服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，包括：
在收到上传的边缘梯度图像和低分辨率图像之后，由尺寸为3×3×64的卷积层对边缘梯度图像和低分辨率图像这两个支路的原始特征进行提取，得到两支路各自的初步特征E0与D0；
步骤三：将两个支路输出E0与D0送入两个级联的边缘特征融合模块，进行特征融合，然后对两支路特征进行进一步的深度提取；具体步骤为：
S31：两支路的原始特征分别为E0与D0；将E0和D0进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后，得到相应的通道权重向量β1和β2，使用各自权重向量对输入的E0和D0进行权重分配得到E1和D1；该部分充分考虑了不同通道之间的相关性，利用通道之间的特性为各通道的图像赋予权重，从而使网络有更好的表达性能，在不加深网络层数的前提下获得性能上的提升；
S32：两支路信息分别通过1×1×384的卷积层；对E1和D1进行升维得到残差特征E2和D2；再经过线性整流后由1×1×51的卷积层对信息进行降维得到具有强非线性映射的特征E3和D3，再经过3×3×64的卷积层得到最终的特征E4和D4；在线性整流之前对特征进行升维，在线性整流之后进行降维从而得到具有强非线性的特征，增强网络在超分辨率重建时的性能；提高网络的表达能力；
S33：再将两支路信息E4和D4在通道维度上进行特征拼接得到EF和DF，将EF和DF两路特征信息进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β3和β4，使用各自权重向量对输入的EF和DF进行权重分配得到EF1和DF1；对边缘梯度图像信息和低分辨率图像信息进行拼接融合，使图像的边缘特征能够更好的引导原有的图像进行重建，最后经过通道注意力机制的处理加工从而使两种特征更好地被融合在一起；
S34：各支路再对EF1和DF1进行进一步的特征提取，EF1和DF1通过1×1×768的卷积层对融合特征信息进行升维得到特征EF2和DF2，经过再次线性整流后由1×1×102的卷积层对信息进行降维得到具有更强非线性映射的特征EF3和DF3；最后经过3×3×128的卷积层得到最终的特征EF4和DF4；这一步骤是对合并后特征的再次提取和处理，通过特征的进一步融合使各层的深度信息被更充分的挖掘和利用；
S35：最后将EF4和DF4与原始特征在通道维度上进行拼接得到两支路各自的输出O1和O2；两支路特征再次经过一个级联的特征信息融合模块便可得到输出O3与O4；与原始特征在通道维度上进行拼接保持了两支路各自的原始信息，不至于使两支路的信息由于深度融合而逐渐趋于一致，保持了两支路之间各自的独立性，并为最后的两支路重建做准备；
步骤四：将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；具体步骤为：
S41：将之前各支路拼接得到的特征O3和O4进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β5和β6；
S42：使用权重向量β5和β6对输入的O3和O4进行权重分配得到U1和U2；采用通道注意力机制为不同的通道赋予不同的权重，从而将不同通道间存在的相关性更好的体现出来，为最后的图像重建做准备；
步骤五：利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像；包括：
S51：对两路信息U1和U2由1×1×64的瓶颈层进行降维得到UC1和UC2；
S52：各自运用3×3×256的卷积层对压缩后的特征进行提取，然后通过像素重组操作对通道进行组合实现尺寸的放大得到UC1和UC2；通过通道组合一方面可以节省在重建时所需要的参数量，另一方面可以使重建的精度得到较好的提升；
S53：把UC1和UC2送入3×3×1的重建卷积层得到最终的高分辨率图像输出HR1和HR2；两支路各自重建可以更好地体现出两路特征的差异性，各自负责一部分的重建工作，从而获得更精确的图像输出；
S54：把HR1和HR2进行逐像素相加得到最后的输出HR；即最后得到了参考边缘信息的重建图像，从而完成了图像的解码流程。
本发明的具体实施方式为：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔(Sobel)算子的边缘梯度图像提取得到边缘梯度图像，以及双三次下采样得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，得到两支路各自的初步特征E0与D0；将两个支路输出E0与D0送入两个级联的边缘特征融合模块，进行特征融合，然后对两支路特征进行进一步的深度提取；将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；最后利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像。
本发明提出一个轻量级的编码器，并通过在解码器端引入一个基于超分辨率算法的解码模块来节省带宽；图像在信源处被缩小，以较少的带宽传输，并在接收点进行解码重建；本发明在保证重建质量的同时，消除了编码过程带来的繁重计算；同时大大减少了参数和计算量。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.基于边缘特征融合和超分辨率的移动端图像压缩方法，其特征在于，包括如下步骤：
步骤一：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔算子的边缘梯度图像提取得到边缘梯度图像，以及对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；
步骤二：服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，包括：
在收到上传的边缘梯度图像和低分辨率图像之后，由尺寸为3×3×64的卷积层对边缘梯度图像和低分辨率图像这两个支路的原始特征进行提取，得到两支路各自的初步特征E0与D0；
步骤三：将两个支路输出E0与D0送入两个级联的边缘特征融合模块，进行特征融合，然后对两支路特征进行进一步的深度提取；
步骤四：将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；
步骤五：利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像。
2.根据权利要求1所述的基于边缘特征融合和超分辨率的移动端图像压缩方法，其特征在于，步骤一的具体实现方法包括以下步骤：
S11：利用索贝尔算子对图像的亮度通道进行梯度信息提取；得到边缘梯度图像；
S12：根据所需压缩比选取对应的下采样尺度对移动端采集的图像进行下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，可选的下采样尺度共有×2、×3、×4一共三种，分别对应着各自尺度的解码模块。
3.根据权利要求1所述的基于边缘特征融合和超分辨率的移动端图像压缩方法，其特征在于，步骤三的具体实现方法包括以下步骤：
S31：两支路的原始特征分别为E0与D0；将E0和D0进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后，得到相应的通道权重向量β1和β2，使用各自权重向量对输入的E0和D0进行权重分配得到E1和D1；
S32：两支路信息分别通过1×1×384的卷积层；对E1和D1进行升维得到残差特征E2和D2；再经过线性整流后由1×1×51的卷积层对信息进行降维得到具有强非线性映射的特征E3和D3，再经过3×3×64的卷积层得到最终的特征E4和D4；
S33：再将两支路信息E4和D4在通道维度上进行特征拼接得到EF和DF，将EF和DF两路特征信息进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β3和β4，使用各自权重向量对输入的EF和DF进行权重分配得到EF1和DF1；
S34：各支路再对EF1和DF1进行进一步的特征提取，EF1和DF1通过1×1×768的卷积层对融合特征信息进行升维得到特征EF2和DF2，经过再次线性整流后由1×1×102的卷积层对信息进行降维得到具有更强非线性映射的特征EF3和DF3；最后经过3×3×128的卷积层得到最终的特征EF4和DF4；
S35：最后将EF4和DF4与原始特征在通道维度上进行拼接得到两支路各自的输出O1和O2；两支路特征再次经过一个级联的特征信息融合模块便可得到输出O3与O4。
4.根据权利要求3所述的基于边缘特征融合和超分辨率的移动端图像压缩方法，其特征在于，步骤四的具体实现方法包括以下步骤：
S41：将之前各支路拼接得到的特征O3和O4进行全局池化，提取其全局语义信息，然后经过卷积层、线性整流变换、卷积层和Sigmoid非线性变换后得到通道权重向量β5和β6；
S42：使用权重向量β5和β6对输入的O3和O4进行权重分配得到U1和U2。
5.根据权利要求1所述的基于边缘特征融合和超分辨率的移动端图像压缩方法，其特征在于，步骤五的具体实现方法包括以下步骤：
S51：对两路信息U1和U2由1×1×64的瓶颈层进行降维得到UC1 和UC2；
S52：各自运用3×3×256的卷积层对压缩后的特征进行提取，然后通过像素重组操作对通道进行组合实现尺寸的放大得到UC1 和UC2；
S53：把UC1 和UC2送入3×3×1的重建卷积层得到最终的高分辨率图像输出HR1和HR2；
S54：把HR1和HR2进行逐像素相加得到最后的输出HR。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011002649.9A CN112203098B (zh) | 2020-09-22 | 2020-09-22 | 基于边缘特征融合和超分辨率的移动端图像压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011002649.9A CN112203098B (zh) | 2020-09-22 | 2020-09-22 | 基于边缘特征融合和超分辨率的移动端图像压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112203098A CN112203098A (zh) | 2021-01-08 |
| CN112203098B true CN112203098B (zh) | 2021-06-01 |
Family
ID=74015905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011002649.9A Active CN112203098B (zh) | 2020-09-22 | 2020-09-22 | 基于边缘特征融合和超分辨率的移动端图像压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112203098B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734643A (zh) * | 2021-01-15 | 2021-04-30 | 重庆邮电大学 | 一种基于级联网络的轻量图像超分辨率重建方法 |
| EP4303818A1 (en) * | 2021-04-08 | 2024-01-10 | Huawei Technologies Co., Ltd. | Image processing method and apparatus, and training method and apparatus |
| CN113343953B (zh) * | 2021-08-05 | 2021-12-21 | 南京信息工程大学 | 一种用于遥感场景识别的fgr-am方法和系统 |
| CN113727050B (zh) * | 2021-11-04 | 2022-03-01 | 山东德普检测技术有限公司 | 面向移动设备的视频超分辨率处理方法、装置、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008067363A2 (en) * | 2006-11-27 | 2008-06-05 | Nec Laboratories America, Inc. | Soft edge smoothness prior and application on alpha channel super resolution |
| CN101383898A (zh) * | 2007-09-07 | 2009-03-11 | 索尼株式会社 | 图像处理设备、图像处理方法和计算机程序 |
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101164648A (zh) * | 2006-10-17 | 2008-04-23 | 上海科技馆 | 机器人剧场 |
| CN100565244C (zh) * | 2007-10-31 | 2009-12-02 | 北京航空航天大学 | 多模多目标精密跟踪装置和方法 |
| JP5006814B2 (ja) * | 2008-02-26 | 2012-08-22 | キヤノン株式会社 | 撮像装置 |
-
2020
- 2020-09-22 CN CN202011002649.9A patent/CN112203098B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008067363A2 (en) * | 2006-11-27 | 2008-06-05 | Nec Laboratories America, Inc. | Soft edge smoothness prior and application on alpha channel super resolution |
| CN101383898A (zh) * | 2007-09-07 | 2009-03-11 | 索尼株式会社 | 图像处理设备、图像处理方法和计算机程序 |
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
Non-Patent Citations (1)
| Title |
|---|
| Image Super-Resolution Reconstruction via L1/2 and S1/2 Regularizations;Liang-Yong Xia;《2016 International Conference on Digital Image Computing: Techniques and Applications》;20161226;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112203098A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112203098B (zh) | 基于边缘特征融合和超分辨率的移动端图像压缩方法 | |
| CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN110751597B (zh) | 基于编码损伤修复的视频超分辨方法 | |
| CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
| CN107155110A (zh) | 一种基于超分辨率技术的图片压缩方法 | |
| CN115082308A (zh) | 基于多尺度局部自注意力的视频超分辨率重建方法及系统 | |
| WO2022016350A1 (zh) | 光场图像的处理方法、编码器、解码器及存储介质 | |
| CN117237197B (zh) | 基于交叉注意力机制的图像超分辨率方法及装置 | |
| CN112135136A (zh) | 超声远程医疗发送方法、装置和接收方法、装置及系统 | |
| CN112150400A (zh) | 图像增强方法、装置和电子设备 | |
| CN114979672A (zh) | 视频编码方法、解码方法、电子设备及存储介质 | |
| WO2024164694A1 (zh) | 图像压缩方法、装置、电子设备、计算机程序产品及存储介质 | |
| CN115294222A (zh) | 图像编码方法及图像处理方法、终端及介质 | |
| CN113225590B (zh) | 视频超分增强方法、装置、计算机设备和存储介质 | |
| Conde et al. | AIM 2024 challenge on efficient video super-resolution for av1 compressed content | |
| CN115941966B (zh) | 一种视频压缩方法及电子设备 | |
| CN117097853A (zh) | 一种基于深度学习的实时抠像方法及系统 | |
| CN116362995A (zh) | 一种基于标准先验的牙齿图像修复方法和系统 | |
| CN113194312B (zh) | 结合视觉显著性的行星科学探测图像自适应量化编码系统 | |
| Wang et al. | Image quality enhancement using hybrid attention networks | |
| CN113132732B (zh) | 一种人机协同的视频编码方法及视频编码系统 | |
| Lin et al. | Deep learning based video super-resolution and its application in video conferences | |
| CN114067258B (zh) | 一种面部通话视频的分层编码方法 | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 | |
| Gao et al. | ULcompress: A Unified low bit-rate image Compression Framework via Invertible Image Representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |