CN111050174A - 图像压缩方法、装置及系统 - Google Patents

图像压缩方法、装置及系统 Download PDF

Info

Publication number
CN111050174A
CN111050174A CN201911390254.8A CN201911390254A CN111050174A CN 111050174 A CN111050174 A CN 111050174A CN 201911390254 A CN201911390254 A CN 201911390254A CN 111050174 A CN111050174 A CN 111050174A
Authority
CN
China
Prior art keywords
image
target
feature map
feature
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911390254.8A
Other languages
English (en)
Inventor
段一平
陶晓明
韩超诣
王隽
陆建华
宋奇蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911390254.8A priority Critical patent/CN111050174A/zh
Publication of CN111050174A publication Critical patent/CN111050174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像压缩方法、装置及系统，涉及图像压缩技术领域，该方法应用于配置有图像压缩网络的设备；包括：获取待压缩的目标图像；其中，目标图像包括目标区域和背景区域；将目标图像输入至特征提取网络，通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值；将空间特征图和内容特征图输入至特征压缩网络，通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。本发明能够有效降低通信码率，提高图像的感知质量。

Description

图像压缩方法、装置及系统
技术领域
本发明涉及图像压缩技术领域，尤其是涉及一种图像压缩方法、装置及系统。
背景技术
随着移动通信技术的发展，图像和视频类多媒体业务已成为无线通信的主体。在图像和视频数据爆炸性增长的情况下，通信带宽难以满足高品质的宽带业务，因此，高效的图像压缩算法显得尤为重要。
现有的诸如基于变换的图像压缩和基于学习的图像压缩等压缩方法，在对输入图像进行表征的过程中，缺少对图像内容的考虑，不能实现对图像内容的自适应表征。同时，在图像压缩过程中，对图像采用的压缩目标函数通常是精确的客观指标，例如PSNR和SSIM等指标，导致压缩后的图像不但不能实现极低码率下的压缩，而且还降低了图像的感知质量，使用户主观感受较差。
发明内容
本发明的目的在于提供图像压缩方法、装置及系统，以有效降低通信码率，提高图像的感知质量。
本发明提供的一种图像压缩方法，所述方法应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述方法包括：获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。
进一步的，所述特征提取网络包括编码器和内容分析器；所述通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图的步骤，包括：通过编码器对所述目标图像进行空间特征提取，得到所述目标图像的空间特征图；通过内容分析器对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图；其中，所述目标区域为所述目标图像中包含有目标物的图像区域。
进一步的，所述对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图的步骤，包括：对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像对应的增强特征图；其中，所述增强特征图中所述目标区域的特征值为第一值，所述背景区域的特征值为第二值，且所述第一值大于所述第二值；根据预设的转换算法对所述增强特征图中的各个特征值进行转换，得到所述目标图像的内容特征图。
进一步的，所述转换算法为：
Figure BDA0002342732110000021
其中，(i,j)为所述增强特征图中各位置的坐标，pi,j是所述增强特征图中位置(i,j)处的特征值，mi,j c为所述内容特征图中位置(i,j)处的特征值，c为预设的特征值。
进一步的，所述特征压缩网络包括量化器和解码器；所述将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像的步骤，包括：将所述空间特征图和所述内容特征图输入至量化器，以使所述量化器根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图；将所述量化后的特征图输入至解码器，以使所述解码器对所述量化后的特征图进行重构，得到所述目标图像对应的目标压缩图像。
进一步的，所述根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图的步骤，包括：将所述内容特征图与所述空间特征图执行点乘操作，得到待量化特征图；根据预设的量化算法对所述待量化特征图进行量化，得到量化后的特征图。
进一步的，所述量化算法包括：
Figure BDA0002342732110000031
其中，
Figure BDA0002342732110000032
为量化后的特征图，ztmp为所述待量化特征图，cj为量化中心，且j＝1、2、3……l，l为量化中心的取样数量，L表示l的最大值，σ为温度因子。
进一步的，所述方法还包括：设立判别器；其中，所述判别器的输入为训练图像、所述图像压缩网络在对所述训练图像进行压缩过程中输出的训练压缩图像；对所述判别器和所述图像压缩网络进行联合训练，直至所述判别器和所述图像压缩网络的总损失函数收敛至预设值时停止训练。
进一步的，所述对所述判别器和所述图像压缩网络进行联合训练的步骤，包括：获取训练图像，并将所述训练图像输入至所述图像压缩网络；通过所述图像压缩网络对所述训练图像进行压缩，得到所述训练图像对应的训练压缩图像，以及通过所述图像压缩网络计算率失真函数值；将所述训练图像和所述训练压缩图像输入至所述判别器，通过所述判别器计算目标优化函数值；根据所述率失真函数值和所述目标优化函数值确定总损失函数值；基于所述总损失函数值，通过反向传播算法对所述判别器和所述图像压缩网络进行联合训练。
进一步的，按照以下公式，计算率失真函数值：
Figure BDA0002342732110000041
其中，
Figure BDA0002342732110000042
为度量所述训练图像x与所述训练压缩图像
Figure BDA0002342732110000043
之间的失真指标，且
Figure BDA0002342732110000044
其中LGAN为判别器误差，λGAN为所述LGAN的权重，LFM为特征匹配误差，λFM为LFM的权重，Lsaliency为目标区域的均方误差，λsaliency为Lsaliency的权重，Lbackground为背景区域的感知误差，λpreceptual为Lbackground的权重，E表示编码器，G表示解码器。
进一步的，按照以下公式，计算目标优化函数值：
Figure BDA0002342732110000045
其中，
Figure BDA0002342732110000046
为所述训练压缩图像，x为所述训练图像，Dk(x)表示第k个判别器的输出，k表示判别器的第k个尺度。
本发明提供的一种图像压缩装置，所述装置应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述装置包括：图像获取模块，用于获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；特征提取模块，用于将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；图像压缩模块，用于将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。
本发明提供的一种图像压缩系统，所述系统包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述的方法。
本发明提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
本发明提供了一种图像压缩方法、装置及系统，首先通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值；然后通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。本实施例所提供的上述图像压缩方式，通过对较高维度的目标图像进行空间特征提取，得到低维、紧致的空间特征图像，由此可以大大减少通信传输的数据量，有效降低了传输的码率；同时，通过提取目标图像的内容特征图，使得在空间特征图和内容特征图共同作用于图像压缩的过程(即图像的量化和重构)中，充分考虑目标图像的目标区域和背景区域的特征，且目标区域的特征值较大，从而提高了目标压缩图像对目标物的感知质量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像压缩方法流程图；
图2为本发明实施例提供的图像压缩网络的结构示意图；
图3为本发明实施例提供的训练模型的结构示意图；
图4为本发明实施例提供的图像压缩装置的结构框图；
图5为本发明实施例提供的图像压缩系统的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的图像压缩方法在对输入图像进行表征的过程中，缺少对图像内容的考虑，不能实现对图像内容的自适应表征；同时，采用的压缩目标函数通常是精确的客观指标，缺少对用户主观体验的考虑。
发明人研究发现，基于深度学习的图像压缩方法通过端到端的学习方式联合优化编码器、量化器和解码器，能够学习到一个较好的压缩系统。该方法可以一定程度放松图像压缩的客观指标，将高层抽象语义进行解码。在此基础上，本发明实施例提供的一种图像压缩方法、装置以及系统，可以有效降低通信码率，提高图像的感知质量。该技术可以广泛应用于军用、民用场景中，诸如视频电话、视频监控、无线通信和媒体直播等。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像压缩方法进行详细介绍。
实施例一：
参照图1所示的图像压缩方法流程图，该方法应用于配置有图像压缩网络的设备；其中，图像压缩网络包括特征提取网络和特征压缩网络。
参照图1，该方法具体包括如下步骤S102至步骤S106：
步骤S102，获取待压缩的目标图像；其中，目标图像包括目标区域和背景区域。该目标图像为包含有目标物和目标物的周围环境(如背景、前景)的图像，且该图像不仅可以为自然图像，还可以为遥感图像；目标物可以为行人、车辆或动植物等其它对象。目标图像中包含有目标物的图像区域为目标区域，除目标区域之外的图像区域为背景区域。在一些可能的获取方式中，目标图像可以是图像采集装置拍摄的图像，也可以是由网络下载/爬取、本地存储或人工上传的图像，或者还可以是经由图像扫描仪进行模数转换后的图像等。
步骤S104，将目标图像输入至特征提取网络，通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值。
为了对目标图像分别进行空间特征提取和内容特征提取，本实施例中的特征提取网络可以包括两个不同的特征提取网络。诸如，其中一个特征提取网络可以为具有图像特征提取能力的深度神经网络，用于提取目标图像的全局特征，得到空间特征图。另一个特征提取网络可以为具有注意力机制的特征提取网络，用于对目标图像的目标区域和背景区域进行内容特征提取，得到包含有目标区域特征和背景区域特征的内容特征图。基于注意力机制可以快速关注到目标图像中的目标物的关键区域(即目标区域)，以提取出目标区域中更加关键和重要的信息。
步骤S106，将空间特征图和内容特征图输入至特征压缩网络，通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。
在本实施例中，可以先根据内容特征图对空间特征图进行量化，得到量化后的特征图；然后再对量化后的特征图进行重构，得到目标图像对应的压缩图像。
上述根据内容特征图对空间特征图进行量化和重构方式，不但能够有效地降低传输的码率，而且可以使压缩图像有效承载空间特征图和内容特征图中包含的所有有效信息，诸如，包含有目标图像的空间特征、感知度较高的目标区域特征以及感知度相对较低的背景区域特征，从而提升压缩图像的感知质量，改善用户体验。
本发明实施例所提供的图像压缩方法，通过对较高维度的目标图像进行空间特征提取，得到低维、紧致的空间特征图像，由此可以大大减少通信传输的数据量，有效降低了传输的码率；同时，通过提取目标图像的内容特征图，使得在空间特征图和内容特征图共同作用于图像压缩的过程(即图像的量化和重构)中，充分考虑目标图像的目标区域和背景区域的特征，且目标区域的特征值较大，从而提高了目标压缩图像对目标物的感知质量。
为了便于理解图像压缩网络，可参照如图2所示的图像压缩网络的结构示意图，该图像压缩网络可以为在Tensorflow框架下构建完成的。对图像压缩网络的结构的具体介绍如下：图像压缩网络主要包括特征提取网络和特征压缩网络，其中，特征提取网络包括编码器E和内容分析器S，特征压缩网络包括与编码器E和内容分析器S分别相连的量化器Q，以及连接于量化器Q输出端的解码器(也称为生成器)G。
编码器E的输入为目标图像x，编码器E的输出为空间特征图z；内容分析器S的输入为目标图像x，内容分析器S的输出为内容特征图
Figure BDA0002342732110000081
量化器Q的输入为基于空间特征图z和内容特征图
Figure BDA0002342732110000082
确定的待量化特征图zTMP，量化器Q的输出为量化后的特征图
Figure BDA0002342732110000083
解码器G的输入为量化后的特征图
Figure BDA0002342732110000085
解码器G的输出为目标图像x对应的目标压缩图像
Figure BDA0002342732110000084
基于上述结构的图像压缩网络，本实施例针对上述图像压缩方法展开描述，参照如下所示：
关于上述步骤S104中目标图像的空间特征图和内容特征图的提取方法，可以包括步骤(1)和(2)：
(1)通过编码器对目标图像进行空间特征提取，得到目标图像的空间特征图。
该编码器E可以采用参数化的全卷积网络架构，诸如ResNet34和VGGNet(VisualGeometry Group Network)等，在此不进行限制。在一种示例中，该编码器所采用的网络架构可以主要由6个卷积块组成，卷积块的步长分别为1、2、2、2、2、1，每个卷积块由卷积层、实例归一化层和Relu激活层组成，卷积层的通道数分别是60、120、240、480、960和8，第一个卷积核的大小为7×7，其它卷积核的大小为3×3，通过编码器得到的空间特征图z为
Figure BDA0002342732110000091
其中W和H分别为输入的目标图像的长和宽，c为空间特征图z的通道数。
由于目标图像本身是一个很高维的数据，通过编码器网络E可以得到该目标图像的一个低维的紧致的表示，也即空间特征图，由此可以大大减少通信传输的数据量，有效降低了传输的码率。
(2)通过内容分析器对目标图像的目标区域和背景区域进行特征提取，得到目标图像的内容特征图；其中，目标区域为目标图像中包含有目标物的图像区域。该内容分析器S可以采用诸如VGG16、Baseline Alexnet、Baseline Resnet50和Siamese architecture等深度卷积神经网络。
考虑到现有技术中，通常是采用固定的比特分配方法，对空间特征图z中的每一个元素分配相同的比特，并没有考虑图像内容的空间可变性，不利于降低通信码率。基于此，在本实施例中，上述对目标图像的目标区域和背景区域进行特征提取以得到目标图像的内容特征图的步骤，在具体实现时可以包括：首先，对目标图像的目标区域和背景区域进行特征提取，得到目标图像对应的增强特征图p；其中，增强特征图p中目标区域的特征值为第一值，背景区域的特征值为第二值，且第一值大于第二值。以VGG16网络为例，通过VGG16网络得到的增强特征图p中，目标区域的特征值大于背景区域的特征值，诸如采用像素值表示特征值，目标区域的像素值可以采用1表示，背景区域的像素值可以采用0表示。
然后，根据预设的转换算法对增强特征图中的各个特征值进行转换，得到目标图像的内容特征图
Figure BDA0002342732110000101
该转换算法可参照如下公式(1)：
Figure BDA0002342732110000102
其中，(i,j)为增强特征图中各位置的坐标，pi,j是增强特征图中位置(i,j)处的特征值，mi,j c为内容特征图中位置(i,j)处的特征值，c为预设的特征值。
根据经转换得到的内容特征图
Figure BDA0002342732110000108
以及量化器Q和解码器G，本实施例给出上述步骤S106的一种实现方式，可参照如下步骤1和步骤2所示：
步骤1，将空间特征图和内容特征图输入至量化器Q，以使量化器根据内容特征图对空间特征图进行量化，得到量化后的特征图。
在具体实现时，可以先将内容特征图
Figure BDA0002342732110000103
与空间特征图z执行点乘操作，也即将内容特征图
Figure BDA0002342732110000104
中的各元素与空间特征图z中的各元素相乘，从而得到待量化特征图zTMP。利用经转换得到的内容特征图
Figure BDA0002342732110000105
能够对空间特征图z中的元素实现自适应的比特分配，有利于降低码率。然后再根据预设的量化算法对待量化特征图进行量化，得到量化后的特征图。假设量化中心为{c1，c2，…cl}，在一种实现方式中，量化算法可以如以下公式(2)所示：
Figure BDA0002342732110000106
或者，在另一种实现方式中，量化算法可以如以下公式(3)所示：
Figure BDA0002342732110000107
上述公式(2)和(3)中，
Figure BDA0002342732110000111
为量化后的特征图，ztmp为待量化特征图，cj为量化中心，且j＝1、2、3……l，l为量化中心的取样数量，L表示l的最大值，即代表总共有L个量化等级，σ为温度因子。
考虑到图像压缩网络通常是经过训练得到的，在训练过程中需要利用到反向传播算法，而公式(3)所示的量化算法可微分和进行后向传播，由此在实际应用中一般选择公式(3)所示的量化算法对待量化特征图进行量化以得到量化后的特征图。
步骤2，将量化后的特征图输入至解码器，以使解码器对量化后的特征图进行重构，得到目标图像对应的压缩图像。
在一种示例中，该解码器G可以采用如下结构：其第一层为去卷积层，卷积核的大小为7×7，通道数为960；第二层为9个残差块，每个残差块包括两个卷积块且步长为2，卷积块的卷积核大小为3×3；第三层为4个上采样层且步长为2；最后一层为卷积层，卷积核的大小为7×7，其步长为2，通道数为3。通过上述网络结构的解码器G可以得到重构后的目标压缩图像，即
Figure BDA0002342732110000112
在上述实施方式中，本实施例提供的图像压缩网络能够充分考虑图像的空间特征和内容特征，尤其是还会凸显目标区域特征，进而提升图像的感知质量。
为了使图像压缩网络可以直接应用于图像压缩，需要事先训练该图像压缩网络，图像压缩网络的参数需要经过训练得到，对图像压缩网络进行训练的目的，是最终确定可满足要求的参数。利用已训练得到的参数，图像压缩网络能够得到预期的图像压缩效果。本实施例在训练图像压缩网络的过程中引入了判别器D，来判别图像压缩网络输出的压缩图像与原图像之间的一致性程度。当图像压缩网络和判别器均优化到收敛时，判别器无法判别压缩图像与原图像，此时可以认为图像压缩网络压缩得到的压缩图像达到预期的效果。具体实现步骤如下：
(1)设立判别器；其中，判别器的输入为训练图像、图像压缩网络在对训练图像进行压缩过程中输出的训练压缩图像。判别器用于判别训练图像和训练压缩图像之间的相似度，在本实施例中，该判别器D可以采用多尺度判别器；第一层为卷积核大小为7×7的卷积层，步长为2，通道数为64；第二层为3个卷积块，每个卷积块的卷积核的大小为7×7且步长为2，通道数分别为128、256和512；最后一层为卷积核大小为7×7的卷积层，步长为1且通道数为1。
(2)对判别器和图像压缩网络进行联合训练，直至判别器和图像压缩网络的总损失函数收敛至预设值时停止训练。其中，当训练停止时，判别器输出的训练图像和训练压缩图像之间的相似度到达预设相似度阈值(如99％)。
一种实施方式中，参照图3所示的训练模型的结构示意图，图3在图2的基础上，进一步示意出判别器，判别器和图像压缩网络共同构成训练模型；其中，图像压缩网络主要包括编码器E、内容分析器S、量化器Q和解码器G；对判别器和图像压缩网络进行联合训练的过程包括如下步骤(a)至步骤(e)：
(a)获取训练图像，并将训练图像输入至图像压缩网络。通常，大量的用于模型训练的训练图像可以通过图像获取设备(如摄像头)采集，在互联网上爬取或者采用公开的数据集。
(b)通过图像压缩网络对训练图像进行压缩，得到训练图像对应的训练压缩图像，以及通过图像压缩网络计算率失真函数值。
通过图像压缩网络计算率失真函数值，主要是用于编码器和解码器的训练，在具体实现时可按照以下公式(4)所示的率失真优化函数计算率失真函数值：
Figure BDA0002342732110000131
其中，
Figure BDA0002342732110000132
为度量所述训练图像x与所述训练压缩图像
Figure BDA0002342732110000133
之间的失真指标，包括如下四部分：判别器误差(也称为对抗误差)、特征匹配误差、目标区域的均方误差(该误差为像素级误差)以及背景区域的感知误差。基于此，失真误差为四部分加权之和，参照如下公式(5)：
Figure BDA0002342732110000134
其中LGAN为判别器误差，λGAN为所述LGAN的权重，LFM为特征匹配误差，λFM为LFM的权重，Lsaliency为目标区域的均方误差，λsaliency为Lsaliency的权重，Lbackground为背景区域的感知误差，λpreceptual为Lbackground的权重，E表示编码器，G表示解码器。
具体的，判别器误差LGAN定义如下：
Figure BDA0002342732110000135
其中，Dk()表示第k个判别器的输出，k表示判别器的第k个尺度。
特征匹配误差LFM定义如下
Figure BDA0002342732110000136
其中，
Figure BDA0002342732110000137
表示训练图像x在判别器中第i层的输出，
Figure BDA0002342732110000138
表示训练压缩图像
Figure BDA0002342732110000139
在判别器中第i层的输出，L1为判别器中提取特征的总的层数，Ni为每一层的元素个数。
目标区域的均方误差Lsaliency为定义如下：
Figure BDA00023427321100001310
其中，⊙表示对应元素相乘，
Figure BDA00023427321100001311
为训练压缩图像中的目标区域，x⊙p为原始的训练图像中的目标区域。
背景区域的感知误差Lbackground定义如下：
Figure BDA0002342732110000141
其中，
Figure BDA0002342732110000142
为训练压缩图像中的背景区域，
Figure BDA0002342732110000143
为训练压缩图像中背景区域通过VGG网络得到的特征，x⊙(1-p)为训练图像中的背景区域，VGG(x⊙(1-p)为训练图像中背景区域通过VGG网络得到的特征。
(c)将训练图像和训练压缩图像输入至判别器，通过判别器计算目标优化函数值。通过判别器计算目标优化函数值，主要是用于判别器的训练，以尽可能区分真实图像(即训练图像)和重建图像(即训练压缩图像)。在具体实现时可按照以下公式(10)计算目标优化函数值：
按照以下公式，计算目标优化函数值：
Figure BDA0002342732110000144
其中，
Figure BDA0002342732110000145
为所述训练压缩图像，x为所述训练图像，Dk(x)表示第k个判别器的输出，k表示判别器的第k个尺度，D1、D2和D3表示三个判别器。
(d)根据率失真函数值和目标优化函数值确定总损失函数值。在具体实现时，总损失函数值可以为率失真函数值和目标优化函数值的加权求和结果。
(e)基于总损失函数值，通过反向传播算法对判别器和图像压缩网络进行联合训练。
通过采用上述步骤所示的基于端到端的码率和感知失真优化的模型训练方式，使模型的可应用范围更广且在内容显著性方面取得更好的图像压缩效果。相对于现有技术中对整幅图像采用了同样的压缩目标函数，没有考虑用户的主观体验，或者说没有考虑图像重构的感知质量，导致生成的压缩图像不能较好的满足用户的需求，而本发明实施例通过上述总损失函数值中的率失真函数值可以看出，本实施例将传统压缩方法中的客观指标变为感知质量指标，并且对不同特性的区域设计了不同的目标函数，诸如目标区域设计了均方误差目标函数，背景区域设计了感知质量目标函数，使得在低码率通信下，压缩图像仍然能保持较高的感知质量，满足用户的体验。
为了验证本发明实施例所提供的上述图像压缩方法能够有效降低通信码率和提高图像感知质量，发明人利用公开的数据集MSRAB，基于上述图像压缩网络执行图像压缩方法。数据集MSRAB包括5000幅图像，每一幅图像的大小为512×1024×3，随机选择其中的3000幅作为训练图像，剩下的作为测试图像。参数设置如下，背景部分权重λperceptual＝1×10-5，特征匹配权重λFM＝10，目标区域的均方误差的权重λsaliency＝12，判别器误差的权重λGAN＝1，量化中心为{-2，-1，0，1，2}，学习率为2×10-4，batchsize(样本数)为1，采用了Adam优化器，动量为0.9。该模型在TITAN XP GPU上训练，训练次数为64轮；与该模型作为对比的算法包括JPEG，JPEG2000和BPG算法。
本示例从两方面评价基于图像压缩网络的图像压缩方法的有效性，一方面为视觉效果，另一方面为客观指标。在视觉效果方面，采用本实施例提供的图像压缩方法时，在提高了目标区域的保真度的同时，背景的感知质量也是令用户满意的，原因在于本实施例在目标函数中加入了对目标区域的细节保持约束，可参照上述公式(8)，在背景区域加入了感知质量的约束，可参照上述公式(9)，从而使得在极低码率下压缩图像仍然能取得较好的感知质量。相比较而言，采用BPG算法时，目标区域的保真度有所下降。采用JPEG2000算法时，目标区域和背景区域都出现了一定程度的失真，而且还出现了一定程度的块效应。
在客观指标方面，本示例还采用定量的评价指标SSIM(structural similarityindex，结构相似性)，随机选了1000幅图像进行压缩，分别计算目标区域和背景区域的SSIM，并计算1000幅图像的平均结果。结果如表1所示。
表1
方法 目标区域 背景区域
JPEG2000(0.073bpp) 0.9828 0.9339
BPG(0.077bpp) 0.9807 0.9300
Ours(0.073bpp) 0.9879 0.9313
从表1可以看到，本实施例提供的图像压缩方法在目标区域的结构相似性方面优于对比算法，原因在于本实施例中的图像压缩方法考虑了图像的可见结构特性，提高了压缩质量。
综上，上述实施例提供的图像压缩方法，通过对较高维度的目标图像进行空间特征提取，得到低维、紧致的空间特征图像，由此可以大大减少通信传输的数据量，有效降低了传输的码率；同时，通过提取目标图像的内容特征图，使得在空间特征图和内容特征图共同作用于图像压缩的过程(即图像的量化和重构)中，充分考虑目标图像的目标区域和背景区域的特征，且目标区域的特征值较大，从而提高了目标压缩图像对目标物的感知质量。
实施例二：
基于上述实施例所提供的图像压缩方法，本实施例提供了一种图像压缩装置，装置应用于配置有图像压缩网络的设备；其中，图像压缩网络包括特征提取网络和特征压缩网络。参照图4所示的图像压缩装置的结构框图，该装置包括：
图像获取模块402，用于获取待压缩的目标图像；其中，目标图像包括目标区域和背景区域。
特征提取模块404，用于将目标图像输入至特征提取网络，通过特征提取网络提取目标图像的空间特征图和内容特征图；其中，内容特征图用于表征目标区域的特征和背景区域的特征，且目标区域的特征值大于背景区域的特征值。
图像压缩模块406，用于将空间特征图和内容特征图输入至特征压缩网络，通过特征压缩网络基于空间特征图和内容特征图进行图像量化和图像重构，得到目标图像对应的目标压缩图像。
本发明实施例所提供的图像压缩装置，通过对较高维度的目标图像进行空间特征提取，得到低维、紧致的空间特征图像，由此可以大大减少通信传输的数据量，有效降低了传输的码率；同时，通过提取目标图像的内容特征图，使得在空间特征图和内容特征图共同作用于图像压缩的过程中，充分考虑目标图像的目标区域和背景区域的特征，且目标区域的特征值较大，从而提高了目标压缩图像对目标物的感知质量。
在一种实施例中，上述特征提取网络包括编码器和内容分析器；上述特征提取模块404进一步用于：通过编码器对目标图像进行空间特征提取，得到目标图像的空间特征图；通过内容分析器对目标图像的目标区域和背景区域进行特征提取，得到目标图像的内容特征图；其中，目标区域为目标图像中包含有目标物的图像区域。
在一种实施例中，上述特征提取模块404进一步用于：对目标图像的目标区域和背景区域进行特征提取，得到目标图像对应的增强特征图；其中，增强特征图中目标区域的特征值为第一值，背景区域的特征值为第二值，且第一值大于第二值；根据预设的转换算法对增强特征图中的各个特征值进行转换，得到目标图像的内容特征图。
在一种实施例中，上述特征压缩网络包括量化器和解码器；上述图像压缩模块406进一步用于：将空间特征图和内容特征图输入至量化器，以使量化器根据内容特征图对空间特征图进行量化，得到量化后的特征图；将量化后的特征图输入至解码器，以使解码器对量化后的特征图进行重构，得到目标图像对应的压缩图像。
在一种实施例中，上述图像压缩模块406进一步用于：将内容特征图与空间特征图执行点乘操作，得到待量化特征图；根据预设的量化算法对待量化特征图进行量化，得到量化后的特征图。
在一种实施例中，上述图像压缩装置还包括训练模块(图中未示出)，该训练模块用于：设立判别器；其中，判别器的输入为训练图像、图像压缩网络在对训练图像进行压缩过程中输出的训练压缩图像；对判别器和图像压缩网络进行联合训练，直至判别器和图像压缩网络的总损失函数收敛至预设值时停止训练。
在一种实施例中，上述训练模块进一步用于：获取训练图像，并将训练图像输入至图像压缩网络；通过图像压缩网络对训练图像进行压缩，得到训练图像对应的训练压缩图像，以及通过图像压缩网络计算率失真函数值；将训练图像和训练压缩图像输入至判别器，通过判别器计算目标优化函数值；根据率失真函数值和目标优化函数值确定总损失函数值；基于总损失函数值，通过反向传播算法对判别器和图像压缩网络进行联合训练。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供一种图像压缩系统，该系统包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的图像压缩方法。
具体的，参见如图5所示的图像压缩系统的结构示意图，该系统还包括总线503和通信接口504，处理器502、通信接口504和存储器501通过总线503连接。
其中，存储器501可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线503可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器502可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器502读取存储器501中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的图像压缩方法的步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种图像压缩方法，其特征在于，所述方法应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述方法包括：
获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；
将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；
将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括编码器和内容分析器；
所述通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图的步骤，包括：
通过编码器对所述目标图像进行空间特征提取，得到所述目标图像的空间特征图；
通过内容分析器对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图；其中，所述目标区域为所述目标图像中包含有目标物的图像区域。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像的内容特征图的步骤，包括：
对所述目标图像的目标区域和背景区域进行特征提取，得到所述目标图像对应的增强特征图；其中，所述增强特征图中所述目标区域的特征值为第一值，所述背景区域的特征值为第二值，且所述第一值大于所述第二值；
根据预设的转换算法对所述增强特征图中的各个特征值进行转换，得到所述目标图像的内容特征图。
4.根据权利要求3所述的方法，其特征在于，所述转换算法为：
Figure FDA0002342732100000021
其中，(i,j)为所述增强特征图中各位置的坐标，pi,j是所述增强特征图中位置(i,j)处的特征值，mi,jc为所述内容特征图中位置(i,j)处的特征值，c为预设的特征值。
5.根据权利要求1所述的方法，其特征在于，所述特征压缩网络包括量化器和解码器；
所述将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像的步骤，包括：
将所述空间特征图和所述内容特征图输入至量化器，以使所述量化器根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图；
将所述量化后的特征图输入至解码器，以使所述解码器对所述量化后的特征图进行重构，得到所述目标图像对应的目标压缩图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述内容特征图对所述空间特征图进行量化，得到量化后的特征图的步骤，包括：
将所述内容特征图与所述空间特征图执行点乘操作，得到待量化特征图；
根据预设的量化算法对所述待量化特征图进行量化，得到量化后的特征图。
7.根据权利要求6所述的方法，其特征在于，所述量化算法包括：
Figure FDA0002342732100000031
其中，
Figure FDA0002342732100000032
为量化后的特征图，ztmp为所述待量化特征图，cj为量化中心，且j＝1、2、3……l，l为量化中心的取样数量，L表示l的最大值，σ为温度因子。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
设立判别器；其中，所述判别器的输入为训练图像、所述图像压缩网络在对所述训练图像进行压缩过程中输出的训练压缩图像；
对所述判别器和所述图像压缩网络进行联合训练，直至所述判别器和所述图像压缩网络的总损失函数收敛至预设值时停止训练。
9.根据权利要求8所述的方法，其特征在于，所述对所述判别器和所述图像压缩网络进行联合训练的步骤，包括：
获取训练图像，并将所述训练图像输入至所述图像压缩网络；
通过所述图像压缩网络对所述训练图像进行压缩，得到所述训练图像对应的训练压缩图像，以及通过所述图像压缩网络计算率失真函数值；
将所述训练图像和所述训练压缩图像输入至所述判别器，通过所述判别器计算目标优化函数值；
根据所述率失真函数值和所述目标优化函数值确定总损失函数值；
基于所述总损失函数值，通过反向传播算法对所述判别器和所述图像压缩网络进行联合训练。
10.根据权利要求9所述的方法，其特征在于，
按照以下公式，计算率失真函数值：
Figure FDA0002342732100000041
其中，
Figure FDA0002342732100000042
为度量所述训练图像x与所述训练压缩图像
Figure FDA0002342732100000043
之间的失真指标，且
Figure FDA0002342732100000044
其中，LGAN为判别器误差，λGAN为所述LGAN的权重，LFM为特征匹配误差，λFM为LFM的权重，Lsaliency为目标区域的均方误差，λsaliency为Lsaliency的权重，Lbackground为背景区域的感知误差，λpreceptual为Lbackground的权重，E表示编码器，G表示解码器。
11.根据权利要求9所述的方法，其特征在于，
按照以下公式，计算目标优化函数值：
Figure FDA0002342732100000045
其中，
Figure FDA0002342732100000046
为所述训练压缩图像，x为所述训练图像，Dk(x)表示第k个判别器的输出，k表示判别器的第k个尺度。
12.一种图像压缩装置，其特征在于，所述装置应用于配置有图像压缩网络的设备；其中，所述图像压缩网络包括特征提取网络和特征压缩网络；所述装置包括：
图像获取模块，用于获取待压缩的目标图像；其中，所述目标图像包括目标区域和背景区域；
特征提取模块，用于将所述目标图像输入至所述特征提取网络，通过所述特征提取网络提取所述目标图像的空间特征图和内容特征图；其中，所述内容特征图用于表征所述目标区域的特征和所述背景区域的特征，且所述目标区域的特征值大于所述背景区域的特征值；
图像压缩模块，用于将所述空间特征图和所述内容特征图输入至所述特征压缩网络，通过所述特征压缩网络基于所述空间特征图和所述内容特征图进行图像量化和图像重构，得到所述目标图像对应的目标压缩图像。
13.一种图像压缩系统，其特征在于，所述系统包括：处理器和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至11任一项所述的方法的步骤。
CN201911390254.8A 2019-12-27 2019-12-27 图像压缩方法、装置及系统 Pending CN111050174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390254.8A CN111050174A (zh) 2019-12-27 2019-12-27 图像压缩方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390254.8A CN111050174A (zh) 2019-12-27 2019-12-27 图像压缩方法、装置及系统

Publications (1)

Publication Number Publication Date
CN111050174A true CN111050174A (zh) 2020-04-21

Family

ID=70241416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390254.8A Pending CN111050174A (zh) 2019-12-27 2019-12-27 图像压缩方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111050174A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN112150400A (zh) * 2020-10-10 2020-12-29 清华大学 图像增强方法、装置和电子设备
CN113362403A (zh) * 2021-07-20 2021-09-07 支付宝(杭州)信息技术有限公司 图像处理模型的训练方法及装置
CN114630125A (zh) * 2022-03-23 2022-06-14 徐州百事利电动车业有限公司 基于人工智能与大数据的车辆图像压缩方法与系统
CN115272140A (zh) * 2022-09-29 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 红外图像量化和增强方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346814A (zh) * 2014-11-20 2015-02-11 西安电子科技大学 基于层次视觉语义的sar图像分割方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105592315A (zh) * 2015-12-16 2016-05-18 深圳大学 基于视频时空属性的视频特征冗余信息压缩方法及系统
CN108062780A (zh) * 2017-12-29 2018-05-22 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN108174218A (zh) * 2018-01-23 2018-06-15 中国科学技术大学 基于学习的视频编解码框架
US20180240221A1 (en) * 2017-02-17 2018-08-23 Cogisen S.R.L. Method for image processing and video compression
CN108961137A (zh) * 2018-07-12 2018-12-07 中山大学 一种基于卷积神经网络的图像隐写分析方法及系统
CN109740695A (zh) * 2019-01-28 2019-05-10 太原理工大学 基于自适应全卷积注意力网络的图像识别方法
CN110062231A (zh) * 2019-05-05 2019-07-26 济南浪潮高新科技投资发展有限公司 基于多层卷积神经网络的图像压缩方法
CN110472483A (zh) * 2019-07-02 2019-11-19 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346814A (zh) * 2014-11-20 2015-02-11 西安电子科技大学 基于层次视觉语义的sar图像分割方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105592315A (zh) * 2015-12-16 2016-05-18 深圳大学 基于视频时空属性的视频特征冗余信息压缩方法及系统
US20180240221A1 (en) * 2017-02-17 2018-08-23 Cogisen S.R.L. Method for image processing and video compression
CN108062780A (zh) * 2017-12-29 2018-05-22 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN108174218A (zh) * 2018-01-23 2018-06-15 中国科学技术大学 基于学习的视频编解码框架
CN108961137A (zh) * 2018-07-12 2018-12-07 中山大学 一种基于卷积神经网络的图像隐写分析方法及系统
CN109740695A (zh) * 2019-01-28 2019-05-10 太原理工大学 基于自适应全卷积注意力网络的图像识别方法
CN110062231A (zh) * 2019-05-05 2019-07-26 济南浪潮高新科技投资发展有限公司 基于多层卷积神经网络的图像压缩方法
CN110472483A (zh) * 2019-07-02 2019-11-19 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIPING DUAN等: "Content-aware Deep Perceptual Image Compression", 《2019 11TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS AND SIGNAL PROCESSING (WCSP)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN112150400A (zh) * 2020-10-10 2020-12-29 清华大学 图像增强方法、装置和电子设备
CN112150400B (zh) * 2020-10-10 2024-03-12 清华大学 图像增强方法、装置和电子设备
CN113362403A (zh) * 2021-07-20 2021-09-07 支付宝(杭州)信息技术有限公司 图像处理模型的训练方法及装置
CN114630125A (zh) * 2022-03-23 2022-06-14 徐州百事利电动车业有限公司 基于人工智能与大数据的车辆图像压缩方法与系统
CN114630125B (zh) * 2022-03-23 2023-10-27 徐州百事利电动车业有限公司 基于人工智能与大数据的车辆图像压缩方法与系统
CN115272140A (zh) * 2022-09-29 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 红外图像量化和增强方法、系统及存储介质
CN115272140B (zh) * 2022-09-29 2023-01-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 红外图像量化和增强方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN111050174A (zh) 图像压缩方法、装置及系统
US11095925B2 (en) Artificial intelligence based resolution improvement system
CN106716997B (zh) 使用环路内滤波器参数预测的视频编码方法和设备
Zhang et al. Compression artifact reduction by overlapped-block transform coefficient estimation with block similarity
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
KR20180080365A (ko) 영역-기반 이미지 압축
US20220277492A1 (en) Method and data processing system for lossy image or video encoding, transmission and decoding
Yu et al. Quality enhancement network via multi-reconstruction recursive residual learning for video coding
CN114586359A (zh) 一种图像处理方法及装置
US11496769B2 (en) Neural network based image set compression
CN111491167B (zh) 图像编码方法、转码方法、装置、设备以及存储介质
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
Lee et al. Visually weighted compressive sensing: Measurement and reconstruction
CN113438481B (zh) 训练方法、图像编码方法、图像解码方法及装置
CN113379858A (zh) 一种基于深度学习的图像压缩方法及装置
US20160316204A1 (en) Method and system for image compression using image block characteristics
Jeon et al. Context-based trit-plane coding for progressive image compression
US10609405B2 (en) Optimal signal encoding based on experimental data
Lukin et al. Automatic lossy compression of noisy images by spiht or jpeg2000 in optimal operation point neighborhood
US20220108127A1 (en) Apparatus for encoding and decoding feature map and method using the same
CN115550650A (zh) 一种有效调节参考帧图像压缩率的方法及装置、电子设备
CN114584781A (zh) 视频压缩方法及装置、计算机可读存储介质
CN103678801A (zh) 一种基于图像信息熵的自适应压缩感知采样方法
Thakker et al. Lossy Image Compression-A Comparison Between Wavelet Transform, Principal Component Analysis, K-Means and Autoencoders
KR20220021494A (ko) Ai 기반 해상도 개선 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421