CN110062125A - 图像传输方法及装置 - Google Patents
图像传输方法及装置 Download PDFInfo
- Publication number
- CN110062125A CN110062125A CN201910311298.0A CN201910311298A CN110062125A CN 110062125 A CN110062125 A CN 110062125A CN 201910311298 A CN201910311298 A CN 201910311298A CN 110062125 A CN110062125 A CN 110062125A
- Authority
- CN
- China
- Prior art keywords
- image
- compression
- generator
- training
- confrontation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本公开提供一种图像传输方法及装置,涉及图像传输技术领域,能够解决目前图像压缩传输时图像显示效果与降低占用带宽无法兼顾的问题。具体技术方案为:接收图像发送设备发送的压缩图像;将压缩图像输入预设的生成对抗网络的生成器后获取生成器输出的复原图像;将复原图像发送给图像接收设备。本公开用于图像传输中降低带宽占用、保证图像传输效果。
Description
技术领域
本公开涉及图像传输技术领域,尤其涉及图像传输方法及装置。
背景技术
图像是人们获取信息的主要渠道,随着技术的发展,图像质量越来越高,相应的,图像数据量也越来越大,对于图像的传输,由于传输时带宽有限,一般都需要对图像进行压缩处理后再进行传输。现有图像压缩可分为有损压缩和无损压缩两大类。目前业界主流的有损压缩算法包括JPEG、JPEG2000等,其设计目标是在不影响人类可分辨的图片质量的前提下,尽可能的压缩文件大小,这意味着JPEG去掉了一部分图片的原始信息;而无损压缩的PNG-24格式是无损的、使用直接色的点阵图,无损压缩后的数据量是有损压缩的五倍左右,但是,显示效果的提升却相对较小。
因此,目前现有的图像传输方案中存在以下问题:在需要对图像压缩的情况下,采用有损压缩传输时图像显示效果差,采用无损压缩传输时带宽占用高,图像显示效果与降低占用带宽无法兼顾。
发明内容
本公开实施例提供一种图像传输方法及装置,能够解决目前图像压缩传输时图像显示效果与降低占用带宽无法兼顾的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种图像传输方法,该方法包括:
接收图像发送设备发送的压缩图像;
将压缩图像输入预设的生成对抗网络的生成器后获取生成器输出的复原图像;
将复原图像发送给图像接收设备。
通过将图像发送设备发送的压缩图像输入经过大量样本图像数据训练过的生成对抗网络的生成器中获取到高质量复原图像后发送给图像接收设备,从而实现传输时传输压缩图像数据可以占用带宽少,接收设备接收到高质量复原图像显示效果好于压缩图像。
在一个实施例中,生成器中包含编码器和解码器,编码器与解码器基于U-Net结构配置。其中,U-Net结构是一种用于图像处理的神经网络结构。
相较于传统的编码器-解码器结构容易丢失图像的部分细节信息导致图像质量低、显示效果较差,本公开实施例基于U-Net结构配置编码器-解码器,可有效提高输出的复原图像的质量以及图像显示效果。
在一个实施例中,该方法之前还包括:
根据训练样本图像集合以及对应的压缩图像集合完成生成对抗网络的训练。
在一个实施例中,根据训练样本图像集合以及对应的压缩图像集合完成生成对抗网络的训练,包括:
获取训练样本图像集合以及对应的压缩图像集合;
将压缩图像集合中的压缩图像输入生成器以及将训练样本图像中的样本图像输入生成对抗网络的判别器完成生成对抗网络的训练。
通过大量的训练样本图像以及对应的压缩图像形成的训练样本图像集合、压缩图像集合作为生成对抗网络的生成器和判别器的输入,经过大量的训练后,生成对抗网络的生成器可以复原出预期显示效果的图像时完成训练。
在一个实施例中,压缩图像是经过二值化处理的。
通过二值化处理可以有效压缩原始图像的数据量,从而传输压缩图像时有效降低占用带宽。
在一个实施例中,压缩图像对应的原始图像的类型为文本图像。
文本图像中的文本内容比较标准化,便于生成对抗网络的训练以及实际应用时的复原,图像复原准确率及图像显示效果可以得到有效保证。
根据本公开实施例的第二方面,提供一种图像传输装置,该装置包括:
接收模块,用于接收图像发送设备发送的压缩图像;
复原模块,用于将压缩图像输入预设的生成对抗网络的生成器后获取生成器输出的复原图像;
发送模块,用于将复原图像发送给图像接收设备。
通过将图像发送设备发送的压缩图像输入经过大量样本图像数据训练过的生成对抗网络的生成器中获取到高质量复原图像后发送给图像接收设备,从而实现传输时传输压缩图像数据可以占用带宽少,接收设备接收到高质量复原图像显示效果好于压缩图像。
在一个实施例中,生成器中包含编码器和解码器,编码器与解码器基于U-Net结构配置。
相较于传统的编码器-解码器结构容易丢失图像的部分细节信息导致图像质量低、显示效果较差,本公开实施例基于U-Net结构配置编码器-解码器,可有效提高输出的复原图像的质量以及图像显示效果。
在一个实施例中,该装置还包括:
训练模块,用于根据训练样本图像集合以及对应的压缩图像集合完成生成对抗网络的训练。
在一个实施例中,训练模块具体用于:
获取训练样本图像集合以及对应的压缩图像集合;
将压缩图像集合中的压缩图像输入生成器以及将训练样本图像中的样本图像输入生成对抗网络的判别器完成生成对抗网络的训练。
通过大量的训练样本图像以及对应的压缩图像形成的训练样本图像集合、压缩图像集合作为生成对抗网络的生成器和判别器的输入,经过大量的训练后,生成对抗网络的生成器可以复原出预期显示效果的图像时完成训练。
在一个实施例中,压缩图像是经过二值化处理的。
通过二值化处理可以有效压缩原始图像的数据量,从而传输压缩图像时有效降低占用带宽。
在一个实施例中,压缩图像对应的原始图像的类型为文本图像。
文本图像中的文本内容比较标准化,便于生成对抗网络的训练以及实际应用时的复原,图像复原准确率及图像显示效果可以得到有效保证。
本公开实施例提供的图像传输方法和装置,对需要传输的图像进行压缩并传输可以有效降低传输时占用的带宽,再通过训练好的生成对抗网络的生成器生成与原图内容一致的高质量复原图像从而满足接收设备对图像显示效果的要求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像传输方法的流程示意图一;
图2是本公开实施例提供的一种图像传输方法的一个实施示意图;
图3是本公开实施例提供的一种图像传输方法的流程示意图二;
图4为本公开实施例中生成对抗网络的基本结构图;
图5是本公开实施例中U-Net结构生成器的基本结构示意图;
图6是本公开实施例中U-Net结构编码器-解码器网络与传统编码器-解码器网络的区别示意图;
图7是本公开实施例中一个样本图像的示意图;
图8是本公开实施例中一个样本图像对应的压缩图像的示意图;
图9是本公开实施例中生成器训练时应用dropout的说明示意图;
图10是本公开实施例中训练生成对抗网络时生成器的损失曲线示意图;
图11是本公开实施例中训练生成对抗网络时判别器的损失曲线示意图;
图12是本公开实施例提供的一种图像传输装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例中,图像发送设备可以是服务器、移动终端等设备,图像接收设备可以是移动终端、服务器等设备,图像发送设备、图像接收设备是从功能上对设备的一种划分方式,实际应用中,某个设备可能在一个场景下是图像发送设备,可能在另一个场景下是图像接收设备。
本公开实施例提供一种图像传输方法,如图1所示,该图像传输方法包括以下步骤:
101、接收图像发送设备发送的压缩图像。
在一个实施例中,压缩图像对应的原始图像的类型可以为文本图像,文本图像中的文本内容比较标准化,便于生成对抗网络的训练以及实际应用时的复原,图像复原准确率及图像显示效果可以得到有效保证。需要指出的是,本公开实施例并不限定于文本图像这一类型,例如医学类黑白图像等。
值得一提的是,本公开实施例中支持任何格式的图像,例如JPG、PNG、GIF等格式。
在一个实施例中,压缩图像是经过二值化处理的。
具体的,图像二值化就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果,从而对图像数据进行压缩。具体过程中,可以手动调整压缩阈值,以尽可能多的压缩数据。比如,选取阈值为40,则压缩过程中,将所有大于等于40的像素点的灰度值设置为255,将所有小于40的像素点的灰度值设置为0。
通过二值化处理可以有效压缩原始图像的数据量,从而传输压缩图像时有效降低占用带宽。本公开实施例对于图像的压缩并不限定于二值化这一种处理方式。
102、将压缩图像输入预设的生成对抗网络的生成器后获取生成器输出的复原图像。
其中,生成对抗网络(Generative Adversarial Networks,GAN)于2014年由IanGood fellow在他的论文中提出,思想起源于博弈论,由一个生成器(Generator)与一个判别器(Discriminator)组成。生成对抗网络,要解决的问题是如何从训练样本中学习出新样本,训练样本是图片就生成新图片,训练样本是文章就输出新文章等等。
具体的,预设的生成对抗网络是通过大量样本示例图像进行训练过的,训练好的生成对抗网络的生成器可以根据输入的压缩图像生成与原始图像内容一致的复原图像。
在一个实施例中,生成器中包含编码器和解码器,编码器与解码器基于U-Net结构配置。其中,U-Net结构是一种用于图像处理的神经网络结构。
相较于传统的编码器-解码器结构容易丢失图像的部分细节信息导致图像质量低、显示效果较差,本公开实施例基于U-Net结构配置编码器-解码器,可有效提高输出的复原图像的质量以及图像显示效果。
103、将复原图像发送给图像接收设备。
具体的,将高质量的复原图像发送给图像设备即完成图像的传输,从图像接收设备的角度看,接收的既不是原始图像,也不是原始图像压缩后的图像,而是内容与原始图像一致且图像质量高的复原图像,实现了实质上的图像传输。
值得一提的是,图2是本公开实施例提供的一种图像传输方法的一个实施示意图。
本公开实施例提供的图像传输方法,通过将图像发送设备发送的压缩图像输入经过大量样本图像数据训练过的生成对抗网络的生成器中获取到高质量复原图像后发送给图像接收设备,从而实现传输时传输压缩图像数据可以占用带宽少,接收设备接收到高质量复原图像显示效果好于压缩图像。
为了使本领域技术人员能够更加详细的理解本公开实施例提供的图像传输方法,在以下实施例中详细说明,如图3所示,该图像传输方法包括以下步骤:
201、根据训练样本图像集合以及对应的压缩图像集合完成生成对抗网络的训练。
需要说明的是,本公开实施例提供的图像传输方法的核心是从压缩后的图像恢复出原图,然而,由于压缩导致大量图像信息丢失,采用常规的图像处理方法很难实现图像恢复,因此,本公开实施例中引入神经网络(生成对抗网络),利用神经网络的学习能力,在训练集上训练,使神经网络学习到恢复原图的方法。
具体的,步骤201可以包括:
201a、获取训练样本图像集合以及对应的压缩图像集合。
需要说明的是,只有大量的数据才能让生成对抗网络学习到足够多、足够准确的知识,所以数据集是神经网络模型里很关键的元素。本公开实施例中用于训练生成对抗网络的文本类训练样图图像集合可以是包含各种字体、字号的文字内容的图片,尽可能全面覆盖各种常用情况。例如,本公开实施例中选取35种字体、5种字号,制作包含10685张文字图片的样本图像集合,基本能够覆盖各种常用的场景,然后将训练样本图像的原图均进行二值化压缩,得到压缩图像集合。
201b、构建生成对抗网络。
图4为本公开实施例中生成对抗网络的基本结构图,参照图4,该生成对抗网络包括生成器和判别器。其中,生成网络负责捕捉样本数据的分布,根据输入利用服从某一分布的随机变量生成一个类似真实训练数据的样本作为判别器的输入,其输出结果需要模仿真实训练数据集合中的真实样本,判别器是一个二分类器,判别器的输入为真实样本和生成网络的输出,用于估计一个输入样本(来自生成器的输出)来自真实的训练数据集的概率,其目的是将生成网络的输出从真实样本中尽可能分辨出来。
生成器要尽可能地欺骗判别器。生成器与判别器相互对抗、不断调整参数,最终目的是使:1)判别器无法判断生成网络的输出结果是否真实;2)生成对抗网络能够生成以假乱真的图片。为了便于理解生成对抗网络的原理,可以把生成器理解为一个“造假币的小偷”,把判别器理解为“识别假币的警察”,小偷制作假币,警察判别出这是假币,然后小偷不断精进造假技术,警察也不断提高识别能力,直到小偷制作出以假乱真的假币,警察无法判断真伪。
本公开实施例中生成对抗网络的生成器中的编码器和解码器是基于U-Net结构配置的。关于U-Net结构,本领域技术人员可以参照U-Net相关的论文及资料理解,本公开实施例中不做详细展开说明。图5是本公开实施例中U-Net结构生成器的基本结构示意图。
为了说明本公开实施例中U-Net结构生成器中的编码器-解码器网络与传统编码器-解码器网络的区别,参照图6,在传统编码器-解码器网络中,输入通过一系列逐渐下采样的层,直到瓶颈层(bottleneck layer),然后反转该过程,通过一系列上采样恢复,这样的网络中所有信息流都通过所有层。对于图像转换问题,在输入和输出之间共享大量低层次的信息(如边缘、纹理等),并且希望直接在网络中传送该信息,但下采样和瓶颈层会导致这些信息的大量丢失;U-Net结构编码器-解码器网络能够为生成器提供一种绕过信息瓶颈的方法:如图6/图5所示,为对应层添加跳线连接。具体来说,我们在第i层和第n-i之间添加跳线连接,其中n是层的总数。每个跳线连接将第i层的所有通道与第n-i层的通道连接起来,可以实现输入图片和输出图片之间的信息共享。
如图5所示,在U-Net神经网络模型中,左半部分为收缩路径,用来提取图像的特征;右半部分为扩张路径,用来增加特征图的维度;为了精确定位图像细节特征,将收缩路径的特征图与对称扩张路径上相同维度的特征图相结合,最终输出与输入维度、通道数完全相同的数据,从而实现图像复原。
本公开实施例中基于U-Net神经网络构建的生成器相较于传统的生成对抗网络的生成器,具有以下优势:
(1)输入图片和输出图片会共享很多信息。如果只是使用卷积神经网络,那么每一层都要保存非常多的信息,变得难以训练。U-Net中的跳线连接(skip-connection)将原图不同的卷积层合并到生成图不同的卷积层上,帮助扩充信息,从而减轻训练负担。
(2)可以避免过多的下采样带来的梯度消失等灾难,为生成对抗网络生成得到的图像的分辨率提供保证(避免模糊)。
201c、将压缩图像集合中的压缩图像输入生成器以及将训练样本图像中的样本图像输入生成对抗网络的判别器完成生成对抗网络的训练。
以下着重介绍对生成对抗网络进行训练的方式。
向判别器输入样本图像(例如图7)使得判别器学习真实数据的分布特征,向生成器输入压缩图像集合中的压缩图像(例如图8),图像数据经过U-net结构的编码器-解码器网络,输出生成的复原图像,向判别器输入生成器输出的复原图像以及输入该复原图像对应的样本图像,判别器对复原图像与样本图像进行判别,然后将判别结果和参数反馈给生成器;利用压缩图像集合中的压缩图像和训练样本图像中的样本图像,生成器和判别器重复执行前述的步骤,直到整体损失(loss)下降到足够小(预设阈值)、生成的图片足够逼真时,确认生成器模型学会了复原压缩图像,保存当前的参数(权重、偏差),作为训练好的生成器的参数,将该生成器用于对压缩图像进行复原。实际实现时,学习率可以设置为0.0002,通过Adam优化器计算损失并调整模型参数。其中,学习率(learning rate),用于控制神经网络的学习进度。Adam优化器是2014年12月由Kingma和Lei Ba两位学者提出的,结合AdaGrad和RMSProp两种优化算法的优点。另外,训练过程中可以采用反向传播算法,反向传播算法是神经网络训练中常用的算法,用于提高训练效率。
具体的,本发明所采用的生成对抗网络的具体参数如下:
生成器:
生成器包括:编码器和解码器;其中,编码器和解码器各包括8层卷积层。所有卷积层滤波器尺寸(卷积核大小)为:2×2。具体参数如下:
1)编码器encoder
各层卷积核个数依次为:64—128—256—512—512—512—512—512;
池化方法:leaky relu(斜率leak=0.2),leaky relu是现有的一种神经网络激活函数;
批归一化(Batch Normalization,BN)。
2)解码器decoder(与编码器encoder共同构成U-Net结构)
各层卷积核个数:512—512—512—512—512—256—128—64;
池化方法:leaky relu(斜率leak=0.2);
批归一化BN。
判别器:
判别器包括:4层卷积层、2层全连接层和一个S型函数,S型函数(Sigmoidfunction)是神经网络中常用的非线性作用函数);其中,所有卷积层滤波器尺寸(卷积核大小)为:2×2;全连接层神经元个数为256,全连接层大小为:64*256*256(批次*宽度*长度)。批次是指分批处理时,每一批次处理的图像个数。其它具体参数如下:
各层卷积核个数:64—128—256—512;
池化方法:leaky relu(斜率leak=0.2);
批归一化BN。
通常情况下,判别器的输出不是概率值,而只是输入值做了复杂的加权和非线性处理之后的一个值,为了将输出变成概率值,需要将判别器的最后一层设置为“softmax”层,采用下述函数作为损失函数,使判别器能够明确输出输入样本为正、负样本的概率。
损失函数:
上述公式中,z是生成器的输入,x是生成器的输出,D()表示数据经过生成器运算,G()表示数据经过判别器运算,m表示数据总量,也就是样本训练图像的数量。
上述损失函数由误差的L1范数(L1loss)实现,以保证生成的图像和真实图像位于同一个隐层空间并且彼此靠近(以假乱真)。
生成器的训练过程:
首先对生成器的各参数(权重和偏差,前述两者在模型创建时可以是预设随机值)进行阶段正态分布初始化,使各参数均服从具有指定平均值和标准偏差的正态分布,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择,本公开实施例中可以指定均值0.0、方差0.02。
然后使数据经过下述U-Net结构(8层卷积和8层转置卷积组成的U-Net结构):
1)8层卷积、leaky relu、批归一化的编码器。
卷积步长为1,卷积核大小为2x2,为保证卷积前后维度相同,指定padding='SAME';leaky relu的操作可以有效避免sigmoid函数、relu函数(前述两个函数均为现有的神经网络激活函数)的梯度消失的弊端;此外,若未引入批归一化BN操作,网络的前面几层发生微小的改变,那么后面几层就会被累积放大下去,因此引入批归一化BN能有效地稳定训练过程。
2)8层转置卷积、leaky relu、批归一化的解码器。
解码器采用转置卷积以提升特征图的维度,逐层恢复。需要注意的是,本专利在解码器阶段,引入了dropout思想,随机使一定数量的神经元停止工作,有效地避免过拟合的发生。通过此解码器,可以得到生成的图片,方便保存和后续判别。
关于dropout(丢弃)思想,可以参考图9理解,生成器每一次数据处理时,dropout随机关闭一定数量的神经元(滤波器或者卷积核),这使得数据每次经过的都不是同一种网络,从而防止参数过分依赖训练数据,增加参数对数据集的泛化能力。所关闭的神经元数量可以根据实际需要进行设置,比如,可以设定每次将50%的神经元关闭;也可以设定一个范围,所设定的范围的两个端点可以在[50%,90%]之间取值,比如,每一次随机选择关闭50%-80%的神经元或者选择关闭60%-90%的神经元。但是,需要保证的是,在每一次关闭神经元时,同一层的神经元不能全部关闭。
需要说明的是:本公开实施例在训练阶段采用dropout,但是在模型训练完成后的使用阶段则不需要dropout,而是使用所有神经元。
判别器的训练过程:
训练的目的是使判别器具有判别真假的能力(刚开始很弱,后续的迭代过程慢慢提高),判别的结果非真即假。具体方式就是:判别器学习真实图像的数据分布,在输入复原图像后,判别器计算得到一个值,将计算得到的值与学习的值相比较,如果差别很大就判断为假图像,如果差别很小就判断为真图像。假设,学习得到的值在1-100之内,而计算得到的值在1000-10000之间,则判断为假图像。这一过程可以理解为一个二分类问题:输入图片为真或假,所以除了两层卷积操作,额外加了一层全连接层,将方形的特征图reshape(重变形)成长条形,方便后面利用损失函数计算损失。最后通过S型函数(sigmoid函数),将结果光滑地映射到[0,1]空间。恰好可以解释为属于正类的概率(概率的取值范围是0~1),至此可以完成真假判别。
值得一提的是,当生成对抗网络的架构确定以后,不断的迭代过程中,所调整的是网络中的具体参数,包括权重和偏差,不断迭代后,就可以得到最终需要的生成对抗网络,在实际使用时,由于生成器已经学会复原压缩图像,因此可以去掉判别器只保留生成器,也可以继续保留判别器,本公开实施例对此不做限定。
需要说明的是,由于生成对抗网络训练时是在不断博弈,训练很难稳定,要花很长时间,因此,一般来说,迭代越多次,模型生成的图片效果越好。但也不是训练次数越多越好,如果训练次数过多,可能会出现过拟合。图10和图11是本公开实施例中训练生成对抗网络时保存的日志,图10所示出的是生成器的损失曲线(越低表示图像越逼真),图11所示出的是判别器的损失曲线。参照图10和图11,横坐标表示训练次数,纵坐标表示损失。在生成器一侧损失值越低表示模型生成的图片的逼真程度越高,从图10可以看出在训练次数在6k-19k之间时,损失最低且较平稳,而超过19k以后,损失值持续上升,出现了过拟合,效果不如前面的好,说明图像逼真程度降低;这一点从图11也可以看出,当训练次数超过19k之后,判别器的损失下降很多,说明判别器对假图片的识别率变高,也说明生成器生成的图片的逼真程度降低。实际应用中可以指定一个训练次数,当达到该次数之后,保存每次训练得到的模型,然后分别加载模型、测试生成的图片,判断生成的图片与原图的相似度,如果大于一个预设阈值,比如98%、99%等等,则确定当前模型已经足够好,可以停止迭代。
202、将待传输的图像进行二值化处理得到压缩图像并传输。
具体的,图像发送设备对待传输的图像进行二值化处理得到压缩图像并传输。
203、将接收到的压缩图像输入生成对抗网络的生成器后获取生成器输出的复原图像。
具体的,由配置图像接收设备这一侧的图像传输装置来接收图像发送设备传输过来的的压缩图像并复原,该图像传输装置用于实现本公开实施例提供的图像传输方法。
204、图像传输装置将复原图像发送给图像接收设备。
本公开实施例提供的图像传输方法,通过将图像发送设备发送的压缩图像输入经过大量样本图像数据训练过的生成对抗网络的生成器中获取到高质量复原图像后发送给图像接收设备,从而实现传输时传输压缩图像数据可以占用带宽少,接收设备接收到高质量复原图像显示效果好于压缩图像。
基于上述对应的实施例中所描述的图像传输方法,下述为本公开装置实施例,可以用于执行上述本公开方法实施例。
本公开实施例提供一种图像传输装置,可以配置在图像接收设备这一侧,例如内置于图像接收设备中,如图12所示,该图像传输装置120包括:
接收模块1201,用于接收图像发送设备发送的压缩图像;
复原模块1202,用于将压缩图像输入预设的生成对抗网络的生成器后获取生成器输出的复原图像;
发送模块1203,用于将复原图像发送给图像接收设备。
通过将图像发送设备发送的压缩图像输入经过大量样本图像数据训练过的生成对抗网络的生成器中获取到高质量复原图像后发送给图像接收设备,从而实现传输时传输压缩图像数据可以占用带宽少,接收设备接收到高质量复原图像显示效果好于压缩图像。
在一个实施例中,生成器中包含编码器和解码器,编码器与解码器基于U-Net结构配置。
相较于传统的编码器-解码器结构容易丢失图像的部分细节信息导致图像质量低、显示效果较差,本公开实施例基于U-Net结构配置编码器-解码器,可有效提高输出的复原图像的质量以及图像显示效果。
在一个实施例中,如图12所示,该装置120还包括:
训练模块1200,用于根据训练样本图像集合以及对应的压缩图像集合完成生成对抗网络的训练。
在一个实施例中,训练模块1200具体用于:
获取训练样本图像集合以及对应的压缩图像集合;
将压缩图像集合中的压缩图像输入生成器以及将训练样本图像中的样本图像输入生成对抗网络的判别器完成生成对抗网络的训练。
通过大量的训练样本图像以及对应的压缩图像形成的训练样本图像集合、压缩图像集合作为生成对抗网络的生成器和判别器的输入,经过大量的训练后,生成对抗网络的生成器可以复原出预期显示效果的图像时完成训练。
在一个实施例中,压缩图像是经过二值化处理的。
通过二值化处理可以有效压缩原始图像的数据量,从而传输压缩图像时有效降低占用带宽。
在一个实施例中,压缩图像对应的原始图像的类型为文本图像。
文本图像中的文本内容比较标准化,便于生成对抗网络的训练以及实际应用时的复原,图像复原准确率及图像显示效果可以得到有效保证。
本公开实施例提供的图像传输装置,对需要传输的图像进行压缩并传输可以有效降低传输时占用的带宽,再通过训练好的生成对抗网络的生成器生成与原图内容一致的高质量复原图像从而满足接收设备对图像显示效果的要求。
基于上述图1对应的实施例中所描述的图像传输方法,本公开实施例还提供一种计算机可读存储介质,例如,非临时性计算机可读存储介质可以是只读存储器(英文:ReadOnly Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令,用于执行上述图1对应的实施例中所描述的图像传输方法,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种图像传输方法,其特征在于,所述方法包括:
接收图像发送设备发送的压缩图像;
将所述压缩图像输入预设的生成对抗网络的生成器后获取所述生成器输出的复原图像;
将所述复原图像发送给图像接收设备。
2.根据权利要求1所述的方法,其特征在于,所述生成器中包含编码器和解码器,所述编码器与所述解码器基于U-Net结构配置。
3.根据权利要求1所述的方法,其特征在于,所述方法之前还包括:
根据训练样本图像集合以及对应的压缩图像集合完成所述生成对抗网络的训练。
4.根据权利要求3所述的方法,其特征在于,所述根据训练样本图像集合以及对应的压缩图像集合完成所述生成对抗网络的训练,包括:
获取所述训练样本图像集合以及对应的压缩图像集合;
将所述压缩图像集合中的压缩图像输入所述生成器以及将所述训练样本图像中的样本图像输入所述生成对抗网络的判别器完成所述生成对抗网络的训练。
5.根据权利要求1至4任一所述的方法,其特征在于,所述压缩图像是经过二值化处理的。
6.根据权利要求5所述的方法,其特征在于,所述压缩图像对应的原始图像的类型为文本图像。
7.一种图像传输装置,其特征在于,所述装置包括:
接收模块,用于接收图像发送设备发送的压缩图像;
复原模块,用于将所述压缩图像输入预设的生成对抗网络的生成器后获取所述生成器输出的复原图像;
发送模块,用于将所述复原图像发送给图像接收设备。
8.根据权利要求7所述的装置,其特征在于,所述生成器中包含编码器和解码器,所述编码器与所述解码器基于U-Net结构配置。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
训练模块,用于根据训练样本图像集合以及对应的压缩图像集合完成所述生成对抗网络的训练。
10.根据权利要求7至9任一所述的装置,其特征在于,所述压缩图像是经过二值化处理的;所述压缩图像对应的原始图像的类型为文本图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910311298.0A CN110062125A (zh) | 2019-04-18 | 2019-04-18 | 图像传输方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910311298.0A CN110062125A (zh) | 2019-04-18 | 2019-04-18 | 图像传输方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110062125A true CN110062125A (zh) | 2019-07-26 |
Family
ID=67319315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910311298.0A Pending CN110062125A (zh) | 2019-04-18 | 2019-04-18 | 图像传输方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110062125A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110648294A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN111340901A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
US20180176576A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Deep learning based adaptive arithmetic coding and codelength regularization |
CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
CN109040763A (zh) * | 2018-08-07 | 2018-12-18 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的图像压缩方法及系统 |
CN109410273A (zh) * | 2017-08-15 | 2019-03-01 | 西门子保健有限责任公司 | 根据医学成像中表面数据的定位片预测 |
CN109495744A (zh) * | 2018-10-29 | 2019-03-19 | 西安电子科技大学 | 基于联合生成对抗网络的大倍率遥感影像压缩方法 |
-
2019
- 2019-04-18 CN CN201910311298.0A patent/CN110062125A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180176576A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Deep learning based adaptive arithmetic coding and codelength regularization |
CN109410273A (zh) * | 2017-08-15 | 2019-03-01 | 西门子保健有限责任公司 | 根据医学成像中表面数据的定位片预测 |
CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
CN109040763A (zh) * | 2018-08-07 | 2018-12-18 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的图像压缩方法及系统 |
CN109495744A (zh) * | 2018-10-29 | 2019-03-19 | 西安电子科技大学 | 基于联合生成对抗网络的大倍率遥感影像压缩方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110648294A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN110648294B (zh) * | 2019-09-19 | 2022-08-30 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN111340901A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
CN111340901B (zh) * | 2020-02-19 | 2023-08-11 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102184755B1 (ko) | 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법 | |
CN110032926B (zh) | 一种基于深度学习的视频分类方法以及设备 | |
CN110310343A (zh) | 图像处理方法及装置 | |
CN110097554B (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
CN111798369B (zh) | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 | |
CN111931598B (zh) | 一种基于人脸识别的课堂智能实时分析方法及系统 | |
CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
CN108681991A (zh) | 基于生成对抗网络的高动态范围反色调映射方法及系统 | |
CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
JP7246811B2 (ja) | 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器 | |
CN115294407B (zh) | 基于预习机制知识蒸馏的模型压缩方法及系统 | |
CN113420731B (zh) | 模型训练方法、电子设备及计算机可读存储介质 | |
US11823490B2 (en) | Non-linear latent to latent model for multi-attribute face editing | |
CN110062125A (zh) | 图像传输方法及装置 | |
CN112052808A (zh) | 细化深度图的人脸活体检测方法、装置、设备及存储介质 | |
CN111832650A (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
WO2022166840A1 (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
CN113240655A (zh) | 一种自动检测眼底图像类型的方法、存储介质及装置 | |
CN112580502A (zh) | 基于sicnn的低质量视频人脸识别方法 | |
CN104463922B (zh) | 一种基于集成学习的图像特征编码及识别方法 | |
CN110826380A (zh) | 一种异常签名的识别方法及其系统 | |
CN112016592A (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
CN110619594A (zh) | 一种半色调图像隐写分析方法 | |
CN115984111A (zh) | 一种基于知识蒸馏压缩模型的图像超分辨率方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |