CN111885384B - 带宽受限下基于生成对抗网络的图片处理和传输方法 - Google Patents

带宽受限下基于生成对抗网络的图片处理和传输方法 Download PDF

Info

Publication number
CN111885384B
CN111885384B CN202010663514.0A CN202010663514A CN111885384B CN 111885384 B CN111885384 B CN 111885384B CN 202010663514 A CN202010663514 A CN 202010663514A CN 111885384 B CN111885384 B CN 111885384B
Authority
CN
China
Prior art keywords
generator
picture
feature
trained
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010663514.0A
Other languages
English (en)
Other versions
CN111885384A (zh
Inventor
王超
杨聪
曹仰杰
吕晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202010663514.0A priority Critical patent/CN111885384B/zh
Publication of CN111885384A publication Critical patent/CN111885384A/zh
Application granted granted Critical
Publication of CN111885384B publication Critical patent/CN111885384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种带宽受限下基于生成对抗网络的图片处理方法，包括以下步骤：1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G；3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E；在网络的发送端使用训练好的编码器E用于图片特征的提取，并传输较低比特的数据，网络的接收端收到数据后使用训练好的特征还原生成器G进行数据解析。该方法先训练特征还原生成器G，然后通过特征还原生成器再训练特征提取编码器E，能够在训练特征提取编码器时以任意比特压缩，可以做压缩比与压缩还原质量的权衡，以便在带宽受限的数据传输网络中使用。

Description

带宽受限下基于生成对抗网络的图片处理和传输方法
技术领域
本发明涉及图片处理领域，具体的说，涉及了一种带宽受限下基于生成对抗网络的图片处理和传输方法。
背景技术
随着互联网的发展，人们对图像分辨率的要求不断提高，数据量也越来越大，这给数据传输和存储带来越来越大的压力，在带宽受限的网络中，图片数据传输面临着高延时等问题，这对更高倍率的数据压缩和传输技术的需求日益迫切。现有图像压缩技术是把图像先进行各种变换，主要是DCT变换和小波变换，如JPEG以及JPEG2000压缩算法，这些算法的能力十分有限。
随着机器学习的再一次兴起，生成对抗网络进行非监督式学习，即通过让两个神经网络相互博弈的方式进行学习，成为了图像处理的一大研究方向。
该方法由Goodfellow等人于2014年提出。它是基于深度学习的一种强大的生成模型，在图像处理方面也有着广泛的应用，如图像生成、风格迁移、文本与图像的相互转换、图像还原与修复、高质量图像生成等。
但目前对于图片压缩传输这方面的GAN研究还没有较为成熟的解决方案。
例如专利号为CN 201911032999.7、发明名称为：基于卷积神经网络的图像压缩优化方法的发明专利，通过编码器E、解码器d和对抗网络GAN的网络模型，进行对抗训练，然后对模型进行剪枝优化、再训练，最终获得图片压缩的优化方案，其中，剪枝优化的过程过于复杂，且需要借助其它学习框架，在实际应用过程中存在兼容性等障碍，需要做的工作量巨大。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种提取特征的能力更强、能够在带宽受限的网络中应用、训练难度更低的带宽受限下基于生成对抗网络的图片处理方法以及图片传输方法。
为了实现上述目的，本发明所采用的技术方案是：一种带宽受限下基于生成对抗网络的图片处理方法，其特征在于：包括以下步骤：
1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；
2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G；
3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E；
训练好的特征提取编码器E用于图片特征的提取，训练好的特征还原生成器G用于解压。
基上所述，步骤2)中，所述特征还原生成器G通过下列公式进行训练：
其中，G′指生成器、D指判别器，生成器G′由特征提取编码器F和特征还原生成器G组成，z指随机噪声，x指输入图片，y是x重构的目标图片，生成器和判别器均为卷积神经网络，用于训练该特征还原生成器G的特征提取编码器F在将特征还原生成器G训练完成后弃用。
基上所述，所述特征提取编码器E通过以下公式进行训练：
其中，x指输入图片，y指重构目标图片，G指特征还原生成器，H指转换函数，df(Py，Px)是输入分布Px和重构分布Py的距离，采用Wasserstein Distance作为度量方式。
一种基于所述的带宽受限下基于生成对抗网络的图片处理方法的图片传输方法，包括以下步骤：
1)将特征提取编码器E和特征还原生成器G分别部署在带宽受限的NB-IoT数据传输网络的发送端和接收端；
2)待发送的图片由特征提取编码器E进行编码，从发送端发出；
3)接收端收到数据后，提取其中的参数，通过特征还原生成器G处理得到目标图片。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明先用一对生成器和判别器组成的对抗网络训练特征还原生成器G，然后在将特征还原生成器G剥离，构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，训练特征提取编码器。图像传输处理的场景下，在不同的压缩比率下编码器能够生成与原始数据分布一致的编码，其解码器则以零比特率生成独立同分布样本，然后随着比特率的增加逐渐产生包含更多原始图像内容的重构，最终在足够高的比特率的情况下实现完美的重建，大大提高了压缩比，且具备良好的保密性和隐藏性，在具有丰富图像的数据传输任务中尤为适用。
附图说明
图1是本发明中带宽受限下基于生成对抗网络的图片处理和传输方法的流程图。
图2是本发明中特征还原生成器的训练网络图。
图3是本发明中特征提取编码器的训练网络图。
图4是基于GAN的图片数据传输示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种带宽受限下基于生成对抗网络的图片处理方法，其特征在于：包括以下步骤：
1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；
2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G。
所述特征还原生成器G通过下列公式进行训练：
其中，G′指生成器、D指判别器，生成器G′由编码器F和特征还原生成器G组成，z指随机噪声，x指输入图片，y是x重构的目标图片，生成器和判别器均为卷积神经网络，用于训练该特征还原生成器G的编码器F在将特征还原生成器G训练完成后弃用。
函数的第一项表明，当输入原始的图片时，判别器使目标函数尽可能大，并判断它是真实图像，函数的第二项标识在输入生成的图像时，D(G′(z，x))尽可能小，因此，损失函数的值相对较大，生成器欺骗判别器并错误地认为输入的是真实图像的同时，判别器视图将其识别为假图像，函数的两项模型进行游戏直到达到纳什均衡。
3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E。
所述特征提取编码器E通过以下公式进行训练：
其中，x指输入图片，y指重构目标图片，G指特征还原生成器，H指转换函数。
借助换砖函数，特征提取编码器能够实现将输入图片x编码为任意比特，编码的向量经过H映射为维度一致的向量以便解码，，df(Py，Px)是输入分布Px和重构分布Py的距离，采用Wasserstein Distance作为度量方式。
加入df(Py，Px)的原因是，传统压缩方法中，编码器和解码器具有典型确定性，因此不同的重构输入被限定，这就导致重建的y会出现降质的问题，例如引起图像的模糊、模块化等，为了解决这一问题，本方法向目标函数中增加一个约束项df(Py，Px)，即重构实例的分布遵循训练数据的分布。
训练好的特征提取编码器E用于图片特征的提取，训练好的特征还原生成器G用于解压。
在传输图片时，通过以下步骤实现：
1)将特征提取编码器E和特征还原生成器G分别部署在带宽受限的NB-IoT数据传输网络的发送端和接收端；
2)待发送的图片由特征提取编码器E进行编码，从发送端发出；
3)接收端收到数据后，提取其中的参数，通过特征还原生成器G处理得到目标图片。
该方法通过在发送端对图片数据提取特征并在接收端根据特征进行还原的方式来实现图片数据的网络中的快速传输，在窄带物联网等环境下也能有效传输。
由于采用了先训练特征还原生成器G、再训练特征提取编码器E的流程，相对于背景技术提到的现有的对抗网络训练方式而言，能够在训练特征提取编码器时以任意比特压缩，之后可以做压缩比与压缩还原质量的权衡。且在不同压缩比率下，编码器能够生成与原始数据分布一致的编码，解码器则以零比特率生成独立同分布样本，然后随着比特率的增加逐渐产生包含更多原始图像内容的重构，最终在足够高的比特率情况下实现相对完美的重构。
本方法通过构建生成对抗网络来进行模型的迭代训练，相比于传统方法，本方法利用了计算机强大的计算能力，只需加载训练好的模型，就能实现批量的图片数据的特征提取操作。该方法精简、训练方便，运行平稳、可靠，可移植性较好，可以在多种图片数据传输场景中使用。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (3)

1.一种带宽受限下基于生成对抗网络的图片处理方法，其特征在于：包括以下步骤：
1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；
2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G；
3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E；
训练好的特征提取编码器E用于图片特征的提取，训练好的特征还原生成器G用于图片特征的还原，步骤2)中，所述特征还原生成器G通过下列公式进行训练：
其中，G′指生成器、D指判别器，生成器G′由特征提取编码器F和特征还原生成器G组成，z指随机噪声，x指输入图片，y是x重构的目标图片，生成器和判别器均为卷积神经网络，用于训练该特征还原生成器G的特征提取编码器F在将特征还原生成器G训练完成后弃用，所述特征提取编码器E通过以下公式进行训练：
其中，x指输入图片，y指重构目标图片，G指特征还原生成器，H指转换函数，df(Py，Px)是输入分布Px和重构分布Py的距离，采用Wasserstein Distance作为度量方式。
2.一种基于权利要求1所述的带宽受限下基于生成对抗网络的图片处理方法的图片传输方法，其特征在于：包括以下步骤：
1)将特征提取编码器E和特征还原生成器G分别部署在带宽受限的NB-IoT数据传输网络的发送端和接收端；
2)待发送的图片由特征提取编码器E进行图片特征的提取并编码，从发送端发出；
3)接收端收到数据后，提取其中的参数，通过特征还原生成器G处理得到目标图片。
3.一种可读存储介质，其上存储有指令，其特征在于：该指令被处理器执行时实现如权利要求1所述的带宽受限下基于生成对抗网络的图片处理方法。
CN202010663514.0A 2020-07-10 2020-07-10 带宽受限下基于生成对抗网络的图片处理和传输方法 Active CN111885384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663514.0A CN111885384B (zh) 2020-07-10 2020-07-10 带宽受限下基于生成对抗网络的图片处理和传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663514.0A CN111885384B (zh) 2020-07-10 2020-07-10 带宽受限下基于生成对抗网络的图片处理和传输方法

Publications (2)

Publication Number Publication Date
CN111885384A CN111885384A (zh) 2020-11-03
CN111885384B true CN111885384B (zh) 2023-08-22

Family

ID=73151490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663514.0A Active CN111885384B (zh) 2020-07-10 2020-07-10 带宽受限下基于生成对抗网络的图片处理和传输方法

Country Status (1)

Country Link
CN (1) CN111885384B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492313B (zh) * 2020-11-22 2021-09-17 复旦大学 一种基于生成对抗网络的图片传输系统
US11785262B1 (en) 2022-03-16 2023-10-10 International Business Machines Corporation Dynamic compression of audio-visual data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832504B2 (ja) * 2016-08-08 2021-02-24 パナソニックＩｐマネジメント株式会社 物体追跡方法、物体追跡装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wasserstein GAN;Martin Arjovsky;《arxiv.1701.07875》;全文 *

Also Published As

Publication number Publication date
CN111885384A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN110290387B (zh) 一种基于生成模型的图像压缩方法
CN111885384B (zh) 带宽受限下基于生成对抗网络的图片处理和传输方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
Oquab et al. Low bandwidth video-chat compression using deep generative models
CN112053408B (zh) 基于深度学习的人脸图像压缩方法及装置
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
WO2023143101A1 (zh) 一种面部视频编码方法、解码方法及装置
Zebang et al. Densely connected AutoEncoders for image compression
Jiang et al. Multi-modality deep network for extreme learned image compression
CN114373023A (zh) 一种基于点的点云几何有损压缩重建装置与方法
WO2023143349A1 (zh) 一种面部视频编码方法、解码方法及装置
Pinheiro et al. NF-PCAC: Normalizing Flow based Point Cloud Attribute Compression
CN115052147B (zh) 基于生成模型的人体视频压缩方法、系统
Masmoudi et al. A novel bio-inspired static image compression scheme for noisy data transmission over low-bandwidth channels
Zhang et al. Global Priors with Anchored-stripe Attention and MultiScale Convolution for Remote Sensing Images Compression
CN115361556A (zh) 一种基于自适应的高效视频压缩算法及其系统
Yang et al. Graph-convolution network for image compression
Ye et al. Lightweight Generative Joint Source-Channel Coding for Semantic Image Transmission with Compressed Conditional GANs
Liu et al. An Efficient and Robust Underwater Image Compression Scheme Based on Autoencoder
Bao et al. Image Compression for Wireless Sensor Network: A Model Segmentation-Based Compressive Autoencoder
Vadivel et al. Progressive point cloud compression with the fusion of symmetry based convolutional neural pyramid and vector quantization
Qin et al. Perceptual Image Compression with Cooperative Cross-Modal Side Information
WO2023143331A1 (zh) 一种面部视频编码方法、解码方法及装置
Zhu Design of mobile communication image transmission compression algorithm based on convolutional neural network
CN114501034B (zh) 基于离散高斯混合超先验和Mask的图像压缩方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant