CN110062231A - 基于多层卷积神经网络的图像压缩方法 - Google Patents

基于多层卷积神经网络的图像压缩方法 Download PDF

Info

Publication number
CN110062231A
CN110062231A CN201910366826.2A CN201910366826A CN110062231A CN 110062231 A CN110062231 A CN 110062231A CN 201910366826 A CN201910366826 A CN 201910366826A CN 110062231 A CN110062231 A CN 110062231A
Authority
CN
China
Prior art keywords
coding
picture
encoder
compression
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910366826.2A
Other languages
English (en)
Inventor
于治楼
戴鸿君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201910366826.2A priority Critical patent/CN110062231A/zh
Publication of CN110062231A publication Critical patent/CN110062231A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种基于多层卷积神经网络的图像压缩方法,属于图像处理技术领域,本发明在深度神经网络的基础上引入了级联算法体系,加快训练时间,提高训练效果,大大提高了工作效率,使得简单、繁琐的工作自动化,节约时间。

Description

基于多层卷积神经网络的图像压缩方法
技术领域
本发明涉及图像处理技术,尤其涉及一种基于多层卷积神经网络的图像压缩方法。
背景技术
图像数据之所以能被压缩,就是因为数据中存在着冗余。图像数据的冗余主要表现为:图像中相邻像素间的相关性引起的空间冗余;图像序列中不同帧之间存在相关性引起的时间冗余;不同彩色平面或频谱带的相关性引起的频谱冗余。数据压缩的目的就是通过去除这些数据冗余来减少表示数据所需的比特数。由于图像数据量的庞大,在存储、传输、处理时非常困难,因此图像数据的压缩就显得非常重要。
信息时代带来了"信息爆炸",使数据量大增,因此,无论传输或存储都需要对数据进行有效的压缩。在遥感技术中,各种航天探测器采用压缩编码技术,将获取的巨大信息送回地面。
图像压缩是数据压缩技术在数字图像上的应用,它的目的是减少图像数据中的冗余信息从而用更加高效的格式存储和传输数据。
图像压缩可以是有损数据压缩也可以是无损数据压缩。对于如绘制的技术图、图表或者漫画优先使用无损压缩,这是因为有损压缩方法,尤其是在低的位速条件下将会带来压缩失真。如医疗图像或者用于存档的扫描图像等这些有价值的内容的压缩也尽量选择无损压缩方法。有损方法非常适合于自然的图像,例如一些应用中图像的微小损失是可以接受的(有时是无法感知的),这样就可以大幅度地减小位速。
目前随着互联网和手机的快速发展催生出诸多如youtube、头条、微博等媒体巨头,使得图像和视频占据了互联网绝大部分流量,因此图像压缩算法就显得越来越重要,但是传统视频压缩算法已经基本完善没有太大的改进空间,在这种情况下,借助目前流行的深度学习技术来提高图像压缩就显得尤为重要。
发明内容
为了解决以上技术问题,本发明提出了一种基于多层卷积神经网络的图像压缩方法,提高精确度,减少训练时间。
本发明的技术方案是:
一种基于多层卷积神经网络的图像压缩方法,使用深层卷积神经网络图像压缩的编码器,使用二值量化进行量化,同时使用香农编码作为熵编码经过训练完成端对端的图形压缩。
进一步的,具体步骤如下:
步骤一:设计图像压缩编码器结构。
本发明编码器使用多层卷积神经网络,该编码器以VGG16为基础,其中卷积层由卷积、batch normalization、relu激活函数和池化组成,通过多层的卷积操作完成图像的编码工作。
步骤二:将编码后的图片进行量化。
本发明使用二值量化完成对编码结果的量化,达到减小模型大小的目的。
步骤三:进行反量化和构造解码器。
上述步骤将图像进行了编码,如果想要恢复该图像则要进行解码,因此对应上述步骤首先进行反量化,进而构造解码器完成解码工作。
解码器的构造同编码器相反,编码器使用卷积和池化操作完成下采样工作,因此解码器通过上采样、卷积和反卷积工作实现图片信息流的解码工作,获得同原图片近似的图片。
步骤四:完成熵编码是编码和量化后的图片成为码字。
该步骤结合上面的编码和量化方式的选择来选择相应的熵编码方式,因此选择了香农编码。
步骤五:完成率-失真优化。
将步骤三解码后的图片与原图片对比计算得到重建误差,将步骤四得到的码字进行码字估计得到码率,然后根据图像压缩侧重点的不同将重建误差和码率选择合适的权重后相加。
步骤六:对模型进行训练得到成熟模型。
构建好上述模型后使用大量图片对该模型进行无监督学习形成成熟模型。
本发明的有益效果是
本发明采用多层级联深度卷积网络,每层都是独立深度卷积神经网络,后一层在前一层的基础上完成更精确的预测和分类,如此一来提高了精确度,减少了训练时间。
附图说明
图1是本发明的工作步骤流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明是基于深层卷积神经网的图像压缩技术,主要目标是设计基于深层卷积神经网络的图像压缩编码解码器,并设计与之对应的量化方式、熵编码等,实现效果更佳的图像压缩。
主要包括:
第一,建立由多个独立的卷积深度神经网络构成的级联深度神经网络;
第二,使用处理好的数据集训练该网络得到成熟的模型;
第三,使用成熟模型对超市新进的商品进行识别并自动录入系统。
其步骤流程如图所示,
首先,建立基于深层卷积深度神经网络的编码器和基于二值量化的量化器。
编码器使用VGG16作为基础模型,使用多层卷积操作和池化操作完成图像编码工作,量化操作使用二值量化实现编码后的量化工作,减小存储大小。
第二,建立反量化器和解码器。
当上述编码量化后的图像要进行恢复工作时就需要进行解码和反量化操作,解码使用上采样、和反卷积等操作反向恢复图片。
第三,对量化后图片进行熵编码。
图片经过量化和编码后再经过使用香浓编码完成无损编码进一步压缩图片形成码字。
第四,完成率-失真优化。
对熵编码形成的码字进行码字估计,将解码后的图片与原图对比形成重建误差,两者按照一定权重形成最后的率-失真优化。
第五,完成训练形成成熟模型。
构建完模型后使用大量图片训练该网络形成成熟模型。
本发明主要目标是设计基于深层卷积神经网络的图像压缩编码解码器,并设计与之对应的量化方式、熵编码等,实现效果更佳的图像压缩。
以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (8)

1.一种基于多层卷积神经网络的图像压缩方法,其特征在于,
使用深层卷积神经网络图像压缩的编码器,使用二值量化进行量化,同时使用香农编码作为熵编码经过训练完成端对端的图形压缩。
2.根据权利要求1所述的方法,其特征在于,
主要步骤包括:
1)设计图像压缩编码器结构;
2)将编码后的图片进行量化;
3)进行反量化和构造解码器;
4)完成熵编码是编码和量化后的图片成为码字。
5)完成率-失真优化
6)对模型进行训练得到成熟模型。
3.根据权利要求1所述的方法,其特征在于,
在步骤1)中,编码器使用多层卷积神经网络,该编码器以VGG16为基础,其中卷积层由卷积、batch normalization、relu激活函数和池化组成,通过多层的卷积操作完成图像的编码工作。
4.根据权利要求1所述的方法,其特征在于,
在步骤2)中,使用二值量化完成对编码结果的量化,达到减小模型大小的目的。
5.根据权利要求1所述的方法,其特征在于,
在步骤3)中,解码器的构造同编码器相反,编码器使用卷积和池化操作完成下采样工作,因此解码器通过上采样、卷积和反卷积工作实现图片信息流的解码工作,获得同原图片近似的图片。
6.根据权利要求1所述的方法,其特征在于,
步骤4)结合上面的编码和量化方式的选择来选择相应的熵编码方式,因此选择了香农编码。
7.根据权利要求1所述的方法,其特征在于,
所述步骤5),即将步骤3)解码后的图片与原图片对比计算得到重建误差,将步骤4)得到的码字进行码字估计得到码率,然后根据图像压缩侧重点的不同将重建误差和码率选择合适的权重后相加。
8.根据权利要求1所述的方法,其特征在于,
构建好模型后使用图片对该模型进行无监督学习形成成熟模型。
CN201910366826.2A 2019-05-05 2019-05-05 基于多层卷积神经网络的图像压缩方法 Pending CN110062231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910366826.2A CN110062231A (zh) 2019-05-05 2019-05-05 基于多层卷积神经网络的图像压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910366826.2A CN110062231A (zh) 2019-05-05 2019-05-05 基于多层卷积神经网络的图像压缩方法

Publications (1)

Publication Number Publication Date
CN110062231A true CN110062231A (zh) 2019-07-26

Family

ID=67322072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910366826.2A Pending CN110062231A (zh) 2019-05-05 2019-05-05 基于多层卷积神经网络的图像压缩方法

Country Status (1)

Country Link
CN (1) CN110062231A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475119A (zh) * 2019-08-12 2019-11-19 北京大学 基于flash存算阵列的图像压缩系统和方法
CN111050174A (zh) * 2019-12-27 2020-04-21 清华大学 图像压缩方法、装置及系统
CN111294604A (zh) * 2020-02-13 2020-06-16 济南浪潮高新科技投资发展有限公司 一种基于深度学习的视频压缩方法
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163121A (zh) * 2015-08-24 2015-12-16 西安电子科技大学 基于深度自编码网络的大压缩比卫星遥感图像压缩方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
US20180247193A1 (en) * 2017-02-24 2018-08-30 Xtract Technologies Inc. Neural network training using compressed inputs
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163121A (zh) * 2015-08-24 2015-12-16 西安电子科技大学 基于深度自编码网络的大压缩比卫星遥感图像压缩方法
US20180247193A1 (en) * 2017-02-24 2018-08-30 Xtract Technologies Inc. Neural network training using compressed inputs
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAOJIE LIU ET AL.: "Deep Image Compression via End-to-End Learning", 《ARXIV:1806.01496》 *
TONG CHEN ET AL.: "DeepCoder: A deep neural network based video compression", 《 2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
周建同 等: "视频编码的技术基础及发展方向", 《电信科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475119A (zh) * 2019-08-12 2019-11-19 北京大学 基于flash存算阵列的图像压缩系统和方法
WO2021027238A1 (zh) * 2019-08-12 2021-02-18 北京大学 基于flash存算阵列的图像压缩系统和方法
US20220321900A1 (en) * 2019-08-12 2022-10-06 Peking University System and method for compressing image based on flash in-memory computing array
US12120331B2 (en) * 2019-08-12 2024-10-15 Peking University System and method for compressing image based on flash in-memory computing array
CN111050174A (zh) * 2019-12-27 2020-04-21 清华大学 图像压缩方法、装置及系统
CN111294604A (zh) * 2020-02-13 2020-06-16 济南浪潮高新科技投资发展有限公司 一种基于深度学习的视频压缩方法
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置

Similar Documents

Publication Publication Date Title
CN110062231A (zh) 基于多层卷积神经网络的图像压缩方法
CN109996071B (zh) 基于深度学习的可变码率图像编码、解码系统及方法
US6571016B1 (en) Intra compression of pixel blocks using predicted mean
JP7431742B2 (ja) 三次元物体を表すポイントクラウドを符号化/復号する方法及び装置
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
JP6245888B2 (ja) エンコーダおよび符号化方法
US20020106019A1 (en) Method and apparatus for implementing motion detection in video compression
US20120288015A1 (en) Data pruning for video compression using example-based super-resolution
CN116723337B (zh) 一种hdmi高清数据优化传输方法及系统
JP2016226001A (ja) デコーダおよび復号方法
KR20140089426A (ko) 예측성 위치 디코딩
US10972749B2 (en) Systems and methods for reconstructing frames
CN101494788B (zh) 视频图像的压缩/解压缩方法与装置
US6584226B1 (en) Method and apparatus for implementing motion estimation in video compression
CN101827268B (zh) 一种基于对象的分形视频压缩与解压缩方法
CN116582685A (zh) 一种基于ai的分级残差编码方法、装置、设备和存储介质
CN102917157A (zh) 一种基于人体视觉系统的图片压缩系统及方法
CN104754343A (zh) 图像处理方法与系统、解码方法、编码器与解码器
Hu et al. Complexity-guided slimmable decoder for efficient deep video compression
JP2003188733A (ja) 符号化方法及び装置
CN107682699B (zh) 一种近无损图像压缩方法
TW201019271A (en) A second deblocker in a decoding pipeline
WO2023225808A1 (en) Learned image compress ion and decompression using long and short attention module
CN101267557B (zh) 一种用复合矢量量化进行图像压缩和解码的方法
CN111510721B (zh) 基于空间下采样的多描述编码高质量边重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726