CN113132723A - 一种图像压缩方法及装置 - Google Patents

一种图像压缩方法及装置 Download PDF

Info

Publication number
CN113132723A
CN113132723A CN201911406329.7A CN201911406329A CN113132723A CN 113132723 A CN113132723 A CN 113132723A CN 201911406329 A CN201911406329 A CN 201911406329A CN 113132723 A CN113132723 A CN 113132723A
Authority
CN
China
Prior art keywords
image
compression
network
code rate
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911406329.7A
Other languages
English (en)
Other versions
CN113132723B (zh
Inventor
肖云雷
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN201911406329.7A priority Critical patent/CN113132723B/zh
Priority to EP20910964.4A priority patent/EP4087239A4/en
Priority to PCT/CN2020/130576 priority patent/WO2021135715A1/zh
Publication of CN113132723A publication Critical patent/CN113132723A/zh
Priority to US17/853,178 priority patent/US20220329807A1/en
Application granted granted Critical
Publication of CN113132723B publication Critical patent/CN113132723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种图像压缩方法及装置，所述方法包括：获取目标图像和所述目标图像对应的目标码率；确定与所述目标码率对应的第一码率参数；将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。

Description

一种图像压缩方法及装置
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像压缩方法及装置。
背景技术
图像压缩技术是实现图像高效传输和存储的重要技术手段，是一种以较少的比特有损或无损地表示图像原始的像素矩阵的技术。随着深度学习技术的发展，利用神经网络模型实现图像压缩成为一种流行趋势。
然而，现有的神经网络模型都是基于固定码率训练所得，因此一种神经网络模型往往只能实现一种码率的图像压缩。当需要获得多种码率的压缩图像时，则需要基于不同的码率训练不同的模型，降低了图像压缩的效率，耗时耗力。
发明内容
本申请实施例提供了一种图像压缩方法及装置，可以解决需要训练不同码率的模型，导致图像压缩效率低的问题。
第一方面，本申请提供一种图像压缩方法，所述方法包括：获取目标图像和所述目标图像对应的目标码率；确定与所述目标码率对应的第一码率参数；将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。
可选的，所述第一码率参数包括第一压缩权重；所述图像压缩模型包括第一非线性编码网络和压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图；将所述第一特征图输入到所述压缩网络进行压缩处理，得到所述压缩图像。
可选的，所述第一非线性编码网络包括K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述目标图像，所述第K个卷积层的输出特征图像是所述第一特征图；所述K个卷积层中的每个所述卷积层对输入信息的处理包括：对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值；对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
可选的，所述对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值，包括：对所述编码值依次进行第一全连接运算、第一指数运算、第二全连接运算以及第二指数运算，得到第一条件值，所述第一全连接运算和所述第二全连接运算的输出通道数不同；对所述编码值依次进行第三全连接运算、第三指数运算以及第四全连接运算，得到第二条件值，所述第三全连接运算和所述第四全连接运算的输出通道数不同，所述第二全连接运算和所述第四全连接运算的输出通道数相同。
可选的，所述根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出信息，包括：将所述特征信息与所述第一条件值的乘积与所述第二条件值相加得到所述输出信息。
可选的，所述第一码率参数包括第一量化参数，所述图像压缩模型包括第一非线性编码网络和压缩网络，所述压缩网络包括第一量化网络和子压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图；将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图；将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
可选的，所述子压缩网络包括第一熵编码网络、反量化网络和第一解码处理网络；所述将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像，包括：将所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图；将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图；将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
可选的，所述第一码率参数包括第一压缩权重；所述图像压缩模型包括第一非线性编码网络、压缩网络和压缩参数生成网络；所述压缩网络包括第一量化网络和子压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图；将所述第一特征图输入到所述第一量化网络中进行量化，得到量化后的第二特征图；将所述第一压缩权重和所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数；将所述压缩参数和所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
可选的，所述压缩参数生成网络包括第二非线性编码网络和子生成网络；所述将所述第一压缩权重和所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数，包括：将所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图；将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数。
可选的，所述第二非线性编码网络包括K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述第二特征图，所述第K个卷积层的输出特征图像是所述第五特征图；所述K个卷积层中的每个所述卷积层对输入信息的处理包括：对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值；对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
可选的，所述对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值，包括：对所述编码值依次进行第一全连接运算、第一指数运算、第二全连接运算以及第二指数运算，得到第一条件值，所述第一全连接运算和所述第二全连接运算的输出通道数不同；对所述编码值依次进行第三全连接运算、第三指数运算以及第四全连接运算，得到第二条件值，所述第三全连接运算和所述第四全连接运算的输出通道数不同，所述第二全连接运算和所述第四全连接运算的输出通道数相同。
可选的，所述根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出信息，包括：将所述特征信息与所述第一条件值的乘积与所述第二条件值相加得到所述输出信息。
可选的，所述子生成网络包括第二量化网络、第二熵编码网络和第二解码处理网络；所述将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数，包括：将所述第五特征图输入到所述第二量化网络中进行取整处理，得到量化后的第六特征图；将所述第六特征图输入到所述第二熵编码网络中进行压缩处理，得到第七特征图；将所述第七特征图输入到所述第二解码处理网络中进行解码处理，得到所述压缩参数。
可选的，所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像之前，所述方法还包括：根据预设的码率参数集合生成第二码率参数；将训练样本集合中的图像样本和所述第二码率参数输入初始图像压缩模型中处理，得到输出图像；其中，所述训练样本集合包括多个图像样本；计算所述图像样本和输出图像之间的第一损失值；当所述第一损失值不满足预设条件时，调整所述初始图像压缩模型的模型参数，并返回执行所述随机生成第二码率参数并将图像样本和所述第二码率参数输入到所述初始图像压缩模型中处理，得到输出图像的步骤；当所述第一损失值满足所述预设条件时，停止训练所述初始图像压缩模型，并将训练后的所述初始图像压缩模型作为所述图像压缩模型。
可选的，所述计算所述图像样本和输出图像之间的第一损失值，包括：计算所述图像样本和输出图像之间的第二损失值；计算熵编码网络的损失值；根据所述第二损失值、所述熵编码网络的损失值和所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重，计算所述第一损失值。
可选的，所述根据所述第二损失值、熵编码网络的损失值和所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重，计算所述第一损失值，包括：将所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重与所述第二损失值相乘，并加上所述熵编码网络的损失值，得到所述第二损失值。
第二方面，本申请提供一种图像压缩装置，包括：获取单元，用于获取目标图像和所述目标图像对应的目标码率；确定单元，用于确定与所述目标码率对应的第一码率参数；压缩单元，用于将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。
第三方面，本申请提供一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意可选方式所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方式所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在图像处理设备上运行时，使得图像处理设备执行上述第一方面或第一方面的任意可选方式所述的方法。
本申请实施例与现有技术相比存在的有益效果是：本身申请提供的图像压缩模型是基于多个码率参数训练所得，因而在利用该图像压缩模型压缩目标图像时，可以先确定与目标码率对应的第一码率参数，再将目标图像和第一码率参数都输入到图像压缩模型处理，即可得到码率为所述目标码率的压缩图像。无需采用基于不同的码率训练所得的不同的模型，因此提高了图像压缩的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种图像压缩方法的流程图；
图2是本申请一实施例提供的一种图像压缩模型的网络架构；
图3是本申请实施例提供的一种卷积层的网络架构；
图4是本申请一实施例提供的另一种图像压缩模型的网络架构；
图5是本申请另一实施例提供的一种图像压缩方法的流程图；
图6是本申请实施例提供的图像压缩装置的结构示意图；
图7是本申请实施例提供的图像处理设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面结合具体实施例对本申请提供的图像压缩方法进行示例性的说明。
请参见图1，图1是本申请一个实施例提供的一种图像压缩方法的示意流程图。本实施例中图像压缩方法的执行主体为图像处理设备，图像处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是台式电脑、机器人、服务器等。如图1所示的图像压缩方法可包括：
S101：获取目标图像和所述目标图像对应的目标码率。
目标图像是待压缩的图像，可以是接收用户输入的目标图像和目标码率。或者，目标图像为用户输入的或者是从图像处理设备中存储的图像中选择的。目标码率可以是用户输入的，也可以是图像处理设备显示一个可用码率列表，然后确定用户从该码率列表中选择的码率。
其中，码率是指在压缩图像时单位像素编码所需要的编码长度。
S102：确定与所述目标码率对应的第一码率参数。
在本申请实施例中，图像处理设备通过码率参数：压缩权重和/或量化参数，来调节码率。其中，压缩权重可以是拉格朗日系数，用于对目标图像在压缩前进行非线性编码。压缩权重可以衡量是衡量压缩比和图像质量的参数，压缩权重越大，压缩比越小，输出的图像质量越好。其中，压缩比是指压缩后的图像大小压缩前的图像大小的比值。压缩比不同，码率就不同。
量化参数，用于对目标图像进行非线性编码后，进行量化处理，减少数据量，便于后续的压缩过程。量化参数不同，码率也不同。
当确定目标码率后，图像处理设备可以确定与该目标码率对应的第一码率参数。示例性的，图像处理设备可以直接接收用户输入的第一码率参数，也可以是显示一个码率参数列表然后确定用户选择的第一码率参数。或者，还可以是基于用户输入或者选择的目标码率，根据预设的码率参数与码率的对应关系，确定目标码率对应的第一码率参数。
其中，第一码率参数可以包括第一压缩权重和/或第一量化参数。
S103：将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像。
在本实施例中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。图像处理设备中预先存储有预先已训练的图像压缩模型。该视频评估模型是使用机器学习算法，基于样本训练集中的多个图像样本和多个码率参数对初始图像压缩模型训练得到。其中，初始图像压缩模型是本申请提供一种基于多个码率参数进行图像压缩的深度学习网络模型。
可以理解的是，图像压缩模型可以由图像处理设备预先训练，也可以由其他设备预先已训练后将图像压缩模型对应的文件移植至图像处理设备中。也就是说，训练该图像压缩模型的执行主体与使用该图像压缩模型进行图像压缩的执行主体可以是相同的，也可以是不同的。例如，当采用其他设备训练初始图像压缩模型时，其他设备对初始图像压缩模型结束训练后，固定初始图像压缩模型的模型参数，得到图像压缩模型对应的文件。然后将该文件移植到图像处理设备中。
下面结合两种可能的图像压缩模型，对图像压缩模型基于第一码率参数将目标图像压缩为码率为目标码率的压缩图像的过程进行示例性的说明。
参见图2，为本申请提供的一种可能的图像压缩模型，包括第一非线性编码网络和压缩网络。图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，包括：
图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图。然后将所述第一特征图输入到所述压缩网络进行压缩处理，得到所述压缩图像。
其中，压缩网络包括第一量化网络和子压缩网络。那么，图像处理设备将所述第一特征图输入到所述压缩网络进行压缩处理，得到所述压缩图像，包括：
图像处理设备将所述第一特征图输入到所述第一量化网络中量化处理，得到量化后的第二特征图；然后将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
具体的，所述子压缩网络包括第一熵编码网络、反量化网络和第一解码处理网络。那么，图像处理设备将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像，包括：
图像处理设备将所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图；然后将所述第三特征图输入到所述反量化网络进行反量化，得到反量化后的第四特征图；最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，第一熵编码网络对第二特征图的压缩处理可以包括：先对第二特征图进行无损压缩，得到第二特征图的二进制文件。然后将该二进制文件转化为第三特征图。
第一解码网络可以包括非线性解码层或者包括非线性解码层的后处理层。若第一解码网络包括非线性解码层，第一解码网络对第四特征图进行非线性解码后即可得到压缩图像。若第一解码网络还包括后处理层，第一解码网络则对第四特征图进行非线性解码后，在进行后处理操作(例如，激活函数运算)，得到压缩图像。
针对上述如图2所示的图像压缩模型，图像处理设备利用第一压缩权重和/或第一量化参数，可以采用如下至少三种方式实现对目标码率的控制。
方式一：在第一非线性编码网络结合第一压缩权重，实现目标码率的控制。
具体的，在方式一中，图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图。
在本申请实施例中，采用哑编码(dummy-encoding)对第一压缩权重进行编码，得到对应的编码值。由于压缩权重往往是离散的值，经过哑编码后可以将离散的值编码为图像压缩模型能够使用的连续的值。例如，压缩权重的取值范围是[2，3，5，7]，讲过哑编码后，压缩权重2对应的编码值为000，压缩权重3对应的编码值为001，压缩权重5对应的编码值为010，压缩权重7对应的编码值为011。
得到第一压缩权重例对应的编码值后，即可利用该编码值对目标图像进行条件卷积。
示例性的，所述第一非线性编码网络可以包括K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述目标图像，所述第K个卷积层的输出特征图像是所述第一特征图。
例如，所述K个卷积层中的每个所述卷积层对输入信息的处理包括：对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；对所述编码值进行全连接(Fully-connected)运算和指数(Exp)运算，得到第一条件值和第二条件值；对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
在一个示例中，如图3所示，为本申请提供的一种卷积层的网络结构示意图，包括哑编码层、简单卷积层(如图3所示Conv层)、第一条件支路、第二条件支路以及计算层。其中，哑编码层的输入为第一压缩权重，哑编码层的输出分别进入第一条件支路和第二条件支路。简单卷积层的输入为输入特征图，简单卷积层的输出、第一条件支路的输出和第二条件支路的输出均进入计算层，最终由计算层输出输出特征图像。
在本申请实施例中，简单卷积层包括输入特征的通道数为1，输出特征的通道数为j的二位卷积核，其中，j为正整数，且大于1。
第一条件支路按照计算顺序依次包括第一全连接层、第一激活函数层、第二全连接层、第二激活函数层。即第一全连接层的输入为哑编码层的输出、第一激活函数层的输入为第一全连接层的输出、第二全连接层的输入为第一激活函数层的输出、第二激活函数层的输入为第二全连接层的输出、第二激活函数的输出为第一条件支路的输出。
其中，所述第一全连接层的输出通道数和所述第二全连接层的输出通道数不同，第二全连接层的输出通道数为j(j为大于1的整数)。激活函数用于实现特征的线性分类，在本申请中第一激活函数层和第二激活函数层均以指数函数作为激活函数。
第二条支路包括按照计算顺序依次包括第三全连接层、第三激活函数层、第四全连接层。即第三全连接层的输入为哑编码层的输出、第三激活函数层的输入为第三全连接层的输出、第四全连接层的输入为第三激活函数层的输出、第四全连接层的输出为第二条件支路的输出。
其中，所述第三全连接层的输出通道数和所述第四全连接层的输出通道数不同，第四全连接层的输出通道数为j。第三激活函数层同样以指数函数作为激活函数。
相应的，图像处理设备对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值，可以包括：
将所述编码值输入第一条件支路，对所述编码值依次进行第一全连接运算、第一指数运算、第二全连接运算以及第二指数运算，得到第一条件值，所述第一全连接运算和所述第二全连接运算的输出通道数不同。
将所述编码值输入第二条件支路，对所述编码值依次进行第三全连接运算、第三指数运算以及第四全连接运算，得到第二条件值，所述第三全连接运算和所述第四全连接运算的输出通道数不同，所述第二全连接运算和所述第四全连接运算的输出通道数相同。
示例性的，假设，第一全连接计算的输出通道数为m，
Figure BDA0002348728100000121
表示第一全连接计算的权重，
Figure BDA0002348728100000122
第二个全连接计算的权重。那么第一指数计算可以表示为：
Figure BDA0002348728100000123
其中，Sm第一指数计算的值，DummyEn(λ)表示第一压缩权重λ的编码值，exp表示数学常量e的指数函数，其指数为
Figure BDA0002348728100000124
第二指数计算可以表示为：
Figure BDA0002348728100000125
Sj表示第一条件值。
假设，第三全连接计算的输出通道数与第一全连接计算的输出通道数相同，均为m，
Figure BDA0002348728100000131
表示第三全连接计算的输出通道数，
Figure BDA0002348728100000132
表示第四全连接计算的输出通道数，那么，第三指数计算可以表示为：
Figure BDA0002348728100000133
其中，bm表示第三指数计算的值。
第四全连接计算可以表示为：
Figure BDA0002348728100000134
其中，bj表示第二条件值。
图像处理设备对所述输入特征图进行卷积处理，得到所述输入特征图的特征信息，可以包括：将特征通道数为i个输入特征图X中的每个特征通道的特征图Xc(c＝1，2，……，i)，与输入特征的通道数为i，输出特征的通道数为j的二维卷积核wi,j相乘，得到特征图Xc对应的特征信息。然后将i个特征图对应的特征信息相加得到输入特征图对应的特征信息。
图像处理设备根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出信息，可以包括：
图像处理设备所述特征信息、所述第一条件值和所述第二条件值输入计算层，将所述特征信息与所述第一条件值的乘积与所述第二条件值相加得到所述输出信息。
示例性的，图像处理设备如下公式计算得到j个输出特征：
Figure BDA0002348728100000135
其中，Yj表示第j个输出特征。
然后将j个输出特征进行组合，得到输出特征图。
方式二：在第一量化网络结合第一量化参数，实现对目标码率的控制。
具体的，在方式二中，图像处理设备将所述第一特征图输入到所述第一量化网络中量化处理，得到量化后的第二特征图，可以包括：
图像处理设备将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
示例性的，量化处理的计算公式可以为：
Y_q＝round(Y/α)，其中Y_q表示第二特征图，Y表示第一特征图，α表示第一量化参数，round表示取整计算。
相应的，当在第一量化网络中采用第一量化参数对第一特征图进行量化时，在后续的反量化网络中执行反量化时，也需使用第一量化参数进行反量化。
即图像处理设备将所述第三特征图输入到所述反量化网络中进行反量化处理，得到反量化后的第四特征图，可以包括：
图像处理设备将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
方式三、在第一非线性编码网络结合第一压缩权重，以及在第一量化网络结合第一量化参数，共同实现目标码率控制。
即方式三为方式一和方式二的结合，在方式三中，图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图。
然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
再将所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图的具体实现方式可以参见上述方式一中的描述，然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图的具体实现方式可以参见上述方式二中的描述，此处不再赘述。
参见图4，为本申请提供的另一种可能的图像压缩模型，所述图像压缩模型包括第一非线性编码网络、压缩网络和压缩参数生成网络；所述压缩网络包括第一量化网络和子压缩网络。图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，包括：
图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图.
然后将所述第一特征图输入到所述第一量化网络中进行量化，得到量化后的第二特征图。
再将所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数。
最后将所述压缩参数和所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
其中，所述压缩参数生成网络包括第二非线性编码网络和子生成网络。图像处理设备将所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数，包括：
将所述第二特征图比输入到所述第二非线性编码网络中进行非线性编码，得到第五特征图。
然后将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数。
示例性的，所述子生成网络可以包括第二量化网络、第二熵编码网络、第二非线性编码网络。图像处理设备将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数，包括：
图像处理设备将所述第五特征图输入到所述第二量化网络进行取整运算处理，得到第六特征图。
然后将所述第六特征图输入到第二熵编码网络进行压缩处理，得到第七特征图。
最后将第七特征图输入到第二非线性编码网络，得到所述压缩参数。
其中，第二熵编码网络对第二特征图的压缩处理包括：对所诉第二特侦图进行无损压缩得到二进制文件，然后将该二进制文件转化为第七特征图。
具体的，所述子压缩网络包括第一熵编码网络、反量化网络和第一解码处理网络。那么，图像处理设备将所述第二特征图和压缩参数输入到所述子压缩网络中进行压缩处理，得到所述压缩图像，包括：
图像处理设备将所述第二特征图输入和所述压缩参数输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
然后将所述第三特征图输入到所述反量化网络进行反量化，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，第一熵编码网络对第二特征图的压缩处理可以包括：利用压缩参数先对第二特征图进行无损压缩，得到第二特征图的二进制文件。然后将该二进制文件转化为第三特征图。其中，压缩参数表示第二特征图与第三特征图之间的压缩系数。压缩系数不同，第三特征图的码率就不同，进而导致得到的压缩图像的码率也不同。
第二解码网络可以包括非线性解码层或者包括非线性解码层的后处理层。若第二解码网络包括非线性解码层，第二解码网络对第七特征图进行非线性解码后即可得到压缩参数。若第二解码网络还包括后处理层，第一解码网络则对第七特征图进行非线性解码后，在进行后处理操作(例如，激活函数运算)，得到压缩参数。
针对上述如图4所示的图像压缩模型，图像处理设备利用第一压缩权重和/或第一量化参数，可以采用如下至少七种方式实现对目标码率的控制。
方式A、在第一非线性编码网络结合第一压缩权重，实现目标码率的控制。
其中，方式A中和上述方式一相同，即图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图。
具体的实现方式可以参见上述方式1中的相关描述，此处不再赘述。
方式B、在第二非线性编码网络结合第一压缩权重，对压缩参数进行调整，进而实现目标码率的控制。
具体的，在方式B中，图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，可以包括：
图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码，得到所述目标图像的第一特征图；
然后将所述第一特征图输入到所述第一量化网络中进行量化处理，得到量化后的第二特征图。
再将所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到所述第二特征图的第五特征图。
再将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数。
再将所述压缩参数和所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
在本申请实施例中，图像处理设备将所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到所述第二特征图的第五特征图的方式，和上述方式一中图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图的方式相同。
即所述第二非线性编码网络可以包括K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述第二特征图，所述第K个卷积层的输出特征图像是所述第五特征图。
例如，所述K个卷积层中的每个所述卷积层对输入信息的处理包括：对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值；对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
具体实现方式可以参见上述方式一的描述，此处不再赘述。
可以理解的是，当第一压缩权重不同时，所得到的压缩参数就不同，进而第一熵编码网络利用不同的压缩参数对第二特征图进行压缩时，得到不同码率的第三特征图，最终得到不同码率的压缩图像。
方式C、在第一非线性编码网络结合第一压缩权重，以及，在第二非线性编码网络结合第一压缩权重，实现目标码率的控制。
方式C是方式A和方式B的结合，在方式C中，图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图；
然后将所述第一特征图输入到所述第一量化网络中进行量化处理，得到量化后的第二特征图。
再将所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到所述第二特征图的第五特征图。
再将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数。
再将所述压缩参数和所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图的具体实现方式可以参见上述方式A中的相关描述，和图像处理设备所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到所述第二特征图的第五特征图的具体实现方式可以参见上述方式B中的相关描述，此处不再赘述。
方式D，在第一量化网络结合第一量化参数，实现对目标码率的控制。
方式D和方式二相同，即图像处理设备将所述第一特征图输入到所述第一量化网络中量化处理，得到量化后的第二特征图，可以包括：
图像处理设备将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
具体的实现方式可以参见上述方式二中的相关描述，此处不再赘述。
相应的，当在第一量化网络中采用第一量化参数对第一特征图进行量化时，在后续的反量化网络中执行反量化时，也需使用第一量化参数进行反量化。
即图像处理设备将所述第三特征图输入到所述反量化网络中进行反量化处理，得到反量化后的第四特征图，可以包括：
图像处理设备将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
方式E，在第一非线性编码网络结合第一压缩权重，以及在第一量化网络结合第一量化参数，实现目标码率控制。
方式E和方式三类似，不同的是方式E增加了压缩参数生成网络。即图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图。
然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
再将所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数。
再将所述压缩参数和所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，图像处理设备将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图的具体实现方式，和将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图的具体实现方式可以参见方式三中的相关描述，此处不再赘述。
方式F，在第一量化网络结合第一量化参数，在第二非线性网络结合第一压缩权重，实现目标码率的控制。
方式F为方式B和方式D的结合。即图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，可以包括：
图像处理设备将所述目标图像输入到所述第一非线性编码网络中进行非线性编码，得到所述目标图像的第一特征图。
然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
再将所述第二特征图输入和所述第一压缩权重输入到第二非线性编码网络，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图。
再将所述第五特征图输入到子生成网络中进行压缩处理，得到所述压缩参数。
再将所述压缩参数和所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图的具体过程可以参见上述方式D中的相关描述。将所述第二特征图输入和所述第一压缩权重输入到第二非线性编码网络，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图的具体实现方式可以参见方式B中的相关描述，此处不再赘述。
方式G，在第一非线性编码网络结合第一压缩权重、在第一量化网络结合第一量化参数，以及在第二非线性网络结合第一压缩权重，共同实现目标码率的控制。
方式G是方式A、方式B、方式D的结合。即图像处理设备将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像，可以包括：
图像处理设备将所述目标图像和所述第一压缩权重输入到第一非线性编码网络，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述第一特征图像。
然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图。
再将所述第二特征图输入和所述第一压缩权重输入到第二非线性编码网络，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图。
再将所述第五特征图输入到子生成网络中进行压缩处理，得到所述压缩参数。
再将所述压缩参数和所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图。
接着将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图。
最后将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
其中，图像处理设备将所述目标图像和所述第一压缩权重输入到第一非线性编码网络，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述第一特征图像的具体实现方式可以参见上述方式A中的相关描述。然后将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图的具体实现方式可以参见上述方式D中的相关描述。将所述第二特征图输入和所述第一压缩权重输入到第二非线性编码网络，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图的具体实现方式可以参见上述方式B中的相关描述。
以上结合两种网络架构介绍了十种根据第一码率参数获得码率为目标码率的压缩图像的方式。可以理解的是，在上述十种方式中，无论是压缩权重、由压缩权重决定的压缩参数或者是量化系数，均能够影响最终压缩图像的码率。本申请中通过预先确定码率参数与码率之间的对应关系，从而在利用与目标码率对应的第一码率参数对目标图像进行压缩时，即可得到码率为目标码率的压缩图像。
参见图5，为本申请的另一个实施例的一种图像压缩方法的示意流程图。主要涉及在执行如图1所示的图像压缩过程之前，获得图像压缩模型的过程。
该方法包括：
S501，根据预设的码率参数集合生成第二码率参数。
假设，训练设备(可以是图像处理设备或者其他设备)中预设有码率参数集合，包括压缩权重和/或量化参数，每个码率参数均代表一种码率。训练设备在每次对一个图像样本训练之前，可以根据码率参数集合随机选择第二码率参数进行训练，也可以按照码率参数集合中各个码率参数的排列顺序依次选择。
S502，将训练样本集合中的图像样本和所述第二码率参数输入初始图像压缩模型中处理，得到输出图像。
可以理解的是，初始图像压缩模型在训练过程中对应的网络结构，与在应用过程(压缩图像)中所对应的网络结构相同。例如，网络结构可以如图2所示，或者如图4所示。
相应的，将训练样本集合中的图像样本和第二码率参数输入初始图像压缩模型中处理，得到输出图像的过程，与上述步骤S102中将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像的过程类似。具体可以参见上述十种方式。此处不在赘述。
S503，计算所述图像样本和输出图像之间的第一损失值。
示例性的，训练设备可以先根据预设的第一损失函数计算所述图像样本和输出图像之间的第二损失值。
其中，第一损失函数可以是L1范数损失函数、均方误差(mean-square erro，MSE)和多尺度结构相似性(multi-scale structural similarity，MS-SSIM)损失函数等中的一个或多个的组合。
然后利用预设的第一损失函数计算熵编码网络的损失值。其中，第一损失函数可以是对数函数。当初始图像压缩模型为图2所示的网络结构时，编码网络的损失值包括第一熵编码网络的损失值，即利用预设的第一损失函数计算得到第二特征图与第三特征图之间的损失值。当初始图像压缩模型为图4所示的网络结构时，编码网络的损失值包括第一熵编码网络的损失值和第二熵编码网络的损失值，即利用预设的第一损失函数计算得到第二特征图与第三特征图之间的损失值，以及利用预设的第一损失函数计算得到第五特征图与第六特征图之间的损失值。
最后根据所述第二损失值、所述熵编码网络的损失值和所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重，计算所述第一损失值。
其中，若第二码率参数包括压缩权重，则所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重为第二码率参数中的压缩权重；若第二码率参数不包括压缩权重，则所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重为固定压缩权重。
在一个示例中，训练设备可以将所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重与所述第二损失值相乘，并加上所述熵编码网络的损失值，得到所述第二损失值。
例如，losem表示第一损失值，λ表示压缩权重，lose1表示第一熵编码网络的损失值，lose2表示第二熵编码网络的损失值。当初始图像压缩模型为图2所示的网络结构时，第二损失值lose可以表示为：
lose＝λ*losem+lose1
当初始图像压缩模型为图3所示的网络结构时，第二损失值lose可以表示为：
lose＝λ*losem+lose1+lose2
在得到图像样本和输出图像之间的第一损失值后，判断第一损失值是否满足预设条件。当第一损失值不满足预设条件时，执行S504；当第一损失值满足预设条件时，执行S505。
其中，预设条件为当前得到的第一损失值与前几次训练得到的第一损失值之间的误差小于或者等于预设阈值，即判断第一损失值的变化是否趋于平滑。
S504，当所述第一损失值不满足预设条件时，调整所述初始图像压缩模型的模型参数，并返回执行所述随机生成第二码率参数并将图像样本和所述第二码率参数输入到所述初始图像压缩模型中处理，得到输出图像的步骤。
例如，当执行训练设备在确认当前的第一损失值与前几次训练过程得到的第一损失值的误差大于预设阈值，判定当前的初始图像压缩模型准确度还未达到要求。此时，需要调整初始图像压缩模型的模型参数，之后返回S501，继续执行S501至S503，直到在S503中确定的第一损失值与前几次训练过程中得到的第一损失值的误差小于或者等于预设阈值。
S505，当所述第一损失值满足所述预设条件时，停止训练所述初始图像压缩模型，并将训练后的所述初始图像压缩模型作为所述图像压缩模型。
那么，当训练设备在确认当前的第一损失值与前几次训练过程中得到的第一损失值的差值小于或者等于预设阈值时，判定当前的初始图像压缩模型的训练符合预期要求，停止训练初始图像压缩模型。
此时调整模型参数后的初始图像压缩模型经过了大量的样本训练，且其损失值保持在一个较小的范围内，使用该初始图像压缩模型对图像进行压缩，可以获得较准确的压缩图像。因此，可以确定停止训练时(即最后一次训练完成后)的初始图像压缩模型作为图像压缩模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
请参见图6，图6是本申请实施例提供的图像压缩装置的示意图。包括的各单元用于执行图1和图5对应的实施例中的各步骤，具体请参阅图1和图5各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，图像压缩装置6包括：
获取单元601，用于获取目标图像和所述目标图像对应的目标码率；
确定单元602，用于确定与所述目标码率对应的第一码率参数；
压缩单元603，用于将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。
可选的，所述图像压缩装置6还包括训练单元604：所述训练单元604，用于在所述压缩单元603将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像之前，根据预设的码率参数集合生成第二码率参数；将训练样本集合中的图像样本和所述第二码率参数输入初始图像压缩模型中处理，得到输出图像；其中，所述训练样本集合包括多个图像样本；计算所述图像样本和输出图像之间的第一损失值；当所述第一损失值不满足预设条件时，调整所述初始图像压缩模型的模型参数，并返回执行所述随机生成第二码率参数并将图像样本和所述第二码率参数输入到所述初始图像压缩模型中处理，得到输出图像的步骤；当所述第一损失值满足所述预设条件时，停止训练所述初始图像压缩模型，并将训练后的所述初始图像压缩模型作为所述图像压缩模型。
图7是本申请实施例提供的图像处理设备的示意图。如图7所示，该实施例的图像处理设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如语音识别程序。处理器70执行所述计算机程序72时实现上述各个图像压缩方法实施例中的步骤，例如图1所示的步骤71至73。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块601-604的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述图像处理设备7中的执行过程。例如，所述计算机程序72可以被分割成获取单元、转换单元、识别单元，各单元具体功能请参阅图5对应地实施例中地相关描述，此处不赘述。
所述图像处理设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像处理设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是语音识别备7的示例，并不构成对图像处理设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像处理设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述图像处理设备7的内部存储单元，例如图像处理设备7的硬盘或内存。所述存储器71也可以是所述图像处理设备7的外部存储设备，例如所述图像处理设备7上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述图像处理设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述图像处理设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述图像压缩方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在图像处理设备上运行时，使得图像处理设备执行时实现可实现上述图像压缩方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像压缩方法，其特征在于，所述方法包括：
获取目标图像和所述目标图像对应的目标码率；
确定与所述目标码率对应的第一码率参数；
将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。
2.根据权利要求1所述的方法，其特征在于，所述第一码率参数包括第一压缩权重；所述图像压缩模型包括第一非线性编码网络和压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：
将所述目标图像和所述第一压缩权重输入到所述第一非线性编码网络中，由所述第一非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述目标图像进行条件卷积，得到所述目标图像的第一特征图；
将所述第一特征图输入到所述压缩网络进行压缩处理，得到所述压缩图像。
3.根据权利要求2所述的方法，其特征在于，所述第一非线性编码网络包括K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述目标图像，所述第K个卷积层的输出特征图像是所述第一特征图；所述K个卷积层中的每个所述卷积层对输入信息的处理包括：
对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；
对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值；
对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；
根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值，包括：
对所述编码值依次进行第一全连接运算、第一指数运算、第二全连接运算以及第二指数运算，得到第一条件值，所述第一全连接运算和所述第二全连接运算的输出通道数不同；
对所述编码值依次进行第三全连接运算、第三指数运算以及第四全连接运算，得到第二条件值，所述第三全连接运算和所述第四全连接运算的输出通道数不同，所述第二全连接运算和所述第四全连接运算的输出通道数相同。
5.根据权利要求3所述的方法，其特征在于，所述根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出信息，包括：
将所述特征信息与所述第一条件值的乘积与所述第二条件值相加得到所述输出信息。
6.根据权利要求1所述的方法，其特征在于，所述第一码率参数包括第一量化参数，所述图像压缩模型包括第一非线性编码网络和压缩网络，所述压缩网络包括第一量化网络和子压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：
将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图；
将所述第一特征图和所述第一量化参数输入到所述第一量化网络中进行相除和取整处理，得到量化后的第二特征图；
将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
7.根据权利要求6所述的方法，其特征在于，所述子压缩网络包括第一熵编码网络、反量化网络和第一解码处理网络；所述将所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像，包括：
将所述第二特征图输入到所述第一熵编码网络中进行压缩处理，得到第三特征图；
将所述第三特征图和所述第一量化参数输入到所述反量化网络中相乘，得到反量化后的第四特征图；
将所述第四特征图输入到所述第一解码处理网络中进行解码处理，得到所述压缩图像。
8.根据权利要求1所述的方法，其特征在于，所述第一码率参数包括第一压缩权重；所述图像压缩模型包括第一非线性编码网络、压缩网络和压缩参数生成网络；所述压缩网络包括第一量化网络和子压缩网络；所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像包括：
将所述目标图像输入到所述第一非线性编码网络中进行非线性编码处理，得到第一特征图；
将所述第一特征图输入到所述第一量化网络中进行量化，得到量化后的第二特征图；
将所述第一压缩权重和所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数；
将所述压缩参数和所述第二特征图输入到所述子压缩网络中进行压缩处理，得到所述压缩图像。
9.根据权利要求8所述的方法，其特征在于，所述压缩参数生成网络包括第二非线性编码网络和子生成网络；所述将所述第一压缩权重和所述第二特征图输入到所述压缩参数生成网络中进行数据处理，得到压缩参数，包括：
将所述第二特征图和所述第一压缩权重输入到所述第二非线性编码网络中，由所述第二非线性编码网络对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值，并利用所述编码值对所述第二特征图进行条件卷积，得到第五特征图；
将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数。
10.根据权利要求9所述的方法，其特征在于，K个卷积层，K为大于等于1的整数；所述K个卷积层中的每个所述卷积层的输入信息包括输入特征图像和所述第一压缩权重，且前一个卷积层的输出特征图像是后一个卷积层的输入特征图像，所述第1个卷积层的输入特征图像为所述第二特征图，所述第K个卷积层的输出特征图像是所述第五特征图；所述K个卷积层中的每个所述卷积层对输入信息的处理包括：
对所述第一压缩权重例进行哑编码，得到与所述第一压缩权重例对应的编码值；
对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值；
对所述输入特征图像进行卷积处理，得到所述输入特征图像的特征信息；
根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出特征图像。
11.根据权利要求10所述的方法，其特征在于，所述对所述编码值进行全连接运算和指数运算，得到第一条件值和第二条件值，包括：
对所述编码值依次进行第一全连接运算、第一指数运算、第二全连接运算以及第二指数运算，得到第一条件值，所述第一全连接运算和所述第二全连接运算的输出通道数不同；
对所述编码值依次进行第三全连接运算、第三指数运算以及第四全连接运算，得到第二条件值，所述第三全连接运算和所述第四全连接运算的输出通道数不同，所述第二全连接运算和所述第四全连接运算的输出通道数相同。
12.根据权利要求10所述的方法，其特征在于，所述根据所述特征信息、所述第一条件值和所述第二条件值得到所述卷积层的输出信息，包括：
将所述特征信息与所述第一条件值的乘积与所述第二条件值相加得到所述输出信息。
13.根据权利要求11所述的方法，其特征在于，所述子生成网络包括第二量化网络、第二熵编码网络和第二解码处理网络；所述将所述第五特征图输入到所述子生成网络中进行数据处理，得到所述压缩参数，包括：
将所述第五特征图输入到所述第二量化网络中进行取整处理，得到量化后的第六特征图；
将所述第六特征图输入到所述第二熵编码网络中进行压缩处理，得到第七特征图；
将所述第七特征图输入到所述第二解码处理网络中进行解码处理，得到所述压缩参数。
14.根据权利要求1所述的方法，其特征在于，所述将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像之前，所述方法还包括：
根据预设的码率参数集合生成第二码率参数；
将训练样本集合中的图像样本和所述第二码率参数输入初始图像压缩模型中处理，得到输出图像；其中，所述训练样本集合包括多个图像样本；
计算所述图像样本和输出图像之间的第一损失值；
当所述第一损失值不满足预设条件时，调整所述初始图像压缩模型的模型参数，并返回执行所述随机生成第二码率参数并将图像样本和所述第二码率参数输入到所述初始图像压缩模型中处理，得到输出图像的步骤；
当所述第一损失值满足所述预设条件时，停止训练所述初始图像压缩模型，并将训练后的所述初始图像压缩模型作为所述图像压缩模型。
15.根据权利要求14所述的方法，其特征在于，所述计算所述图像样本和输出图像之间的第一损失值，包括：
计算所述图像样本和输出图像之间的第二损失值；
计算熵编码网络的损失值；
根据所述第二损失值、所述熵编码网络的损失值和所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重，计算所述第一损失值。
16.根据权利要求15所述的方法，其特征在于，所述根据所述第二损失值、熵编码网络的损失值和所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重，计算所述第一损失值，包括：
将所述初始图像压缩模型中获取所述输出图像时所采用的压缩权重与所述第二损失值相乘，并加上所述熵编码网络的损失值，得到所述第二损失值。
17.一种图像压缩装置，其特征在于，包括：
获取单元，用于获取目标图像和所述目标图像对应的目标码率；
确定单元，用于确定与所述目标码率对应的第一码率参数；
压缩单元，用于将所述目标图像和所述第一码率参数输入到已训练的图像压缩模型中处理，得到码率为所述目标码率的压缩图像；其中，所述图像压缩模型是基于包含所述第一码率参数在内的多个码率参数训练所得。
18.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至16任一项所述的方法。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述的方法。
CN201911406329.7A 2019-12-31 2019-12-31 一种图像压缩方法及装置 Active CN113132723B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911406329.7A CN113132723B (zh) 2019-12-31 2019-12-31 一种图像压缩方法及装置
EP20910964.4A EP4087239A4 (en) 2019-12-31 2020-11-20 IMAGE COMPRESSION METHOD AND APPARATUS
PCT/CN2020/130576 WO2021135715A1 (zh) 2019-12-31 2020-11-20 一种图像压缩方法及装置
US17/853,178 US20220329807A1 (en) 2019-12-31 2022-06-29 Image compression method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911406329.7A CN113132723B (zh) 2019-12-31 2019-12-31 一种图像压缩方法及装置

Publications (2)

Publication Number Publication Date
CN113132723A true CN113132723A (zh) 2021-07-16
CN113132723B CN113132723B (zh) 2023-11-14

Family

ID=76687292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911406329.7A Active CN113132723B (zh) 2019-12-31 2019-12-31 一种图像压缩方法及装置

Country Status (4)

Country Link
US (1) US20220329807A1 (zh)
EP (1) EP4087239A4 (zh)
CN (1) CN113132723B (zh)
WO (1) WO2021135715A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228606A (zh) * 2023-05-09 2023-06-06 南京茂聚智能科技有限公司 一种基于大数据的图像优化处理系统
WO2023169319A1 (zh) * 2022-03-10 2023-09-14 华为技术有限公司 一种特征图编码、特征图解码方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095328A (zh) * 2021-11-02 2023-05-09 深圳市中兴微电子技术有限公司 视频编码方法、模型训练方法、设备和存储介质
CN114630125B (zh) * 2022-03-23 2023-10-27 徐州百事利电动车业有限公司 基于人工智能与大数据的车辆图像压缩方法与系统
WO2024008815A2 (en) * 2022-07-05 2024-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Generating encoded video data and decoded video data
CN116614637B (zh) * 2023-07-19 2023-09-12 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101653007A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 控制压缩数据量
US20110235715A1 (en) * 2010-03-29 2011-09-29 Vatics Inc. Video coding system and circuit emphasizing visual perception
CN106658005A (zh) * 2016-12-30 2017-05-10 上海聚力传媒技术有限公司 视频编码方法和装置
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
US20180046915A1 (en) * 2016-08-12 2018-02-15 Beijing Deephi Intelligence Technology Co., Ltd. Compression of deep neural networks with proper use of mask
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN110198444A (zh) * 2019-04-16 2019-09-03 浙江大华技术股份有限公司 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
US10721471B2 (en) * 2017-10-26 2020-07-21 Intel Corporation Deep learning based quantization parameter estimation for video encoding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101653007A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 控制压缩数据量
US20110235715A1 (en) * 2010-03-29 2011-09-29 Vatics Inc. Video coding system and circuit emphasizing visual perception
US20180046915A1 (en) * 2016-08-12 2018-02-15 Beijing Deephi Intelligence Technology Co., Ltd. Compression of deep neural networks with proper use of mask
CN106658005A (zh) * 2016-12-30 2017-05-10 上海聚力传媒技术有限公司 视频编码方法和装置
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN110198444A (zh) * 2019-04-16 2019-09-03 浙江大华技术股份有限公司 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169319A1 (zh) * 2022-03-10 2023-09-14 华为技术有限公司 一种特征图编码、特征图解码方法及装置
CN116228606A (zh) * 2023-05-09 2023-06-06 南京茂聚智能科技有限公司 一种基于大数据的图像优化处理系统

Also Published As

Publication number Publication date
US20220329807A1 (en) 2022-10-13
EP4087239A1 (en) 2022-11-09
WO2021135715A1 (zh) 2021-07-08
CN113132723B (zh) 2023-11-14
EP4087239A4 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
CN113132723B (zh) 一种图像压缩方法及装置
CN110363279B (zh) 基于卷积神经网络模型的图像处理方法和装置
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
CN110610237A (zh) 模型的量化训练方法、装置及存储介质
CN112149797B (zh) 神经网络结构优化方法和装置、电子设备
CN111818346A (zh) 图像编码方法和装置、图像解码方法和装置
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
US20090116549A1 (en) Methods for selecting a prediction mode
US20220215595A1 (en) Systems and methods for image compression at multiple, different bitrates
CN110753225A (zh) 一种视频压缩方法、装置及终端设备
CN114698395A (zh) 神经网络模型的量化方法和装置、数据处理的方法和装置
CN114418121A (zh) 模型训练方法、对象处理方法及装置、电子设备、介质
CN114071141A (zh) 一种图像处理方法及其设备
CN116992946B (zh) 模型压缩方法、装置、存储介质和程序产品
WO2021057926A1 (zh) 一种神经网络模型训练方法及装置
CN113780523A (zh) 图像处理方法、装置、终端设备及存储介质
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN115983349A (zh) 卷积神经网络的量化方法及装置、电子设备和存储介质
CN116090543A (zh) 模型压缩方法及装置、计算机可读介质和电子设备
CN113554719B (zh) 一种图像编码方法、解码方法、存储介质及终端设备
CN111916049B (zh) 一种语音合成方法及装置
CN114841325A (zh) 神经网络模型的数据处理方法、介质及电子设备
CN116472538A (zh) 用于量化神经网络的方法和系统
CN114077885A (zh) 基于张量分解的模型压缩方法、装置和服务器
US10340946B2 (en) Encoders, decoders, and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant