CN113313774A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113313774A CN113313774A CN202010120792.1A CN202010120792A CN113313774A CN 113313774 A CN113313774 A CN 113313774A CN 202010120792 A CN202010120792 A CN 202010120792A CN 113313774 A CN113313774 A CN 113313774A
- Authority
- CN
- China
- Prior art keywords
- image
- instruction
- parameter
- processing
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本申请实施例涉及人工智能领域计算机视觉技术领域的图像处理技术领域，提供一种图像处理方法、装置、电子设备及存储介质，设置包含多个预设策略的预处理环节，编码时从多个预设策略中选择目标策略对原始图像做预处理，再对得到的待压缩图像做压缩，选择的目标策略不同，得到的压缩数据的码率也会不同，从而达到一个压缩模型对应多个码率的目的，并采用深度学习图像压缩框架做压缩，提高了压缩性能。同时，设置预处理的反向处理环节，解码时先对压缩数据做解压缩，再采用目标策略的反向策略对得到的还原图像做预处理的反向处理，使得重建图像的视觉质量基本不变。因此，本申请实施例能够在保证压缩效果的同时，实现一个压缩模型对应多个码率。
Description
技术领域
本申请实施例涉及人工智能领域计算机视觉技术领域的图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像压缩对于数据存储和传输具有极为重要的意义，未经压缩的图像会占用庞大的存储空间，同时会给传输带来巨大压力。而图像之所以能被压缩，是因为图像中存在冗余信息，冗余信息主要包括：图像中相邻像素间的相关性引起的空间冗余、不同彩色平面或频谱带的相关性引起的频谱冗余等，图像压缩的目的就是通过去除这些冗余信息，来减少表示图像所需的比特数。
在实际应用中，除了对压缩效果有要求，需要保证图片视觉质量基本不变外，不同的应用场合要求的码率可能也不同，码率是指每秒显示的图片压缩后的数据量，因此，如何在保证压缩效果的同时实现一个压缩模型对应多个码率，是研究人员需要解决的问题。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用以解决如何在保证压缩效果的同时实现一个压缩模型对应多个码率的问题。
第一方面，本申请实施例提供一种图像处理方法，所述图像处理方法包括：获取原始图像；响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像；利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据，其中，所述压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，所述还原图像用于基于所述目标策略的反向策略进行所述预处理的反向处理得到与所述原始图像对应的重建图像。
本申请实施例提供的图像处理方法，首先设置了预处理环节，包含多个预设策略，压缩时，从多个预设策略中选择目标策略对原始图像做预处理，再对得到的待压缩图像做压缩，选择的目标策略不同，得到的压缩数据的码率也会不同，从而达到一个压缩模型对应多个码率的目的；其次，采用深度学习图像压缩框架做压缩，提高了压缩性能；同时，压缩数据用于解压缩时，先采用深度学习图像解压缩框架对压缩数据做解压缩，再采用目标策略的反向策略对得到的还原图像做预处理的反向处理，使得重建图像的视觉质量基本不变。因此，本申请实施例能够在保证压缩效果的同时，实现一个压缩模型对应多个码率。
可选地，所述目标策略包括第一指令和与所述第一指令对应的第一参数；所述按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像的步骤，包括：按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像。
本申请实施例中，采用不同的第一指令和第一参数对原始图像做预处理，对应压缩数据的码率不同。
可选地，所述第一指令包括全局缩放指令，所述第一参数包括全局缩放系数和缩放核；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述全局缩放指令、全局缩放系数和缩放核，对所述原始图像进行全局缩放，得到所述待压缩图像。
本申请实施例中，当第一指令为全局缩放指令时，采用不同的全局缩放系数对原始图像进行全局缩放，对应压缩数据的码率不同。全局缩放系数越小，压缩数据的码率也越小。
可选地，所述第一指令包括自适应缩放指令，所述第一参数包括分块参数；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述分块参数对所述原始图像进行划分，得到多个图像块；按照所述自适应缩放指令和每个所述图像块的图像特征，对每个所述图像块均进行自适应缩放，得到每个所述图像块对应的待压缩图像块，其中，所述待压缩图像包括多个待压缩图像块，所述图像特征用于确定所述图像块的缩放系数。
本申请实施例中，自适应缩放指令，是指对原始图像做自适应缩放的方法。对原始图像做自适应缩放，是指基于原始图像的图像特征(例如，颜色特征、纹理特征、形状特征等)，对图像特征不同的区域进行不同程度的缩放，例如，背景区域多缩放一些，前景区域少缩放一些。
对每个图像块均进行自适应缩放，是指按照每个图像块对应的图像特征，确定每个图像块的缩放系数，再按照各自的缩放系数进行分块缩小或分块放大。图像特征越多的图像块，缩放系数越大；图像特征越少的图像块，缩放系数越小。也就是，平滑的图像块多缩放一些，不平滑的图像块少缩放一些。
当第一指令为自适应缩放指令时，为了保证压缩性能，图像特征越多的图像块，缩放系数越大，图像特征越少的图像块，缩放系数越小。通过调整分块参数，即可实现一个压缩模型对应多个码率的目的。
可选地，所述第一指令包括模糊处理指令，所述第一参数包括模糊核；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述模糊处理指令和所述模糊核，对所述原始图像进行模糊处理，得到所述待压缩图像。
本申请实施例中，当第一指令为模糊处理指令时，通过调整模糊核，可以实现不同码率的压缩。模糊核尺度越大，压缩数据的码率越小。
可选地，所述第一指令包括图像退化指令，所述第一参数包括图像退化参数；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述图像退化指令和所述图像退化参数，对所述原始图像进行图像退化，得到所述待压缩图像。
本申请实施例中，当第一指令为图像退化指令时，通过调整图像退化参数，可以实现不同码率的压缩。图像退化参数越大，压缩数据的码率越小。
可选地，所述第一指令包括图像分离指令和第一后阶段处理指令，所述第一参数包括与所述图像分离指令对应的图像分离参数和与所述第一后阶段处理指令对应的第一后阶段处理参数；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述图像分离指令和所述图像分离参数，对所述原始图像进行图像分离，得到边缘图像和纹理图像；按照所述第一后阶段处理指令和所述第一后阶段处理参数，对所述边缘图像和所述纹理图像均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到待压缩边缘图像和待压缩纹理图像，其中，所述待压缩图像包括所述待压缩边缘图像和所述待压缩纹理图像。
本申请实施例中，当第一指令为图像分离指令和第一后阶段处理指令时，通过调整图像分离参数和第一后阶段处理参数，可以实现不同码率的压缩。
可选地，所述第一指令包括图像分割指令和第二后阶段处理指令，所述第一参数包括与所述图像分割指令对应的分割类别和与所述第二后阶段处理指令对应的第二后阶段处理参数；所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：按照所述图像分割指令和所述分割类别，对所述原始图像进行图像分割，得到多个图像区域；按照所述第二后阶段处理指令和所述第二后阶段处理参数，对所述多个图像区域均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到每个所述图像区域对应的待压缩图像区域，其中，所述待压缩图像包括多个待压缩图像区域。
本申请实施例中，当第一指令为图像分割指令和第二后阶段处理指令时，通过调整分割类别和第二后阶段处理参数，可以实现不同码率的压缩。
可选地，所述深度学习图像压缩框架包括第一深度神经网络、量化模型和熵编码模型；所述利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到压缩数据的步骤，包括：利用所述第一深度神经网络对所述待压缩图像进行特征提取，得到浮点数图像特征；利用所述量化模型对所述浮点数图像特征进行量化，得到压缩特征；利用所述熵编码模型对所述压缩特征进行熵编码，得到所述压缩数据。
第二方面，本申请实施例还提供一种图像处理方法，所述图像处理方法包括：获得压缩数据，其中，所述压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，所述待压缩图像为按照目标策略对原始图像进行预处理得到，所述目标策略是响应对所述原始图像的操作从多个预设策略中确定出的，至少两个所述预设策略对应的所述压缩数据的码率不同；利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；获得所述目标策略对应的反向策略；按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
可选地，所述获得所述目标策略对应的反向策略的步骤，包括：获得所述目标策略，所述目标策略包括第一指令和与所述第一指令对应的第一参数；依据所述第一指令及预设的指令对应关系确定第二指令；依据所述第一参数及预设的参数计算规则确定第二参数，其中，所述反向策略包括所述第二指令和与所述第二指令对应的所述第二参数。
可选地，所述按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
可选地，所述第一指令包括全局缩放指令，所述第一参数包括全局缩放系数和缩放核；所述第二指令包括全局缩放指令，所述第二参数包括全局缩放系数的倒数和缩放核；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述全局缩放指令、全局缩放系数的倒数和缩放核，对所述还原图像进行全局缩放，得到所述重建图像。
可选地，所述第一指令包括自适应缩放指令，所述第一参数包括分块参数；所述第二指令包括自适应缩放指令，所述第二参数包括所述分块参数关联的拼接参数；所述还原图像包括多个还原图像块；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述自适应缩放指令和每个所述还原图像块的图像特征，对每个所述还原图像块均进行自适应缩放，得到每个所述还原图像块对应的待重建图像块，其中，所述图像特征用于确定所述还原图像块的缩放系数；按照所述拼接参数对多个待重建图像块进行拼接，得到所述重建图像。
可选地，所述第一指令包括模糊处理指令，所述第一参数包括模糊核；所述第二指令包括去模糊处理指令，所述第二参数包括所述模糊核对应的去模糊核；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述去模糊处理指令和所述去模糊核，对所述还原图像进行去模糊处理，得到所述重建图像。
可选地，所述第一指令包括图像退化指令，所述第一参数包括图像退化参数；所述第二指令包括图像增强指令，所述第二参数包括图像增强参数；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述图像增强指令和所述图像增强参数，对所述还原图像进行所述图像增强，得到所述重建图像。
可选地，所述第一指令包括图像分离指令和第一后阶段处理指令，所述第一参数包括与所述图像分离指令对应的图像分离参数和与所述第一后阶段处理指令对应的第一后阶段处理参数；所述第二指令包括所述图像分离指令的反向指令和所述第一后阶段处理指令的反向指令，所述第二参数包括与所述图像分离指令的反向指令对应的所述图像分离参数的反向参数和与所述第一后阶段处理指令的反向指令对应的所述第一后阶段处理参数的反向参数；所述还原图像包括还原边缘图像和还原纹理图像；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述第一后阶段处理指令的反向指令和所述第一后阶段处理参数的反向参数，对所述还原边缘图像和所述还原纹理图像均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到待重建边缘图像和待重建纹理图像；按照所述图像分离指令的反向指令和所述图像分离参数的反向参数，对所述待重建边缘图像和所述待重建纹理图像进行图像融合，得到所述重建图像。
可选地，所述第一指令包括图像分割指令和第二后阶段处理指令，所述第一参数包括与所述图像分割指令对应的分割类别和与所述第二后阶段处理指令对应的第二后阶段处理参数；所述第二指令包括所述图像分割指令的反向指令和所述第二后阶段处理指令的反向指令，所述第二参数包括与所述第二后阶段处理指令的反向指令对应的所述第二后阶段处理参数的反向参数；所述还原图像包括多个还原图像区域及每个所述还原图像区域的位置坐标；所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：按照所述第二后阶段处理指令的反向指令和所述第二后阶段处理参数的反向参数，对每个所述还原图像区域均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到每个所述还原图像区域对应的待重建图像区域；按照所述图像分割指令的反向指令和每个所述还原图像区域的位置坐标，对多个待重建图像区域进行拼接，得到所述重建图像。
可选地，所述深度学习图像解压缩框架包括第二深度神经网络、反量化模型和熵解码模型；所述利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像的步骤，包括：利用所述熵解码模型对所述压缩数据进行熵解码，得到压缩特征；利用所述反量化模型对所述压缩特征进行反量化，得到浮点数图像特征；利用所述第二深度神经网络对所述浮点数图像特征进行还原，得到所述还原图像。
可选地，所述图像处理方法还包括：利用超分辨率算法、去模糊算法、去雾算法以及去噪算法中的至少一种对所述重建图像进行处理，以改善所述重建图像的视觉效果。
第三方面，本申请实施例还提供一种图像处理方法，所述图像处理方法包括：获取原始图像；响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像；利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据；利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；获得所述目标策略对应的反向策略；按照反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
第四方面，本申请实施例还提供一种图像处理装置，所述图像处理装置包括：图像获取模块，用于获取原始图像；响应模块，用于响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；预处理模块，用于按照预设策略，对所述原始图像进行预处理，得到待压缩图像；压缩模块，用于利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据，其中，所述压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，所述还原图像用于基于所述预设策略的反向策略进行所述预处理的反向处理得到与所述原始图像对应的重建图像。
第五方面，本申请实施例还提供一种图像处理装置，所述图像处理装置包括：序列获得模块，用于获得压缩数据，其中，所述压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，所述待压缩图像为按照目标策略对原始图像进行预处理得到，所述目标策略是响应对所述原始图像的操作从多个预设策略中确定出的，至少两个所述预设策略对应的所述压缩数据的码率不同；解压缩模块，用于利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；反向策略获得模块，用于获得所述目标策略对应的反向策略；后处理模块，用于按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
第六方面，本申请实施例还提供一种图像处理装置，所述图像处理装置包括：图像获取模块，用于获取原始图像；响应模块，用于响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；预处理模块，用于按照预设策略，对所述原始图像进行预处理，得到待压缩图像；压缩模块，用于利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据；解压缩模块，利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；反向策略获得模块，用于获得所述目标策略对应的反向策略；后处理模块，用于按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
第七方面，本申请实施例还提供一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面或者第二方面或者第三方面的图像处理方法。
第八方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面或者第二方面或者第三方面的图像处理方法。
第九方面，本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行第一方面或者第二方面或者第三方面的图像处理方法。
第十方面，本申请实施例还提供一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现第一方面或者第二方面或者第三方面的图像处理方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
上述第二方面至第十方面及其实现方式的有益效果可以参考对第一方面的方法及其实现方式的有益效果的描述。
附图说明
图1为现有技术提供的一种JPEG图像压缩框架的示意图。
图2为现有技术提供的一种基于Auto-encoder的图像压缩框架的示意图。
图3为现有技术提供的一种基于RNN的图像压缩框架的示意图。
图4为本申请实施例提供的图像处理方法的一种整体流程示意图。
图5为本申请实施例提供的一种图像处理方法的流程示意图。
图6为图5提供的图像处理方法中步骤S103的流程示意图。
图7为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图8为本申请实施例提供的图像处理方法对应的压缩曲线示例图。
图9为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图10为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图11为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图12为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图13为本申请实施例提供的图像处理方法的另一种整体流程示意图。
图14为图5提供的图像处理方法中步骤S104的流程示意图。
图15为本申请实施例提供的另一种图像处理方法的流程示意图。
图16为图15提供的图像处理方法中步骤S202的流程示意图。
图17为图15提供的图像处理方法中步骤S203的流程示意图。
图18为图15提供的图像处理方法中步骤S204的流程示意图。
图19为本申请实施例提供的图像处理方法的另一种流程示意图。
图20为本申请实施例提供的图像处理方法的另一种流程示意图。
图21为本申请实施例提供的图像处理方法的一种应用示意图。
图22为本申请实施例提供的图像处理方法的另一种应用示意图。
图23为本申请实施例提供的图像处理方法的另一种应用示意图。
图24为本申请实施例提供的图像处理装置的一种组成示意图。
图25为本申请实施例提供的图像处理装置的另一种组成示意图。
图26为本申请实施例提供的图像处理装置的另一种组成示意图。
图27为本申请实施例提供的电子设备的组成示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。
图像压缩主要分为有损压缩和无损压缩两大类，无损压缩，主要用在对图像细节要求很精确的场景，如认证签名图像处理、档案图像处理和部分医疗图像处理等。有损压缩利用人眼对于高频信号不敏感的特性，在变换编码中对高频分量粗量化，同时可以利用周围的像素值预测当前像素值，这样大大减少了需要编码的数据量，本申请描述的图像压缩均为有损压缩。
传统的图像压缩方法有JPEG、JPEG2000、BPG等，下面以JPEG压缩为例，对传统的图像压缩方法进行介绍。
请参照图1，图1示出的是JPEG图像压缩框架的示意图，该压缩框架包括编码过程和解码过程两部分。其中，编码过程包括：首先，原始图像(例如，RGB三通道图像)经离散余弦变换(Discrete Cosine Transform，DCT)，将图像特征转换到频域空间，使图像中对于图像质量影响明显的低频信息与高频信息分开，降低数据冗余；然后，通过量化去除对于图像质量影响较小的高频信息，减少存储空间；再对量化后的整数进行熵编码(例如，Huffman编码或者算术编码)，即可得到编码的JPEG码流。解码过程与编码过程相反，包括：编码的JPEG码流经熵解码、反量化得到浮点数，再通过反离散余弦变换将浮点数从频域空间变换到像素空间，得到重建图像。
目前，传统的图像压缩方法已被广泛应用，但是，由于编码时去除了图像的部分空域和频域信息，所以得到的重建图像视觉质量较差；同时，这些方法都是针对某种类型的图像特征手工设计的，无法适应不断出现的新媒体类型，例如，虚拟现实图像、全景图像、广场图像等。因此，如何在传统压缩方法的基础上进一步提升压缩性能，是研究人员关注的问题。
近年来，随着深度学习技术的发展，尤其是卷积神经网络在图像处理和计算机视觉领域的成功应用，利用深度学习技术进行图像压缩成为可能。相比于传统的图像压缩方法，基于深度学习的图像压缩方法一方面可以把编解码器、量化以及熵估计进行联合优化，使得压缩总体性能达到最优；另一方面可以提供多样化的编解码方法，能够针对不同的任务，实现智能编解码，从而有效提升了图像的压缩性能。
基于深度学习的图像压缩方法主要包括：基于自编码器(Auto-encoder)的方法和基于循环神经网络(Recurrent Neural Network，RNN)的方法，下面对这两种方法进行简单介绍。
请参照图2，图2示出的是基于Auto-encoder的图像压缩框架的示意图。对于该压缩框架，编码时，将原始图像输入编码网络，进行空间变换，并通过量化得到编码数据，再经过熵编码得到压缩数据。解码时，将压缩数据经过熵解码、反量化后，输入解码网络，通过解码网络将数据转换回图像空间，得到重建图像。编码网络和解码网络均为卷积神经网络(Convolutional Neural Networks，CNN)，二者构成Auto-encoder。
该压缩框架在训练时，可以将编码网络和解码网络联合优化，通过对比原始图像和重建图像，得到重建Loss；通过对编码数据的熵进行估计，得到码率Loss；通过调节码率Loss与重建Loss的权重，来训练不同码率的模型。因此，训练完成后，一个模型只适用于一个码率。也就是，针对一种输入图像只能输出一个码率的压缩数据，如果需要输出多个码率的压缩数据，就必须训练多个模型，严重限制了应用。因为，实际应用中存在各种带宽和存储需求，输出各种码率的压缩数据对实际应用至关重要。
上述的码率也称压缩率，是指每秒显示的图片压缩后的数据量，也就是单位像素编码所需要的编码长度。通常情况下，码率越高，重建图像越清晰，压缩数据所需的存储空间越大，同时传输压缩数据所需的带宽越高。
请参照图3，图3示出的是基于RNN的图像压缩框架的示意图。该压缩框架是一种基于残差输入的循环压缩框架，也就是，第一次循环，编码器(Encoder)输入原始图像，解码器(Decoder)输出第一次重建图像。第二次循环，编码器输入原始图像与第一次重建图像的残差，解码器输出压缩后的残差，并与前一次输出的重建图像进行叠加，得到第二次重建图像。以此类推，每次循环编码器都输入前一次重建图像与原始图像的残差。
对于该压缩框架，码率与循环次数成正比，故可以通过控制循环次数来控制码率，能够实现一个模型适用于多个码率。但是，残差不利于压缩，故基于RNN的方法压缩效果不佳。
由上可知，基于Auto-encoder的方法压缩效果好，但是一个模型只适用于一个码率。基于RNN的方法能够实现一个模型适用于多个码率，但是压缩效果不佳。而在实际应用中，不仅需要保证图片视觉质量基本不变，而且要求码率可调。因此，如何在保证压缩效果的同时实现一个压缩模型对应多个码率，是亟待需要解决的问题。
针对上述问题，发明人在研究中发现：图像压缩后解压时，一部分信息需要通过压缩后的码流来还原，另一部分信息可以通过先验知识推理而来。基于这一思想，请参照图4，本申请实施例在现有深度学习图像压缩方法的基础上，编码过程增加预处理环节，相应的，解码过程增加后处理环节。编码时先做预处理再做压缩，解码时先做解压缩再做后处理。后处理是指将预处理作为先验知识进行推理的过程，也就是预处理的反向处理，从而使得重建图像的视觉质量基本不变。
同时，本申请实施例在预处理环节提前设置多个预设策略，编码时从多个预设策略中选择目标策略做预处理。选择的目标策略不同，得到压缩数据的码率也会不同。解码时对于解压缩后的还原图像，采用目标策略的反向策略做预处理的反向处理。如此，在保证压缩效果的同时，实现一个压缩模型对应多个码率。
下面将结合附图对本申请实施例的实施方式进行详细描述。
请参照图5，图5为本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法应用于编码端，例如可以是具有编码功能的电子设备，该图像处理方法可以包括以下步骤：
S101，获取原始图像。
原始图像可以是为了节省存储空间或满足带宽传输要求，需要进行压缩的图像数据。例如，相机内部摄像头输出的视频流裸数据(Raw Data)、终端相册中的图片、云相册中的图片等。
同时，原始图像是指未经压缩的图像数据，原始图像的数据格式可以是RGB、YUV、CMYK。如果压缩任务对应的是压缩后的图像数据(例如，JPEG图像)，则需要先利用对应的解码器(例如，JPEG解码器)对压缩后的图像数据(例如，JPEG图像)解码为原始图像，再进行压缩。
S102，响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个预设策略对应的压缩数据的码率不同。
本申请实施例的编码过程增加预处理环节，预处理环节提前设置有多个预设策略，预设策略包括对原始图像做预处理的方法和参数。例如，对原始图像做全局缩放的方法和参数、对原始图像做模糊处理的方法和参数、对原始图像做图像增强的方法和参数等。
可以设置不同的预设策略对应不同的码率，也就是，如果采用不同的预设策略对原始图像做预处理，则得到的压缩数据的码率可能不同。但在实际应用中，可能会出现不同的预设策略对应同一码率的情形。例如，对原始图像做全局缩放的方法和参数、与对原始图像做模糊处理的方法和参数，按照这两种预设策略分别对图像做预处理，压缩后得到的压缩数据的码率可能一样，即，这两种预设策略对应同一码率。因此，实际应用中只要确保至少两个预设策略对应的压缩数据的码率不同即可。
目标策略是指多个预设策略中的任一预设策略，且目标策略与用户对原始图像的操作有关。
用户对原始图像的操作是指用户针对原始图像的选择操作。可以预先设置选择操作与预设策略之间的关联关系，即，预先设置一个选择操作与至少一个预设策略关联。例如，选择操作与预设策略之间的关联关系如下表1所示：
表1
| 选择操作1 | 预设策略1、预设策略2、预设策略3… |
| 选择操作2 | 预设策略1、预设策略2、预设策略3… |
| 选择操作3 | 预设策略1、预设策略2、预设策略3… |
| … | … |
其中，与同一选择操作(例如，选择操作1)关联的预设策略对应的压缩数据的码率相似，与不同选择策略(例如，选择操作1、选择操作2)关联的预设策略对应的压缩数据的码率不同。也就是说，每个选择操作都会对应一系列的预设策略，例如，对原始图像做全局缩放的预设策略、对原始图像做模糊处理的预设策略等，只是与不同选择操作(例如，选择操作1、选择操作2)关联的同一预设策略(例如，预设策略1)的参数不同。
同时，设置供用户选择的选项，一个选项表征一种用户的压缩需求，例如，设置“高”、“中”、“低”选项，分别表征用户想要的压缩质量为高、中、低。用户选择一个选项，也就是做了一次选择操作，例如，用户选择“高”选项，就是做了压缩质量高的选择操作。例如，对于相机内部摄像头输出的视频流裸数据，用户想要压缩质量高，则在拍照前，可以预先选择“高”选项。
针对原始图像，当用户选中一个选项时，也就是对原始图像做了一次选择操作，进而可以根据选择操作与预设策略之间的关联关系，将与选择操作关联的预设策略作为目标策略。如果选择操作关联多个预设策略，则从多个预设策略中找出一个效果最好的作为目标策略。例如，可以按照每个预设策略分别对原始图像做预处理及压缩，再选出一个效果最好的压缩数据，并将效果最好的压缩数据对应的预设策略作为目标策略。
需要指出的是，选择操作包括默认操作，默认操作表示用户没有选择任一选项。当用户对原始图像的操作为默认操作时，则从默认操作关联的预设策略中找出一个效果最好的作为目标策略。例如，默认操作为压缩质量高，则从压缩质量高关联的预设策略中找出一个效果最好的作为目标策略。
S103，按照目标策略，对原始图像进行预处理，得到待压缩图像。
目标策略可以是，但不限于全局缩放的方法和参数、分块缩放的方法和参数、全局模糊的方法和参数、分块模糊的方法和参数、全局增强的方法和参数、分块增强的方法和参数中的一种或几种。相应的，预处理可以是，但不限于全局缩放、分块缩放、全局模糊、分块模糊、全局增强、分块增强等中的一种或几种。例如，目标策略为全局缩放的方法和参数及分块模糊的方法和参数，则预处理为全局缩放及分块模糊。
待压缩图像是指按照目标策略，对原始图像做预处理后得到的图像。
S104，利用预设的深度学习图像压缩框架对待压缩图像进行压缩，得到压缩数据，其中，压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，还原图像用于基于目标策略的反向策略进行预处理的反向处理得到与原始图像对应的重建图像。
压缩数据是指原始图像经预处理、压缩后得到的码流，可以将目标策略和压缩数据作为一个文件存储或传输。当需要将压缩数据解码为图像时，首先采用深度学习图像解压缩框架对压缩数据解压缩为还原图像，再根据编码过程中预处理采用的目标策略，推理出目标策略的反向策略，并按照该目标策略的反向策略对还原图像做预处理的反向处理，最终生成与原始图像对应的重建图像。
上述的深度学习图像压缩框架和深度学习图像解压缩框架可以是图1所示的基于Auto-encoder的图像压缩框架，也可以是图2所示的基于RNN的图像压缩框架，也可以是本领域技术人员可能会采用的其它基于深度学习的图像压缩框架。
在图5的基础上，请参照图6，S103可以包括以下详细步骤：
S1031，按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像。
目标策略包括第一指令和与第一指令对应的第一参数，第一指令是指对原始图像做预处理的方法，第一参数是指与对原始图像做预处理的方法对应的参数。
例如，第一指令可以是，但不限于对原始图像做全局缩放、分块缩放、全局模糊、分块模糊、全局增强、分块增强等方法中的一种或几种。第一参数可以是，但不限于全局缩放参数、分块缩放参数、全局模糊参数、分块模糊参数、全局增强参数、分块增强参数等参数中的一种或几种。
可以采用传统图像处理算法对原始图像进行预处理，例如，传统图像插值算法、高斯滤波等。也可以采用预先训练的深度学习网络对原始图像进行预处理，例如，深度卷积神经网络、卷积层、池化层等。
下面对按照第一指令和第一参数对原始图像做预处理的过程进行举例介绍。
在一个实施例中，当第一指令为全局缩放指令，第一参数为全局缩放系数和缩放核时，预处理为全局缩放；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
按照全局缩放指令、全局缩放系数和缩放核，对原始图像进行全局缩放，得到待压缩图像。
全局缩放指令是指对原始图像做全局缩放的方法，全局缩放也就是对图像整体进行缩小或放大，编码过程的预处理与解码过程的后处理刚好相反。例如，编码过程为：先把原始图像缩小再压缩，则解码过程为：先解压缩再把还原图像放大。
全局缩放系数也就是对图像整体进行缩小或放大的倍数，全局缩放系数可以用n表示。若n<1，则表示对图像整体进行缩小；若n>1，则表示对图像整体进行放大。
缩放核包括线性插值、双线性插值等。
例如，请参照图7，假设全局缩放系数为n(n<1)，缩放核为降采样对应的核，则编码过程中采用降采样的方式对图像进行缩小，输入为原始图像，输出为长和宽为原始图像大小n(n<1)倍的待压缩图像。
在图像压缩过程中之所以能采用全局缩放，是由于特定程度的缩放，对图像质量的影响很小，下面通过实验进行证明：
实验数据：CLIC公开数据集(330张)；
实验过程：利用resize函数，原始图像缩小一倍，还原图像放大一倍；
实验结果：平均MS-SSIM＝0.9947，影响很少。
其中，MS-SSIM(Multi-Scale-Structural Similarity Index，多尺度结构相似性)为一种图像压缩质量评价指标，用来评价原始图像和重建图像的相似性，其取值范围为0～1，越接近1表示重建图像和原始图像越接近。
图像压缩质量评价指标用来评估压缩图像的图像质量，除了上文说到的MS-SSIM，还包括PSNR(Peak Signal to Noise Ratio，峰值信噪比)、SSIM(structural similarityindex，结构相似性)等。PSNR、SSIM的值越高，表示图像压缩后失真越小、质量越好。
采用不同的全局缩放系数对原始图像进行全局缩放，对应压缩数据的码率也会不同。也就是，采用同一压缩模型，只需通过调整全局缩放系数，即可实现多个码率压缩。n越小，待压缩图像的尺度越小，压缩数据的码率也越小；n越大，待压缩图像的尺度越大，压缩数据的码率也越大。
例如，请参照图8，左图是Kodak数据集的实验结果，右图是CLIC数据集的实验结果。图中纵轴为MS-SSIM，横轴为BPP(bits per pixel)，表示存储每个像素消耗的比特数，BPP越小表示码率越小。GSM-org对应的曲线是初始压缩曲线，GSM-newMSSSIM、GSM-newMSSSIM-0.25、GSM-newMSSSIM-0.5分别表示全局压缩系数为1、0.25、0.5的压缩曲线。从图中可以明显的看出，使用同一压缩模型，通过调整全局缩放系数(1、0.25、0.5)，即可在保证压缩性能的前提下，实现3个码率的压缩。
在另一个实施例中，当第一指令为自适应缩放指令，第一参数为分块参数时，预处理为先分块再自适应缩放；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
首先，按照分块参数对原始图像进行划分，得到多个图像块；
然后，按照自适应缩放指令和每个图像块的图像特征，对每个图像块均进行自适应缩放，得到每个图像块对应的待压缩图像块，其中，待压缩图像包括多个待压缩图像块，图像特征用于确定图像块的缩放系数。
分块参数是用来表征如何划分原始图像的参数，分块参数可以用M×N表示，M为横向分块参数，N为纵向分块参数。例如，分块参数为3×3，则表示将原始图像划分为3×3共9个图像块。同时，分块后的每个图像块都有对应的位置向量(i,j)，i表示横向第i个图像块，j表示横向第j个图像块。
图像块的图像特征可以是图像块的颜色特征、纹理特征、形状特征等中的一种或几种。颜色特征和纹理特征用于描述图像块所对应的物体的表面性质。形状特征包括轮廓特征和区域特征，轮廓特征包括物体的外边界特征，区域特征包括物体的形状区域特征。
自适应缩放指令是指对原始图像做自适应缩放的方法，基于原始图像的图像特征(例如，颜色特征、纹理特征、形状特征等)，可以对图像特征不同的区域进行不同程度的缩放，例如，背景区域多缩放一些，前景区域少缩放一些。
对每个图像块均进行自适应缩放，是指按照每个图像块对应的图像特征(例如，颜色特征、纹理特征、形状特征等)，确定每个图像块的缩放系数，再按照各自的缩放系数进行分块缩小或分块放大。通常，为了保证压缩性能，图像特征(例如，颜色、纹理等)越多的图像块，缩放系数越大；图像特征(例如，颜色、纹理等)越少的图像块，缩放系数越小。也就是，平滑的图像块多缩放一些，不平滑的图像块少缩放一些。
例如，请参照图9，假设分块参数为4×3，则编码过程中先将原始图像划分为12个图像块；再按照每个图像块的图像特征(例如，颜色、纹理等)确定每个图像块的缩放系数。例如，根据第(2,2)个图像块和第(1,1)个图像块的纹理，确定第(2,2)个图像块的缩放系数为1、第(2,2)个图像块的缩放系数为0.25。
在另一个实施例中，当第一指令为模糊处理指令，第一参数为模糊核时，预处理为模糊处理；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
按照模糊处理指令和模糊核，对原始图像进行模糊处理，得到待压缩图像。
模糊处理指令是指对原始图像做模糊处理的方法，模糊处理指令可以是，但不限于中值函数、均值函数、高斯函数等。模糊处理可以是，但不限于中值模糊、均值模糊、高斯模糊等。相应的，模糊核可以是，但不限于中值模板、均值模板、高斯模板等。模糊核是卷积核的一种，实际上就是一个矩阵，将原始图像与模糊核卷积，可以使原始图像变得模糊。
编码过程在压缩前先进行模糊处理，例如，请参照图10，先对原始图像进行高斯滤波再压缩，可以采用高斯函数进行平滑滤波，输入为原始图像，输出为滤波后的待压缩图像。
通过调整模糊核，可以实现不同码率的压缩。通常，模糊核(例如，高斯模板)尺度越大，滤波后图片越模糊，压缩数据的码率也越小；模糊核(例如，高斯模板)尺度越小，滤波后图片越清晰，压缩数据的码率也越大。下面通过实验进行证明：
模型的初始码率和压缩性能如下：
BPP:0.5048、PSNR:28.7966、MS-SSIM:0.9860；
调整高斯模板的尺度后，新的码率和压缩性能如下：
高斯模板尺度为3：BPP:0.3100、PSNR:26.8661、MS-SSIM:0.9593；
高斯模板尺度为5：BPP:0.3657、PSNR:26.8711、MS-SSIM:0.9667。
显然，高斯模板尺度越大，BPP越大，压缩后图像质量越好；也就是，通过调整高斯模板尺度(3、5)，实现了3个码率的压缩。
在另一个实施例中，当第一指令为图像退化指令，第一参数为图像退化参数时，预处理为图像退化；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
按照图像退化指令和图像退化参数，对原始图像进行图像退化，得到待压缩图像。
图像退化指令是指对原始图像做图像退化的方法，编码过程在压缩前先进行图像退化，例如，请参照图11，先对原始图像进行图像退化再压缩，输入为原始图像，输出为退化后的待压缩图像。
通过调整图像退化参数，可以实现不同码率的压缩。通常，图像退化参数越大，压缩数据的码率越小。
在另一个实施例中，当第一指令为图像分离指令和第一后阶段处理指令，第一参数为与图像分离指令对应的图像分离参数和与第一后阶段处理指令对应的第一后阶段处理参数时，预处理为先图像分离再第一后阶段处理；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
首先，按照图像分离指令和图像分离参数，对原始图像进行图像分离，得到边缘图像和纹理图像；
然后，按照第一后阶段处理指令和第一后阶段处理参数，对边缘图像和纹理图像均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到待压缩边缘图像和待压缩纹理图像，其中，待压缩图像包括待压缩边缘图像和待压缩纹理图像。
图像分离指令是指对原始图像做图像分离的方法，图像分离可以是按照原始图像的纹理特征，将原始图像分离为边缘图像和纹理图像，再分别对边缘图像和纹理图像进行第一后阶段处理。第一后阶段处理可以是全局缩放、自适应缩放、模糊处理、图像退化中的一种或几种。全局缩放、自适应缩放、模糊处理、图像退化的详细过程参见前文描述，在此不再赘述。
第一后阶段处理指令是指对原始图像做第一后阶段处理的方法，第一后阶段处理指令可以是全局缩放指令、自适应缩放指令、模糊处理指令、图像退化指令中的一种或几种。相应的，第一后阶段处理参数可以是全局缩放系数和缩放核、分块参数、模糊核、图像退化参数中的一种或几种。
编码过程为先图像分离后第一阶段处理再压缩例如，请参照图12，先图像分离为边缘图像和纹理图像，再分别对边缘图像和纹理图像进行高斯滤波。纹理图像的高斯模板尺度可以小一点，边缘图像的高斯模板尺度可以大一点，得到待压缩边缘图像和待压缩纹理图像。
通过调整图像分离参数和第一后阶段处理参数，可以实现不同码率的压缩。
在另一个实施例中，当第一指令为图像分割指令和第二后阶段处理指令，第一参数为与图像分割指令对应的分割类别和与第二后阶段处理指令对应的第二后阶段处理参数时，预处理为先图像分割再第二后阶段处理；
按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的过程，可以包括：
首先，按照图像分割指令和分割类别，对原始图像进行图像分割，得到多个图像区域；
然后，按照所述第二后阶段处理指令和第二后阶段处理参数，对多个图像区域均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到每个图像区域对应的待压缩图像区域，其中，待压缩图像包括多个待压缩图像区域。
图像分割指令是指对原始图像做图像分割的方法，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割可以是按照分割类别，将原始图像分为若干个图像区域，每个图像区域都有对应的位置坐标(x,y)。该位置坐标可以是对应图像区域的每个边缘点坐标，也可以是对应图像区域的中心点坐标。
分割类别可以是前景和背景，也可以是前景中所有目标的类别，例如，人、动物、植物等。通常，图像分割方法可以是，但不限于基于阈值分割、基于区域分割、基于边缘分割等。
编码过程中，可以先将原始图像按照分割类别分割为多个图像区域(例如，前景和背景)，再分别对每个图像区域进行第二后阶段处理。第二后阶段处理可以是全局缩放、自适应缩放、模糊处理、图像退化中的一种或几种。全局缩放、自适应缩放、模糊处理、图像退化的详细过程参见前文描述，在此不再赘述。
第二后阶段处理指令是指对原始图像做第二后阶段处理的方法，第二后阶段处理指令可以是全局缩放指令、自适应缩放指令、模糊处理指令、图像退化指令中的一种或几种。相应的，第二后阶段处理参数可以是全局缩放系数和缩放核、分块参数、模糊核、图像退化参数中的一种或几种。
编码过程为先图像分割后第二阶段处理再压缩，例如，请参照图13，先图像分割为前景(即苍蝇)和背景，再采用高斯滤波分别对前景和背景进行高斯滤波。前景的高斯模板尺度可以小一点，背景的高斯模板尺度可以大一点，得到待压缩前景和待压缩背景。
通过调整分割类别和第二后阶段处理参数，可以实现不同码率的压缩。
深度学习图像压缩框架包括第一深度神经网络、量化模型和熵编码模型。在图5的基础上，请参照图14，S104可以包括以下详细步骤：
S1041，利用第一深度神经网络对待压缩图像进行特征提取，得到浮点数图像特征。
第一深度神经网络可以是全连接神经网络、CNN、CNN变体、RNN、RNN变体等，也可以是本领域技术人员可能会采用的其它深度神经网络。CNN变体可以是DCNN(DilatedConvolutions Neural Network，空洞卷积神经网络)、IDCNN(Iteration DilatedConvolutions Neural Network，迭代空洞卷积神经网络)等。RNN变体可以是LSTM(LongShort-Term Memory，长短期记忆网络)、GRU(Gated Recurrent Unit，门控循环单元)等。
第一深度神经网络用于对待压缩图像进行特征提取，得到浮点数图像特征。
S1042，利用量化模型对浮点数图像特征进行量化，得到压缩特征。
量化模型用于将浮点数变换为二进制数或者整数，以节省存储空间，得到压缩特征，压缩特征为二进制图像特征或者整数图像特征。
S1043，利用熵编码模型对压缩特征进行熵编码，得到压缩数据。
得到压缩特征后，使用熵编码进一步降低数据量，熵编码模型可以采用算术编码等。
请参照图15，图15示出了本申请实施例提供的图像处理方法的另一种流程示意图。该图像处理方法应用于解码端，例如可以是具有解码功能的电子设备，该图像压缩方法可以包括以下步骤：
S201，获得压缩数据，其中，压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，待压缩图像为按照目标策略对原始图像进行预处理得到，目标策略是响应对原始图像的操作从多个预设策略中确定出的，至少两个预设策略对应的压缩数据的码率不同。
当用户想要查看或发送终端相册的图片、查看或下载云相册的图片时，终端或云端会将对应的压缩数据解压缩为还原图像。同时，为了使重建图像与原始图像尽可能一致，需要按照预处理的反向处理对还原图像进行处理。
S202，利用预设的深度学习图像解压缩框架对压缩数据进行解压缩，得到还原图像。
S203，获得目标策略对应的反向策略。
S204，按照反向策略对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
上述的深度学习图像解压缩框架包括第二深度神经网络、反量化模型和熵解码模型。在图15的基础上，请参照图16，S202可以包括以下详细步骤：
S2021，利用熵解码模型对压缩数据进行熵解码，得到压缩特征。
S2022，利用反量化模型对压缩特征进行反量化，得到浮点数图像特征。
S2023，利用第二深度神经网络对浮点数图像特征进行还原，得到还原图像。
第二深度神经网络用于对浮点数图像特征进行变换学习，从而将频域信息无损地恢复到像素域，得到还原图像。
第二深度神经网络可以是全连接神经网络、CNN、CNN变体、RNN、RNN变体等，也可以是本领域技术人员可能会采用的其它深度神经网络。CNN变体可以是DCNN、IDCNN等，RNN变体可以是LSTM、GRU等。
在图15的基础上，请参照图17，S203可以包括以下详细步骤：
S2031，获得目标策略，目标策略包括第一指令和与第一指令对应的第一参数。
S2032，依据第一指令及预设的指令对应关系确定第二指令。
S2033，依据第一参数及预设的参数计算规则确定第二参数，其中，反向策略包括第二指令和与第二指令对应的第二参数。
可以预先设置第一指令与第二指令的对应关系以便依据第一指令确定第二指令，例如，在指令对应关系中，全局缩放指令对应全局缩放指令、模糊处理指令对应去模糊处理指令等。同时，预先设置第一参数与第二参数的对应关系以便依据第一参数确定第二参数，例如，在参数对应关系中，第一参数为全局缩放系数和缩放核，第二参数为全局缩放系数的倒数和缩放核等。
在图15的基础上，请参照图18，S204可以包括以下详细步骤：
S2041，按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
第二指令是指对还原图像做预处理的反向处理的方法，第二参数是指与对原始图像做预处理的反向处理的方法对应的参数。
可以采用传统图像处理算法对还原图像做预处理的反向处理，例如，传统图像插值算法、高斯滤波、超分辨率算法等。也可以采用预先训练的深度学习网络对还原图像做预处理的反向处理等。
下面对按照第二指令和第二参数对还原图像做预处理的反向处理的过程进行举例介绍。
在一个实施例中，如果第一指令为全局缩放指令，第一参数为全局缩放系数和缩放核，预处理为全局缩放，则第二指令为全局缩放指令，第二参数为全局缩放系数的倒数和缩放核，预处理的反向处理为全局缩放；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
按照全局缩放指令、全局缩放系数的倒数和缩放核，对还原图像进行全局缩放，得到重建图像。
例如，结合到图7，解码过程中采用升采样的方式对图像进行放大，输入为还原图像，输出为长和宽为原始图像大小1/n(n<1)倍的重建图像。
在这种情况下，也可以采用超分辨率算法对还原图像做预处理的反向处理，得到重建图像。
在另一个实施例中，如果第一指令为自适应缩放指令，第一参数为分块参数，预处理为先分块再自适应缩放，则第二指令为自适应缩放指令，第二参数为分块参数关联的拼接参数，预处理的反向处理为先自适应缩放后拼接；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
首先，按照自适应缩放指令和每个还原图像块的图像特征，对每个还原图像块均进行自适应缩放，得到每个还原图像块对应的待重建图像块，其中，图像特征用于确定还原图像块的缩放系数；
然后，按照拼接参数对多个待重建图像块进行拼接，得到重建图像。
拼接参数与分块参数关联，包括分块后的每个图像块对应的位置向量(i,j)，也即每个还原图像块对应的位置向量(i,j)。
例如，结合到图9，解码过程中先按照每个还原图像块的图像特征(例如，颜色、纹理等)确定每个还原图像块的缩放系数，再按照每个还原图像块对应的位置向量(i,j)进行拼接，输出重建图像。
在另一个实施例中，如果第一指令为模糊处理指令，第一参数为模糊核，预处理为模糊处理，则第二指令为去模糊处理指令，第二参数为模糊核对应的去模糊核，预处理的反向处理为去模糊处理；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
按照去模糊处理指令和去模糊核，对还原图像进行去模糊处理，得到重建图像。
去模糊处理可以是，但不限于边缘检测、图像锐化、深度学习图像复原等；相应地，去模糊核可以是锐化核等。
若编码过程在压缩前先进行模糊处理，则解码过程在解压缩后进行去模糊处理。例如，结合到图10，先解压缩再图像锐化，可以采用拉普拉斯锐化函数或深度学习网络进行锐化，输入为还原图像，输出锐化后的重建图像。
在另一个实施例中，如果第一指令为图像退化指令，第一参数为图像退化参数，预处理为图像退化，则第二指令为所述图像增强指令，第二参数为图像增强参数；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
按照图像增强指令和图像增强参数，对还原图像进行图像增强，得到重建图像。
图像增强的目的是改善图像的视觉效果，或将图像转换成更适合于人眼观察和机器分析识别的形式，以便从图像中获取更有用的信息。
图像增强方法可以是，但不限于直方图均衡化、对比度增强、伽马变换、平滑噪声、锐化等。图像增强指令可以是，但不限于变换函数、拉普拉斯算子等。
若编码过程在压缩前先进行图像退化，则解码过程在解压缩后进行图像增强。例如，结合到图11，解码过程为先解压缩再图像增强，可以利用深度学习网络后处理，输入为还原图像，输出为重建图像。
在另一个实施例中，如果第一指令为第一指令为图像分离指令和第一后阶段处理指令，第一参数为与图像分离指令对应的图像分离参数和与第一后阶段处理指令对应的第一后阶段处理参数，预处理为先图像分离再第一后阶段处理；则第二指令为图像分离指令的反向指令和第一后阶段处理指令的反向指令，第二参数为与图像分离指令的反向指令对应的图像分离参数的反向参数和与第一后阶段处理指令的反向指令对应的第一后阶段处理参数的反向参数，预处理的反向处理为先第一后阶段处理的反向处理再图像融合；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
首先，按照第一后阶段处理指令的反向指令和第一后阶段处理参数的反向参数，对还原边缘图像和还原纹理图像均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到待重建边缘图像和待重建纹理图像；
然后，按照图像分离指令的反向指令和图像分离参数的反向参数，对待重建边缘图像和待重建纹理图像进行图像融合，得到重建图像。
第一后阶段处理指令的反向指令可以是全局缩放指令的反向指令、自适应缩放指令的反向指令、去模糊处理指令、图像增强指令中的一种或几种。相应的，第一后阶段处理参数可以是全局缩放系数的倒数和缩放核、拼接参数、去模糊核、图像增强参数中的一种或几种。
若编码过程为先图像分离后第一阶段处理再压缩，则解码过程为先解压缩后第一后阶段处理的反向处理再图像融合。例如，请参照图12，解码过程中先分别对解压缩后的还原边缘图像和还原纹理图像做图像锐化，再将锐化后的两个图像做图像融合，输出为重建图像。
在另一个实施例中，如果第一指令为图像分割指令和第二后阶段处理指令，第一参数为与图像分割指令对应的分割类别和与第二后阶段处理指令对应的第二后阶段处理参数，预处理为先图像分割再第二后阶段处理；则第二指令为图像分割指令的反向指令和第二后阶段处理指令的反向指令，第二参数为与第二后阶段处理指令的反向指令对应的第二后阶段处理参数的反向参数，预处理的反向处理为先第二后阶段处理的反向处理再拼接；还原图像包括多个还原图像区域及每个还原图像区域的位置坐标；
按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的过程，可以包括：
首先，按照第二后阶段处理指令的反向指令和第二后阶段处理参数的反向参数，对每个还原图像区域均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到每个还原图像区域对应的待重建图像区域；
然后，按照图像分割指令的反向指令和每个还原图像区域的位置坐标，对多个待重建图像区域进行拼接，得到所述重建图像。
若编码过程为先图像分割后第二阶段处理再压缩，则解码过程为先解压缩后第二后阶段处理的反向处理再拼接。例如，结合到图13，解码过程中先分别对解压缩后的还原前景和还原背景做图像锐化，再将锐化后的两个图像区域做拼接，输出为重建图像。
在一种可能的情形下，由于预处理的影响，生成重建图像的主观视觉效果可能不佳。因此，在图15的基础上，图19为本申请实施例提供的另一种图像处理方法的流程示意图。请参照图19，在S204之后，该图像处理方法还可以包括以下步骤：
S205，利用超分辨率算法、去模糊算法、去雾算法以及去噪算法中的至少一种对重建图像进行处理，以改善重建图像的视觉效果。
请参照图20，图20示出了本申请实施例提供的图像处理方法的另一种流程示意图。该图像处理方法应用于编解码端，例如可以是具有编码和解码功能的电子设备，该图像处理方法可以包括以下步骤：
S301，获取原始图像。
S302，响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个预设策略对应的压缩数据的码率不同。
S303，按照目标策略，对原始图像进行预处理，得到待压缩图像。
S304，利用预设的深度学习图像压缩框架对待压缩图像进行压缩，得到压缩数据。
S305，利用预设的深度学习图像解压缩框架对压缩数据进行解压缩，得到还原图像。
S306，获得目标策略对应的反向策略。
S307，按照反向策略对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
S301～S307的详细实现可以参见前文实施例的描述，在此不再赘述。
下面对本申请实施例提供的图像处理方法的应用场景进行举例介绍。
在一种应用场景下，请参照图21，用户使用终端相机拍照，在拍照前可以对相机进行压缩质量设置，例如，选择“压缩质量(9/10)”，9/10表示压缩质量，假设压缩质量有10个档次，1表示最差，10表示最好，9/10表示压缩质量为9，如果不选择则为默认压缩质量，图中“压缩质量(10/10)”为默认压缩质量。之后相机拍照，摄像头输出视频流裸数据，由于用户选择的压缩程度为“压缩质量(9/10)”，故可以按照视频流裸数据自动的从“压缩质量(9/10)”对应的一系列预设策略中找出效果最好的目标策略，并将视频流裸数据按照目标策略预处理后压缩，生成包括压缩数据和目标策略的压缩文件并存储，以节省终端的存储空间。当用户想要查看终端存储的某一图片时，终端将压缩文件，解码后进行显示。
在另一种应用场景下，请参照图22，用户将终端相册的图片上传到云相册，在上传前可以选择压缩质量，例如，选择“压缩质量(9/10)”，同上，如果不选择则为默认压缩质量，图中“压缩质量(10/10)”为默认压缩质量。之后将图片上传至云端，如果终端相册的图片被压缩过(例如，.jpg文件)，则云端要先将图片解析为原始图像(例如，YUV格式)。云端根据用户选择的压缩程度“压缩质量(9/10)”及图片自动找出压缩效果最好的目标策略，并将原始图像按照目标策略预处理后压缩，生成包括压缩数据和目标策略的压缩文件并存储，以节省云端的存储空间。
当用户想要下载或预览云相册的某一图片时，云端获得压缩文件，解码后供用户下载或预览。同时，如果用户上传的图片为特定格式的文件，例如，.jpg文件，则云端要将重建图像处理为特定格式，再供用户下载或预览。或者，云端也可以提供对应的解码器，用户直接将压缩文件进行下载，下载后再用云端提供的解码器解码。
在另一种应用场景下，请参照图23，用户将终端相册的图片(例如，图片A)发送给其它终端，在发送前可以选择压缩质量，例如，选择“压缩质量(9/10)”，同上，如果不选择则为默认压缩质量，图中“压缩质量(10/10)”为默认压缩质量。发送方终端根据用户选择的压缩程度“压缩质量(9/10)”及选定图片自动选择找出压缩效果最好的目标策略，并将图片按照目标策略预处理后压缩，生成包括压缩数据和目标策略的压缩文件并传输至接收方终端，以节省传输带宽。同时，如果终端相册的图片被压缩过(例如，.jpg文件)，则发送方终端要先将图片解析为原始图像(例如，YUV格式)再做预处理及压缩。当接收方想要下载“图片A”时，接收方终端获得压缩文件，解码后供用户下载。
为了执行上述图像处理方法实施例及各个可能的实施方式中的相应步骤，下面给出图像处理装置的可能实现方式。
请参照图24，图24为本申请实施例提供的图像处理装置100的组成示意图。该图像处理装置100应用于编码端，例如可以是具有编码功能的电子设备。图像处理装置100包括图像获取模块101、响应模块102、预处理模块103及压缩模块104。
图像获取模块101用于，获取原始图像。
响应模块102用于，响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个预设策略对应的压缩数据的码率不同。
预处理模块103用于，按照目标策略，对原始图像进行预处理，得到待压缩图像。
压缩模块104用于，利用预设的深度学习图像压缩框架对待压缩图像进行压缩，得到压缩数据，其中，压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，还原图像用于基于目标策略的反向策略进行预处理的反向处理得到与原始图像对应的重建图像。
在一个实施例中，目标策略包括第一指令和与第一指令对应的第一参数；
预处理模块103具体用于，按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像。
可选地，第一指令包括全局缩放指令，第一参数包括全局缩放系数和缩放核；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照全局缩放指令、全局缩放系数和缩放核，对原始图像进行全局缩放，得到待压缩图像。
可选地，第一指令包括自适应缩放指令，第一参数包括分块参数；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照分块参数对原始图像进行划分，得到多个图像块；按照自适应缩放指令和每个图像块的图像特征，对每个图像块均进行自适应缩放，得到每个图像块对应的待压缩图像块，其中，待压缩图像包括多个待压缩图像块，图像特征用于确定图像块的缩放系数。
可选地，第一指令包括模糊处理指令，第一参数包括模糊核；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照模糊处理指令和模糊核，对原始图像进行模糊处理，得到待压缩图像。
可选地，第一指令包括图像退化指令，第一参数包括图像退化参数；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照图像退化指令和图像退化参数，对原始图像进行图像退化，得到待压缩图像。
可选地，第一指令包括图像分离指令和第一后阶段处理指令，第一参数包括与图像分离指令对应的图像分离参数和与第一后阶段处理指令对应的第一后阶段处理参数；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照图像分离指令和图像分离参数，对原始图像进行图像分离，得到边缘图像和纹理图像；按照第一后阶段处理指令和第一后阶段处理参数，对边缘图像和纹理图像均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到待压缩边缘图像和待压缩纹理图像，其中，待压缩图像包括待压缩边缘图像和待压缩纹理图像。
可选地，第一指令包括图像分割指令和第二后阶段处理指令，第一参数包括与图像分割指令对应的分割类别和与第二后阶段处理指令对应的第二后阶段处理参数；
预处理模块103执行按照第一指令和第一参数，对原始图像进行预处理，得到待压缩图像的方式，可以包括：按照图像分割指令和分割类别，对原始图像进行图像分割，得到多个图像区域；按照第二后阶段处理指令和第二后阶段处理参数，对多个图像区域均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到每个图像区域对应的待压缩图像区域，其中，待压缩图像包括多个待压缩图像区域。
在一个实施例中，深度学习图像压缩框架包括第一深度神经网络、量化模型和熵编码模型；
压缩模块104具体用于，利用第一深度神经网络对待压缩图像进行特征提取，得到浮点数图像特征；利用量化模型对浮点数图像特征进行量化，得到压缩特征；利用熵编码模型对压缩特征进行熵编码，得到压缩数据。
请参照图25，图25为本申请实施例提供的图像处理装置200的组成示意图。该图像处理装置200应用于解码端，例如可以是具有解码功能的电子设备。图像处理装置200包括序列获得模块201、解压缩模块202、反向策略获得模块203及后处理模块204。
序列获得模块201，用于获得压缩数据，其中，压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，待压缩图像为按照目标策略对原始图像进行预处理得到，目标策略是响应对原始图像的操作从多个预设策略中确定出的，至少两个预设策略对应的压缩数据的码率不同。
解压缩模块202，用于利用预设的深度学习图像解压缩框架对压缩数据进行解压缩，得到还原图像。
反向策略获得模块203，用于获得目标策略对应的反向策略。
后处理模块204，用于按照反向策略对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
在一个实施例中，深度学习图像解压缩框架包括第二深度神经网络、反量化模型和熵解码模型；
解压缩模块202具体用于：利用熵解码模型对压缩数据进行熵解码，得到压缩特征；利用反量化模型对压缩特征进行反量化，得到浮点数图像特征；利用第二深度神经网络对浮点数图像特征进行还原，得到还原图像。
在一个实施例中，反向策略获得模块203具体用于：获得目标策略，目标策略包括第一指令和与第一指令对应的第一参数；依据第一指令及预设的指令对应关系确定第二指令；依据第一参数及预设的参数计算规则确定第二参数，其中，反向策略包括第二指令和与第二指令对应的第二参数。
在一个实施例中，后处理模块204具体用于：按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
可选地，第一指令包括全局缩放指令，第一参数包括全局缩放系数和缩放核；第二指令包括全局缩放指令，第二参数包括全局缩放系数的倒数和缩放核；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照全局缩放指令、全局缩放系数的倒数和缩放核，对还原图像进行全局缩放，得到重建图像。
可选地，第一指令包括自适应缩放指令，第一参数包括分块参数；第二指令包括自适应缩放指令，第二参数包括分块参数关联的拼接参数；还原图像包括多个还原图像块；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照自适应缩放指令和每个还原图像块的图像特征，对每个还原图像块均进行自适应缩放，得到每个还原图像块对应的待重建图像块，其中，图像特征用于确定还原图像块的缩放系数；按照拼接参数对多个待重建图像块进行拼接，得到重建图像。
可选地，第一指令包括模糊处理指令，第一参数包括模糊核；第二指令包括去模糊处理指令，第二参数包括模糊核对应的去模糊核；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照去模糊处理指令和去模糊核，对还原图像进行去模糊处理，得到重建图像。
可选地，第一指令包括图像退化指令，第一参数包括图像退化参数；第二指令包括图像增强指令，第二参数包括图像增强参数；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照图像增强指令和图像增强参数，对还原图像进行图像增强，得到重建图像。
可选地，第一指令包括图像分离指令和第一后阶段处理指令，第一参数包括与图像分离指令对应的图像分离参数和与第一后阶段处理指令对应的第一后阶段处理参数；
第二指令包括图像分离指令的反向指令和第一后阶段处理指令的反向指令，第二参数包括与图像分离指令的反向指令对应的图像分离参数的反向参数和与第一后阶段处理指令的反向指令对应的第一后阶段处理参数的反向参数；还原图像包括还原边缘图像和还原纹理图像；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照第一后阶段处理指令的反向指令和第一后阶段处理参数的反向参数，对还原边缘图像和还原纹理图像均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到待重建边缘图像和待重建纹理图像；按照图像分离指令的反向指令和图像分离参数的反向参数，对待重建边缘图像和待重建纹理图像进行图像融合，得到重建图像。
可选地，第一指令包括图像分割指令和第二后阶段处理指令，第一参数包括与图像分割指令对应的分割类别和与第二后阶段处理指令对应的第二后阶段处理参数；
第二指令包括图像分割指令的反向指令和第二后阶段处理指令的反向指令，第二参数包括与第二后阶段处理指令的反向指令对应的第二后阶段处理参数的反向参数；还原图像包括多个还原图像区域及每个还原图像区域的位置坐标；
后处理模块204执行按照第二指令和第二参数，对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像的方式，包括：按照第二后阶段处理指令的反向指令和第二后阶段处理参数的反向参数，对每个还原图像区域均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到每个还原图像区域对应的待重建图像区域；按照图像分割指令的反向指令和每个还原图像区域的位置坐标，对多个待重建图像区域进行拼接，得到所述重建图像。
在一个实施例中，后处理模块204还用于，利用超分辨率算法、去模糊算法、去雾算法以及去噪算法中的至少一种对重建图像进行处理，以改善重建图像的视觉效果。
请参照图26，图26为本申请实施例提供的图像处理装置300的组成示意图。该图像处理装置300应用于编解码端，例如可以是具有编码和解码功能的电子设备。图像处理装置300包括图像获取模块301、响应模块302、预处理模块303、压缩模块304、解压缩模块305、反向策略获得模块306及后处理模块307。
图像获取模块301用于，获取原始图像。
响应模块302用于，响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个预设策略对应的压缩数据的码率不同。
预处理模块303用于，按照目标策略，对原始图像进行预处理，得到待压缩图像。
压缩模块304用于，利用预设的深度学习图像压缩框架对待压缩图像进行压缩，得到压缩数据。
解压缩模块305用于，利用预设的深度学习图像解压缩框架对压缩数据进行解压缩，得到还原图像。
反向策略获得模块306用于，获得目标策略对应的反向策略。
后处理模块307用于，按照反向策略对还原图像进行预处理的反向处理，得到与原始图像对应的重建图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像处理装置100、200、300的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参照图27，图27为本申请实施例提供的电子设备10的组成示意图，电子设备10可以是终端、服务器等，电子设备10包括处理器11、存储器12及总线13，处理器11通过总线13与存储器12连接。
存储器12用于存储程序，例如图24所示的图像处理装置100，图像处理装置100包括至少一个可以软件或固件(firmware)的形式存储存储器12中或固化在电子设备10的操作系统(operating system，OS)中的软件功能模块，处理器11在接收到执行指令后，执行所述程序以实现上述实施例揭示的应用于编码端的图像处理方法。
存储器12可能包括高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失存储器(non-volatile memory，NVM)。
处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Microcontroller Unit，MCU)、复杂可编程逻辑器件(Complex ProgrammableLogic Device，CPLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、嵌入式ARM等芯片。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例揭示的图像处理方法。
本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行上述实施例揭示的图像处理方法。
本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述实施例揭示的图像处理方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。
Claims (26)
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取原始图像；
响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；
按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像；
利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据，其中，所述压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，所述还原图像用于基于所述目标策略的反向策略进行所述预处理的反向处理得到与所述原始图像对应的重建图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述目标策略包括第一指令和与所述第一指令对应的第一参数；
所述按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像的步骤，包括：
按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括全局缩放指令，所述第一参数包括全局缩放系数和缩放核；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述全局缩放指令、全局缩放系数和缩放核，对所述原始图像进行全局缩放，得到所述待压缩图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括自适应缩放指令，所述第一参数包括分块参数；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述分块参数对所述原始图像进行划分，得到多个图像块；
按照所述自适应缩放指令和每个所述图像块的图像特征，对每个所述图像块均进行自适应缩放，得到每个所述图像块对应的待压缩图像块，其中，所述待压缩图像包括多个待压缩图像块，所述图像特征用于确定所述图像块的缩放系数。
5.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括模糊处理指令，所述第一参数包括模糊核；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述模糊处理指令和所述模糊核，对所述原始图像进行模糊处理，得到所述待压缩图像。
6.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括图像退化指令，所述第一参数包括图像退化参数；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述图像退化指令和所述图像退化参数，对所述原始图像进行图像退化，得到所述待压缩图像。
7.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括图像分离指令和第一后阶段处理指令，所述第一参数包括与所述图像分离指令对应的图像分离参数和与所述第一后阶段处理指令对应的第一后阶段处理参数；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述图像分离指令和所述图像分离参数，对所述原始图像进行图像分离，得到边缘图像和纹理图像；
按照所述第一后阶段处理指令和所述第一后阶段处理参数，对所述边缘图像和所述纹理图像均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到待压缩边缘图像和待压缩纹理图像，其中，所述待压缩图像包括所述待压缩边缘图像和所述待压缩纹理图像。
8.根据权利要求2所述的图像处理方法，其特征在于，所述第一指令包括图像分割指令和第二后阶段处理指令，所述第一参数包括与所述图像分割指令对应的分割类别和与所述第二后阶段处理指令对应的第二后阶段处理参数；
所述按照所述第一指令和所述第一参数，对所述原始图像进行预处理，得到所述待压缩图像的步骤，包括：
按照所述图像分割指令和所述分割类别，对所述原始图像进行图像分割，得到多个图像区域；
按照所述第二后阶段处理指令和所述第二后阶段处理参数，对所述多个图像区域均进行全局缩放、自适应缩放、模糊处理以及图像退化中的至少一种，得到每个所述图像区域对应的待压缩图像区域，其中，所述待压缩图像包括多个待压缩图像区域。
9.根据权利要求1-8任一项所述的图像处理方法，其特征在于，所述深度学习图像压缩框架包括第一深度神经网络、量化模型和熵编码模型；
所述利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到压缩数据的步骤，包括：
利用所述第一深度神经网络对所述待压缩图像进行特征提取，得到浮点数图像特征；
利用所述量化模型对所述浮点数图像特征进行量化，得到压缩特征；
利用所述熵编码模型对所述压缩特征进行熵编码，得到所述压缩数据。
10.一种图像处理方法，其特征在于，所述图像处理方法包括：
获得压缩数据，其中，所述压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，所述待压缩图像为按照目标策略对原始图像进行预处理得到，所述目标策略是响应对所述原始图像的操作从多个预设策略中确定出的，至少两个所述预设策略对应的所述压缩数据的码率不同；
利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；
获得所述目标策略对应的反向策略；
按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
11.根据权利要求10所述的图像处理方法，其特征在于，所述获得所述目标策略对应的反向策略的步骤，包括：
获得所述目标策略，所述目标策略包括第一指令和与所述第一指令对应的第一参数；
依据所述第一指令及预设的指令对应关系确定第二指令；
依据所述第一参数及预设的参数计算规则确定第二参数，其中，所述反向策略包括所述第二指令和与所述第二指令对应的所述第二参数。
12.根据权利要求11所述的图像处理方法，其特征在于，所述按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
13.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括全局缩放指令，所述第一参数包括全局缩放系数和缩放核；所述第二指令包括全局缩放指令，所述第二参数包括全局缩放系数的倒数和缩放核；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述全局缩放指令、全局缩放系数的倒数和缩放核，对所述还原图像进行全局缩放，得到所述重建图像。
14.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括自适应缩放指令，所述第一参数包括分块参数；所述第二指令包括自适应缩放指令，所述第二参数包括所述分块参数关联的拼接参数；所述还原图像包括多个还原图像块；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述自适应缩放指令和每个所述还原图像块的图像特征，对每个所述还原图像块均进行自适应缩放，得到每个所述还原图像块对应的待重建图像块，其中，所述图像特征用于确定所述还原图像块的缩放系数；
按照所述拼接参数对多个待重建图像块进行拼接，得到所述重建图像。
15.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括模糊处理指令，所述第一参数包括模糊核；所述第二指令包括去模糊处理指令，所述第二参数包括所述模糊核对应的去模糊核；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述去模糊处理指令和所述去模糊核，对所述还原图像进行去模糊处理，得到所述重建图像。
16.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括图像退化指令，所述第一参数包括图像退化参数；所述第二指令包括图像增强指令，所述第二参数包括图像增强参数；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述图像增强指令和所述图像增强参数，对所述还原图像进行所述图像增强，得到所述重建图像。
17.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括图像分离指令和第一后阶段处理指令，所述第一参数包括与所述图像分离指令对应的图像分离参数和与所述第一后阶段处理指令对应的第一后阶段处理参数；
所述第二指令包括所述图像分离指令的反向指令和所述第一后阶段处理指令的反向指令，所述第二参数包括与所述图像分离指令的反向指令对应的所述图像分离参数的反向参数和与所述第一后阶段处理指令的反向指令对应的所述第一后阶段处理参数的反向参数；
所述还原图像包括还原边缘图像和还原纹理图像；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述第一后阶段处理指令的反向指令和所述第一后阶段处理参数的反向参数，对所述还原边缘图像和所述还原纹理图像均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到待重建边缘图像和待重建纹理图像；
按照所述图像分离指令的反向指令和所述图像分离参数的反向参数，对所述待重建边缘图像和所述待重建纹理图像进行图像融合，得到所述重建图像。
18.根据权利要求12所述的图像处理方法，其特征在于，所述第一指令包括图像分割指令和第二后阶段处理指令，所述第一参数包括与所述图像分割指令对应的分割类别和与所述第二后阶段处理指令对应的第二后阶段处理参数；
所述第二指令包括所述图像分割指令的反向指令和所述第二后阶段处理指令的反向指令，所述第二参数包括与所述第二后阶段处理指令的反向指令对应的所述第二后阶段处理参数的反向参数；
所述还原图像包括多个还原图像区域及每个所述还原图像区域的位置坐标；
所述按照所述第二指令和所述第二参数，对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像的步骤，包括：
按照所述第二后阶段处理指令的反向指令和所述第二后阶段处理参数的反向参数，对每个所述还原图像区域均进行全局缩放的反向处理、自适应缩放的反向处理、去模糊处理以及图像增强中的至少一种，得到每个所述还原图像区域对应的待重建图像区域；
按照所述图像分割指令的反向指令和每个所述还原图像区域的位置坐标，对多个待重建图像区域进行拼接，得到所述重建图像。
19.根据权利要求10-18任一项所述的图像处理方法，其特征在于，所述深度学习图像解压缩框架包括第二深度神经网络、反量化模型和熵解码模型；
所述利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像的步骤，包括：
利用所述熵解码模型对所述压缩数据进行熵解码，得到压缩特征；
利用所述反量化模型对所述压缩特征进行反量化，得到浮点数图像特征；
利用所述第二深度神经网络对所述浮点数图像特征进行还原，得到所述还原图像。
20.根据权利要求10-18任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
利用超分辨率算法、去模糊算法、去雾算法以及去噪算法中的至少一种对所述重建图像进行处理，以改善所述重建图像的视觉效果。
21.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取原始图像；
响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；
按照所述目标策略，对所述原始图像进行预处理，得到待压缩图像；
利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据；
利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；
获得所述目标策略对应的反向策略；
按照反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
22.一种图像处理装置，其特征在于，所述图像处理装置包括：
图像获取模块，用于获取原始图像；
响应模块，用于响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；
预处理模块，用于按照预设策略，对所述原始图像进行预处理，得到待压缩图像；
压缩模块，用于利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据，其中，所述压缩数据用于通过预设的深度学习图像解压缩框架进行解压缩得到还原图像，所述还原图像用于基于所述预设策略的反向策略进行所述预处理的反向处理得到与所述原始图像对应的重建图像。
23.一种图像处理装置，其特征在于，所述图像处理装置包括：
序列获得模块，用于获得压缩数据，其中，所述压缩数据为利用预设的深度学习图像压缩框架对待压缩图像进行压缩得到，所述待压缩图像为按照目标策略对原始图像进行预处理得到，所述目标策略是响应对所述原始图像的操作从多个预设策略中确定出的，至少两个所述预设策略对应的所述压缩数据的码率不同；
解压缩模块，用于利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；
反向策略获得模块，用于获得所述目标策略对应的反向策略；
后处理模块，用于按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
24.一种图像处理装置，其特征在于，所述图像处理装置包括：
图像获取模块，用于获取原始图像；
响应模块，用于响应对原始图像的操作，从多个预设策略中确定出目标策略，其中，至少两个所述预设策略对应的压缩数据的码率不同；
预处理模块，用于按照预设策略，对所述原始图像进行预处理，得到待压缩图像；
压缩模块，用于利用预设的深度学习图像压缩框架对所述待压缩图像进行压缩，得到所述压缩数据；
解压缩模块，利用预设的深度学习图像解压缩框架对所述压缩数据进行解压缩，得到还原图像；
反向策略获得模块，用于获得所述目标策略对应的反向策略；
后处理模块，用于按照所述反向策略对所述还原图像进行所述预处理的反向处理，得到与所述原始图像对应的重建图像。
25.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-9任一项所述的图像处理方法，或者，如权利要求10-20任一项所述的图像处理方法，或者，如权利要求21所述的图像处理方法。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9任一项所述的图像处理方法，或者，如权利要求10-20任一项所述的图像处理方法，或者，如权利要求21所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120792.1A CN113313774A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、电子设备及存储介质 |
| PCT/CN2020/128207 WO2021169408A1 (zh) | 2020-02-26 | 2020-11-11 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010120792.1A CN113313774A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313774A true CN113313774A (zh) | 2021-08-27 |
Family
ID=77370010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010120792.1A Pending CN113313774A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113313774A (zh) |
| WO (1) | WO2021169408A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962867A (zh) * | 2021-12-22 | 2022-01-21 | 深圳思谋信息科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN114245141A (zh) * | 2021-11-30 | 2022-03-25 | 慧之安信息技术股份有限公司 | 一种基于深度学习的视频码流压缩方法和装置 |
| CN114627143A (zh) * | 2021-10-12 | 2022-06-14 | 深圳宏芯宇电子股份有限公司 | 一种图像处理方法、装置、终端设备和可读存储介质 |
| CN114866782A (zh) * | 2022-03-21 | 2022-08-05 | 上海工程技术大学 | 一种基于深度变维码率控制的视频图像处理方法 |
| TWI812003B (zh) * | 2022-02-10 | 2023-08-11 | 宏正自動科技股份有限公司 | 影像預覽方法及預覽系統 |
| WO2024008147A1 (en) * | 2022-07-07 | 2024-01-11 | Douyin Vision (Beijing) Co., Ltd. | System and method for learned image compression with pre-processing |
| CN114866782B (zh) * | 2022-03-21 | 2024-05-31 | 上海工程技术大学 | 一种基于深度变维码率控制的视频图像处理方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116916034B (zh) * | 2022-07-21 | 2024-05-10 | 澳门大学 | 基于safd的图像处理方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6798914B1 (en) * | 1999-05-07 | 2004-09-28 | Galaxy Ip Source, Llc | Neural-network-based method of image compression |
| CN109495741B (zh) * | 2018-11-29 | 2023-03-31 | 四川大学 | 基于自适应下采样和深度学习的图像压缩方法 |
| CN110321769B (zh) * | 2019-03-25 | 2022-06-17 | 浙江工业大学 | 一种多尺寸货架商品检测方法 |
| CN110730347A (zh) * | 2019-04-24 | 2020-01-24 | 合肥图鸭信息科技有限公司 | 图像压缩方法、装置及电子设备 |
-
2020
- 2020-02-26 CN CN202010120792.1A patent/CN113313774A/zh active Pending
- 2020-11-11 WO PCT/CN2020/128207 patent/WO2021169408A1/zh active Application Filing
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627143A (zh) * | 2021-10-12 | 2022-06-14 | 深圳宏芯宇电子股份有限公司 | 一种图像处理方法、装置、终端设备和可读存储介质 |
| CN114245141A (zh) * | 2021-11-30 | 2022-03-25 | 慧之安信息技术股份有限公司 | 一种基于深度学习的视频码流压缩方法和装置 |
| CN114245141B (zh) * | 2021-11-30 | 2022-07-15 | 慧之安信息技术股份有限公司 | 一种基于深度学习的视频码流压缩方法和装置 |
| CN113962867A (zh) * | 2021-12-22 | 2022-01-21 | 深圳思谋信息科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113962867B (zh) * | 2021-12-22 | 2022-03-15 | 深圳思谋信息科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| TWI812003B (zh) * | 2022-02-10 | 2023-08-11 | 宏正自動科技股份有限公司 | 影像預覽方法及預覽系統 |
| CN114866782A (zh) * | 2022-03-21 | 2022-08-05 | 上海工程技术大学 | 一种基于深度变维码率控制的视频图像处理方法 |
| CN114866782B (zh) * | 2022-03-21 | 2024-05-31 | 上海工程技术大学 | 一种基于深度变维码率控制的视频图像处理方法 |
| WO2024008147A1 (en) * | 2022-07-07 | 2024-01-11 | Douyin Vision (Beijing) Co., Ltd. | System and method for learned image compression with pre-processing |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021169408A1 (zh) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Learning convolutional networks for content-weighted image compression | |
| Theis et al. | Lossy image compression with compressive autoencoders | |
| CN113313774A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Cheng et al. | Energy compaction-based image compression using convolutional autoencoder | |
| Zhang et al. | Compression artifact reduction by overlapped-block transform coefficient estimation with block similarity | |
| US7136536B2 (en) | Adaptive filter | |
| Liu et al. | Data-driven soft decoding of compressed images in dual transform-pixel domain | |
| Cheng et al. | Performance comparison of convolutional autoencoders, generative adversarial networks and super-resolution for image compression | |
| CN111630570A (zh) | 图像处理方法、设备及计算机可读存储介质 | |
| Zhao et al. | Learning a virtual codec based on deep convolutional neural network to compress image | |
| EP2145476B1 (en) | Image compression and decompression using the pixon method | |
| KR20070053098A (ko) | 복호화 장치, 역양자화 방법 및 이들의 프로그램 | |
| Zhang et al. | Ultra high fidelity deep image decompression with l∞-constrained compression | |
| CN116547969A (zh) | 基于机器学习的图像译码中色度子采样格式的处理方法 | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| Xing et al. | Scale-arbitrary invertible image downscaling | |
| Guleryuz et al. | Sandwiched Image Compression: Increasing the resolution and dynamic range of standard codecs | |
| Fu et al. | Learned image compression with generalized octave convolution and cross-resolution parameter estimation | |
| CN112714313A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN116508320A (zh) | 基于机器学习的图像译码中的色度子采样格式处理方法 | |
| Zhuang et al. | A robustness and low bit-rate image compression network for underwater acoustic communication | |
| Miklós et al. | Analysis and improvement of JPEG compression performance using custom quantization and block boundary | |
| Zhang et al. | Multi-domain residual encoder–decoder networks for generalized compression artifact reduction | |
| Marsh et al. | Removal of Blocking Artifacts from JPEG-Compressed Images Using a Neural Network | |
| Amaranageswarao et al. | Blind compression artifact reduction using dense parallel convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |