CN113079378A - 图像处理方法、装置和电子设备 - Google Patents

图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN113079378A
CN113079378A CN202110407834.4A CN202110407834A CN113079378A CN 113079378 A CN113079378 A CN 113079378A CN 202110407834 A CN202110407834 A CN 202110407834A CN 113079378 A CN113079378 A CN 113079378A
Authority
CN
China
Prior art keywords
frequency
low
information
feature map
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110407834.4A
Other languages
English (en)
Other versions
CN113079378B (zh
Inventor
徐誉萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110407834.4A priority Critical patent/CN113079378B/zh
Publication of CN113079378A publication Critical patent/CN113079378A/zh
Application granted granted Critical
Publication of CN113079378B publication Critical patent/CN113079378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像处理方法、装置和电子设备，在方法中，计算目标图像的第一高频特征图和第一低频特征图，对第一高频特征图和第一低频特征图进行处理，将得到的第一目标高频特征图和第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，将第一目标高频特征图输入第一上下文模型，得到第三信息，根据第一信息和第三信息计算高频熵参数，使用高频熵参数对第一目标高频特征图进行熵编码得到高频码流，将第一目标低频特征图输入第二上下文模型，得到第四信息；根据第二信息以及第四信息计算低频熵参数，使用低频熵参数对第一目标低频特征图进行熵编码得到低频码流。本申请能够达到更好的图像压缩性能。

Description

图像处理方法、装置和电子设备
技术领域
本申请涉及图像压缩技术领域，特别涉及一种图像处理方法、装置和电子设备。
背景技术
图像压缩，也称为图像编码或者图像压缩编码，是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输图像数据。另外，在传统的视频编码系统中也需要用到图像压缩技术。对于视频数据来说，一帧图像内临近像素之间有着较强的空间相关性，即空域冗余；相邻图像之间也有很强的相关性，即时域冗余。几乎所有的视频编码标准都支持I帧，这一帧可以不依赖临近参考帧使用帧内预测进行独立编解码。此外，研究表明，P帧和B帧中也有少数比例(1％～3％)的宏块采用了帧内预测模式。上述帧内预测也即是图像压缩，对于视频数据的存储和传输同样重要。
如何在图像压缩时达到更好的压缩性能，是要解决的问题。
发明内容
本申请提供了一种图像处理方法、装置和电子设备，能够达到更好的图像压缩性能。
第一方面，本申请实施例提供一种图像处理方法，包括：
计算目标图像的第一高频特征图和第一低频特征图；
使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数；
将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息；
将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息；根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流；
将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流。
在一种可能的实现方式中，如果m为1，所述使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述卷积模块将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；
所述卷积模块将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
在一种可能的实现方式中，如果m是大于1的自然数，所述使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述m个卷积模块串联；对于第2个卷积模块至第m个卷积模块，每个卷积模块将前一个卷积模块输出的第一目标高频特征图和第一目标低频特征图分别作为该卷积模块的第一高频特征图和第一低频特征图进行处理；
所述m个卷积模块中的每个所述卷积模块执行以下处理步骤：
将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；
将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
在一种可能的实现方式中，所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行步伐为第五数值的下采样；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行步伐为第六数值的下采样；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：将所述第三高频特征图输入步伐为第七数值的第三卷积层；
所述对所述第四低频特征图进行低频特征提取，包括：将所述第四低频特征图输入步伐为第八数值的第四卷积层；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行滤波处理；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行滤波处理。
在一种可能的实现方式中，所述第五数值大于1，所述将所述第一高频特征图短路连接后得到第五高频特征图，包括：
将所述第一高频特征图输入步伐为第五数值的第二下采样卷积层，得到所述第五高频特征图。
在一种可能的实现方式中，所述第六数值大于1，所述将所述第一低频特征图短路连接后得到第六低频特征图，包括：
将所述第一低频特征图输入步伐为第六数值的第三下采样卷积层，得到所述第六低频特征图。
在一种可能的实现方式中，还包括：将所述第一目标高频特征图输入信息交换层，得到第五信息，所述第五信息是高频特征信息；所述信息交换层用于提取所述第一目标高频特征图中的信息；
所述根据所述第二信息、以及所述第四信息计算低频熵参数，包括：
根据所述第二信息、所述第四信息以及所述第五信息计算低频熵参数。
在一种可能的实现方式中，所述将所述第一目标高频特征图输入信息交换层，得到第五信息，包括：
将所述第一目标高频特征图输入步伐为第九数值的第四下采样卷积层，得到所述第五信息。
在一种可能的实现方式中，还包括：对所述第一目标高频特征图进行量化处理，得到第二目标高频特征图；
所述将所述第一目标高频特征图输入第一上下文模型，得到第三信息，包括：将所述第二目标高频特征图输入所述第一上下文模型，得到所述第三信息；和/或，
所述使用所述高频熵参数对所述第一目标高频特征图进行熵编码，包括：使用所述高频熵参数对所述第二目标高频特征图进行熵编码。
在一种可能的实现方式中，还包括：对所述第一目标低频特征图进行量化处理，得到第二目标低频特征图；
所述将所述第一目标低频特征图输入第二上下文模型，得到第四信息，包括：将所述第二目标低频特征图输入第二上下文模型，得到所述第四信息；和/或，
所述使用所述低频熵参数对所述第一目标低频特征图进行熵编码，包括：使用所述低频熵参数对所述第二目标低频特征图进行熵编码。
第二方面，本申请实施例提供一种图像处理方法，包括：
获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流；
将所述高频边信息码流和所述低频边信息码流输入超先验模型，得到第六信息和第七信息；所述第六信息是高频特征信息，所述第七信息是低频特征信息；
依次获取所述高频码流中每一位数字的上文元素，将所述数字的上文元素输入第一上下文模型，得到第八信息，所述第八信息是高频特征信息；根据所述第六信息和所述第八信息计算高频熵参数；根据所述高频熵参数进行所述数字的解码，得到所述目标图像的第七高频特征图；
依次获取所述低频码流中每一位数字的上文元素，将所述数字的上文元素输入第二上下文模型，得到第十信息，所述第十信息是低频特征信息；根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数，使用所述低频熵参数对所述数字进行解码，得到所述目标图像的第七低频特征图；
使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；
根据所述目标图像的第三目标高频特征图和第三目标低频特征图重建所述目标图像。
在一种可能的实现方式中，如果n为1，所述使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，包括：
将所述第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；
将所述第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
在一种可能的实现方式中，如果n是大于1的自然数，所述使用n个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述n个卷积模块串联；对于第2个卷积模块至第n个卷积模块，每个卷积模块将前一个卷积模块输出的第三目标高频特征图和第三目标低频特征图分别作为该卷积模块的第七高频特征图和第七低频特征图进行处理；
所述n个卷积模块中的每个所述卷积模块执行以下处理步骤：
将第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；
将第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
在一种可能的实现方式中，所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行步伐为第十数值的上采样；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行步伐为第十一数值的上采样；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：将所述第三高频特征图输入步伐为第十二数值的第三卷积层；
所述对所述第四低频特征图进行低频特征提取，包括：将所述第四低频特征图输入步伐为第十三数值的第四卷积层；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行滤波处理；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行滤波处理。
在一种可能的实现方式中，所述第十数值大于1，所述将所述第一高频特征图短路连接后得到第五高频特征图，包括：
将所述第一高频特征图输入步伐为第十数值的第二上采样卷积层，得到所述第五高频特征图。
在一种可能的实现方式中，所述第十一数值大于1，所述将所述第一低频特征图短路连接后得到第六低频特征图，包括：
将所述第一低频特征图输入步伐为第十一数值的第三上采样卷积层，得到所述第六低频特征图。
在一种可能的实现方式中，还包括：将所述第七高频特征图输入信息交换层，得到第九信息，所述第九信息是高频特征信息；所述信息交换层用于提取所述第八高频特征图中的信息；
所述根据所述第七信息、以及所述第十信息计算低频熵参数，包括：根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数。
在一种可能的实现方式中，所述将所述第七高频特征图输入信息交换层，得到第九信息，包括：
将所述第七高频特征图输入步伐为第十四数值的第五下采样卷积层，得到所述第九信息。
第三方面，本申请实施例提供一种图像处理装置，包括：
第一计算单元，用于计算目标图像的第一高频特征图和第一低频特征图；
第二计算单元，用于使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数；
第一处理单元，用于将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息；
第二处理单元，用于将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息；
第一编码单元，用于根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流；
第三处理单元，用于将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；
第二编码单元，用于根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流。
第四方面，本申请实施例提供一种图像处理装置，包括：
获得单元，用于获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流；
第一处理单元，用于将所述高频边信息码流和所述低频边信息码流输入超先验模型，得到第六信息和第七信息；所述第六信息是高频特征信息，所述第七信息是低频特征信息；
第二处理单元，用于依次获取所述高频码流中每一位数字的上文元素，将所述数字的上文元素输入第一上下文模型，得到第八信息，所述第八信息是高频特征信息；
第一解码单元，用于根据所述第六信息和所述第八信息计算高频熵参数；根据所述高频熵参数进行所述数字的解码，得到所述目标图像的第七高频特征图；
第三处理单元，用于将所述第七高频特征图输入信息交换层，得到第九信息，所述第九信息是高频特征信息；所述信息交换层用于提取所述第七高频特征图中的信息；依次获取所述低频码流中每一位数字的上文元素，将所述数字的上文元素输入第二上下文模型，得到第十信息，所述第十信息是低频特征信息；
第二解码单元，用于根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数，使用所述低频熵参数对所述数字进行解码，得到所述目标图像的第七低频特征图；
第四处理单元，用于使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；
重建单元，用于根据所述目标图像的第三目标高频特征图和第三目标低频特征图重建所述目标图像。
第五方面，本申请实施例提供一种电子设备，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行第一方面到第三方面任一项所述的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面到第三方面任一项所述的方法。
第七方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面所述的方法。
在一种可能的设计中，第七方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
本申请实施例提供的图像处理方法中，计算目标图像的第一高频特征图和第一低频特征图，使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图，m是自然数，将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息，将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息，根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流，将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流，从而将目标图像的高频信息和低频信息分开处理，可以在保证图像质量的情况下减少低频特征图的冗余，达到更好的图像压缩性能。
附图说明
图1为卷积层计算过程示例图；
图2为图像自编解码器示例图；
图3A和图3B为卷积模块OctConv原理示意图；
图4A为本申请卷积模块OctRes实现方法的流程图；
图4B为本申请卷积模块结构示例图；
图5为本申请图像处理方法一个实施例的流程图；
图6为本申请图像处理方法另一个实施例的流程图；
图7为本申请图像编解码流程示例图；
图8为本申请图像处理装置一个实施例的结构示意图；
图9为本申请图像处理装置另一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
首先对本申请实施例中涉及的名词进行示例性而非限定性的说明。
卷积神经网络(Convolutional Neural Network，CNN)：
卷积神经网络是一种前馈神经网络，是深度学习技术中极具代表的网络结构之一，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构可采用sigmoid函数、ReLU函数等作为卷积网络的激活函数。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。
CNN相较于传统的图像处理算法的优点之一在于，避免了对图像复杂的前期预处理过程例如提取人工特征等，可以直接输入原始图像，进行端到端的学习。CNN相较于传统的神经网络的优点之一在于，传统的神经网络都是采用全连接的方式，即输入层到隐藏层的神经元都是全部连接的，这样做将导致参数量巨大，使得网络训练耗时甚至难以训练，而CNN则通过局部连接、权值共享等方法避免了这一困难。
CNN中最基础的操作就是卷积(convolution)，假设单一通道输入图像的空间坐标为(x，y)，卷积核大小是p×q，kernel权重为ω，图像亮度值是υ，卷积过程就是kernel所有权重与其在输入图像上对应元素亮度之和，可以表示为:
Figure BDA0003023006940000081
卷积层计算过程可以用一个例子来说明，如图1所示。
此时输出的元素为：
convx，y＝105*0+102*(-1)+100*0+103*(-1)+99*5+103*(-1)+101*0+98*(-1)+104*0＝89
kernel随(x,y)平移扫描计算，当使用零填充的时候(zero padding)，若kernel每次移动步伐为1，那输出图像的大小就与输入图像相同；若kernel每次移动步伐为2，则输出图像的大小是输入图像的一半，即完成了一次步伐为2的卷积层下采样操作。
率失真优化(Rate-Distortion Optimized)：
评价编码效率有两大指标：码率和失真。比特流越小，则压缩率越大；失真越小，重建图像质量越好。在模式选择的时候，判别公式实质上也就是对二者的综合评价。
训练网络模型时使用的损失函数为：L＝λ*D+R。其中，D表示Distortion，通常使用MSE指标来衡量，MSE是指重建图与源图像的差值均方和；λ是拉格朗日乘子；R就是该模式下图像块编码所需的实际比特数，包括潜在表示和边信息等所需的比特总和。
潜在表示(Latent Representation)：
自编码器是一种网络类型，经典的图像自编码器接收一张图像，通过一个编码器模块将其映射到潜在向量空间，然后再通过一个解码器模块将其解码为与原始图像具有相同尺寸的输出。潜在空间是深度学习的核心，能够简化数据表示的同时学习数据的特性。图像被映射压缩到低维的潜在空间生成的稀疏特征图叫潜在表示。
上下文模型(Context Model)：
上下文模型于2018年引入图像压缩网络中，是一种像素级别的预测，其思想是通过已有的像素值，预测在下一个像素点位置的不同像素值出现的概率，与超先验模型形成相辅相成强化熵编码的概率估计计算，减少图像局部空间冗余。
边信息(Side Information)：
狭义的边信息指的是在信源编码中，利用已有的信息Y辅助对信息X进行编码，可以使得信息X的编码长度更短。广义的边信息可以理解为使用已有的某种先验知识来辅助达到某一种目的。
目前，传统的图像编解码器中各个模块是分别手动优化率失真性能的。直观来说，如果能将编解码器作为一个整体优化，可以取得更好的性能。因此，能够整体自动学习与优化的神经网络被引入图像编解码领域。为达到更低码率和更高性能，近些年来基于深度学习的端到端图像压缩网络飞速发展，许多深度学习技术都被应用到此领域并且取得了优秀的成果，其中包括超先验模型、上下文模型和注意力模型等。
在一个实例中，如图2所示是基于变分思想的图像自编解码器，主要由三部分组成：分析变换编码器210、合成变换解码器220、以及超先验子网络230。此外，还包含量化及算数编解码器240。其中，分析变换编码器210作为图像特征变换器，作用是把原始图片I经过卷积计算和下采样压缩成分辨率较小的潜在特征图，即映射到稀疏空间Z，分析变换编码器210产生的潜在特征图会经过量化和算术编码编成码流；合成变换解码器220的作用是将空间Z反映射到图像的像素预空间，形成重建图像
Figure BDA0003023006940000091
超先验子网络230的作用是估算量化后的潜在特征图的概率模型的参数，通过将稀疏空间Z进一步映射到稀疏空间h，再根据稀疏空间h形成高斯分布概率的方差σ；算术编码器根据高斯分布模型N(σ)形成概率分布表，对稀疏空间Z进行压缩。
但是，以上的图像自编解码器中，因为将图像的高低频信息混在一起进行处理和编码，所以压缩性能相对较差。
在一个实例中，在图2所示结构的基础上增加模块来提升网络性能，其中包括一个即插即用的卷积模块OctConv(Octave Convolution)，此模块可以在提高精度的同时，减少特征图的空间冗余，节约计算资源的消耗。如图3A所示，该卷积模块OctConv能够将图像分解为低空间频率信息和高空间频率信息两部分，卷积模块OctConv中卷积层的输出特征映射也可以分解为不同空间频率的特征，并提出了一种新的多频特征表示方法，用一个系数α将高频和低频特征映射存储到不同的组XH和XL中，他们分别代表特征图的高频分量和低频分量。由于低频特征图相邻位置间相关性较强，通过相邻位置间的信息共享，可以安全降低低频组的空间分辨率至原来的一半，以减少特征图的空间冗余进而减少码率。并且在卷积过程中，除了相同频率之间的计算与更新之外，频率之间也会进行信息交换，以确保高低频信息的有效性，保证了压缩后重建图的图像质量。OctConv卷积模块的算法结构如图3B所示，虚线箭头代表相同频率间信息更新卷积，实线箭头代表不同频率间信息交换的卷积，α代表低频特征图所占的比例。高频输出和低频输出由虚线箭头和实线箭头的输出相加得到。为保证高低频信息分离的有效性和准确性，卷积过程中低频特征图的分辨率是高频特征图分辨率的一半，促使卷积模块学习到将更值得保留的空间信息放在高频特征图，而将可以舍弃的冗余信息放到低频特征图中。
但是，图3A和图3B所示的卷积模块，因为在下采样时会不经筛选地丢失过多有用信息，造成图像的失真增大，所以压缩性能仍然存在改进空间。
为此，本申请实施例提供一种图像处理方法、装置和电子设备，能够提高图像的压缩性能。
本申请实施例中提供一种新的卷积模块的结构，以下将该卷积模块称为卷积模块OctRes。该卷积模块能够对目标图像的高频特征图和低频特征图进行处理，得到目标高频特征图和目标低频特征图，上述目标高频特征图和目标低频特征图相对于上述OctConv卷积模块计算得到的高频特征图和低频特征图具有更好的压缩性能。
目标图像是指确定要处理的图像。
目标图像的高频特征图和低频特征图可以是将目标图像输入上述的卷积模块OctConv得到的高频特征图和低频特征图；或者，也可以是对目标图像的码流进行解码后得到的目标图像的高频特征图和低频特征图。
高频特征图是根据图像中高频信息生成的特征图，低频特征图是根据图像中低频信息生成的特征图。高频特征图的分辨率与图像的分辨率可以相同，低频特征图的分辨率一般低于图像的分辨率。
图4A以卷积模块OctRes的处理对象是第一高频特征图和第一低频特征图为例，示出了卷积模块OctRes执行的处理流程，可以包括：
步骤401：将第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据第二高频特征图和第二低频特征图计算得到第三高频特征图。
其中，第二高频特征图
Figure BDA0003023006940000101
可以通过以下公式计算得到：
Figure BDA0003023006940000102
其中，f表示卷积层计算，Φ表示卷积层f的参数，XH表示第一高频特征图。
其中，第二低频特征图
Figure BDA0003023006940000103
可以通过以下公式计算得到：
Figure BDA0003023006940000104
其中，f表示卷积层计算，Φ表示卷积层f的参数，sk2↑表示步伐为第二数值的上采样。
第三高频特征图
Figure BDA0003023006940000105
可以通过第二高频特征图
Figure BDA0003023006940000106
和第二低频特征图
Figure BDA0003023006940000107
相加得到，公式如下：
Figure BDA0003023006940000108
其中，第一数值可以为1，第二数值可以为2。
步骤402：对第三高频特征图进行高频特征提取，得到第四高频特征图；将第一高频特征图短路连接(Shortcut Connection)后得到第五高频特征图；根据第四高频特征图和第五高频特征图计算得到目标图像的目标高频特征图。
其中，对第三高频特征图进行高频特征提取，可以包括：
对第三高频特征图进行步伐为第五数值的下采样；或者，
对第三高频特征图进行步伐为第十数值的上采样；或者，
将第三高频特征图输入步伐为预设数值的第三卷积层；或者，
对第三高频特征图进行滤波处理。
其中，对第三高频特征图进行步伐为第五数值的下采样，可以通过将第三高频特征图输入步伐为第五数值的下采样卷积层实现，也可以通过池化、插值下采样等方式实现。
对第三高频特征图进行步伐为第十数值的上采样，可以通过将第三高频特征图输入步伐为第十数值的下采样卷积层实现，也可以通过插值上采样等方式实现。
其中，短路连接后得到的第五高频特征图应该和第四高频特征图具有相同的分辨率，因此，如果本步骤中对第三高频特征图进行高频特征提取通过上采样或者下采样实现，上述上采样或者下采样的步伐数(第五数值或者第十数值)是1，该短路连接可以不对第一高频特征图进行处理，也即第五高频特征图与第一高频特征图相同，如果本步骤中上述上采样或者下采样的步伐数(第五数值或者第十数值)大于1，该短路连接可以是相同步伐数的卷积层，具体的，如果对第三高频特征图进行步伐为第五数值的下采样，则该短路连接可以是步伐为第五数值的下采样卷积层，如果对第三高频特征图进行步伐为第十数值的上采样，则该短路连接可以是步伐为第十数值的上采样卷积层。
以对第三高频特征图进行高频特征提取通过对第三高频特征图进行步伐为第五数值的下采样实现为例：
如果第五数值大于1，第四高频特征图
Figure BDA0003023006940000111
可以通过以下公式计算得到：
Figure BDA0003023006940000112
其中，f表示卷积层计算，Φ表示卷积层f的参数，sk5↓表示步伐为第五数值的下采样。
如果第五数值为1，第四高频特征图
Figure BDA0003023006940000113
可以通过以下公式计算得到：
Figure BDA0003023006940000114
其中，f表示卷积层计算，Φ表示卷积层f的参数。
如果第五数值大于1，第五高频特征图
Figure BDA0003023006940000115
可以通过以下公式计算得到：
Figure BDA0003023006940000116
其中，fshortcut表示短路连接，Φ表示卷积层f的参数。
如果第五数值为1，第五高频特征图
Figure BDA0003023006940000117
可以通过以下公式计算得到：
Figure BDA0003023006940000118
其中，fshortcut表示短路连接。
目标高频特征图YH可以通过第四高频特征图
Figure BDA0003023006940000119
和第五高频特征图
Figure BDA00030230069400001110
相加得到，公式如下：
Figure BDA00030230069400001111
步骤403：将第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据第三低频特征图和第六高：频特征图计算得到第四低频特征图。
其中，第三低频特征图Y3 L可以通过以下公式计算得到：
Figure BDA00030230069400001112
其中，f表示卷积层计算，Φ表示卷积层f的参数，XL表示第一低频特征图。
其中，第六高频特征图
Figure BDA00030230069400001113
可以通过以下公式计算得到：
Figure BDA00030230069400001114
其中，f表示卷积层计算，Φ表示卷积层f的参数，sk4↓表示步伐为第四数值的下采样。
第四低频特征图
Figure BDA00030230069400001115
可以通过第三低频特征图和第六高频特征图相加得到，公式如下：
Figure BDA00030230069400001116
其中，第三数值可以为1，第四数值可以为2。
步骤404：对第四低频特征图进行低频特征提取，得到第五低频特征图；将第一低频特征图短路连接后得到第六低频特征图；根据第五低频特征图和第六低频特征图计算得到目标图像的目标低频特征图。
其中，对第四低频特征图进行低频特征提取，可以包括：
对第四低频特征图进行步伐为第六数值的下采样；或者，
对第四低频特征图进行步伐为第十一数值的上采样；或者，
将第四低频特征图输入步伐为预设数值的第四卷积层；或者，
对第四低频特征图进行滤波处理。
其中，上述的下采样可以通过下采样卷积层、池化、插值下采样等方式实现；上述上采样可以通过上采样卷积层、插值上采样等方式实现。
需要说明的是，如果步骤402中对第三高频特征图进行高频特征提取通过下采样实现，本步骤中对第四低频特征图进行低频特征提取，一般通过下采样、输入卷积层、或者滤波处理等方式实现，如果步骤402中对第三高频特征图进行高频特征提取通过上采样实现，本步骤中对第四低频特征图进行低频特征提取，一般通过上采样、输入卷积层、或者滤波处理等方式实现。
其中，短路连接后得到的第六低频特征图应该和第五低频特征图具有相同的分辨率，因此，如果本步骤中对第四低频特征图进行低频特征提取通过上采样或者下采样实现，上述上采样或者下采样的步伐数(第六数值或者第十一数值)是1，该短路连接可以不对第一低频特征图进行处理，也即第六低频特征图与第一低频特征图相同，如果本步骤中上述上采样或者下采样的步伐数(第六数值或者第十一数值)大于1，该短路连接可以是相同步伐的卷积层，具体的，如果对第四低频特征图进行步伐为第六数值的下采样，则该短路连接可以是第六数值的下采样卷积层，如果对第四低频特征图进行步伐为第十一数值的上采样，则该短路连接可以是步伐为第十一数值的上采样卷积层。
以对第四低频特征图进行低频特征提取通过对第四低频特征图进行步伐为第六数值的下采样实现为例：
如果第六数值大于1，第五低频特征图
Figure BDA0003023006940000121
可以通过以下公式计算得到：
Figure BDA0003023006940000122
其中，f表示卷积层计算，Φ表示卷积层f的参数，sk6↓表示步伐为第六数值的下采样。
如果第六数值为1，第五低频特征图
Figure BDA0003023006940000123
可以通过以下公式计算得到：
Figure BDA0003023006940000124
其中，f表示卷积层计算，Φ表示卷积层f的参数。
如果第六数值大于1，第六低频特征图
Figure BDA0003023006940000125
可以通过以下公式计算得到：
Figure BDA0003023006940000126
其中，fshortcut表示短路连接，Φ表示卷积层f的参数。
如果第六数值为1，第六低频特征图
Figure BDA0003023006940000127
可以通过以下公式计算得到：
Figure BDA0003023006940000128
其中，fshortcut表示短路连接。
目标高频特征图YL可以通过第五低频特征图和第六低频特征图相加得到，公式如下：
Figure BDA0003023006940000129
其中，步骤401～步骤402与步骤403～步骤404之间的执行顺序不限制。
可选地，第三数值和第六数值相同。
图4A所示的卷积模块OctRes在神经网络中可以作为即插即用的通用卷积模块，直接替换传统卷积层，不需要对网络进行任何调整即可达到更佳性能。同时可以在保证图像质量的情况下减少低频组特征图的冗余进而降低码率。
图4A所示的卷积模块OctRes，如果对第三高频特征图进行步伐大于1的下采样，对第四低频特征图进行步伐大于1的下采样，则该方法可以实现图像压缩，如果对第三高频特征图进行步伐大于1的上采样，对第四低频特征图进行步伐大于1的上采样，则该方法可以实现图像解压缩。
参见图4B所示，示出了图4A所示卷积模块OctRes作为通用卷积模块的一种可能的实现结构。其中，第一数值和第三数值为1，第二数值、第四数值均为2，对第三高频特征图进行步伐为2的下采样，对第四低频特征图进行步伐为2的下采样，虚线箭头表示短路连接。该通用卷积模块可以实现图像压缩。
本申请实施例提供一种图像处理方法，能够将图像数据转换成码流，如图5所示，该方法可以包括：
步骤501：确定目标图像的第一高频特征图和第一低频特征图。
本步骤中，可以将目标图像输入前述的卷积模块OctConv，得到第一高频特征图和第一低频特征图。
步骤502：使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数。
本步骤可以通过串联的m个前述的卷积模块OctRes对第一高频特征图和第一低频特征图进行处理，得到目标图像的第二目标高频特征图和第二目标低频特征图。串联的卷积模块OctRes1的数量本申请实施例不作限定。上述的卷积模块OctRes中，对第三高频特征图进行下采样、或者将其输入卷积层、或者进行滤波处理，对第四低频特征图进行下采样、或者将其输入卷积层、或者进行滤波处理，以下将该卷积模块称为卷积模块OctRes1。
在一种可能的实现方式中，串联的卷积模块OctRes1的数量为奇数，位于奇数位置的卷积模块OctRes1中对第三高频特征图和第四低频特征图分别进行步伐为2的下采样，也即降低第三高频特征图和第四低频特征图的分辨率，位于偶数位置的卷积模块OctRes1中可以对第三高频特征图和第四低频特征图分别进行步伐为1的下采样，或者将其输入卷积层，或者进行滤波处理，也即不降低第三高频特征图和第四低频特征图的分辨率。举例来说，以串联的卷积模块OctRes1的数量是7为例，其中，第1、3、5、7个卷积模块OctRes1降低第三高频特征图和第四低频特征图的分辨率，第2、4、6个卷积模块OctRes1不降低第三高频特征图和第四低频特征图的分辨率。
步骤503：将第一目标高频特征图和第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，第一信息是高频特征信息，第二信息是低频特征信息。
其中，超先验模型的具体实现本申请实施例不作限定，可以参考图像编码方法中的超先验模型实现，这里不赘述。
步骤504：将第一目标高频特征图输入第一上下文模型，得到第三信息，第三信息是高频特征信息；根据第一信息和第三信息计算高频熵参数，使用高频熵参数对第一目标高频特征图进行熵编码，得到目标图像的高频码流。
其中，第一上下文模型的具体实现本申请实施例不作限定，可以参考相关技术中的上下文模型实现。区别仅在于，本步骤中输入第一上下文模型的不是目标图像的完整特征图，而是目标图像的高频特征图。在一种可能的实现方式中，第一上下文模型可以通过一个用于进行上文的卷积计算的卷积模板实现。
步骤505：将第一目标低频特征图输入第二上下文模型，得到第四信息，第四信息是低频特征信息；根据第二信息、以及第四信息计算低频熵参数，使用低频熵参数对第一目标低频特征图进行熵编码，得到目标图像的低频码流。
其中，第二上下文模型的具体实现本申请实施例不作限定，可以参考相关技术中的上下文模型实现。区别仅在于，本步骤中输入第二上下文模型的不是目标图像的完整特征图，而是目标图像的高频特征图。在一种可能的实现方式中，第二上下文模型可以通过一个用于进行上文的卷积计算的卷积模板实现。
可选地，为了降低码率，可以将高频信息引入低频熵参数的计算，此时，本步骤还可以包括：将第一目标高频特征图输入信息交换层，得到第五信息，第五信息是高频特征信息；信息交换层用于提取第二目标高频特征图中的信息。此时，本步骤中可以根据第二信息、第四信息以及第五信息计算低频熵参数。
其中，信息交换层可以通过步伐为第九数值的下采样卷积层实现，此时，将第二目标高频特征图输入信息交换层，得到第五信息，可以包括：
将第一目标高频特征图输入步伐为第九数值的第四下采样卷积层，得到第五信息。
步骤504和步骤505中，高频熵参数和低频熵参数均分别可以包括：权重ω，均值μ和方差σ，高频熵参数与第一目标高频特征图的像素位置一一对应，低频熵参数与第一目标低频特征图的像素位置一一对应。假设第一目标高频特征图和第一目标低频特征图的尺寸分别为：W×H×M、
Figure BDA0003023006940000141
则高频熵参数和低频熵参数的尺寸分别为：W×H×3M、
Figure BDA0003023006940000142
在一种可能的实现方式中，使用低频熵参数对第一目标低频特征图进行熵编码，得到目标图像的低频码流，可以包括：
根据低频熵参数计算第一目标低频特征图中每个像素的熵概率；
根据每个像素的熵概率对第一目标低频特征图进行算数熵编码。
上述每个像素的熵概率的计算公式如下：
Figure BDA0003023006940000143
以上以算数熵编码为例，但是本申请实施例并不限制熵编码的具体算法，例如还可以是香农(Shannon)编码、哈夫曼(Huffman)编码等。
可选地，为了降低数据处理量，上述图5所示的方法中还可以包括：对第一目标高频特征图进行量化处理，得到第二目标高频特征图；此时，第一上下文模型的输入、信息交换层的输入、和步骤504中熵编码的对象可以从第一目标高频特征图替换为第二目标高频特征图；
可选地，为了降低数据处理量，上述图5所示的方法中还可以包括：对所述第一目标低频特征图进行量化处理，得到第二目标低频特征图；此时，第二上下文模型的输入、和步骤505中熵编码的对象可以从第一目标低频特征图替换为第二目标低频特征图。
通过图5所示的方法，得到目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流，从而实现了目标图像从数据到码流的转换。而且上述方法中对目标图像的高频信息和低频信息分别进行编码处理，从而减少低频组特征图的冗余进而降低码率。
本申请实施例还提供一种图像处理方法，能够将图5中生成的高频码流和低频码流进行解码，得到目标图像的重建图像。如图6所示，该方法可以包括：
步骤601：获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流。
步骤602：将高频边信息码流和低频边信息码流输入超先验模型，得到第六信息和第七信息；第六信息是高频特征信息，第七信息是低频特征信息。
步骤603：依次获取高频码流中每一位数字的上文元素，将数字的上文元素输入第一上下文模型，得到第八信息，第八信息是高频特征信息；根据第六信息和第八信息计算高频熵参数；根据高频熵参数进行数字的解码，得到所述目标图像的第七高频特征图。
每一位数字的上文元素是指该位数字之前已经解码得到的数字称为该位数字的上文元素。
本步骤中根据高频熵参数进行高频码流解码的过程是上述编码过程的逆过程，可以参考相关算数熵编码的相关解码方法实现，这里不再赘述。
步骤604：依次获取低频码流中每一位数字的上文元素，将数字的上文元素输入第二上下文模型，得到第十信息，第十信息是低频特征信息；根据第七信息以及第十信息计算低频熵参数，使用低频熵参数对数字进行解码，得到目标图像的第七低频特征图。
可选地，如图5所示的过程中，计算低频熵参数使用了高频特征信息，则本步骤中可以包括：将第七高频特征图输入信息交换层，得到第九信息，第九信息是高频特征信息；信息交换层用于提取第七高频特征图中的信息；此时，本步骤中可以根据第七信息、第九信息以及第十信息计算低频熵参数。
本步骤中根据低频熵参数进行低频码流解码的过程是上述编码过程的逆过程，可以参考相关算数熵编码的相关解码方法实现，这里不再赘述。
步骤605：使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；n是自然数。
本步骤可以通过串联的n个前述的卷积模块OctRes对第七高频特征图和所述第七低频特征图进行处理，得到目标图像的第三目标高频特征图和第三目标低频特征图。串联的卷积模块OctRes的数量本申请实施例不作限定。上述的卷积模块OctRes中，对第三高频特征图进行上采样、或者将其输入卷积层、或者进行滤波处理，对第四低频特征图进行上采样、或者将其输入卷积层、或者进行滤波处理，以下将该卷积模块称为卷积模块OctRes2。
在一种可能的实现方式中，串联的卷积模块OctRes2的数量为奇数，位于奇数位置的卷积模块OctRes2中对第三高频特征图和第四低频特征图分别进行步伐为2的上采样，也即提高第三高频特征图和第四低频特征图的分辨率，位于偶数位置的卷积模块OctRes2中可以对第三高频特征图和第四低频特征图分别进行步伐为1的下采样，或者将其输入卷积层，或者进行滤波处理，也即不提高第三高频特征图和第四低频特征图的分辨率。举例来说，以串联的卷积模块OctRes2的数量是7为例，其中，第1、3、5、7个卷积模块OctRes2提高第三高频特征图和第四低频特征图的分辨率，第2、4、6个卷积模块OctRes2不提高第三高频特征图和第四低频特征图的分辨率。
步骤606：根据目标图像的第三高频特征图和第三低频特征图重建目标图像，得到目标图像的重建图像。
本步骤可以通过将第四高频特征图和所述第四低频特征图输入卷积模块OctConv，得到目标图像的重建图像。
通过图6所示的方法，可以实现对于目标图像的码流的解码处理，得到目标图像的重建图像。而且，上述方法中对目标图像的高频信息和低频信息分别进行解码处理，从而减少低频组特征图的冗余进而降低码率。
参见图7所示，示出了一种使用上述图5所示编码方法和图6所示解码方法得到的图像编解码流程示意图，其中，卷积模块OctRes1和卷积模块OctRes2的数量分别为7，且第1、3、5、7个卷积模块OctRes1对第三高频特征图和第四低频特征图分别进行步伐为2的下采样，第1、3、5、7个卷积模块OctRes2对第三高频特征图和第四低频特征图分别进行步伐为2的上采样，第2、4、6个卷积模块OctRes1和卷积模块OctRes2中对第三高频特征图和第四低频特征图分别进行步伐为1的卷积处理；虚线圈出部分为超先验模型，包括：2个卷积模块组，每个卷积模块组由3个串联的Octconv模块构成，分别是步伐为1的OctConvS1、以及2个步伐为2的下采样Octconv模块；上下文模型由针对于高频特征图的上下文模型以及针对于低频特征图的上下文模型两部分构成；具体流程可以参考图5和图6，这里不再赘述。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
图8是本申请图像处理装置一个实施例的结构图，如图8所示，该装置80可以包括：
第一计算单元81，用于计算目标图像的第一高频特征图和第一低频特征图；
第二计算单元82，用于使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数；
第一处理单元83，用于将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息；
第二处理单元84，用于将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息；
第一编码单元85，用于根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流；
第三处理单元86，用于将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；
第二编码单元87，用于根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流。
可选地，第二计算单元82可以通过一个卷积模块实现，该卷积模块用于：将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
可选地，第二计算单元82可以通过至少2个卷积模块实现，上述至少2个卷积模块串联；对于第2个卷积模块至第m个卷积模块，每个卷积模块将前一个卷积模块输出的第一目标高频特征图和第一目标低频特征图分别作为该卷积模块的第一高频特征图和第一低频特征图进行处理；
m个卷积模块中的每个所述卷积模块具体可以用于：将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
可选地，第二计算单元82具体可以用于：对所述第三高频特征图进行步伐为第五数值的下采样；对所述第四低频特征图进行步伐为第六数值的下采样；
或者，
将所述第三高频特征图输入步伐为第七数值的第三卷积层；
将所述第四低频特征图输入步伐为第八数值的第四卷积层；
或者，
对所述第三高频特征图进行滤波处理；
对所述第四低频特征图进行滤波处理。
可选地，第二计算单元82具体可以用于：如果第五数值大于1，将所述第一高频特征图输入步伐为第五数值的第二下采样卷积层，得到所述第五高频特征图。
可选地，第二计算单元82具体可以用于：所述第六数值大于1，将所述第一低频特征图输入步伐为第六数值的第三下采样卷积层，得到所述第六低频特征图。
可选地，还包括：
第四处理单元，用于将所述第一目标高频特征图输入信息交换层，得到第五信息，所述第五信息是高频特征信息；所述信息交换层用于提取所述第一目标高频特征图中的信息；
第二编码单元87具体可以用于：根据所述第二信息、所述第四信息以及所述第五信息计算低频熵参数。
可选地，第四处理单元具体可以用于：将所述第一目标高频特征图输入步伐为第九数值的第四下采样卷积层，得到所述第五信息。
可选地，第二计算单元82还可以用于：对所述第一目标高频特征图进行量化处理，得到第二目标高频特征图；
第二处理单元84具体可以用于：将所述第二目标高频特征图输入所述第一上下文模型，得到所述第三信息；和/或，
第一编码单元85具体可以用于：使用所述高频熵参数对所述第二目标高频特征图进行熵编码。
可选地，第二计算单元82还可以用于：对所述第一目标低频特征图进行量化处理，得到第二目标低频特征图；
第三处理单元86具体可以用于：将所述第二目标低频特征图输入第二上下文模型，得到所述第四信息；和/或，
第二编码单元87具体可以用于：使用所述低频熵参数对所述第二目标低频特征图进行熵编码。
图9是本申请图像处理装置一个实施例的结构图，如图9所示，该装置90可以包括：
获得单元91，用于获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流；
第一处理单元92，用于将所述高频边信息码流和所述低频边信息码流输入超先验模型，得到第六信息和第七信息；所述第六信息是高频特征信息，所述第七信息是低频特征信息；
第二处理单元93，用于依次获取所述高频码流中每一位数字的上文元素，将所述数字的上文元素输入第一上下文模型，得到第八信息，所述第八信息是高频特征信息；
第一解码单元94，用于根据所述第六信息和所述第八信息计算高频熵参数；根据所述高频熵参数进行所述数字的解码，得到所述目标图像的第七高频特征图；
第三处理单元95，用于依次获取所述低频码流中每一位数字的上文元素，将所述数字的上文元素输入第二上下文模型，得到第十信息，所述第十信息是低频特征信息；
第二解码单元96，用于根据所述第七信息、以及所述第十信息计算低频熵参数，使用所述低频熵参数对所述数字进行解码，得到所述目标图像的第七低频特征图；
第四处理单元97，用于使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；n是自然数；
重建单元98，用于根据所述目标图像的第三目标高频特征图和第三目标低频特征图重建所述目标图像。
可选地，第四处理单元97可以通过上述的一个卷积模块OctRes实现，此时，第四处理单元97具体可以用于：将所述第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；将所述第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
可选地，n是大于1的自然数，则第四处理单元97可以通过至少两个上述的卷积模块OctRes实现，此时，上述n个卷积模块串联；对于第2个卷积模块至第n个卷积模块，每个卷积模块将前一个卷积模块输出的第三目标高频特征图和第三目标低频特征图分别作为该卷积模块的第七高频特征图和第七低频特征图进行处理；
每个卷积模块具体用于：将第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；将第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
可选地，第四处理单元97具体可以用于：对所述第三高频特征图进行步伐为第十数值的上采样；对所述第四低频特征图进行步伐为第十一数值的上采样；
或者，
将所述第三高频特征图输入步伐为第十二数值的第三卷积层；
将所述第四低频特征图输入步伐为第十三数值的第四卷积层；
或者，
对所述第三高频特征图进行滤波处理；
对所述第四低频特征图进行滤波处理。
可选地，所述第十数值大于1，第四处理单元97具体可以用于：将所述第一高频特征图输入步伐为第十数值的第二上采样卷积层，得到所述第五高频特征图。
可选地，所述第十一数值大于1，第四处理单元97具体可以用于：将所述第一低频特征图输入步伐为第十一数值的第三上采样卷积层，得到所述第六低频特征图。
可选地，还包括：
第五处理单元，用于将所述第七高频特征图输入信息交换层，得到第九信息，所述第九信息是高频特征信息；所述信息交换层用于提取所述第八高频特征图中的信息；
第二解码单元96具体可以用于：根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数。
可选地，第五处理单元具体可以用于：将所述第七高频特征图输入步伐为第十四数值的第五下采样卷积层，得到所述第九信息。
图8～图9所示实施例提供的装置可用于执行本申请图4A～图7所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图8～图9所示的装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，第一处理单元可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
图8为本申请电子设备一个实施例的结构示意图，上述电子设备可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。
其中，上述电子设备可以为移动终端(手机)，电脑，PAD，可穿戴设备，智慧屏，无人机，智能网联车(Intelligent Connected Vehicle；以下简称：ICV)，智能(汽)车(smart/intelligent car)或车载设备等设备。
其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备实现本申请图4A～图7所示实施例提供的方法。
本申请还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请图4A～图7所示实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请图4A～图7所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请图4A～图7所示实施例提供的方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种图像处理方法，其特征在于，包括：
计算目标图像的第一高频特征图和第一低频特征图；
使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数；
将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息；
将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息；根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流；
将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流。
2.根据权利要求1所述的方法，其特征在于，如果m为1，所述使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述卷积模块将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；
所述卷积模块将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
3.根据权利要求1所述的方法，其特征在于，如果m是大于1的自然数，所述使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述m个卷积模块串联；对于第2个卷积模块至第m个卷积模块，每个卷积模块将前一个卷积模块输出的第一目标高频特征图和第一目标低频特征图分别作为该卷积模块的第一高频特征图和第一低频特征图进行处理；
所述m个卷积模块中的每个所述卷积模块执行以下处理步骤：
将所述第一高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第一低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第一高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述目标图像的第一目标高频特征图；
将所述第一低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第一高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第一低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述目标图像的第一目标低频特征图。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行步伐为第五数值的下采样；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行步伐为第六数值的下采样；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：将所述第三高频特征图输入步伐为第七数值的第三卷积层；
所述对所述第四低频特征图进行低频特征提取，包括：将所述第四低频特征图输入步伐为第八数值的第四卷积层；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行滤波处理；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行滤波处理。
5.根据权利要求4所述的方法，其特征在于，所述第五数值大于1，所述将所述第一高频特征图短路连接后得到第五高频特征图，包括：
将所述第一高频特征图输入步伐为第五数值的第二下采样卷积层，得到所述第五高频特征图。
6.根据权利要求4所述的方法，其特征在于，所述第六数值大于1，所述将所述第一低频特征图短路连接后得到第六低频特征图，包括：
将所述第一低频特征图输入步伐为第六数值的第三下采样卷积层，得到所述第六低频特征图。
7.根据权利要求1至3任一项所述的方法，其特征在于，还包括：将所述第一目标高频特征图输入信息交换层，得到第五信息，所述第五信息是高频特征信息；所述信息交换层用于提取所述第一目标高频特征图中的信息；
所述根据所述第二信息、以及所述第四信息计算低频熵参数，包括：
根据所述第二信息、所述第四信息以及所述第五信息计算低频熵参数。
8.根据权利要求7所述的方法，其特征在于，所述将所述第一目标高频特征图输入信息交换层，得到第五信息，包括：
将所述第一目标高频特征图输入步伐为第九数值的第四下采样卷积层，得到所述第五信息。
9.根据权利要求1至3任一项所述的方法，其特征在于，还包括：对所述第一目标高频特征图进行量化处理，得到第二目标高频特征图；
所述将所述第一目标高频特征图输入第一上下文模型，得到第三信息，包括：将所述第二目标高频特征图输入所述第一上下文模型，得到所述第三信息；和/或，
所述使用所述高频熵参数对所述第一目标高频特征图进行熵编码，包括：使用所述高频熵参数对所述第二目标高频特征图进行熵编码。
10.根据权利要求1至3任一项所述的方法，其特征在于，还包括：对所述第一目标低频特征图进行量化处理，得到第二目标低频特征图；
所述将所述第一目标低频特征图输入第二上下文模型，得到第四信息，包括：将所述第二目标低频特征图输入第二上下文模型，得到所述第四信息；和/或，
所述使用所述低频熵参数对所述第一目标低频特征图进行熵编码，包括：使用所述低频熵参数对所述第二目标低频特征图进行熵编码。
11.一种图像处理方法，其特征在于，包括：
获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流；
将所述高频边信息码流和所述低频边信息码流输入超先验模型，得到第六信息和第七信息；所述第六信息是高频特征信息，所述第七信息是低频特征信息；
依次获取所述高频码流中每一位数字的上文元素，将所述数字的上文元素输入第一上下文模型，得到第八信息，所述第八信息是高频特征信息；根据所述第六信息和所述第八信息计算高频熵参数；根据所述高频熵参数进行所述数字的解码，得到所述目标图像的第七高频特征图；
依次获取所述低频码流中每一位数字的上文元素，将所述数字的上文元素输入第二上下文模型，得到第十信息，所述第十信息是低频特征信息；根据所述第七信息、以及所述第十信息计算低频熵参数，使用所述低频熵参数对所述数字进行解码，得到所述目标图像的第七低频特征图；
使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；n是自然数；
根据所述目标图像的第三目标高频特征图和第三目标低频特征图重建所述目标图像。
12.根据权利要求11所述的方法，其特征在于，如果n为1，所述使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，包括：
将所述第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；
将所述第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
13.根据权利要求11所述的方法，其特征在于，如果n是大于1的自然数，所述使用n个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，包括：
所述n个卷积模块串联；对于第2个卷积模块至第n个卷积模块，每个卷积模块将前一个卷积模块输出的第三目标高频特征图和第三目标低频特征图分别作为该卷积模块的第七高频特征图和第七低频特征图进行处理；
所述n个卷积模块中的每个所述卷积模块执行以下处理步骤：
将第七高频特征图输入步伐为第一数值的第一卷积层，得到第二高频特征图；将所述第七低频特征图输入步伐为第二数值的第一上采样卷积层，得到第二低频特征图；根据所述第二高频特征图和所述第二低频特征图计算得到第三高频特征图；对所述第三高频特征图进行高频特征提取，得到第四高频特征图；将所述第七高频特征图短路连接后得到第五高频特征图；根据所述第四高频特征图和所述第五高频特征图计算得到所述第三目标高频特征图；
将第七低频特征图输入步伐为第三数值的第二卷积层，得到第三低频特征图；将所述第七高频特征图输入步伐为第四数值的第一下采样卷积层，得到第六高频特征图；根据所述第三低频特征图和所述第六高频特征图计算得到第四低频特征图；对所述第四低频特征图进行低频特征提取，得到第五低频特征图；将所述第七低频特征图短路连接后得到第六低频特征图；根据所述第五低频特征图和所述第六低频特征图计算得到所述第三目标低频特征图。
14.根据权利要求12或13所述的方法，其特征在于，所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行步伐为第十数值的上采样；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行步伐为第十一数值的上采样；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：将所述第三高频特征图输入步伐为第十二数值的第三卷积层；
所述对所述第四低频特征图进行低频特征提取，包括：将所述第四低频特征图输入步伐为第十三数值的第四卷积层；
或者，
所述对所述第三高频特征图进行高频特征提取，包括：对所述第三高频特征图进行滤波处理；
所述对所述第四低频特征图进行低频特征提取，包括：对所述第四低频特征图进行滤波处理。
15.根据权利要求14所述的方法，其特征在于，所述第十数值大于1，所述将所述第一高频特征图短路连接后得到第五高频特征图，包括：
将所述第一高频特征图输入步伐为第十数值的第二上采样卷积层，得到所述第五高频特征图。
16.根据权利要求14所述的方法，其特征在于，所述第十一数值大于1，所述将所述第一低频特征图短路连接后得到第六低频特征图，包括：
将所述第一低频特征图输入步伐为第十一数值的第三上采样卷积层，得到所述第六低频特征图。
17.根据权利要求11至13任一项所述的方法，其特征在于，还包括：将所述第七高频特征图输入信息交换层，得到第九信息，所述第九信息是高频特征信息；所述信息交换层用于提取所述第七高频特征图中的信息；
所述根据所述第七信息、以及所述第十信息计算低频熵参数，包括：根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数。
18.根据权利要求17所述的方法，其特征在于，所述将所述第七高频特征图输入信息交换层，得到第九信息，包括：
将所述第七高频特征图输入步伐为第十四数值的第五下采样卷积层，得到所述第九信息。
19.一种图像处理装置，其特征在于，包括：
第一计算单元，用于计算目标图像的第一高频特征图和第一低频特征图；
第二计算单元，用于使用m个卷积模块对所述第一高频特征图和所述第一低频特征图进行处理，得到所述目标图像的第一目标高频特征图和第一目标低频特征图；m是自然数；
第一处理单元，用于将所述第一目标高频特征图和所述第一目标低频特征图输入超先验模型，得到高频边信息码流、低频边信息码流、第一信息和第二信息，所述第一信息是高频特征信息，所述第二信息是低频特征信息；
第二处理单元，用于将所述第一目标高频特征图输入第一上下文模型，得到第三信息，所述第三信息是高频特征信息；
第一编码单元，用于根据所述第一信息和所述第三信息计算高频熵参数，使用所述高频熵参数对所述第一目标高频特征图进行熵编码，得到所述目标图像的高频码流；
第三处理单元，用于将所述第一目标低频特征图输入第二上下文模型，得到第四信息，所述第四信息是低频特征信息；
第二编码单元，用于根据所述第二信息、以及所述第四信息计算低频熵参数，使用所述低频熵参数对所述第一目标低频特征图进行熵编码，得到所述目标图像的低频码流。
20.一种图像处理装置，其特征在于，包括：
获得单元，用于获得目标图像的高频边信息码流、低频边信息码流、高频码流和低频码流；
第一处理单元，用于将所述高频边信息码流和所述低频边信息码流输入超先验模型，得到第六信息和第七信息；所述第六信息是高频特征信息，所述第七信息是低频特征信息；
第二处理单元，用于依次获取所述高频码流中每一位数字的上文元素，将所述数字的上文元素输入第一上下文模型，得到第八信息，所述第八信息是高频特征信息；
第一解码单元，用于根据所述第六信息和所述第八信息计算高频熵参数；根据所述高频熵参数进行所述数字的解码，得到所述目标图像的第七高频特征图；
第三处理单元，用于依次获取所述低频码流中每一位数字的上文元素，将所述数字的上文元素输入第二上下文模型，得到第十信息，所述第十信息是低频特征信息；
第二解码单元，用于根据所述第七信息、所述第九信息以及所述第十信息计算低频熵参数，使用所述低频熵参数对所述数字进行解码，得到所述目标图像的第七低频特征图；
第四处理单元，用于使用n个卷积模块对所述第七高频特征图和所述第七低频特征图进行处理，得到所述目标图像的第三目标高频特征图和第三目标低频特征图；n是自然数；
重建单元，用于根据所述目标图像的第三目标高频特征图和第三目标低频特征图重建所述目标图像。
21.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行权利要求1至18任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行权利要求1至18任一项所述的方法。
CN202110407834.4A 2021-04-15 2021-04-15 图像处理方法、装置和电子设备 Active CN113079378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110407834.4A CN113079378B (zh) 2021-04-15 2021-04-15 图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110407834.4A CN113079378B (zh) 2021-04-15 2021-04-15 图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113079378A true CN113079378A (zh) 2021-07-06
CN113079378B CN113079378B (zh) 2022-08-16

Family

ID=76617666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110407834.4A Active CN113079378B (zh) 2021-04-15 2021-04-15 图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113079378B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449276A (zh) * 2022-01-06 2022-05-06 北京工业大学 一种基于学习的超先验边信息补偿图像压缩方法
WO2023092296A1 (zh) * 2021-11-23 2023-06-01 京东方科技集团股份有限公司 文本识别方法和装置、存储介质及电子设备
WO2023159820A1 (zh) * 2022-02-22 2023-08-31 上海商汤智能科技有限公司 图像压缩方法、图像解压缩方法及装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080185A (ja) * 2002-08-13 2004-03-11 Ricoh Co Ltd 画像処理装置、画像処理方法、電子カメラ装置、プログラム、記録媒体
CN1878304A (zh) * 2005-06-06 2006-12-13 汤姆森许可贸易公司 编码和解码图像序列的方法和设备
CN101133649A (zh) * 2005-12-07 2008-02-27 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN101848393A (zh) * 2010-06-08 2010-09-29 上海交通大学 可伸缩视频稀疏信息处理系统
JP2012033182A (ja) * 2011-09-21 2012-02-16 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US20120082231A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
CN102640497A (zh) * 2009-11-30 2012-08-15 日本电气株式会社 视频编码设备和视频解码设备
CN103546759A (zh) * 2013-10-29 2014-01-29 沈阳工业大学 一种基于小波包和矢量量化相结合的图像压缩编码方法
US20190139560A1 (en) * 2013-01-15 2019-05-09 Huawei Technologies Co., Ltd. Encoding Method, Decoding Method, Encoding Apparatus, and Decoding Apparatus
WO2019208677A1 (ja) * 2018-04-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN111127352A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像处理方法、装置、终端及存储介质
US20200213606A1 (en) * 2019-01-02 2020-07-02 Tencent America LLC Method and apparatus for video coding
CN111429371A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
EP3723048A1 (en) * 2019-04-11 2020-10-14 Fujitsu Limited Method and apparatus for coding and decoding using a convolutional neural network
CN112073593A (zh) * 2020-08-29 2020-12-11 北京理工大学 基于小波、阈值滤波及压缩感知的信息增强与传输方法
CN112492312A (zh) * 2020-11-19 2021-03-12 平安普惠企业管理有限公司 基于小波变换的图像压缩恢复方法、装置、设备和介质
CN112509071A (zh) * 2021-01-29 2021-03-16 电子科技大学 一种亮度信息辅助的色度信息压缩重建方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080185A (ja) * 2002-08-13 2004-03-11 Ricoh Co Ltd 画像処理装置、画像処理方法、電子カメラ装置、プログラム、記録媒体
CN1878304A (zh) * 2005-06-06 2006-12-13 汤姆森许可贸易公司 编码和解码图像序列的方法和设备
CN101133649A (zh) * 2005-12-07 2008-02-27 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN102640497A (zh) * 2009-11-30 2012-08-15 日本电气株式会社 视频编码设备和视频解码设备
CN101848393A (zh) * 2010-06-08 2010-09-29 上海交通大学 可伸缩视频稀疏信息处理系统
US20120082231A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
JP2012033182A (ja) * 2011-09-21 2012-02-16 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US20190139560A1 (en) * 2013-01-15 2019-05-09 Huawei Technologies Co., Ltd. Encoding Method, Decoding Method, Encoding Apparatus, and Decoding Apparatus
CN103546759A (zh) * 2013-10-29 2014-01-29 沈阳工业大学 一种基于小波包和矢量量化相结合的图像压缩编码方法
WO2019208677A1 (ja) * 2018-04-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US20210044811A1 (en) * 2018-04-27 2021-02-11 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US20200213606A1 (en) * 2019-01-02 2020-07-02 Tencent America LLC Method and apparatus for video coding
EP3723048A1 (en) * 2019-04-11 2020-10-14 Fujitsu Limited Method and apparatus for coding and decoding using a convolutional neural network
CN111818346A (zh) * 2019-04-11 2020-10-23 富士通株式会社 图像编码方法和装置、图像解码方法和装置
CN111127352A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像处理方法、装置、终端及存储介质
CN111429371A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN112073593A (zh) * 2020-08-29 2020-12-11 北京理工大学 基于小波、阈值滤波及压缩感知的信息增强与传输方法
CN112492312A (zh) * 2020-11-19 2021-03-12 平安普惠企业管理有限公司 基于小波变换的图像压缩恢复方法、装置、设备和介质
CN112509071A (zh) * 2021-01-29 2021-03-16 电子科技大学 一种亮度信息辅助的色度信息压缩重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUANJUN HU: "Classification of Very High-Resolution Remote Sensing Imagery Using a Fully Convolutional Network With Global and Local Context Information Enhancements", 《IEEE ACCESS》 *
刘鑫丽: "基于深度学习的视频压缩方法研究与实现", 《中国优秀硕士学位论文全文数据库》 *
李智: "JPG图像压缩的编码和解码的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092296A1 (zh) * 2021-11-23 2023-06-01 京东方科技集团股份有限公司 文本识别方法和装置、存储介质及电子设备
CN114449276A (zh) * 2022-01-06 2022-05-06 北京工业大学 一种基于学习的超先验边信息补偿图像压缩方法
CN114449276B (zh) * 2022-01-06 2024-04-02 北京工业大学 一种基于学习的超先验边信息补偿图像压缩方法
WO2023159820A1 (zh) * 2022-02-22 2023-08-31 上海商汤智能科技有限公司 图像压缩方法、图像解压缩方法及装置

Also Published As

Publication number Publication date
CN113079378B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
Cheng et al. Energy compaction-based image compression using convolutional autoencoder
Cheng et al. Learned image compression with discretized gaussian mixture likelihoods and attention modules
CN113766228B (zh) 点云压缩方法、编码器、解码器及存储介质
CN113079378B (zh) 图像处理方法、装置和电子设备
CN110087092B (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
Cai et al. Efficient variable rate image compression with multi-scale decomposition network
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN113259676B (zh) 一种基于深度学习的图像压缩方法和装置
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN111988609A (zh) 图像编码装置、概率模型生成装置和图像解码装置
CN105847800A (zh) 基于全相位离散正弦双正交变换的图像压缩方法及系统
CN113747163B (zh) 基于上下文重组建模的图像编码、解码方法及压缩方法
CN104427349A (zh) 一种Bayer图像压缩方法
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
Fu et al. An extended hybrid image compression based on soft-to-hard quantification
CN108810534A (zh) 物联网下基于方向提升小波及改进spiht的图像压缩方法
Fu et al. Learned image compression with generalized octave convolution and cross-resolution parameter estimation
CN111080729B (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
CN111050170A (zh) 基于gan的图片压缩系统构建方法、压缩系统及方法
Ghorbel et al. AICT: An Adaptive Image Compression Transformer
Ayyoubzadeh et al. Lossless compression of mosaic images with convolutional neural network prediction
CN116916033B (zh) 一种基于随机自适应傅里叶分解的联合时空视频压缩方法
Mohebbian et al. CFA image compression using an efficient cascaded overlapping color transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant