CN113965750A - 一种图像编码方法、存储介质及终端设备 - Google Patents

一种图像编码方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113965750A
CN113965750A CN202010699446.3A CN202010699446A CN113965750A CN 113965750 A CN113965750 A CN 113965750A CN 202010699446 A CN202010699446 A CN 202010699446A CN 113965750 A CN113965750 A CN 113965750A
Authority
CN
China
Prior art keywords
image
feature map
channel
mask
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010699446.3A
Other languages
English (en)
Other versions
CN113965750B (zh
Inventor
陈巍
樊顺利
肖云雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010699446.3A priority Critical patent/CN113965750B/zh
Publication of CN113965750A publication Critical patent/CN113965750A/zh
Application granted granted Critical
Publication of CN113965750B publication Critical patent/CN113965750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像编码方法、存储介质及终端设备，所述方法包括获取待编码图像的图像特征图以及掩膜特征图；并根据所述图像特征图以及所述掩膜特征图生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本申请实施例在编码特征图时，基于掩膜特征图来确定图像特征图中各通道携带的图像信息，使得得到编码特征图中各通道携带的图像信息量不同，在图像编码时可以根据图像信息量为不同通道分配不同的比特位，从而图像信息量多的通道占用的比特位多，这样可以提高编码文件中重要图像内容的图像信息量，进而提高了根据压缩图像重构得到的重构图像的图像效果。

Description

一种图像编码方法、存储介质及终端设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像编码方法、存储介质及终端设备。
背景技术
图像编码是指以较少的字节数表示原来的图像素矩阵的技术。通常在存储图像时为了节省存储空间需要对图像进行编码，或者在需要传输图像时为了提高图像传输速度。目前图像编码在对图像进行熵编码时，会为图像重要图像内容(例如，前景内容等)和非重要图像内容(例如，背景内容等)分配相同比特位，使得编码得到编码文件中携带重要图像内容的图像信息量与非重要图像内容的图像信息量相同。然而，在人眼视觉系统中，人眼会对前景内容更敏感，从而这样采用相同比特位的方式的编码文件，会影响重构得到重构图像效果不好。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像编码方法、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种图像编码方法，应用于图像编码模型，所述方法包括：
获取待编码图像对应的图像特征图及掩膜特征图，其中，所述掩膜特征图用于反映图像特征图中的各通道的图像信息量；
根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；
根据所述编码特征图，得到所述待编码图像对应的编码文件。
所述图像编码方法，其中，所述掩膜特征图中的各通道与所述图像特征图中的各通道一一对应，并且对于掩膜特征图中每个通道，该通道用于反映目标通道的图像信息量，所述目标通道在所述图像特征图中通道号与该通道在所述掩膜特征图中的通道号相同。
所述图像编码方法，其中，所述图像编码方法应用于图像编码模型
所述图像编码方法，其中，所述图像编码模型包括特征提取模块以及掩膜模块；获取待编码图像对应的图像特征图及掩膜特征图具体包括：
所述特征提取模块获取所述待编码图像的图像特征图；
所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图。
所述图像编码方法，其中，所述掩膜模块包括第一残差单元、第二残差单元以及掩膜单元；所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图具体包括：
所述第一残差单元确定所述图像特征图对应的第一特征图，并基于所述图像特征图以及所述第一特征图生成第一残差图；
所述第二残差单元确定所述第一残差图对应的第二特征图，并基于所述第一残差图以及所述第二特征图生成第二残差图；
所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图。
所述图像编码方法，其中，所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图具体包括：
所述掩膜单元确定所述第二残差图对应的单通道特征图；
所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图。
所述图像编码方法，其中，所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图具体包括：
所述掩膜单元确定一多通道特征图，其中，所述多通道特征图的图像尺寸与所述单通道特征图的图像尺寸相同；
对于所述多通道特征图中每个通道，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道中各像素点的像素值；
所述掩膜单元将调整后的多通道特征图作为所述掩膜特征图。
所述图像编码方法，其中，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道中各像素点的像素值具体包括：
对于该通道中的每个像素点，所述掩膜单元确定该像素点对应的目标像素点，其中，所述目标像素点在所述单通道特征图中的像素位置与该像素点在该通道中的像素位置相同；
所述掩膜单元根据该目标像素点以及该通道的通道号，确定该像素点的像素值。
所述图像编码方法，其中，所述图像编码模块包括量化模块，所述量化模块与所述掩膜模块并列布置；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图之前，所述方法包括：
所述量化模块基于所述图像特征图，生成所述待编码图像的量化特征图，并将所述量化特征图作为所述图像特征图。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像编码方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像编码方法中的步骤。
有益效果：与现有技术相比，本申请实施例提供了一种图像编码方法、存储介质及终端设备，所述图像编码方法包括获取待编码图像的图像特征图以及掩膜特征图；并根据所述图像特征图以及所述掩膜特征图生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本申请实施例在编码特征图时，基于掩膜特征图来确定图像特征图中各通道携带的图像信息，使得得到编码特征图中各通道携带的图像信息量不同，在图像编码时可以根据图像信息量为不同通道分配不同的比特位，从而图像信息量多的通道占用的比特位多，这样可以提高编码文件中重要图像内容的图像信息量，进而提高了根据压缩图像重构得到的重构图像的图像效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像编码方法的流程图。
图2为本申请提供的图像编码方法的原理示意图。
图3为本申请提供的图像编码方法中掩膜特征图的示意图。
图4为本申请提供的图像编码方法中的特征提取模块的结构原理图。
图5为本申请提供的图像编码方法中的掩膜模块的结构原理图。
图6为本申请提供的图像编码方法中编码特征图的示意图。
图7为本申请提供的图像编码方法得到的编码文件生成重构图像的原理示意图。
图8为本申请提供的编码模块的结构原理图。
图9为本申请提供的编码模块中残差块的结构原理图。
图10为本申请提供的编码模块中上采样模块的结构原理图。
图11为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像编码方法、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，随着深度学习技术的不断发展，深度卷积网络已经被普遍应用于图像压缩方法中。然而，目前普遍使用的基于自编码器的网络模型，在通过自编码器的网络模型得到编码特征图后，通常都是对所述编码特征进行了量化，并对量化后的编码特征图进行熵编码，并且在熵编码是会对量化后的编码特征图中的重要图像内容(例如，前景内容等)和非重要图像内容(例如，背景内容等)分配相同比特位，这使得以使得编码得到编码文件中携带重要图像内容的图像信息量与非重要图像内容的图像信息量相同。然而，在人眼视觉系统中，人眼会对前景内容更敏感，从而这样采用相同比特位的方式的编码文件，会影响重构得到重构图像效果不好。
为了解决上述问题，在本申请实施例中，通过图像编码模型获取待编码图像的图像特征图以及掩膜特征图；并根据所述图像特征图以及所述掩膜特征图生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本申请实施例在编码特征图时，基于掩膜特征图来确定图像特征图中各通道携带的图像信息，使得得到编码特征图中各通道携带的图像信息量不同，在图像编码时可以根据图像信息量为不同通道分配不同的比特位，从而图像信息量多的通道占用的比特位多，这样可以提高编码文件中重要图像内容的图像信息量，进而提高了根据压缩图像重构得到的重构图像的图像效果。
举例说明，本申请实施例可以应用到配置有图像编码模型的电子设备的场景。在该场景中，首先，电子设备可以采集待编码图像，并通过所述图像编码模型获取待编码图像对应的图像特征图及掩膜特征图；根据所述图像特征图以及所述掩膜特征图生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。
需要注意的是，上述应用场景仅是为了便于理解本申请而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种图像编码方法，如图1和图2所示，所述方法包括：
S10、获取待编码图像对应的图像特征图及掩膜特征图，其中，所述掩膜特征图用于反映图像特征图中的各通道的图像信息量；
具体地，所述待编码图像可以是通过运行图像编码方法的电子设备(例如，服务器)获取到的图像，该待编码图像可以是由图像采集设备采集的原始图像，其中，所述图像采集设备可以配置于运行有图像编码方法的电子设备，也可以配置于其他外部设备上，通过外部设备将获取到原始图像发送至运行有图像编码方法的电子设备中。在本实施例的一个可能实现方式中，所述图像采集装置配置于运行有图像编码方法的电子设备，这样在电子设备采集到图像后，可以直接对图像进行编码，一方面可以减少图像所占用的存储空间，另一方当需要将图像发送至其他外部设备时，可以发送编码后的图像，以提高图像传输速度。
所述图像特征图为所述待编码图像的全局特征图，其包含所述待编码图像的全部图像特征，所述图像特征图中的每个通道为所述待编码图像的局部特征图，包含有待编码图像的局部特征。由此，各通道携带的局部特征在所述待编码图像中的重要程度级别不同，例如，由于在人眼视觉系统中，人眼会对前景内容更敏感，从而待编码图像中的前景内容比待编码图像中的背景内容的重要程度高。由此，可以根据前景内容和背景内容将待编码图像的图像内容的重要程度级别划分为1级和2级，其中，1级对应于前景内容，2级对应于背景内容，并且1级对应的重要程度高于2级对应的重要程度，并且携带前景内容的图像特征的通道中的图像信息量比携带背景内容的图像特征的通道中的图像信息量多。
所述掩膜特征图用于反映图像特征图中的各通道的图像信息量，其中，所述图像信息量用于反映编码时各通道需要保留的图像信息(的信息量，可以记为有用图像信息量。其中，需要保留的图像信息的重要程度级别可以满足预设条件，所述预设条件可以为重要程度级别高于预设级别等，所述预设级别可以为预先设置的，也可以在对待编码图像进行编码前基于接收到设置指令配置而生成的，也可以是根据待编码图像自动生成的。
进一步，图像特征图中还包括有无用图像信息，无用图像信息指的是编码时各通道的冗余图像信息(即非重要图像信息)，由此，掩膜特征图在反映图像特征图中的各通道中的有用图像信息时，也可以反映图像特征图中的各通道中的无用图像信息。例如，对于待编码图像A，待编码图像A对应如图3所示的掩膜特征图A，所述掩膜特征图A包括16个通道，各通道中白色区域表示有用图像信息区域，黑色表示无用图像信息区域；那么通道0表示图像特征图中的通道0携带的图像信息均为有用图像信息；通道15表示图像特征图中的通道15携带的图像信息均为无用图像信息，从而通道0携带的图像信息量多于通道15的图像信息量。
进一步，所述掩膜特征图中各通道用于反映图像特征图中目标通道的图像信息量，目标通道为所述图像特征图中通道号与该第一通道的通道号相同的通道。由此，掩膜特征图的通道数与所述图像特征图的通道数相同，例如，图像特征图的通道数为15，那么掩膜特征图的通道数为15，掩膜特征图中的通道10用于反映图像特征图中的通道10携带的图像信息量。
进一步，在本实施例的一个实现方式中，所述图像编码方法应用于图像编码模型，如图2所示，所述图像编码模型包括特征提取模块以及掩膜模块；获取待编码图像对应的图像特征图及掩膜特征图具体包括：
S11、所述特征提取模块获取所述待编码图像的图像特征图；
S12、所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图。
具体地，在所述步骤S11中，所述特征提取模块用于获取所述待编码图像的特征图，所述掩膜模块用于获取待编码图像对应的掩膜特征图，其中，所述特征提取模块的输入项为待编码图像，输出项为图像特征图，所述掩膜模块的输入项为图像特征图，输出项为掩膜特征图。可以理解的是，所述掩膜模块的输入项为所述特征提取模块的输出项，即所述特征提取模块获取到待编码图像对应的图像特征图后，将所述图像特征图输入至所述掩膜模块，以通过所述掩膜模块输出所述图像特征图对应的掩膜特征图。
进一步，所述特征提取模块可以包括若干级联的卷积模块，通过若干级联的卷积模块生成所述待编码图像对应的图像特征图。在本实施例的一个具体实现方式中，如图4所示，所述特征提取模块包括六个卷积模块，分别记为第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块以及第六卷积模块。其中，所述第一卷积中，卷积核为7*7，卷积核数量为60，步长为1，填充像素为3；归一化操作为InstanceNorm归一化；非线性变换函数为relu函数；第二卷积模块中，卷积核为3*3，卷积核数量为120，步长为1，填充像素为3；归一化操作为InstanceNorm归一化；非线性变换函数为relu函数；第三卷积模块中，卷积核为3*3，卷积核数量为240，步长为2，填充像素为1；归一化操作为InstanceNorm归一化；非线性变换函数为relu函数；第四卷积模块中，卷积核为3*3，卷积核数量为480，步长为2，填充像素为1；归一化操作为InstanceNorm归一化；非线性变换函数为relu函数；第五卷积模块中，卷积核为3*3，卷积核数量为960，步长为2，填充像素为1；归一化操作为InstanceNorm归一化；非线性变换函数为relu函数；第六卷积模块中，卷积核为3*3，卷积核数量为C，步长为1，填充像素为1；归一化操作为InstanceNorm归一化。其中，所述C可以根据实际需求确定，在本实施例的一个可能实现方式中，C设为16。
基于此，所述图像特征图的通道数为16，即所述图像特征图为16通道特征图，所述图像特征图的获取过程可以为：待编码图像输入第一卷积模块，通过卷积模块输出60通道的特征图A；将特征图A输入第二卷积模块，通过第二卷积模块输出120通道的特征图B；将特征图B输入第三卷积模块，通过第三卷积模块输出240通道的特征图C；将特征图C图输入第四卷积模块，通过第四卷积模块输出480通道的特征图D；将特征图D输入第五卷积模块，通过第五卷积模块输出960通道的特征图E；将特征图E输入第六卷积模块，通过第六卷积模块输出16通道的图像特征图。
进一步，所述步骤S12中，如图5所示，所述掩膜模块包括第一残差单元、第二残差单元以及掩膜单元；所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图具体包括：
S121、所述第一残差单元确定所述图像特征图对应的第一特征图，并基于所述图像特征图以及所述第一特征图生成第一残差图；
S122、所述第二残差单元确定所述第一残差图对应的第二特征图，并基于所述第一残差图以及所述第二特征图生成第二残差图；
S123、所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图。
具体地，所述第一残差单元的输入项为图像特征图，所述第一残差单元的输出项为图像特征图对应的第一残差图，其中，所述第一残差单元包括卷积块A；所述卷积块A用于确定所述图像特征图对应的第一特征图，并且将所述第一特征图与图像特征图短接，以得到第一残差图像。在本实施例的一个实现方式中，所述卷积块A包括卷积层A和卷积层B，所述卷积层A中，卷积核为3*3，卷积核数量为C，步长为1，填充像素为1，归一化操作为BatchNorm归一化，非线性变换函数为relu函数；所述卷积层B中卷积核为3*3，卷积核数量为C，步长为1，填充像素为1，归一化操作为BatchNorm归一化，非线性变换函数为relu函数。此外，在通过卷积块A输出第一特征图后，通过短接操作将图像特征图与第一特征图进相加以得到第一残差图。
进一步，所述第二残差单元的输入项为第一残差图，所述第一残差单元的输出项为图像特征图对应的第二残差图，其中，所述第二残差单元包括卷积块B；所述卷积块B用于确定所述图像特征图对应的第二特征图，并且将所述第二特征图与第一残差图短接，以得到第二残差图像。在本实施例的一个实现方式中，所述卷积块B包括卷积层C和卷积层D，所述卷积层C中，卷积核为3*3，卷积核数量为C，步长为1，填充像素为1，归一化操作为BatchNorm归一化，非线性变换函数为relu函数；所述卷积层D中卷积核为3*3，卷积核数量为C，步长为1，填充像素为1，归一化操作为BatchNorm归一化，非线性变换函数为relu函数。此外，在通过卷积块B输出第二特征图后，通过短接操作将第一残差图与第二特征图进相加以得到第二残差图。
进一步，在本实施例的一个实现方式中，所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图具体包括：
S1231、所述掩膜单元确定所述第二残差图对应的单通道特征图；
S1232、所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图。
具体地，所述单通道特征图指的是特征图的通道数为1，所述单通道特征图用于表示待编码图像中的图像内容的重要程度，其中，所述重要程度用于反映图像内容的图像细节被保留的数量。例如，当图像内容的重要程度高，则图像内容的图像细节被保留的数量多，反之，当图像内容的重要程度低，则图像内容的图像细节被保留的数量少。在本实施例中，所述单通道特征图可以通过对第二残差图进行卷积操作得到，其中，该卷积操作对应的操作参数可以为：卷积核3*3，卷积核数量为1，步长为1，填充像素为1。可以理解的是，第二残差图通过该卷积操作的单通道特征图的图像尺寸与第二残差图像的图像尺寸相同，而图像通道数变化为1。
进一步，在获取到单通道特征图后，可对所述单通道特征图进行归一化处理，以使得归一化处理后的单通道特征图中各像素点的像素值的取值范围为[0,1]，这样可以提高各数据的表现性，从而可以提高网络模型的正确性。其中，所述归一化处理过程可以为：获取单通道特征图中各像素点的像素值的均值和方差；基于所述均值以及所述方差对所述单通道特征图进行归一化处理，以得到归一后处理后的单通道特征图。在本实施例的一个具体实现方式中，所述归一化处理可以采用sigmoid函数，并所述归一化处理的公式可以表示为：
im_map＝sigmoid((im_conv-mu)/sigma)
其中，所述im_map为归一后处理后的单通道特征图，sigmoid为非线性变换函数，im_conv为单通道特征图，mu为单通道特征图中各像素点的像素值的均值，sigma为单通道特征图中各像素点的像素值的方差。
进一步，所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图具体包括：
A10、所述掩膜单元确定一多通道特征图，其中，多通道特征图的图像尺寸与所述单通道特征图的图像尺寸相同；
A20、对于所述多通道特征图中每个通道，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道，以得到所述掩膜特征图。
具体地，在所述步骤A10中，所述多通道特征图的图尺寸与所述单通道特征图的图像尺寸相同，并且所述多通道特征图的通道数与图像特征图的通道数相同。此外，由单通道特征图与图像特征图的对应关系可以知道，多通道特征图的图像尺寸与图像特征图的图像尺寸相同，也就是说，多通道特征图的通道数与图像特征图的通道数相同，多通道特征图的图像尺寸与图像特征图的图像尺寸相同。其中，所述多通道特征图中的各像素点的像素值可以均为预设值，例如，1,0等。
进一步，在所述步骤A20中，通道号为所述多通道特征图中各通道的通道编号，所述多通道特征图中的通道编号为从0开始的自然数，并且相邻两个通道对应的通道编号连续。可以理解的是，多通道特征图中的沿通道方向位于第一位通道的通道号为0，位于第二位通道的通道号为1，依次类推，位于最后位通道的通道号为C-1，其中，C为多通道特征图的通道数。换句话说，当多通道特征图的通道数为C时，么多通道特征图的通道号分别为0,1，...，C-1。例如，多通道特征图的通道数C为4,通道号分别为0,1,2和3。
进一步，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道具体为：对于该通道中的每个像素点，所述掩膜单元基于该通道的通道号以及单通道特征图中各目标像素点的像素值，对该通道中各像素点对应的像素值进行调整，并将调整得到的像素值作为该像素点的像素值，以得到该通道对应的调整后的通道，可以理解的是，对于该通道中的每个像素点，基于单通道特征中的一目标像素点以及该通道的通道号，确定该像素点对应的调整后的像素值。其中，所述目标像素点在单通道特征图中的像素位置与该像素点在该通道中的像素位置相对应，例如，目标像素点在单通道特征图中的像素位置为(50，50)，那么像素点在该通道中的像素位置为(50，50)。
在基于该通道的通道号以及单通道特征图调整该通道之前，需要将所述单通道特征图中的各像素点的像素值调整至预设区间上。所述预设区间为调整后的单通道特征图中各像素点的像素值的取值范围，所述预设区间的上限值可以基于多通道特征图的通道数确定，预设区间的下限值为0。例如，多通道特征图的通道数为C，那么所述预设区间为[0，C]，调整后的单通道特征图中各像素点的像素值均处于[0，C]范围内。在本实施例的一个具体实现方式中，当单通道特征图为归一化后的单通道特征图时，将所述单通道特征图中的各像素点的像素值调整至预设区间上可以将所述单通道特征图中的每个像素点的像素值均乘以多通道特征图的通道数，例如，多通道特征图的通道数为C，则对于单通道特征图中的每个像素点，将该像素点的像素值乘以C，并将得到的乘积作为该像素点对应的像素值。这样将将所述单通道特征图中的各像素点的像素值调整至预设区间上，这样可以确定各单通道特征图中各像素点在多通道特征图的各通道上的重要程度，以此来确定各通道中的有用信息。
进一步，在本实施例的一个实现方式中，对于所述多通道特征图中每个通道，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道，以得到所述掩膜特征图具体包括：
对应每个通道中的每个像素点，所述掩膜单元确定该像素点对应的目标像素点，其中，所述目标像素点在所述单通道特征图中的像素位置与该像素点在该通道中的像素位置相同；
所述掩膜单元根据该目标像素点的像素值以及该通道的通道号，确定该像素点的像素值。
具体地，所述像素点为多通道特征图中一个通道中的像素点，所述目标像素点为单通道特征图的中像素点，由于所述多通道特征图的图像尺寸与所述单通道特征图的图像尺寸相同，从而多通道特征图中的每个通道的图像尺寸与单通道特征图的图像尺寸相同。所述像素位置指的是像素点在该通道所处位置对应的坐标信息，例如，对于通道0中所处位置对应的坐标信息为(0,0)的像素点，该像素点在通道0中的像素位置为(0,0)。
基于此，对于每个通道中的每个像素点，单通道特征图中均存在一个目标像素点，该目标像素点的像素位置与该像素点的像素位置相同，例如，该通道中的像素点的像素像素位置为(50,50)，那么该像素点对应的目标像素点在单通道特征图中的像素位置为(50,50)。
进一步，在获取到像素点对应的目标像素点后，读取该目标像素点的像素值，根据该像素值与该像素点所在通道图对应的通道号，计算该像素点对应的像素值，并将计算得到的像素值作为该像素点对应的像素值。由此，可以调整多通道特征图中各通道中的各像素点的像素值，并将调整后的多通道特征图作为掩膜特征图。在本实施例的一个具体实现方式中，多通道特征图中各通道中像素点的像素值的计算公式可以为：
Figure BDA0002592489870000131
其中，k为多通道特征图中通道的通道号，k＝0,1,2...,C-1，C为多通道特征图的通道数；i,j表示像素点在通道中的位置；mi,j,k为像素点的像素值；yi,j为单通道特征图中i,j位置的目标像素点的像素值。
本实施例通过将单通道特征图中各目标像素点的像素值的取值范围从[0,1]映射至[0,C]，然后依据上述公式将单通道特征图与多通道特征图的各通道相对应，用各目标像素点的像素值yi,j与各通道的通道号k确定各通道k中的各像素点的像素值，可以使得各通道k携带不同的图像信息量，这样使得编码得到的编码特征图中各通道携带图像信息量不同，在编码时可以根据携带图像信息量进行自适应编码，从而携带有用信息量多的通道可以被分配多的比特位，因而编码得到的编码文件中保留多的有用图像信息。
S20、根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图。
具体地，所述编码特征图为用于编码的特征图，在获取到编码特征图后，可以对所述编码特征图进行编码以得到待编码图像对应的编码文件。所述掩膜特征图用于反映图像特征图中的各通道的图像信息量，其中，所述图像信息量为图像特征图中有用图像信息的信息量。从而在根据所述图像特征图和所述掩膜特征图确定编码特征图时，可以通过掩膜特征图对所述图像特征图中的各通道进行信息过滤，以去除所述图像特征图中各通道携带无用图像信息。此外，在实际应用中，各通道中的有用图像信息对应的像素点的像素值可以设置为1，无用图像信息对应的像素点的像素值可以设置为0。例如，如图6所示掩膜特征图中，通道10-通道12中白色区域表示需要保留的信息(即有用图像信息)，黑色区域表示冗余信息(即无用图像信息)，最后三个通道(chennel_13-channel_15)完全为黑色，表示这些通道的信息均为冗余信。
此外，通过掩膜特征图对所述图像特征图中的各通道进行信息过滤指的是，对于图像特征图中每个目标通道，确定该目标通道对应的参考通道，其中，所述参考通道在所述掩膜特征图中的通道号与目标通道在图像特征图中的通道号相同，并且对于图像特征图中对每个目标通道，掩膜特征图中均存在一个参考通道与该目标通道相对应，这是由于掩膜特征图的通道数与图像特征图的通道数相同，并且掩膜特征图中各通道的通道编号方式与图像特征图中各通道的通道编号方式相同。例如，图像特征图的通道数为C，通道编码方式为0,1，...，C-1，那么掩膜特征图的通道数为C，通道编码方式为0,1，...，C-1；基于此，图像特征图中的通道号为5的目标通道与掩膜特征图终中通通道号为5的参考通道相对应。
进一步，为了降低编码特征图的数据量，在所述图像编码模型根据所述图像特征图以及所述掩膜特征图之前，可以对图像特征图进行量化，并根据量化得到量化特图与所述掩膜特征图得到编码特征图。相应的，在本实施例的一个实现方式中，所述图像编码模块包括量化模块，所述量化模块与所述掩膜模块并列布置；其中，所述图像编码模型根据所述图像特征图以及所述掩膜特征图之前，所述方法包括：
所述量化模块基于所述图像特征图，生成所述待编码图像的量化特征图，并将所述量化特征图作为所述图像特征图。
具体地，所述量化指的是将所述图像特征图的每个像素点的取值范围分成若干区间，并每个区间中所有像素点的值均采用设置为相同数值。所述对图像特征图进行量化可以采用现有的可以实现图像量化的量化方法。在本实施例的一个实现方式中，所述对所述图像特征图进行量化的方式可以为采用聚类量化方式对所述图像特征图进行量化。所述采用聚类量化方式对图像特征图进行量化的过程可以为：给定聚类量化中心点计算编码特征图中每个像素点与量化中心点的距离，并将获取到的所有距离中的最小距离作为量化值，其中，每个像素点与量化中心点的距离的计算公式可以为：
Q(input_xi):＝argminj(input_xi-cj)，
其中，input_xi表示输入编码特征图的第i个数据，cj表示聚类量化中心点C＝{c1,c2,...,cL}的第j个分量，j∈[1,L]，L为正整数。
进一步，为了保证误差反向传播，需要对每个像素点与量化中心点的距离先进行软量化处理，再进行硬量化处理。所述软量化处理的处理方式为：
Figure BDA0002592489870000161
所述硬量化处理的处理过程为：
stop_gradient(Q(input_xi)-soft_Q(input_xi))+soft_Q(input_xi)
其中，stop_gradient(·)停止梯度计算。
此外，在量化处理后，对量化得到各距离进行取整，根据取整得到的各距离来确定量化值，最后根据量化值对待编码图像进行量化，以得到量化后的编码特征图。
S30、根据所述编码特征图，得到所述待编码图像对应的编码文件。
具体地，所述编码文件为对所述编码特征图进行编码得到，并且在对所述编码特征图进行编码时可以采用熵编码方式进行编码，由熵编码可以将编码特征图无损压缩得到编码文件，其中，所述熵编码可以采用现有多种编码方法，例如，哈夫曼编码或者算数编码等。当然，值得说明的是，在通过熵编码对所述编码特征图进行编码时，采用是基于通道携带有用图像信息的图像信息量进行的自适应编码方式，可以理解的是，在对编码特征图进行编码时，基于编码特征图中各通道携带的有用图像信息的图像信息量确定各通道对应的比特位，并在编码时为各通道分别相应的比特位。此外，通道对应的比特位与通道携带的有用图像信息的图像信息量正相关，即通道携带的有用图像信息的图像信息量越多，通道对应的比特位越大；反之，通道携带的有用图像信息的图像信息量越少，通道对应的比特位越小。
基于上述图像编码方法，本实施例还可以提供一种图像解码方法，如图7所示，所述图像解码方法应用于图像解码模型，所述图像解码方法包括：
所述图像解码模块基于编码文件，确定该编码文件对应的重构图像，其中，所述编码文件为基于上述编码方法编码得到的。
具体地，如图8所示，所述图像解码模型包括第一卷积模块A、第二卷积模块A以及重构模块，所述第一卷积模块A包括第一卷积单元、第二卷积单元以及第三卷积单元，其中，所述第一卷积单元中，卷积核为3*3，卷积核数量为480，步长为1，填充像素为1；归一化操作为InstanceNorm操作；非线性变换函数为relu函数；所述第一卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为InstanceNorm操作；非线性变换函数为relu函数；所述第三卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为InstanceNorm操作；非线性变换函数为relu函数。
所述第二卷积模块A包括9个残差块，如图9所示，每个残差块包括第四卷积单元和第五卷积单元，所述第四卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为InstanceNorm操作；非线性变换函数为relu函数：所述第五卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为InstanceNorm操作；在通过第五卷积单元输出特征图后，通过短接操作将第四卷积单元的输入项与第五卷积单元的输出项进相加以得到各残差块对应的输出项。
所述重构模块包括四个级联的上采样模块以及第六卷积单元；如图10所示，所述上采样模块包括上采样单元以及第七卷积单元，在所述上采样单元中执行2倍双线性差值上采样，其中，上采样对应的卷积核数量为480；所述第七卷积单元中，卷积核为3*3，卷积核数量为480，步长为1，归一化操作为InstanceNorm操作；非线性变换函数为relu函数。在所述第六卷积单元中，卷积核为7*7，卷积核数量为3，步长为1，填充像素为3。
本申请实施例提供了一种图像编码方法、存储介质及终端设备，所述图像编码方法包括获取待编码图像的图像特征图以及掩膜特征图；并根据所述图像特征图以及所述掩膜特征图生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本申请实施例在编码特征图时，基于掩膜特征图来确定图像特征图中各通道携带的图像信息，使得得到编码特征图中各通道携带的图像信息量不同，在图像编码时可以根据图像信息量为不同通道分配不同的比特位，从而图像信息量多的通道占用的比特位多，这样可以提高编码文件中重要图像内容的图像信息量，进而提高了根据压缩图像重构得到的重构图像的图像效果。
基于上述图像编码方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像编码方法中的步骤。
基于上述图像编码方法，本申请还提供了一种终端设备，如图11所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种图像编码方法，其特征在于，所述方法包括：
获取待编码图像对应的图像特征图及掩膜特征图，其中，所述掩膜特征图用于反映图像特征图中的各通道的图像信息量；
根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；
根据所述编码特征图，得到所述待编码图像对应的编码文件。
2.根据权利要求1所述图像编码方法，其特征在于，所述掩膜特征图中的各通道与所述图像特征图中的各通道一一对应，并且对于掩膜特征图中每个通道，该通道用于反映目标通道的图像信息量，所述目标通道在所述图像特征图中通道号与该通道在所述掩膜特征图中的通道号相同。
3.根据权利要求1或2所述图像编码方法，其特征在于，所述图像编码方法应用于图像编码模型。
4.根据权利要求3所述图像编码方法，其特征在于，所述图像编码模型包括特征提取模块以及掩膜模块；所述获取待编码图像对应的图像特征图及掩膜特征图具体包括：
所述特征提取模块获取所述待编码图像的图像特征图；
所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图。
5.根据权利要求4所述图像编码方法，其特征在于，所述掩膜模块包括第一残差单元、第二残差单元以及掩膜单元；所述掩膜模块基于所述图像特征图，生成所述待编码图像的掩膜特征图具体包括：
所述第一残差单元确定所述图像特征图对应的第一特征图，并基于所述图像特征图以及所述第一特征图生成第一残差图；
所述第二残差单元确定所述第一残差图对应的第二特征图，并基于所述第一残差图以及所述第二特征图生成第二残差图；
所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图。
6.根据权利要求5所述图像编码方法，其特征在于，所述掩膜单元基于所述第二残差图，生成所述待编码图像的掩膜特征图具体包括：
所述掩膜单元确定所述第二残差图对应的单通道特征图；
所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图。
7.根据权利要求6所述图像编码方法，其特征在于，所述掩膜单元基于所述单通道特征图，生成所述待编码图像的掩膜特征图具体包括：
所述掩膜单元确定一多通道特征图，其中，所述多通道特征图的图像尺寸与所述单通道特征图的图像尺寸相同；
对于所述多通道特征图中每个通道，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道中各像素点的像素值；
所述掩膜单元将调整后的多通道特征图作为所述掩膜特征图。
8.根据权利要求7所述图像编码方法，其特征在于，所述掩膜单元基于该通道的通道号以及单通道特征图调整该通道中各像素点的像素值具体包括：
对于该通道中的每个像素点，所述掩膜单元确定该像素点对应的目标像素点，其中，所述目标像素点在所述单通道特征图中的像素位置与该像素点在该通道中的像素位置相同；
所述掩膜单元根据该目标像素点以及该通道的通道号，确定该像素点的像素值。
9.根据权利要求3所述图像编码方法，其特征在于，所述图像编码模块包括量化模块，所述量化模块与所述掩膜模块并列布置；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图之前，所述方法包括：
所述量化模块基于所述图像特征图，生成所述待编码图像的量化特征图，并将所述量化特征图作为所述图像特征图。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-9任意一项所述的图像编码方法中的步骤。
11.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-9任意一项所述的图像编码方法中的步骤。
CN202010699446.3A 2020-07-20 2020-07-20 一种图像编码方法、存储介质及终端设备 Active CN113965750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699446.3A CN113965750B (zh) 2020-07-20 2020-07-20 一种图像编码方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699446.3A CN113965750B (zh) 2020-07-20 2020-07-20 一种图像编码方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN113965750A true CN113965750A (zh) 2022-01-21
CN113965750B CN113965750B (zh) 2023-08-01

Family

ID=79459700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699446.3A Active CN113965750B (zh) 2020-07-20 2020-07-20 一种图像编码方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113965750B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612431A (zh) * 2016-01-29 2017-05-03 四川用联信息技术有限公司 一种基于hevc平台对深度图像和彩色图像的编码压缩方法
US20170272761A1 (en) * 2016-03-18 2017-09-21 Fujitsu Limited Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus
US20180176576A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
WO2018221863A1 (en) * 2017-05-31 2018-12-06 Samsung Electronics Co., Ltd. Method and device for processing multi-channel feature map images
CN109889839A (zh) * 2019-03-27 2019-06-14 上海交通大学 基于深度学习的感兴趣区域图像编码、解码系统及方法
CN111147862A (zh) * 2020-01-03 2020-05-12 南京大学 一种基于目标编码的端到端图像压缩方法
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20200226797A1 (en) * 2019-01-16 2020-07-16 Disney Enterprises, Inc. Systems and methods for image compression at multiple, different bitrates

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612431A (zh) * 2016-01-29 2017-05-03 四川用联信息技术有限公司 一种基于hevc平台对深度图像和彩色图像的编码压缩方法
US20170272761A1 (en) * 2016-03-18 2017-09-21 Fujitsu Limited Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus
US20180176576A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
WO2018221863A1 (en) * 2017-05-31 2018-12-06 Samsung Electronics Co., Ltd. Method and device for processing multi-channel feature map images
US20200226797A1 (en) * 2019-01-16 2020-07-16 Disney Enterprises, Inc. Systems and methods for image compression at multiple, different bitrates
CN109889839A (zh) * 2019-03-27 2019-06-14 上海交通大学 基于深度学习的感兴趣区域图像编码、解码系统及方法
CN111147862A (zh) * 2020-01-03 2020-05-12 南京大学 一种基于目标编码的端到端图像压缩方法
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113965750B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US10834415B2 (en) Devices for compression/decompression, system, chip, and electronic device
US11257252B2 (en) Image coding apparatus, probability model generating apparatus and image compression system
CN110148085A (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN112672168B (zh) 基于图卷积的点云压缩方法及装置
US11153578B2 (en) Gradient texturing compression codec
CN110753225A (zh) 一种视频压缩方法、装置及终端设备
CN111652921A (zh) 一种单目深度预测模型的生成方法及单目深度预测方法
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
EP4046382A1 (en) Method and apparatus in video coding for machines
CN114708343A (zh) 基于图字典学习的三维点云编解码方法、压缩方法及装置
CN116095321A (zh) 显著性区域图像编解码方法、系统、设备及存储介质
CN117576118B (zh) 多尺度多感知的实时图像分割方法、系统、终端及介质
CN114298922A (zh) 图像处理方法、装置及电子设备
CN113038134B (zh) 一种图片处理方法、智能终端及存储介质
CN112995758B (zh) 点云数据的编码方法、解码方法、存储介质及设备
CN113554719B (zh) 一种图像编码方法、解码方法、存储介质及终端设备
CN113965750B (zh) 一种图像编码方法、存储介质及终端设备
CN111083479A (zh) 一种视频帧预测方法、装置及终端设备
CN114339252B (zh) 一种数据压缩方法及装置
CN113965755A (zh) 一种图像编码方法、存储介质及终端设备
GB2602570A (en) Selecting encoding options
KR20240064698A (ko) 특징 맵 인코딩 및 디코딩 방법 및 장치
WO2023028177A1 (en) Attribute coding in geometry point cloud coding
CN115131673A (zh) 一种面向任务的遥感影像压缩方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant