CN116095321A - 显著性区域图像编解码方法、系统、设备及存储介质 - Google Patents

显著性区域图像编解码方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116095321A
CN116095321A CN202310069456.2A CN202310069456A CN116095321A CN 116095321 A CN116095321 A CN 116095321A CN 202310069456 A CN202310069456 A CN 202310069456A CN 116095321 A CN116095321 A CN 116095321A
Authority
CN
China
Prior art keywords
network
coding
decoding
image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310069456.2A
Other languages
English (en)
Inventor
袁庆祝
武祥吉
陈也达
冯溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuangshen Information Technology Co ltd
Original Assignee
Shanghai Shuangshen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuangshen Information Technology Co ltd filed Critical Shanghai Shuangshen Information Technology Co ltd
Priority to CN202310069456.2A priority Critical patent/CN116095321A/zh
Publication of CN116095321A publication Critical patent/CN116095321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种显著性区域图像编解码方法、系统、设备及存储介质，将图像压缩技术与图像显著性区域检测技术进行了融合，显著性区域检测所需要的特征提取网络可以与编码网络共用，即从特征层面对图像进行显著性检测，因此，既简化了显著性分析的算力要求，又提升了检测的准确性；而且，对任意结构的端到端图像编解码网络都有效，还可以使得端到端的图像压缩技术对人眼的感官能有更好的提升。

Description

显著性区域图像编解码方法、系统、设备及存储介质
技术领域
本发明涉及图像编解码技术领域，尤其涉及一种显著性区域图像编解码方法、系统、设备及存储介质。
背景技术
近年来使用深度学习进行图像显著性区域检测技术日渐成熟，现有的图像显著性区域检测主要通过RESNET(一种残差网络)、YOLO、UNET等网络实现。
然而，对原始图像进行显著性检测时较大算力的要求一直是个亟需攻克的难题；并且，实际使用过程中，需要先得到解码图像，才能够对图像进行显著性区域检测等上层应用分析，导致实际使用时增加了不必要的计算。
发明内容
本发明的目的是提供一种显著性区域图像编解码方法、系统、设备及存储介质，将端到端的图像压缩与显著性检测相结合，可以在特征层面进行显著性区域检测等图像上层应用分析，优化了分析过程，减少了不必要的计算过程。
本发明的目的是通过以下技术方案实现的：
一种显著性区域图像编解码方法，包括：
搭建端到端的图像编解码网络，图像编解码网络包括：编码网络、量化模块、显著性检测模块、超先验概率模型与解码网络；
网络训练：将原始图像输入至编码网络，编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块；通过显著性检测模块得到显著性检测结果，通过量化模块结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化特征进行码率估计，获得码率估计结果；利用码率估计结果、重构图像与显著性检测结果构建总损失函数对所述图像编解码网络进行训练；
网络测试：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码；通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流；通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像。
一种显著性区域图像编解码系统，包括：
网络搭建单元，用于搭建端到端的图像编解码网络，图像编解码网络包括：编码网络、量化模块、显著性检测模块、超先验概率模型与解码网络；
训练单元，用于网络训练，网络训练包括：将原始图像输入至编码网络，编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块；通过显著性检测模块得到显著性检测结果，通过量化模块结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化特征进行码率估计，获得码率估计结果；利用码率估计结果、重构图像与显著性检测结果构建总损失函数对所述图像编解码网络进行训练；
测试单元，用于网络测试，网络测试包括：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码；通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流；通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，将图像压缩技术与图像显著性区域检测技术进行了融合，显著性区域检测所需要的特征提取网络可以与编码网络共用，即从特征层面对图像进行显著性检测，因此，既简化了显著性分析的算力要求，又提升了检测的准确性；而且，对任意结构的端到端图像编解码网络都有效，通过检测显著性区域，可以为显著性区域分配更多的码字，从而使得端到端的图像压缩技术对人眼的感官能有更好的提升。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种显著性区域图像编解码方法的流程图；
图2为本发明实施例提供的端到端的图像编解码网络的示意图；
图3为本发明实施例提供的显著性检测模块的示意图；
图4为本发明实施例提供的一种显著性区域图像编解码系统的示意图；
图5为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种显著性区域图像编解码方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种显著性区域图像编解码方法，如图1所示，该方法主要包括：
1、搭建端到端的图像编解码网络。
如图2所示，为图像编解码网络的结构示意图，主要包括：编码网络、显著性检测模块、量化模块、超先验概率模型与解码网络。
本发明实施例中，所述编码网络包括：多个依次设置的卷积层。例如，4个步长为2的卷积层。
本发明实施例中，所述解码网络包括：多个依次设置的反卷积层。例如，4个步长为2的反卷积层。
本发明实施例中，所述显著性检测模块包括：多个依次设置的残差块(resblock)。例如，3个残差块。
2、网络训练。
图2所示网络结构展示了训练流程，主要如下：
(1)将原始图像输入至编码网络。
本发明实施例中，原始图像(original image)的尺寸可以设为H*W*3，其中，H、W分别为图像的高度、宽度，3表示通道数为3(例如，RGB三个通道)。
本发明实施例中，编码网络对输入的原始图像进行下采样，输出下采样的特征F，尺寸是(H/16)*(W/16)*C，C为通道数目。
(2)编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块。
本发明实施例中，量化模块、超先验概率模型与显著性检测模块处理对象均为下采样的特征F。
(3)通过显著性检测模块得到显著性检测结果。
本发明实施例中，显著性检测模块对下采样的特征F进行处理，获得显著性检测结果。
本发明实施例中，显著性检测模块不会改变输入特征(下采样的特征F)特征空间尺寸，经过激活函数(sigmoid或者softmax)处理成通道数为1的最终输出，具体的：如果显著性检测的类别只有两类(即显著性区域与非显著性区域)则使用sigmoid的激活函数，处理成只包含0,1两个数的输出，如果显著性检测的类别N大于2(即多个显著性区域与一个非显著性区域)，则使用softmax处理只包含0～N-1，N个数的输出。最终输出即为显著性检测区域，根据不同的显著性检测任务可以对接不同的显著性检测模块，检测出的多个显著性区域也可以自定义重要性程度以决定对需要编码特征的量化步长。
如图3所示，为显著性检测模块的示意图，左侧部分展示了显著性检测模块为三个依次连接残差块的示例，右侧部分展示了残差块的结构示例；当然，具体的结构可根据实际情况进行调整。与现有技术的区别在于，本发明针对下采样的特征F进行检测，获得显著性检测结果。
(4)如图2所示，量化模块通过结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像(recon image)；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化后的特征进行码率估计，获得码率估计结果。
量化处理过程表示为：
Q(F)＝Round(F/step)
其中，Q(F)为下采样的特征F进行量化处理得到的量化特征，Round为一般的四舍五入量化函数，step表示量化步长，将显著性检测结果与特征量化步长相结合，即根据显著性检测结果确定不同区域的重要性程度，根据重要性程度设置相应区域的量化步长，具体的，显著性区域的重要性程度高于非显著性区域的重要性程度；根据预先的设定，多个显著性区域也具有不同重要性程度；重要性程度越高的区域量化步长越短，损失越小，保留的特征越多。
(5)利用码率估计结果、重构图像与显著性检测结果构建总损失函数。
本发明实施例中，总损失函数由两部分构成，一部分是图像压缩损失AELoss，另一部分是显著性区域损失CELoss。
其中，图像压缩损失AELoss利用码率估计结果与重构图像计算，表示为：
AELoss＝R+λD
其中，λ是平衡失真损失D与率损失R的参数，率损失R利用码率估计结果计算，失真损失D利用重构图像计算，根据压缩的具体任务可变，失真损失一般为MSE/MAE/MSSSIM(均方误差/平均绝对误差/多尺度结构相似性指数)，并且根据显著性检测结果，可以对显著性区域与背景区域(非显著性区域)设置不同类型的损失，不同显著性区域也可以根据具体任务设置不同的损失，比如对显著性区域，例如人眼感兴趣的区域(人物，动物，纹理细节等)添加主观损失lpips/生成对抗网络损失，而对非显著性区域(背景区域)可以使用简单的像素值损失。
显著性区域损失CELoss利用显著性检测结果计算，表示为：
Figure BDA0004063966070000061
其中，N是显著性检测任务的类别数，pi为第i个类别的label(标签)，qi为第i个类别的显著性检测结果。
总损失函数loss表示为：loss＝AEloss+CEloss。
(6)结合所述总损失函数对所述图像编解码网络进行训练。
本发明实施例中，基于总损失函数对所述图像编解码网络进行训练，直至满足停止条件(例如，达到指定次数，或者总损失函数收敛等)，具体训练方式可参照常规技术实现，本发明不做赘述。
3、网络测试。
编码时：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码(mask)，量化模块结合掩码对编码网络输出的特征进行量化，通过超先验概率模型结合编码网络输出的特征获得概率估计参数(均值与方差)，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流。
本发明实施例中，掩码的维度可以是(H/16)*(W/16)*1的整数数组，直接存储，即掩码的宽度及高度与下采样的特征(编码网络输出的待编码图像的图像特征)相同。并且，通过掩码动态决定下采样的特征的量化方式，可以为显著性区域分配更多的码字。
本发明实施例中，编码网络输出的特征经超先验概率模型进行超先验编码得到超参数Z，超参数Z需要存储，将超参数Z通过经超先验概率模型进行超先验解码得到概率估计参数(均值与方差)，利用概率估计参数对量化特征进行算术编码，得到编码码流，编码码流可以直接存储并在需要时传递至解码端进行解码。
本发明实施例中，超先验概率模型主要包括：超先验编码器(用于超先验编码)、超先验解码器(用于超先验解码)、量化模块(它是另外一个量化模块，用来量化超参数Z)等部分，在训练阶段，超先验概率模型中进行码率估计，测试时进行算术编码与算术解码。算术编码/算术解码(未在图中示出)是一种传统通过的无损的算法，可以根据已有概率概率分布对量化特征进行编码，编码后的码流代表待编码图像的所有信息，需要查看时，通过算术解码进行无损解码，再通过解码网络即可重构为原始图像。考虑到超先验概率模型属于深度学习压缩网络中常用模型，具体实现方式及其在训练与测试时的工作原理均可参照常规技术，故不做赘述。
解码时：通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像；具体的：先从编码码流中直接解码得到超参数Z与掩码，将超参数Z输入超先验概率模型进行超先验解码，得到编码时使用的概率估计参数(均值与方差)，并依此从码流中算术解码出量化特征，再通过掩码将量化特征进行反量化，并将反量化后的特征输入至解码网络，上采样得到重构图像。
本发明实施中，对重构图像的质量进行主观评测(即人眼查看)时，人眼会主要关注到显著性区域(即明显的结构，例如，轮廓等)，增加了显著性区域的检测，会对显著性区域分配更多的码字，从而可以提升重构图像的视觉感官效果。
实施例二
本发明还提供一种显著性区域图像编解码系统，其主要基于前述实施例提供的方法实现，如图4所示，该系统主要包括：
网络搭建单元，用于搭建端到端的图像编解码网络，图像编解码网络包括：编码网络、量化模块、显著性检测模块、超先验概率模型与解码网络；
训练单元，用于网络训练，网络训练包括：将原始图像输入至编码网络，编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块；通过显著性检测模块得到显著性检测结果，通过量化模块结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化特征进行码率估计，获得码率估计结果；利用码率估计结果、重构图像与显著性检测结果构建总损失函数对所述图像编解码网络进行训练；
测试单元，用于网络测试，网络测试包括：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码；通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流；通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像。
本发明实施例中，所述编码网络包括：多个依次设置的卷积层。
本发明实施例中，所述解码网络包括：多个依次设置的反卷积层。
本发明实施例中，所述显著性检测模块包括：多个依次设置的残差块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器(Random Access Memory，RAM)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种显著性区域图像编解码方法，其特征在于，包括：
搭建端到端的图像编解码网络，图像编解码网络包括：编码网络、量化模块、显著性检测模块、超先验概率模型与解码网络；
网络训练：将原始图像输入至编码网络，编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块；通过显著性检测模块得到显著性检测结果，通过量化模块结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化特征进行码率估计，获得码率估计结果；利用码率估计结果、重构图像与显著性检测结果构建总损失函数对所述图像编解码网络进行训练；
网络测试：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码；通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流；通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像。
2.根据权利要求1所述的一种显著性区域图像编解码方法，其特征在于，所述通过显著性检测模块得到显著性检测结果包括：
所述显著性检测模块对编码网络输出的特征进行显著性检测，显著性检测结果包括：显著性区域与非显著性区域，或者多个显著性区域与一个非显著性区域。
3.根据权利要求1或2所述的一种显著性区域图像编解码方法，其特征在于，所述通过量化模块结合显著性检测结果对编码网络输出的特征进行量化包括：
结合显著性检测结果确定不同区域的重要性程度，根据重要性程度设置相应区域的量化步长，由所述量化模块结合各区域的量化步长对编码网络输出的特征进行量化；其中，重要性程度越高的区域量化步长越短。
4.根据权利要求1所述的一种显著性区域图像编解码方法，其特征在于，所述利用码率估计结果、重构图像与显著性检测结果构建总损失函数表示为：
loss＝AEloss+CEloss
其中，loss表示总损失函数，AELoss表示利用码率估计结果与重构图像计算的图像压缩损失，CEloss表示利用显著性检测结果计算的显著性区域损失。
5.根据权利要求4所述的一种显著性区域图像编解码方法，其特征在于，所述图像压缩损失表示为：
AELoss＝R+λD
其中，λ是平衡失真损失D与率损失R的参数，率损失R利用码率估计结果计算；失真损失D利用重构图像计算，且根据显著性检测结果，对不同区域设置不同类型的损失。
6.根据权利要求4所述的一种显著性区域图像编解码方法，其特征在于，所述显著性区域损失表示为：
Figure FDA0004063966060000021
其中，N是显著性检测任务的类别数，pi为第i个类别的标签，qi为第i个类别的显著性检测结果。
7.根据权利要求4所述的一种显著性区域图像编解码方法，其特征在于，所述通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流包括：
编码网络输出的特征经超先验概率模型进行超先验编码得到超参数Z，超参数Z通过经超先验概率模型进行超先验解码得到概率估计参数，利用概率估计参数对量化特征进行算术编码，得到编码码流；
从编码码流中直接解码得到超参数Z与掩码，将超参数Z输入超先验概率模型进行超先验解码，得到编码码流时使用的概率估计参数，并从码流中算术解码出量化特征，再通过掩码将量化特征进行反量化，并将反量化后的特征输入至解码网络，上采样得到重构图像。
8.一种显著性区域图像编解码系统，其特征在于，基于权利要求1～7任一项所述的方法实现，该系统包括：
网络搭建单元，用于搭建端到端的图像编解码网络，图像编解码网络包括：编码网络、量化模块、显著性检测模块、超先验概率模型与解码网络；
训练单元，用于网络训练，网络训练包括：将原始图像输入至编码网络，编码网络输出的特征分别进入量化模块、超先验概率模型与显著性检测模块；通过显著性检测模块得到显著性检测结果，通过量化模块结合显著性检测结果对编码网络输出的特征进行量化，获得的量化特征输入至解码网络，获得重构图像；同时，通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并对量化特征进行码率估计，获得码率估计结果；利用码率估计结果、重构图像与显著性检测结果构建总损失函数对所述图像编解码网络进行训练；
测试单元，用于网络测试，网络测试包括：待编码图像输入至训练后的图像编解码网络，经编码网络与显著性检测模块得到显著性检测结果，称为掩码；通过超先验概率模型结合编码网络输出的特征获得概率估计参数，并利用概率估计参数对量化模块输出的量化特征进行算术编码，获得编码码流；通过超先验概率模型对编码码流进行超先验解码与算术解码，获得掩码与量化特征，再结合解码网络，得到重构图像。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
CN202310069456.2A 2023-01-12 2023-01-12 显著性区域图像编解码方法、系统、设备及存储介质 Pending CN116095321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310069456.2A CN116095321A (zh) 2023-01-12 2023-01-12 显著性区域图像编解码方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310069456.2A CN116095321A (zh) 2023-01-12 2023-01-12 显著性区域图像编解码方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116095321A true CN116095321A (zh) 2023-05-09

Family

ID=86204164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310069456.2A Pending CN116095321A (zh) 2023-01-12 2023-01-12 显著性区域图像编解码方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116095321A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629315A (zh) * 2023-05-23 2023-08-22 北京百度网讯科技有限公司 感知模型的训练方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629315A (zh) * 2023-05-23 2023-08-22 北京百度网讯科技有限公司 感知模型的训练方法、装置、设备和介质
CN116629315B (zh) * 2023-05-23 2024-02-20 北京百度网讯科技有限公司 感知模型的训练方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US10834415B2 (en) Devices for compression/decompression, system, chip, and electronic device
CN108090521B (zh) 一种生成式对抗网络模型的图像融合方法和判别器
CN110348487B (zh) 一种基于深度学习的高光谱图像压缩方法及装置
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN115619743A (zh) Oled新型显示器件表面缺陷检测模型的构建方法及其应用
US20220122351A1 (en) Sequence recognition method and apparatus, electronic device, and storage medium
CN116433914A (zh) 一种二维医学图像分割方法及系统
CN113079378B (zh) 图像处理方法、装置和电子设备
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN116095321A (zh) 显著性区域图像编解码方法、系统、设备及存储介质
CN111242068B (zh) 基于视频的行为识别方法、装置、电子设备和存储介质
CN111898638B (zh) 融合不同视觉任务的图像处理方法、电子设备及介质
CN113256744B (zh) 一种图像编码、解码方法及系统
CN117499711A (zh) 视频生成模型的训练方法、装置、设备及存储介质
CN115829962B (zh) 医学图像分割装置、训练方法及医学图像分割方法
CN111583345A (zh) 一种相机参数的获取方法、装置、设备及存储介质
CN113901868B (zh) 一种变电现场安全监控方法及系统
CN114782995A (zh) 一种基于自注意力机制的人交互行为检测方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统
CN115471875B (zh) 一种多码率的行人识别视觉特征编码压缩方法和装置
CN114663536B (zh) 一种图像压缩方法及装置
CN112016480B (zh) 人脸特征表示方法、系统、电子设备和存储介质
CN116320458A (zh) 一种深度学习图像编解码网络的蒸馏训练方法与系统
CN117574994A (zh) 图像处理网络的训练、编解码方法及电子设备
CN117011131A (zh) 图像重建方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination