CN111988629A - 图像编码方法和装置、图像解码方法和装置 - Google Patents

图像编码方法和装置、图像解码方法和装置 Download PDF

Info

Publication number
CN111988629A
CN111988629A CN201910429351.7A CN201910429351A CN111988629A CN 111988629 A CN111988629 A CN 111988629A CN 201910429351 A CN201910429351 A CN 201910429351A CN 111988629 A CN111988629 A CN 111988629A
Authority
CN
China
Prior art keywords
data
feature map
probability
image
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910429351.7A
Other languages
English (en)
Other versions
CN111988629B (zh
Inventor
周静
中川章
温思寒
谭志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910429351.7A priority Critical patent/CN111988629B/zh
Priority to JP2020068869A priority patent/JP7476631B2/ja
Priority to US16/855,465 priority patent/US11184615B2/en
Publication of CN111988629A publication Critical patent/CN111988629A/zh
Application granted granted Critical
Publication of CN111988629B publication Critical patent/CN111988629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请实施例提供一种图像编码方法和装置、图像解码方法和装置。图像编码方法包括：利用卷积神经网络对待处理的图像数据进行特征提取，生成图像数据的特征图；对特征图进行量化，生成离散的特征图；对离散的特征图进行预处理，生成预处理数据，预处理数据的数据量小于离散的特征图的数据量；根据预处理数据计算离散的特征图中的待编码数据的概率；根据待编码数据的概率对待编码数据进行熵编码。

Description

图像编码方法和装置、图像解码方法和装置
技术领域
本申请实施例涉及图像处理领域。
背景技术
随着计算机技术的发展，图像的应用越来越广泛。为了对图像文件进行高效的存储或传输，需要对图像文件进行图像编码(图像压缩)。图像编码可以看作是码率以及压缩失真程度的一种折中。
根据香农信源编码理论，数据压缩的理论极限是信息熵。换句话说，如果能够准确地估计图像数据的熵，那么就可以使用较少的比特或较小的码率来表示图像数据，由此，能够实现速率-失真的平衡。
为了计算图像数据的熵，需要首先确定待编码数据的概率。但是，通常情况下，待编码数据的概率不是已知的，因此，需要对待编码数据的概率进行估计。如果能够准确的估计待编码数据的概率，那么可以使用较少的比特或较小的码率来表示图像数据，从而有利于提高图像数据的编码效率。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
目前，自回归先验(Autoregressive Priors)方法能够很好地进行概率估计。例如，通过具有自回归模型(Autoregressive Model)和层次先验模型(Hierarchical PriorModel)的熵模型进行概率估计。
但是，发明人发现，自回归模型需要显著的计算开销，因此，在对图像数据进行编解码时，会产生较大的时延。此外，在根据熵模型计算出的概率对图像进行编解码时，编解码器的效率也是影响图像数据的编解码时长的一个重要因素。
本申请实施例提出了一种图像编码方法和装置、图像解码方法和装置，能够缩短图像编解码的时长。
根据本申请实施例的第一个方面，提供了一种图像编码方法，包括：
利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；
对所述特征图进行量化，生成离散的特征图；
对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；
根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；
根据所述待编码数据的概率对所述待编码数据进行熵编码。
根据本申请实施例的第二个方面，提供了一种图像解码方法，包括：
对已解码数据进行预处理，生成预处理数据，所述预处理数据的数据量小于所述已解码数据的数据量；
根据所述预处理数据计算当前的待解码数据的概率；
根据所述概率对所述待解码数据进行熵解码得到特征图；以及
对所述特征图进行重建，生成图像数据。
根据本申请实施例的第三个方面，提供了一种图像编码方法，包括：
利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；
对所述特征图进行量化，以生成离散的特征图；
计算所述离散的特征图中的待编码数据的概率；
生成标记数据，所述标记数据用于指示所述离散的特征图中的各个通道数据是否为全零；
根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码。
根据本申请实施例的第四个方面，提供了一种图像解码方法，包括：
估计当前的待解码数据的概率；
根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；以及
对所述特征图进行重建，生成图像数据。
根据本申请实施例的第五个方面，提供了一种图像编码装置，包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，生成离散的特征图；
预处理器，其对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；
概率估计器，其根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；以及
熵编码器，其根据所述待编码数据的概率对所述待编码数据进行熵编码。
根据本申请实施例的第六个方面，提供了一种图像解码装置，包括：
预处理器，其对已解码数据进行预处理，生成预处理数据，所述预处理数据的数据量小于所述已解码数据的数据量；
概率估计器，其根据所述预处理数据计算当前的待解码数据的概率；
熵解码器，其用于根据所述概率对所述待解码数据进行熵解码得到特征图；以及
卷积神经网络解码器，其用于对所述特征图进行重建，生成图像数据。
根据本申请实施例的第七个方面，提供了一种图像编码装置，包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，以生成离散的特征图；
概率估计器，其计算所述离散的特征图中的待编码数据的概率；
标记数据生成器，其用于生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
熵编码器，其根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码。
根据本申请实施例的第八个方面，提供了一种图像解码装置，包括：
概率估计器，其估计当前的待解码数据的概率；
熵解码器，其根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；以及
卷积神经网络解码器，其用于对所述特征图进行重建，生成图像数据。
本申请实施例的有益效果之一在于，能够缩短图像编解码的时长。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
参照以下的附图可以更好地理解本申请的很多方面。在本申请的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
在附图中：
图1是本申请实施例的图像编码方法的流程的一个示意图；
图2是本申请实施例的预处理数据的一个示意图；
图3A是本申请实施例的掩模卷积层的一个示意图；
图3B是本申请实施例的掩模卷积层的另一个示意图；
图3C是本申请实施例的掩模卷积层的另一个示意图；
图4是本申请实施例的图像编码方法的流程的另一个示意图；
图5是本申请实施例的图像编码装置的结构的一个示意图；
图6是本申请实施例的图像解码方法的流程的一个示意图；
图7是本申请实施例的图像解码方法的流程的另一个示意图；
图8是本申请实施例的图像解码装置的结构的一个示意图；
图9是本申请实施例的图像编码方法的流程的一个示意图；
图10是本申请实施例的图像解码方法的流程的一个示意图；
图11是本申请实施例的图像编码装置的结构的一个意图；
图12是本申请实施例的图像解码装置的结构的一个意图；
图13是本申请实施例的图像编码装置的结构的一个意图；
图14是本申请实施例的图像解码装置的结构的一个意图；
图15是本申请实施例的电子设备的结构的一个意图。
具体实施方式
参照附图，通过下面的说明书，本申请实施例的前述以及其它特征将变得明显。这些实施方式只是示例性的，不是对本申请的限制。下面参照附图对本申请的具体实施方式进行说明。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
在本申请实施例中，以卷积神经网络(CNN，Convolutional Neural Network)为例进行示例性说明，本申请不限于此。关于CNN的基本概念和内容可以参考相关技术。
第一方面的实施例
本申请实施例提供一种图像编码方法，图1是本申请实施例的图像编码方法的流程的一个示意图，如图1所示，该方法包括：
101，利用卷积神经网络对待处理的图像数据进行特征提取，生成图像数据的特征图；
102，对特征图进行量化，生成离散的特征图；
103，对离散的特征图进行预处理，生成预处理数据，该预处理数据的数据量小于离散的特征图的数据量；
104，根据预处理数据计算离散的特征图中的待编码数据的概率；
105，根据待编码数据的概率对待编码数据进行熵编码。
在本申请实施例中，通过对离散的特征图进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待编码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像编码的时长。
在一个或一些实施例中，在101中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。通过卷积神经网络对待处理的图像数据进行特征提取能够得到该图像数据对应的特征图。
在一个或一些实施例中，在102中，通过卷积神经网络得到的特征图为模拟数据形式。通过对该模拟数据形式的特征图进行量化，能够得到离散形式的特征图，该离散形式的特征图即为待编码数据。在一个或一些实施例中，可以采用任意量化方式进行特征图的量化，本申请实施例对此不作具体限制。
在一个或一些实施例中，在103中，可以以任意一种方式根据离散的特征图生成数据量小于离散的特征图的预处理数据。例如，可以从离散的特征图中选择部分数据作为预处理数据，例如，预处理数据包括以当前的待编码数据为中心的、在规定范围内的多个数据。
由于预处理数据仅包括离散的特征图中的一部分数据，因此，预处理数据的数据量小于离散的特征图的数据量，从而，在根据预处理数据进行概率估计时能够减少概率估计的计算量，提高概率估计的效率。
在一个或一些实施例中，在104中，可以进行任意一种概率模型的计算，例如，可以采用高斯概率模型、拉普拉斯概率模型等。以高斯概率模型为例，通过估计高斯分布的均值和方差或标准差，从而得到高斯概率模型。
在一个或一些实施例中，在104中，可以采用任意一种方式对离散的特征图中的待编码数据进行概率估计。例如，可以采用具有自回归模型和层次先验模型的熵模型进行概率估计。其中，自回归模型可以按照离散的特征图中的待编码数据的顺序进行逐点估计，其中，被估计的待编码数据的概率依赖于在该待编码数据之前的已编码数据的信息。
该自回归模型可以是任意形式，例如，该自回归模型可以具有掩模卷积层，该掩模卷积层对预处理数据进行卷积。其中，掩模卷积层用于对以待编码数据为中心的多个数据进行卷积运算，可以将待编码数据之前的已编码数据的权重置为1，将待编码数据之后的未编码数据的权重置为0。其中，该自回归模型可以具有一个或多个掩模卷积层，在具有多个掩模卷积层的情况下，该多个掩模卷积层的尺度可以相同或者不同。但是，本申请实施例不限于此，还可以采用其他形式的自回归模型进行概率估计。
在一个或一些实施例中，在利用掩模卷积层计算离散的特征图中的待编码数据的概率时，根据掩模卷积层的尺度确定预处理数据对应的规定范围。
例如，在一个实施例中，在掩模卷积层的个数为1个、掩模卷积层的尺度为n*n的情况下(n为大于0的整数)，可以将离散的特征图中的、以当前的待编码数据为中心的、范围大于或等于n*n并且小于离散的特征图的尺寸的数据作为预处理数据。在一个实施例中，可以仅将离散的特征图中的、以当前的待编码数据为中心的、n*n范围内的数据作为预处理数据。
由于，预处理数据的尺寸大于或等于掩模卷积层的尺度，因此，不会影响掩模卷积层的性能，进而也不会影响概率估计的准确性。此外，由于掩模卷积层仅对预处理数据进行卷积，并且，预处理数据的尺寸小于离散的特征图的尺寸，因此，能够缩短掩模卷积层的计算时长。
再例如，在另一个实施例中，在掩模卷积层的个数为多个、掩模卷积层的尺度相同，均为m*m的情况下，预处理数据的尺寸的设定方式可以参照掩模卷积层的个数为1个的方式，例如，可以将离散的特征图中的、以当前的待编码数据为中心的、范围大于或等于m*m并且小于离散的特征图的尺寸的数据作为预处理数据。
再例如，在另一个实施例中，在掩模卷积层的个数为多个、掩模卷积层的尺度不同的情况下，例如，可以将离散的特征图中的、以当前的待编码数据为中心的、范围大于或等于a*a并且小于离散的特征图的尺寸的数据作为预处理数据，其中，a*a是该多个掩模卷积层中的最大掩模卷积层的尺度。或者，也可以针对每个掩模卷积层分别选择不同的规定范围的数据作为预处理数据，其中，针对每个掩模卷积层分别选择预处理数据的方式可以参照掩模卷积层的个数为1个的方式。
图2是本申请实施例的预处理数据的一个示意图，为了便于说明，图2中示例性地采用了15*10的特征图，可以理解的是，特征图也可以是其他尺寸，本申请实施例对此不作具体限制。
如图2所示，在该特征图中，每一个矩形代表一个离散的待编码数据，虚线矩形对应已编码数据，矩形D对应当前的需要估计概率的待编码数据，按照图中箭头所指示的方向逐个对待编码数据进行概率估计。
图3A-图3C是本申请实施例的掩模卷积层的示意图。如图3A-图3C所示，在多尺度上下文模型中可以使用3个不同尺度的掩模卷积层，其中，掩模卷积层的尺度可以分别是3*3，5*5，7*7。
例如，图3A所示的3*3掩模卷积层对应于图2中的矩形A，图3B所示的5*5掩模卷积层对应于图2中的矩形B，图3C所示的7*7掩模卷积层对应于图2中的矩形C，图3A中的矩形301、图3B中的矩形302、图3C中的矩形303对应于图2中的矩形D，即当前的待编码数据。
如图2和图3A-图3C所示，由于被估计的待编码数据的概率依赖于在该待编码数据之前的已编码数据的信息，因此，可以将该待编码数据之前的已编码数据的权重置为1，将该待编码数据之后的未编码数据的权重置为0，根据公式1计算被估计的待编码数据的概率：
Figure BDA0002068477260000081
其中，
Figure BDA0002068477260000082
为被估计的待编码数据的概率，
Figure BDA0002068477260000083
为数据
Figure BDA0002068477260000084
相对于在先数据
Figure BDA0002068477260000085
的条件概率，m为在先数据的个数，其与掩模卷积层的尺度有关，例如，掩模卷积层的尺度为3*3时，m＝4，掩模卷积层的尺度为5*5时，m＝12，掩模卷积层的尺度为7*7时，m＝24。
在掩模卷积层的个数为3个，尺度分别为3*3，5*5，7*7的情况下，如图2所示，可以将离散的特征图中的、以当前的待编码数据D为中心的7*7范围内的数据作为预处理数据(对应于方框C内的数据)，3*3的掩模卷积层、5*5的掩模卷积层和7*7的掩模卷积层均在尺寸为7*7的预处理数据中进行卷积运算。在此情况下，在计算当前的待编码数据D的概率时，不管有多少个掩模卷积层，只需要进行一次裁剪就可以生成预处理数据。
或者，如图2所示，也可以为各个掩模卷积层分别生成预处理数据。例如，将离散的特征图中的、以当前的待编码数据D为中心的3*3范围内的数据作为第一预处理数据(对应于方框A内的数据)，将以当前的待编码数据D为中心的5*5范围内的数据作为第二预处理数据(对应于方框B内的数据)，将以当前的待编码数据D为中心的7*7范围内的数据作为第三预处理数据(对应于方框C内的数据)，3*3的掩模卷积层在第一预处理数据中进行卷积运算、5*5的掩模卷积层在第二预处理数据中进行卷积运算和7*7的掩模卷积层在第三预处理数据中进行卷积运算。
在一个或一些实施例中，在105中，熵编码即编码过程中按熵原理不丢失任何信息的编码。在进行熵编码时，每个待编码数据的出现概率越精确，那么能够用越少的比特表示该待编码数据。在105中，可以采用任意一种熵编码，例如，香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)等。
图4是本申请实施例的图像编码方法的流程的另一个示意图。如图4所示，图像编码方法包括：
401，利用卷积神经网络对待处理的图像数据进行特征提取，生成图像数据的特征图；
402，对特征图进行量化，生成离散的特征图；
403，对离散的特征图进行预处理，生成预处理数据，预处理数据的数据量小于离散的特征图的数据量；
404，生成标记数据，标记数据用于指示离散的特征图中各个通道的数据是否为全零；
405，根据预处理数据计算离散的特征图中的待编码数据的概率；
406，根据标记数据和待编码数据的概率对离散的特征图中的待编码数据进行熵编码。
在本申请实施例中，通过生成用于指示离散的特征图中各个通道(channel)的数据是否全为零的标记数据，根据该标记数据对待编码数据进行熵编码，能够进一步缩短计算概率的时间，从而，能够缩短图像编码的时长。
在一个或一些实施例中，操作401、402、403、405可以分别与操作101-104对应，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在404中，可以采用任意一种方式判断离散的特征图中某个通道的数据是否为全零。例如，假设在401中生成了h*w*channel规格的特征图，其中，channel表示特征图的个数，即通道数，h*w表示单通道特征图的尺寸。在判断第i通道上的特征图是否为全零特征图时(i是大于0、小于等于c的整数)，可以将该特征图中的h*w个数据的绝对值进行相加，在相加结果为零时，该第i通道上的特征图为全零特征图；或者，在判断第i通道上的特征图是否为全零特征图时，可以依次判断该特征图中h*w个数据是否为零，在h*w个数据全部为零时，该第i通道上的特征图为全零特征图。但是，本申请实施例不限于此，也可以根据其他方式来判断特征图是否为全零特征图。
在一个或一些实施例中，可以采用任意一种方式来指示各个通道的特征图是否为全零特征图。例如，可以采用二进制比特位的方式，在特征图为全零时，将该特征图对应的比特位置为0，在特征图为非全零时，将该特征图对应的比特位置为1。由此，能够以较少的比特数来表示该通道特征图是否为全零特征图。
在一个或一些实施例中，在406中，在根据标记数据和待编码数据的概率对离散的特征图中的待编码数据进行熵编码时，例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不对离散的特征图中该通道的待编码数据进行熵编码；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据该通道待编码数据的概率对待编码数据进行熵编码。
例如，可以参照如下所示的伪代码生成标记数据并根据该标记数据和待编码数据的概率进行编码。
Figure BDA0002068477260000101
在一个或一些实施例中，在405中，可以根据预处理数据计算离散的特征图中的待编码数据的概率，也可以还根据在404中生成的标记数据计算离散的特征图中的待编码数据的概率。
例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不计算离散的特征图中该通道的待编码数据的概率；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据预处理数据计算离散的特征图中该通道的待编码数据的概率。由此，能够进一步缩短图像编码的时长。
图5是本申请实施例的图像编码装置的结构的一个示例图，下面结合图5对本实施例的图像编码方法进行具体的示例性的说明。
如图5所示，首先，通过卷积神经网络编码器对待处理的图像数据提取特征，得到该图像数据的潜像表示y(即，特征图)；通过量化器对潜像表示y进行量化得到离散的潜像表示
Figure BDA0002068477260000111
(即，待编码数据)；该离散的潜像表示
Figure BDA0002068477260000112
经过预处理器，选择离散的潜像表示
Figure BDA0002068477260000113
中的、以当前的待编码数据为中心的7*7范围内的数据，将选择的数据作为预处理数据
Figure BDA0002068477260000114
该预处理数据
Figure BDA0002068477260000115
分别经过3*3卷积核、5*5卷积核、7*7卷积核，得到卷积运算后的结果c1、c2和c3；层次先验模型根据潜像表示y计算生成结果c4；根据卷积运算后的结果c1、c2和c3以及c4，通过熵参数模块计算得到待编码数据的概率模型，以高斯分布为例，概率模型包括高斯分布的均值μ和标准差σ，从而得到待编码数据的概率
Figure BDA0002068477260000116
标记数据生成器生成指示用于指示离散的潜像表示
Figure BDA0002068477260000117
在各个通道上是否为全零的标记数据flag，算数编码器根据概率
Figure BDA00020684772600001110
和标记数据flag，对离散的潜像表示
Figure BDA0002068477260000119
进行熵编码，生成表示图像数据的码流b1。
在一个或一些实施例中，标记数据flag和表示图像数据的码流b1可以用于网络传输或存储。在解码器端，根据标记数据flag对码流b1进行相应的解码，重构图像数据。
值得注意的是，以上附图1或4仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1或4的记载。
通过对离散的特征图进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待编码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像编码的时长。
第二方面的实施例
本申请实施例提供一种图像解码方法，图6是本申请实施例的图像解码方法的流程的一个示意图，如图6所示，该方法包括：
601，对已解码数据进行预处理，生成预处理数据，预处理数据的数据量小于已解码数据的数据量；
602，根据预处理数据计算当前的待解码数据的概率；
603，根据概率对待解码数据进行熵解码得到特征图；
604，利用卷积神经网络对特征图进行重建，生成图像数据。
在本申请实施例中，通过对已解码数据进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待解码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像解码的时长。
在一个或一些实施例中，在601中，可以以任意一种方式根据已解码数据生成数据量小于已解码数据的预处理数据。例如，可以从已解码数据中选择部分数据作为预处理数据，例如，预处理数据包括以当前的待解码数据为中心的、在规定范围内的多个数据。由于预处理数据仅包括已解码数据中的一部分数据，因此，预处理数据的数据量小于已解码数据的数据量，从而，在根据预处理数据进行概率估计时能够减少概率估计的计算量，提高概率估计的效率。
在一个或一些实施例中，在602中，可以进行任意一种概率模型的计算，例如，可以采用高斯概率模型、拉普拉斯概率模型等。以高斯概率模型为例，通过估计高斯分布的均值和方差或标准差，从而得到高斯概率模型。
在一个或一些实施例中，在602中，可以采用任意一种方式对待解码数据进行概率估计。例如，可以采用具有自回归模型和层次先验模型的熵模型进行概率估计。其中，自回归模型可以按照待解码数据的顺序进行逐点估计，被估计的待解码数据的概率依赖于在该待解码数据之前的已解码数据的信息。
该自回归模型可以是任意形式，例如，该自回归模型可以具有掩模卷积层，该掩模卷积层对预处理数据进行卷积。其中，掩模卷积层用于对以当前的待解码数据为中心的多个数据进行卷积运算，可以将待解码数据之前的已解码数据的权重置为1，将待解码数据之后的未解码数据的权重置为0。其中，该自回归模型可以具有一个或多个掩模卷积层，在具有多个掩模卷积层的情况下，该多个掩模卷积层的尺度可以相同或者不同。但是，本申请不限于此，还可以采用其他形式的自回归模型进行概率估计。
在一个或一些实施例中，在利用掩模卷积层计算待解码数据的概率时，可以根据掩模卷积层的尺度确定预处理数据对应的规定范围。例如，在掩模卷积层的个数为1个的情况下，规定范围可以等于掩模卷积层的尺度；在掩模卷积层的个数为多个的情况下，规定范围可以等于多个掩模卷积层的最大尺度，或者，规定范围可以等于各个掩模卷积层的尺度。具体方式如第一方面的实施例所述，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在603中，可以采用任意一种熵解码，例如，与香农(Shannon)编码、哈夫曼(Huffman)编码或算术编码(arithmetic coding)等对应的解码。
在一个或一些实施例中，在604中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。通过卷积神经网络对特征图进行重建，能够重构图像数据。
图7是本申请实施例的图像解码方法的流程的另一个示意图。如图7所示，图像解码方法包括：
701，对已解码数据进行预处理，生成预处理数据，预处理数据的数据量小于已解码数据的数据量；
702，根据预处理数据计算当前的待解码数据的概率；
703，根据标记数据和待解码数据的概率对待解码数据进行熵解码得到特征图，其中，标记数据用于指示特征图中各个通道的数据是否为全零；
704，利用卷积神经网络对特征图进行重建，生成图像数据。
在一个或一些实施例中，操作701、702、704可以分别与操作401、402、404对应，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在703中，标记数据可以是任意形式的数据，也就是说，可以采用任意一种方式来指示某一通道特征图是否为全零特征图。例如，可以采用二进制比特位的方式，在比特位为0时，表示对应的特征图为全零，在比特位为1时，表示对应的特征图不是全零。由此，能够以较少的比特数来表示该特征图是否为全零特征图。
在一个或一些实施例中，在703中，在根据标记数据和待解码数据的概率对待解码数据进行熵解码时，例如，在标记数据指示特征图中某一通道的数据为全零时，针对该通道生成全零的特征图；在标记数据指示特征图中某一通道的数据不是全零的情况下，根据该通道的待解码数据的概率对待解码数据进行熵解码得到特征图。
在一个或一些实施例中，在702中，可以根据预处理数据计算待解码数据的概率，也可以还根据标记数据计算待解码数据的概率。例如，在标记数据指示特征图中某一通道的数据为全零时，不计算该通道的待解码数据的概率；在标记数据指示特征图中某一通道的数据不是全零时，根据预处理数据计算该通道的待解码数据的概率。由此，能够进一步缩短图像解码的时长。
图8是本申请实施例的图像解码装置的结构的一个示例图，下面结合图8对本实施例的图像解码方法进行具体的示例性的说明。
如图8所示，首先，通过算数解码器对表示图像数据的码流b1进行熵解码得到离散的潜像表示
Figure BDA00020684772600001411
(即，特征图)；然后，通过卷积神经网络解码器对潜像表示
Figure BDA00020684772600001412
进行解码从而重构图像数据。
其中，在通过算数解码器进行熵解码时，还需要用到当前的潜像表示
Figure BDA0002068477260000141
的概率和用于指示当前处理的特征图中各个通道的数据是否为全零的标记数据flag，其中，该概率可以通过如下方式计算：离散的潜像表示
Figure BDA0002068477260000142
经过预处理器，选择离散的潜像表示
Figure BDA0002068477260000143
中的、以当前的待解码数据为中心的7*7范围内的数据，将选择的数据作为预处理数据
Figure BDA0002068477260000144
该预处理数据
Figure BDA0002068477260000145
分别经过3*3卷积核、5*5卷积核、7*7卷积核得到卷积运算后的结果c1、c2和c3；层次先验模型计算生成结果c4；根据卷积运算后的结果c1、c2和c3以及c4，通过熵参数模块计算得到待解码数据的概率模型，以高斯分布为例，概率模型包括高斯分布的均值μ和标准差σ，从而得到待编码数据的概率
Figure BDA0002068477260000146
算数解码器根据概率
Figure BDA0002068477260000147
和标记数据flag，对码流b1进行熵解码，生成表示潜像表示
Figure BDA0002068477260000148
(特征图)，通过卷积神经网络解码器对潜像表示
Figure BDA0002068477260000149
进行解码从而重构图像数据。
值得注意的是，以上附图6或7仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图6或7的记载。
通过对已解码数据进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待解码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像解码的时长。
第三方面的实施例
本申请实施例提供一种图像编码方法，图9是本申请实施例的图像编码方法的流程的一个示意图，如图9所示，该方法包括：
901，利用卷积神经网络对待处理的图像数据进行特征提取，生成图像数据的特征图；
902，对特征图进行量化，生成离散的特征图；
903，计算所述离散的特征图中的待编码数据的概率；
904，生成标记数据，标记数据用于指示离散的特征图中各个通道的数据是否为全零；
905，根据标记数据和待编码数据的概率对待编码数据进行熵编码。
在本申请实施例中，通过生成用于指示离散的特征图中各个通道的数据是否全为零的标记数据，根据该标记数据对待编码数据进行熵编码，能够缩短图像编码的时长。
在一个或一些实施例中，操作901、902可以对应于第一方面的实施例中的操作101、102，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在903中，可以根据离散的特征图中的全部数据计算待编码数据的概率，也可以如第一方面的实施例所述，仅根据离散的特征图中的部分数据计算待编码数据的概率，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，操作904、905可以对应于第一方面的实施例中的操作404、406，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在905中，在根据标记数据和待编码数据的概率对离散的特征图中某一通道的待编码数据进行熵编码时，例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不对离散的特征图中该通道的待编码数据进行熵编码；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据该通道待编码数据的概率对待编码数据进行熵编码。
在一个或一些实施例中，在903中，也可以还根据在904中生成标记数据计算离散的特征图中的待编码数据的概率。例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不计算离散的特征图中该通道的待编码数据的概率；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据预处理数据计算离散的特征图中该通道待编码数据的概率。由此，能够进一步缩短图像编码的时长。
值得注意的是，以上附图9仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图9的记载。
通过生成用于指示离散的特征图中各个通道的数据是否全为零的标记数据，根据该标记数据对待编码数据进行熵编码，能够缩短图像编码的时长。
第四方面的实施例
本申请实施例提供一种图像解码方法，图10是本申请实施例的图像解码方法的流程的一个示意图，如图10所示，该方法包括：
1001，估计当前的待解码数据的概率；
1002，根据标记数据和待解码数据的概率对待解码数据进行熵解码，得到特征图，其中，标记数据用于指示特征图中各个通道的数据是否为全零；
1003，利用卷积神经网络对特征图进行重建，生成图像数据。
在本申请实施例中，通过根据用于指示离散的特征图中各个通道的数据是否全为零的标记数据对待解码数据进行熵解码，能够缩短图像解码的时长。
在一个或一些实施例中，在1001中，可以根据全部已解码数据计算当前的待解码数据的概率，也可以如第二方面的实施例所述，仅根据部分已解码数据计算当前的待解码数据的概率，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，操作1002和1003对应于第二方面的实施例的操作703和704，将其内容合并于此，此处不再赘述。
在一个或一些实施例中，在1002中，在根据标记数据和待解码数据的概率对待解码数据进行熵解码时，例如，在标记数据指示特征图中某一通道的数据为全零时，针对该通道生成全零的特征图；在标记数据指示特征图中某一通道的数据不是全零的情况下，根据该通道待解码数据的概率对待解码数据进行熵解码得到特征图。
在一个或一些实施例中，在1001中，也可以根据标记数据计算待解码数据的概率。例如，在标记数据指示特征图中某一通道的数据为全零时，不计算该通道上待解码数据的概率；在标记数据指示特征图中某一通道的数据不是全零时，根据预处理数据计算该通道上待解码数据的概率。由此，能够进一步缩短图像解码的时长。
值得注意的是，以上附图10仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图10的记载。
通过根据用于指示离散的特征图中各个通道的数据是否全为零的标记数据对待解码数据进行熵解码，能够缩短图像解码的时长。
第五方面的实施例
本申请实施例提供一种图像编码装置。由于该装置解决问题的原理与第一方面的实施例的方法类似，因此其具体的实施可以参考第一方面的实施例的方法的实施，内容相同之处不再重复说明。
图11是本申请实施例的图像编码装置1100的结构的一个示意图，如图11所示，该装置1100包括：
卷积神经网络编码器1101，其利用卷积神经网络对待处理的图像数据进行特征提取，生成图像数据的特征图；
量化器1102，其用于对特征图进行量化，生成离散的特征图；
预处理器1103，其对离散的特征图进行预处理，生成预处理数据，预处理数据的数据量小于离散的特征图的数据量；
概率估计器1104，其根据预处理数据计算离散的特征图中的待编码数据的概率；
熵编码器1105，其根据待编码数据的概率对待编码数据进行熵编码。
在一个或一些实施例中，卷积神经网络编码器1101、量化器1102、预处理器1103、概率估计器1104和熵编码器1105的实施可以参考第一方面的实施例中操作101-105，此处不再赘述。
在一个或一些实施例中，预处理器1103可以选择离散的特征图中的部分数据作为预处理数据，其中，预处理数据包括以当前的待编码数据为中心的、在规定范围内的多个数据。
在一个或一些实施例中，概率估计器1104包括掩模卷积层，掩模卷积层对预处理数据进行卷积运算，规定范围对应于掩模卷积层的尺度。
在一个或一些实施例中，在掩模卷积层的个数为1个的情况下，规定范围等于掩模卷积层的尺度；在掩模卷积层的个数为多个的情况下，规定范围等于多个掩模卷积层的最大尺度，或者，规定范围等于各个掩模卷积层的尺度。
在一个或一些实施例中，如图11所示，图像编码装置1100还包括：标记数据生成器1106，其用于生成标记数据，标记数据用于指示离散的特征图中各个通道的数据是否为全零；熵编码器1105还可以根据标记数据对离散的特征图中的待编码数据进行熵编码。
在一个或一些实施例中，所述熵编码器1105在标记数据指示离散的特征图中某一通道的数据为全零时，不对离散的特征图中该通道的待编码数据进行熵编码；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据待编码数据的概率对该通道上待编码数据进行熵编码。
在一个或一些实施例中，标记数据生成器1106和熵编码器1105的实施可以参考第一方面的实施例中操作404和406，此处不再赘述。
在一个或一些实施例中，概率估计器1104还可以根据标记数据生成器生成的标记数据计算离散的特征图中的待编码数据的概率。例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不计算离散的特征图中该通道的待编码数据的概率；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据预处理数据计算离散的特征图中该通道上的待编码数据的概率。由此，能够进一步缩短图像编码的时长。
通过对离散的特征图进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待编码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像编码的时长。
第六方面的实施例
本申请实施例提供一种图像解码装置。由于该装置解决问题的原理与第二方面的实施例的方法类似，因此其具体的实施可以参考第二方面的实施例的方法的实施，内容相同之处不再重复说明。
图12是本申请实施例的图像解码装置的结构的一个示意图，如图12所示，该装置1200包括：
预处理器1201，其对已解码数据进行预处理，生成预处理数据，预处理数据的数据量小于已解码数据的数据量；
概率估计器1202，其根据预处理数据计算当前的待解码数据的概率；
熵解码器1203，其用于根据概率对待解码数据进行熵解码得到特征图；
卷积神经网络解码器1204，其用于对特征图进行重建，生成图像数据。
在一个或一些实施例中，预处理器1201、概率估计器1202、熵解码器1203和卷积神经网络解码器1204的实施可以参考第二方面的实施例中操作601-604，此处不再赘述。
在一个或一些实施例中，预处理器1201选择已解码数据中的部分数据作为预处理数据，其中，预处理数据包括以当前的待解码数据为中心的、在规定范围内的多个数据。
在一个或一些实施例中，概率估计器1202包括掩模卷积层，掩模卷积层对预处理数据进行卷积运算，规定范围对应于掩模卷积层的尺度。
在一个或一些实施例中，在掩模卷积层的个数为1个的情况下，规定范围等于掩模卷积层的尺度；在掩模卷积层的个数为多个的情况下，规定范围等于多个掩模卷积层的最大尺度，或者，规定范围等于各个掩模卷积层的尺度。
在一个或一些实施例中，熵解码器1203还根据标记数据对待解码数据进行熵解码得到特征图，其中，标记数据用于指示特征图中各个通道的数据是否为全零。
在一个或一些实施例中，熵解码器1203在标记数据指示特征图中某个通道的数据为全零时，该通道上生成全零的特征图；在标记数据指示特征图中某个通道的数据不是全零的情况下，根据待解码数据的概率对该通道上的待解码数据进行熵解码得到特征图。
在一个或一些实施例中，熵解码器1203的实施可以参考第二方面的实施例中操作703，此处不再赘述。
在一个或一些实施例中，概率估计器1202可以还根据标记数据计算待解码数据的概率。例如，在标记数据指示特征图中某个通道的数据为全零时，不计算该通道的待解码数据的概率；在标记数据指示特征图中的某个通道数据不是全零时，根据预处理数据计算该通道的待解码数据的概率。由此，能够进一步缩短图像解码的时长。
通过对已解码数据进行预处理，生成数据量较小的预处理数据，再根据预处理数据计算待解码数据的概率，由此，能够缩短计算概率的时间，从而，能够缩短图像解码的时长。
第七方面的实施例
本申请实施例提供一种图像编码装置。由于该装置解决问题的原理与第三方面的实施例的方法类似，因此其具体的实施可以参考第三方面的实施例的方法的实施，内容相同之处不再重复说明。
图13是本申请实施例的图像编码装置1300的结构的一个示意图，如图13所示，该装置1300包括：
卷积神经网络编码器1301，其利用卷积神经网络对待处理的图像数据进行特征提取，以生成图像数据的特征图；
量化器1302，其用于对特征图进行量化，以生成离散的特征图；
概率估计器1303，其计算离散的特征图中的待编码数据的概率；
标记数据生成器1304，其用于生成标记数据，标记数据用于指示离散的特征图中某一通道的数据是否为全零；
熵编码器1305，其根据标记数据和待编码数据的概率对待编码数据进行熵编码。
在一个或一些实施例中，卷积神经网络编码器1301、量化器1302、概率估计器1303、标记数据生成器1304和熵编码器1305的实施可以参考第三方面的实施例中操作901-905，此处不再赘述。
在一个或一些实施例中，熵编码器1305在标记数据指示离散的特征图中某一通道的数据为全零时，不对离散的特征图中该通道的待编码数据进行熵编码；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据待编码数据的概率对该通道的待编码数据进行熵编码。
在一个或一些实施例中，概率估计器1303还可以根据标记数据生成器1304生成的标记数据计算离散的特征图中的待编码数据的概率。例如，在标记数据指示离散的特征图中某一通道的数据为全零时，不计算离散的特征图中该通道的待编码数据的概率；在标记数据指示离散的特征图中某一通道的数据不是全零时，根据预处理数据计算离散的特征图中该通道的待编码数据的概率。由此，能够进一步缩短图像编码的时长。
通过生成用于指示离散的特征图中各个通道上的数据是否全为零的标记数据，根据该标记数据对待编码数据进行熵编码，能够缩短图像编码的时长
第八方面的实施例
本申请实施例提供一种图像解码装置。由于该装置解决问题的原理与第四方面的实施例的方法类似，因此其具体的实施可以参考第四方面的实施例的方法的实施，内容相同之处不再重复说明。
图14是本申请实施例的图像解码装置的结构的一个示意图，如图14所示，该装置1400包括：
概率估计器1401，其估计当前的待解码数据的概率；
熵解码器1402，其根据标记数据和待解码数据的概率对待解码数据进行熵解码，得到特征图，其中，标记数据用于指示特征图中各个通道的数据是否为全零；
卷积神经网络解码器1403，其用于对特征图进行重建，生成图像数据。
在一个或一些实施例中，概率估计器1401、熵解码器1402和卷积神经网络解码器1403的实施可以参考第四方面的实施例中操作1001-1003，此处不再赘述。
在一个或一些实施例中，熵解码器1402在标记数据指示某一通道特征图中的数据是全零的情况下，该通道上生成全零的特征图；在标记数据指示某一通道特征图中的数据不是全零的情况下，根据待解码数据的概率对该通道中的待解码数据进行熵解码得到特征图。
在一个或一些实施例中，概率估计器1401可以根据标记数据计算待解码数据的概率。例如，在标记数据指示特征图中该通道的数据为全零时，不计算该通道待解码数据的概率；在标记数据指示特征图中该通道的数据不是全零时，根据预处理数据计算该通道的待解码数据的概率。由此，能够进一步缩短图像解码的时长。
通过根据用于指示离散的特征图中各个通道上的数据是否全为零的标记数据对待解码数据进行熵解码，能够缩短图像解码的时长。
第九方面的实施例
本申请实施例还提供一种电子设备，包括有如第五方面的实施例所述的图像编码装置，或包括第六方面的实施例所述的图像解码装置，或包括有如第七方面的实施例所述的图像编码装置，或包括第八方面的实施例所述的图像解码装置，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本申请实施例不限于此。
图15是本申请实施例的电子设备的结构的一个示意图。如图15所示，电子设备1500可以包括：处理器(例如中央处理器CPU)1510和存储器1520；存储器1520耦合到中央处理器1510。其中该存储器1520可存储各种数据；此外还存储信息处理的程序，并且在处理器1510的控制下执行该程序。
在一个实施例中，图像编码装置1100或图像解码装置1200或图像编码装置1300或图像解码装置1400的功能可以被集成到处理器1510中。其中，处理器1510可以被配置为实现如第一方面的实施例所述的图像编码方法，或第二方面的实施例所述的图像解码方法，或第三方面的实施例所述的图像编码方法，或第四方面的实施例所述的图像解码方法。
在另一个实施例中，图像编码装置1100或图像解码装置1200或图像编码装置1300或图像解码装置1400可以与处理器1510分开配置，例如可以将图像编码装置1100或图像解码装置1200或图像编码装置1300或图像解码装置1400配置为与处理器1510连接的芯片，通过处理器1510的控制来实现图像编码装置1100或图像解码装置1200或图像编码装置1300或图像解码装置1400的功能。
例如，处理器1510可以被配置为进行如下的控制：利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；对所述特征图进行量化，生成离散的特征图；对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；根据所述待编码数据的概率对所述待编码数据进行熵编码。
或者，例如，处理器1510可以被配置为进行如下的控制：对已解码数据进行预处理，生成预处理数据，所述预处理数据的数据量小于所述已解码数据的数据量；根据所述预处理数据计算当前的待解码数据的概率；根据所述概率对所述待解码数据进行熵解码得到特征图；利用卷积神经网络对所述特征图进行重建，生成图像数据。
或者，例如，处理器1510可以被配置为进行如下的控制：利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；对所述特征图进行量化，以生成离散的特征图；计算所述离散的特征图中的待编码数据的概率；生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码。
或者，例如，处理器1510可以被配置为进行如下的控制：估计当前的待解码数据的概率；根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；利用卷积神经网络对所述特征图进行重建，生成图像数据。
该处理器1510的具体实施可以参考第一方面至第四方面的实施例，此处不再赘述。
此外，如图15所示，电子设备1500还可以包括：收发单元1530等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备1500也并不是必须要包括图15中所示的所有部件；此外，电子设备1500还可以包括图15中没有示出的部件，可以参考现有技术。
本申请实施例还提供一种计算机可读程序，其中当在图像编码装置中执行该程序时，该程序使得计算机在该图像编码装置中执行如上面第一方面或第三方面的实施例中的图像编码方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中该计算机可读程序使得计算机在图像编码装置中执行上面第一方面或第三方面的实施例中的图像编码方法。
本申请实施例还提供一种计算机可读程序，其中当在图像解码装置中执行该程序时，该程序使得计算机在该图像解码装置中执行如上面第二方面或第四方面的实施例中的图像解码方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中该计算机可读程序使得计算机在图像解码装置中执行上面第二方面或第四方面的实施例中的图像解码方法。
结合本申请实施例描述的在图像编码装置中图像编码的方法或图像解码装置中的图像解码方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在图像编码装置或图像解码装置的存储器中，也可以存储在可插入图像编码装置或图像解码装置的存储卡中。
针对图中描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图中描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
关于包括以上多个实施例的实施方式，还公开下述的附记。
1、一种图像编码方法，其中，所述图像编码方法包括：
利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；
对所述特征图进行量化，生成离散的特征图；
对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；
根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；
根据所述待编码数据的概率对所述待编码数据进行熵编码。
2、根据附记1所述的图像编码方法，其中，选择所述离散的特征图中的部分数据作为预处理数据，其中，所述预处理数据包括以当前的所述待编码数据为中心的、在规定范围内的多个数据。
3、根据附记2所述的图像编码方法，其中，在利用掩模卷积层计算所述离散的特征图中的待编码数据的概率时，所述规定范围对应于所述掩模卷积层的尺度。
4、根据附记3所述的图像编码方法，其中，在所述掩模卷积层的个数为1个的情况下，所述规定范围等于所述掩模卷积层的尺度；在所述掩模卷积层的个数为多个的情况下，所述规定范围等于多个所述掩模卷积层的最大尺度，或者，所述规定范围等于各个所述掩模卷积层的尺度。
5、根据附记1所述的图像编码方法，其中，所述图像编码方法还包括：
生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
根据所述标记数据和所述待编码数据的概率对所述离散的特征图中的所述待编码数据进行熵编码。
6、根据附记5所述的图像编码方法，其中，
在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对所述离散的特征图中该通道的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述待编码数据的概率对所述该通道上待编码数据进行熵编码。
7、一种图像解码方法，包括：
对已解码数据进行预处理，生成预处理数据，所述预处理数据的数据量小于所述已解码数据的数据量；
根据所述预处理数据计算当前的待解码数据的概率；
根据所述概率对所述待解码数据进行熵解码得到特征图；以及
对所述特征图进行重建，生成图像数据。
8、根据附记7所述的图像解码方法，其中，选择所述已解码数据中的部分数据作为预处理数据，其中，所述预处理数据包括以当前的所述待解码数据为中心的、在规定范围内的多个数据。
9、根据附记8所述的图像解码方法，其中，在利用掩模卷积层计算所述待解码数据的概率时，所述规定范围对应于所述掩模卷积层的尺度。
10、根据附记9所述的图像解码方法，其中，在所述掩模卷积层的个数为1个的情况下，所述规定范围等于所述掩模卷积层的尺度；在所述掩模卷积层的个数为多个的情况下，所述规定范围等于多个所述掩模卷积层的最大尺度，或者，所述规定范围等于各个所述掩模卷积层的尺度。
11、根据附记7所述的图像解码方法，其中，所述根据所述概率对所述待解码数据进行熵解码得到特征图具体包括：
根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零。
12、根据附记11所述的图像解码方法，其中，
在所述标记数据指示所述特征图中某一通道的数据为全零时，该通道上生成全零的特征图；在所述标记数据指示所述特征图中某一通道的数据不是全零的情况下，根据所述待解码数据的概率对该通道的所述待解码数据进行熵解码得到特征图。
13、一种图像编码方法，包括：
利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；
对所述特征图进行量化，以生成离散的特征图；
计算所述离散的特征图中的待编码数据的概率；
生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码。
14、根据附记13所述的图像编码方法，其中，
在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对所述离散的特征图中该通道的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述该通道待编码数据的概率对该通道的所述待编码数据进行熵编码。
15、一种图像解码方法，包括：
估计当前的待解码数据的概率；
根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；以及
对所述特征图进行重建，生成图像数据。
16、根据附记15所述的图像解码方法，其中，
在所述标记数据指示所述特征图中某一通道的数据是全零的情况下，该通道生成全零的特征图；在所述标记数据指示所述特征图中某一通道的数据不是全零的情况下，根据所述待解码数据的概率对该通道的所述待解码数据进行熵解码得到特征图。
17、一种图像编码装置，其中，所述图像编码装置包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，生成离散的特征图；
预处理器，其对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；
概率估计器，其根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；
熵编码器，其根据所述待编码数据的概率对所述待编码数据进行熵编码。
18、根据附记17所述的图像编码装置，其中，所述预处理器选择所述离散的特征图中的部分数据作为预处理数据，其中，所述预处理数据包括以当前的所述待编码数据为中心的、在规定范围内的多个数据。
19、根据附记18所述的图像编码装置，其中，所述概率估计器包括掩模卷积层，所述掩模卷积层对所述预处理数据进行卷积运算，所述规定范围对应于所述掩模卷积层的尺度。
20、根据附记19所述的图像编码装置，其中，在所述掩模卷积层的个数为1个的情况下，所述规定范围等于所述掩模卷积层的尺度；在所述掩模卷积层的个数为多个的情况下，所述规定范围等于多个所述掩模卷积层的最大尺度，或者，所述规定范围等于各个所述掩模卷积层的尺度。
21、根据附记17所述的图像编码装置，其中，所述图像编码装置还包括：
标记数据生成器，其用于生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
所述熵编码器还根据所述标记数据对所述离散的特征图中的所述待编码数据进行熵编码。
22、根据附记21所述的图像编码装置，其中，
所述熵编码器在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对所述离散的特征图中该通道的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述待编码数据的概率对该通道的所述待编码数据进行熵编码。
23、一种图像解码装置，包括：
预处理器，其对已解码数据进行预处理，生成预处理数据，所述预处理数据的数据量小于所述已解码数据的数据量；
概率估计器，其根据所述预处理数据计算当前的待解码数据的概率；
熵解码器，其用于根据所述概率对所述待解码数据进行熵解码得到特征图；以及
卷积神经网络解码器，其用于对所述特征图进行重建，生成图像数据。
24、根据附记23所述的图像解码装置，其中，所述预处理器选择所述已解码数据中的部分数据作为预处理数据，其中，所述预处理数据包括以当前的所述待解码数据为中心的、在规定范围内的多个数据。
25、根据附记24所述的图像解码装置，其中，所述概率估计器包括掩模卷积层，所述掩模卷积层对所述预处理数据进行卷积运算，所述规定范围对应于所述掩模卷积层的尺度。
26、根据附记25所述的图像解码装置，其中，在所述掩模卷积层的个数为1个的情况下，所述规定范围等于所述掩模卷积层的尺度；在所述掩模卷积层的个数为多个的情况下，所述规定范围等于多个所述掩模卷积层的最大尺度，或者，所述规定范围等于各个所述掩模卷积层的尺度。
27、根据附记23所述的图像解码装置，其中，所述熵解码器还根据标记数据对所述待解码数据进行熵解码得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零。
28、根据附记27所述的图像解码装置，其中，
所述熵解码器在所述标记数据指示所述特征图中某一通道的数据为全零时，该通道生成全零的特征图；在所述标记数据指示所述特征图中某一通道的数据不是全零的情况下，根据所述待解码数据的概率对该通道的所述待解码数据进行熵解码得到特征图。
29、一种图像编码装置，包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，以生成离散的特征图；
概率估计器，其计算所述离散的特征图中的待编码数据的概率；
标记数据生成器，其用于生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
熵编码器，其根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码。
30、根据附记29所述的图像编码装置，其中，
所述熵编码器在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对所述离散的特征图中该通道的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述待编码数据的概率对该通道的所述待编码数据进行熵编码。
31、一种图像解码装置，包括：
概率估计器，其估计当前的待解码数据的概率；
熵解码器，其根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；以及
卷积神经网络解码器，其用于对所述特征图进行重建，生成图像数据。
32、根据附记31所述的图像解码装置，其中，
所述熵解码器在所述标记数据指示所述特征图中某一通道的数据是全零的情况下，该通道生成全零的特征图；在所述标记数据指示所述特征图中某一通道的数据不是全零的情况下，根据所述待解码数据的概率对该通道的所述待解码数据进行熵解码得到特征图。

Claims (10)

1.一种图像编码装置，其特征在于，所述图像编码装置包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，生成离散的特征图；
预处理器，其对所述离散的特征图进行预处理，生成预处理数据，所述预处理数据的数据量小于所述离散的特征图的数据量；
概率估计器，其根据所述预处理数据计算所述离散的特征图中的待编码数据的概率；以及
熵编码器，其根据所述待编码数据的概率对所述待编码数据进行熵编码。
2.根据权利要求1所述的图像编码装置，其特征在于，所述预处理器选择所述离散的特征图中的部分数据作为预处理数据，其中，所述预处理数据包括以当前的所述待编码数据为中心的、在规定范围内的多个数据。
3.根据权利要求2所述的图像编码装置，其特征在于，所述概率估计器包括掩模卷积层，所述掩模卷积层对所述预处理数据进行卷积运算，所述规定范围对应于所述掩模卷积层的尺度。
4.根据权利要求3所述的图像编码装置，其特征在于，在所述掩模卷积层的个数为1个的情况下，所述规定范围等于所述掩模卷积层的尺度；在所述掩模卷积层的个数为多个的情况下，所述规定范围等于多个所述掩模卷积层的最大尺度，或者，所述规定范围等于各个所述掩模卷积层的尺度。
5.根据权利要求1所述的图像编码装置，其特征在于，所述图像编码装置还包括：
标记数据生成器，其用于生成标记数据，所述标记数据用于指示所述离散的特征图中各个通道的数据是否为全零；
所述熵编码器还根据所述标记数据对所述离散的特征图中的所述待编码数据进行熵编码。
6.根据权利要求5所述的图像编码装置，其特征在于，
所述熵编码器在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对该通道的所述离散的特征图中的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述待编码数据的概率对该通道的所述离散的特征图中的所述待编码数据进行熵编码。
7.一种图像编码装置，其特征在于，所述图像编码装置包括：
卷积神经网络编码器，其利用卷积神经网络对待处理的图像数据进行特征提取，以生成所述图像数据的特征图；
量化器，其用于对所述特征图进行量化，以生成离散的特征图；
概率估计器，其计算所述离散的特征图中的待编码数据的概率；
标记数据生成器，其用于生成标记数据，所述标记数据用于指示所述离散的特征图中某一通道的数据是否为全零；
熵编码器，其根据所述标记数据和所述待编码数据的概率对所述待编码数据进行熵编码生成二进制码流。
8.根据权利要求7所述的图像编码装置，其特征在于，
所述熵编码器在所述标记数据指示所述离散的特征图中某一通道的数据为全零时，不对该通道的所述离散的特征图中的所述待编码数据进行熵编码；在所述标记数据指示所述离散的特征图中某一通道的数据不是全零时，根据所述待编码数据的概率对该通道的所述待编码数据进行熵编码。
9.一种图像解码装置，其特征在于，所述图像解码装置包括：
概率估计器，其估计当前的待解码数据的概率；
熵解码器，其根据标记数据和所述待解码数据的概率对所述待解码数据进行熵解码，得到特征图，其中，所述标记数据用于指示所述特征图中各个通道的数据是否为全零；以及
卷积神经网络解码器，其用于对所述特征图进行重建，生成图像数据。
10.根据权利要求9所述的图像解码装置，其特征在于，
所述熵解码器在所述标记数据指示所述特征图中某一通道的数据是全零的情况下，针对该通道生成全零的特征图；在所述标记数据指示所述特征图中某一通道的数据不是全零的情况下，根据所述待解码数据的概率对该通道的所述待解码数据进行熵解码得到特征图。
CN201910429351.7A 2019-05-22 2019-05-22 图像编码装置和图像解码装置 Active CN111988629B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910429351.7A CN111988629B (zh) 2019-05-22 2019-05-22 图像编码装置和图像解码装置
JP2020068869A JP7476631B2 (ja) 2019-05-22 2020-04-07 画像コーディング方法及び装置並びに画像デコーディング方法及び装置
US16/855,465 US11184615B2 (en) 2019-05-22 2020-04-22 Image coding method and apparatus and image decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429351.7A CN111988629B (zh) 2019-05-22 2019-05-22 图像编码装置和图像解码装置

Publications (2)

Publication Number Publication Date
CN111988629A true CN111988629A (zh) 2020-11-24
CN111988629B CN111988629B (zh) 2024-02-09

Family

ID=73435971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429351.7A Active CN111988629B (zh) 2019-05-22 2019-05-22 图像编码装置和图像解码装置

Country Status (3)

Country Link
US (1) US11184615B2 (zh)
JP (1) JP7476631B2 (zh)
CN (1) CN111988629B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179509A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 音视频或图像分层压缩方法和装置
WO2022253249A1 (zh) * 2021-06-02 2022-12-08 华为技术有限公司 特征数据编解码方法和装置
WO2023082955A1 (zh) * 2021-11-10 2023-05-19 华为技术有限公司 编解码方法及电子设备
WO2023093377A1 (zh) * 2021-11-24 2023-06-01 华为技术有限公司 编解码方法及电子设备
WO2024007843A1 (zh) * 2022-07-08 2024-01-11 华为技术有限公司 一种编解码方法、装置及计算机设备
WO2024078252A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 特征数据编解码方法及相关装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538197B2 (en) * 2020-09-15 2022-12-27 Google Llc Channel-wise autoregressive entropy models for image compression
JP2022174948A (ja) * 2021-05-12 2022-11-25 横河電機株式会社 装置、監視システム、方法およびプログラム
WO2023075563A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102628127B1 (ko) * 2022-02-21 2024-01-23 가천대학교 산학협력단 특징량맵에 대한 영상 신호를 처리하기 위한 방법 및 이를 지원하는 장치
WO2024007820A1 (zh) * 2022-07-08 2024-01-11 华为技术有限公司 数据编解码方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102273206A (zh) * 2008-10-31 2011-12-07 Sk电信有限公司 对运动矢量进行编码的方法和装置以及用它对图像进行编码/解码的方法和装置
CN102396229A (zh) * 2009-04-14 2012-03-28 株式会社Ntt都科摩 图像编码装置、方法和程序以及图像解码装置、方法和程序
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
CN107464222A (zh) * 2017-07-07 2017-12-12 宁波大学 基于张量空间的无参考高动态范围图像客观质量评价方法
US20170374378A1 (en) * 2010-05-26 2017-12-28 Intellectual Value, Inc. Method for encoding and decoding coding unit
US20180173994A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Enhanced coding efficiency with progressive representation
CN108229653A (zh) * 2016-12-22 2018-06-29 三星电子株式会社 卷积神经网络系统及其操作方法
CN109074512A (zh) * 2016-02-05 2018-12-21 渊慧科技有限公司 使用神经网络压缩图像

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011126277A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US8436755B2 (en) * 2010-05-21 2013-05-07 Research In Motion Limited Methods and devices for reducing sources in binary entropy coding and decoding
US8483500B2 (en) 2010-09-02 2013-07-09 Sony Corporation Run length coding with context model for image compression using sparse dictionaries
CN104811706B (zh) 2011-01-06 2017-10-27 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN109684901B (zh) 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US10733431B2 (en) * 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
US10692243B2 (en) * 2017-12-03 2020-06-23 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10674152B2 (en) * 2018-09-18 2020-06-02 Google Llc Efficient use of quantization parameters in machine-learning models for video coding
US11729406B2 (en) * 2019-03-21 2023-08-15 Qualcomm Incorporated Video compression using deep generative models
US20200329233A1 (en) * 2019-04-12 2020-10-15 Frank Nemirofsky Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content
CN111988609A (zh) 2019-05-22 2020-11-24 富士通株式会社 图像编码装置、概率模型生成装置和图像解码装置
CN111986278B (zh) 2019-05-22 2024-02-06 富士通株式会社 图像编码装置、概率模型生成装置和图像压缩系统
WO2020261314A1 (ja) 2019-06-24 2020-12-30 日本電信電話株式会社 画像符号化方法、及び画像復号方法
CN113259665B (zh) 2020-02-07 2022-08-09 华为技术有限公司 一种图像处理方法以及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102273206A (zh) * 2008-10-31 2011-12-07 Sk电信有限公司 对运动矢量进行编码的方法和装置以及用它对图像进行编码/解码的方法和装置
CN102396229A (zh) * 2009-04-14 2012-03-28 株式会社Ntt都科摩 图像编码装置、方法和程序以及图像解码装置、方法和程序
US20170374378A1 (en) * 2010-05-26 2017-12-28 Intellectual Value, Inc. Method for encoding and decoding coding unit
CN109074512A (zh) * 2016-02-05 2018-12-21 渊慧科技有限公司 使用神经网络压缩图像
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
US20180173994A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Enhanced coding efficiency with progressive representation
CN108229653A (zh) * 2016-12-22 2018-06-29 三星电子株式会社 卷积神经网络系统及其操作方法
CN107464222A (zh) * 2017-07-07 2017-12-12 宁波大学 基于张量空间的无参考高动态范围图像客观质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID MINNEN等: "Joint Autoregressive and Hierarchical Priors for Learned Image Compression", 《ARXIV.ORG》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179509A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 音视频或图像分层压缩方法和装置
WO2022253249A1 (zh) * 2021-06-02 2022-12-08 华为技术有限公司 特征数据编解码方法和装置
WO2023082955A1 (zh) * 2021-11-10 2023-05-19 华为技术有限公司 编解码方法及电子设备
WO2023093377A1 (zh) * 2021-11-24 2023-06-01 华为技术有限公司 编解码方法及电子设备
WO2024007843A1 (zh) * 2022-07-08 2024-01-11 华为技术有限公司 一种编解码方法、装置及计算机设备
WO2024078252A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 特征数据编解码方法及相关装置

Also Published As

Publication number Publication date
JP2020191077A (ja) 2020-11-26
JP7476631B2 (ja) 2024-05-01
CN111988629B (zh) 2024-02-09
US11184615B2 (en) 2021-11-23
US20200374522A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111818346B (zh) 图像编码方法和装置、图像解码方法和装置
CN111988629B (zh) 图像编码装置和图像解码装置
CN111986278B (zh) 图像编码装置、概率模型生成装置和图像压缩系统
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN113132723B (zh) 一种图像压缩方法及装置
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN112771541A (zh) 使用整数神经网络的数据压缩
US20230300354A1 (en) Method and System for Image Compressing and Coding with Deep Learning
CN113259676A (zh) 一种基于深度学习的图像压缩方法和装置
CN113748605A (zh) 用于压缩神经网络的参数的方法和装置
EP3069449B1 (en) Split gain shape vector coding
US7778468B2 (en) Decoding apparatus, dequantizing method, and program thereof
CN104392207A (zh) 一种用于数字图像内容识别的特征编码方法
CN114792347A (zh) 一种基于多尺度空间和上下文信息融合的图像压缩方法
US10382711B2 (en) Method and device for processing graph-based signal using geometric primitives
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN116527943B (zh) 基于矢量量化索引和生成模型的极限图像压缩方法及系统
JP2010166145A (ja) 動画像復号装置
US20230154053A1 (en) System and method for scene graph lossless compression by context-based graph convolution
CN115361555A (zh) 图像编码方法、图像编码方法、装置以及计算机存储介质
Liu et al. Icmh-net: Neural image compression towards both machine vision and human vision
CN115393452A (zh) 一种基于非对称自编码器结构的点云几何压缩方法
Mao et al. Learning to predict on octree for scalable point cloud geometry coding
CN116828184B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
He et al. Post-training quantization is all you need to perform cross-platform learned image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant