CN111986278B - 图像编码装置、概率模型生成装置和图像压缩系统 - Google Patents

图像编码装置、概率模型生成装置和图像压缩系统 Download PDF

Info

Publication number
CN111986278B
CN111986278B CN201910429115.5A CN201910429115A CN111986278B CN 111986278 B CN111986278 B CN 111986278B CN 201910429115 A CN201910429115 A CN 201910429115A CN 111986278 B CN111986278 B CN 111986278B
Authority
CN
China
Prior art keywords
feature
unit
channels
output
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429115.5A
Other languages
English (en)
Other versions
CN111986278A (zh
Inventor
温思寒
周静
谭志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910429115.5A priority Critical patent/CN111986278B/zh
Priority to JP2020083134A priority patent/JP2020191631A/ja
Priority to US16/874,014 priority patent/US11257252B2/en
Publication of CN111986278A publication Critical patent/CN111986278A/zh
Application granted granted Critical
Publication of CN111986278B publication Critical patent/CN111986278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种图像编码方法、装置和图像压缩系统，图像编码装置包括：第一特征提取单元，其对输入图像进行特征提取，得到N个通道的特征图；加权单元，其对各个通道的特征图分配权重；以及第二特征提取单元，其对所述加权单元处理后的特征图进行降维处理，得到M个通道的特征图输出，M小于N。由此，通过对不同的特征图乘以一个权重来获得对应的重要性，然后通过所述第二特征提取单元将加权单元处理后的特征图降维，减少解码时间。

Description

图像编码装置、概率模型生成装置和图像压缩系统
技术领域
本申请涉及图像压缩和深度学习的技术领域。
背景技术
近年来，深度学习在计算机视觉领域已经占据主导地位，不论是在图像识别还是超分辨重现上，深度学习已成为图片研究的重要技术，但它的能力并不仅限于这些任务；现在深度学习技术已进入图片压缩领域，并逐渐显示出巨大的潜力，成为热门研究领域。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本申请实施例提供一种图像压缩方法，通过减少潜在变量的瓶颈来减少解码时间，利用独立的熵模型来实现准确的概率分布预测以减少码流需求。
根据本申请实施例的第一方面，提供了一种图像编码装置，其中，所述装置包括：
第一特征提取单元，其对输入图像进行特征提取，得到N个通道的特征图；
加权单元，其对各个通道的特征图分配权重；以及
第二特征提取单元，其对所述加权单元处理后的特征图进行降维处理，得到M个通道的特征图输出，M小于N。
根据本申请实施例的第二方面，提供了一种概率模型生成装置，所述装置包括：
超级解码器，其对接收到的来自超级编码器的码流进行超级解码，得到辅助信息；
上下文模型处理单元，其将编码器的输出作为输入，获得基于内容的预测；以及
熵模型处理单元，将所述上下文模型处理单元的输出与所述超级解码器的输出结合，得到的预测的概率模型提供给所述编码器以及解码器；
其中，
所述上下文模型处理单元包括：第一处理单元和第二处理单元，所述第一处理单元根据所述编码器的输出得到预测结果的均值部分，所述第二处理单元根据所述编码器的输出得到预测结果的方差部分；
所述熵模型处理单元包括：第三处理单元和第四处理单元，所述第三处理单元将所述第一处理单元得到的预测结果的均值部分与所述超级解码器输出的辅助信息结合，得到概率模型的均值部分，所述第四处理单元将所述第二处理单元得到的预测结果的方差部分与所述超级解码器输出的辅助信息结合，得到所述概率模型的方差部分。
根据本申请实施例的第三方面，提供了一种图像压缩系统，所述图像压缩系统包括：
图像编码装置，其对输入图像进行下采样，将所述输入图像变换为潜在表示；
概率模型生成装置，其对所述潜在表示的概率分布进行预测，得到所述潜在表示的概率模型；以及
图像解码装置，其根据所述概率模型对解码得到的潜在表示进行上采样，将潜在表示映射回所述输入图像；
其中，
所述图像编码装置为前述第一方面所述的装置，或者，所述概率模型生成装置为前述第二方面所述的装置。
根据本申请实施例的第四方面，提供了一种图像编码方法，其中，所述方法包括：
通过多个卷积层对输入图像进行特征提取，得到N个通道的特征图；
对各个通道的特征图分配权重；以及
对分配了权重的N个通道的特征图进行降维处理，得到M个通道的特征图输出，M小于N。
根据本申请实施例的第五方面，提供了一种概率模型生成方法，所述方法包括：
使用超级解码器对接收到的来自编码器的码流进行解码，得到辅助信息；
使用上下文模型将所述编码器的输出作为输入，获得基于内容的预测；以及
使用熵模型将所述上下文模型的输出与所述超级解码器的输出结合，得到预测的概率模型提供给所述编码器以及解码器；
其中，所述熵模型将所述上下文模型得到的预测结果的均值部分与所述超级解码器输出的辅助信息结合，得到所述概率模型的均值部分，将所述上下文模型得到的预测结果的方差部分与所述超级解码器输出的辅助信息结合，得到所述概率模型的方差部分。
根据本申请实施例的其他方面，提供了一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得所述图像处理设备执行前述第四方面和/或第五方面所述的方法。
根据本申请实施例的其他方面，提供了一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得图像处理设备执行前述第四方面和/或第五方面所述的方法。
本申请实施例的有益效果在于：根据本申请实施例的至少一个方面，在图像压缩中，通过减少潜在变量的瓶颈来减少解码时间，也即，通过加权单元对不同的特征图乘以一个权重来获得对应的重要性，然后通过所述第二特征提取单元将加权单元处理后的特征图降维，可以减少解码时间。此外，根据本申请实施例的至少一个方面，利用独立的熵模型来实现准确的概率分布预测以减少码流需求，也即，通过两个独立的上下文处理模型单元和熵模型单元来得到概率模型的两个参数，mu和sigma，由此，通过更准确的熵模型减少了编码需要的码流。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是实施例1的图像压缩系统的一个示意图；
图2是实施例2的图像编码装置的一个示意图；
图3是图2所示的图像编码装置的第一特征提取单元的一个实施例的网络结构示意图；
图4是图2所示的图像编码装置的加权单元的一个示意图；
图5是图4所示的加权单元对应的网络结构的一个示意图；
图6是实施例3的概率模型生成装置的一个示意图；
图7是实施例1的图像压缩系统的一个实施例的网络结构示意图；
图8是实施例4的图像编码方法的一个示意图；
图9是实施例5的概率模型生成方法的一个示意图；
图10是实施例6的图像处理设备的一个示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
下面结合附图对本申请实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请的限制。
实施例1
本申请实施例提供了一种图像压缩系统，图1是本申请实施例的图像压缩系统的一个示意图，如图1所示，本申请实施例的图像压缩系统100包括：图像编码装置101、概率模型生成装置102、以及图像解码装置103。图像编码装置101用于对输入图像进行下采样，将输入图像变换为潜在表示，概率模型生成装置102用于对上述潜在表示的概率分布进行预测，得到该潜在表示的概率模型，图像解码装置103用于根据该概率模型对解码得到的潜在表示进行上采样，以将该潜在表示映射回输入图像。
在本申请实施例中，如图1所示，该图像压缩系统100还可以包括算数编码器104和算数解码器105，算数编码器104用于根据上述概率模型生成装置102生成的概率模型对图像编码装置101的输出进行编码，算数解码器105用于根据上述概率模型生成装置102生成的概率模型对接收到的码流进行解码，并提供给图像解码装置103。
在本申请实施例中，图像编码装置101用于将输入图像(在本申请实施例中，也即输入图像的像素)变换为可以减少维度空间(也即降维)的潜在表示，图像解码装置102尝试通过近似反函数将上述潜在表示映射回上述像素，概率模型生成装置102采用熵模型对上述潜在表示的概率分布进行预测，得到该潜在表示的概率模型。
图2是本申请实施例的图像编码装置101的示意图，如图2所示，本申请实施例的图像编码装置101包括：第一特征提取单元201、加权单元202以及第二特征提取单元203。第一特征提取单元201对输入图像进行特征提取，得到N个通道的特征图，加权单元202对各个通道的特征图分配权重，第二特征提取单元203对加权单元202处理后的特征图(也即赋予了权重的各个特征图)进行降维处理，得到M个通道的特征图输出，M小于N。
在本申请实施例中，第一特征提取单元201可以采用多个卷积层(卷积层也可称为滤波器)对输入图像进行特征提取，图3是该第一特征提取单元201的一个实施例的网络结构示意图，如图3所示，在该示例中，通过多个卷积层以及一个连接层对输入图像进行特征提取，得到了N个通道的特征图。图3给出的示例只是举例说明，本申请实施例对该第一特征提取单元201的网络结构不作限制，例如，还可以增加更多的卷积层，或者减少卷积层的数量来对输入图像进行特征提取。
在本申请实施例中，加权单元202可以采用一个加权层对上述N个通道的特征图的各个通道分配权重，以增强有用特征并抑制不太有用的特征。
在本申请实施例中，第二特征提取单元203可以通过一个的卷积层对加权单元102处理后的这N个通道的特征图进行降维处理，得到M个通道的特征图。该卷积层可以是M×1×1的卷积层，其中M为通道数，1×1为该卷积层的内核(也称为卷积核)，通过该卷积层，可以实现对上述N个通道的特征图的降维目的，此外，关于降维处理的工作原理，可以参考现有技术，此处省略说明。
在本申请实施例中，由于熵模型对于图像压缩非常重要，作为熵模型的输入的一部分，上下文模型可以利用当前像素之前的像素信息有效地提高预测的准确性，然而，由于上下文模型是自回归网络，需要逐像素地对潜在表示进行编码，若潜在表示的瓶颈变大，编码时间将大大增加，本申请实施例通过增加一个加权层(该加权层可以被看为编码器部分的最后一个层的选择)为不同的通道分配权重，来有效地增强有用特征并抑制不太有用的特征，并使用一个卷积层将特征图的数量从N减小到M，以减少编码时间。
图4是本申请实施例的加权单元202的一个实施例的示意图，如图4所示，该加权单元202包括：池化单元401、第三特征提取单元402、第四特征提取单元403、以及第一计算单元404。
池化单元401用于对输入的N个通道的特征图的每个通道的特征图求均值，获得每个通道的特征图的统计特性。该池化单元401可以采用一个全局平均池化层来对输入的特征图进行池化处理，关于该全局平均池化层的工作原理，可以参考现有技术，此处省略说明。
第三特征提取单元402用于对池化单元401处理过的特征图进行降维处理，得到M个通道的特征图。该第三特征提取单元402可以通过一个卷积层来实现，该卷积层可以是M×1×1的卷积层，M为通道数，1×1为该卷积层的卷积核(内核)。关于该卷积层的工作原理，可以参考现有技术，此处省略说明。
第四特征提取单元403用于对上述M个通道的特征图进行升维处理，得到N个通道的特征图。该第四特征提取单元403也可以通过一个卷积层来实现，该卷积层可以是N×1×1的卷积层，N为通道数，1×1为该卷积层的卷积核(内核)。关于该卷积层的工作原理，可以参考现有技术，此处省略说明。
第一计算单元404用于将第四特征提取单元403提取得到的N个通道的特征图乘以输入的上述N个通道的特征图(也即来自编码器的N个通道的特征图)，得到加权处理后的N个通道的特征图输出给第二特征提取单元203。该第一计算单元404可以通过scale函数来实现，关于scale函数的工作原理，可以参考现有技术，此处省略说明。
本申请实施例的加权单元202致力于为编码器部分的最后一层提供权重，以选择性的增强有用特征并抑制不太有用的特征，其首先使用一个全局平均池化层来产生各个通道的统计特性，然后使用两个卷积层，通过减少和增加通道数量来更好的学习通道之间的非线性的相互作用，此外，由于特征图的数量需要从N减少到M，本申请实施例使用该两个卷积层将通道数从M变为N以获得更加相应的权重。
在本申请实施例中，如图4所示，该加权单元202还可以包括：第二计算单元405、第三计算单元406以及第四计算单元407。第二计算单元405位于池化单元401之前，用于对输入的N个通道的特征图(来自编码器的N个通道的特征图)取绝对值，输出给池化单元401，该第二计算单元405可以通过一个abs函数来实现，对于其工作原理不再赘述。第三计算单元406位于第三特征提取单元402与第四特征提取单元403之间，用于对来自第三特征提取单元402的M个通道的特征图进行激活操作，该第三计算单元406可以通过一个relu函数来实现，对于其工作原理不再赘述。第四计算单元407位于第四特征提取单元403与第一计算单元404之间，用于将来自第四特征提取单元403的N个通道的特征图限制在0～1的范围内，该第四计算单元407可以通过一个sigmoid函数来实现，对于其工作原理不再赘述。
图5是本申请实施例的加权单元202的一个实施例的网络结构的示意图，如图5所示，连接层501对应编码器的最后一层，如图3所示，其输出为N个通道的特征图；abs 502对应图4的第二计算单元405，其对该N个通道的特征图进行取绝对值的处理；全局池化层503对应图4的池化单元401，其对abs输出的N个通道的特征图进行池化处理；卷积层504对应图4的第三特征提取单元402，其对全局池化层输出的N个通道的特征图进行降维处理，得到M个通道的特征图；Relu 505对应图4的第三计算单元406，其对该M个通道的特征图进行激活操作；卷积层506对应图4的第四特征提取单元403，其对Relu输出的M个通道的特征图进行升维处理，得到N个通道的特征图；sigmoid 507对应图4的第四计算单元407，其对上述N个通道的特征图限制在0～1的范围内；Scale 508对应图4的第一计算单元404，其对应连接层输出的N个通道的特征图和sigmoid输出的N个通道的特征图进行相乘处理，得到N个通道的特征图输出。
图5所示的加权层的网络结构只是举例说明，在本申请实施例中，该加权层也可以具有其他网络结构，例如增加某些卷积层，再例如去掉上述全局池化层等等，只要能为输入的N个通道的特征图分配权重即可。
通过在图像编码装置中增加上述加权层，为不同的通道分配权重，可以增强有用的特征并抑制不太有用的特征。
图6是本申请实施例的概率模型生成装置102的示意图，如图6所示，本申请实施例的概率模型生成装置102包括：超级解码器601、上下文模型处理单元602、以及熵模型处理单元603。超级解码器601用于对接收到的来自超级编码器的码流进行解码，得到辅助信息；上下文模型处理单元602用于将编码器的输出作为输入，获得基于内容的预测；熵模型处理单元603用于将上下文模型处理单元602的输出与超级解码器601的输出结合，得到的预测的概率模型提供给编码器以及解码器。
在本申请实施例中，如图6所示，上下文模型处理单元602包括：第一处理单元和第二处理单元，该第一处理单元根据编码器的输出得到预测结果的均值部分，第二处理单元根据编码器的输出得到预测结果的方差部分；熵模型处理单元603包括：第三处理单元和第四处理单元，第三处理单元将第一处理单元得到的预测结果的均值部分与超级解码器601输出的辅助信息结合，得到概率模型的均值部分，第四处理单元将第二处理单元得到的预测结果的方差部分与超级解码器601输出的辅助信息结合，得到概率模型的方差部分。
在本申请实施例中，熵模型处理单元603用于预测潜在表示的概率模型，其将上下文模型(context model)(潜在的自回归模型)与超级网络(超级编码器和超级解码器)结合，通过超级网络学习到的有用信息纠正基于上下文的预测信息，产生条件高斯熵模型(上述概率模型)的均值和尺度参数(方差)。与现有技术不同，本申请实施例将上下文模型的均值部分与超级解码器的输出结合，得到熵模型的均值部分，并将上下文模型的方差部分与超级解码器的输出结合，得到熵模型的方差部分。由于分别得到熵模型的均值部分和方差部分，能够更准确地分析潜在的分布。
在本申请实施例中，如图6所示，本申请实施例的概率模型生成装置102还可以包括：计算单元604，其用于对第二处理单元得到的预测结果的方差部分进行取绝对值的处理，提供给第四处理单元，并对超级解码器601的输出进行取绝对值的处理，提供给第四处理单元。该计算单元604可以通过绝对值函数abs来实现。由于sigma的值主要代表数据的方差，因此，在产生sigma的熵模型之前添加具有绝对值函数的层，可以为sigma提供更好的表示。
在本申请实施例中，如图6所示，本申请实施例的概率模型生成装置102还可以包括：量化器608、超级编码器605、算数编码器606以及算数解码器607。量化器608用于对来自编码器的输出进行量化处理，由此来自编码器的潜在表示被量化，产生离散值向量，超级编码器605用于对量化器608的输出进行进一步编码，算数编码器606用于对超级编码器605的输出进行算数编码，得到码流，输出，算数解码器607用于对接收到的码流进行解码，输出给超级解码器601。关于该量化器608、超级编码器605、算数编码器606以及算数解码器607的工作原理，可以参考现有技术，此处省略说明。
图7是本申请实施例的图像压缩系统的一个实施例的网络结构示意图，如图7所示，该图像压缩系统包括图像编码装置71、图像解码装置72、以及概率模型生成装置73，图像编码装置71对应图2的图像编码装置101，通过增加加权层711增强有用的特征并抑制不太有用的特征，通过使用卷积层712将特征图的数量(通道数)从N减少到M，以减少像素数量；概率模型生成装置73对应图6的概率模型生成装置102，其中，熵模型的mu部分731将上下文模型的mu部分732与超级解码器733的输出结合生成概率模型的mu部分，熵模型的sigma部分734将上下文模型的sigma部分735与超级解码器733的输出结合生成概率模型的sigma部分，此外，在熵模型的sigma部分734之前增加abs 736对上下文模型的sigma部分和超级解码器的输出取绝对值，以更好的表示熵模型的sigma部分。
在本申请实施例中，如图7所示，该图像压缩系统还可以包括算数编码器(AE)74和算数解码器(AD)75，该算数编码器74用于根据上述概率模型生成装置73生成的概率模型对图像编码装置71的输出进行进一步编码，该算数解码器75用于根据上述概率模型生成装置73生成的概率模型对接收到的码流进行解码，并提供给图像解码装置72。此外，如图7所示，该图像压缩系统还可以包括量化器76，其对来自图像编码装置71的输出进行量化处理，由此来自图像编码装置71的潜在表示被量化，产生离散之向量，提供给算数编码器74以及上下文模型732、735。
在本申请实施例中，图像解码装置72采用四个卷积层对输入的特征图进行反映射，得到输出图像，本申请实施例对此不作限制，例如，该图像解码装置72可以采用更多的卷积层或更少的卷积层对输入的特征图进行反映射，具体可以参考现有技术，此处不再赘述。
本申请实施例的图像压缩系统采用本申请实施例的图像编码装置，通过加权单元对不同的特征图乘以一个权重来获得对应的重要性，然后通过所述第二特征提取单元将加权单元处理后的特征图降维，可以减少解码时间，由此实现了通过减少潜在变量的瓶颈来减少解码时间。此外，本申请实施例的图像压缩系统采用本申请实施例的概率模型生成装置，通过两个独立的上下文处理模型单元和熵模型单元来得到概率模型的两个参数，mu和sigma，由此，通过更准确的熵模型减少了编码需要的码流，实现了利用独立的熵模型来实现准确的概率分布预测以减少码流需求。
实施例2
本申请实施例提供了一种图像编码装置，图2是本申请实施例的图像编码装置的示意图，图3是本申请实施例的图像编码装置的第一特征提取单元201的一个实施例的网络结构示意图，图4是本申请实施例的图像编码装置的加权单元202的一个示意图，图5是图4所示的加权单元202的一个实施例的网络结构示意图，图7的图像压缩系统示出了本申请实施例的图像编码装置。由于在实施例1中，已经对该图像编码装置进行了详细说明，其内容被合并于此，此处不再赘述。
通过本申请实施例的图像编码装置，通过减少潜在变量的瓶颈来减少解码时间。
实施例3
本申请实施例提供了一种概率模型生成装置，图6是本申请实施例的概率模型生成装置的示意图，图7示出了本申请实施例的概率模型生成装置。由于在实施例1中，已经对该概率模型生成装置进行了详细说明，其内容被合并于此，此处不再赘述。
通过本申请实施例的概率模型生成装置，利用独立的熵模型来实现准确的概率分布预测以减少码流需求。
实施例4
本申请实施例提供了一种图像编码方法，由于该方法解决问题的原理与实施例2的装置类似，并且已经在实施例1中做了说明，其具体的实施可以参考实施例1和实施例2的装置的实施，内容相同之处不再重复说明。
图8是本申请实施例的图像编码方法的示意图，如图8所示，该图像编码方法包括：
801：通过多个卷积层对输入图像进行特征提取，得到N个通道的特征图；
802：对各个通道的特征图分配权重；
803：对分配了权重的N个通道的特征图进行降维处理，得到M个通道的特征图输出，M小于N。
在本申请实施例中，图8的各个操作的实施可以参照实施例1中的图2的各个单元的实施，此处不再赘述。
在操作802中，可以进行如下处理：
采用全局平均池化层对来自编码器的N个通道的特征图的每个通道的特征图求均值，获得每个通道的特征图的统计特性；
采用M×1×1的卷积层对上述N个通道的特征图进行降维处理，得到M个通道的特征图；
采用N×1×1的卷积层对上述M个通道的特征图进行升维处理，得到N个通道的特征图；以及
将来自编码器的N个通道的特征图乘以来自所述N×1×1的卷积层的N个通道的特征图，得到加权处理后的N个通道的特征图输出。
在本申请实施例中，操作802的实施可以参照实施例1中的图4和图5的实施，此处不再赘述。
在本申请实施例中，在采用全局平均池化层对来自编码器的N个通道的特征图的每个通道的特征图求均值之前，可以采用abs函数对来自编码器的N个通道的特征图取绝对值，关于abs函数的工作原理，此处不再赘述。
在本申请实施例中，在采用N×1×1的卷积层对上述M个通道的特征图进行升维处理之前，可以采用relu函数对M个通道的特征图进行激活操作，关于relu函数的工作原理，此处不再赘述。
在本申请实施例中，在将来自编码器的N个通道的特征图乘以来自所述N×1×1的卷积层的N个通道的特征图之前，可以采用sigmoid函数将该N个通道的特征图限制在0～1的范围内，关于sigmoid函数的工作原理，此处不再赘述。
通过本申请实施例的图像编码方法，通过减少潜在变量的瓶颈来减少解码时间。
实施例5
本申请实施例提供了一种概率模型生成方法，由于该方法解决问题的原理与实施例3的装置类似，并且已经在实施例1中做了说明，其具体的实施可以参考实施例1和实施例3的装置的实施，内容相同之处不再重复说明。
图9是本申请实施例的概率模型生成方法的示意图，如图9所示，该概率模型生成方法包括：
901：采用超级解码器对接收到的来自编码器的码流进行解码，得到辅助信息；
902：采用上下文模型将所述编码器的输出作为输入，获得基于内容的预测；以及
903：采用熵模型将所述上下文模型的输出与所述超级解码器的输出结合，得到预测的概率模型提供给所述编码器以及解码器。
在本申请实施例中，所述熵模型将上下文模型的mu部分与超级解码器的输出结合，得到所述概率模型的mu部分，将上下文模型的sigma部分与超级解码器的输出结合，得到所述概率模型的sigma部分。
在本申请实施例中，在操作901之前，可以采用超级编码器对编码器的输出进行进一步编码，采用算数编码器对超级编码器的输出进行算数编码，得到码流输出，并采用算数解码器对接收到的码流进行解码，提供给上述超级解码器。
在本申请实施例中，在操作903中，可以使用绝对值函数abs对上下文模型的sigma部分和超级解码器的输出进行取绝对值的处理，再提供给熵模型，也即，熵模型可以上下文模型的sigma部分的绝对值与超级解码器的输出的绝对值结合，得到所述概率模型的sigma部分。
通过本申请实施例的概率模型生成方法，利用独立的熵模型来实现准确的概率分布预测以减少码流需求。
实施例6
本申请实施例提供一种图像处理设备，该图像处理设备包括如实施例1和2所述的图像编码装置或者包括实施例1和3所述的概率模型生成装置，或者同时包括实施例1和2所述的图像编码装置和实施例1和3所述的概率模型生成装置，或者包括实施例1和3所述的概率模型生成装置以及实施例1所述的图像解码装置。
由于在实施例1-3中，已经对图像编码装置、概率模型生成装置、以及图像解码装置进行了详细说明，其内容被合并于此，此处不再赘述。
图10是本申请实施例的图像处理设备的示意图。如图10所示，图像处理设备1000可以包括：中央处理器(CPU)1001和存储器1002；存储器1002耦合到中央处理器1001。其中该存储器1002可存储各种数据；此外还存储信息处理的程序，并且在中央处理器1001的控制下执行该程序。
在一个实施例中，图像编码装置和/或概率模型的生成装置和/或图像解码装置的功能可以被集成到中央处理器1001中。其中，中央处理器1001可以被配置为实现如实施例4和/或5所述的方法。
在另一个实施例中，图像编码装置和/或概率模型的生成装置和/或图像解码装置可以与中央处理器1001分开配置，例如可以将图像编码装置和/或概率模型的生成装置和/或图像解码装置配置为与中央处理器1001连接的芯片，通过中央处理器1001的控制来实现图像编码装置和/或概率模型的生成装置和/或图像解码装置的功能。
此外，如图10所示，图像处理设备还可以包括：输入输出(I/O)设备1003和显示器1004等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备也并不是必须要包括图10中所示的所有部件；此外，图像处理设备还可以包括图10中没有示出的部件，可以参考现有技术。
本申请实施例提供一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得所述图像处理设备执行如实施例4和/或5所述的方法。
本申请实施例提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得图像处理设备执行如实施例4和/或5所述的方法。
本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或操作。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图2,6中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图8,9所示的各个操作。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

Claims (7)

1.一种图像编码装置，其特征在于，所述装置包括：
第一特征提取单元，其对输入图像进行特征提取，得到N个通道的特征图；
加权单元，其对各个通道的特征图分配权重；以及
第二特征提取单元，其对所述加权单元处理后的特征图进行降维处理，得到M个通道的特征图输出，M小于N；
其中，所述加权单元包括：
池化单元，其对输入的所述N个通道的特征图的每个通道的特征图求均值，获得每个通道的特征图的统计特性；
第三特征提取单元，其对所述池化单元处理过的特征图进行降维处理，得到M个通道的特征图；
第四特征提取单元，其对所述M个通道的特征图进行升维处理，得到N个通道的特征图，以及
第一计算单元，其将所述第四特征提取单元提取得到的N个通道的特征图乘以所述第一特征提取单元输入的所述N个通道的特征图，得到加权处理后的N个通道的特征图输出给所述第二特征提取单元。
2.根据权利要求1所述的图像编码装置，其特征在于，所述加权单元还包括：
第二计算单元，其位于所述池化单元之前，对所述第一特征提取单元输入的所述N个通道的特征图取绝对值，输出给所述池化单元；
第三计算单元，其位于所述第三特征提取单元与所述第四特征提取单元之间，对所述第三特征提取单元输入的所述M个通道的特征图进行激活操作；以及
第四计算单元，其位于所述第四特征提取单元与所述第一计算单元之间，将所述第四特征提取单元输入的所述N个通道的特征图限制在0～1的范围内。
3.一种概率模型生成装置，所述装置包括：
超级解码器，其对接收到的来自编码器的码流进行超级解码，得到辅助信息；
上下文模型处理单元，其将编码器的输出作为输入，获得基于内容的预测；以及
熵模型处理单元，将所述上下文模型处理单元的输出与所述超级解码器的输出结合，得到的预测的概率模型提供给所述编码器以及解码器；
其特征在于，
所述上下文模型处理单元包括：第一处理单元和第二处理单元，所述第一处理单元根据所述编码器的输出得到预测结果的均值部分，所述第二处理单元根据所述编码器的输出得到预测结果的方差部分；
所述熵模型处理单元包括：第三处理单元和第四处理单元，所述第三处理单元将所述第一处理单元得到的预测结果的均值部分与所述超级解码器输出的辅助信息结合，得到概率模型的均值部分，所述第四处理单元将所述第二处理单元得到的预测结果的方差部分与所述超级解码器输出的辅助信息结合，得到所述概率模型的方差部分。
4.根据权利要求3所述的装置，其特征在于，所述装置还包括：
量化器，其对所述编码器的输出进行量化处理，产生离散值向量；
超级编码器，其对所述量化器的输出进行编码；
算数编码器，其对所述超级编码器的输出进行算数编码，生成码流输出；以及
算数解码器，其对接收到的码流进行解码，输出给所述超级解码器。
5.根据权利要求3或4所述的装置，其特征在于，所述装置还包括：
计算单元，其对所述第二处理单元得到的预测结果的方差部分进行取绝对值的处理，提供给所述第四处理单元，并对所述超级解码器的输出进行取绝对值的处理，提供给所述第四处理单元。
6.一种图像压缩系统，所述图像压缩系统包括：
图像编码装置，其对输入图像进行下采样，将所述输入图像变换为潜在表示；
概率模型生成装置，其对所述潜在表示的概率分布进行预测，得到所述潜在表示的概率模型；以及
图像解码装置，其根据所述概率模型对解码得到的潜在表示进行上采样，将潜在表示映射回所述输入图像；
其特征在于，
所述图像编码装置包括权利要求1-2任一项所述的装置，或者，所述概率模型生成装置包括权利要求3-5任一项所述的装置。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
量化器，其对所述图像编码装置的输出进行量化处理，产生离散值向量；
算数编码器，其根据所述概率模型生成装置生成的概率模型对所述量化器的输出进行编码，生成码流输出；
算数解码器，其根据所述概率模型生成装置生成的概率模型对接收到的码流进行解码，并提供给所述图像解码装置。
CN201910429115.5A 2019-05-22 2019-05-22 图像编码装置、概率模型生成装置和图像压缩系统 Active CN111986278B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910429115.5A CN111986278B (zh) 2019-05-22 2019-05-22 图像编码装置、概率模型生成装置和图像压缩系统
JP2020083134A JP2020191631A (ja) 2019-05-22 2020-05-11 画像符号化装置、確率モデル生成装置及び画像圧縮システム
US16/874,014 US11257252B2 (en) 2019-05-22 2020-05-14 Image coding apparatus, probability model generating apparatus and image compression system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429115.5A CN111986278B (zh) 2019-05-22 2019-05-22 图像编码装置、概率模型生成装置和图像压缩系统

Publications (2)

Publication Number Publication Date
CN111986278A CN111986278A (zh) 2020-11-24
CN111986278B true CN111986278B (zh) 2024-02-06

Family

ID=73435946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429115.5A Active CN111986278B (zh) 2019-05-22 2019-05-22 图像编码装置、概率模型生成装置和图像压缩系统

Country Status (3)

Country Link
US (1) US11257252B2 (zh)
JP (1) JP2020191631A (zh)
CN (1) CN111986278B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988629B (zh) 2019-05-22 2024-02-09 富士通株式会社 图像编码装置和图像解码装置
US11538197B2 (en) * 2020-09-15 2022-12-27 Google Llc Channel-wise autoregressive entropy models for image compression
US20220147818A1 (en) * 2020-11-11 2022-05-12 Microsoft Technology Licensing, Llc Auxiliary model for predicting new model parameters
WO2022130496A1 (ja) * 2020-12-15 2022-06-23 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN113657468A (zh) * 2021-07-29 2021-11-16 北京百度网讯科技有限公司 预训练模型的生成方法、装置、电子设备和存储介质
CN113642587A (zh) * 2021-08-09 2021-11-12 京东鲲鹏(江苏)科技有限公司 特征图的处理方法及装置
CN116170596A (zh) * 2021-11-24 2023-05-26 华为技术有限公司 编解码方法及电子设备
CN114663536B (zh) * 2022-02-08 2022-12-06 中国科学院自动化研究所 一种图像压缩方法及装置
CN114501011B (zh) * 2022-02-22 2023-04-21 北京市商汤科技开发有限公司 图像压缩方法、图像解压缩方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107251053A (zh) * 2015-02-13 2017-10-13 北京市商汤科技开发有限公司 一种降低有损压缩图像的压缩失真的方法及装置
CN111209910A (zh) * 2019-01-03 2020-05-29 北京京东尚科信息技术有限公司 用于语义分割的系统、方法和非暂时性计算机可读介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100419783C (zh) 2006-10-09 2008-09-17 武汉大学 一种遥感图像空间形状特征提取与分类方法
EP2661881A4 (en) * 2010-12-29 2016-10-12 Nokia Technologies Oy CODING OF DISPARITY CARD
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
EP3432263B1 (en) 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10614574B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Generating image segmentation data using a multi-branch neural network
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN108846355B (zh) 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN108875624B (zh) 2018-06-13 2022-03-25 华南理工大学 基于多尺度的级联稠密连接神经网络的人脸检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107251053A (zh) * 2015-02-13 2017-10-13 北京市商汤科技开发有限公司 一种降低有损压缩图像的压缩失真的方法及装置
CN111209910A (zh) * 2019-01-03 2020-05-29 北京京东尚科信息技术有限公司 用于语义分割的系统、方法和非暂时性计算机可读介质

Also Published As

Publication number Publication date
CN111986278A (zh) 2020-11-24
US20200372684A1 (en) 2020-11-26
US11257252B2 (en) 2022-02-22
JP2020191631A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111986278B (zh) 图像编码装置、概率模型生成装置和图像压缩系统
US10834415B2 (en) Devices for compression/decompression, system, chip, and electronic device
Hu et al. Learning end-to-end lossy image compression: A benchmark
Cheng et al. Energy compaction-based image compression using convolutional autoencoder
Kim et al. A real-time convolutional neural network for super-resolution on FPGA with applications to 4K UHD 60 fps video services
US11386583B2 (en) Image coding apparatus, probability model generating apparatus and image decoding apparatus
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN111263161B (zh) 视频压缩处理方法、装置、存储介质和电子设备
CN111818346A (zh) 图像编码方法和装置、图像解码方法和装置
JP7379524B2 (ja) ニューラルネットワークモデルの圧縮／解凍のための方法および装置
WO2022028197A1 (zh) 一种图像处理方法及其设备
Zhang et al. Lossless image compression using a multi-scale progressive statistical model
Hong et al. Efficient neural image decoding via fixed-point inference
CN113079378A (zh) 图像处理方法、装置和电子设备
CN113225554B (zh) 一种基于神经网络的图像编解码方法、装置、存储介质及终端
CN111147866A (zh) 对数据阵列进行编码
CN108024113B (zh) 一种目标占比自适应的压缩域小目标跟踪方法
CN116095183A (zh) 一种数据压缩方法以及相关设备
CN115983349A (zh) 卷积神经网络的量化方法及装置、电子设备和存储介质
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
KR20200044668A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
CN115913245A (zh) 数据编码方法、数据解码方法以及数据处理装置
CN114666006A (zh) 用于优先分段数据的速率自适应编码解码方案
CN117459727B (zh) 一种图像处理方法、装置、系统、电子设备及存储介质
WO2024084660A1 (ja) 画像符号化装置、画像復号装置、画像処理システム、モデル学習装置、画像符号化方法、画像復号方法、および、コンピュータ可読記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant