CN114302150A - 视频编码方法及装置、视频解码方法及装置、电子设备 - Google Patents
视频编码方法及装置、视频解码方法及装置、电子设备 Download PDFInfo
- Publication number
- CN114302150A CN114302150A CN202111663401.1A CN202111663401A CN114302150A CN 114302150 A CN114302150 A CN 114302150A CN 202111663401 A CN202111663401 A CN 202111663401A CN 114302150 A CN114302150 A CN 114302150A
- Authority
- CN
- China
- Prior art keywords
- video data
- tensor
- video
- matrices
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000013507 mapping Methods 0.000 claims abstract description 52
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 101
- 238000013139 quantization Methods 0.000 claims description 101
- 238000010606 normalization Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 4
- 229910052791 calcium Inorganic materials 0.000 description 4
- 239000011575 calcium Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- BHPQYMZQTOCNFJ-UHFFFAOYSA-N Calcium cation Chemical compound [Ca+2] BHPQYMZQTOCNFJ-UHFFFAOYSA-N 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 3
- 230000003925 brain function Effects 0.000 description 3
- 229910001424 calcium ion Inorganic materials 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频编码方法及装置、视频解码方法及装置、电子设备。该视频编码方法包括：将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；根据所述多个第一矩阵，确定所述视频数据的编码结果，能够避免视频编码所产生的块状伪影，同时避免视频解码出现视频的失真。
Description
技术领域
本申请涉及互联网技术领域，具体涉及一种视频编码方法及装置、视频解码方法及装置、电子设备。
背景技术
利用荧光蛋白可以对神经元细胞进行特异性的标记，再结合显微成像技术就能够实现对单个神经元级别的脑功能成像。而标记钙离子的荧光蛋白(如：GCaMP6s)能够随着神经元细胞内的钙离子浓度的变化发出不同强度的荧光，这种荧光信号的变化就能够被视频的形式记录下来，进而能够实现单个神经元级别的脑功能研究。这种对钙离子的浓度变化成像的视频可以简称为钙成像视频。考虑到大脑功能的复杂性，研究人员往往需要设计各类长时间的实验来进行研究，因此，需要存储海量的钙成像视频，这就导致了需要大量的存储空间来存储这些海量钙成像视频。
为了降低这些海量钙成像视频的存储空间，可以对显微视频进行压缩。然而，由于荧光显微成像过程中光子数量远远低于自然视频，所以显微成像视频的信噪比远远低于自然视频。此时，如果对显微成像视频采用传统的视频编码方法，会产生明显的块状伪影，同时也会导致在视频解码时，出现显微视频的失真。
发明内容
有鉴于此，本申请的实施例致力于提供一种视频编码方法及装置、视频解码方法及装置、电子设备，能够避免视频编码所产生的块状伪影，同时避免视频解码出现视频的失真。
根据本申请实施例的第一方面，提供了一种视频编码方法，包括：将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；根据所述多个第一矩阵，确定所述视频数据的编码结果。
在一实施例中，所述将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量，包括：将所述每一帧图像的预设个数的相邻像素组成为一组，形成坐标索引；通过所述坐标索引的映射，实现高维映射，得到所述视频数据的张量。
在一实施例中，所述根据所述多个第一矩阵，确定所述视频数据的编码结果，包括：将所述多个第一矩阵中的元素进行非均匀量化，得到非均匀量化结果；将所述非均匀量化结果确定为所述视频数据的编码结果。
在一实施例中，所述将所述多个第一矩阵进行非均匀量化，得到非均匀量化结果，包括：根据预设阈值，对所述多个第一矩阵中的每个第一矩阵中的元素进行不同精细程度的量化，得到所述第一矩阵对应的二值矩阵，所述二值矩阵用于指示所述第一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述第一矩阵中的元素进行归一化，得到所述第一矩阵对应的归一矩阵；确定所述二值矩阵、所述归一矩阵以及所述第一矩阵中的元素的最大值和最小值为所述非均匀量化结果。
在一实施例中，所述根据所述多个第一矩阵，确定所述视频数据的编码结果，包括：将所述多个第一矩阵直接确定为所述视频数据的编码结果。
在一实施例中，所述方法还包括：将所述编码结果发送至解码器的终端，以便于所述解码器的终端对所述编码结果进行解码。
在一实施例中，所述方法还包括：接收用户输入的误差容忍度。
在一实施例中，所述视频数据为显微成像视频数据。
根据本申请实施例的第二方面，提供了一种视频解码方法，包括：接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵；根据所述多个第一矩阵，获取所述视频数据的张量；将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
在一实施例中，所述视频数据的编码结果还包括：所述多个第一矩阵中的每个第一矩阵对应的归一矩阵和二值矩阵。
在一实施例中，所述根据所述多个第一矩阵，获取所述视频数据的张量，包括：根据所述二值矩阵，确定所述归一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述归一矩阵中的元素进行反非均匀量化，得到多个第二矩阵；将所述多个第二矩阵进行相乘，得到所述视频数据的张量。
在一实施例中，所述根据所述多个第一矩阵，获取所述视频数据的张量，包括：将所述多个第一矩阵直接进行相乘，得到所述视频数据的张量。
在一实施例中，所述将所述视频数据的张量进行逆映射，得到压缩重建后的视频，包括：将所述张量按预设顺序依次进行排列，实现所述逆映射，以得到所述压缩重建后的视频。
根据本申请实施例的第三方面，提供了一种视频编码装置，包括：映射模块，配置为将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；分解模块，配置为基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；确定模块，配置为根据所述多个第一矩阵，确定所述视频数据的编码结果。
根据本申请实施例的第四方面，提供了一种视频解码装置，包括：接收模块，配置为接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵；获取模块，配置为根据所述多个第一矩阵，获取所述视频数据的张量；逆映射模块，配置为将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。
本申请的实施例所提供的一种视频编码方法，通过高维映射的方式获得张量，能够在压缩视频的过程中多尺度冗余的挖掘，从而实现了张量列分解的稀疏性的提升，进而能够避免视频编码所产生的块状伪影，同时避免视频解码出现视频的失真。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的视频编码方法的流程示意图。
图3所示为本申请另一个实施例提供的视频编码方法的流程示意图。
图4所示为本申请又一个实施例提供的视频编码方法的流程示意图。
图5所示为本申请一个实施例提供的视频解码方法的流程示意图。
图6所示为本申请另一个实施例提供的视频解码方法的流程示意图。
图7所示为本申请又一个实施例提供的视频解码方法的流程示意图。
图8所示为本申请一个实施例提供的视频编码装置的框图。
图9所示为本申请一个实施例提供的视频解码装置的框图。
图10所示为本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本申请实施例所提供的一种实施环境的示意图。该实施环境包括解码器的终端110、编码器的终端120和服务器130。解码器的终端110、编码器的终端120和服务器130之间可以通过通信网络相连。可选的，通信网络是有线网络或无线网络。
解码器的终端110和编码器的终端120可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。
在一些可选的实施例中，解码器的终端110可以安装有摄像头，主要负责采集视频数据。解码器的终端110可以将采集到的视频数据发送至服务器130，服务器130将视频数据的每一帧图像映射到高维空间，可以获得视频数据的张量，然后基于误差容忍度，通过张量列奇异值分解算法，对张量进行张量列分解，可以获得多个第一矩阵，最后根据多个第一矩阵，确定视频数据的编码结果。服务器130将视频数据的编码结果发送至编码器的终端120，编码器的终端120接收视频数据的编码结果后，根据编码结果中的多个第一矩阵，获取视频数据的张量，最后将视频数据的张量进行逆映射，可以得到压缩重建后的视频。
在一些可选的实施例中，解码器的终端110可以安装有摄像头，主要负责采集视频数据。解码器的终端110也可以直接将视频数据的每一帧图像映射到高维空间，可以获得视频数据的张量，然后基于误差容忍度，通过张量列奇异值分解算法，对张量进行张量列分解，可以获得多个第一矩阵，最后根据多个第一矩阵，确定视频数据的编码结果。解码器的终端110将视频数据的编码结果发送至编码器的终端120，编码器的终端120接收视频数据的编码结果后，根据编码结果中的多个第一矩阵，获取视频数据的张量，最后将视频数据的张量进行逆映射，可以得到压缩重建后的视频。
本申请的实施例所提供的一种视频编码方法，通过高维映射的方式获得张量，能够在压缩视频的过程中多尺度冗余的挖掘，从而实现了张量列分解的稀疏性的提升，进而能够避免视频编码所产生的块状伪影，同时避免视频解码出现视频的失真。
图2所示为本申请一个实施例提供的视频编码方法的流程示意图。图2所述的方法由计算设备(例如，服务器或者终端)来执行，但本申请实施例不以此为限。如图2所示，该方法包括如下内容。
S210：将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量。
在一实施例中，该视频数据可以为显微成像视频数据，本申请实施例对视频数据的类型不做具体限定。该视频数据可以为二维数据，也可以为三维数据，还可以为四维数据，本申请实施例对此并不做具体限定。
在一实施例中，将视频数据的每一帧图像的预设个数的相邻像素组成为一组，形成坐标索引，然后通过坐标索引的映射，实现高维映射，得到视频数据的张量。
但是需要说明的是，本申请实施例并不具体限定预设个数的相邻像素的个数，预设个数的相邻像素的个数为4个，通过四叉树，完成对视频数据的坐标索引，然后通过该坐标索引的映射，完成了高维映射；预设个数的相邻像素的个数为8个，通过八叉树，完成对视频数据的坐标索引，然后通过该坐标索引的映射，完成了高维映射；预设个数的相邻像素的个数为16个，通过十六叉树，完成对视频数据的坐标索引，然后通过该坐标索引的映射，完成了高维映射。
也就是说，随着预设个数的相邻像素的个数的不同，实现高维映射的方式也不相同，因此，得到的视频数据的张量的阶数也不相同。以限定预设个数的相邻像素的个数为4为例，视频数据的大小为w*w*t，通过四叉树，得到高维映射后的N维张量，其中N＝log2 w+1。
通过高维映射，能够实现像素点多尺度的组织，继而能够通过挖掘多尺度冗余的角度，实现压缩效能的提升。
S220：基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵。
在一实施例中，误差容忍度是用户在终端输入的，随着用户输入的误差容忍度的不同，可以实现误差可调的视频压缩。
采用张量列奇异值分解(Tensor Train Singular Value Decomposition，TT-SVD)，能够通过进行多次SVD的形式，实现对正交基的多次再压缩，继而实现对原始数据的乘性分解。
具体而言，采用TT-SVD，可以得到多个第一矩阵，设多个第一矩阵的个数为N，分别为M1，M2，M3，…，MN，通过以下步骤得到N个第一矩阵：
Z1：根据用户输入的误差容忍程度ε，计算截断参数
其中|T|F为张量T的Frobenius范数；
Z2：保持张量T的元素数量不变，并对张量T的第1个维度的模进行展开，得到矩阵C1；
Z3：设置k＝1，当k＜N时，进行如下计算：
1)对于矩阵C1进行奇异值分解，得到分解结果为U，L以及V，其中L为奇异值向量；
2)对于L中所有值从大到小进行排列，再将所有小于δ的数值置为零；
3)将L与V的转置相乘，得到矩阵C2；
4)将C2使用根据张量T的第k个维度的模以及L中的非零元素的个数依次重新排列，得到矩阵
5)将C1设置为等于
6)将U输出，并记为Mk；
7)使得k＝k+1，并从步骤1)开始重新计算；
8)当k＝N-1时，停止计算，并得到M1，M2，M3，…，MN。
但是需要说明的是，以上计算多个第一矩阵的过程仅仅是一个示例，本领域技术人员还可以采用其他的方式，对获得多个第一矩阵。
S230：根据所述多个第一矩阵，确定所述视频数据的编码结果。
在一实施例中，可以直接将多个第一矩阵确定为视频数据的编码结果；也可以对多个第一矩阵进行处理后，再将处理的结果确定为视频数据的编码结果，本申请实施例对此并不做具体限定。
由此可见，通过高维映射的方式获得张量，能够在压缩视频的过程中多尺度冗余的挖掘，从而实现了张量列分解的稀疏性的提升，进而能够避免视频编码所产生的块状伪影。
在本申请的另一个实施例中，图3所示的方法为图2所示的方法的示例，如图3所示，该方法包括如下内容。
S310：将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；
S320：基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；
图3所示的方法中的步骤S310和S320分别与图2所示的方法中的步骤S210和S220相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S210和S220。
S330：将所述多个第一矩阵中的元素进行非均匀量化，得到非均匀量化结果。
在一实施例中，对多个第一矩阵分别进行非均匀量化，量化的方式为根据预设阈值A，对多个第一矩阵中的每个第一矩阵中的元素进行不同精细程度的量化，也就是说，基于给定的预设阈值A，将绝对值小于或等于A的元素使用粗量化对应的数值(Q1 bit)进行粗量化存储，对于绝对值大于A的元素使用精细量化对应的数值(Q2 bit)进行精细量化存储，得到第一矩阵对应的二值矩阵，二值矩阵用于存储第一矩阵中每个元素的量化类型，量化类型可以包括精细量化和粗量化。
例如，Q1对应的元素在存储时，记为0，Q2对应的元素在存储时，记为1，但是需要说明的是，这仅仅是一个示例，还可以将Q1对应的元素在存储时，记为1，Q2对应的元素在存储时，记为0。本申请实施例并不具体限定Q1和Q2的取值，本领域技术人员可以根据实际需求，进行不同的选择。
每一个第一矩阵都会对应一个二值矩阵，也就是说，最后所得到的二值矩阵的个数与第一矩阵的个数相同。当多个第一矩阵的个数为N个时，得到的二值矩阵的个数也为N个，且二值矩阵由0和/或1组成。
在一实施例中，根据精细量化对应的数值、粗量化对应的数值和第一矩阵中的元素的最大值和最小值，对第一矩阵中的元素进行归一化，得到第一矩阵对应的归一矩阵。
在一实施例中，首先确定多个第一矩阵中的每个第一矩阵中的多个元素中的最大值gmax和最小值gmin，然后将精细量化对应的数值Q2、粗量化对应的数值Q1和第一矩阵中的元素的gmax和最小值gmin带入
的表达式中，对第一矩阵中的每个元素进行归一化，第一矩阵中每个元素所得到的归一化结果存储在每个第一矩阵中的元素对应的位置处。
例如，对于第一矩阵中的元素X，元素X的数值为g，g的绝对值小于或等于A，则与其对应的量化类型为粗量化，使用粗量化对应的数值Q1进行粗量化存储，将g、Q1、gmax和gmin带入上述表达式中，即可获得元素X的归一化结果
第一矩阵中的每个元素都会得到一个归一化结果
将所有元素对应的所有归一化结果按照所有元素的排列顺序组合在一起，便构成了第一矩阵对应的归一矩阵。每一个第一矩阵都会对应一个归一矩阵，也就是说，最后所得到的归一矩阵的个数与第一矩阵的个数相同。当多个第一矩阵的个数为N个时，得到的归一矩阵的个数也为N个。
在一实施例中，确定每个第一矩阵对应的二值矩阵和归一矩阵以及第一矩阵中的元素的最大值和最小值为非均匀量化结果。
S340：将所述非均匀量化结果确定为所述视频数据的编码结果。
在一实施例中，一个第一矩阵对应一个非均匀量化结果，将多个第一矩阵中的每个第一矩阵对应的非均匀量化结果作为视频数据的编码结果进行输出。
本实施例之所以对多个第一矩阵中的元素进行非均匀量化，是因为考虑到采用TT-SVD计算得到的多个第一矩阵为浮点数，其占用的存储空间依然较高，所以可以将多个第一矩阵量化到整数类型，然后再进行存储，从而减少存储空间。
在本申请的另一个实施例中，图4所示的方法为图2所示的方法的示例，如图4所示，该方法包括如下内容。
S410：将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；
S420：基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；
图4所示的方法中的步骤S410和S420分别与图2所示的方法中的步骤S210和S220相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S210和S220。
S430：将所述多个第一矩阵直接确定为所述视频数据的编码结果。
当然，为了提高视频压缩的效率，也可以不对多个第一矩阵中的元素进行非均匀量化，直接将多个第一矩阵确定为视频数据的编码结果。本领域技术人员可以根据实际需求来选择是否进行非均匀量化。
本申请的有益效果在于：由于本申请利用了显微视频中存在的时空耦合性，从张量视角入手，对显微视频进行压缩，并且进一步通过高维映射的策略，进行多尺度冗余的挖掘，实现了张量列分解的稀疏性的提升。相对传统的视频压缩方法，本申请的视频编码方法能够有效避免块状伪影的影响，针对信噪比远远低于自然视频的荧光显微视频而言，实现了更好的保真效果，即使在噪声情况下，也具备更好的稀疏性与稳定性。
本申请的视频解码方法的全部过程由Python语言编写完成，其中涉及到的张量运算工具库为Pytorch，Numpy以及TnTorch，涉及到的熵编码库为Pytables。
在本申请的另一个实施例中，所述方法还包括：将所述编码结果发送至解码器的终端，以便于所述解码器的终端对所述编码结果进行解码。
在得到了编码结果后，可以将编码结果发送至解码器的终端，以便于解码器的终端对编码结果进行解码，以执行下述实施例所述的内容。
图5所示为本申请一个实施例提供的视频解码方法的流程示意图。图5所述的方法由计算设备(例如，服务器或者终端)来执行，但本申请实施例不以此为限。如图5所示，该方法包括如下内容。
S510：接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵。
在一实施例中，视频数据的编码结果包括多个第一矩阵，但是本申请实施例并不具体限定编码结果中所包括的多个第一矩阵的形式，多个第一矩阵可以直接确定为编码结果，多个第一矩阵中的每个第一矩阵中的元素的最大值和最小值可以确定为编码结果。
S520：根据所述多个第一矩阵，获取所述视频数据的张量。
在一实施例中，可以直接将多个第一矩阵进行相乘，得到视频数据的张量；也可以对多个第一矩阵进行处理后，再将处理的结果进行相乘，得到视频数据的张量，本申请实施例对此并不做具体限定。
S530：将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
在一实施例中，将张量按预设顺序依次进行排列，实现逆映射，以得到压缩重建后的视频。
但是本申请实施例并不具体限定预设顺序的实现形式，例如，如图2的实施例所述，当预设个数的相邻像素的个数为4个时，所采用的是四叉树，那么按照四叉树的自下而上的顺序进行依次排列，可以实现四叉树的逆映射，得到压缩重建后的视频；当预设个数的相邻像素的个数为8个时，所采用的是八叉树，那么按照八叉树的自下而上的顺序进行依次排列，可以实现八叉树的逆映射，得到压缩重建后的视频；当预设个数的相邻像素的个数为16个时，所采用的是十六叉树，那么按照十六叉树的自下而上的顺序进行依次排列，可以实现十六叉树的逆映射，得到压缩重建后的视频。
本申请的实施例所提供的一种视频解码方法，通过图2的实施例所述的视频编码方法，所获得的视频数据的编码结果并不存在块状伪影，因此，对该视频数据的编码结果进行解码，所获得的压缩重建后的视频也并不会出现失真的情况。
在本申请的另一个实施例中，所述视频数据的编码结果还包括：所述多个第一矩阵中的每个第一矩阵对应的归一矩阵和二值矩阵，图6所示的方法为图5所示的方法的示例，如图6所示，该方法包括如下内容。
S610：接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵。
图6所示的方法中的步骤S610与图5所示的方法中的步骤S510相同，具体细节将不在此处进行赘述，请参见图5所示的方法中的步骤S510。
S620：根据所述二值矩阵，确定所述归一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化。
由于二值矩阵用于存储第一矩阵中每个元素的量化类型，所以通过该二值矩阵，可以确定归一矩阵中的每个元素的量化类型，也就是说，每个元素使用的哪种量化，是精细量化，还是粗量化，从而得到每个元素的量化类型对应的数值，是Q1，还是Q2。
S630：根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述归一矩阵中的元素进行反非均匀量化，得到多个第二矩阵。
在一实施例中，将精细量化对应的数值Q2、粗量化对应的数值Q1和第一矩阵中的元素的gmax和最小值gmin带入
的表达式中，对归一矩阵中的每个元素进行反非均匀量化，归一矩阵中的每个元素所得到的反非均匀量化结果存储在每个归一矩阵中的元素对应的位置处。
例如，对于归一矩阵中的元素Y，元素Y的数值为
与其对应的量化类型为粗量化，粗量化对应的数值为Q1，将
Q1、gmax和gmin带入上述表达式中，即可获得元素Y的反非均匀量化结果
归一矩阵中的每个元素都会得到一个反非均匀量化结果
将所有元素对应的所有反非均匀量化结果按照所有元素的排列顺序组合在一起，便构成了第二矩阵。每一个归一矩阵都会对应一个第二矩阵，也就是说，最后所得到的第二矩阵的个数与归一矩阵的个数相同。当多个第一矩阵的个数为N个时，得到的第二矩阵的个数也为N个。
S640：将所述多个第二矩阵进行相乘，得到所述视频数据的张量。
在一实施例中，设多个第二矩阵为
其中k＝1，2，3，…，N，将多个第二矩阵按照k的大小，从小到大或者从大到小的顺序依次进行左乘或者右乘，可以得到视频数据的张量。
但是需要说明的是，本申请实施例并不限定多个第二矩阵相乘时的顺序，本领域技术人员可以根据实际需求，进行不同的选择；本申请实施例并不限定多个第二矩阵的相乘方式，本领域技术人员可以根据实际需求，进行不同的选择。
S650：将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
图6所示的方法中的步骤S650分别与图5所示的方法中的步骤S530相同，具体细节将不在此处进行赘述，请参见图5所示的方法中的步骤S530。
在本申请的另一个实施例中，图7所示的方法为图5所示的方法的示例，如图7所示，该方法包括如下内容。
S710：接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵。
图7所示的方法中的步骤S710与图5所示的方法中的步骤S510相同，具体细节将不在此处进行赘述，请参见图5所示的方法中的步骤S510。
S720：将所述多个第一矩阵直接进行相乘，得到所述视频数据的张量。
图7所示的方法中的步骤S720分别与图6所示的方法中的步骤S640相同，具体细节将不在此处进行赘述，请参见图6所示的方法中的步骤S640。
S730：将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
图7所示的方法中的步骤S730分别与图5所示的方法中的步骤S530相似，具体细节将不在此处进行赘述，请参见图5所示的方法中的步骤S530。
图8所示为本申请一个实施例提供的视频编码装置的框图。本申请视频编码装置的实施例可以用于执行本申请视频编码方法的实施例。对于本申请视频编码装置的实施例中未披露的细节，请参照本申请视频编码方法的实施例。如图8所示，该装置800包括：
映射模块810，配置为将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；
分解模块820，配置为基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；
确定模块830，配置为根据所述多个第一矩阵，确定所述视频数据的编码结果。
在本申请的另一个实施例中，映射模块810进一步配置为：将所述每一帧图像的预设个数的相邻像素组成为一组，形成坐标索引；通过所述坐标索引的映射，实现高维映射，得到所述视频数据的张量。
在本申请的另一个实施例中，确定模块830进一步配置为：将所述多个第一矩阵中的元素进行非均匀量化，得到非均匀量化结果；将所述非均匀量化结果确定为所述视频数据的编码结果。
在本申请的另一个实施例中，确定模块830在将所述多个第一矩阵进行非均匀量化，得到非均匀量化结果时，进一步配置为：根据预设阈值，对所述多个第一矩阵中的每个第一矩阵中的元素进行不同精细程度的量化，得到所述第一矩阵对应的二值矩阵，所述二值矩阵用于指示所述第一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述第一矩阵中的元素进行归一化，得到所述第一矩阵对应的归一矩阵；确定所述二值矩阵、所述归一矩阵以及所述第一矩阵中的元素的最大值和最小值为所述非均匀量化结果。
在本申请的另一个实施例中，确定模块830进一步配置为：将所述多个第一矩阵直接确定为所述视频数据的编码结果。
在本申请的另一个实施例中，所述装置800还包括：发送模块，配置为将所述编码结果发送至解码器的终端，以便于所述解码器的终端对所述编码结果进行解码。
在本申请的另一个实施例中，所述装置800还包括：输入模块，配置为接收用户输入的误差容忍度。
在本申请的另一个实施例中，所述视频数据为显微成像视频数据。
图9所示为本申请一个实施例提供的视频解码装置的框图。本申请视频解码装置的实施例可以用于执行本申请视频解码方法的实施例。对于本申请视频解码装置的实施例中未披露的细节，请参照本申请视频解码方法的实施例。如图9所示，该装置900包括：
接收模块910，配置为接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵；
获取模块920，配置为根据所述多个第一矩阵，获取所述视频数据的张量；
逆映射模块930，配置为将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
在本申请的另一个实施例中，所述视频数据的编码结果还包括：所述多个第一矩阵中的每个第一矩阵对应的归一矩阵和二值矩阵，获取模块920进一步配置为：根据所述二值矩阵，确定所述归一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述归一矩阵中的元素进行反非均匀量化，得到多个第二矩阵；将所述多个第二矩阵进行相乘，得到所述视频数据的张量。
在本申请的另一个实施例中，获取模块920进一步配置为：将所述多个第一矩阵直接进行相乘，得到所述视频数据的张量。
在本申请的另一个实施例中，逆映射模块930进一步配置为：将所述张量按预设顺序依次进行排列，实现所述逆映射，以得到所述压缩重建后的视频。
下面，参考图10来描述根据本申请实施例的电子设备。图10图示了根据本申请实施例的电子设备的框图。
如图10所示，电子设备1000包括一个或多个处理器1010和存储器1020。
处理器1010可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。
存储器1020可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1010可以运行所述程序指令，以实现上文所述的本申请的各个实施例的视频编码方法、视频解码方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如张量或者矩阵等各种内容。
在一个示例中，电子设备1000还可以包括：输入装置1030和输出装置1040，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置1030可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1030可以是通信网络连接器。
此外，该输入设备1030还可以包括例如键盘、鼠标等等。
该输出装置1040可以向外部输出各种信息，包括压缩重建后的视频等。该输出设备1040可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备1000中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1000还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述所描述的根据本申请各种实施例的视频编码方法、视频解码方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述所描述的根据本申请各种实施例的视频编码方法、视频解码方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (16)
1.一种视频编码方法，其特征在于，包括：
将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；
基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；
根据所述多个第一矩阵，确定所述视频数据的编码结果。
2.根据权利要求1所述的方法，其特征在于，所述将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量，包括：
将所述每一帧图像的预设个数的相邻像素组成为一组，形成坐标索引；
通过所述坐标索引的映射，实现高维映射，得到所述视频数据的张量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一矩阵，确定所述视频数据的编码结果，包括：
将所述多个第一矩阵中的元素进行非均匀量化，得到非均匀量化结果；
将所述非均匀量化结果确定为所述视频数据的编码结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述多个第一矩阵进行非均匀量化，得到非均匀量化结果，包括：
根据预设阈值，对所述多个第一矩阵中的每个第一矩阵中的元素进行不同精细程度的量化，得到所述第一矩阵对应的二值矩阵，所述二值矩阵用于指示所述第一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；
根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述第一矩阵中的元素进行归一化，得到所述第一矩阵对应的归一矩阵；
确定所述二值矩阵、所述归一矩阵以及所述第一矩阵中的元素的最大值和最小值为所述非均匀量化结果。
5.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一矩阵，确定所述视频数据的编码结果，包括：
将所述多个第一矩阵直接确定为所述视频数据的编码结果。
6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
将所述编码结果发送至解码器的终端，以便于所述解码器的终端对所述编码结果进行解码。
7.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
接收用户输入的误差容忍度。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述视频数据为显微成像视频数据。
9.一种视频解码方法，其特征在于，包括：
接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵；
根据所述多个第一矩阵，获取所述视频数据的张量；
将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
10.根据权利要求9所述的方法，其特征在于，所述视频数据的编码结果还包括：所述多个第一矩阵中的每个第一矩阵对应的归一矩阵和二值矩阵，其中，所述根据所述多个第一矩阵，获取所述视频数据的张量，包括：
根据所述二值矩阵，确定所述归一矩阵中的元素的量化类型，所述量化类型包括精细量化和粗量化；
根据所述精细量化对应的数值、所述粗量化对应的数值和所述第一矩阵中的元素的最大值和最小值，对所述归一矩阵中的元素进行反非均匀量化，得到多个第二矩阵；
将所述多个第二矩阵进行相乘，得到所述视频数据的张量。
11.根据权利要求9所述的方法，其特征在于，所述根据所述多个第一矩阵，获取所述视频数据的张量，包括：
将所述多个第一矩阵直接进行相乘，得到所述视频数据的张量。
12.根据权利要求9所述的方法，其特征在于，所述将所述视频数据的张量进行逆映射，得到压缩重建后的视频，包括：
将所述张量按预设顺序依次进行排列，实现所述逆映射，以得到所述压缩重建后的视频。
13.一种视频编码装置，其特征在于，包括：
映射模块，配置为将视频数据的每一帧图像映射到高维空间，以获得所述视频数据的张量；
分解模块，配置为基于误差容忍度，通过张量列奇异值分解算法，对所述张量进行张量列分解，以获得多个第一矩阵；
确定模块，配置为根据所述多个第一矩阵，确定所述视频数据的编码结果。
14.一种视频解码装置，其特征在于，包括：
接收模块，配置为接收视频数据的编码结果，所述视频数据的编码结果包括多个第一矩阵；
获取模块，配置为根据所述多个第一矩阵，获取所述视频数据的张量；
逆映射模块，配置为将所述视频数据的张量进行逆映射，得到压缩重建后的视频。
15.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至12中任一项所述的方法。
16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663401.1A CN114302150B (zh) | 2021-12-30 | 2021-12-30 | 视频编码方法及装置、视频解码方法及装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663401.1A CN114302150B (zh) | 2021-12-30 | 2021-12-30 | 视频编码方法及装置、视频解码方法及装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114302150A true CN114302150A (zh) | 2022-04-08 |
| CN114302150B CN114302150B (zh) | 2024-02-27 |
Family
ID=80973237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111663401.1A Active CN114302150B (zh) | 2021-12-30 | 2021-12-30 | 视频编码方法及装置、视频解码方法及装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114302150B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982805A (zh) * | 2012-12-27 | 2013-03-20 | 北京理工大学 | 一种基于张量分解的多声道音频信号压缩方法 |
| CN106503659A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 基于稀疏编码张量分解的动作识别方法 |
| CN108933942A (zh) * | 2017-05-27 | 2018-12-04 | 浙江大学 | 一种压缩视频的滤波方法及针对压缩视频的滤波装置 |
| CN111147863A (zh) * | 2019-12-30 | 2020-05-12 | 西安电子科技大学 | 基于张量的视频快照压缩成像恢复方法 |
| CN111161366A (zh) * | 2019-12-11 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 一种图像重建方法、装置、终端设备及存储介质 |
| CN111340173A (zh) * | 2019-12-24 | 2020-06-26 | 中国科学院深圳先进技术研究院 | 一种针对高维数据的生成对抗网络训练方法、系统及电子设备 |
| US20210241094A1 (en) * | 2019-11-26 | 2021-08-05 | Baidu Usa Llc | Rank selection in tensor decomposition based on reinforcement learning for deep neural networks |
| RU2753591C1 (ru) * | 2020-10-23 | 2021-08-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Способ сжатия и хранения трехмерных данных (варианты) |
| CN113347422A (zh) * | 2021-05-13 | 2021-09-03 | 北京大学 | 一种粗粒度上下文熵编码方法 |
| US20210334690A1 (en) * | 2020-04-24 | 2021-10-28 | Alibaba Group Holding Limited | Methods and systems for tensor network contraction based on hypergraph decomposition and parameter optimization |
| CN113689513A (zh) * | 2021-09-28 | 2021-11-23 | 东南大学 | 一种基于鲁棒张量分解的sar图像压缩方法 |
-
2021
- 2021-12-30 CN CN202111663401.1A patent/CN114302150B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982805A (zh) * | 2012-12-27 | 2013-03-20 | 北京理工大学 | 一种基于张量分解的多声道音频信号压缩方法 |
| CN106503659A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 基于稀疏编码张量分解的动作识别方法 |
| CN108933942A (zh) * | 2017-05-27 | 2018-12-04 | 浙江大学 | 一种压缩视频的滤波方法及针对压缩视频的滤波装置 |
| US20210241094A1 (en) * | 2019-11-26 | 2021-08-05 | Baidu Usa Llc | Rank selection in tensor decomposition based on reinforcement learning for deep neural networks |
| CN111161366A (zh) * | 2019-12-11 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 一种图像重建方法、装置、终端设备及存储介质 |
| CN111340173A (zh) * | 2019-12-24 | 2020-06-26 | 中国科学院深圳先进技术研究院 | 一种针对高维数据的生成对抗网络训练方法、系统及电子设备 |
| CN111147863A (zh) * | 2019-12-30 | 2020-05-12 | 西安电子科技大学 | 基于张量的视频快照压缩成像恢复方法 |
| US20210334690A1 (en) * | 2020-04-24 | 2021-10-28 | Alibaba Group Holding Limited | Methods and systems for tensor network contraction based on hypergraph decomposition and parameter optimization |
| RU2753591C1 (ru) * | 2020-10-23 | 2021-08-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Способ сжатия и хранения трехмерных данных (варианты) |
| CN113347422A (zh) * | 2021-05-13 | 2021-09-03 | 北京大学 | 一种粗粒度上下文熵编码方法 |
| CN113689513A (zh) * | 2021-09-28 | 2021-11-23 | 东南大学 | 一种基于鲁棒张量分解的sar图像压缩方法 |
Non-Patent Citations (3)
| Title |
|---|
| JESPER L. HINRICH ET AL.: "Probabilistic Tensor Train Decomposition", 《2019 27TH EUROPEAN SIGNAL PROCESSING CONFERENCE》 * |
| 杨晨;高鸿;张丽莹;胡旭;俞肇元: "基于张量分解的AoT序列数据有损压缩方法", 《地球信息科学学报》, vol. 23, no. 01 * |
| 贾慧迪, 韩志, 陈希爱, 唐延东: "基于非局部张量火车分解的彩色图像修补", 《 模式识别与人工智能》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114302150B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10178387B2 (en) | Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy | |
| JP7421036B2 (ja) | ロスレスデータ圧縮 | |
| US11386583B2 (en) | Image coding apparatus, probability model generating apparatus and image decoding apparatus | |
| US10839564B2 (en) | Leveraging JPEG discrete cosine transform coefficients in neural networks | |
| US10909728B1 (en) | Learned lossy image compression codec | |
| Deng et al. | Content-based image compression for arbitrary-resolution display devices | |
| CN108734653B (zh) | 图像风格转换方法及装置 | |
| US20210314615A1 (en) | Data processing apparatuses, methods, computer programs and computer-readable media | |
| KR101971114B1 (ko) | 이미지 분석 방법 및 시스템 | |
| US11335034B2 (en) | Systems and methods for image compression at multiple, different bitrates | |
| US20150279055A1 (en) | Mipmap compression | |
| Viola et al. | A graph learning approach for light field image compression | |
| CN113870104A (zh) | 超分辨率图像重建 | |
| CN110019865B (zh) | 海量图片处理方法、装置、电子设备及存储介质 | |
| US11671110B2 (en) | Method and apparatus for neural network model compression/decompression | |
| KR102049078B1 (ko) | 이미지 분석 | |
| CN115082358B (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| CN111881920B (zh) | 一种大分辨率图像的网络适配方法及神经网络训练装置 | |
| WO2023132919A1 (en) | Scalable framework for point cloud compression | |
| Abadpour et al. | Color PCA eigenimages and their application to compression and watermarking | |
| WO2017070841A1 (zh) | 图像处理方法和装置 | |
| CN114302150B (zh) | 视频编码方法及装置、视频解码方法及装置、电子设备 | |
| Tabus et al. | Lossless compression of plenoptic camera sensor images | |
| CN113228665A (zh) | 用于处理配置数据的方法、设备、计算机程序和计算机可读介质 | |
| CN109474826B (zh) | 图片压缩方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |