CN112889280B - 用于数字图像/视频材料的编码和解码的方法和装置 - Google Patents

用于数字图像/视频材料的编码和解码的方法和装置 Download PDF

Info

Publication number
CN112889280B
CN112889280B CN201980069109.1A CN201980069109A CN112889280B CN 112889280 B CN112889280 B CN 112889280B CN 201980069109 A CN201980069109 A CN 201980069109A CN 112889280 B CN112889280 B CN 112889280B
Authority
CN
China
Prior art keywords
transform
block
mode
determining
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980069109.1A
Other languages
English (en)
Other versions
CN112889280A (zh
Inventor
J·莱内马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN112889280A publication Critical patent/CN112889280A/zh
Application granted granted Critical
Publication of CN112889280B publication Critical patent/CN112889280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

实施例涉及一种方法,包括:确定变换块的编码模式,其中,变换块包括一组变换系数;确定变换块的形状;至少部分地基于变换块的所述编码模式和所述形状,确定用于块的至少一个变换模式;将所确定的变换模式应用于以产生样本值;以及将所述样本值添加到预测样本值块中。实施例还涉及用于实现该方法的技术设备。

Description

用于数字图像/视频材料的编码和解码的方法和装置
技术领域
本发明方案一般地涉及图像/视频编码和解码。具体地,本发明方案涉及用于自适应地选择用于块的变换模式的方法和装置。
背景技术
视频编码系统可以包括将输入视频转换成适于存储/传输的压缩表示的编码器,以及可将压缩视频表示解压缩回可视形式的解码器。编码器可以丢弃原始视频序列中的一些信息,以便以更紧凑的形式来表示视频,例如,以使能采用比可能需要的更低的比特率来存储/传输视频信息。
混合视频编解码器可以在两个阶段中对视频信息进行编码。首先,例如通过运动补偿部件或通过空间部件来预测某一图像区域中的样本值(即,像素值)。其次,对预测误差(即,预测样本块与原始样本块之间的差异)进行编码。另一方面,视频解码器通过应用类似于编码器的预测部件来重新构建输出视频,以形成样本块的预测表示以及预测误差解码。在应用预测和预测误差解码部件之后,解码器对预测和预测误差信号求和以形成输出视频帧。
发明内容
现今已经发明了一种改进的方法和实施该方法的技术设备,由此缓解了上述问题。各个方面包括一种方法、装置以及包括在其中存储有计算机程序的计算机可读介质,其通过独立权利要求中所述的内容来表征。在从属权利要求中公开了各种实施例。
根据第一方面,提供了一种方法,包括:确定变换块的编码模式,其中,变换块包括一组变换系数;确定变换块的形状;至少部分地基于变换块的所述编码模式和所述形状,确定用于块的至少一个变换模式;将所确定的变换模式应用于一组变换系数以产生样本值;以及将所述样本值添加到预测样本值块中。
根据第二方面,提供了一种装置,包括:用于确定变换块的编码模式的部件,其中,变换块包括一组变换系数;用于确定变换块的形状的部件;用于至少部分地基于变换块的所述编码模式和所述形状来确定用于块的至少一个变换模式的部件;用于将所确定的变换模式应用于一组变换系数以产生样本值的部件;以及用于将所述样本值添加到预测样本值块中的部件。
根据第三方面,提供了一种包括计算机程序代码的计算机程序产品,该计算机程序代码被配置为当在至少一个处理器上执行时使得装置或系统:预测样本值块中确定变换块的编码模式,其中,变换块包括一组变换系数;确定变换块的形状;至少部分地基于变换块的所述编码模式和所述形状,确定用于块的至少一个变换模式;将所确定的变换模式应用于一组变换系数以产生样本值;以及将所述样本值添加到预测样本值块中。
根据实施例,通过比较变换块的宽度和高度来确定该变换块的形状。
根据实施例,方向是水平或垂直的。
根据实施例,编码模式与以下中的至少一个有关:编码单元或预测单元是帧间预测或帧内预测的;变换块属于帧内切片或帧间切片;变换的模式;块的帧内预测模式。
根据实施例,通过将变换块归类为预定类别之一来确定该变换块的形状。
根据实施例,针对具有不同尺寸的两个方向的块确定两个变换模式。
根据实施例,变换模式包括离散余弦变换(DCT)或离散正弦变换(DST)。
根据实施例,确定变换模式包括:针对块的具有更大尺寸的方向选择离散余弦变换(DCT),以及针对块的具有更小尺寸的方向选择离散正弦变换(DST)。
根据实施例,比特流包括指示所确定的至少一个变换模式的信号。
根据实施例,该装置包括至少一个处理器、存储有计算机程序代码的存储器。
附图说明
在下文中,将参考附图更详细地描述各种实施例,其中:
图1示出根据实施例的编码过程;
图2示出根据实施例的解码过程;
图3示出根据实施例的方法;
图4示出不同形状的变换块的示例;
图5示出根据实施例的变换选择;
图6示出根据实施例的编码过程;
图7示出形状自适应变换过程的实施例;
图8是示出根据实施例的方法的流程图;
图9示出根据实施例的装置。
具体实施方式
在下文中,将在数字图像/视频材料的编码和解码的上下文中描述若干实施例。特别地,这些实施例使得能够基于变换块的形状来为该变换块选择表现良好的变换。
视频编解码器包括编码器和解码器,其中该编码器将输入视频转换成适于存储/传输的压缩表示,该解码器可以将压缩视频表示解压缩回可视形式。编码器可以丢弃原始视频序列中的一些信息,以便以更紧凑的形式(即,以更低的比特率)来表示视频。
混合视频编解码器(例如,ITU-T H.263和H.264)可以在两个阶段中对视频信息进行编码。首先,例如通过运动补偿部件(找到并指示与被编码的块紧密对应的先前编码的视频帧之一中的区域)或通过空间部件(使用将以特定方式进行编码的块周围的像素值)来预测某一图像区域(或“块”)中的像素值。然后,对预测误差(即,预测像素块与原始像素块之间的差异)进行编码。这可以通过使用特定变换(例如,离散余弦变换(DCT)或其变型)对像素值的差进行变换,对系数进行量化,以及对量化系数进行熵编码来实现。通过改变量化过程的保真度,编码器可以控制像素表示的精确度(图像质量)与所得到的编码视频表示的大小(文件大小或传输比特率)之间的平衡。在图1中示出了根据实施例的编码过程。
图1示出了将要被编码的图像(In);图像块的预测表示(P'n);预测误差信号(Dn);重建的预测误差信号(D’n);初步重建图像(l’n);最终重建图像(R’n);变换(T)和逆变换(T-1);量化(Q)和逆量化(Q-1);熵编码(E);参考帧存储器(RFM);帧间预测(Pinter);帧内预测(Pintra);模式选择(MS);以及滤波(F)。
在某些视频编解码器(例如,H.265/HEVC)中,视频图像被划分成覆盖图像区域的编码单元(CU)。CU包括定义CU内的样本的预测过程的一个或多个预测单元(PU)以及定义所述CU中的样本的预测误差编码过程的一个或多个变换单元(TU)。CU可以包括正方形的样本块,其大小可从预定义的一组可能的CU大小中选择。具有最大允许大小的CU可以被命名为LCU(最大编码单元)或CTU(编码树单元),并且视频图像被划分成非重叠的CTU。CTU可以进一步划分成更小的CU的组合,例如,通过递归地划分CTU和所得到的CU。每个所得到的CU可以具有至少一个PU和至少一个与之相关联的TU。每个PU和TU可以进一步被划分成更小的PU和TU,以分别增加预测和预测误差编码过程的粒度。每个PU具有与之相关联的预测信息,该预测信息定义将对该PU内的像素应用何种类型的预测(例如,用于帧间预测PU的运动向量信息和用于帧内预测PU的帧内预测方向性信息)。类似地,每个TU与描述所述TU内的样本的预测误差解码过程的信息(例如包括DCT系数信息)相关联。可以在CU级别信令发送是否对每个CU应用预测误差编码。在没有与CU相关联的预测误差残差的情况下,可以认为没有用于所述CU的TU。可以在比特流中信令发送图像被划分成CU以及CU被划分成PU和TU,从而允许解码器再现这些单元的预期结构。
解码器通过应用类似于编码器的预测部件来重新构建输出视频,以形成像素块的预测表示(使用由编码器创建并存储在压缩表示中的运动或空间信息)和预测误差解码(预测误差编码的逆操作,其在空间像素域中恢复量化的预测误差信号)。在应用预测和预测误差解码部件之后,解码器对预测和预测误差信号(像素值)求和以形成输出视频帧。解码器(和编码器)还可以应用附加的滤波部件,以在传递输出视频进行显示和/或将其存储为视频序列中即将到来的帧的预测参考之前提高输出视频的质量。在图2中示出了根据实施例的解码过程。
图2示出了图像块的预测表示(P’n);重建的预测误差信号(D’n);初步重建图像(l’n);最终重建图像(R’n);逆变换(T-1);逆量化(Q-1);熵解码(E-1);参考帧存储器(RFM);预测(帧间或帧内)(P);以及滤波(F)。
作为使用样本值预测和变换编码来指示编码样本值的方法的替代或补充,还可以使用基于调色板的编码。基于调色板的编码是指一系列方法:定义调色板即一组颜色及相关联的索引,并通过在调色板中指示其索引来表示编码单元内每个样本的值。基于调色板的编码可以在编码单元中以相对更少数量的颜色实现良好的编码效率(诸如表示计算机屏幕内容(如文本或简单图形)的图像区域)。为了提高调色板编码的编码效率,可以使用不同种类的调色板索引预测方法,或者可以对调色板索引进行游程长度编码以能够有效地表示更大的同质图像区域。另外,如果CU包含未在CU内重复出现的样本值,则可以使用转义编码。转义编码的样本无需引用任何调色板索引即可被发送。相反,针对每个转义编码的样本而单独地指示它们的值。
可以在视频编解码器中用与每个运动补偿图像块相关联的运动向量来指示运动信息。这些运动向量中的每一个表示将要编码(在编码器侧)或解码(在解码器侧)的图像中的图像块与先前编码或解码图像之一中的预测源块的位移。为了有效地表示运动向量,可以相对于块特定预测运动向量对这些运动向量进行差分编码。可以采用预定义的方式来创建预测的运动向量,例如计算相邻块的编码或解码的运动向量的中值。创建运动向量预测的另一种方式是根据时间参考图像中的相邻块和/或位于同一位置的块来生成候选预测列表,并信令发送所选择的候选者作为运动向量预测器。除了预测运动向量值之外,还可以预测先前编码/解码的图像的参考索引。可以根据时间参考图像中的相邻块和/或位于同一位置的块来预测参考索引。此外,高效视频编解码器可以采用通常被称为合并模式的附加的运动信息编码/解码机制,其中包括针对每个可用参考图像列表的运动向量和对应的参考图像索引的所有运动场信息被预测并在不做任何修改/更正的情况下使用。类似地,使用时间参考图像中的相邻块和/或位于同一位置的块的运动场信息来预测运动场信息,并且在填充有可用的相邻/位于同一位置的块的运动场候选列表中信令发送所使用的运动场信息。
视频编解码器可以支持来自一个源图像(单预测(uni-prediction))和来自两个源图像(双预测(bi-prediction))的运动补偿预测。在单预测的情况下,应用单个运动向量,而在双预测的情况下,信令发送两个运动向量,并对来自两个源的运动补偿预测进行平均以创建最终的样本预测。在加权预测的情况下,可以调整两个预测的相对权重,或者可以将被信令发送的偏移添加到预测信号中。
除了针对帧间图像预测应用运动补偿之外,还可以将类似的方法应用于帧内图像预测。在这种情况下,位移向量指示可以从同一图像中的何处复制样本块,以形成将要被编码或解码的块的预测。当帧内存在重复结构(诸如文本或其他图形)时,这种帧内块复制方法可以显著提高编码效率。
可以首先用变换内核(如DCT)来对运动补偿或帧内预测之后的预测残差进行变换,然后对其进行编码。这样做的原因是残差之间通常仍然存在一些相关性,并且在许多情况下,变换可以帮助减少这种相关性并提供更有效的编码。
视频编码器可以利用拉格朗日成本函数来找到最佳编码模式,例如,期望的宏块模式和相关联的运动向量。这种成本函数使用加权因子λ将由于有损编码方法而导致的(精确的或估计的)图像失真与表示图像区域中的像素值所需的(精确的或估计的)信息量联系在一起:
C=D+λR (公式1)
其中,C是要最小化的拉格朗日成本,D是考虑模式和运动向量的情况下的图像失真(例如,均方误差),R是表示在解码器中重新构建图像块所需数据所需的比特数(包括表示候选运动向量的数据量)。
可缩放视频编码是指这样的编码结构:其中一个比特流可以包含内容的在不同的比特率、分辨率或帧速率下的多个表示。在这些情况下,接收器可以根据其特性(例如,与显示设备最匹配的分辨率)提取所期望的表示。可替代地,服务器或网络单元可以根据例如接收器的网络特性或处理能力提取要被发送到接收器的比特流的部分。可缩放比特流可以包括提供可用最低质量视频的“基础层”以及一个或多个增强层,这些增强层在与更低层一起接收和解码时增强视频质量。为了提高增强层的编码效率,该层的编码表示通常取决于更低层。例如,可以根据更低层预测增强层的运动和模式信息。类似地,更低层的像素数据可用于创建增强层的预测。
可以按照下面的方式实现用于实现质量可缩放性(也被称为信噪比或SNR)和/或空间可缩放性的可缩放视频编解码器。对于基础层,使用常规的不可缩放视频编码器和解码器。基础层的重新构建/解码图像被包括在用于增强层的参考图像缓冲器中。在使用参考图像列表进行帧间预测的H.264/AVC、HEVC和类似编解码器中,类似于增强层的解码参考图像,基础层解码图像可以被插入到参考图像列表中,以用于对增强层图像进行编码/解码。因此,编码器可以选择基础层参考图像作为帧间预测参考,并且例如通过编码比特流中的参考图像索引指示其使用。解码器从比特流(例如,从参考图像索引)解码基础层图像被用作增强层的帧间预测参考。当解码基础层图像被用作用于增强层的预测参考时,其被称为层间参考图像。
除了质量可缩放性之外,还存在以下可缩放性模式:
·空间可缩放性:基础层图像以低于增强层图像的分辨率进行编码。
·位深可缩放性:基础层图像以低于增强层图像的位深(例如,10或12比特)的位深(例如,8比特)进行编码。
·色度格式可缩放性:增强层图像在色度方面(例如,以4:4:4色度格式编码)提供比基础层图像(例如,4:2:0格式)更高的保真度。
在所有上述可缩放性情况下,基础层信息可以被用于对增强层进行编码,以最小化额外的比特率开销。
可以通过两种基本方式实现可缩放性。通过引入新的编码模式来执行根据可缩放表示的更低层预测像素值或语法,或者通过将更低层图像放置到更高层的参考图像缓冲器(解码图像缓冲器DPB)中。第一种方法更加灵活,并因此在大多数情况下可以提供更好的编码效率。然而,第二种基于参考帧的可缩放性方法可以通过对单层编解码器进行最少更改的方式非常有效地实现,同时仍可实现大部分可用的编码效率增益。本质上,可以通过对所有层使用相同的硬件或软件实现来实现基于参考帧的可缩放性编解码器,仅通过外部部件来关注DPB管理。
为了能够利用并行处理,图像可以被划分成可独立编码和解码的图像片段(切片或图块)。本说明书中的“切片”可以指由以默认编码或解码顺序处理的一定数量的基本编码单元构成的图像片段,而“图块”可以指已被定义为矩形图像区域的图像片段,这些矩形图像区域至少在某种程度上被处理为单独的帧。
在现代视频和图像编解码器中,预测误差可以被变换到频域中并被量化到所需的精度。例如,可以使用离散余弦变换(DCT)或离散正弦变换(DST)系列中的变换模式来实现此变换。在视频或图像解码器中,对所接收到的变换系数进行逆量化,并且将所选择的变换的逆应用于这些逆量化的变换系数,以在空间或样本域中恢复预测误差信号。可以在比特流中分别针对水平和垂直方向指示所选择的变换或逆变换。然而,这可能会导致信令发送所选择的变换所需的比特数量增加,并且会增加编码器侧评估不同变换备选方案的有效性的负担。
H.265/HEVC视频编码标准定义了在预测误差编码中使用的两种不同类型的变换。DST变换用于4x4帧内预测亮度块,而DCT变换用于其余的块。H.265还定义了一种“变换跳过(transform skip)”模式,其中,样本值不会被变换到频域,而是作为量化样本值被发送。
通用视频编码(VVC)测试模型编号2(VTM-2)定义了一种用于在DCT-2、DCT-8和DST-7变换模式的不同组合之间进行选择的机制。编码器可以针对水平方向和垂直方向选择使用DCT-2,或者可替代地针对不同方向选择DCT-8和DST-7变换的组合。该选择在比特流中指示,并且预期解码器执行匹配的逆变换以恢复预测误差信号。
联合研究测试模型6(JEM-6)定义了一种用于“模式相关的不可分离变换”编码的机制,其中,根据帧内预测模式为变换块选择不同的变换基础函数。类似地,“自适应多核变换”定义了一种基于帧内预测方向来选择用于水平和垂直方向的不同变换对的机制。
本发明实施例提供一种用于基于块的形状来为变换块选择表现良好的变换的方法。根据该方法工作的视频或图像解码器针对水平和垂直方向具有两个替代变换。一个变换的特征在于其第一基础函数的第一系数更小,而另一变换的特征在于其第一基础函数的第一系数更大。例如可以使用(DST-7、DCT-2)对来定义这样的一对变换。解码器还被配置为针对变换块的更小尺寸的方向,选择第一基础函数的第一系数更小的变换,以及针对变换块的更大尺寸的方向,选择第一基础函数的第一系数更大的变换。
根据实施例的方法包括以下步骤,如图3中所示:
1.确定310变换块的编码模式;
2.确定320所述变换块的形状,例如,通过比较所述变换块的宽度和高度;
3.至少部分地基于所述变换块的所述形状和模式,确定330水平变换;
4.至少部分地基于所述变换块的所述形状和模式,确定340垂直变换;
5.将所述水平和垂直变换应用350于一组变换系数,以产生剩余样本值;
6.将所述剩余样本值添加360到预测样本值块中。
该方法可以由视频或图像解码器/编码器来执行。
上述方法可以采用不同的方式来实现。例如,可以改变操作的顺序,或者可以采用不同的方式使操作相互交织。另外,可以在处理的不同阶段中应用不同的附加操作。例如,在将剩余样本值添加到预测样本值之前,可以对剩余样本值进行附加的滤波或其他处理。
确定变换块的编码模式可包括确定变换块所属的编码单元或预测单元是帧间预测还是帧内预测的。还可以包括确定变换块属于帧内切片还是帧间切片。附加地或可替代地,还可以包括确定变换的模式。例如,可以在比特流中利用标志来信令发送变换块正针对该块使用默认变换。在使用默认变换模式的情况下,可以调用本文描述的形状自适应变换选择过程。在图4中示出了这种示例。
图4示出了当使用用于默认变换的信令并且当默认变换使用形状自适应变换选择时的编码过程的示例。首先,确定410是否使用了默认变换。如果否,则信令发送420水平和垂直变换。另一方面,如果使用了默认变换模式,则确定变换块是否为正方形430。如果是,则针对水平和垂直方向两者使用440相同的变换。如果否,则针对水平和垂直方向使用450不同的变换。
在未指示默认变换模式的情况下,可以存在单独的信令,从而确定在水平方向上应用哪个变换,以及在垂直方向上应用哪个变换。这已在图5中进行了说明。在图5中,形状自适应变换过程在DST-7和DCT-2之间选择一个变换,而变换的显式信令被用于在DST-7和DCT-8变换之间进行选择。首先,确定510是否使用了默认变换。如果否,则信令发送520水平变换是DST-7或DCT-8或一些其他变换,以及信令发送530垂直变换是DST-7或DCT-8或一些其他变换。另一方面,如果使用了默认变换模式,则确定变换块是否为正方形540。如果是,则针对水平和垂直方向两者使用550相同的变换,例如,DCT-2。如果否,则针对水平和垂直方向使用560不同的变换,例如,针对更短边方向使用DST-7,针对另一方向使用DCT-2。
可以采用不同的方式来确定块的形状。例如,可以包括将块归类为三个类别之一,另如图6中所示:a)正方形(块的宽度W与块的高度H相同),b)宽(块的宽度W大于高度H),以及c)窄(块的高度H大于宽度W)。应当理解,还可以定义其他类别。例如,可以存在针对块的单独的类别:块的宽度是高度的两倍,以及块的宽度是高度的两倍以上。
类似地,可以存在针对块的单独的类别:块的高度是宽度的两倍,以及块的高度是宽度的两倍以上。
在实施例中,执行形状自适应变换选择以在两个变换之间进行选择:以其第一基础函数的第一系数更小为特征的第一变换,以及以其第一基础函数的第一系数更大为特征的变换。例如可以使用包括(DST-7、DCT-2)对的变换模式来定义这样的一对变换。在实施例中,解码器进一步被配置为针对变换块的更小尺寸的方向,选择第一基础函数的第一系数更小的变换(DST-7),以及针对变换块的更大尺寸的方向,选择第一基础函数的第一系数更大的变换(DCT-2)。
根据图7中所示的实施例,形状自适应变换过程在DST-7和DCT-2之间选择一个变换模式。针对变换块的更短方向,选择DST-7变换,针对变换块的更长方向,或者如果变换块是正方形的,则选择DCT-2。因此,在此实施例中,如果变换块是正方形的,则针对水平和垂直方向两者使用DCT-2(图7a)。如果块的宽度大于高度,如图7b中所示,则针对水平方向使用DCT-2,而针对垂直方向使用DST-7。如果块的高度大于宽度,如图7c中所示,则针对垂直方向使用DCT-2,而针对水平方向使用DST-7。
在不同的实施例中可以使用不同种类的变换或不同变换组。在一个实施例中,使用DCT-2和DST-7变换。在另一个实施例中,使用DCT-2、DST-7和DCT-8变换(例如,如在VVC标准的工作草案2中所定义的)。如果存在可从中选择的两个以上的变换,则可以针对可在比特流中指示的一些或全部变换模式使能形状适应性。例如,可以根据如在以下伪代码中定义的MTS_CU_flag(用于编码单位标志的多个变换选择)来使能形状自适应变换选择:
可以使用不同的条件以使能形状自适应变换选择过程。在以上示例中,使用了编码模式(帧间或帧内)。其他示例包括确定当前切片是帧内编码的还是组合了不同条件。例如,该条件可以包含确定块的帧内预测模式,以及针对预测模式或预测方向和形状的某些组合使能形状自适应变换选择。
在实施例中,块的形状用于为某些变换赋予优先级(或针对相关语法元素的更短的二值化,或针对上下文自适应算术编码的不同的上下文)。例如,如果编解码器被配置为针对水平和垂直方向在DCT-2、DST-7和DCT-8变换之间进行选择,则针对用于块的更短尺寸的DST-7,使用更短的二值化码字。也就是说,用于选择DST-7(针对宽度大于高度的块的垂直方向)的二值化码字可以是0,而用于DCT-2和DCT-8的二值化码字可以分别是10和11(或11和10)。对于同一块,用于水平变换的二值化码字可以是0(针对DCT-2),而DST-7和DCT-8可以分别具有二值化码字10和11。类似地,作为用于不同变换选择的码字的二值化的替代或补充,可以配置用于语法元素的上下文自适应算术编码的上下文和初始概率选择,以提供特定变换的自适应性或优先级。
在存在与变换的选择有关的信令的情况下(例如,如果存在MTS_CU_flag并且通过显式附加信令指示变换选择),该信令可以被调整到变换块的最后一个非零系数在所选择的扫描顺序中的位置。附加地或可替代地,可以在编码器中变换系数编码之前和解码器中变换系数解码之前,完成水平和垂直变换的显式信令。与针对VTM-2而定义的信令(其中,变换的显式信令发生在变换系数编码和解码之后,并且根据变换块中有效系数的数量)不同,所提出的将信令调整到最后一个活动变换系数的位置的方法允许基于所选择的变换来调适系数编码和解码过程。
根据实施例,在变换系数解码之前,针对水平和垂直方向执行变换类型的显式或隐式信令。
根据实施例,在变换系数解码之前,针对水平和垂直方向执行变换类型的显式或隐式信令,并且基于所确定的变换的类型来调适变换系数解码。
根据实施例,如果最后一个非零变换系数的扫描位置大于预定义阈值,则针对水平和垂直方向执行变换类型的显式或隐式信令。
根据实施例,使用以下系数来定义用于DCT-2、DCT-8和DST-7的8点变换矩阵:
DCT-2:
DCT-8:
DST-7:
在实施例中,使用以下系数来定义用于DCT-2、DCT-8和DST-7的4点变换矩阵:
DCT-2:
DCT-8:
DST-7:
图8是示出了根据实施例的方法的流程图。一种方法,包括:确定变换块的编码模式810,其中,变换块包括一组变换系数;确定变换块的形状820;至少部分地基于变换块的所述编码模式和所述形状,确定用于块的至少一个变换模式830;将所确定的变换模式应用于一组变换系数以产生样本值840;以及将所述样本值添加到预测样本值块中850。
根据实施例的装置包括部件。该部件包括至少一个处理器和存储有计算机程序代码的存储器,其中,处理器可以进一步包括处理器电路。存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置执行根据各种实施例的图8中的方法。
在图9中示出了用于装置的数据处理系统的示例。可以用单个物理设备来执行若干功能,例如,如果需要,则所有计算过程可以在单个处理器中执行。数据处理系统包括经由数据总线112彼此连接的主处理单元100、存储器102、存储设备104、输入设备106、输出设备108、以及图形子系统110。
主处理单元100是常规的处理单元,被设置为在数据处理系统内处理数据。主处理单元100可以包括或被实现为一个或多个处理器或处理器电路。存储器102、存储设备104、输入设备106和输出设备108可以包括本领域技术人员所公知的常规组件。存储器102和存储设备104将数据存储在数据处理系统100中。
计算机程序代码驻留在存储器102中,以用于例如实现根据图8中的流程图的方法。输入设备106将数据输入到系统中,而输出设备108从数据处理系统接收数据,并将数据转发到例如显示器。数据总线112是常规的数据总线,并且虽然被示出为单线,但是它可以是以下中的任意组合:处理器总线、PCI总线、图形总线、ISA总线。因此,技术人员容易认识到该装置可以是任何数据处理设备,诸如计算机设备、个人计算机、服务器计算机、移动电话、智能电话、或因特网访问设备,例如因特网平板计算机。
各种实施例可以借助于驻留在存储器中并使相关装置执行方法的计算机程序代码来实现。例如,设备可以包括用于处理、接收和发送存储器中的数据、计算机程序代码的电路和电子器件,以及当运行该计算机程序代码时使该设备执行实施例的特征的处理器。此外,如服务器之类的网络设备可以包括用于处理、接收和发送存储器中的数据、计算机程序代码的电路和电子器件,以及当运行该计算机程序代码时使该网络设备执行实施例的特征的处理器。计算机程序代码包括一个或多个可操作特性。所述可操作特性通过由所述计算机基于所述处理器的类型而进行的配置来定义,其中,系统可通过总线连接到所述处理器,其中,该系统的可编程操作特性包括:确定变换块的编码模式,其中,变换块包括一组变换系数;确定变换块的形状;至少部分地基于变换块的所述编码模式和所述形状,确定用于块的至少一个变换模式;将所确定的变换模式应用于以产生样本值;以及将所述样本值添加到预测样本值块中。
计算机程序代码可以是体现在非暂时性计算机可读介质上的计算机程序产品的一部分。可替代地,计算机程序产品可经由通信网络下载。
如果需要,在本文中讨论的不同功能可以采用不同顺序执行和/或与其他功能同时执行。此外,如果需要,上述功能和实施例中的一个或多个可以是可选的,也可以进行组合。
虽然在独立权利要求中阐述了实施例的各个方面,但是其他方面包括所描述的实施例和/或从属权利要求中的特征与独立权利要求的特征的其他组合,并且不仅仅是在权利要求中明确阐述的组合。
在此还应当注意,虽然以上描述了示例性实施例,但是这些描述不应被视为具有限制性意义。而是存在可以在不背离在所附权利要求中限定的本公开的范围的情况下而进行的多种变型和修改。

Claims (13)

1.一种方法,包括:
- 确定变换块的编码模式,其中,变换块包括一组变换系数;
- 针对所述一组变换系数确定扫描顺序;
- 确定所述变换块的最后一个非零系数在所选择的扫描顺序中的位置;
- 确定所述变换块的颜色分量;
- 基于将要被应用的变换模式的显式比特流信令来确定所述变换模式,
其中,将要被应用的所述变换模式的显式比特流信令被调整到所述变换块的所述最后一个非零系数在所选择的扫描顺序中的位置,
其中,响应于最后一个非零变换系数的扫描位置大于预定义阈值,并响应于所述变换块的所述颜色分量包括亮度分量,执行将要被应用的所述变换模式的显式比特流信令,
其中,将要被应用的所述变换模式的显式比特流信令包括将要沿着多个亮度变换块的水平方向和沿着所述多个亮度变换块的垂直方向应用的至少一个变换内核的指定;以及
- 将所确定的变换模式应用于所述一组变换系数以产生剩余样本值。
2.根据权利要求1所述的方法,其中,所述显式比特流信令包括多个变换选择(MTS)标志,所述多个变换选择标志被配置为用于指定将要沿着所述多个亮度变换块的所述水平方向和沿着所述多个亮度变换块的所述垂直方向应用的所述至少一个变换内核。
3.根据权利要求1所述的方法,其中,在对所述一组变换系数进行编码或解码之前,执行将要被应用的所述变换模式的显式比特流信令。
4.根据权利要求3所述的方法,其中,至少部分地基于被信令发送的变换模式,执行所述一组变换系数的编码或解码。
5.根据前述权利要求1至4中任一项所述的方法,其中,所述变换模式包括离散余弦变换(DCT)或离散正弦变换(DST)。
6.根据前述权利要求1至4中任一项所述的方法,其中,确定变换模式包括比较所述变换块的宽度和高度。
7.一种装置,包括:
- 用于确定变换块的编码模式的部件,其中,变换块包括一组变换系数;
- 用于针对所述一组变换系数确定扫描顺序的部件;
- 用于确定所述变换块的最后一个非零系数在所选择的扫描顺序中的位置的部件;
- 用于确定所述变换块的颜色分量的部件;
- 用于基于将要被应用的变换模式的显式比特流信令来确定所述变换模式的部件,
其中,将要被应用的所述变换模式的显式比特流信令被调整到所述变换块的所述最后一个非零系数在所选择的扫描顺序中的位置,
其中,响应于最后一个非零变换系数的扫描位置大于预定义阈值,并响应于所述变换块的所述颜色分量包括亮度分量,执行将要被应用的所述变换模式的显式比特流信令,
其中,将要被应用的所述变换模式的显式比特流信令包括将要沿着多个亮度变换块的水平方向和沿着所述多个亮度变换块的垂直方向应用的至少一个变换内核的指定;以及
- 用于将所确定的变换模式应用于所述一组变换系数以产生剩余样本值的部件。
8.根据权利要求7所述的装置,其中,所述显式比特流信令包括多个变换选择(MTS)标志,所述多个变换选择标志被配置为用于指定将要沿着所述多个亮度变换块的所述水平方向和沿着所述多个亮度变换块的所述垂直方向应用的所述至少一个变换内核。
9.根据权利要求7所述的装置,其中,在对所述一组变换系数进行编码或解码之前,执行将要被应用的所述变换模式的显式比特流信令。
10.根据权利要求9所述的装置,其中,所述装置还包括:
用于至少部分地基于被信令发送的变换模式来执行变换系数的编码或解码的部件。
11.根据前述权利要求7至10中任一项所述的装置,其中,所述变换模式包括离散余弦变换(DCT)或离散正弦变换(DST)。
12.根据前述权利要求7至10中任一项所述的装置,其中,所述装置还包括:
用于基于比较所述变换块的宽度和高度来确定变换模式的部件。
13.一种非暂时性计算机可读存储介质,在其中存储有计算机可执行程序代码指令,所述计算机可执行程序代码指令包括程序代码指令,所述程序代码指令被配置为在执行时:
确定变换块的编码模式,其中,变换块包括一组变换系数;
针对所述一组变换系数确定扫描顺序;
确定所述变换块的最后一个非零系数在所选择的扫描顺序中的位置;
确定所述变换块的颜色分量;
基于将要被应用的变换模式的显式比特流信令来确定所述变换模式,
其中,将要被应用的所述变换模式的显式比特流信令被调整到所述变换块的所述最后一个非零系数在所选择的扫描顺序中的位置,
其中,响应于最后一个非零变换系数的扫描位置大于预定义阈值,并响应于所述变换块的所述颜色分量包括亮度分量,执行将要被应用的所述变换模式的显式比特流信令,
其中,将要被应用的所述变换模式的显式比特流信令包括将要沿着多个亮度变换块的水平方向和沿着所述多个亮度变换块的垂直方向应用的至少一个变换内核的指定;以及
将所确定的变换模式应用于所述一组变换系数以产生剩余样本值。
CN201980069109.1A 2018-09-20 2019-09-13 用于数字图像/视频材料的编码和解码的方法和装置 Active CN112889280B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20185782 2018-09-20
FI20185782 2018-09-20
PCT/FI2019/050656 WO2020058568A1 (en) 2018-09-20 2019-09-13 A method and an apparatus for encoding and decoding of digital image/video material

Publications (2)

Publication Number Publication Date
CN112889280A CN112889280A (zh) 2021-06-01
CN112889280B true CN112889280B (zh) 2023-09-26

Family

ID=69888422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069109.1A Active CN112889280B (zh) 2018-09-20 2019-09-13 用于数字图像/视频材料的编码和解码的方法和装置

Country Status (9)

Country Link
US (1) US20220038702A1 (zh)
EP (1) EP3854081A4 (zh)
KR (1) KR102507024B1 (zh)
CN (1) CN112889280B (zh)
BR (1) BR112021005238A2 (zh)
MX (1) MX2021003205A (zh)
PH (1) PH12021550614A1 (zh)
WO (1) WO2020058568A1 (zh)
ZA (1) ZA202102521B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740703B (zh) * 2019-03-03 2022-05-24 华为技术有限公司 编码器、解码器和用于变换处理的对应方法
US11785254B2 (en) 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999460A (zh) * 2011-11-07 2014-08-20 高通股份有限公司 在变换跳过模式中译码有效系数信息
CN104469384A (zh) * 2013-09-19 2015-03-25 黑莓有限公司 基于帧内预测模式对变换系数块进行转置
WO2017138791A1 (ko) * 2016-02-12 2017-08-17 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017222334A1 (ko) * 2016-06-24 2017-12-28 한국전자통신연구원 변환 기반의 영상 부호화/복호화 방법 및 장치
WO2018044088A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US9641846B2 (en) * 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding
WO2013154366A1 (ko) * 2012-04-12 2013-10-17 주식회사 팬택 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
CA2998468C (en) 2015-12-23 2021-02-16 Huawei Technologies Co., Ltd. Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10440394B2 (en) * 2016-09-08 2019-10-08 Google Llc Context adaptive scan order for entropy coding
KR102534160B1 (ko) * 2018-09-02 2023-05-26 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999460A (zh) * 2011-11-07 2014-08-20 高通股份有限公司 在变换跳过模式中译码有效系数信息
CN104469384A (zh) * 2013-09-19 2015-03-25 黑莓有限公司 基于帧内预测模式对变换系数块进行转置
WO2017138791A1 (ko) * 2016-02-12 2017-08-17 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017222334A1 (ko) * 2016-06-24 2017-12-28 한국전자통신연구원 변환 기반의 영상 부호화/복호화 방법 및 장치
WO2018044088A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
US20220038702A1 (en) 2022-02-03
EP3854081A4 (en) 2022-07-06
BR112021005238A2 (pt) 2021-06-15
MX2021003205A (es) 2021-05-27
WO2020058568A1 (en) 2020-03-26
EP3854081A1 (en) 2021-07-28
KR102507024B1 (ko) 2023-03-06
ZA202102521B (en) 2024-01-31
CN112889280A (zh) 2021-06-01
PH12021550614A1 (en) 2021-10-04
KR20210059768A (ko) 2021-05-25

Similar Documents

Publication Publication Date Title
CN106464877B (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN108028940B (zh) 调色板模式视频译码中转义像素信号值的限制
CN105144718B (zh) 当跳过变换时用于有损译码的帧内预测模式
CN106105207B (zh) 用于编码/解码视频数据的方法和设备
CN108632628B (zh) 推导参考预测模式值的方法
CN112235572B (zh) 视频解码方法和装置以及计算机设备和存储介质
US20140198846A1 (en) Device and method for scalable coding of video information
KR102301450B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
US9584808B2 (en) Device and method for scalable coding of video information
US11368716B2 (en) Image encoding device, image decoding device and program
JP2018530968A (ja) 空間イントラ予測のためのヘルパーデータを用いたビデオ符号化
WO2015194185A1 (en) Efficient palette coding for screen content codings
US11432013B2 (en) Video signal processing method and apparatus using multiple transform kernel
US20150312568A1 (en) Method and technical equipment for video encoding and decoding
GB2509998A (en) Providing a prediction mode for image encoding based on a first set of most probable modes (MPMs) and a selected second, restricted number of prediction modes
CN112889280B (zh) 用于数字图像/视频材料的编码和解码的方法和装置
JP2024506156A (ja) ビデオ符号化のための残差および係数の符号化
US11979554B2 (en) Intra prediction-based video signal processing method and device
US20210377519A1 (en) Intra prediction-based video signal processing method and device
WO2020002762A1 (en) Method and apparatus for motion compensation with non-square sub-blocks in video coding
WO2023242466A1 (en) A method, an apparatus and a computer program product for video coding
CN116982312A (zh) 视频编解码方法与系统、及视频编解码器
KR20220048478A (ko) Bdpcm이 적용되는 부호화 블록에 이용되는 레지듀얼 코딩 방법을 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN116965020A (zh) 视频编解码方法与系统、及视频编解码器
CN116962684A (zh) 视频编解码方法与系统、及视频编码器与视频解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055509

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant