CN110636313A - 变换、二次变换矩阵训练方法、编码器及相关装置 - Google Patents

变换、二次变换矩阵训练方法、编码器及相关装置 Download PDF

Info

Publication number
CN110636313A
CN110636313A CN201910883004.1A CN201910883004A CN110636313A CN 110636313 A CN110636313 A CN 110636313A CN 201910883004 A CN201910883004 A CN 201910883004A CN 110636313 A CN110636313 A CN 110636313A
Authority
CN
China
Prior art keywords
transformation
pair
transform
candidate
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910883004.1A
Other languages
English (en)
Other versions
CN110636313B (zh
Inventor
江东
林聚财
殷俊
曾飞洋
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910883004.1A priority Critical patent/CN110636313B/zh
Publication of CN110636313A publication Critical patent/CN110636313A/zh
Application granted granted Critical
Publication of CN110636313B publication Critical patent/CN110636313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种变换、二次变换矩阵训练方法、编码器及相关装置，该变换方法包括利用当前残差块的属性获取当前主变换对；若当前主变换对不属于指定主变换对，则将多个第一候选变换组合中的当前主变换对修改为至少一组指定主变换对，其中每个第一候选变换组合包括当前主变换对和二次变换矩阵，指定主变换对用于训练二次变换矩阵；基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换组合。通过上述方式，本申请能够提升残差块能量的集中度，从而提升编码的压缩率。

Description

变换、二次变换矩阵训练方法、编码器及相关装置
技术领域
本申请涉及视频编解码技术领域，特别是涉及变换、二次变换矩阵训练方法、编码器及相关装置。
背景技术
由于视频图像数据量比较大，通常需要对其进行编码压缩后，再进行传输或存储，编码后的数据称之为视频码流。受硬件和其他条件限制，如存储空间有限、传输带宽有限等，编码器总是希望能让视频码流尽量小。
整个视频编码流程包括预测、变换、量化、编码等过程。变换极大的利用数据的空间相关性，采用数学变换的方法，使得用很少的离散信号就能表示大量的时域连续信号，即将能量集中在低频区域。变换包括主变换和二次变换，可以是将预测后得到的残差经过主变换后，直接将主变换系数进行量化；也可以是主变换后再将主变换系数进行二次变换，最后将二次变换系数通过量化进行数据压缩。
主变换是可分离变换，即对行和列分别进行变换操作。目前多采用多种变换核心(Multiple Transform Selection，简称MTS)。MTS分为显式MTS(Explicit MTS)和隐式MTS(Implicit MTS)，显式MTS和隐式MTS包括多种变换对类型。二次变换是在主变换之后，对频域信号(主变换系数)进行第二次变换，将信号从一个变换域转换到另一个变换域，进一步提升变换效率。目前常用低频不可分离二次变换(Low-Frequency Non-separableSecondary Transform，LFNST)。本申请的发明人在长期的研发过程中，发现目前LFNST技术没有区分Explicit MTS和Implicit MTS两种情况，而Explicit MTS和Implicit MTS的主变换对类型存在差异，容易出现主变换对类型和LFNST矩阵不适配的情况，一定程度影响了编码的性能。
发明内容
本申请主要解决的技术问题是提供一种变换、二次变换矩阵训练方法、编码器及相关装置，能够提升残差块能量的集中度，从而提升编码的压缩率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种变换方法，该变换方法包括利用当前残差块的属性获取当前主变换对；若当前主变换对不属于指定主变换对，则将多个第一候选变换组合中的当前主变换对修改为至少一组指定主变换对，其中每个第一候选变换组合包括当前主变换对和二次变换矩阵，指定主变换对用于训练二次变换矩阵；基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换组合。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种二次变换矩阵训练方法，该二次变换矩阵训练方法包括将至少两个变换基进行组合以得到多个主变换对，每个主变换对包括两个变换基，多个主变换对包括主变换选择过程使用的所有主变换对；利用所有主变换对对多个残差块样本进行变换得到多个主变换系数；利用多个主变换系数训练得到二次变换矩阵。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种变换方法，该变换方法包括利用当前残差块的属性获取当前主变换对；基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换变换组合，其中每个第一候选变换组合包括当前主变换对和二次变换矩阵，二次变换矩阵是利用上述任一种二次变换矩阵的训练方法训练得到的。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种编码器，该编码器包括处理器，处理器用于执行指令以实现上述的任一种变换方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机设备，该计算机设备包括处理器，处理器用于执行指令以实现上述的二次变换矩阵训练方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储装置，存储有指令，所述指令被执行时实现上述的任一种变换方法或二次矩阵训练方法。
本申请的有益效果是：区别于现有技术的情况，本申请所提供的变换方法，在进行二次变换时，对二次变换矩阵的适用性进行了验证，当出现主变换对与二次变换矩阵不适配时，对当前主变换对进行修改，修改成可适配二次变换矩阵的主变换对的一种。能够提升当前残差块能量的集中度，从而提升编码的压缩率。降低视频数据的传输带宽和视频数据的存储资源。
附图说明
图1是本申请一实施方式中变换方法的流程示意图；
图2是本申请另一实施方式中变换方法的流程示意图；
图3是本申请再一实施方式中变换方法的流程示意图；
图4是本申请一实施方式中二次变换矩阵训练方法的流程示意图；
图5是本申请又一实施方式中变换方法的流程示意图；
图6是本申请一实施方式中变换装置的结构示意图；
图7是本申请一实施方式中二次变换矩阵训练装置的结构示意图；
图8是本申请另一实施方式中变换装置的结构示意图；
图9为本申请一实施方式中编码器的结构示意图；
图10为本申请一实施方式中计算机设备的结构示意图；
图11为本申请一实施方式中存储装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。
本申请提供一种变换方法，适用于视频编码领域，用于对帧内预测后的残差进行变换。请参阅图1，图1是本申请一实施方式中变换方法的流程示意图。在该实施方式中，变换方法包括如下步骤：
S110：利用当前残差块的属性获取当前主变换对。
当前残差块是当前块进行帧内预测得到的残差块。当前块是指当前要进行编码的块，可以被简称为当前块。在某些场合，当前块可以被称为编码单元(coding unit，CU)。
主变换是可分离变换，即对行和列分别进行变换操作。行和列分别有各自对应的变换核，变换核是在变换基中选出的变换类型，变换基是变换时可用的变换类型，不同的变换方法可有不同的变换基。行和列的变换核组成主变换对，即主变换对包含一组两个变换核，一个对应行变换类型和一个对应列变换类型。
可利用当前残差块的属性获取当前残差块的当前主变换对，当前残差块的属性可以是当前残差块的尺寸、纹理特性、预测模式等，在此不做限定。
利用当前主变换对对应的变换类型对当前残差块进行变换，得主变换系数。其中，可先进行行变换，再进行列变换。在其他实施方式中，也可以先进行列变换，再进行行变换，在此不作限定。
S120：若当前主变换对不属于指定主变换对，则将多个第一候选变换组合中的当前主变换对修改为至少一组指定主变换对。
主变换后可进行二次变换，二次变换是在主变换之后，对频域信号(主变换系数)进行第二次变换，将信号从一个变换域转换到另一个变换域，以进一步提升变换效率。
可利用二次变换矩阵对主变换系数进行二次变换。二次变换矩阵是利用多个不同主变换系数作为训练样本进行训练得来的，训练用的主变换系数是利用指定主变换对对多个残差块样本进行变换得到的。
二次变换时，二次变换矩阵可以有一种或多种，同一主变换系数，利用不同的二次变换矩阵，可得到不同的二次变换系数。因此，不同的主变换对(主变换系数)与不同的二次变换矩阵组合可得到多种变换组合(第一候选变换组合)，即每个第一候选变换组合包括主变换对和二次变换矩阵。
其中，因为二次变换矩阵是利用指定主变换对训练得到的，当所得当前主变换对不是指定主变换对时，当前主变换对和二次变换矩阵可能存在不适配的情况，即该二次变换矩阵并不适用于该当前主变换对。此时，可对所得当前主变换对进行修改，将当前主变换对修改成指定主变换对的一种，再进行二次变换，以适配二次变换矩阵。
在一实施方式中，修改后的当前主变换对与修改前的当前主变换对中的一个变换核相同。即在需要对当前主变换对进行修改时，可以只对当前主变换对中的一个变换核进行修改，以使修改后的当前主变换对与修改前的当前主变换对差异较小。
在一实施方式中，可以是将当前主变换对中的一个变换核修改成与另一变换核一样，即修改后的当前主变换对中两个变换核相同。在其他实施方式中，也可以根据指定主变换对中的变换类型进行修改，在此不作限定。
S130：基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换组合。
其中，二次变换时，不同的主变换对与不同的二次变换矩阵组合可得到多种第一候选变换组合。另外，也可以不对主变换系数进行二次变换，而是直接对主变换系数进行量化。当只进行主变换，不进行二次变换时，对应不同的主变换对可得到多种变换组合(第二候选变换组合)。在获得主变换对后，可遍历所有候选变换组合(包括第一候选变换组合和第二候选变换组合)，获取对应的变换代价，选取变换代价最小的变换组合作为最终变换组合。即，由变换代价决定最后是否选用二次变换，选用哪种二次变换矩阵进行二次变换。
该实施方式中，在进行二次变换时，对二次变换矩阵的适用性进行了验证，当出现主变换对与二次变换矩阵不适配时，对当前主变换对进行修改，修改成可适配二次变换矩阵的主变换对的一种。能够提升当前残差块能量的集中度，从而提升编码的压缩率。降低视频数据的传输带宽和视频数据的存储资源。
在一实施方式中，若发现当前主变换对不属于指定主变换对时，可以是直接对当前主变换对进行修改，再利用修改后的主变换对获取当前残差块的候选变换组合，候选变换组合包括只进行主变换的第二候选变换组合，和多个对应不同二次变换矩阵的需进行二次变换的第一候选变换组合。此时，所得第二候选变换组合中仅包括修改后的当前主变换对，所得第一候选变换组合包括修改后的当前主变换对和二次变换矩阵。遍历所有候选变换组合(包括第一候选变换组合和第二候选变换组合)，选取变换代价最小的变换组合作为当前残差块的最终变换组合。
在一实施方式中，若发现当前主变换对不属于指定主变换对时，可以利用修改前的当前主变换对获取第二候选变换组合，此时，所得第二候选变换组合中仅包括修改前的当前主变换对。在不进行二次变换时，不存在主变换对于二次变换矩阵不适配的问题。利用修改之前的主变换对获取第二候选变换组合，不改变原主变换过程，可使所得变换代价更准确。对当前主变换对进行修改，利用修改后的当前主变换对获取第一候选变换组合，得到多个对应不同二次变换矩阵的需进行二次变换的第一候选变换组合，所得第一候选变换组合包括修改后的当前主变换对和二次变换矩阵。遍历所有候选变换组合(包括第一候选变换组合和第二候选变换组合)，选取变换代价最小的变换组合作为最终变换组合。
下面以二次变换矩阵包括第一二次变换矩阵、第二二次变换矩阵，第一二次变换矩阵、第二二次变换矩阵是利用第一指定主变换对、第二指定主变换对训练而来的为例对本申请提供的变换方法进行说明，但不限于此，还可以包含更多个的二次变换矩阵、指定主变换对。
请参阅图2，图2是本申请另一实施方式中变换方法的流程示意图。该实施方式中，变换方法包括如下步骤：
S210：利用当前残差块的尺寸获取当前主变换对。
其中，利用当前残差块的尺寸可唯一确定当前主变换对。当前残差块的尺寸与当前块的尺寸相同。如，可预先建立残差块尺寸与变换核/主变换对的映射关系，通过映射关系获取对应的主变换对。或者设定变换核/主变换对的使用条件，通过判断适用条件获取对应的主变换对。
S220：判断当前主变换对是否属于指定主变换对。
S230：当判定当前主变换对不属于指定主变换对时，将当前主变换对修改成第一指定主变换对或第二指定主变换对。
S240：利用修改后的当前主变换对获取候选变换组合。
当将当前主变换对修改成第一指定主变换对时，可得两个第一候选变换组合和一个第二候选变换组合。第一候选变换组合是需要进行二次变换的方式，第二候选变换组合是不需要进行二次变换的方式。第一候选变换组合1包括第一指定主变换对和第一二次变换矩阵；第一候选变换组合2包括第一指定主变换对和第二二次变换矩阵；第二候选变换组合1仅包括第一指定主变换对，即第二候选变换组合仅包括修改后的当前主变换对。
当将当前主变换对修改成第二指定主变换对时，也可得两个第一候选变换组合和一个第二候选变换组合。第一候选变换组合3包括第二指定主变换对和第一二次变换矩阵；第一候选变换组合4包括第二指定主变换对和第二二次变换矩阵；第二候选变换组合2仅包括第二指定主变换对。
S250：基于变换代价最小的原则从多个候选变换组合中选出最终变换组合。
分别利用S240步骤中得到的每个候选变换组合对当前残差块进行变换得到变换结果；分别计算每个变换结果的变换代价；选择变换代价最小的变换结果对应的候选变换组合作为当前残差块的最终变换组合。
其中，可获取变换后重建图像与原始图像的失真，计算每种变换组合的率失真代价。如可用复杂度较高的SSE(Sum of Squared Error，即差值的平方和)算法获取失真(原始图像-重建图像)来计算率失真代价Rdcost。比较率失真代价，选取率失真代价小的变换组合作为当前残差块的最终变换组合。
S260：当判定当前主变换对属于指定主变换对时，直接利用当前主变换对获取候选变换组合。同样可得两个第一候选变换组合和一个第二候选变换组合，并通过计算变换代价选出最终变换组合。
在该实施方式中，通过把当前主变换对修改成与二次变换矩阵相匹配的主变换对，能够提高当前残差块的集中度，提升编码的压缩率。同时计算了所有候选变换组合的变换代价，能够较准确的获得最终变换组合。
请参阅图3，图3是本申请再一实施方式中变换方法的流程示意图。该实施方式中，变换方法包括如下步骤：
S310：利用当前残差块的尺寸获取当前主变换对。
S320：判断当前主变换对是否属于指定主变换对。
S330：当判定当前主变换对不属于指定主变换对时，利用当前主变换对获得第二候选运动矢量，第二候选变换组合是不需要进行二次变换的方式。第二候选变换组合仅包括获取的当前主变换对，即第二候选变换组合仅包括修改前的当前主变换对。
S340：将当前主变换对修改成第一指定主变换对或第二指定主变换对。利用修改后的当前主变换对获取第一候选变换组合，第一候选变换组合是需要进行二次变换的方式。
当将当前主变换对修改成第一指定主变换对时，可得两个第一候选变换组合。第一候选变换组合1包括第一指定主变换对和第一二次变换矩阵；第一候选变换组合2包括第一指定主变换对和第二二次变换矩阵。同样地，当将当前主变换对修改成第二指定主变换对时，可得两个第一候选变换组合。
其中，S330、S340的执行顺序仅为示意，可以调换先后顺序或者同时进行。
S350：基于变换代价最小的原则从多个候选变换组合中选出最终变换组合。
分别利用S330和S340步骤中得到的每个候选变换组合对当前残差块进行变换得到变换结果；分别计算每个变换结果的变换代价；选择变换代价最小的变换结果对应的候选变换组合作为当前残差块的最终变换组合。
S360：当判定当前主变换对属于指定主变换对时，直接利用当前主变换对获取候选变换组合。同样可得两个第一候选变换组合和一个第二候选变换组合，并通过计算变换代价选出最终变换组合。
该实施方式中，在不进行二次变换的候选变换组合中不对当前主变换对进行修改，不改变原主变换过程，可使所得变换代价更准确。
在一实施方式中，可以采用MTS进行主变换，MTS包括了DST 7和DCT 8两种变换类型，能更好适应残差的动态分布特性，显著提升编码增益。
DST 7是离散正弦变换(Discrete SineTransform,DST)中的一种变换基，DCT可以有八种变换基，分别称为DST-1、DST-2、DST-3、DST-4、DST-5、DST-6、DST-7、DST-8。
DCT 8是离散余弦变换(Discrete Cosine Transform,DCT)中的一种变换基，类似于DST，离散正弦变换(DCT)也有八种变换基，分别称为DCT-Ⅰ、DCT-Ⅱ、DCT-Ⅲ、DCT-Ⅳ、DCT-Ⅴ、DCT-Ⅵ、DCT-Ⅶ、DCT-Ⅷ。
MTS分为显式MTS(Explicit MTS)和隐式MTS(Implicit MTS)。Explicit MTS包含两种变换基DST7和DCT8，这两种变换基分别作为行、列变换的变换核，组成了四个变换对类型，分别为(DST7，DST7)、(DST7，DCT8)、(DCT8，DST7)和(DCT8，DCT8)，括号中左边为行变换类型右边为列变换类型。Implicit MTS只有一种变换基DST7，结合DCT2，分别作为行、列变换的变换核，组成了三种变换对类型，分别为(DCT2，DST7)、(DST7，DCT2)和(DST7，DST7)。在这两类MTS的基础上，加上初始化的(DCT2，DCT2)变换对，组成主变换的所有变换对。
在一实施方式中，可利用LFNST进行二次变换，LFNST只对低频主变换系数进行二次变换。避免了高频系数的计算，所需的运算量也大幅度降低。LFNST的编码效率取决于LFNST核(LFNST矩阵)，LFNST矩阵是利用Explicit MTS的所有变换类型(DCT2，DCT2)，(DST7，DST7)，(DST7，DCT8)，(DCT8，DST7)和(DCT8，DCT8)得到的变换系数作为训练样本训练而来。此时，LFNST矩阵的训练只考虑了Explicit MTS下的主变换对类型，忽略了Implicit MTS的主变换对类型。由于Explicit MTS和Implicit MTS的主变换对类型存在差异，会导致Implicit MTS中一些主变换对类型和LFNST矩阵可能存在不适配的情况，例如当所得主变换对为(DCT2，DST7)或(DST7，DCT2)时，主变换对类型和LFNST矩阵将不适配，这是因为训练LFNST矩阵时，训练样本中并不包含(DCT2，DST7)或(DST7，DCT2)这两种主变换对。此时可对主变换对进行修改，修改成适配LFNST矩阵的(DCT2，DCT2)和/或(DST7，DST7)。
下面以主变换为Implicit MTS，二次变换为LFNST为例，对本申请提供的变换方法进行详细说明，但不应对本申请带来限定。
其中，因为Implicit MTS和LFNST只有在亮度帧内预测时才会出现，因此该实施方式中提到的当前残差块都是经过帧内预测模式后得到的亮度残差块。帧内子块划分(IntraSub Partitions，ISP)模式下也可采用Implicit MTS。另外，可根据帧内预测模式将二次变换的变换矩阵分为4大类，每一类包含两种变换矩阵。具体地，可把所有帧内预测模式分为4大类，每类帧内预测模式对应一类二次变换矩阵，当进行二次变换时，可根据帧内预测模式选取要使用哪一类变换矩阵，再遍历该类别下的两种变换矩阵，得到最佳变换矩阵。
在一实施例中，LFNST是只用Explicit MTS下的主变换对类型训练得来的，变换方法包括如下步骤：
利用当前残差块的尺寸获取当前主变换对，选取规则如下：
trTypeHor＝(W≥4&&W≤16)？DST7：DCT2 (1)
trTypeVer＝(H≥4&&H≤16)？DST7：DCT2 (2)
其中trTypeHor/trTypeVer代表当前残差块的行/列变换类型，W/H表示当前块的宽/高。行、列变换类型初始化都为DCT2，当宽/高长度满足大于等于4且小于等于16的条件时，将当前行/列变换类型改为DST7，否则保持DCT2不变。根据上面的选取规则最终获取到的变换对(trTypeHor，trTypeVer)即为当前残差块的主变换对类型。因此Implicit MTS共有4种可能的主变换对模式：(DCT2，DCT2)，(DCT2，DST7)，(DST7，DCT2)，(DST7，DST7)。
利用当前残差块尺寸可唯一确定主变换对，不需要对多种主变换对进行遍历。
其中，因为在训练LFNST矩阵时没有用到变换对(DCT2，DST7)和(DST7，DCT2)，所以，当变换对为(DCT2，DST7)或(DST7，DCT2)，将与LFNST矩阵不适配，即变换对(DCT2，DST7)和(DST7，DCT2)不是指定主变换对。
若获取的当前主变换对是DCT2和DST7的组合，则将主变换对中的DST7改为DCT2输出主变换对(DCT2，DCT2)；如果不是，则将原当前主变换对输出。采用最终输出的主变换对类型对当前残差块首先进行行变换，再进行列变换得到主变换系数。
主变换后，根据LFNST索引lfnstIdx对主变换系数进行二次变换的3种选择遍历，即遍历多种变换组合，包括不进行LFNST(LFNST0)、第一种LFNST矩阵的LFNST(LFNST1)以及第二种LFNST矩阵的LFNST(LFNST2)，分别计算各变换组合的变换代价，选取变换代价最小的变换组合作为当前残差块的最终变换组合。将最终变换得到的变换系数进行后面的量化和熵编码等操作。
在一实施例中，LFNST是只用Explicit MTS下的主变换对类型训练得来的，变换方法包括如下步骤：
利用当前残差块的尺寸获取当前主变换对，具体请参阅上述实施例的描述。
若获得的当前主变换对是DCT2和DST7的组合，将主变换对中的DCT2改为DST7输出变换对(DST7，DST7)；同时输出原当前主变换对和修改后的主变换对。采用最终输出的主变换对类型对当前残差块首先进行行变换，再进行列变换得到主变换系数。
主变换后，对由原变换对(DCT2，DST7)得到的主变换系数进行二次变换的1种选择遍历，包括不进行LFNST(LFNST0)；对由变换对(DST7，DST7)得到的主变换系数进行二次变换的2种选择遍历，包括第一种LFNST矩阵的LFNST(LFNST1)以及第二种LFNST矩阵的LFNST(LFNST2)，分别计算各变换组合的变换代价，选取变换代价最小的变换组合作为当前残差块的最终变换组合。将最终变换得到的变换系数进行后面的量化和熵编码等操作。
在一实施例中，LFNST是只用Explicit MTS下的主变换对类型训练得来的，变换方法包括如下步骤：
利用当前残差块的尺寸获取当前主变换对，具体请参阅上述实施例的描述。
若获得的当前主变换对是DCT2和DST7的组合，将变换对中的DCT2改为DST7输出变换对(DST7，DST7)，将DST7改为DCT2输出变换对(DCT2，DCT2)，同时输出原当前主变换对，采用最终输出的主变换对类型对当前残差块首先进行行变换，再进行列变换得到主变换系数。
对由原变换对(DCT2，DST7)得到的主变换系数进行二次变换的1种选择遍历，包括不进行LFNST(LFNST0)；对由变换对(DST7，DST7)和(DCT2，DCT2)得到的主变换系数进行二次变换的2种选择遍历，包括第一种LFNST矩阵的LFNST(LFNST1)以及第二种LFNST矩阵的LFNST(LFNST2)，分别计算各变换组合的变换代价，选取变换代价最小的变换组合作为当前残差块的最终变换组合。将最终变换得到的变换系数进行后面的量化和熵编码等操作。
以上实施方式中，在进行二次变换时，对二次变换矩阵的适用性进行了验证，当出现主变换对与二次变换矩阵不适配时，对当前主变换对进行修改，修改成可适配二次变换矩阵的主变换对的一种。能够提升当前残差块能量的集中度，从而提升编码的压缩率。降低视频数据的传输带宽和视频数据的存储资源。
针对上文提到的LFNST矩阵的训练只考虑了Explicit MTS下的主变换对类型，忽略了Implicit MTS的主变换对类型。由于Explicit MTS和Implicit MTS的主变换对类型存在差异，导致Implicit MTS中一些主变换对类型和LFNST矩阵可能存在不适配的情况。本申请还提供一种二次变换矩阵训练方法，该训练方法中，利用主变换过程中所有可能用到的主变换对类型进行二次变换训练，使所得二次变换矩阵更有普适性。
请参阅图4，图4是本申请一实施方式中二次变换矩阵训练方法的流程示意图。该实施方式中，二次变换矩阵训练方法包括如下步骤：
S410：将至少两个变换基进行组合以得到多个主变换对，每个主变换对包括两个变换基，多个主变换对包括主变换选择过程使用的所有主变换对。
其中，变换基是变换时可用的变换类型，不同的变换方法可有不同的变换基。如在离散余弦变换中，DCT可以有八种变换基，分别称为DCT-Ⅰ、DCT-Ⅱ、DCT-Ⅲ、DCT-Ⅳ、DCT-Ⅴ、DCT-Ⅵ、DCT-Ⅶ、DCT-Ⅷ。类似于DCT，离散正弦变换(DST)也有八种变换基。
每个主变换对包括两个变换基，一个用于进行行变换，一个用于进行列变换；每个主变换对中的两个变换基可以相同，也可以不同。即在利用变换基组合主变换对时，可以是两个不同的变换基两两组合，且组合时区分行和列；也可以是一个变换基同时用于行和列。如利用变换基DCT2和DST7可组合得(DCT2，DCT2)，(DCT2，DST7)，(DST7，DCT2)，(DST7，DST7)四种主变换对。在主变换过程中，可以根据需要选取不同的变换基，组成多个不同的主变换对，利用多个不同的主变换对中的一个或多个进行主变换，得到多个不同的变换方案，进而选取最优的主变换对。
S420：利用所有主变换对对多个残差块样本进行变换得到多个主变换系数。
其中，应将主变换选择过程中所有可能被选择的主变换对都拿来制作训练样本，以使训练所得二次变换矩阵能够适配更多的主变换对。该实施方式中，不限定主变换方式方法，可将不同主变换方法中可能用到的主变换对都拿来制作训练样本，以使所得二次变换矩阵能够适配多种变换方法。
S430：利用多个主变换系数训练得到二次变换矩阵。
其中，训练过程可认为是一个聚类问题，可以是通过求协方差矩阵的特征值及其归一化特征向量，利用这些特征向量构成正交矩阵，得二次变换矩阵。如可采用类Kanade-Lucas-Tomasi(KLT)+聚类算法进行训练，得二次变换矩阵。
该实施方式中，通过将主变换选择过程中所有可能被选到的主变换对都加到训练样本中，使训练所得二次变换矩阵能够适配更多主变换对。
在一实施方式中，在将至少两个变换基进行组合以得到多个主变换对时，可以仅获取主变换选择过程使用的所有变换基；将主变换选择过程使用的所有变换基进行组合以得到多个主变换对。这是因为离散变换中可能有多种变换基，但只有其中几个可用来进行主变换；如虽然DCT、DST各有8中变换基，但是MTS变换中只包括DST7和DCT8两种变换类型。通过这种方式，能够避免引入过多无效样本，反而降低二次变换矩阵的准确性。
在一实施方式中，在将至少两个变换基进行组合以得到多个主变换对时，可以将所有类型的变换基进行组合以得到多个主变换对。该实施方式中，训练时引入了更多的训练样本，能够扩大二次变换矩阵的适配性。
在一实施方式中，二次变换矩阵是提前训练好的，在进行图像编码变换时可直接调用。可设置每隔预定时间对二次变换矩阵进行一次训练更新，以提高其适配性。
请参阅图5，图5是本申请又一实施方式中变换方法的流程示意图。该实施方式中，变换方法包括如下步骤：
S510：利用当前残差块的属性获取当前主变换对。
S520：基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换变换组合。
其中每个第一候选变换组合包括当前主变换对和二次变换矩阵。二次变换矩阵是利用主变换选择过程中所有可能用到的主变换对训练得到的，如可用上述实施方式中的任意一种方法训练得到。
该实施方式中，所用二次变换矩阵适配性广，在遍历候选变换组合时，不再需要对当前主变换对进行修改，可直接遍历多种变换组合，包括不进行二次变换的第二候选组合，和需要进行变换的第一候选组合，计算变换代价，得到最终变换组合。具体请参阅上述实施方式中的描述，在此不再赘述。
下面以主变换为MTS，二次变换为LFNST为例，对本申请提供的二次变换矩阵训练方法及变换方法进行详细说明，但不应对本申请带来限定。
在一实施例中，获取Explicit MTS情况下所有主变换对类型(DCT2，DCT2)，(DST7，DST7)，(DST7，DCT8)，(DCT8，DST7)，(DCT8，DCT8)。获取Implicit MTS情况下所有主变换对类型(DCT2，DST7)、(DST7，DCT2)、(DCT2，DCT2)和(DST7，DST7)。
对大量样本残差块数据采用主变换对(DCT2，DCT2)，(DST7，DST7)，(DST7，DCT8)，(DCT8，DST7)，(DCT8，DCT8)，(DCT2，DST7)和(DST7，DCT2)进行变换，得到所有的主变换系数，然后将这些主变换系数作为训练样本，采用类KLT+聚类算法进行训练，得到Implicit_LFNST矩阵。
利用当前残差块的尺寸获取当前主变换对，具体请参阅上述实施例的描述。
主变换后，对主变换系数进行二次变换的3种选择遍历，包括不进行LFNST(LFNST0)、第一种LFNST矩阵的LFNST(LFNST1)以及第二种LFNST矩阵的LFNST(LFNST2)，分别计算各变换组合的变换代价，选取变换代价最小的变换组合作为当前残差块的最终变换组合。将最终变换得到的变换系数进行后面的量化和熵编码等操作。
以上实施方式中，扩充了二次变换矩阵的训练样本，拓展了二次变换矩阵的适配范围，能够提升当前残差块能量的集中度，从而提升编码的压缩率。降低视频数据的传输带宽和视频数据的存储资源。
请参阅图6，图6是本申请一实施方式中变换装置的结构示意图。该实施方式中，变换装置60包括获取模块610、修改模块620和选择模块630。
获取模块610用于利用当前残差块的属性获取当前主变换对。修改模块620用于在当前主变换对不属于指定主变换对时，将多个第一候选变换组合中的当前主变换对修改为至少一组指定主变换对，其中每个第一候选变换组合包括当前主变换对和二次变换矩阵，指定主变换对用于训练二次变换矩阵。选择模块630用于基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换组合。
该实施方式所提供的变换装置，在进行二次变换时，对二次变换矩阵的适用性进行了验证，当出现主变换对与二次变换矩阵不适配时，对当前主变换对进行修改，修改成可适配二次变换矩阵的主变换对的一种。能够提升当前残差块能量的集中度，从而提升编码的压缩率。降低视频数据的传输带宽和视频数据的存储资源。
请参阅图7，图7是本申请一实施方式中二次变换矩阵训练装置的结构示意图。该实施方式中，二次变换矩阵训练装置70包括获取模块710、变换模块720和训练模块730。
获取模块710用于将至少两个变换基进行组合以得到多个主变换对，每个主变换对包括两个变换基，多个主变换对包括主变换选择过程使用的所有主变换对。变换模块720用于利用所有主变换对对多个残差块样本进行变换得到多个主变换系数。训练模块730用于利用多个主变换系数训练得到二次变换矩阵。
该实施方式所提供的二次变换矩阵训练装置，在训练二次变换矩阵时，通过将主变换选择过程中所有可能被选到的主变换对都加到训练样本中，使训练所得二次变换矩阵能够适配更多主变换对。
请参阅图8，图8是本申请另一实施方式中变换装置的结构示意图。该实施方式中，变换装置80包括获取模块810和选择模块820。
获取模块810用于利用当前残差块的属性获取当前主变换对。选择模块820用于基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换变换组合，其中每个第一候选变换组合包括当前主变换对和二次变换矩阵，二次变换矩阵是利用主变换选择过程中所有可能用到的主变换对训练得到的。
该实施方式所提供的变换装置，可调用适配性更广的二次变换矩阵，在遍历候选变换组合时，不再需要对当前主变换对进行修改，可直接遍历多种变换组合，包括不进行二次变换的第二候选组合，和需要进行变换的第一候选组合，计算变换代价，得到最终变换组合。
请参阅图9，图9为本申请实施方式中编码器的结构示意图。如图9所示，该编码器90包括处理器910。
处理器910还可以称为CPU(Central Processing Unit，中央处理单元)。处理器910可能是一种集成电路芯片，具有信号的处理能力。处理器910还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
编码器可以进一步包括存储器(图中未示出)，用于存储处理器910运行所需的指令和数据。
处理器910用于执行指令以实现上述本申请变换方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图10，图10为本申请实施方式中计算机设备的结构示意图。如图10所示，该计算机设备100包括处理器1010。
处理器1010还可以称为CPU(Central Processing Unit，中央处理单元)。处理器1010可能是一种集成电路芯片，具有信号的处理能力。处理器1010还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
计算机设备可以进一步包括存储器(图中未示出)，用于存储处理器1010运行所需的指令和数据。
处理器1010用于执行指令以实现上述本申请二次变换矩阵训练方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图11，图11为本申请实施方式中存储装置的结构示意图。本申请实施例的存储装置110存储有指令，该指令被执行时实现本申请变换方法或二次变换矩阵训练方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储装置中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种变换方法，其特征在于，包括：
利用当前残差块的属性获取当前主变换对；
若所述当前主变换对不属于指定主变换对，则将多个第一候选变换组合中的所述当前主变换对修改为至少一组指定主变换对，其中每个所述第一候选变换组合包括所述当前主变换对和所述二次变换矩阵，所述指定主变换对用于训练所述二次变换矩阵；
基于变换代价最小的原则从包括所述第一候选变换组合在内的多个候选变换组合中选出最终变换组合。
2.根据权利要求1所述的变换方法，其特征在于，所述候选变换组合进一步包括第二候选变换组合，所述第二候选变换组合仅包括修改后的所述当前主变换对。
3.根据权利要求1所述的变换方法，其特征在于，所述候选变换组合进一步包括第二候选变换组合，所述第二候选变换组合仅包括修改前的所述当前主变换对。
4.根据权利要求1所述的变换方法，其特征在于，修改后的所述当前主变换对与修改前的所述当前主变换对中的一个变换核相同。
5.根据权利要求4所述的变换方法，其特征在于，
修改前的所述当前主变换对为(离散余弦变换2，离散正弦变换7)或(离散正弦变换7，离散余弦变换2)；
修改后的所述当前主变换对为(离散余弦变换2，离散余弦变换2)和/或(离散正弦变换7，离散正弦变换7) 。
6.根据权利要求1所述的变换方法，其特征在于，所述基于变换代价最小的原则从包括所述第一候选变换组合在内的多个候选变换组合中选出最终变换组合包括：
分别利用每个所述候选变换组合对所述当前残差块进行变换得到变换结果；
分别计算每个所述变换结果的变换代价；
选择所述变换代价最小的变换结果对应的候选变换组合作为所述最终变换组合。
7.一种二次变换矩阵训练方法，其特征在于，包括：
将至少两个变换基进行组合以得到多个主变换对，每个所述主变换对包括两个所述变换基，所述多个主变换对包括主变换选择过程使用的所有主变换对；
利用所有所述主变换对对多个残差块样本进行变换得到多个主变换系数；
利用所述多个主变换系数训练得到所述二次变换矩阵。
8.根据权利要求7所述的二次变换矩阵训练方法，其特征在于，所述将至少两个变换基进行组合以得到多个主变换对包括：
获取所述主变换选择过程使用的所有变换基；
将所述主变换选择过程使用的所有变换基进行组合以得到所述多个主变换对。
9.根据权利要求7所述的二次变换矩阵训练方法，其特征在于，所述将至少两个变换基进行组合以得到多个主变换对包括：
将所有类型的变换基进行组合以得到所述多个主变换对。
10.一种变换方法，其特征在于，包括：
利用当前残差块的属性获取当前主变换对；
基于变换代价最小的原则从包括第一候选变换组合在内的多个候选变换组合中选出最终变换变换组合，其中每个所述第一候选变换组合包括所述当前主变换对和二次变换矩阵，所述二次变换矩阵是利用权利要求7-9中任一项所述的方法训练得到的。
11.一种编码器，其特征在于，所述编码器包括处理器，所述处理器用于执行指令以实现如权利要求1-6或10中任一项所述的方法。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行指令以实现如权利要求7-9中任一项所述的方法。
13.一种存储装置，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-6、或7-9、或10中任一项所述的方法。
CN201910883004.1A 2019-09-18 2019-09-18 变换、二次变换矩阵训练方法、编码器及相关装置 Active CN110636313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883004.1A CN110636313B (zh) 2019-09-18 2019-09-18 变换、二次变换矩阵训练方法、编码器及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883004.1A CN110636313B (zh) 2019-09-18 2019-09-18 变换、二次变换矩阵训练方法、编码器及相关装置

Publications (2)

Publication Number Publication Date
CN110636313A true CN110636313A (zh) 2019-12-31
CN110636313B CN110636313B (zh) 2022-07-15

Family

ID=68971349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883004.1A Active CN110636313B (zh) 2019-09-18 2019-09-18 变换、二次变换矩阵训练方法、编码器及相关装置

Country Status (1)

Country Link
CN (1) CN110636313B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565754A (zh) * 2020-12-06 2021-03-26 浙江大华技术股份有限公司 基于ibc模式变换、编码方法、装置、电子设备及存储介质
WO2021207035A1 (en) * 2020-04-05 2021-10-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus on transform and coefficient signaling
CN114556943A (zh) * 2020-04-03 2022-05-27 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN115004706A (zh) * 2020-01-28 2022-09-02 北京达佳互联信息技术有限公司 关于变换和系数信令的方法和装置
US20220312013A1 (en) * 2019-09-20 2022-09-29 Lg Electronics Inc. Transform-based image coding method, and device therefor
US20230037443A1 (en) * 2020-03-25 2023-02-09 Beijing Bytedance Network Technology Co., Ltd. Coded video processing using enhanced secondary transform
CN115004706B (zh) * 2020-01-28 2024-06-04 北京达佳互联信息技术有限公司 关于变换和系数信令的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986215A (zh) * 2010-07-09 2013-03-20 高通股份有限公司 使用帧内预测模式的子集及对应定向变换的视频译码
KR20180017659A (ko) * 2016-08-10 2018-02-21 주식회사 케이티 디지털 홀로그램 데이터를 압축하는 방법 및 장치
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换
WO2018221554A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
CN109076226A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理装置和方法
CN109819250A (zh) * 2019-01-15 2019-05-28 北京大学 一种多核全组合方式的变换方法和系统
CN110024399A (zh) * 2016-11-28 2019-07-16 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986215A (zh) * 2010-07-09 2013-03-20 高通股份有限公司 使用帧内预测模式的子集及对应定向变换的视频译码
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换
CN108141597A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于具有重组的视频译码的非可分离二次变换
CN109076226A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理装置和方法
KR20180017659A (ko) * 2016-08-10 2018-02-21 주식회사 케이티 디지털 홀로그램 데이터를 압축하는 방법 및 장치
CN110024399A (zh) * 2016-11-28 2019-07-16 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
WO2018221554A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
CN109819250A (zh) * 2019-01-15 2019-05-28 北京大学 一种多核全组合方式的变换方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220312013A1 (en) * 2019-09-20 2022-09-29 Lg Electronics Inc. Transform-based image coding method, and device therefor
CN115004706A (zh) * 2020-01-28 2022-09-02 北京达佳互联信息技术有限公司 关于变换和系数信令的方法和装置
CN115004706B (zh) * 2020-01-28 2024-06-04 北京达佳互联信息技术有限公司 关于变换和系数信令的方法和装置
US20230037443A1 (en) * 2020-03-25 2023-02-09 Beijing Bytedance Network Technology Co., Ltd. Coded video processing using enhanced secondary transform
CN114556943A (zh) * 2020-04-03 2022-05-27 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
WO2021207035A1 (en) * 2020-04-05 2021-10-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus on transform and coefficient signaling
CN112565754A (zh) * 2020-12-06 2021-03-26 浙江大华技术股份有限公司 基于ibc模式变换、编码方法、装置、电子设备及存储介质
CN112565754B (zh) * 2020-12-06 2022-11-11 浙江大华技术股份有限公司 基于ibc模式变换、编码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110636313B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110636313B (zh) 变换、二次变换矩阵训练方法、编码器及相关装置
Hu et al. Learning end-to-end lossy image compression: A benchmark
JP6923677B2 (ja) ビデオ圧縮におけるエントロピーコーディングのための選択的ミキシング
US20200280721A1 (en) Region-based image compression and decompression
WO2016138779A1 (zh) 帧内编解码方法、编码器和解码器
JP2022048351A (ja) 最後の有意係数フラグのコーディング
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
JP2017192147A (ja) 有意性マップ符号化の計算量低減
JP2019509671A (ja) 走査順序選択のための方法及び装置
CN107547773B (zh) 一种图像处理方法、装置及设备
WO2021134635A1 (zh) 变换方法、编码器、解码器以及存储介质
CN111385584B (zh) 进行编码、解码的方法、装置和系统
CN111881920A (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
RU2707719C1 (ru) Способ и устройство выбора порядка сканирования
CN110324639A (zh) 用于视频数据的高效熵编码的技术
US10382711B2 (en) Method and device for processing graph-based signal using geometric primitives
EP3151559A1 (en) Method for coding and decoding a plurality of picture blocks and corresponding devices
US10390025B2 (en) Method and apparatus for encoding and decoding video signal using improved prediction filter
CN111988618A (zh) 进行解码、编码的方法、解码端和编码端
CN111669579B (zh) 进行编码和解码的方法、编码端、解码端和系统
CN110234011B (zh) 一种视频压缩方法及系统
CN113473154B (zh) 视频编码、视频解码方法、装置及存储介质
CN116916034B (zh) 基于safd的图像处理方法、装置、设备及存储介质
CN111107363A (zh) 带宽压缩编码方法
CN116843775B (zh) 一种基于反离散余弦变换的解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant