CN108293125A - 一种数字图像处理系统和方法 - Google Patents

一种数字图像处理系统和方法 Download PDF

Info

Publication number
CN108293125A
CN108293125A CN201480083421.3A CN201480083421A CN108293125A CN 108293125 A CN108293125 A CN 108293125A CN 201480083421 A CN201480083421 A CN 201480083421A CN 108293125 A CN108293125 A CN 108293125A
Authority
CN
China
Prior art keywords
block
rotational symmetry
mask
frame
transformation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480083421.3A
Other languages
English (en)
Other versions
CN108293125B (zh
Inventor
伊斯科·迪佛尔
内坦·彼得弗洛恩德
德罗尔·艾若尼
大卫·德雷兹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108293125A publication Critical patent/CN108293125A/zh
Application granted granted Critical
Publication of CN108293125B publication Critical patent/CN108293125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/602—Block rotation, e.g. by recursive reversing or rotating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Abstract

一种用于生成用于编码帧或帧的一部分的变换系数的装置，包括：媒体编码器，与用于接收帧或帧的一部分的数据接口耦合，所述媒体编码器用于：迭代地细分在帧或帧的一部分中分割的每个块，在每个迭代期间，所述多个块的细分块经过以下处理：选择满足编码所述块的效率指标的旋转对称掩码，其中，所述旋转对称掩码是从多个旋转对称掩码中选择，所述多个旋转对称掩码定义了具有所述细分块的尺寸和形状的多维空间中的多种不同的旋转对称性；当满足所述效率指标时，基于所述旋转对称掩码将所述细分块分割成两个互补部分，并生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；从所述旋转对称块对计算变换系数。

Description

一种数字图像处理系统和方法
背景技术
本发明一些实施例涉及一种用于数字图像和/或视频压缩的系统和方法，更具体地但不仅限于，涉及一种用于生成处理数字图像的块的变换系数集的系统和方法。
数字图像，例如数字视频和数码相机获得的静止图像，是由全数据集表示的，当以非压缩方式进行存储时，需要大量的存储器资源。传输表示数字图像和/或视频的全数据集需要大量的网络资源，如通信带宽。对于视频而言尤其成问题，因为单个视频可能包括数千个单独帧。多数情况下，可能无法存储和/或传输每个图像的全数据集，否则会使处理和网络资源瘫痪。
此外，随着相机(静态和视频)和显示屏质量和分辨率能力的提高，每个图像生成的数据量不断增加。依赖视频传输的移动设备(如智能手机和平板电脑)上运行的基于视频的应用程序会产生大量的网络流量，这对于无线网络而言尤其成问题。
已经研发了用于压缩静止数字图像和数字视频的不同解决方案，以减小图像和视频数据的大小，从而减少必要的存储资源和网络资源。
例如，Sullivan等人于2012年12月在《IEEE视频技术的电路和系统汇刊》第22卷(第12期)《高效视频编码(High Efficiency Video Coding，简称HEVC)标准概览》中写到“当前正准备将高效视频编码(High Efficiency Video Coding，简称HEVC)作为ITU-T视频编码专家组和ISO/IEC运动图像专家组的最新视频编码标准。HEVC标准化的主要目标是相对于现有标准，明显改善压缩性能——获得相同的感知视频质量的同时，可以降低高达50％的码率。”
发明内容
本发明的目标在于提供一种改进的视频压缩技术。
该目标是通过独立权利要求的方案来实现的。相应的从属权利要求中进一步定义了有益实施。
根据第一方面，一种用于生成用于编码帧或帧的一部分的多个变换系数的装置包括：媒体编码器，与用于接收帧或帧的一部分的数据接口耦合，所述媒体编码器用于：迭代地细分由帧或帧的一部分中分割而成多个块中的每个块，在多个迭代中的每个迭代期间，所述多个块的细分块经过以下处理：选择满足编码所述块的效率指标的旋转对称掩码，其中，所述旋转对称掩码是从多个旋转对称掩码中选择，所述多个旋转对称掩码定义了具有所述细分块的尺寸和形状的多维空间中的多种不同的旋转对称性；当满足所述效率指标时，基于所述旋转对称掩码将所述细分块分割成两个互补部分；生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；从所述旋转对称块对计算多个变换系数。
根据第二方面，一种用于生成用于编码帧或帧的一部分的多个变换系数的方法包括：迭代地细分由帧或帧的一部分中分割而成多个块中的每个块，在多个迭代中的每个迭代期间，所述多个块的细分块经过以下处理：选择具有所述块的尺寸和形状且满足编码所述块的效率指标的旋转对称掩码；当满足所述效率指标时，基于所述旋转对称掩码将所述细分块分割成两个互补部分；生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；从至少一个所述旋转对称块对计算至少一个变换系数。所述方法可用于操作根据第一方面所述的装置。
根据第三方面，一种用于编码帧或帧的一部分的方法包括：将所述帧或帧的一部分迭代地分成多个块；在所述多个块的细分块的每个迭代期间，迭代地细分所述多个块中的每个块；在对所述细分块进行编码时，从包括多个不同旋转对称掩码的库中选择满足效率指标的旋转对称掩码；使用所述旋转对称掩码基于所述旋转对称掩码将所述细分块分割成两个互补部分，并生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；从所述旋转对称块对中的至少一个旋转对称块计算至少一个变换系数；量化所述至少一个变换系数，并对所述至少一个变换系数进行编码以对所述帧或帧的一部分进行编码。所述方法可用于操作根据第一方面所述的装置。
根据第四方面，一种用于解码帧或帧的一部分的装置包括：媒体解码器，与用于接收至少一个已编码变换系数的比特流的数据接口耦合，所述已编码变换系数代表已编码帧或已编码帧的一部分，所述媒体编码器用于：解码来自所述比特流的至少一个变换系数；基于所述至少一个解码的变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均有两个互补部分中的一个部分；基于相应的旋转对称掩码从所述两个相应的互补部分中的每一部分重建多个块；将所述多个块组合成帧或帧的一部分。所述装置可用于解码由根据第一方面所述的装置编码的一个或多个帧或一个或多个帧的一部分。
根据第五方面，一种用于基于代表已编码帧的比特流解码帧或帧的一部分的方法包括：接收代表已编码帧或已编码帧的一部分的至少一个已编码变换系数的比特流；解码所述至少一个变换系数；基于解码的所述至少一个变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均有两个互补部分中的一个部分；基于相应的旋转对称掩码从所述两个相应的互补部分中的每一部分重建多个块；将所述多个块组合成帧或帧的一部分。所述方法可用于操作根据第四方面所述的装置。
根据第六方面，一种计算机程序，用于在计算机上执行时，执行如前述方面中的一个方面所述的方法。可配置所述计算机程序由媒体编码器使用，程序代码可包括用于执行以下操作的指示：接收代表已编码帧或已编码帧的一部分的至少一个已编码变换系数的比特流；解码来自所述比特流的至少一个变换系数；基于解码的所述至少一个变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均有两个互补部分中的一个部分；基于相应的旋转对称掩码将所述两个相应的互补部分中的每一部分合成多个块；将所述多个块组合成帧或帧的一部分。
为清楚起见，在此对编码装置、编码方法和/或编码计算机程序产品进行了详细描述。对于每个所描述的编码功能和/或结构，均暗示了相应的解码功能和/或结构。为了简洁和清楚，省略了对与所描述的编码功能和/或结构元件对应的解码功能和/或结构元件的描述。为清楚起见，术语媒体编码器还指方法和计算机程序产品。例如，媒体编码器所适用的短语还指“所述方法还包括”，以及“所述计算机程序产品还包括指令，用于”。
所有方面均用于改善系统性能。
在根据第一方面所述的装置的第一种可能的实现方式中，当满足所述效率指标时，所述媒体编码器用于将所述旋转对称块对添加到数据集中，其中，所述数据集包括从所述多个块中的至少一些块生成的多个旋转对称块对。
在根据第一方面所述的装置的第二种可能的实现方式中，或者根据前述实现方式，当不满足所述效率指标时，所述媒体编码器迭代地将所述细分块细分为多个附加细分块，并对所述多个附加细分块中的每个附加细分块重复所述迭代细分。
通过迭代地细分块，所述效率指标改善了性能，这样一来，使用掩码来分割块改善了系统性能。
在根据第一方面所述的装置的第三种可能的实现方式中，或者根据任何前述实现方式，为了迭代地细分多个块中的每个块，所述媒体编码器用于：使用对所述多个块中的每个块的细分进行映射的树结构，以支持所述迭代细分；通过添加两片叶来用所述旋转对称块对更新所述树结构，其中，每片叶代表所述旋转对称块对的一个成员。
所述树结构由某些标准使用，从而允许基于某个标准将所述媒体编码器集成到系统中，以改善系统性能。
在根据第一方面所述的装置的第四种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器用于当所述树结构中的所述细分块的深度大于预定义阈值时，对所述细分块进行分割。
在根据第一方面所述的装置的第五种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器用于从包含多个不同旋转对称掩码的旋转对称掩码库中选择所述旋转对称掩码。
从库(或掩码子集)而非从较大的候选掩码集中选择掩码减少了用于将所选掩码以信号通知给解码器的已编码比特数，并且/或者降低了计算复杂度且/或减少了存储器资源和/或处理器资源。
在根据第一方面所述的装置的第六种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用空间预测块编码所述多个变换系数中的每个变换系数，其中，所述空间预测块根据用于生成相应所述旋转对称块对的相应所述旋转对称掩码来选择。
由所选择的掩码引导和/或基于相应的补充部分时，预测块的选择可能更加精确，并且/或者预测块的选择使用较少的资源(或在较少的时间内完成)。
在根据第一方面所述的装置的第七种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用某个相应的空间预测块独立编码每个旋转对称块，其中，每个相应的空间预测块均根据所述旋转对称块的每个相应部分来选择。
使用预测块时，能更有效地编码每个旋转对称块。与编码未被分割成所述旋转对称块对的单个块相比，编码所述旋转对称块对更有效。
在根据第一方面所述的装置的第八种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用某个相应的运动矢量独立编码每个旋转对称块，其中，每个相应的运动矢量根据所述旋转对称块的每个相应部分来选择。
在根据第一方面所述的装置的第九种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用熵上下文模型编码所述多个变换系数中的每个变换系数，其中，所述熵上下文模型根据用于生成相应所述旋转对称块对的相应所述旋转对称掩码来选择。
使用熵上下文模型进行编码提高了系统效率和/或性能。
在根据第一方面所述的装置的第十种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用适用于所述旋转对称块对中的至少一个旋转对称块的熵上下文模型编码至少一个变换系数。
在根据第一方面所述的装置的第十一种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于基于至少一种效率准则从所述旋转对称掩码库中选择所述旋转对称掩码。
在根据第一方面所述的装置的第十二种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于从多个旋转对称掩码库中选择所述旋转对称掩码库，其中，所述多个旋转对称掩码库中的每个旋转对称掩码库均是针对所述细分块的不同尺寸进行定义的。
在根据第一方面所述的装置的第十三种可能的实现方式中，或者根据任何前述实现方式，所述计算所述多个变换系数由二维(two dimensional，简称2D)离散余弦变换(discrete cosine transform，简称DCT)执行。
在根据第一方面所述的装置的第十四种可能的实现方式中，或者根据任何前述实现方式，所述计算所述多个变换系数由二维(two dimensional，简称2D)离散正弦变换(discrete sine transform，简称DST)执行。
在根据第一方面所述的装置的第十五种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于根据运动图像专家组(Moving Picture Experts Group，简称MPEG)格式执行至少一种方法以：预测所述块的所述两个互补部分中的至少一个部分；计算所述旋转对称块中的至少一个旋转对称块的所述多个变换系数中的至少一个变换系数；量化所述多个变换系数中的至少一个变换系数；对所述多个变换系数进行熵编码以对所述帧或帧的一部分进行编码。
媒体编码器根据MPEG格式执行提高了图像和/或视频的编码效率，从而通过例如改善压缩性能以及减少处理器资源需求、发射器/接收器需求和/或内存需求改善了系统的整体性能。将编码器集成到基于MPEG的系统中使得图像质量更高、图像分辨率更高，并且/或者使用相同资源可以处理更大数量的图像。
在根据第一方面所述的装置的第十六种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于使用多个不同的熵编码模型编码所述多个变换系数，其中，所述多个熵编码模型用于不同编码方式且基于相应的旋转对称掩码来选择。
在根据任何前述实现方式所述的装置的第十七种可能的实现方式中，所述媒体编码器还用于通过扫描所述多个变换系数同时跳过多个零系数来对所述多个变换系数进行编码。
跳过零系数实现了非零系数的压缩，从而改善了系统性能。
在根据第一方面所述的装置的第十八种可能的实现方式中，所述媒体编码器还用于通过将多个扫描图案中的一个扫描图案与所述旋转对称掩码进行匹配从所述多个扫描图案中选择扫描图案来对所述多个变换系数进行编码。
扫描图案的选择改善了系统性能。
进一步地，在第十九种可能的实现方式中，所述多个变换系数可排列成矩阵，所述媒体编码器还用于通过扫描多个互补扫描图案的多个变换系数来编码所述多个变换系数，其中，所述多个互补扫描图案中的每一个扫描图案从所述矩阵的第一角落到所述矩阵的第二角落执行。
在根据第一方面所述的装置的第二十种可能的实现方式中，所述多个变换系数可排列成矩阵，所述媒体编码器还用于根据所述矩阵的多个子区域中重复的图案扫描所述多个变换系数，从而对所述多个变换系数进行编码。
重复的图案与某些图像和/或视频压缩标准兼容。
在根据第一方面所述的装置的第二十一种可能的实现方式中，所述媒体编码器还用于通过将多个扫描图案中的一个扫描图案与所述旋转对称掩码进行匹配从所述多个扫描图案中选择扫描图案来对所述多个变换系数进行编码。
掩码不同则零系数的图案不同，当扫描图案基于所应用的掩码时，可以有效地扫描这些零系数的图案。
在根据第一方面所述的装置的第二十二种可能的实现方式中，或者根据第一方面的任何前述实现方式，所述媒体编码器还用于通过将最后一个变换系数的坐标存储到数据集中作为所述编码的一部分来对所述多个变换系数进行编码。
压缩最后一个系数的位置改善了系统性能。
在根据第一方面所述的装置的第二十三种可能的实现方式中，或者根据任何前述实现方式，所述媒体编码器还用于根据在排列有所述多个变换系数的矩阵上执行的系数扫描的顺序转换所述多个变换系数的非零值，从而减小最后一个变换系数的位置大小。
非零值的转换减小了最后一个变换系数的位置大小，从而改善了系统性能。
在根据第一方面所述的装置的第二十四种可能的实现方式中，或者根据第一方面的任何前述实现方式，所述媒体编码器还用于将所述多个块细分为不同数量的细分块，以形成不同尺寸的不同细分块。
所述块细分基于某个标准，实现了基于某个标准集成媒体编码器和系统，从而进一步改善系统性能。
在根据第一方面所述的装置的第二十五种可能的实现方式中，或者根据第一方面的任何前述实现方式，所述数据接口还用于接收代表已编码帧或已编码帧的一部分的至少一个变换系数的比特流；所述媒体编码器还用于：解码所述至少一个变换系数；基于解码的所述变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均具有两个互补部分中的一个部分；基于相应的旋转对称掩码从所述两个相应互补部分中的每一部分重建多个块；将所述多个块组合成帧或帧的一部分。
除非另有定义，否则本发明所用的所有技术和或科技语都具有与本领域普通技术人员公知的含义相同的含义。虽然类似于或等同于此处所述的方法和材料也可以用于实践或测试本发明实施例，但以下描述了示例方法和/或材料。出现冲突的情况下，以专利说明书(包括定义)为准。此外，材料、方法和示例仅是说明性的，并不旨在造成必然限制。
附图说明
此处仅作为示例，结合附图描述了本发明的一些实施例。现在具体结合附图，需要强调的是所示的项目作为示例，且是为了说明性地讨论本发明的实施例。这样，根据附图说明，如何实践本发明实施例对本领域技术人员而言是显而易见的。
在附图中：
图1为本发明一些实施例提供的用于生成用于编码和/或处理帧中的块的变换系数集的方法流程图；
图2为本发明一些实施例提供的用于生成用于编码和/或处理帧中的块的变换系数集的媒体编码器的框图；
图3为本发明一些实施例提供的描述简单的旋转对称掩码的一些示例的示意图；
图4为本发明一些实施例提供的描述针对块的旋转对称掩码的选择示意图；
图5A至5C为本发明一些实施例提供的描述用于定义旋转对称掩码的像素2D镜像的示意图；
图6A至6C为本发明一些实施例提供的旋转对称掩码库的一些示例；
图7为本发明一些实施例提供的通过图表描述旋转对称掩码的分级排列的示意图；
图8为本发明一些实施例提供的描述旋转对称掩码的生成和/或表示的示意图；
图9为本发明一些实施例提供的用于选择用于分割块的旋转对称掩码的各种计算机化准则和/或方法的列表；
图10为本发明一些实施例提供的包括基于图1和/或图2的系数编码器/解码器的用于进行图像压缩和解压缩的示例性系统的框图；
图11为本发明一些实施例提供的用于解码用于编码帧中的块的变换系数集的方法流程图；
图12A至12I包括执行此处所述方法和/或系统的实验结果的图像和图表；
图13为本发明一些实施例提供的尺寸固定的块的图像示例；
图14为本发明一些实施例提供的描述基于树结构的块的迭代细分的示意图；
图15为本发明一些实施例提供的描述基于树结构的块的迭代细分的另一示意图；
图16A和16B描述了本发明一些实施例提供的上下分割部分分别产生的8×8旋转对称块的2D DCT正交矩阵；
图17A至17D为本发明一些实施例提供的包含量化后系数和零值系数的矩阵的示例，以及用于编码量化后系数的一些系数扫描图案的示例；
图18A至18C为本发明一些实施例提供的描述非零系数的打包的矩阵；
图19A为本发明一些实施例提供的描述图10的视频编码器与系数编码器集成并基于H.265标准进行编码的框图；
图19B为本发明一些实施例提供的描述图10的视频解码器与系数解码器集成并基于H.265标准进行解码的框图；
图20为本发明一些实施例提供的描述图10的图像编码器与系数编码器集成并基于H.265标准(例如，在移除图19A的帧间编码部分之后)进行单个图像编码的框图；
图21为本发明一些实施例提供的描述图10的图像解码器与系数解码器集成并基于H.265标准(例如，在移除图19B的帧间编码部分之后)进行单个图像解码的框图；
图22A和22B为本发明一些实施例提供的描述空间和/或时间预测的示意图。
具体实施方式
本发明一些实施例方面涉及一种用于生成用于编码帧或帧的一部分的块的变换系数集的方法和/或系统，对通过基于某个选定的旋转对称掩码分割块而获得的两个互补部分进行编码。基于效率指标来评估帧的块，从而决定何时基于此处所述的系统和/或方法分割和编码块，以及何时基于其它图像和/或视频压缩方法继续对块进行处理，例如基于某个标准。所述方法和/或系统通过提高块的压缩率来减小存储和/或传输块所需的大小(如比特数)，同时不会显著降低图像质量。任何图像质量下降是在预定义的可接受限度内和/或类似于使用标准方法而非此处所述方法的的图像质量下降，例如，峰值信噪比(peaksignal to noise ratio，简称PSNR)可用作定义图像质量的客观指标。当想通过分割来改善基于标准的方法的性能时，可以评估效率指标以分割(使用掩码分割)和编码块。当不满足效率指标时，可以对块进行整体处理(例如，基于标准)，或者将块划分为子块，其中，每个子块基于相应的效率指标来重新评估。通过使用掩码分割块，效率指标带来了系统性能(例如，在效率、存储器资源和/或处理资源方面)的改善，这样做是为了改善系统性能。
如此处所述，术语“帧或图像”有时是指帧的一部分或者图像的一部分。可计算整个帧(和/或图像)和/或帧(和/或图像)的一部分的变换系数。例如，计算序列、条带、最小编码单元(minimum coded unit，简称MCU，如JPEG或其他标准定义的最小编码单元)、块(如HVEC或其他标准定义的块)和/或编码区块(如帧的子部分，例如，压缩HEVC或其它标准定义的编码区块)的变换系数。正在处理的帧或帧的一部分可以基于代表所选模式的传输的比特流中的信号。
可选的，对每个块(或基于标准的块划分的子块)基于效率指标进行独立评估。帧(或帧的一部分)中的一些块可基于此处所述的系统和/或方法进行编码，而其他块可采用基于标准的压缩方法和/或其他方法进行编码。基于此处所述的系统和/或方法进行的块编码与其他基于标准的图像和/或视频压缩方法集成，从而带来超过所述标准的额外性能(如压缩性能和/或资源利用率)的改善。
所述方法和/或系统包括：编码器，其用于通过选择针对块的适当的旋转对称掩码来对块进行编码；基于所述掩码将块分割成两个互补部分；从每个部分生成旋转对称块对；以及计算所述旋转对称块中的一个或两个旋转对称块的变换系数。所述编码器可以基于效率指标评估所述块。
所述方法和/或系统包括：解码器，其用于解码变换系数并重建块。对所述变换系数进行解码以重建所述旋转对称块对。该对的每个成员转换(例如，基于逆变换计算)为所述两个互补部分中的相应一个部分。所述两个互补部分连到一起，从而由旋转对称掩码引导形成所述块。
为清楚起见，在此对所述编码器进行了详细描述。对于每个所描述的编码功能和/或结构，均暗示了相应的解码功能和/或结构。为了简洁和清楚，省略了对与编码功能和/或结构元件对应的解码功能和/或结构元件的描述。
可选地，与压缩整个块或与采用标准分割方法压缩块相比，选择掩码将块分割成两个互补部分更好(如四个正方形，例如，所定义的高效视频编码(High Efficiency VideoCoding，简称HEVC)和/或H.265标准)。
可选地，选择掩码来基于块在图像内的一个或多个视觉特征来分割块。所述块可以包含由视觉特征分离的不同类型的内容，例如，块上描绘的倾斜线或边缘。所述掩码可以基本上沿着视觉特征来分割块，从而产生两个互补部分，与将块在除视觉特征外的其他位置分割时形成的两个互补部分相比(例如，划分为HEVC标准指定的四个相等块)，每个互补部分彼此更均匀(即每个部分通常会描述一种内容类型)。
可选地，为不同的块选择不同的掩码。可以例如基于块内的内容来独立地为块选择掩码。通过定制的掩码选择来改进对每个块的压缩。
应用于每个相应块的每个相应掩码与计算得到的相应块的变换系数集相关联。例如，用于每个块的掩码与所计算得到的变换系数一起传输，且/或传输了指示哪个掩码(例如，来自可能的掩码库中的掩码)与变换系数相关联的信号。
掩码具有旋转对称性。可选地，掩码定义了将块分割为两个互补部分，使得在相对于块的中心旋转180度的情况下，块的形状和分割不变。掩码可以为二进制掩码(如此处所述)。旋转对称性允许使用适当的正交变换方法，例如，2D离散余弦变换(discrete cosinetransform，简称DCT)来计算二维中的正交变换系数。与非正交变换系数相比，正交变换系数被更有效地压缩。
两个互补部分中的每一部分均保留块的相应部分内的原始图像内容的二维拓扑，从而重建相同图像。
可选地，使用独立的空间和/或时间预测块对所述旋转对称块对的每个成员进行编码。与基于预测块整体编码预分割块相比，基于独立的预测块编码每个成员可以改善性能。
可选地，基于系数扫描方法对计算得到的所述旋转对称块对的每个成员的变换系数进行编码，跳过基于以下内容生成的零系数：(1)由某些离散正交变换集合获得的旋转对称性，以及(2)应用于块的两个互补部分中的每一部分的旋转对称概念。所述系数扫描方法可基于所应用的掩码来选择。可基于独立的上下文模型对所述对的每个成员剩余的未跳过的非零系数进行编码。跳过零系数移除了零数据，从而改善了编码性能。
在详细解释本发明的至少一个实施例之前，应理解，本发明不必将其应用限制在下面描述中阐述的和/或在附图和/或示例中说明的组件和/或方法的构建和排列的细节。本发明其他实施例能够以各种方式实践或执行。
本发明可以为系统、方法和/或计算机程序产品。所述计算机程序产品可包括计算机可读存储介质(或媒介)，所述计算机可读存储介质上有计算机可读程序指令，用于使处理器执行本发明各方面。
所述计算机可读存储介质可为能够保留和存储指令执行设备所使用的指令的有形设备。所述计算机可读存储介质可以为但不限于，例如，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述的任意合适组合。计算机可读存储介质的更具体的示例包括以下的非详尽列表：便携式计算机磁盘、硬盘、随机存取存储器(randomaccess memory，简称RAM)、只读存储器(read-only memory，简称ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，简称EPROM，或闪存)、静态随机存取存储器(static random access memory，简称SRAM)、便携式光盘只读存储器(compactdisc read-only memory，简称CD-ROM)、数字多功能光盘(digital versatile disk，简称DVD)、记忆棒、软盘、或上述的任意合适组合。如此处所使用的计算机可读存储介质不应被解释为是瞬时信号本身，如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(如通过光纤电缆的光脉冲)或通过导线传输的电信号。
此处所述的计算机可读程序指令可以经如因特网、局域网、广域网和/或无线网等网络从计算机可读存储介质下载到相应的计算/处理设备、外部计算机或外部存储设备。所述网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发所述计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(instruction set architecture，简称ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或一种或多种编程语言编写成的源代码或目标代码，其中，所述编程语言包括如Smalltalk、C++等面向对象的编程语言，以及如“C”编程语言等的传统过程化编程语言或类似编程语言。计算机可读程序指令可以完全在用户计算机上执行，或者作为独立软件包部分地在用户计算机上执行，或者部分在用户计算机上执行、部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。后一种情况下，远程计算机可以通过任何类型的网络，包括局域网(local area network，简称LAN)或广域网(wide area network，简称WAN)连接到用户计算机，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网连接到外部计算机)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(field programmable gate array，简称FPGA)或可编程逻辑阵列(programmablelogic array，简称PLA)的电子电路可利用计算机可读程序指令的状态信息来执行计算机可读程序指令，从而个性化电子电路，以便执行本发明各方面。
本发明各方面是结合根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述的。可以理解的是，所述流程图和/或方框图中每一方块以及所述流程图和/或方框图中方块的任意组合可由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建产生实现流程图和/或框图的一个或多个块中指定的功能/动作的方法。这些计算机可读程序指令还可以存储在计算机可读存储介质中，所述计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得存储有指令的计算机可读存储介质包括包含指令的制品，所述指令实现流程图和/或框图的一个或多个块中指定的功能/动作的各方面。
计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以在计算机、其他可编程装置或其他设备上执行一系列操作步骤，使得计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个块中指定的功能/动作。
附图中的流程图和框图示出了本发明各实施例提供的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就此而言，流程图或框图中的每个块可以代表指令的一个模块、一段或一部分，所述指令包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，块中标注的功能可以不按照附图中所示的顺序出现。例如，根据所涉及的功能不同，实际上，示出的连续两个块可以基本上同时执行，或者有时可以按相反的顺序执行。还应注意，框图和/或流程图中的每个块以及框图和/或流程图中的块的组合可以由基于专用硬件的系统来实现，其中，所述系统执行指定的功能或动作，或者执行专用硬件和计算机指令的组合。
现参考图1，其为本发明一些实施例提供的用于生成用于编码帧中的块的变换系数集的方法流程图。同时参考图2，其为本发明一些实施例提供的用于生成用于编码帧中的块的变换系数集的媒体编码器202的框图。图2中的媒体编码器用于执行图1中方法的一个或多个块。图2中的媒体编码器执行的图1中的方法改善了视频和/或静止格式的数字图像的压缩性能，同时不会显著降低图像质量，例如结合图12A至12I的描述。应注意，除了所描述的编码功能之外，或者不用所描述的编码功能，所述编码器202可以用作系数解码器。解码功能基于所描述的编码功能，但为清楚和简洁起见予以省略。
应注意，为清楚和简洁起见，结合用于计算变换系数(如此处所述)的元件和/或方法来描述所述媒体编码器202。所述媒体编码器202可以包括其他编码组件且/或与其他编码组件通信，例如，图10中的图像编码器/解码器1004，和/或模块218和220。
所述媒体编码器202包括与一个或多个存储器206(或其他类型的计算机可读存储介质)通信的一个或多个处理器204。所述存储器206存储所述处理器204执行的程序指令，且可存储如此处所述的处理期间使用的数据。所述媒体编码器202可以实现为在现有图像压缩软件程序中实现的软件模块，实现为与现有硬件集成以进行图像压缩的芯片、插入现有设备以改进图像压缩的单独盒或其任意组合。所述处理器204可基于平行处理技术执行所述方法的步骤，可使用单个处理器且/或可以远程定位。平行处理可用于预定义的旋转对称掩码集中的各候选掩码，从而选择用于分割块的最佳掩码。所述一个或多个存储器206可远程定位。
所述媒体编码器202提高了压缩图像和/或视频的效率，且减少了压缩图像和/或视频的资源需求(如存储器资源和/或处理器资源)，从而改善了系统性能。
在块102中，接收帧和/或块。所述媒体编码器202与用于接收帧210和/或所述帧的块的输入数据接口208耦合。所述帧210可以作为静止数字图像接收，或作为包括多个帧的视频的一部分接收。当从视频中接收所述帧210时，可以应用如此处所述的图像间压缩技术。
所述媒体编码器202用于指定在帧中分割的块。可选地，块指定模块212A包括用于所述媒体编码器202执行此处所述的指定的程序指令。
所述帧可划分和/或分割成多个块。所述帧可以分割成多个块，每个块的尺寸相同，例如，由如联合活动图像专家组(Joint Photographic Experts Group，简称JPEG)等标准定义的尺寸。或者，所述帧可以划分为尺寸不同的子块，例如基于视频和/或静止图像标准划分，如HEVC和运动图像专家组(Moving Picture Experts Group，简称MPEG)。
块可以有标准尺寸，如64×64像素、32×32像素、16×16像素、8×8像素、4×4像素或其他尺寸。
块可以为正方形(L×L像素)或矩形(M×N像素)。
块可以表示亮度和/或色度数据。
可选地，在块103中，将所述帧的每个块细分为子块。可以将所述帧预分割成块，例如基于如JPEG、MPEG或HVEC等标准分割。每个分割块(或子块)可进一步迭代地划分为附加子块。所述块细分基于某个标准，实现了基于某个标准集成媒体编码器和系统，从而进一步改善系统性能。
如此处所述，块划分可由用于执行块划分和/或决定块划分的块划分模块212G来执行。
进行细分的决定基于效率指标的满足，如结合块105的描述。所述效率指标将基于所选掩码以及块的分割编码块的效率和编码旋转对称块对的效率与编码细分块的效率相比。所述效率指标指导系统改善压缩性能。所述效率指标有助于决定何时使用掩码分割块比迭代地细分块更有效。将掩码应用于整个块有时比将块细分为子块(如基于四叉树结构)更好(例如，改善了压缩性能)。与用于整个块(其包含两部分)的掩码相比，当对块进行子划分时，可能使用更多比特来用信号通知该结构，这可能带来更少的变换系数(如压缩的改进)。
每个迭代期间，基于块104处理每个细分块。
此外，决定对每个整块(或细分块)进行编码，或将掩码应用于所述块(或所述细分块)。
可以基于效率指标决定是否对所述整个块或细分块进行编码，或者是否应用掩码并对旋转对称块对进行编码。可以计算或估计每种情况的效率指标，其中，基于编码方法做出的决定产生的效率最高。
现参考图13，其为本发明一些实施例提供的具有例如JPEG标准所定义的固定尺寸的块的图像示例。可基于应用所选掩码和编码所生成的旋转对称块对来编码每个块。或者，可对每个块进行整体编码，例如，基于JPEG标准定义的块编码方法进行整体编码。块1302为使用基于标准的方法编码的16x16块的一个示例。块1304为基于应用具有分割线1306的掩码以及对所生成的旋转对称块对进行编码而编码的16×16块的示例。
现再次参考图1，在块104中，选择旋转对称掩码。掩码选择模块212B包括用于所述媒体编码器202执行此处所述的掩码选择的程序指令。
可选地，相对于掩码的块的中心，所述旋转对称掩码具有阶数2(此处有时称为C2，表示旋转对称性保持在360/2＝180度)的旋转对称性。
现参考图3，其为本发明一些实施例提供的描述旋转对称掩码的一些示例的示意图，例如，直角梯形302、直角三角形304、矩形306和正方形308。
现再次参考图1，所述媒体编码器用于从多个旋转对称掩码中选择针对所指定的块的旋转对称掩码，其中，所述多个旋转对称掩码定义了具有所述块的尺寸和形状的多维空间中的多种不同的旋转对称性。
现参考图4，其为本发明一些实施例提供的描述选择针对帧406内的块404的旋转对称掩码402的示意图。所述帧406包含房子的图像。所述块404的一部分为房子屋顶，另一部分为天空。所述掩码402基于某个压缩优先级指标(如速率失真)和/或最佳地将天空与房子分开的视觉特征边界和/或边缘，从多个可用掩码410的集合中进行选择。从对未选择掩码的目检可以明显看出，与使用掩码402相比，使用任何其他掩码，屋顶部分会包括更多的天空部分，并且天空部分会包括更多的屋顶部分。与通过标准分区408或其他掩码对整个块404进行压缩相比，通过掩码402将块404进行划分改善了图像压缩。
现再次参考图2，所述媒体编码器202用于从包括多个不同旋转对称掩码的旋转对称掩码库中选择旋转对称掩码。所述旋转对称掩码可以从存储在旋转对称掩码库212F中的多个掩码中进行选择，可选地，从存储在存储器206上以及存储在与处理器204通信的其他计算机可读存储介质上的多个掩码中进行选择。
所述库212F可存储多个不同的旋转对称掩码库。每个库均可基于块的尺寸和/或形状，例如，一个库是针对尺寸为16×16像素的块的掩码，另一个库是针对尺寸为8×8像素的块。
可选地，不同的旋转对称掩码为具有所述块的尺寸和形状的正方形掩码(即LxL像素)；或者，不同的旋转对称掩码为具有所述块的尺寸和形状的矩形掩码(即MxN像素)。
所述旋转对称掩码用于定义连接矩形或正方形对边的线，以将相应的矩形或正方形块分割成两个2D镜像互补部分。可以基于二维镜像条件来定义不同的线。所述线可以是线状或其它形状，例如，阶梯状或其它任意形状。所述线可以以0-359度中的任意角度或部分角度倾斜。2D镜像属性带来了高效的块压缩。
现参考图5A至5C，其为本发明一些实施例提供的描述用于定义旋转对称掩码的像素2D镜像。
图5A描述了一般的2D镜像概念。以示出的尺寸为8×8像素的块502为例。区域A和区域B被水平穿过所述块502的中间的虚线504分开。区域A和区域B中数量相同的像素是彼此的2D镜像。对于M×N矩形，像素2D镜像可以广义化：当像素(m，n)在区域A时，则像素(M-1-m，N-1-n)在区域B。
应理解，所述2D镜像概念可以应用于不同尺寸的其他正方形或矩形。应理解，所述2D镜像概念可以针对不同倾角的其它虚线来描述，例如，垂直虚线，区域A和B由垂直穿过所述块502的中间的虚线来限定和分割。
连接块502对边并且穿过块502的中心点的多个不同线用于形成旋转对称掩码库，如图5B和5C所示。每条独立线定义一个单个掩码。每条线将所述块502分割成两个互补部分：区域A和区域B。
可选地，不同的旋转对称掩码由相应的矩阵定义(例如，每个像素位置由矩阵中的位置表示)。每个矩阵定义区域A和B的不同分割，例如，连接二维空间对边的线将二维空间分割成两个互补部分。
应注意，可以使用其他维度空间，例如三维、四维或更多维度。旋转对称掩码定义为用于分割相应的多维空间，例如，用于分割三维空间的平面。
应注意，当线经过样本位置时，不需要子采样，因为完整样本可以分配给区域A并且从区域B移除。通过对区域A的添加以及从区域B的移除，可以减少计算资源(如处理器资源和/或存储器资源)，而不是例如对每个相应区域执行完整的一组计算。现参考图6A至6C，其为本发明一些实施例提供的旋转对称掩码库的一些示例。图6A为用于分割尺寸为32×32像素的块的掩码库的示例，图6B为用于分割尺寸为16×16像素的块的掩码库的示例，图6C为用于分割尺寸为8×8的块的掩码库的示例。
图6A至6C中的旋转对称掩码基于倾斜线，所述倾斜线将块分割成两个梯形区，由掩码的暗色(如蓝色)区602和掩码的亮色(如红色)区(604)表示。库中的每个掩码均有倾角稍不同的线。总之，所有掩码定义块内的倾斜线的所有不同排列。基于倾斜线切割，有2x(L-1)种不同方式分割尺寸为L×L的正方形。
图6B中，有平行线穿过掩码606A和606B，表示将掩码606A和606B从32个掩码的集合中移除，以基于前面段落中的等式形成一个30个掩码的集合。由于镜面对称性，这两个掩码是现有掩码的双倍，因此可以从生成的集合中移除。类似地，图6C中有两个双倍掩码具有平行线，表示从集合中移除冗余掩码。
可选地，将不同旋转对称掩码(其可以存储为一个或多个库)中的每一个旋转对称掩码通过分级排列的方式进行映射。分级排列可以减少处理时间和/或资源以识别最佳掩码。
每个库可以独立映射，每个相应库的掩码可以通过分级排列的方式进行映射；或者，基于相同的分级排列将一个或多个库映射在一起。基于相同的公共分级排列来映射每个库内的掩码。
将掩码集合分成单独的不相连部分。所述分级排列可以基于相对于二维空间的边的线的角度，例如，分级排列可以映射图6A至6C中的线。例如，将图6A至6C中的线分成0-60度的组、61-120度的组和121-180度的组。当为对称线和/或非对称线时，所述分级排列可以继续映射181-240度、241-300度和301-360度。所述分级排列可以是分层的，例如，0-60度的组被进一步细分为0-15度的组、16-30度的组、31-45度的组和46-60度的组。
现参考图7，其为本发明一些实施例提供的通过图表描述分级排列的示意图。
所划分的圆702生动地描绘了掩码库706的分级排列示例。所述库706包括针对尺寸为16×16的块的倾斜线掩码，如结合图6B的描述。所述圆702分成区域704A至704H，每个区域代表45度的线倾角。倾斜线掩码的对称特性简化了分级排列，将扇区704A与704E分成一组(显示为扇区708C)，将704B与704F分成一组(显示为扇区708B)，将704C与704G分成一组(显示为扇区708A)，将704D与704H分成一组(显示为扇区708D)。708A至708D中的每个扇区均包括8或7个掩码，其中，所述掩码具有相应角度范围内的线倾斜角。
可选地，所述媒体编码器用于以根据所述分级排列定义的顺序在不同旋转对称掩码中的至少一些旋转对称掩码中迭代地选择所述旋转对称掩码。例如，参考图7，在具有等式22.5+45k定义的中心角的四个代表性分区708A至708D中进行搜索，其中k＝0,1,2,3，且跨度为45度。可以基于由适当函数计算得到的最低成本来选择该部分，例如，最低速率失真指标。可以通过类似的方式选择所选部分内的掩码。当分级排列包括附加等级时，可以通过迭代方式搜索附加等级，直到识别出掩码。
现参考图8，其为本发明一些实施例提供的描述旋转对称掩码的生成和/或表示的示意图。可选地，基于包含掩码的块内的不同排列生成掩码库。
例如，对尺寸为LxL的块的掩码生成进行描述，所述尺寸可延伸为MxN。可以从左上角开始生成掩码，然后朝向块中心继续进行。移动的组合可以为2D镜像，从而获得从块中心到右下方的剩余掩码图案。
可以通过每次移动的二进制表示来描绘掩码。每次移动要么为水平移动(即从左到右)，要么为垂直移动(即从上到下)，由1(如向右一步)和0(如向下一步)表示。可以原样传输所述二进制掩码表示，或者进一步压缩所述二进制掩码表示。所述二进制表示带来了高效的掩码传输(即在处理器和/或存储器资源利用率方面)，例如，从编码器传输至解码器。
集合中的每种排列均可由共2xL的移动来定义。
掩码802由二进制模式804表示，掩码806由二进制模式808表示。
现参考图9，其为本发明一些实施例提供的选择用于分割块的旋转对称掩码和/或掩码库的计算机化方法的列表(如流程图)。可以基于块生成掩码和/或掩码库(如提前生成和/或动态生成)，而不是选择掩码和/或掩码库。所述媒体编码器202用于执行所述方法的一个或多个块。可执行所述方法的一个或多个块来选择掩码。所述块可以任何顺序执行和/或同时执行。
此处所述的一种或多种选择方法(顺序和/或并行执行，可选地，组合执行)可作为选择掩码库内的某个掩码的基础。此外，所述选择方法可以用于首先从多个掩码库中选择某个掩码库，并且/或者从所述库中选择掩码子集。可以从所选库和/或所选子集中选择某个掩码。逐步和/或分级选择可以减小每个步骤中进行选择的集合大小，减少用于选择的资源和/或计算，从而减小搜索范围。
从库(或掩码子集)而非从较大的候选掩码集中选择掩码减少了用于将所选掩码以信号通知给解码器的已编码比特数，并且/或者降低了计算复杂度且/或减少了存储器资源和/或处理器资源。
可选地，在块902中，基于块的尺寸和/或形状选择库和/或掩码。如此处所述，可以从所选库中选择掩码。
此外，在块903中，所述媒体编码器还用于从多个旋转对称掩码和/或掩码库中选择旋转对称掩码和/或掩码库，每个旋转对称掩码和/或掩码库均是针对细分块的不同尺寸进行定义的。每个迭代期间(如结合箭头105C的描述)，当块(或子块)再分为其他子块时，可基于所划分子块的新尺寸选择掩码和/或掩码库。例如，可基于对应于32x32像素的块尺寸的掩码尺寸选择第一掩码库。当块被细分为四个子块时，可基于新的子块尺寸16x16选择另一个掩码库。当一个或多个子块被再次划分，则基于新的子块尺寸8x8选择再一个掩码库。
此外，在块904中，所述媒体编码器还用于基于针对以下但不一定限于以下列表的任何一种或多种的压缩优先级从多个旋转对称掩码和/或掩码库中选择旋转掩码和/或旋转对称掩码库：块、条带、编码区块、帧和序列。
所述压缩优先级包括一个或多个参数，其中，所述参数定义应用某个掩码时块的压缩优先级。可以针对每个掩码和/或每个掩码库来定义压缩优先级。
可以估计所述压缩优先级，例如，可以基于先前收集的掩码和/或库的统计数据来估计。或者，可以计算所述压缩优先级，例如，将一个或多个候选掩码应用到块中来计算。
当所述压缩参数涉及某些权衡时，例如，以降低质量为代价来减小尺寸，所述压缩优先级可有助于掩码选择。
所述压缩优先级单独地或者以组合方式从以下一种或多种中选择：
*压缩复杂度优先级：涉及用于基于掩码进行压缩的处理资源的指标，如计算数量、处理器资源和/或存储器资源。所述指标可能取决于执行所述方法的特定计算机。
*压缩质量优先级(如图像失真)：基于掩码的压缩是有损操作，降低了块的视觉质量。人眼视觉上能够或不能够辨别该质量下降。所述压缩质量优先级可以基于与信息丢失有关的指标来确定，例如峰值信噪比(peak signal to noise ratio，简称PSNR)和/或结构相似度(structural similarity index measurement，简称SSIM)，所述信息丢失是基于掩码的压缩造成的。
*压缩尺寸优先级：基于所选掩码压缩后的块的尺寸(如比特数)。
可选地，所述媒体编码器用于根据块压缩复杂度优先级、块压缩尺寸优先级和块压缩质量优先级组成的组的成员自动生成旋转对称掩码库。所生成的掩码库的压缩优先级标准是已知的，从而容易和/或快速地选择所述库。与生成所有可能的排列相比，所生成的库中的掩码数可能较小，因为只包含了满足压缩标准的掩码。
将每个掩码与压缩优先级进行关联，例如存储压缩优先级值、匹配压缩优先级值和/或以压缩优先级值作为标记。可将每个掩码与一个或多个指标进行关联以计算压缩复杂度优先级、压缩质量优先级和/或压缩尺寸优先级。
可选地，将不同旋转对称掩码中的每一个旋转对称掩码与估计的复杂度指标进行关联，其中，所述复杂度指标指示在具有相应掩码的尺寸和形状的示例块上应用相应掩码的计算复杂度。估计的复杂度指标较低的掩码估计需要较少的资源(如处理器资源和/或存储器资源)。基于估计结果的掩码选择提高了系统效率，并且/或者使用较少的资源。
可选地，将不同旋转对称掩码中的每一个旋转对称掩码与估计的失真指标进行关联，其中，所述失真指标指示在具有相应掩码的尺寸和形状的示例块上应用相应掩码产生的压缩失真等级。估计的失真指标有助于基于有损压缩权衡进行掩码选择，例如，选择视觉上不可辨别的压缩失真等级的掩码，其也产生更高的图像压缩。估计的失真指标较低的掩码估计需要较少的资源(如处理器资源和/或存储器资源)，同时达到目标压缩失真等级。
可选地，所述媒体编码器用于基于块的压缩优先级来选择旋转对称掩码。可选地，从压缩复杂度优先级、压缩质量优先级和压缩尺寸优先级中的一个或多个中选择所述压缩优先级。
此外，在块906中，基于包含接收到的帧的预处理视频数据来选择掩码。视频数据的预处理可由所述媒体编码器执行，由与所述媒体编码器连接的其他计算机执行，或者由独立于所述媒体编码器(如远程定位到的媒体编码器)的其他计算机执行。所述预处理数据可以独立于所述帧单独传输给媒体编码器，和/或同所述帧一起传输(例如，将数据标记到所述帧上)给媒体编码器。
所述预处理可以基于视频的帧内容的一个或多个已识别特征，例如，像素图案、像素边缘、像素强度和像素颜色的统计分布。可以基于预处理结果对视频数据进行预分类。所述分类可以基于所识别的特征，所述特征用于选择掩码和/或掩码库。视频数据的预分类改善了系统性能，因为基于所述分类可以更有效地选择掩码且/或使用较少的资源。
可选地，所述媒体编码器用于基于所述视频数据的分类从多个候选旋转对称掩码和/或掩码库中选择旋转对称掩码和/或掩码库。例如，所述预处理可以识别出视频包含具有许多直线的帧，例如，房子图像、车子图像或其他人工结构的图像。由于包含直线，所述视频数据可以分类。可以选择直线(即不同角度)掩码库。在另一示例中，所述预处理可以识别出视频包含具有许多曲线的帧，例如，树、树枝和地形图像。由于包含曲线，所述视频数据可以进行分类。可以选择曲线掩码库(即可以选择基于曲线离散的阶梯线)。
如此处所述，内容的预处理可以为基于预测的编码提供信息。
可选地，所述媒体编码器用于基于预处理的视频数据自动生成旋转对称掩码和/或掩码库。可以根据一个或多个压缩参数从含有不同旋转对称掩码的掩码库中选择不同的旋转对称掩码：压缩复杂度优先级、压缩尺寸优先级和/或压缩质量优先级的预处理结果。可以从所述视频数据中计算所述压缩参数。
视频数据的预处理可以改善编码器的性能。可以预先而不是在压缩期间进行资源重计算。可以准备好作为掩码选择基础的数据，从而在块压缩处理期间更快的选择掩码，而不是在压缩处理期间进行掩码选择计算。
此外，在块908中，所述媒体编码器用于基于变换处理的结果和/或施加在两个互补部分中的至少一个部分的变换处理的结果估计来选择所述旋转对称掩码。基于结果和/或估计结果的掩码选择提高了系统效率，并且/或者使用较少的资源。
变换处理的结果可包括变换处理后的互补部分的一个或两个部分的尺寸(如大于某个阈值的变换系数的绝对值的数量和/或绝对值之和)。可以选择使得变换处理后的部分的尺寸最小的掩码。可以计算针对一个或两个部分的所述尺寸，如两个部分的尺寸之和。
变换处理的结果估计可以包括作为变换处理的输入的残差数据的绝对差和(sumof absolute difference，简称SAD)。
变换处理的结果估计可以包括沿残差数据的水平和/或垂直方向的第一、第二和/或高阶导数的绝对值之和。
所述估计可以基于来自使用相同掩码预先编码部分的值。
所述变换处理的结果可以由已知的变换处理进行估计，例如，压缩标准定义的变换处理。
此外，在块910中，所述媒体编码器用于基于施加在旋转对称块对中的至少一个成员的变换系数上的量化处理和/或熵编码处理的结果和/或结果估计来选择所述旋转对称掩码块。
可以选择使得量化和/或熵编码处理后的部分的尺寸最小的掩码，例如，分别为量化后的非零系数的数量和/或所产生比特中的尺寸。可以计算针对一个或两个部分的所述尺寸，如两个部分的尺寸之和。
所述估计可以基于来自使用相同掩码预先量化和/或熵编码部分的值。
此外，在块912中，所述媒体编码器用于根据块中的像素图案选择所述旋转对称掩码。可以从所述块中提取所述像素值图案，例如，可以使用图像分割法，如用于基于如强度阈值以及边缘检测来定位边界和/或边缘的方法，或其他合适的方法进行提取。所述像素值图案可包括块中已识别的方向，和/或线的形状(如曲线)。所提取的像素图案可以与某个对称掩码进行匹配，例如，基于最低成本函数匹配，从而识别具有与所提取的像素图案最相似的图案的掩码，如与块的已识别线的方向和/或图案相同的匹配掩码。基于像素值图案的选择产生两个互补部分，其中，两个互补部分中的每一相应部分彼此相似，例如，相似的强度和/或颜色。
例如，再次参考图4，基于边缘检测方法提取所述块404中屋顶和天空之间的边缘。基于成本函数将所检测到的边缘映射到所述掩码402。所述掩码402内的图案是与掩码库中提取的边缘最相似的图案。
此外，在块914中，基于所估计的比率指标选择所述旋转对称掩码，其中，所估计的比率指标指示将某个旋转掩码应用到具有正在处理的块的尺寸和/或形状的示例块中时所传输的比特数。比特数越小表示使用某个掩码的压缩越有效。将不同旋转对称掩码中的每一个旋转对称掩码与估计的比率指标进行关联，其中，所述比率指标指示将掩码应用到具有所述尺寸和形状的示例块时所传输的比特数。
所述比率指标可以存储在每个掩码中，使得基于所估计的比率指标值快速地选择掩码。可以预先计算每个掩码的所述比率指标，而不是在运行时间内再次计算，从而减少选择所需的计算。可以基于示例块计算所述比率指标，所述示例块可以为基于前面样本块的平均值(或其他指标)的预定义块。所述示例块可以基于与正在处理的块的相似性从块库中选择，例如基于成本函数选择。
此外，在块916中，所述媒体编码器用于基于统计分类器来选择所述旋转对称掩码。所述统计分类器是通过对应用不同旋转对称掩码中的至少一些旋转对称掩码的训练集记录结果进行分析而生成。所述结果(其可以加权)可以包括例如压缩性能指标(如尺寸、复杂度和质量)、处理器资源利用率和存储器利用率。所述统计分类器可以基于包括多个不同预期结果的结果预测来改进掩码选择。
可以基于系统处理过的实际帧的历史数据获得所述训练集。或者，可以基于将要处理的帧的类型的预测获得所述训练集，例如，自然信道可以使用自然视频来训练分类器。
分类结果可以用作输入，以进一步训练和更新所述分类器。
可以基于监督学习和/或无监督学习方法来训练所述统计分类器。
所述分类器可以应用于块本身，以将块内的像素划分到两组中的一组。所述两组可基于旋转对称掩码的旋转对称约束来划分。选择掩码以匹配所述两组在块内的排列。使用掩码分割块产生的两个互补部分中的每一部分均包括来自相应组的像素。
此外，在块918中，所述媒体编码器用于基于从空间和/或时间邻块中提取的内容选择所述旋转对称掩码。所述邻块可以为图像内块和/或图像间块。空间块可以为相对于块的一个、几个或所有方向上的块的邻块。时间邻块可以为来自先前帧(例如，时间上较早)和/或后续帧(例如，时间上较晚)的邻块。各块可以是直接相邻，或者相隔两个或两个以上的块。将包含相似像素图案的相邻块用作预测块改善了系统性能并且/或者需要较少的资源。
可选地，相邻块包括预先处理的块。所述预先处理的块可以用作预测块，用于选择针对当前正在处理的块的掩码。可选地，基于与块的空间和/或时间邻块相关联的信息选择旋转对称掩码。可选地，所述与空间和/或时间邻块相关联的信息与预测相关。例如，所述信息可以包括用于减少正在处理的当前块与一个或多个邻块之间的差异的数据，没有冗余信息。所述掩码可基于差异数据来选择。
可选地，根据空间和/或时间邻块中的像素值图案提取内容。相邻块的像素图案可以用作用于选择当前块中的掩码的预测块。例如，像素图案包括屋顶和天空之间的边界和/或边缘(如结合图4的讨论)。屋顶和天空之间的边缘继续穿过几个相邻块。基于预测块的编码提高了系统效率，并且/或者使用较少的资源。
此外，在块920中，所述媒体编码器还用于基于至少一种效率准则从旋转对称掩码库中选择所述旋转对称掩码。基于系统性能的提高选择针对正在处理的块的旋转对称掩码，且通过在其它掩码上选择掩码实现。效率准则的细节结合块105进行描述。
现再次参考图1，在块105中，所选对称掩码用于变换块(或子块)时，评估所述块(或子块)的效率指标。此外，基于一个或多个效率指标标准从掩码库中选择某个掩码。
所述效率指标可以包括用于获得实际结果和/或结果估计的计算。可以执行所述计算和/或估计来评估应用或者不应用掩码的效果。若不应用掩码，可以执行所述计算和/或估计来评估编码原样块(或子块)的效果或者将块(或子块)划分为附加块的效果。可以独立地计算每个块的效率指标，或者效率指标可以作为所划分块的所有子块的性能组合。
基于标准或非标准指标，所述效率指标可以包括压缩块的编码比特数。可以通过激活整个编码信道(或编码信道的一部分)计算实际结果，包括执行变换功能、量化功能和熵编码功能的一个或多个组件。所述编码信道可以使用和/或不使用所应用的掩码来计算子块的已编码比特，以比较相对性能。所述编码信道可以使用不同的掩码来计算子块的已编码比特，以比较每个掩码的性能。所述编码信道的激活在权衡了占用的编码信道资源的情况下提供了精确的效率指标值。
所述效率指标可包括如此处所述的压缩参数，例如，结合图9中的块904。
可选地，在箭头105B处，当满足效率指标时，继续对块进行处理，如结合块106的描述。效率指标的满足是指与不应用掩码对整个块进行编码相比，通过掩码分割块并且对旋转对称块对的每个成员均进行编码时，预期该块的压缩性能会改善(如此处所述)。
或者，在箭头105C处，当不满足效率指标时，所述媒体编码器可以将块作为整个块进行编码且/或将细分块迭代地细分为多个附加细分块，从而遵循标准(如HEVC)方法，例如结合块122的描述。可选地，基于块103，所述媒体编码器对多个附加细分块中的每一个附加细分块重复进行所述迭代细分。
迭代块子划分可以基于树结构，例如，由MPEG和/或HVEC标准定义的四叉树结构。所述树结构由某些标准使用，从而允许基于某个标准将所述媒体编码器集成到系统中，以改善系统性能。
可选地，所述媒体编码器用于：使用对多个块中的每个块的细分进行映射的树结构，以支持所述迭代细分。可以通过添加两片叶来使用旋转对称块对更新所述树结构，其中，每片叶表示旋转对称块对的一个成员，例如，结合图14和图15的以下描述。
可选地，选择和/或控制可以应用掩码对块进行编码的树的(即子块尺寸)等级。可选地，当树结构中的细分块的深度大于预定义阈值时，所述媒体编码器用于分割所述细分块。继续进行子划分迭代，直到识别了针对相应块的适当掩码，或者达到了最小子块尺寸阈值，例如，4×4像素或8×8像素。所述最小尺寸阈值可以由图像和/或视频压缩标准定义。
可选地，所述媒体编码器还用于将块细分为各种数量的细分块，以形成不同尺寸的不同细分块，例如，结合图14和图15所示。
现参考图14，其为本发明一些实施例提供的描述基于树结构的块的迭代细分的示意图。块1402为帧或帧的块分区。所述块1402已细分为四个子块。有一些子块已进一步划分为四个附加子块，形成了不同尺寸的不同细分块。某些子块通过应用所选掩码进行处理。线性倾斜虚线图案描绘了掩码分割线。其他子块被整体编码，这由虚线的缺失来描绘。
树1404代表所述块1402的迭代子划分，所述树1404的一组四个分支代表将块划分为四个子块的子划分。子块到四个附加子块的迭代划分由另一组四个分支分别描绘。叶代表子块划分的最后阶段。被掩码进一步分割成两个互补部分的子块由两个虚线叶表示，所述两个互补部分作为旋转对称块对进行处理。
现参考图15，其为本发明一些实施例提供的描述基于树结构的块的迭代细分的另一示意图。块1502与图14中描述的块1402类似，除了应用了包含阶梯切割线的掩码库中的掩码。由阶梯掩码分割的子块由镜像部分表示，其中一部分由黑色填充。树1504与图14所描述的树1404类似。由阶梯掩码分割的子块由两个虚线叶表示。
现再次参考图1，在块106中，基于所述旋转对称掩码将块分割成两个互补部分。可选地，块分割模块212C包括用于所述媒体编码器202执行此处所述的分割的程序指令。
在块108中，生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分。可选地，对生成模块212D包括用于所述媒体编码器202执行此处所述的对生成的程序指令。
所述媒体编码器用于基于所述两个互补部分中的一个部分和用于形成具有块的尺寸和/或形状的块而添加的其他部分生成所述旋转对称块对的每一成员。
可选的，所添加部分是构成所述旋转对称块的部分的2D镜像。
可选的，所添加部分是构成所述旋转对称块的部分的2D镜像，但添加有负号。此时，所述旋转对称块包含两个反对称部分。
可选的，所添加部分包括使用预定义序列如全零序列的填充。
可选的，所添加部分是基于对构成所述旋转对称块的部分进行180度旋转而生成的。
可选地，所添加部分的维度基于互补部分的维度，例如二维。
所生成的旋转对称块对中的每个成员均由矩阵表示，其中，所述矩阵具有基于所选掩码在主对角线或其他切割线图案周围进行2D镜像而得到的值。
可选地，所述媒体编码器用于将所述旋转对称块对添加到数据集中，其中，所述数据集包括由帧的至少一些块生成的多个旋转对称块对。所述数据集可以包括旋转对称块，以及整体处理的较大块或子块迭代细分生成的子块。或者，所述数据集只包括旋转对称块，而整体处理的子块分别存储到其他数据集中。所述数据集可以作为对数据集存储库212H来存储，用于存储如此处所述的对和/或标准块。
可选地，在块109中，对所述旋转对称块对中的一个或两个旋转对称块进行处理，以进行空间预测和/或时间预测，例如，由预测模块212G进行预测。可以进行时间预测，以进行图像间编码。可选地，在视频编码过程中，基于重建图像进行预测。所述重建图像可以由经过逆量化、逆变换和解块过滤的量化后系数进行创建。应注意，块109可以在块116(即基于量化后系数)和/或块118后部分或全部执行，且/或在编码过程中的其他位置部分或全部执行。
可选地，将所述对旋转对称块的每个成员与不同的空间预测块进行关联。或者，将所述对旋转对称块的两个成员与相同的空间预测块进行关联。
可选地，进行空间预测，以进行图像内编码。可以基于图像内预测对所述旋转对称块对的一个或两个成员进行编码。
可选地，所述媒体编码器用于使用空间预测块对所述变换系数(例如，结合块110所述的变换系数)中的每一个变换系数进行编码，其中，所述空间预测块是根据用于生成相应的旋转对称块对的相应旋转对称掩码进行选择的。可选地，基于所选掩码选择一个或一组最可能的预测块，例如，基于所述掩码选择如H.265标准所定义的方向模式。此外，所述媒体编码器用于使用某个相应的空间预测块对(旋转对称块对的)每个旋转对称块进行独立编码。根据每个相应的互补部分选择每个相应的空间预测块。可以基于掩码切割线方向和/或基于每个相应的互补部分从用于形成预测信号的空间邻块中获得边界样本。由于已选择了掩码将块的内容划分成两个互补部分，因此，预期每个部分内容的预测块驻留在每个相应互补部分附近。由所选择的掩码引导和/或基于相应的补充部分时，预测块的选择可能更加精确，并且/或者预测块的选择使用较少的资源(或在较少的时间内完成)。使用预测块时，能更有效地编码每个旋转对称块。与编码未被分割成所述旋转对称块对的单个块相比，编码所述旋转对称块对更有效。
此外，在图像间进行空间预测。可以基于图像间预测对所述旋转对称块对的一个或两个成员进行编码。可以针对所述旋转对称块对的每个相应成员计算不同的运动矢量，或者可以对该对使用相同的运动矢量。所述媒体编码器用于使用某个相应运动矢量对每个旋转对称块进行独立编码。可以根据每个相应的互补部分选择每个相应的运动矢量。
现参考图22A和22B，其为本发明一些实施例提供的描述空间和/或时间预测的示意图。
图22A描绘了针对每个旋转对称块和/或两个互补部分中的每一部分的独立空间图像内预测块。主块2202已细分为四个子块2204。已为某子块2204A选择了具有对角切割线2206的掩码，分成了上部2208A和下部2208B。从相应互补部分计算旋转对称块对的每个成员(为清楚起见，未示出)。在此示例中，为上部2208A选择了垂直图像内预测块2210，为下部2208B选择了水平图像内预测块2212。
图22B描绘了针对每个旋转对称块和/或两个互补部分中的每一部分的独立时间图像间预测块。所述块2204A(如结合图22A的描述)在正被处理的当前帧2220中进行了描绘。帧2222为用于生成如运动矢量等的预测值的参考帧。将所述帧2222的2228A部分选作块2204A的上部2208A的预测块，运动矢量表示为MVx＝MVy＝0。将所述帧2222的2228B部分选作块2204A的下部2208B的预测块，运动矢量表示为MVx＝-5and MVy＝1。
每个部分和相应预测块的差异(即相应残差)可以用作两个互补部分中的一个部分，从而生成相应的旋转对称块，然后可以编码所述旋转对称块。可以针对时间预测块、空间预测块、帧内预测块和帧间预测块中的一个或多个来计算残差。应注意，时间预测基于帧间数据，而空间预测基于帧内数据。
现再次参考图1，在块110中，计算所述旋转对称块对中的一个或两个成员的一个或多个变换系数。可选地，计算每一个旋转对称块的变换系数。可选地，系数计算器212E包括用于所述媒体编码器202执行此处所述的变换系数计算的程序指令。
可以基于一个或多个基于标准的计算方法、基于一个或多个编码技术和/或基于专有方法来计算所述变换系数。编码技术的示例包括二维(two dimensional，简称2D)离散余弦变换(discrete cosine transform，简称DCT)，其可以例如基于沿每个维度应用的两个可分离的快速DCT来计算。例如，当所述旋转对称块由矩阵表示时，2D-DCT可以沿行然后沿列来计算，或者沿列然后沿行来计算。变换方法的其他示例包括：2D离散正弦变换(discrete sine transform，简称DST)和维持2D镜像条件的其它正交和/或标准正交变换方案，例如：
Tp,q(M-m-1,N-n-1)＝(-1)(p+q)Tp,q(m,n)
其中，{Tp,q(m,n)}为2D变换基础；(m,n)为像素位置，且m＝0,1,…,M-1，n＝0,1,…,N-1，p和q为空间频率，且p＝0,1,…,M-1，q＝0,1,…,N-1；对于对称性和反对称性情况，p+q要么为偶数要么为奇数。
基于标准的编码技术的一个示例为用于整体变换和/或逆变换的HEVC标准和/或H.265标准。
可选地，当2D镜像部分添加有负号(即反对称)时，计算两个互补部分中的每一部分的正交变换系数集。用于计算变换系数的对称和反对称函数的集合可以不同。当计算变换系数时，使用相应的对称或反对称变换函数。
现参考图16A和16B，其为本发明一些实施例提供的描绘从上部(图16A)和下部(图16B)分割部分产生的8x8旋转对称块的2D DCT标准正交矩阵。该块已应用具有对角切割线的掩码进行了分割。
正交性表示来自集合的两个矩阵中的每一个矩阵之间的内积为0，并且当在每个矩阵与其自身之间计算时，所述内积值为1的属性。第ij个DCT系数由第ij个8x8矩阵和8x8输入块m之间的内积计算，其中i＝0,1,..,7且j＝0,1,…,7。例如，使用左上矩阵(i＝0，j＝0)来计算上面三角块的DCT系数，该左上矩阵实际上是对8×8输入块的右上三角形求和。应注意，每个图中的亮色(绿色)区域与旋转对称块的非相关区域相关。
可选地，所述媒体编码器用于使用适用于旋转对称掩码的相应部分的一个或多个空间预测块编码所述变换系数。可针对从预测块产生的旋转对称块、针对预测向量、针对预测误差和/或针对预测残差来计算变换。可以基于正在被处理的旋转对称块中的部分和相应预测块之间的差异计算针对时间和/或空间块(即图像间块和/或图像内块)的所述预测残差。
可选地，所述媒体编码器用于使用适用于旋转对称掩码的相应部分的一个或多个时间预测块编码所述变换系数。此外，所述媒体编码器用于使用与相应部分相关的空间预测块对每一个旋转对称块的变换系数进行编码。此外，所述媒体编码器用于使用与相应部分相关的运动矢量对旋转对称块对中的每一个旋转对称块的变换系数进行编码。所述运动矢量可以用于计算时间预测。可选地，在视频编码过程中，基于重建图像进行预测。所述重建图像可以由经过逆量化、逆变换和解块过滤的量化后系数进行创建。
应注意，可以基于用于所有变换系数的一种方法、用于不同变换系数(或变换系数集合)的不同方法和/或所述方法的组合来计算变换系数。
可选地，所述媒体编码器用于使用适用于旋转对称掩码的熵上下文模型编码变换系数。可以基于对所选掩码的理解来定义所述熵上下文模型，从而使用无损数据压缩对变换系数进行编码，例如，基于哈夫曼编码和/或算术编码进行编码。由于编码器事先知道掩码的熵特性，可以计算得到更简单的代码。
所述熵上下文模型可以为专有设计的模型和/或基于标准的模型，例如，基于上下文的自适应二进制算术编码(context-adaptive binary arithmetic coding，简称CABAC)模式，如H.265/HEVC标准、H.264/MPEG-4标准或其他标准的CABAC。
在块112中，为进一步的处理、存储和/或传输提供所计算得到的变换系数。可选地，输出输入接口214与所述媒体编码器202耦合，用于提供如此处所述的计算得到的变换系数216。
可选地，在块114中，针对帧内的其他块重复块102-112中的操作。可以针对其他帧重复块102-112中的操作。应注意，特定帧的块可以并行处理。
可选地，在块116中，量化所述变换系数。所述量化可以由量化模块218执行，且可以基于如此处所述的图像和/或视频压缩标准。
可选地，在块118中，将量化后系数进行熵编码，从而对帧或帧的一部分进行编码。可选地，对量化后变换系数和/或未量化的变换系数进行系数扫描。所述熵编码可以包括所述系数扫描。
可选地，所述媒体编码器还用于使用用于不同编码方式的一个或多个不同熵编码模型对量化后系数进行编码。基于与量化后变换系数相关联的相应旋转对称掩码选择所述熵编码模型。
所述媒体编码器可以用于使用熵上下文模型对每一个所述变换系数进行编码，其中，所述熵上下文模型是根据用于生成相应的旋转对称块对的相应旋转对称掩码进行选择的。所述媒体编码器可以用于使用适用于所述旋转对称块对的一个或两个成员的熵上下文模型对一个或多个变换系数进行编码。使用熵上下文模型进行编码提高了系统效率和/或性能。可以基于所应用的旋转对称掩码和/或基于旋转对称块来选择此处所述的系数扫描图案。
熵编码可以由熵编码模块220来执行，所述熵编码模块220用于进行系数扫描和/或熵编码，从而生成此处所述的已编码帧222(或已编码帧的一部分)的比特流。所述编码模块220可以为所述编码器202包含的元件，位于所述存储器206或者与所述编码器202通信的外部存储器上。
可选地，所述变换系数排列成矩阵。可以对量化后变换系数组成的矩阵进行系数扫描，从而将所述系数重新排列成线性阵列。所述系数扫描可以作为量化后变换系数的熵编码处理的一部分来执行，以对量化后变换系数进行无损压缩。
所述系数扫描利用了对旋转对称块对的每个成员的2D-DCT编码会产生一半零系数的属性。系数的总数量为MxN/2(对于MxN块而言)。零值位于相对的对角线上，其中，对于MxN块(或LxL)而言，i+j为奇数，i＝0,1,2,...，M-1，j＝0,1,...，N-1。
系数扫描可以由变换系数计算器212E或其他模块来执行，所述模块还可以用于执行此处所述的系数扫描。
可选地，所述媒体编码器还用于通过扫描所述变换系数同时跳过零系数来对量化后系数进行编码。跳过零系数实现了非零系数的压缩，从而改善了系统性能。
可选地，所述媒体编码器还用于通过一种或多种互补扫描图案扫描所述变换系数来对所述系数进行编码，例如，垂直、水平和/或修改的Z字形扫描图案。此外，通过将多个扫描图案中的一个扫描图案与所述旋转对称掩码进行匹配从所述扫描图案中选择扫描图案。例如，基于阶梯和/或曲线切割线(或由比直线更复杂的图案组成的其它分割图案)的掩码可在对应于某个掩码图案的位置处产生零值。所述扫描图案可以是基于所选掩码的复杂图案。扫描图案的选择改善了系统性能。掩码不同则零系数的图案不同，当扫描图案基于所应用的掩码时，可以有效地扫描这些零系数的图案。
互补扫描图案中的每一个扫描图案可以在不同频率执行。可以对低频率和/或高频率进行扫描，或者可以基于其他分类进行扫描。所述系数可以根据频率分类且大约分成两半：低频系数和高频系数。
可以从矩阵的一个角落到矩阵的另一个角落执行互补扫描图案中的每一个扫描图案。或者，扫描图案可以分割成不同扫描图案并且作为不同扫描图案进行执行，例如，一个图案开始于一个角落，第二个图案结束于另一个角落。
扫描图案可以在矩阵的多个子区域中重复。矩阵的子区域可以基于图像和/或视频压缩标准进行定义，例如，基于H.265对所有块尺寸的4x4子区域进行系数扫描。重复的图案与某些图像和/或视频压缩标准兼容。
该块对的每个相应旋转对称块可以与用于对预测块的残差信号进行编码的独立上下文模型相关联，例如，如此处所述。所述对的每个旋转对称块均包括至多LxL/2个非零系数而非LxL个系数，可以基于所选系数扫描图案对所述非零系数单独进行编码。
可以基于独立的熵上下文模型对发送给解码器的表示所选择的旋转对称掩码的信号进行熵编码。
可以基于独立的熵上下文模型对表示针对每个旋转对称块的预测选择的预测类型的信号进行熵编码。所述类型的示例包括：帧内预测和/或帧间预测。对于帧内预测，两个旋转对称块使用相同的预测块，或者旋转对称块对的每个成员使用独立的预测块。对于帧间预测，旋转对称块对的每个成员使用独立的运动矢量。
可以基于独立的熵上下文模型对表示针对每个旋转对称块选择的系数扫描类型的信号进行熵编码。当系数扫描依赖于所选掩码或独立于所选掩码时，所述类型可以包括：此处所述的系数扫描方法中的一种或者标准定义的系数扫描方法(如垂直、水平或修改的Z字形)。
所述媒体编码器可以用于使用熵上下文模型对预测块的残差信号的变换系数中的每一个变换系数进行编码，其中，所述熵上下文模型是根据用于生成相应的旋转对称块对的相应旋转对称掩码进行选择的。所述媒体编码器可以用于使用适用于所述旋转对称块对的一个或两个成员的熵上下文模型对残差信号的一个或多个变换系数进行编码。
在块120中，提供了基于系数扫描生成的比特流。所述比特流可能遵循图像和/或视频压缩标准(例如，HEVC)的约束。可以存储、传输(如传输到远程服务器和/或远程客户端)和/或进一步处理所述比特流。
再次参考图1和图2，所述方法和/或系统可以用于编码分割成均匀的LxL块尺寸的图像，如图像压缩标准定义的尺寸，如JPEG标准。基于图1对每个LxL块执行以下操作：
在块104中，从预确定的掩码集合中选择用于分割块的掩码。
在块105中，基于所选掩码评估所述块的效率指标。当与基于标准整体地对LxL块进行编码相比，应用掩码更有效地(通过效率指标来测量)对块进行编码以生成旋转对称块对时，编码器继续执行所述方法的其他部分。否则，编码器将LxL编码为如标准所定义的单个矩形。
在块116中，将用于2D变换、缩放和/或量化的基于标准的方法应用于该旋转对称块对中的每一个旋转对称块。
在块118中，用于L×L/2个系数的扫描方法可以是固定的(如V、H和/或修改的Z字形)，或者是根据所选掩码确定的。
每个旋转对称块可以具有单独的相关联的帧内预测块。
单独的熵模型可以用于L×L/2个非零系数和/或旋转掩码类型。
现参考图17A至17D，其为本发明一些实施例提供的包含量化后系数和零值系数的矩阵的示例，以及用于量化后系数的编码的一些系数扫描图案的示例。图17A至17C描绘了基于8x8旋转对称块的量化后系数矩阵，图17D描绘了基于16x16旋转对称块的量化后系数矩阵。图17A至17D中描绘的矩阵以某个图案进行扫描，从而满足H.265标准所定义的4×4结构。
图17A描绘了矩阵1702以及在不同频段执行的互补扫描图案。箭头集1704A和相关的所扫描的矩阵位置1704B描绘了低频带频率扫描。箭头集1706A和相关的所扫描的矩阵位置1706B描绘了高频带频率扫描。每个相应箭头集扫描16个非零DCT系数。
图17B描绘了矩阵1710以及针对该矩阵的不同分割部分执行的互补扫描图案。箭头集1712A和相关的所扫描的矩阵位置1712B描绘了对并排的4x4子区域对的顶部的扫描。箭头集1714A和相关的所扫描的矩阵位置1714B描绘了对并排的4x4子区域对的底部的扫描。
图17C描绘了矩阵1720和基于4x4的Z字图案的交织Z字形扫描图案。开始于1722A的箭头集和相关的所扫描的矩阵位置1722B描绘了交织Z字形扫描图案中的一个扫描图案。结束于1724A的箭头集和相关的扫描矩阵位置1724B描绘了其他交织Z字形扫描图案。
图17D描绘了16x16矩阵和用于扫描所述矩阵的4x4交织Z字形扫描图案。所述矩阵的每个4x4子区域内所扫描的位置显示在所述矩阵下面。
可选地，对最后一个非零变换系数(如DCT系数和/或量化后系数)进行编码。可以将最后一个非零系数在已编码块中的位置传输给解码器，从而解码已编码系数。MxN块中的最后一个可能的非零系数位于矩阵的(M,N)位置。表示最后一个非零系数位置的比特数与矩阵中最后一个非零系数位置的最大值相关。如此处所述，一半的变换系数(如DCT系数)为零。
可选地，将非零变换系数从占据M×N的总尺寸打包到尺寸为M×N/2的较小区域。所述系数打包减少了传输的比特数。比特数的减少提高了系统效率。
每个矩阵中的最后一个非零系数的位置可以根据在所述矩阵上执行的系数扫描的顺序转移，例如，转移到矩阵的左上角。非零值的转换减小了最后一个变换系数的位置大小，从而改善了系统性能。
通过类似方式，垂直、水平和/或其它扫描顺序的打包可以用来打包非零变换系数，以便向解码器指示最后一个非零变换系数的位置。
可选地，通过将最后一个变换系数的坐标存储到数据集中作为编码的一部分来对量化后系数进行编码。
现参考图18A至18C，其为本发明一些实施例提供的描绘非零系数的打包的矩阵。
图18A描绘了打包非零系数之前，一半系数为零的矩阵1802和系数扫描顺序(由该矩阵内的线图案1804和相邻的坐标集1806示出)。块中最后一个系数的位置根据扫描顺序向左上角移动。压缩最后一个系数的位置改善了系统性能。
图18B描绘了基于系数扫描顺序打包矩阵1802的系数之后的矩阵1810。打包排列由线图案1812表示，所述排列是线图案1804的打包排列。更新的坐标集1814表示坐标1806的打包排列。
图18C为帮助理解图18A的矩阵1802的系数的打包的另一表示。图18C描绘了覆盖在图18A的矩阵1802内的预打包系数上的图18B的打包后的线图案1812。
现参考图10，其为本发明一些实施例提供的用于图像压缩和解压缩的包含系数编码器/解码器1002的系统1000的框图。所述编码器/解码器1002可包括如结合图2所述的媒体编码器202、所述编码器202的变体(例如，没有处理器204，而是使用其他编码器/解码器的处理器)和/或图1所述方法的其他实现。所述编码器1002集成到所述系统1000中提高了图像和/或视频的编码效率，从而其通过例如改善压缩性能、减少处理器资源需求、发射器/接收器需求和/或内存需求改善了系统的整体性能。所述编码器1002在所述系统1000中的集成使得图像质量更高、图像分辨率更高，并且/或者使用相同资源处理更大数量的图像。
所述系数编码器/解码器1002可以在与数字图像和/或视频相关联的设备和/或系统中实现，例如，在数码相机中、在电视机(如高清TV)中、在数字摄像机中、在电视广播单元中、在智能电话(或其他移动设备)中、在网络浏览器中、在用于查看和/或编辑图像和/或视频的计算机软件中、在网络设备(用于改善网络性能)中、在实时对话应用(如视频聊天、视频会议和远程智真系统)中实现。所述编码器/解码器1002的实现可以通过减少资源需求(如存储器资源)来改善设备和/或系统的性能，例如，允许在存储器上保存更多的图片和/或视频，允许保存更高质量和/或分辨率的图片和/或视频，以及降低每个图片和/或视频的大小来通过网络连接更快地传输图片和/或视频。
所述编码器/解码器1002与图像编码器/解码器1004集成，其中，所述图像编码器/解码器1004用于通过压缩和/或解压缩来编码和/或解码图像和/或视频。所述图像编码器/解码器1004可以基于标准(如HVEC、MPEG-4、JPEG)和/或基于一个或多个专有协议。所述系数编码器/解码器1002可以与所述图像编码器/解码器1004集成，例如，作为集成在与所述编码器/解码器1004的硬件中的芯片或其他硬件元件、作为插入到所述编码器/解码器1004的芯片或其他硬件元件、作为外部软件模块、作为集成到所述编码器/解码器1004中的代码的外部软件模块和/或其组合。
所述图像编码器/解码器1004可以包括编码和/或解码组件，例如量化(例如，由量化模块218执行)、系数扫描(例如，由系数扫描模块执行)、熵编码(例如，由熵编码模块220执行)，图像内预测和/或图像间预测(例如，由预测模块执行)中的一个或多个。
所述系统1000包括与所述图像编码器/解码器1004耦合的数据接口1006，其中，所述数据接口用于接收来自例如图像生成器1008、发射器/接收器1010(如网络接口、电视电缆、无线收发器)和/或存储图像的存储器1012的一个或多个图像。
接收到的图像由所述图像编码器/解码器1004处理，生成针对一个或多个图像帧的一个或多个块的变换系数，如结合图1和/或图2的描述。所选的将被所选掩码进行分割的块(或子块)由此处所述的系数编码器/解码器1002来处理。所选的将被整体(即不基于掩码进行分割)处理的块(或子块)由所述图像编码器/解码器1004基于如H.265的图像和/或视频压缩标准来处理。
当整个块(或子块)如标准所定义进行处理时，或者当块被分割成旋转对称块对(如此处所述)时，所述图像编码器/解码器1004可以例如基于H.265标准或其他标准进行整体变换、缩放、量化和/逆量化。
压缩后图像可以存储在存储器1012上，并且/或者使用发射器/接收器1010进行传输。
当进行解码时，可以从存储器1012的存储中检索图像，且/或从发射器/接收器1010接收图像。所述图像编码器/解码器1004进行解码，如此处所述的系数编码器/解码器1002对变换系数进行解码。解码后图像可以在显示器1014上显示，由发射器/接收器1010进行传输，且/或存储在存储器1012上。
现参考图19A，其为本发明一些实施例提供的描述图10的图像编码器1004与系数编码器1002集成并基于H.265标准进行编码的框图。非粗体块和/或非粗体字描绘了编码器1004基于H.265标准进行的编码，粗体块和/或粗体字描绘了编码器1002执行的结构和/或功能。结合图像编码器/解码器1004执行的HEVC标准(斜体所示的功能)，可以集成系数编码器/解码器1002以改进如下性能：
*通用编码器控制：对于每个块或子块，编码器1002决定何时通过使用所选掩码将所述块进行分割以对所述块进行编码，以及何时通过HEVC标准定义的方法将所述块进行整体编码。通用控制数据包括报头，其用于以信号通知用于分割块并生成对称块对的所选掩码。
*变换、缩放和量化：HEVC方法应用于编码器1002生成的旋转对称块对中的每一个旋转对称块。如此处所述，扫描LxL/2个量化后变换系数，并跳过零值系数。
*缩放和逆变换：HEVC方法应用于编码器1002生成的旋转对称块对中的每一个旋转对称块。
*图像内估计：HEVC方法应用于旋转对称块对中的每一个旋转对称块。
*图像内预测：HEVC方法应用于旋转对称块对中的每一个旋转对称块。生成针对旋转对称块对中的每一个旋转对称块的单独的图像内预测块。
*运动补偿：HEVC方法应用于旋转对称块对中的每一个旋转对称块。
*运动估计：HEVC方法应用于旋转对称块对中的每一个旋转对称块。生成针对旋转对称块对中的每一个旋转对称块的单独的运动矢量。
*头格式化和基于上下文的自适应二进制算术编码(context-adaptive binaryarithmetic coding，简称CABAC)：熵模型(如此处所述)用于以信号通知LxL/2个系数、所选掩码和/或用于旋转对称块对中的每一个旋转对称块的图像内预测块。
现参考图19B，其为本发明一些实施例提供的描述图10的图像解码器1004与系数解码器1002集成并基于H.265标准进行解码的框图。解码功能基于结合本文图10所述的编码功能。非粗体块和/或非粗体字描绘了解码器1004基于H.265标准进行的解码，粗体块和/或粗体字描述了解码器1002执行的结构和/或功能。C2代表旋转对称块对。
现参考图20A和图20B，其为本发明一些实施例提供的描述图10的图像编码器1004与系数编码器1002集成并基于H.265标准(例如，在移除图19A的帧间编码部分之后)进行单个图像编码的框图。将与图像间块有关的结构、功能/或数据流移除，以进行单个图像编码。非粗体块和/或非粗体字描述了编码器1004基于H.265标准进行的编码，粗体块和/或粗体字描述了编码器1002执行的结构和/或功能。
现参考图21，其为本发明一些实施例提供的描述图10的图像解码器1004与系数解码器1002集成并基于H.265标准(例如，在移除图19B的帧间编码部分之后)进行单个图像解码的框图。将与图像间块有关的结构、功能/或数据流移除，以进行单个图像解码。非粗体块和/或非粗体字描述了解码器1004基于H.265标准进行的解码，粗体块和/或粗体字描述了解码器1002执行的结构和/或功能。
可选地，在块122中，针对帧内的其他块和/或子块重复块102-120中的操作。可以针对其他帧重复块102-120中一个或多个块中的操作。应注意，特定帧的块可以并行处理。
现参考图11，其为本发明一些实施例提供的用于从变换系数集中重建帧中的块的方法流程图。图11中的方法基于图1中的方法，且是图1中方法的补充。图1中的方法描述了对块的变换，所述变换是基于图11中方法的逆变换。图11中的方法可以由媒体编码器的图2中的变换部分来执行，所述媒体编码器用于作为媒体解码器的逆变换部分。所述逆变换可以由相应的变换模块执行和/或由用于执行一个或多个逆变换处理组件的其它模块执行。
在块1100中，接收表示已编码帧或已编码帧的一部分的一个或多个变换系数(如编码后系数和/或量化后系数)。所述变换系数可以作为比特流接收。可以接收代表相关联的所选的旋转对称掩码的信号，如在比特流内接收。所述旋转对称掩码定义了具有帧的已解码块的尺寸和/或形状的多维空间中的旋转对称性。
接收表示相关联的所选的旋转对称掩码的信号，或者未有意接收所述掩码时，假定掩码是已知的(例如，从预测块方向推导出所述掩码)。所述旋转对称掩码定义了具有帧的已解码块的尺寸和/或形状的多维空间中的旋转对称性。
在块1102中，从所述比特流中解码出代表旋转对称块对的每一个成员的变换系数。
所述变换系数代表旋转对称块对的一个或多个成员。应注意，一些情况下，可以接收和/或不接收没有任何系数的一个或多个旋转对称块(例如，可以跳过没有系数的块)。例如，可以接收用来表示没有变换系数表示旋转对称块的信号。此外，应注意，在一些情况下，只针对整个块接收一个系数(如DC系数)。
在块1104中，基于解码后变换系数的逆变换计算旋转对称块对。所述旋转对称块对的每个成员均包括两个互补部分中的一个部分。
在块1106中，从所述旋转对称块对的每个相应成员中提取所述两个互补部分中的每一部分。
在块1108中，从所述两个互补部分重建块。可以基于所述旋转对称掩码引导所述重建。或者，基于形成正方形或矩形块引导从没有掩码的部分重建块，例如，将这两个部分如拼图一样拼装在一起。
可选地，在帧内指定所述块。
可选地，重复(并行和/或顺序重复)块1100至1108中的操作，以解码和重建帧的多个块(和/或子块)。
在块1111中，将多个已解码块组合成帧或帧的一部分。
在块1112中，为进一步的处理、存储和/或传输提供所述已解码帧。所述帧可以呈现在屏幕上，例如，作为视频的一部分进行显示。
现参考图12A至12I，其包括执行此处所述方法和/或系统的实验结果的图像和图表。这些图表示出了与使用基于压缩标准的方法的图像压缩相比，使用此处所述系统和/或方法带来了性能改进。实验是基于使用帧内编码方法的单个帧。
所述实验执行如下：
从每个YUV视频序列中获取一个帧。使用由不同标准定义的各种帧尺寸，包括：通用图像格式(common intermediate format，简称CIF)、四分之一通用图像格式(QuarterCommon Intermediate Format，简称QCIF)和高清格式(high definition，简称HD)。每个帧均分割成均匀的固定尺寸为NxN的块，所述尺寸包括8x8像素、16x16像素和32x32像素。
生成包含2x(N-1)个不同线方向的旋转对称掩码库，以进行掩码选择和应用。
基于H.265标准应用整体变换、缩放和量化方案。
将变换系数的NxN矩阵细分成变换系数的4x4子矩阵，从而进行系数扫描。在4x4矩阵中使用Z字形扫描进行系数扫描，同时跳过零系数。
基于H.264CAVLC标准对变换系数进行编码，其中，H.264CAVLC标准同时定义针对预测模式、掩码类型和MB类型(此处定义为所选的已编码块(即如此处所述的标准NxN块或分割成两个互补部分的块))的信号。
NxN块的帧内预测基于四种模式：垂直(V)、水平(H)、DC(即平坦)(D)和平面(P)。基于单独和/或公共帧内预测对旋转对称块对的成员进行编码。公共帧内预测包括V、H、D和P四种帧内模式。单独的帧内预测包括基于这四种帧内模式的组合排列的16种帧内模式：VV、VH，...，和PP。
是否基于标准的NxN编码方法来编码某个块，或者是否应用旋转对称掩码并编码旋转对称块对(如此处所述)基于如下定义的速率失真(rate distortion，简称RD)成本函数来确定：SSE+lambda*Bits，其中：SSE表示重建块和输入块之间的平方差和，λ表示取决于量化参数(quantization parameter，简称Qp)的项，Bits表示包括信令比特的块中的已编码比特数。编码的决定也是基于非零系数的百分比(在图中由PerNZ Coeff表示)。
结果总结如下：
对于相同的PSNR，比特率降低高达15％。对于分成尺寸为16×16的块的35个QCIF序列帧，35-45dB的PSNR范围内的比特率平均降低了约7％。对于分成尺寸为16×16的块的10个较大尺寸的序列帧，平均降低了约7.5％。
图12A为根据此处所述的系统和/或方法处理的作为此处所述实验的一部分的图像(即帧)的示例。与CIF序列的第十个帧对应的图像名为akiyo.cif。所述CIF帧的尺寸为352x288像素。基于正方形的NxN块，所述帧均匀地分割成块，其中N＝16像素(块1202中描绘了示例块)。使用Qp＝30对所述帧进行编码，包含2(N-1)＝30个不同线方向的旋转对称掩码库为选择用于分割块的掩码提供了基础。图中描绘了具有相关联的所选掩码的块，所选掩码具有线方向，例如，具有掩码1204的块。多数情况下，掩码线沿着块内的边缘。将没有选择掩码的块作为单个NxN块来编码，且在没有掩码的图像中进行描述，例如块1202。
图12B至12I中的图表包括基于图12A的处理的实验结果。
图12B为描绘与使用标准的N×N变换块对图12A的图像进行编码相比，当选择掩码将块分割成两个互补部分进行编码时，在相同的目标质量水平(由PSNR表示)上，图12A中的整个帧的比特率提高的曲线图。该图描绘了作为PSNR函数的比特率提高的百分比。应注意，对于使用此处所述的系统和/或方法的图12A中的图像，比特率提高了超过10％。
图12C为描绘与使用标准的NxN变换块对图12A的图像进行编码相比，当选择掩码将块分割成两个互补部分进行编码时，在相同的目标质量水平(由PSNR表示)上，图12A中的整个帧的每非零(per non-zero，简称PerNZ)系数提高的曲线图。用量化后的非零变换系数的数量来估计用于编码所述变换系数的已编码比特的数量。应注意，非零系数指标不包括信令比特的开销(如预测模式、掩码选择模式和MB类型)。该图示出了使用此处所述的系统和/或方法，非零变换系数的百分比提高了约15％。
图12D为描绘用于C2处理方案和NxN处理方案的作为比特率函数的Y-PSNR的曲线图。所述C2处理方案为此处所述的方法和/或系统，其要么基于掩码选择和用于变换块的两个互补部分的生成，要么基于使用标准方法对NxN块进行的编码。基于与每个基于掩码的分区和每个N×N块相关联的某个指标来选择基于掩码进行编码还是基于N×N块进行编码。所述NxN处理方案是基于将每个块编码为单个NxN块的标准方法。该图显示了与NxN方法相比，C2方法实现了更低的比特率，对于相同的PSNR值而言，其表示对于相同比特率，质量得到了提高。
图12E为基于C2方法和NxN方法描绘作为针对整个帧的非零变换系数的百分比函数的Y-PSNR的曲线图。该图描绘了基于C2方法(即此处所述的系统和/或方法)的压缩性能的改善，对于相同的PSNR，非零变换系数的百分比较低，其表示对于相同的非零变换系数百分比，质量得到了提高。
图12F为描绘针对NxN标准情况的帧内预测模式的应用频率的直方图。在x轴上，1表示无预测，2表示垂直预测，3表示水平预测，4表示DC预测，5表示平面预测。
图12G为描绘用于16种单独的预测模式的此处所述方法和/或系统的C2方案的帧内预测模式的应用频率的直方图。其中，1表示无预测，2表示VV预测，3表示VH预测，4表示VD预测，5表示VP预测，6表示HV预测，…，17表示PP预测。
图12H为描绘具有30个旋转对称掩码的库的每个掩码的应用频率的直方图。
图12I为描绘作为Qp函数的三个变量的比率的曲线图。
线1214表示图像块中，选择C2方法而不选择标准NxN方法的块的百分比。例如，Qp＝30时，帧中大约35％的块基于C2方法(基于掩码选择和两个互补部分的编码)进行编码，而剩余的块(大约65％)编码为单个16x16块。
线1212表示基于C2方法编码的帧比特的百分比。例如，Qp＝30时，帧中大约45％的比特基于C2方法进行编码。
线1210表示使用C2方法编码的帧的每非零变换系数的百分比。例如，Qp＝30时，使用C2方法对帧中超过45％的每非零变换系数进行编码。
虽然已出于说明目的对本发明各实施例进行了描述，但是这些描述并不旨在穷举或限于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员是显而易见的。此处选用的术语是为了最好地解释实施例的原理、实际应用或市场中发现的技术改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。
本申请完善而来的专利的寿命期间，期望开发许多相关的图像编码器和/或图像解码器，且术语“编码器”的范围旨在包括所有这些新技术的先验。
此处所用的术语“大约”是指±10％。
术语“包括”、“有”表示及其结合是指“包括但不限于”。这一术语包括了术语“由……组成”以及“本质上由……组成”。
短语“本质上由...组成”是指组成或方法可以包括附加成份和/或步骤，但只有在所述附加成分和/或步骤不会在实质上改变所要求保护的权要组成或方法的基本和新颖特征的前提下。
除非上下文中另有明确说明，此处使用的单数形式“一个”和“所述”包括复数含义。例如，术语“混合物”或“至少一种混合物”可以包括多种混合物，包括其混合。
此处使用的词语“示例性的”表示“作为一个例子、示例或说明”。作为“示例性的”任何实施例并不一定理解为优先于或优越于其他实施例，且/或并不排除其他实施例特点的结合。
此处使用的词语“可选地”表示“在一些实施例中提供且在其他实施例中没有提供”。本发明的任意特定实施例可以包括多个“可选的”特征，除非这些特征相互矛盾。
在本申请中，本发明的各实施例可以以范围格式呈现。应理解，以范围格式描述仅仅是为了方便和简洁，但不应理解为对本发明范围的灵活限制。相应地，应认为对范围的描述已经具体公开了所有可能的子范围以及该范围内的单个数值。例如，应认为从1至6的范围的描述应当已具体公开了如从1至3、1至4、1至5、2至4、2至6、3至6等的子范围，以及该范围内的单个数字，例如1、2、3、4、5和6，不论范围大小均适用。
当此处指出一个数字范围时，表示包括了在指出的这个范围内的所列举任意数字(分数或整数)。短语“在”第一个所指示的数“和”第二个所指示的数之间的范围内以及“从”第一个所指示的数“到”第二个所指示的数范围内在这里互换使用，表示包括第一个和第二个所指示的数以及二者之间所有的分数和整数。
应理解，单个实施例也可以提供某些特征的组合，这些特征在各个实施例正文中有简短的描述。相反地，本发明的各个特征在单个实施例的正文中有简短的描述，也可以分别提供这些特征或任何适合的子组合或者作为本发明所述的任何合适的其他实施例。不可认为各个实施例的正文中描述的某些特征是这些实施例的必要特征，除非没有这些元素，该实施例无效。
虽然已经结合本发明具体实施例对本发明进行了描述，但是显然各种替代、修改和变化对于本领域技术人员将是显而易见的。相应地，所述本发明旨在包括落入所附权利要求的精神和广泛范围内的所有这样的替代、修改和变化。
此处，本说明书中提及的所有出版物、专利和专利申请都通过引用本说明书结合在本说明书中，同样，每个单独的出版物、专利或专利申请也具体且单独地结合在此。此外，对本申请的任何参考的引用或识别不可当做是允许这样的参考在现有技术中优先于本发明。就使用节标题而言，不应该将节标题理解成必要的限定。

Claims (22)

1.一种用于生成用于编码帧或帧的一部分的多个变换系数的装置，其特征在于，包括：
媒体编码器，与用于接收帧或帧的一部分的数据接口耦合，所述媒体编码器用于：
迭代地细分由帧或帧的一部分中分割而成多个块中的每个块，在多个迭代中的每个迭代期间，所述多个块的细分块经过以下处理：
选择满足编码所述块的效率指标的旋转对称掩码，其中，所述旋转对称掩码是从多个旋转对称掩码中选择，所述多个旋转对称掩码定义了具有所述细分块的尺寸和形状的多维空间中的多种不同的旋转对称性；
当满足所述效率指标时，
基于所述旋转对称掩码将所述细分块分割成两个互补部分；
生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；
从所述旋转对称块对计算多个变换系数。
2.根据权利要求1所述的装置，其特征在于，当满足所述效率指标时，所述媒体编码器用于将所述旋转对称块对添加到数据集中，其中，所述数据集包括从所述多个块中的至少一些块生成的多个旋转对称块对。
3.根据前述权利要求中任一项所述的装置，其特征在于，当不满足所述效率指标时，所述媒体编码器迭代地将所述细分块细分为多个附加细分块，并对所述多个附加细分块中的每个附加细分块重复所述迭代细分。
4.根据前述权利要求中任一项所述的装置，其特征在于，为了迭代地细分多个块中的每个块，所述媒体编码器用于：
使用对所述多个块中的每个块的细分进行映射的树结构，以支持所述迭代细分；
通过添加两片叶来用所述旋转对称块对更新所述树结构，其中，每片叶代表所述旋转对称块对的一个成员。
5.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器用于从包含多个不同旋转对称掩码的旋转对称掩码库中选择所述旋转对称掩码。
6.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于使用空间预测块编码所述多个变换系数中的每个变换系数，其中，所述空间预测块根据用于生成相应所述旋转对称块对的相应所述旋转对称掩码来选择。
7.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于使用某个相应的运动矢量独立编码每个旋转对称块，其中，每个相应的运动矢量根据所述旋转对称块的每个相应部分来选择。
8.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于使用熵上下文模型编码所述多个变换系数中的每个变换系数，其中，所述熵上下文模型根据用于生成相应所述旋转对称块对的相应所述旋转对称掩码来选择。
9.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于基于至少一种效率准则从所述旋转对称掩码库中选择所述旋转对称掩码。
10.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于从多个旋转对称掩码库中选择所述旋转对称掩码库，其中，所述多个旋转对称掩码库中的每个旋转对称掩码库均是针对所述细分块的不同尺寸进行定义的。
11.根据前述权利要求中任一项所述的装置，其特征在于，所述计算所述多个变换系数由二维(two dimensional，简称2D)离散余弦变换(discrete cosine transform，简称DCT)执行。
12.根据前述权利要求中任一项所述的装置，其特征在于，所述媒体编码器还用于根据运动图像专家组(Moving Picture Experts Group，简称MPEG)格式执行至少一种方法以：
预测所述块的所述两个互补部分中的至少一个部分；
计算所述旋转对称块中的至少一个旋转对称块的所述多个变换系数中的至少一个变换系数；
量化所述多个变换系数中的至少一个变换系数；
对所述多个变换系数进行熵编码以对所述帧或帧的一部分进行编码。
13.根据权利要求12所述的装置，其特征在于，所述媒体编码器还用于通过扫描所述多个变换系数同时跳过多个零系数来对所述多个变换系数进行编码。
14.根据权利要求12至13所述的装置，其特征在于，所述媒体编码器还用于通过将多个扫描图案中的一个扫描图案与所述旋转对称掩码进行匹配从所述多个扫描图案中选择扫描图案来对所述多个变换系数进行编码。
15.根据权利要求12至14任一项所述的装置，其特征在于，所述媒体编码器还用于通过将最后一个变换系数的坐标存储到数据集中作为所述编码的一部分来对所述多个变换系数进行编码。
16.根据权利要求15所述的装置，其特征在于，所述媒体编码器还用于根据在排列有所述多个变换系数的矩阵上执行的系数扫描的顺序转换所述多个变换系数的非零值，从而减小最后一个变换系数的位置大小。
17.根据前述权利要求中任一项所述的装置，其特征在于：
所述数据接口还用于接收代表已编码帧或已编码帧的一部分的至少一个变换系数的比特流；
所述媒体编码器还用于：
解码所述至少一个变换系数；
基于所述变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均具有两个互补部分中的一个部分；
基于相应的旋转对称掩码从所述两个相应互补部分中的每一部分重建多个块；
将所述多个块组合成帧或帧的一部分。
18.一种用于生成用于编码帧或帧的一部分的多个变换系数的方法，其特征在于，包括：
迭代地细分由帧或帧的一部分中分割而成多个块中的每个块，在多个迭代中的每个迭代期间，所述多个块的细分块经过以下处理：
选择具有所述块的尺寸和形状且满足编码所述块的效率指标的旋转对称掩码；
当满足所述效率指标时，
基于所述旋转对称掩码将所述细分块分割成两个互补部分；
生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；
从至少一个所述旋转对称块对计算至少一个变换系数；
其中，所述方法特别适用于操作如前述权利要求中任一项所述的装置。
19.一种用于编码帧或帧的一部分的方法，其特征在于，包括：
将所述帧或帧的一部分迭代地分成多个块；
在所述多个块的细分块的每个迭代期间，迭代地细分所述多个块中的每个块；
在对所述细分块进行编码时，从包括多个不同旋转对称掩码的库中选择满足效率指标的旋转对称掩码；
使用所述旋转对称掩码基于所述旋转对称掩码将所述细分块分割成两个互补部分，并生成旋转对称块对，其中，每个旋转对称块均具有所述两个互补部分中的一个部分；
从所述旋转对称块对中的至少一个旋转对称块计算至少一个变换系数；
量化所述至少一个变换系数，并对所述至少一个变换系数进行编码以对所述帧或帧的一部分进行编码；
其中，所述方法特别适用于操作如前述权利要求中任一项所述的装置。
20.一种用于解码帧或帧的一部分的装置，其特征在于，包括：
媒体解码器，与用于接收至少一个已编码变换系数的比特流的数据接口耦合，所述已编码变换系数代表已编码帧或已编码帧的一部分，所述媒体编码器用于：
解码来自所述比特流的至少一个变换系数；
基于所述至少一个解码的变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均有两个互补部分中的一个部分；
基于相应的旋转对称掩码从所述两个相应的互补部分中的每一部分重建多个块；
将所述多个块组合成帧或帧的一部分；
其中，所述装置特别适用于解码如前述权利要求中任一项所述的装置编码的帧或帧的一部分。
21.一种用于基于代表已编码帧的比特流解码帧或帧的一部分的方法，其特征在于，包括：
接收代表已编码帧或已编码帧的一部分的至少一个已编码变换系数的比特流；
解码所述至少一个变换系数；
基于所述至少一个变换系数的逆变换计算多个旋转对称块对，其中，每个旋转对称块对的每个成员均有两个互补部分中的一个部分；
基于相应的旋转对称掩码从所述两个相应的互补部分中的每一部分重建多个块；
将所述多个块组合成帧或帧的一部分；
其中，所述方法特别适用于操作如前述权利要求所述的装置。
22.一种计算机程序，用于在计算机上执行时，执行如前述权利要求中任一项所述的方法。
CN201480083421.3A 2014-11-14 2014-11-14 一种数字图像处理系统和方法 Active CN108293125B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/074638 WO2016074744A1 (en) 2014-11-14 2014-11-14 Systems and methods for processing a digital image

Publications (2)

Publication Number Publication Date
CN108293125A true CN108293125A (zh) 2018-07-17
CN108293125B CN108293125B (zh) 2020-08-07

Family

ID=51900871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083421.3A Active CN108293125B (zh) 2014-11-14 2014-11-14 一种数字图像处理系统和方法

Country Status (7)

Country Link
US (1) US10523951B2 (zh)
EP (1) EP3207704B1 (zh)
JP (1) JP6443869B2 (zh)
KR (1) KR101978194B1 (zh)
CN (1) CN108293125B (zh)
BR (1) BR112017010160B1 (zh)
WO (1) WO2016074744A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991485A (zh) * 2019-11-07 2020-04-10 成都傅立叶电子科技有限公司 一种目标检测算法的性能评估方法及系统
CN111190146A (zh) * 2020-01-13 2020-05-22 中国船舶重工集团公司第七二四研究所 一种基于视觉图形特征的复杂信号分选方法
WO2020135036A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编解码
US20210350580A1 (en) * 2020-03-30 2021-11-11 Imagination Technologies Limited Pattern-Based Image Data Compression
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978194B1 (ko) 2014-11-14 2019-05-14 후아웨이 테크놀러지 컴퍼니 리미티드 디지털 이미지를 처리하는 방법 및 시스템
JP6664819B2 (ja) * 2014-11-14 2020-03-13 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
JP6496821B2 (ja) * 2014-11-14 2019-04-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックを処理するためのシステムおよび方法
FR3029333A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) * 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
EP3535973B1 (en) 2017-02-02 2020-07-29 Huawei Technologies Co., Ltd. Image and video processing apparatuses and methods
WO2018173862A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 画像復号装置及び画像符号化装置
WO2019118539A1 (en) * 2017-12-14 2019-06-20 Interdigital Vc Holdings, Inc. Deep learning based image partitioning for video compression
EP3725074A1 (en) 2017-12-14 2020-10-21 InterDigital VC Holdings, Inc. Texture-based partitioning decisions for video compression
US10536720B2 (en) * 2018-05-07 2020-01-14 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10827192B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Work allocation for JPEG accelerator
US10827191B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Parallel coding of syntax elements for JPEG accelerator
US10931958B2 (en) * 2018-11-02 2021-02-23 Fungible, Inc. JPEG accelerator using last-non-zero (LNZ) syntax element
US10848775B2 (en) 2018-11-02 2020-11-24 Fungible, Inc. Memory layout for JPEG accelerator
GB2579824B (en) 2018-12-14 2022-05-18 British Broadcasting Corp Video encoding and video decoding
GB2580326A (en) 2018-12-28 2020-07-22 British Broadcasting Corp Video encoding and video decoding
CN113545087A (zh) * 2019-03-11 2021-10-22 Oppo广东移动通信有限公司 预测值的确定方法、编码器以及计算机存储介质
EP4029249A4 (en) * 2019-09-29 2022-10-26 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR GENERATING WEIGHTING MASK FOR ENTIRE SLOPE DIVISION DIRECTIONS IN INTERPREDICTION
US11269973B2 (en) * 2020-04-28 2022-03-08 Hewlett Packard Enterprise Development Lp Crossbar allocation for matrix-vector multiplications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011066672A1 (en) * 2009-12-04 2011-06-09 Thomson Licensing Texture-pattern-adaptive partitioned block transform
US20110274176A1 (en) * 2010-05-10 2011-11-10 General Instrument Corporation Pathway indexing in flexible partitioning
CN102763415A (zh) * 2010-02-18 2012-10-31 高通股份有限公司 起因于几何运动划分的平滑重叠区域
WO2014109826A1 (en) * 2012-11-13 2014-07-17 Intel Corporation Video codec architecture for next generation video

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69225365T2 (de) * 1991-08-30 1998-11-19 Fuji Xerox Co Ltd Bildsignalkodierungsvorrichtung
JPH0783478B2 (ja) 1992-01-30 1995-09-06 松下電器産業株式会社 画像符号化装置
JP3196906B2 (ja) * 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JPH0787493A (ja) 1993-09-14 1995-03-31 Oki Electric Ind Co Ltd フレーム内挿方法
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
EP1150516B1 (en) 1996-01-29 2003-11-19 Matsushita Electric Industrial Co., Ltd. Decoder with means for supplementing digital image with picture element
EP0951184A4 (en) 1997-11-05 2006-08-30 Sony Corp METHOD FOR CONVERTING DIGITAL SIGNALS AND APPARATUS FOR CONVERTING DIGITAL SIGNALS
JP2008109700A (ja) 1997-11-05 2008-05-08 Sony Corp ディジタル信号変換方法およびディジタル信号変換装置
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
JP2002325170A (ja) * 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
JP4147789B2 (ja) 2002-03-07 2008-09-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4025570B2 (ja) 2002-04-03 2007-12-19 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP2004297416A (ja) * 2003-03-26 2004-10-21 Monolith Co Ltd 対応点情報圧縮方法および装置
JP2006094053A (ja) 2004-09-22 2006-04-06 Fuji Photo Film Co Ltd フォトムービー作成方法および装置、並びにフォトムービー作成プログラム
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
CN101771868B (zh) 2008-12-31 2016-03-02 华为技术有限公司 对图像的量化处理方法及装置
JP2012089905A (ja) 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
CN104768005B (zh) * 2009-12-01 2018-07-31 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
WO2011088593A1 (en) 2010-01-25 2011-07-28 Thomson Licensing Method and device for encoding of an image block and method and device for decoding of an image block
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
WO2011130186A2 (en) 2010-04-12 2011-10-20 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
JP5590390B2 (ja) 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
EP2777283B1 (en) 2011-11-11 2018-01-10 GE Video Compression, LLC Effective prediction using partition coding
US9179162B2 (en) * 2011-12-02 2015-11-03 Futurewei Technologies, Inc. Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding
JP6190361B2 (ja) 2012-06-01 2017-08-30 シャープ株式会社 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
KR101756301B1 (ko) * 2013-07-19 2017-07-10 후아웨이 테크놀러지 컴퍼니 리미티드 깊이 기반 블록 파티셔닝을 사용하여 텍스처 블록을 인코딩 및 디코딩하는 방법 및 장치
EP3119090A4 (en) * 2014-03-19 2017-08-30 Samsung Electronics Co., Ltd. Method for performing filtering at partition boundary of block related to 3d image
KR102445242B1 (ko) * 2014-03-19 2022-09-21 삼성전자주식회사 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
JP6496821B2 (ja) * 2014-11-14 2019-04-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックを処理するためのシステムおよび方法
KR101978194B1 (ko) 2014-11-14 2019-05-14 후아웨이 테크놀러지 컴퍼니 리미티드 디지털 이미지를 처리하는 방법 및 시스템
JP6664819B2 (ja) * 2014-11-14 2020-03-13 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011066672A1 (en) * 2009-12-04 2011-06-09 Thomson Licensing Texture-pattern-adaptive partitioned block transform
CN102763415A (zh) * 2010-02-18 2012-10-31 高通股份有限公司 起因于几何运动划分的平滑重叠区域
US20110274176A1 (en) * 2010-05-10 2011-11-10 General Instrument Corporation Pathway indexing in flexible partitioning
WO2014109826A1 (en) * 2012-11-13 2014-07-17 Intel Corporation Video codec architecture for next generation video

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135036A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编解码
US11889072B2 (en) 2018-12-28 2024-01-30 Hangzhou Hikvision Digital Technology Co., Ltd. Video encoding and decoding
CN110991485A (zh) * 2019-11-07 2020-04-10 成都傅立叶电子科技有限公司 一种目标检测算法的性能评估方法及系统
CN111190146A (zh) * 2020-01-13 2020-05-22 中国船舶重工集团公司第七二四研究所 一种基于视觉图形特征的复杂信号分选方法
CN111190146B (zh) * 2020-01-13 2021-02-09 中国船舶重工集团公司第七二四研究所 一种基于视觉图形特征的复杂信号分选方法
US20210350580A1 (en) * 2020-03-30 2021-11-11 Imagination Technologies Limited Pattern-Based Image Data Compression
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统

Also Published As

Publication number Publication date
WO2016074744A1 (en) 2016-05-19
US10523951B2 (en) 2019-12-31
JP6443869B2 (ja) 2018-12-26
BR112017010160B1 (pt) 2023-05-02
US20170280144A1 (en) 2017-09-28
EP3207704A1 (en) 2017-08-23
KR101978194B1 (ko) 2019-05-14
JP2018501698A (ja) 2018-01-18
CN108293125B (zh) 2020-08-07
KR20170084239A (ko) 2017-07-19
EP3207704B1 (en) 2021-06-02
BR112017010160A2 (pt) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108293125A (zh) 一种数字图像处理系统和方法
JP7110370B2 (ja) ビデオ符号化のための機械学習モデルの量子化パラメータに適用される非線形関数の使用
CN111819853B (zh) 图像块编码装置和图像块编码方法
CN103797800B (zh) 推导参考模式值以及编码和解码表示预测模式的信息
CN106797468B (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
EP3354030B1 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
US10602186B2 (en) Systems and methods for mask based processing of a block of a digital image
EP3350992B1 (en) Methods and apparatuses for encoding and decoding digital images or video streams
Egilmez et al. Graph-based transforms for inter predicted video coding
CN103782598A (zh) 用于无损编码的快速编码方法
EP3590193B1 (en) Method and apparatus for encoding and decoding digital images or video streams
CN104704826B (zh) 两步量化和编码方法和装置
KR102138650B1 (ko) 디지털 이미지의 블록을 처리하는 시스템 및 방법
CN105794208B (zh) 编码解码图像方法、编码解码图像设备及相应计算机可读介质
CN103828366B (zh) 一种编码和解码方法、编码和解码设备
CN111385555A (zh) 原始和/或残差数据用分量间预测的数据压缩方法和装置
US11503292B2 (en) Method and apparatus for encoding/decoding video signal by using graph-based separable transform
Hashim et al. Correlated Block Quad-Tree Segmented and DCT based Scheme for Color Image Compression
Park et al. Structural similarity based image compression for LCD overdrive
Purica et al. A study of norms in convex optimization super-resolution from compressed sources
Juliet et al. Using H. 264/AVC-intra for DCT Based Segmentation Driven Compound Image Compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant