CN111355957A - 显示流编解码器、显示数据的编码方法及计算机可读介质 - Google Patents

显示流编解码器、显示数据的编码方法及计算机可读介质 Download PDF

Info

Publication number
CN111355957A
CN111355957A CN201911334477.2A CN201911334477A CN111355957A CN 111355957 A CN111355957 A CN 111355957A CN 201911334477 A CN201911334477 A CN 201911334477A CN 111355957 A CN111355957 A CN 111355957A
Authority
CN
China
Prior art keywords
mode
encoder
display mode
fallback
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911334477.2A
Other languages
English (en)
Inventor
维贾雅拉加万·蒂鲁玛莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN111355957A publication Critical patent/CN111355957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

提供一种显示流编解码器、显示数据的编码方法及计算机可读介质。用于显示设备的显示流编解码器包括编码器，其中编码器被配置为将回退显示模式确定为待编码的当前块的显示模式，表示回退显示模式的、与对应于回退显示模式的常规显示模式的模式信号传输相同的模式信号传输，使用与所对应的常规显示模式相同的信号传输语法，根据回退显示模式对当前块进行编码；以及发送经编码的当前块。

Description

显示流编解码器、显示数据的编码方法及计算机可读介质
相关申请的交叉引用
本专利申请要求于2018年12月21日递交的题目为“用于显示压缩的回退模式”的美国临时专利申请第62/784,351号的优先权和权益。
技术领域
本公开的实施例的一个或多个方面总体涉及显示压缩的改进方法，包括显示压缩编码的改进方法。
背景技术
由于与显示技术相关联的像素带宽持续增加(特别是对于移动显示器和虚拟现实(VR)显示器)，因此VESA(视频电子标准协会)已发布支持更高压缩比的显示流编解码器的呼叫技术(Call for Technologies)(CfT)，而使得关于显示流压缩(DSC)的计算复杂度增加。
VESA开发了一种新的用于移动/智能电话显示器的显示接口压缩标准，称为VESA移动设备显示编解码器(VDC-M)。作为一种新的显示压缩标准，VDC-M的目标在于比显示流压缩(DSC)高的压缩比，同时仍然保持视觉无损质量，但代价是复杂度增加。VDC-M是固定码率显示流编解码器，并且因此具有固定比特率，并且对于RGB 4:4:4源可以支持低至6比特/像素的压缩比。VDC-M是基于块的编解码器，块大小为8×2个像素。
应当注意，在该背景技术部分中公开的信息仅用于增强对本公开的实施例的理解，并且可以包括在实现本发明构思的过程中获取的技术信息。因此，它可能包含不形成现有技术的信息。
发明内容
本文描述的实施例提供了对显示流压缩和显示技术的改进。
根据本公开的一个实施例，提供了一种用于显示设备的显示流编解码器，显示流编解码器包括编码器，其中编码器被配置为：将回退显示模式确定为待编码的当前块的显示模式；表示回退显示模式的、与对应于回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；使用与对应的常规显示模式相同的信号传输语法，根据回退显示模式对当前块进行编码；以及发送经编码的当前块。
常规显示模式可以是变换显示模式，其中编码器进一步被配置为：针对待编码的当前块选择帧内预测器；发送与帧内预测器相对应的预测器索引；基于所选的帧内预测器产生预测块；计算待编码的当前块与预测块之间的残差；将变换应用于残差上以产生变换系数；量化变换系数以产生量化的变换系数；对量化的变换系数进行熵编码以产生编码后的量化变换系数；以及发送编码后的量化变换系数。
回退显示模式可以是基于变换的回退显示模式，其中编码器进一步被配置为：针对待编码的当前块选择帧内预测器；发送与帧内预测器相对应的预测器索引；将与待编码的当前块相对应的残差设置为零；将量化的变换系数设置为与残差相同；以及对量化的变换系数进行熵编码。
显示流编解码器可以进一步包括与编码器通信的解码器，其中解码器被配置为：接收包括模式信号传输比特的被编码的数据块，接收特定于模式的信息，接收量化的残差，并且处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对被编码的数据块进行解码。
解码器可以进一步被配置为：从编码器接收预测器索引；对帧内预测器进行解码；计算帧内预测器值；基于帧内预测器值产生预测块；从编码器接收变换系数；基于变换系数产生残差块；以及通过将预测块和残差块相加来产生重构块。
特定于模式的信息可以包括以下中的至少一个：当常规显示模式包括变换显示模式并且回退显示模式是基于变换的回退显示模式时的帧内预测器索引；当常规显示模式包括块预测显示模式并且回退显示模式包括BP略过模式时的块预测向量；以及当常规显示模式包括中点预测显示模式并且回退显示模式包括中点预测回退显示模式时的步长和颜色空间。
解码器可以进一步被配置为针对常规显示模式和回退显示模式两者以相同的方式操作。
信号传输语法可以包括：用于指示常规显示模式的至少一个比特、特定于模式的信息以及表示与待编码的当前块相对应的量化的残差的多个比特，其中回退显示模式的量化的残差被设置为零。
根据本公开的另一实施例，提供了一种用于对显示数据进行编码的方法，该方法包括：由编码器将回退显示模式确定为待编码的当前块的显示模式；由编码器表示回退显示模式的、与对应于回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；由编码器使用与所对应的常规显示模式相同的信号传输语法，根据回退显示模式对当前块进行编码；以及由编码器发送经编码的当前块。
常规显示模式可以是变换显示模式，该方法进一步包括：由编码器针对待编码的当前块选择帧内预测器；由编码器发送与帧内预测器相对应的预测器索引；由编码器基于所选的帧内预测器产生预测块；由编码器计算待编码的当前块与预测块之间的残差；由编码器将变换应用于残差上以产生变换系数；由编码器量化变换系数以产生量化的变换系数；由编码器对量化的变换系数进行熵编码以产生编码后的量化变换系数；以及由编码器发送编码后的量化变换系数，其中，当回退显示模式被选择时，残差被计算为零。
回退显示模式可以是基于变换的回退显示模式，该方法进一步包括：由编码器针对待编码的当前块选择帧内预测器；由编码器发送与帧内预测器相对应的预测器索引；由编码器将与待编码的当前块相对应的残差设置为零；由编码器将量化的变换系数设置为与残差相同；以及由编码器对量化的变换系数进行熵编码。
该方法可以进一步包括：由与编码器通信的解码器接收包括模式信号传输比特的被编码的数据块；由解码器接收特定于模式的信息；由解码器接收量化的残差；以及由解码器处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对被编码的数据块进行解码。
该方法可以进一步包括：由解码器从编码器接收预测器索引；由解码器对帧内预测器进行解码；由解码器计算帧内预测器值；由解码器基于帧内预测器值产生预测块；由解码器从编码器接收变换系数；由解码器基于变换系数产生残差块；以及由解码器通过将预测块和残差块相加来产生重构块。
特定于模式的信息可以包括以下中的至少一个：当常规显示模式包括变换显示模式并且回退显示模式是基于变换的回退显示模式时的帧内预测器索引；当常规显示模式包括块预测显示模式并且回退显示模式包括BP略过模式时的块预测向量；以及当常规显示模式包括中点预测显示模式并且回退显示模式包括中点预测回退显示模式时的步长和颜色空间。
该方法可以进一步包括由解码器针对常规显示模式和回退显示模式两者以相同的方式操作。
信号传输语法可以包括用于指示常规显示模式的至少一个比特、特定于模式的信息以及表示与待编码的当前块相对应的量化的残差的多个比特，其中回退显示模式的量化的残差被设置为零。
根据本公开的又一实施例，提供了一种在用于显示设备的显示流编解码器上实施的非临时性计算机可读介质，非临时性计算机可读介质具有当在处理器上执行时实施显示压缩的方法的计算机代码，该方法包括：由编码器将回退显示模式确定为待编码的当前块的显示模式；由编码器表示回退显示模式的、与对应于回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；由编码器使用与所对应的常规显示模式相同的信号传输语法，根据回退显示模式对当前块进行编码；以及由编码器发送经编码的当前块。
常规显示模式可以是变换显示模式，其中计算机代码在被处理器执行时进一步通过以下步骤实施显示压缩的方法：由编码器针对待编码的当前块选择帧内预测器；由编码器发送与帧内预测器相对应的预测器索引；由编码器基于所选的帧内预测器产生预测块；由编码器计算待编码的当前块与预测块之间的残差；由编码器将变换应用于残差上以产生变换系数；由编码器量化变换系数以产生量化的变换系数；由编码器对量化的变换系数进行熵编码以产生编码后的量化变换系数；以及由编码器发送编码后的量化变换系数。
回退显示模式可以是基于变换的回退显示模式，其中计算机代码在被处理器执行时，进一步通过以下步骤实施显示压缩的方法：由编码器针对待编码的当前块选择帧内预测器；由编码器发送与帧内预测器相对应的预测器索引；由编码器将与待编码的当前块相对应的残差设置为零；由编码器将量化的变换系数设置为与残差相同；以及由编码器对量化的变换系数进行熵编码。
计算机代码在被处理器执行时可以进一步通过以下步骤实施显示压缩的方法：由与编码器通信的解码器接收包括模式信号传输比特的被编码的数据块；由解码器接收特定于模式的信息；由解码器接收量化的残差；以及由解码器处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对被编码的数据块进行解码。
因此，本公开的实施例的系统通过减少从编码器至解码器的信号传输的比特数，并且通过提供用于对回退模式进行信号传输的简化方法，而能够改进显示流压缩。
附图说明
从以下结合附图对实施例的描述中，这些和/或其他方面将变得显而易见并且更容易理解，其中：
图1是先进显示流压缩编码器-解码器(VDC-M CODEC)的编码器的示例的框图；
图2A是示出根据本公开的实施例的用于在编码器处实施变换模式的系统和方法的框图；
图2B是描绘根据本公开的实施例的八个可能的帧内预测器的集合的图示；
图3是示出根据本公开的实施例的用于在编码器处实施基于变换的回退模式(fallback mode)的系统和方法的框图；
图4是示出根据本公开的实施例的用于在解码器处实施常规变换模式和基于变换的回退模式的系统和方法的框图；
图5是示出根据本公开的实施例的用于在编码器处实施块预测模式的系统和方法的框图；并且
图6是示出根据本公开的实施例的用于在编码器处实施中点预测模式的系统和方法的框图。
具体实施方式
通过参考实施例的详细描述和附图，可以更容易地理解本发明构思的特征及其实现方法。在下文中，将参考附图更详细地描述实施例。然而，所描述的实施例可以以各种不同的形式体现，并且不应该被解释为仅限于本文所示的实施例。相反，这些实施例作为示例被提供，使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本发明构思的方面和特征。因此，可能不描述对于本领域普通技术人员完全理解本发明构思的方面和特征是不必要的过程、元件和技术。除非另有说明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，因此，不重复其描述。此外，可能未示出与实施例的描述无关的部分以使描述清楚。在附图中，为了清楚起见，可放大元件、层和区域的相对大小。
本文中参照截面图描述各种实施例，该截面图为实施例和/或中间结构的示意图。如此，可以预期由于例如制造技术和/或偏差导致的从图示的形状的变化。此外，本文所公开的具体结构或功能描述仅仅是说明性的，为了描述根据本公开的构思的实施例的目的。因此，本文中公开的实施例不应被解释为局限于示出的特定的区域形状，而是包括由例如制造引起的形状上的偏差。例如，被示出为矩形的注入区域通常将具有圆形或弧形的特征和/或在其边缘处的注入浓度的梯度，而不是从注入区域到非注入区域的二元变化。同样地，通过注入形成的掩埋区域可以导致在掩埋区域与通过其发生注入的表面之间的区域内的一些注入。因此，附图中示出的区域实际上是示意性的，它们的形状并不为了示出设备的区域的实际形状，并且不是为了限制。此外，如本领域技术人员将认识到的，可以以各种不同的方式来对所描述的实施例进行修改，所有这些都不脱离本公开的精神或范围。
图1是先进显示流压缩编码器-解码器(VDC-M CODEC)的编码器的示例的框图。
参考图1，可以作为VDC-M的一部分的编码器100接收包括各个像素块的图像数据流，其中每个块具有8×2像素的大小。在每个块时间期间，VDC-M编码器100对当前块105执行图1中描绘的步骤。
在接收当前块105之后，VDC-M编码器100可以执行平坦度检测106以确定当前块105的平坦度级别。应当注意，本文描述的实施例中的大多数略过检测平坦度的过程(例如，略过或禁用平坦度检测106)。然而，本公开的实施例可以针对每个块确定该块是对应于平坦区域(例如，与自然图像或计算机产生的图像相对应的平滑区域)还是复杂区域(例如，与自然图像或计算机产生的图像相对应的纹理区域)。当启用平坦度标记(例如，使得发生图1的平坦度检测106)时，编码器100可以信号传输1比特平坦度标记(例如，如果编码器100识别出从平坦到复杂或者从复杂到平坦的转变，或者如果当前块105是平坦的，则平坦度标记可以是1)；编码器100可以将平坦度类型(例如，如果平坦度标记为1，则信号传输两个额外的比特以指示平坦度类型)发送至解码器(例如，在模式信号传输之后并且在信号传输模式相关信息和量化残差之前，这将在下面进一步描述)。在一个实施例中，在变换模式的情况下，除了(下面描述的)最佳帧内预测器和量化残差之外，还可以信号传输平坦度信息。不管选择什么模式，编码器100都可以信号传输平坦度类型，这是因为不管选择什么模式(例如，变换模式、块预测模式、中点预测模式、块预测略过模式或中点预测回退模式)，都可以使用相同的信号传输语法。
然后，编码器100可以根据当前块105的平坦度级别来更新速率控制状态107。
之后，编码器100使用模式测试模块108来测试可能的编码模式/显示模式(其在本文中通常可以被称为“模式”)的完整集合。编码器100可以并行测试这些模式以确定要选择哪个模式来执行显示压缩。
因为模式中的每一个通常是针对某些类型的内容，所以典型的显示图像将包含与构成图像的不同块相对应的不同编码模式的多样化使用。模式集合可以包括不同的类型，其在本文中通常被称为常规模式110和回退模式120。模式集合可以包括：通常捕获自然内容的变换模式；通常捕获图形内容的块预测(BP)模式；通常捕获不相关噪声内容的中点预测(MPP)模式；以及在常规模式110负担不起或另外不可用时确保显示流编解码器的适当行为的回退模式120(例如，与MPP模式相对应的MPP回退(MPPF)模式以及与BP模式相对应的BP略过模式)。
在测试不同模式时，编码器100可以针对每个模式计算速率和失真(RD)成本(例如，RD＝D+λR，其中R是模式的速率，D是根据绝对差的总和(SAD)计算出的失真，以及λ是拉格朗日参数)。然后，编码器100可以在选择的模式不违反任何速率控制约束条件的约束下，选择具有最小的RD成本的模式作为“最佳模式”(例如模式选择130)。编码器100通常确保针对每个块时间，两种或更多种模式可用于模式选择的目的。
最终，对选择模式进行编码150，并且编码器100继续至随后的块并重复以上程序。
编码器100使用多个语法比特将关于针对每个块选择的模式的每个决定作为信号明确地传输给解码器。用于将编码器的针对每个块的决定作为信号传输给解码器的信号传输语法可以指示模式110、120中的哪一个被选择、块的平坦度信息以及取决于编码模式的其他信息。因此，信息可以由解码器解析，该解码器针对每种模式可以理想地执行最少数量的步骤。
因此，总而言之，在选择模式时，VDC-M编码器100将针对包括多个像素块的切片内的每个块测试一组编码模式110、120。针对不同模式110、120中的每一个，编码器100可以确定与相应模式所使用的所有语法比特的总和相对应的速率以及失真，以计算RD成本，并且然后通常可以选择预期将RD成本降至最低的模式(例如模式选择130)。然后，编码器100可以在比特流中对选择模式进行编码150，并且然后可以针对随后的块重复该过程。
与模式110、120中的每一个相关联的语法比特的数量可以变化。例如，在将针对每个块选择的最佳模式作为信号传输至解码器时，信号传输语法可以包括1比特“sameFlag”,当针对先前块的先前选择的模式与当前块模式相同时，1比特“sameFlag”可以被设置为1，否则1比特“sameFlag”可以被设置为0。如果1比特sameFlag为0，则针对当前块的新选择的模式(其与先前块的模式不同)可以作为信号使用2至3个比特被传输。
虽然编码器100通常可以挑选常规模式110中的一个，并且可以将选择的常规模式110作为信号传输至解码器，但是传统上，回退模式120需要作为信号被传输(例如，使用模式报头)，以指示它们是用于模式信号传输目的的单独模式。然而，信号传输回退模式120传统上需要用于模式信号传输目的的额外数据，并且在较高的压缩率下或相当于在较低的每像素比特(bpp)下可能是相对昂贵的解决方案。
也就是说，并且例如，对常规模式110中的一个的选择进行模式信号传输可仅使用2个比特，而对回退模式120中的一个的选择进行模式信号传输可使用额外的第三比特。因为在本示例中，编码器100可以从五个不同的模式110、120中选择，所以编码器100在针对模式110、120中的至少一个不使用三个比特的情况下，通常不能将五个不同的模式中的每一个作为信号单独传输。因为回退模式120的使用频率低于常规模式110，所以常规模式110通常可以仅使用两个比特而作为信号传输，而回退模式120中的一个或多个通常使用额外的第三比特。
如上所讨论的，对回退模式的选择进行模式信号传输虽然比对常规模式的选择进行模式信号传输发生的少，但是由于在信号传输语法中使用了额外的比特，所以其可能有些昂贵。
因此，本公开的实施例通过提供一种相对于对常规模式的选择进行信号传输而在未使用任何额外的比特的情况下对一个或多个回退模式的选择进行信号传输的新颖方法，来改进显示流压缩技术。也就是说，所公开的实施例的回退模式可以遵循与常规模式相同的信号传输语法，从而统一了解码过程，而无需额外开销。
进一步，本公开的实施例还提供了新颖的基于变换的回退模式，其可以通过将残差设置为零而使用最佳可用帧内预测器来重构块样本。
更进一步，新颖的基于变换的回退模式的实施方式也可以被扩展到其他回退模式(例如，BP略过模式和MPPF模式)，以遵循与它们的常规模式对应者(例如，BP模式和MPP模式)相同的信号传输语法。
图2A是示出根据本公开的实施例的用于在编码器处实施变换模式的系统和方法的框图。图2B是描绘根据本公开的实施例的八个可能的帧内预测器的集合的图示。
参考图2A，编码器100的变换模式实施模块200接收像素的当前块105，并且然后执行帧内预测210，以选择预测块212(例如，选择与图2B中示出的帧内预测221-228的帧内预测器/八种可能性相对应的八个可能的预测块中的一个)。应当注意，本实施例的变换模式实施模块200可以对应于图1的编码器100中示出的变换模式实施模块。可以通过将给定预测块212与当前块105之间的误差最小化来选择预测块212。最佳预测器索引(例如，帧内预测器索引)215可以用于确定速率和失真成本，并且可以被存储在存储器中或编码器100的缓冲器中。当像素的当前块105的最佳模式被选择为变换模式时，编码器100可以最终将最佳预测器索引215作为信号传输至解码器(例如，图4的解码器400，这将在下面进一步讨论)。
参考图2B，根据本实施例，针对帧内预测存在八种可能性：DC 221、垂直222、垂直向左223、垂直向右224、对角向左225、对角向右226、水平向左227和水平向右228。在本实施例中使用的帧内预测器221-228可以类似于在H.264视频编码器中使用的帧内预测器，并且可以与在VDC-M中使用的八个帧内预测器相对应。然而，本实施例中的帧内预测器221-228可以被修改，这是因为紧靠左侧的块中的样本不用来允许低复杂性和高通量。还应当注意，针对切片中的第一行(FLS)中的由编码器100接收的块，可能不存在可用的相邻块/相邻的块。因此，DC预测器221可以被使用，其中选择的DC值等于动态范围的一半(例如，针对8bpc源为128)。
返回参考图2A，在编码器100通过帧内预测210选择八个可能的帧内预测器221-228中的“最佳”之后，编码器100计算最佳预测器索引215，最佳预测器索引215可以被存储在存储器中，并且然后可以稍后作为信号传输至解码器400(当像素的当前块105的最佳模式被选择为变换模式时)。编码器100然后可以通过将当前块105和预测块212进行比较来执行残差计算220，预测块212与基于执行的帧内预测210而选择的所选帧内预测器221-228相对应。也就是说，编码器100可以使用所选预测块212和当前块105，来通过确定其差(即，针对每个颜色分量的当前块105与预测块212之间的逐像素差)执行残差计算220。
编码器100然后可以将变换(例如，离散余弦变换(DCT))230应用于预测块212与当前块105之间的所计算的残差上，以产生变换系数。此后，编码器100可以对变换系数进行量化240，以产生量化的变换系数，并且然后可以通过熵编码器250对量化的变换系数进行熵编码。编码后的量化变换系数255可以与最佳预测器索引215一起使用以确定速率和失真成本，并且可以被存储在存储器中或编码器100的缓冲器中。此后，当像素的当前块105的最佳模式被选择为变换模式时，编码器100可以检索最佳预测器索引215和编码后的量化变换系数255，并且然后可以将编码后的量化变换系数255作为信号传输至解码器400。
如下面将描述的，解码器400可以使用由编码器100作为信号传输的编码后的量化变换系数255和最佳预测器索引215，并且可以基于此解码当前块105。
关于模式信号传输，当编码器100选择变换模式作为当前块105的所选模式时，编码器100可以在模式报头中将该选择作为信号传输至解码器400。用于向解码器400进行信号传输的变换模式语法可以指示以下：当前块105的所选模式(例如当前块模式)是否与使用1比特sameFlag的先前块模式相同；使用模式报头(例如，如果sameFlag指示当前块模式与先前块模式不相同，则为2比特模式报头)的模式类型(例如，变换模式)；所选的帧内预测模式(例如，所选的帧内预测器221-228)，针对不在切片的第一行(NFLS)中的块，其可以使用3比特信号传输而进行信号传输；以及量化的变换系数或量化的残差，其可以使用N个比特(N是整数)被熵编码，并作为编码后的量化变换系数255而信号传输至解码器。
图3是示出根据本公开的实施例的用于在编码器处实施基于变换的回退模式的系统和方法的框图。
参考图3，本实施例的编码器100相对于传统编码器的改进在于：当关于图2A描述的变换模式被优选但是负担不起时，其提供了新颖的基于变换的回退模式。在选择新颖的基于变换的回退模式时，编码器100仍可以将最佳预测器索引215发送至解码器400，但是可以代替地作为信号传输，好像常规变换模式被选择，而仅使用模式报头中的两个比特。
也就是说，尽管选择了基于变换的回退模式，但是编码器100用信号通知解码器400常规变换模式被选择，并且用于信号传输常规变换模式的相同的两个比特可以被使用，从而避免了需要使用模式报头中的第三比特来指示从变换模式到基于变换的回退模式的改变。
当编码器100选择基于变换的回退模式时，编码器100的变换模式实施模块200仍可以使用帧内预测210，来通过最小化给定预测块212与初始当前块105之间的误差，而选择图2B中示出的帧内预测221-228的八个前述可能性中的一个。
然而，当选择基于变换的回退模式时，编码器100可以代替地将全零变换系数355作为编码后的量化变换系数(例如，代替图2A的编码后的量化变换系数255)作为信号传输至解码器400。也就是说，不计算残差(例如，省略图2A的残差计算220)，并且因此假定残差335为零(针对所有分量)。然后，“全零”残差335由熵编码器250进行熵编码，并作为信号传输至解码器400。
关于模式信号传输，并且与常规编码器不同，如果编码器100针对当前块105挑选基于变换的回退模式，则编码器100将常规变换模式作为所选模式而在模式报头中进行信号传输，而不是作为基于变换的回退模式进行信号传输。
如将在下面讨论的，在对应的回退模式120被实际选择时将常规模式110作为信号传输的概念可以被扩展到BP略过和MPPF模式。这通常可以通过编码器100将所有残差设置为零而不是执行在常规模式110下通常执行的残差计算220来实现。
图4是示出根据本公开的实施例的用于在解码器处实施常规变换模式和基于变换的回退模式的系统和方法的框图。
参考图4，如上所讨论的，常规变换模式和基于变换的回退模式两者的信号传输语法可以相同(例如，模式报头可以作为信号被传输，就好像常规变换模式被选择一样)。因此，在解码器400处，无需具有针对两种不同模式的单独解码处理。因此，解码器400不需要关于其是正在根据变换模式还是根据基于变换的回退模式进行解码的任何额外信息。即，基于变换的回退模式可以使用与变换模式相同的语法，其中针对所有分量的量化残差335被设置为零(例如，量化残差/量化系数355中的全部都为零)。
由于熵编码器中的分量略过，因此分量中的全零系数被有效编码。当量化系数355中的全部均被发现为零时，分量略过启动有效信号传输。当量化系数355中的全部均被发现为零时，单个比特可以作为信号被传输，从而指示量化系数355中的全部均是零(例如，“1”可以作为信号被传输)。当量化系数不全为零时，单个比特可以作为信号被传输，以指示这种情况(例如，“0”可以作为信号被传输)，然后将量化系数作为信号传输。因此，当前块105的重构值/重构块370可以对应于所选择的最佳预测器索引215。也就是说，当基于变换的回退模式被选择时，由于所有残差样本335均为零，因此解码器400使用最佳预测器索引215来重构当前块105以创建重构块370。
在对全零变换系数355进行解码、反量化以及执行逆变换之后，将全零残差块375与预测块365一起使用以创建重构块370。预测块365可以由解码器400通过对作为信号传输的最佳预测器索引215进行解码并通过计算帧内预测器值340(例如对最佳帧内预测器索引进行解码并计算帧内预测器值340)来确定。
在另一个实施例中，并且例如，仅启用变换模式，而禁用所有其他常规模式(即，BP模式和MPP模式)。在这种情景下，MPPF模式和BP略过模式两者也可以被禁用。因此，基于变换的回退模式可以被启用，这是因为需要至少一个回退模式来确保显示流编解码器的适当行为。
通过相对于MPPF或BP略过模式包括基于变换的回退模式，可以无需将每个块的模式类型(变换或基于变换的回退)作为信号传输至解码器400。因此，每个块还可以节省1比特，具有更好的速率失真性能，并具有降低的在编码器100中选择回退模式选项的机会。
更进一步，应当注意，本实施例的解码器400可以以一致的方式操作，而不管编码器100是以常规模式还是相应的回退模式进行操作。也就是说，虽然传统解码器可以根据编码器选择的模式来不同地处理信息，但因为本实施例的编码器100在其从常规模式切换至回退模式时不发信号或反之亦然，因此本实施例的解码器400不在常规模式与相应的回退模式之间进行区分，并且因此在各个模式类型之间以一致的方式处理从编码器100接收的信息，从而简化编解码器的操作，并且改进显示压缩技术。
图5是示出根据本公开的实施例的用于在编码器处实施块预测模式的系统和方法的框图。
参考图5，根据其他实施例，编码器100还可以根据BP模式操作。然而，应当注意，因为编码器100在BP模式下不将变换应用于计算的残差上，所以省略了图2A的DCT变换230。进一步，还可以省略帧内预测210，并且可以代替地使用BPV搜索功能510。另外，代替将最佳预测器索引215作为信号传输，编码器100可以信号传输BP模式的BP向量。编码器100可以选择BP模式以重复图案和图形。在高量化器参数(QP)下，BP模式的速率的重要部分可以被分配给块预测向量。
在BP模式中，编码器100的BP模式实施模块500通常试图从当前行或从先前行中对当前块105进行匹配。也就是说，可以从BP搜索范围内的重构的相邻样本集合中在空间上预测当前块105。
为了改进性能，当前的8×2像素块被划分为四个2×2子块的集合。使用2×2分区或一对2×1分区从BP搜索范围中预测每个子块。
因此，可以针对2×2子块中的全部发送块预测向量(BPV)，或者2×2子块可以进一步被划分为两个2×1子块，其中两个BPV作为信号被传输(例如，每2×1子块一个BPV)。也就是说，2×2子块可以由单个块预测向量(BPV)表示，单个块预测向量(BPV)将从搜索范围中产生2×2预测块。相反，如果选择一对2×1分区，则子块将由两个不同的BPV表示。第一个BPV将针对子块中的上两个样本产生2×1预测块，而第二个BPV将针对下两个样本产生2×1预测块。
编码器100可以执行BPV搜索510以发现使当前块105内的每个2×2和2×1分区的失真最小化的BPV。该步骤的结果是针对两种分区类型的BPV和预测块212的集合。
接下来，执行残差计算220。此后，可以使用量化模块540对残差样本执行前向量化(forward quantization)，由于针对不同的相应模式的比特精度的差异，量化模块540与图2A的量化模块240可不同。也就是说，使用量化模块540对残差进行量化，并且然后由熵编码器250对残差进行熵编码以产生编码后的量化变换系数255。
BP模式信号传输语法可以与上述变换模式信号传输语法相同，除了代替指示帧内预测模式，BP模式信号传输语法可以指示BP向量(BPV)，BP模式信号传输语法可以包括针对分区类型1×2或2×2以及针对每个分区的BPV的1比特信号传输。
图6是示出根据本公开的实施例的用于在编码器处实施中点预测模式的系统和方法的框图。
参考图6，根据另一个实施例，编码器100也可以根据MPP模式操作。与变换模式相比，并且与BP模式一样，省略了DCT变换230。编码器100通常可以针对完全不相关的块选择MPP模式，因为可能发生随机噪声。
根据MPP模式，编码器100的MPP模式实施模块600可以执行中点预测610以产生预测块212。可以根据被称为“中点预测器”的单个值预测当前块105中的每个样本。中点预测器可以被计算为在空间上相邻的样本/在空间上相邻的像素的平均值。从残差计算220确定的残差块与在变换模式和BP模式中的残差块被不同地处理。
进一步，MPP模式将标量量化器用于量化模块640，而不是将分数量化器用于量化模块240。然后，编码器100可以通过熵编码器250针对每个样本使用固定步长直接对量化的残差样本进行熵编码，固定步长是从QP推导出的。在MPP模式信号传输语法中，步长明确地作为信号被传输，使得解码器400不需要具有更新的QP信息来解码MPP残差，从而放宽了时间。
因此，MPP模式信号传输语法通常可以与上述的BP模式信号传输语法和变换模式信号传输语法两者相同，而不是指示帧内预测模式或BP向量(BPV)，MPP模式信号传输语法可以指示色彩空间(例如，使用单个比特)，并且可以明确地将量化器步长作为信号传输(例如，使用三个比特)。同样，例如，对于RGB4:4:4源，可以在原生空间(RGB)或在YCoCg空间中实行预测。因此，额外的比特可以作为信号被传输以指示哪个颜色空间用于预测。应当注意，所公开的实施例可以应用于所有色度格式(例如，444、422、420)。
如上所述，编码器100还可以根据所公开的回退模式120操作。在对应的回退模式120被实际选择时将常规模式110作为信号传输的概念可以从基于变换的回退模式扩展到BP略过和MPPF模式。这通常可以由编码器100在其残差计算220中将所有残差设置为零来实现。
根据BP略过模式，并且参考图4，当BP略过模式被选择时，重构块370可以等于预测块365。BP略过模式可以通过将残差块375设置为零而使用由块预测向量指向的块样本，来确定重构块370，其中残差(所有值均为零)被明确地作为信号传输至解码器400。也就是说，由于所有残差样本375均为零，因此BP略过模式使用预测样本365来重构当前块105以产生重构块370(预测样本对应于由块预测向量指向的块样本)。
因此，即使当编码器100针对当前块105选择BP略过模式时，常规BP模式仍可以被指示在模式报头中。相同的信号传输语法可以被用作常规的BP模式，其中除了将BPV作为信号传输之外，所有分量的量化残差都被设置为零(针对所有分量)，并作为信号传输至解码器400。由于分量略过，因此分量中的全零系数都被有效编码。
根据MPP回退模式，如果编码器100针对当前块105挑选MPPF，则常规MPP模式可以被指示在模式报头中。同样，相同的信号传输语法可以被用作MPP模式，其中步长明确地作为信号传输。因此，在MPP回退模式中，模式报头可以作为信号传输，就好像选择常规MPP模式一样。进一步，因为MPP模式将步长作为信号传输，所以在本实施例的MPP回退模式中，作为信号传输的步长可以固定或可以不固定，使得所需的比特少于平均块速率。
如上所述，信号传输回退模式通常需要传输关于单独的模式用在报头中的信号，这在较高的压缩率下或相当于在较低的bpp下可能是昂贵的解决方案。当针对一段图像内容不需要所有模式时，回退模式的所需的信号传输可能会太昂贵。这无法充分地提供设计中的灵活性，并且删除现有的回退模式或添加新的回退模式将需要重新设计模式信号传输表。
然而，以上描述的实施例通过提供以下贡献而提供上述问题的适当解决方案。首先，公开的实施例将回退模式120的语法与它们相应的常规模式110的语法对准。主要区别在于，针对回退模式，所有颜色分量的残差都被设置为零，并使用在相应常规模式中使用的相同熵编码方法，将残差明确地作为信号传输至解码器。其次，还提供了一种新的基于变换的回退模式，该模式使用与常规变换模式的信号传输语法相同的信号传输语法。
因此，由于常规模式和相应回退模式的信号传输语法是相同的，所以解码器400不在这两者之间进行区分。因此，模式信号传输仅涉及三种模式-变换、BP和MPP模式。通过进一步限制模式信号传输，这可以导致比特节省。
另外，因为编码器和解码器可以在保持相同模式信号传输的同时省略或添加一个或多个回退模式，因此可以存在更灵活的设计。例如，本文描述的新颖的基于变换的回退模式可以作为第六模式被添加至编解码器，而无需进一步使五个模式(BP、MPP、变换模式、BP略过和MPP回退模式)的模式信号传输复杂化。
此外，由于公开的实施例使编码器100能够仅将三种模式中的一种作为信号传输，因此可以使用截断的二进制代码。也就是说，可以使用1比特来将模式(BP模式、MPP模式或变换模式)中的一种作为信号传输，并且可以使用2个比特来将剩余的两种模式作为信号传输。
另外，与VDC-M中的模式信号传输(需要至少2个比特)相比，可以具有比特节省。回退模式的可能性可以被减少(因为常规模式中的一种可以使用1个比特)。
在其他实施例中，当仅启用一个常规模式和一个相应的回退模式时，一些示例实施例可以去除模式信号传输。当常规模式信号传输语法改变时，相应的回退模式信号传输语法也被修改，以便对准语法。
另外，由于示例实施例实现的灵活设计，因此可以提高添加新的回退模式或者甚至取代传统的回退模式的自由。由于减少了模式信号传输的比特，还可以节省信号传输成本，这可以转化为改进的压缩性能。另外，解码过程是统一的。
因此，所公开的实施例通过改进显示压缩方法而提供对显示技术领域的改进。
在描述中，为了解释的目的，许多具体细节提供对各种实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节或具有一个或多个等效布置的情况下对各种实施例加以实践。在其他实例中，以框图形式示出了公知的结构及设备，以免不必要地混淆各种实施例。
本文使用的术语仅用于描述特定的实施例，并不旨在限制本公开。如本文所用，单数形式“一”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解的是，当在此说明书中使用时，术语“包括”、“包含”和“具有”表明存在所陈述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组。如本文所用，术语“和/或”包括相关联的所列项目中的一个或多个的任意和所有组合。
当特定实施例可以以不同方式实现时，具体的处理顺序可以与所描述的顺序不同地执行。例如，两个连续描述的过程可以基本上同时执行，或者以与描述的顺序相反的顺序执行。
根据在本文中描述的本公开的实施例的电气或电子设备和/或任何其它相关设备或部件可以利用任何合适的硬件、固件(例如专用集成电路)、软件、或软件、固件和硬件的组合来实现。例如，这些设备的各种部件可以被形成在一个集成电路(IC)芯片上或单独的IC芯片上。此外，这些设备的各种部件可以被实现在柔性印刷电路膜、带载封装(TCP)、印刷电路板(PCB)上，或者被形成在一个基板上。此外，这些设备的各种部件可以是在一个或多个处理器上运行的进程或线程，其中处理器位于一个或多个计算设备中，用于执行计算机程序指令并与其它系统部件交互以执行本文中描述的各种功能。计算机程序指令被存储在可被实现在利用标准存储设备的计算设备中的存储器中，例如随机存取存储器(RAM)。计算机程序指令还可以被存储在其它的非临时性计算机可读介质中，例如CD-ROM、闪存驱动器等。此外，本领域技术人员应认识到，各个计算设备的功能可以被组合或集成到单个计算设备，或特定计算设备的功能可以被分布在一个或多个其它计算设备之间，而不脱离本公开的实施例的精神和范围。
除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有本发明构思所属的技术领域的普通技术人员所通常理解的相同含义。将进一步理解，例如那些在常用字典中定义的术语应该被解释为具有与它们在相关领域的上下文和/或本说明书中的含义一致的含义，而不应以理想化或过于正式的意义来解释，除非在本文中明确地如此定义。
在本文中已经公开了实施例，并且尽管使用了特定的术语，但它们仅以一般和描述性的意思被使用和解释，而不是为了限制的目的。在某些情况下，如对递交本申请的领域内的普通技术人员来说将是显而易见的那样，结合特定实施例描述的特征、特性和/或元件可以单独使用，或者也可以与结合其它实施例描述的特征、特性和/或元件组合使用，除非例如另有指示。因此，在不脱离如所附权利要求(其功能等效物包括在本文中)中提出的本公开的精神和范围的情况下，可以进行形式上和细节上的各种改变。

Claims (20)

1.一种用于显示设备的显示流编解码器，所述显示流编解码器包括编码器，其中所述编码器被配置为：
将回退显示模式确定为待编码的当前块的显示模式；
表示所述回退显示模式的、与对应于所述回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；
使用与所对应的常规显示模式相同的信号传输语法，根据所述回退显示模式对所述当前块进行编码；以及
发送经编码的当前块。
2.根据权利要求1所述的显示流编解码器，其中所述常规显示模式是变换显示模式，并且其中所述编码器进一步被配置为：
针对所述待编码的当前块选择帧内预测器；
发送与所述帧内预测器相对应的预测器索引；
基于所选的帧内预测器产生预测块；
计算所述待编码的当前块与所述预测块之间的残差；
将变换应用于所述残差上以产生变换系数；
量化所述变换系数以产生量化的变换系数；
对所述量化的变换系数进行熵编码，以产生编码后的量化变换系数；以及
发送所述编码后的量化变换系数。
3.根据权利要求1所述的显示流编解码器，其中所述回退显示模式是基于变换的回退显示模式，
其中所述编码器进一步被配置为：
针对所述待编码的当前块选择帧内预测器；
发送与所述帧内预测器相对应的预测器索引；
将与所述待编码的当前块相对应的残差设置为零；
将量化的变换系数设置为与所述残差相同；以及
对所述量化的变换系数进行熵编码。
4.根据权利要求2或3所述的显示流编解码器，其中所述显示流编解码器进一步包括与所述编码器通信的解码器，其中所述解码器被配置为：
接收包括模式信号传输比特的被编码的数据块；
接收特定于模式的信息；
接收量化的残差；以及
处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对所述被编码的数据块进行解码。
5.根据权利要求4所述的显示流编解码器，其中所述解码器进一步被配置为：
从所述编码器接收所述预测器索引；
对所述帧内预测器进行解码；
计算帧内预测器值；
基于所述帧内预测器值产生预测块；
从所述编码器接收所述变换系数；
基于所述变换系数产生残差块；以及
通过将所述预测块和所述残差块相加来产生重构块。
6.根据权利要求4所述的显示流编解码器，其中所述特定于模式的信息包括以下中的至少一个：
当所述常规显示模式包括变换显示模式并且所述回退显示模式是基于变换的回退显示模式时的帧内预测器索引；
当所述常规显示模式包括块预测显示模式并且所述回退显示模式包括块预测略过模式时的块预测向量；以及
当所述常规显示模式包括中点预测显示模式并且所述回退显示模式包括中点预测回退显示模式时的步长和颜色空间。
7.根据权利要求4所述的显示流编解码器，其中所述解码器进一步被配置为针对所述常规显示模式和所述回退显示模式两者以相同的方式操作。
8.根据权利要求1所述的显示流编解码器，其中所述信号传输语法包括用于指示所述常规显示模式的至少一个比特、特定于模式的信息以及表示与所述待编码的当前块相对应的量化的残差的多个比特，其中所述回退显示模式的所述量化的残差被设置为零。
9.一种对显示数据进行编码的方法，所述方法包括：
由编码器将回退显示模式确定为待编码的当前块的显示模式；
由所述编码器表示所述回退显示模式的、与对应于所述回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；
由所述编码器使用与所对应的常规显示模式相同的信号传输语法，根据所述回退显示模式对所述当前块进行编码；以及
由所述编码器发送经编码的当前块。
10.根据权利要求9所述的方法，其中所述常规显示模式是变换显示模式，所述方法进一步包括：
由所述编码器针对所述待编码的当前块选择帧内预测器；
由所述编码器发送与所述帧内预测器相对应的预测器索引；
由所述编码器基于所选的帧内预测器产生预测块；
由所述编码器计算所述待编码的当前块与所述预测块之间的残差；
由所述编码器将变换应用于所述残差上以产生变换系数；
由所述编码器量化所述变换系数以产生量化的变换系数；
由所述编码器对所述量化的变换系数进行熵编码，以产生编码后的量化变换系数；以及
由所述编码器发送所述编码后的量化变换系数，
其中，当所述回退显示模式被选择时，所述残差被计算为零。
11.根据权利要求9所述的方法，其中所述回退显示模式是基于变换的回退显示模式，所述方法进一步包括：
由所述编码器针对所述待编码的当前块选择帧内预测器；
由所述编码器发送与所述帧内预测器相对应的预测器索引；
由所述编码器将与所述待编码的当前块相对应的残差设置为零；
由所述编码器将量化的变换系数设置为与所述残差相同；以及
由所述编码器对所述量化的变换系数进行熵编码。
12.根据权利要求10或11所述的方法，进一步包括：
由与所述编码器通信的解码器接收包括模式信号传输比特的被编码的数据块；
由所述解码器接收特定于模式的信息；
由所述解码器接收量化的残差；以及
由所述解码器处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对所述被编码的数据块进行解码。
13.根据权利要求12所述的方法，进一步包括：
由所述解码器从所述编码器接收所述预测器索引；
由所述解码器对所述帧内预测器进行解码；
由所述解码器计算帧内预测器值；
由所述解码器基于所述帧内预测器值产生预测块；
由所述解码器从所述编码器接收变换系数；
由所述解码器基于所述变换系数产生残差块；以及
由所述解码器通过将所述预测块和所述残差块相加来产生重构块。
14.根据权利要求12所述的方法，其中所述特定于模式的信息包括以下中的至少一个：
当所述常规显示模式包括变换显示模式并且所述回退显示模式是基于变换的回退显示模式时的帧内预测器索引；
当所述常规显示模式包括块预测显示模式并且所述回退显示模式包括块预测略过模式时的块预测向量；以及
当所述常规显示模式包括中点预测显示模式并且所述回退显示模式包括中点预测回退显示模式时的步长和颜色空间。
15.根据权利要求12所述的方法，进一步包括由所述解码器针对所述常规显示模式和所述回退显示模式两者以相同的方式操作。
16.根据权利要求9所述的方法，其中所述信号传输语法包括用于指示所述常规显示模式的至少一个比特、特定于模式的信息以及表示与所述待编码的当前块相对应的量化的残差的多个比特，其中所述回退显示模式的所述量化的残差被设置为零。
17.一种非临时性计算机可读介质，被实施在用于显示设备的显示流编解码器上，所述非临时性计算机可读介质具有计算机代码，所述计算机代码当在处理器上执行时实施显示压缩的方法，所述方法包括：
由编码器将回退显示模式确定为待编码的当前块的显示模式；
由所述编码器表示所述回退显示模式的、与对应于所述回退显示模式的常规显示模式的模式信号传输相同的模式信号传输；
由所述编码器使用与所对应的常规显示模式相同的信号传输语法，根据所述回退显示模式对所述当前块进行编码；以及
由所述编码器发送经编码的当前块。
18.根据权利要求17所述的非临时性计算机可读介质，其中所述常规显示模式是变换显示模式，
其中所述计算机代码在被所述处理器执行时，进一步通过以下步骤实施所述显示压缩的方法：
由所述编码器针对所述待编码的当前块选择帧内预测器；
由所述编码器发送与所述帧内预测器相对应的预测器索引；
由所述编码器基于所选的帧内预测器产生预测块；
由所述编码器计算所述待编码的当前块与所述预测块之间的残差；
由所述编码器将变换应用于所述残差上以产生变换系数；
由所述编码器量化所述变换系数以产生量化的变换系数；
由所述编码器对所述量化的变换系数进行熵编码，以产生编码后的量化变换系数；以及
由所述编码器发送所述编码后的量化变换系数。
19.根据权利要求17所述的非临时性计算机可读介质，其中所述回退显示模式是基于变换的回退显示模式，
其中所述计算机代码在被所述处理器执行时，进一步通过以下步骤实施所述显示压缩的方法：
由所述编码器针对所述待编码的当前块选择帧内预测器；
由所述编码器发送与所述帧内预测器相对应的预测器索引；
由所述编码器将与所述待编码的当前块相对应的残差设置为零；
由所述编码器将量化的变换系数设置为与所述残差相同；以及
由所述编码器对所述量化的变换系数进行熵编码。
20.根据权利要求17所述的非临时性计算机可读介质，其中所述计算机代码在被所述处理器执行时，进一步通过以下步骤实施所述显示压缩的方法：
由与所述编码器通信的解码器接收包括模式信号传输比特的被编码的数据块；
由所述解码器接收特定于模式的信息；
由所述解码器接收量化的残差；以及
由所述解码器处理所接收的模式信号传输比特、所接收的特定于模式的信息以及所接收的量化的残差，以对所述被编码的数据块进行解码。
CN201911334477.2A 2018-12-21 2019-12-23 显示流编解码器、显示数据的编码方法及计算机可读介质 Pending CN111355957A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862784351P 2018-12-21 2018-12-21
US62/784,351 2018-12-21
US16/262,848 US10970881B2 (en) 2018-12-21 2019-01-30 Fallback modes for display compression
US16/262,848 2019-01-30

Publications (1)

Publication Number Publication Date
CN111355957A true CN111355957A (zh) 2020-06-30

Family

ID=69005366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911334477.2A Pending CN111355957A (zh) 2018-12-21 2019-12-23 显示流编解码器、显示数据的编码方法及计算机可读介质

Country Status (4)

Country Link
US (1) US10970881B2 (zh)
EP (1) EP3672240A1 (zh)
KR (1) KR20200079186A (zh)
CN (1) CN111355957A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117676159A (zh) * 2022-09-08 2024-03-08 华为技术有限公司 一种解码方法、编码方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549610A (zh) * 2003-05-09 2004-11-24 北京三星通信技术研究有限公司 在公共接入信道中提供多级接入服务的方法
CN102172021A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用大宏块进行视频译码
CN104113500A (zh) * 2013-04-22 2014-10-22 华为技术有限公司 一种信道均衡方法和预编码处理方法、相关装置及系统
CN105721864A (zh) * 2016-04-20 2016-06-29 杭州当虹科技有限公司 一种基于音视频封装层参数检测的高效回归测试方法
CN106716999A (zh) * 2014-06-20 2017-05-24 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
US20170230687A1 (en) * 2016-02-04 2017-08-10 Mediatek Inc. Method and Apparatus for Image Compression without Residue Signaling
CN107409219A (zh) * 2015-04-13 2017-11-28 高通股份有限公司 用于显示流压缩的速率受限回退模式
US20220345509A1 (en) * 2021-04-21 2022-10-27 Tencent America LLC Session-based description url customization using the session-based dash operations

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2265783B (en) 1992-04-01 1996-05-29 Kenneth Stanley Jones Bandwidth reduction employing a classification channel
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
JP5594841B2 (ja) 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
WO2013067435A1 (en) 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
EP3657788B1 (en) 2011-11-11 2021-08-04 GE Video Compression, LLC Effective prediction using partition coding
US20130294524A1 (en) 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US9277212B2 (en) 2012-07-09 2016-03-01 Qualcomm Incorporated Intra mode extensions for difference domain intra prediction
GB2514540B (en) 2013-04-10 2020-01-08 Microsoft Technology Licensing Llc Resource for encoding a video signal
US10225561B2 (en) 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
US10575000B2 (en) 2016-04-20 2020-02-25 Mediatek Inc. Method and apparatus for image compression using block prediction mode

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549610A (zh) * 2003-05-09 2004-11-24 北京三星通信技术研究有限公司 在公共接入信道中提供多级接入服务的方法
CN102172021A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用大宏块进行视频译码
CN104113500A (zh) * 2013-04-22 2014-10-22 华为技术有限公司 一种信道均衡方法和预编码处理方法、相关装置及系统
CN106716999A (zh) * 2014-06-20 2017-05-24 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
CN107409219A (zh) * 2015-04-13 2017-11-28 高通股份有限公司 用于显示流压缩的速率受限回退模式
US20170230687A1 (en) * 2016-02-04 2017-08-10 Mediatek Inc. Method and Apparatus for Image Compression without Residue Signaling
CN107040785A (zh) * 2016-02-04 2017-08-11 联发科技股份有限公司 图像解码和图像编码的方法和装置
CN105721864A (zh) * 2016-04-20 2016-06-29 杭州当虹科技有限公司 一种基于音视频封装层参数检测的高效回归测试方法
US20220345509A1 (en) * 2021-04-21 2022-10-27 Tencent America LLC Session-based description url customization using the session-based dash operations

Also Published As

Publication number Publication date
KR20200079186A (ko) 2020-07-02
US10970881B2 (en) 2021-04-06
EP3672240A1 (en) 2020-06-24
US20200202574A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
US10419763B2 (en) Method and apparatus of context modelling for syntax elements in image and video coding
US10582203B2 (en) Method and apparatus for transform coefficient coding of non-square blocks
US10979707B2 (en) Method and apparatus of adaptive inter prediction in video coding
CN107211136B (zh) 具有大字母表的源样本的熵编码与熵解码的方法
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
CN111819853A (zh) 变换域中预测的信令残差符号
US20100315557A1 (en) Reducing flicker in the display of video streams
CA2774976C (en) Embedded graphics coding: reordered bitstream for parallel decoding
CN111742554A (zh) 具有视频数据自适应量化的视频编码或解码方法和装置
KR20210083353A (ko) 이웃 샘플 의존 파라메트릭 모델에 기초한 코딩 모드의 단순화
CN107454414B (zh) 图像编码/解码方法及相关装置
CN112740682A (zh) 用于依赖性标量量化的标量量化器决策方案
CN116195254A (zh) 用于通用视频编码的模板匹配预测
KR20110118175A (ko) 인코딩 방법 및 인코더 장치
CN115836525B (zh) 用于从多个交叉分量进行预测的视频编码、解码方法和设备
JP2013098984A (ja) 画素ブロックを符号化及び再構成する方法、並びに対応する装置
CN111355957A (zh) 显示流编解码器、显示数据的编码方法及计算机可读介质
CN113170137A (zh) 降低本地邻域的使用的残差译码
US20140341288A1 (en) Video encoding method and apparatus for determining size of parallel motion estimation region based on encoding related information and related video decoding method and apparatus
WO2024008060A1 (en) Method and apparatus of dependent quantization for video coding
WO2022178405A1 (en) Dependent quantization and residual coding method
KR20210002506A (ko) 비디오의 인코딩 및 디코딩
EP3987780A1 (en) Method and device for picture encoding and decoding using position dependent intra prediction combination
WO2022187026A2 (en) Dependent quantization state transition method for video coding
CN115314712A (zh) 在低延迟视频编码中使用多个环路滤波器的视频编码方法和相关视频编码装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination