CN106233731A - 用于针对显示流压缩(dsc)在图案模式中译码的系统和方法 - Google Patents

用于针对显示流压缩(dsc)在图案模式中译码的系统和方法 Download PDF

Info

Publication number
CN106233731A
CN106233731A CN201580020095.6A CN201580020095A CN106233731A CN 106233731 A CN106233731 A CN 106233731A CN 201580020095 A CN201580020095 A CN 201580020095A CN 106233731 A CN106233731 A CN 106233731A
Authority
CN
China
Prior art keywords
pattern
database
video
pattern database
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020095.6A
Other languages
English (en)
Other versions
CN106233731B (zh
Inventor
纳坦·海姆·雅各布森
维贾伊拉加哈万·提拉鲁马莱
瑞珍·雷克斯曼·乔许
戴闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106233731A publication Critical patent/CN106233731A/zh
Application granted granted Critical
Publication of CN106233731B publication Critical patent/CN106233731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种用于针对显示流压缩DSC在图案模式中译码视频数据的系统和方法。在一个方面中，所述方法包含：确定当前视频数据块中的第一图案不在包括多个图案的图案数据库中；及将所述第一图案添加到所述图案数据库。所述第一图案可与识别所述第一图案在所述图案数据库中的位置的第一索引相关联。所述方法进一步包含至少部分地经由用信号发送(i)经确定不在所述图案数据库中的所述第一图案及(ii)识别所述第一图案在所述第一数据库中的所述位置的所述第一索引而在图案模式中译码所述当前块。

Description

用于针对显示流压缩(DSC)在图案模式中译码的系统和方法
技术领域
本发明涉及视频译码和压缩的领域，且确切地说，涉及用于经由显示链路发射的视频压缩，例如，显示流压缩(DSC)。
背景技术
可将数字视频能力并入到多种多样的显示器中，包含数字电视、个人数字助理(PDA)、膝上型计算机、台式监测器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏机、蜂窝或卫星无线电话、视频电话会议装置及类似者。显示链路用于将显示器连接到适当源装置。显示链路的带宽要求与显示器的分辨率成比例，且因此，高分辨率显示器需要大带宽显示链路。一些显示链路不具有支持高分辨率显示器的带宽。可使用视频压缩减少带宽要求，使得可使用较低带宽显示链路将数字视频提供到高分辨率显示器。
其它人已尝试对像素数据使用图像压缩。然而，此类方案有时并不能视觉上无损，或可能在常规显示装置中实施起来困难且昂贵。
视频电子标准协会(VESA)已开发了显示流压缩(DSC)作为用于显示链路视频压缩的标准。例如DSC的显示链路视频压缩技术应(尤其)提供视觉无损的图片质量(即，图片具有质量等级使得用户不能分辨压缩为作用中的)。显示链路视频压缩技术还应提供用常规硬件实时实施起来简单且廉价的方案。
发明内容
本发明的系统、方法和装置各自具有若干创新方面，其中无单个方面单独负责本文所公开的合乎需要的属性。
在一个方面中，用于在图案模式中译码视频数据的方法包含：确定当前视频数据块中的第一图案不在包括多个图案的图案数据库中，其中图案数据库存储于视频编码装置的存储器中；将第一图案添加到图案数据库，第一图案与识别第一图案在图案数据库中的位置的第一索引相关联；及至少部分地经由用信号发送(i)经确定不在图案数据库中的第一图案及(ii)识别第一图案在第一数据库中的位置的第一索引从而在图案模式中译码当前块。
在另一方面中，经配置以在图案模式中译码视频数据的设备包含存储器及与存储器通信的处理器。存储器经配置以存储包括多个图案的图案数据库。处理器经配置以：确定当前视频数据块中的第一图案不在图案数据库中；将第一图案添加到图案数据库，第一图案与识别第一图案在图案数据库中的位置的第一索引相关联；及至少部分地经由用信号发送(i)经确定不在图案数据库中的第一图案及(ii)识别第一图案在第一数据库中的位置的第一索引从而在图案模式中译码当前块。
在另一方面中，非暂时性计算机可读媒体含有代码，所述代码在执行时使得设备进行以下操作：确定当前视频数据块中的第一图案不在包括多个图案的图案数据库中；将第一图案添加到图案数据库，第一图案与识别第一图案在图案数据库中的位置的第一索引相关联；及至少部分地经由用信号发送(i)经确定不在图案数据库中的第一图案及(ii)识别第一图案在第一数据库中的位置的第一索引从而在图案模式中译码当前块。
在另一方面中，经配置以在图案模式中译码视频数据的视频译码装置包含：用于确定当前视频数据块中的第一图案不在包括多个图案的图案数据库中的装置；用于将第一图案添加到图案数据库的装置，第一图案与识别第一图案在图案数据库中的位置的第一索引相关联；及用于至少部分地经由用信号发送(i)经确定不在图案数据库中的第一图案及(ii)识别第一图案在第一数据库中的位置的第一索引从而在图案模式中译码当前块的装置。
附图说明
图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
图1B为说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。
图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图2B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图3为说明根据本发明中描述的方面的用于搜索图案数据库的方法的流程图。
图4为说明根据本发明中描述的方面的用于更新图案数据库的方法的流程图。
图5为说明根据本发明中描述的方面的用于在图案模式中预测视频数据块的方法的流程图。
图6为说明根据本发明中描述的方面的用于更新图案数据库的方法的框图。
图7为说明根据本发明中描述的方面的由编码器执行以用于更新图案数据库的方法的框图。
图8为说明根据本发明中描述的方面的由解码器执行以用于更新图案数据库的方法的框图。
图9为其中停用图案模式的实例压缩影像。
图10为根据本发明中描述的方面的其中启用图案模式的实例压缩影像。
具体实施方式
一般来说，本发明涉及改进视频压缩技术(例如DSC)的方法。更确切地说，本发明涉及用于搜索图案数据库以便找到潜在匹配且当在图案数据库中未发现匹配时更新图案数据库的系统及方法。
虽然本文中在DSC标准的上下文中描述某些实施例，但所属领域的技术人员将了解，本文中所公开的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所公开的实施例可适用于以下标准中的一或多者：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)移动图片专家组-1(MPEG-1)Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-TH.264(也称为ISO/IEC MPEG-4 AVC)、高效率视频译码(HEVC)，及此类标准的任何扩展。此外，本发明中描述的技术可变为将来开发的标准的一部分。换句话说，本发明中描述的技术可适用于先前开发的视频译码标准、当前正在开发的视频译码标准及即将出现的视频译码标准。
针对未来DSC标准所提出的算法包含数个译码模式，其中每一视频数据块可由编码器编码，并且类似地，由解码器解码。在一些实施方案中，编码器及解码器可维持频繁使用的像素值的数据库，及(例如，编码器可用信号发送且解码器可参考的)数据库索引而非实际像素值，用信号发送所述实际像素值的成本可能更高。然而，在此译码模式中译码块之前，此类实施方案中的一些可能要求块中所含有的每一像素存在于数据库中。此外，其它实施方案可能要求涉及在编码器侧以及解码器侧上搜索数据库的成本高的数据库更新过程。因此，需要一种实施图案数据库的经改进方法。
在本发明中，描述一种在图案模式中译码块的经改良方法。举例来说，方法可能不要求正经译码的当前块中的每一像素存在于数据库中。另外，方法可能不要求当前块中的像素与存储于数据库中的像素之间的精确匹配。此外，根据本发明的更新图案数据库的过程可能不要求解码器搜索图案数据库，从而产生较简单的硬件设计。
视频译码标准
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可包含布置成水平和垂直线的像素或样本。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在无压缩的情况下，待从图像编码器传达到图像解码器的信息的绝对量将使实时图像发射变得不可行。为了减少待发射的信息量，已开发出例如JPEG、MPEG和H.263标准的多个不同压缩方法。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H 264(也称为ISO/IECMPEG -4AVC)及包含此类标准的扩展的HEVC。
此外，视频译码标准(即，DSC)已由VESA开发。DSC标准为可压缩视频以供经由显示链路发射的视频压缩标准。随着显示器的分辨率增大，驱动显示器所需要的视频数据的带宽相应地增大。针对此类分辨率，一些显示链路可不具有所述带宽来将所有视频数据发射到显示器。因此，DSC标准指定用于通过显示链路的可互操作、视觉无损压缩的压缩标准。
DSC标准不同于其它视频译码标准，例如，H.264和HEVC。DSC包含帧内压缩，但不包含帧间压缩，这意味着DSC标准在译码视频数据时可不使用时间信息。相比之下，其它视频译码标准可在其视频译码技术中使用帧间压缩。
视频译码系统
下文参考附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所提出的任何特定结构或功能。相反地，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与其组合而实施的本文中所公开的新颖系统、设备和方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构及功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所公开的任何方面。
尽管本文中描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提到了优选方面的一些益处和优点，但本发明的范围不既定限于特定益处、用途或目标。相反地，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是作为实例而在图式和在优选方面的以下描述中加以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者定义的本发明的范围。
附图说明实例。由附图中的参考数字指示的元件对应于由以下描述中由相同参考数字指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件不一定暗示所述元件具有特定顺序。相反地，此些序数词仅用于指代相同或类似类型的不同元件。
图1A为说明可利用根据本发明中描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”或“译码器”一般指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码及视频解码。除视频编码器和视频解码器以外，本申请案中描述的方面还可扩展到其它相关装置，例如转码器(例如，可解码位流并重新编码另一位流的装置)和中间盒(middlebox)(例如，可修改、转换和/或以其它方式操纵位流的装置)。
如图1A中所展示，视频译码系统10包含源装置12，所述源装置12产生稍后由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12和目的地装置14构成单独装置。然而，应注意，源装置12和目的地装置14可在同一装置上或为其的部分，如图1B的实例中所展示。
再次参考图1A，源装置12和目的地装置14可分别包括多种多样的装置中的任一者，包含台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在各种实施例中，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括使得源装置12能够将经编码视频数据实时发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于分组的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在图1A的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如，摄像机)、含有先前所捕获视频的视频存档、从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统的来源，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的“相机电话”或“视频电话”，如图1B的实例中所说明。然而，本发明中所描述的技术通常可适用于视频译码，且可应用于无线和/或有线应用。
可通过视频编码器20对所捕获、预捕获或计算机产生的视频进行编码。可经由源装置12的输出接口22将经编码视频数据发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置31上以用于稍后由目的地装置14或其它装置存取以供解码和/或重放。图1A和1B中说明的视频编码器20可包括图2A中说明的视频编码器20或本文中所描述的任何其它视频编码器。
在图1A的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28可经由链路16和/或从存储装置31接收经编码视频数据。经由链路16传达或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生以供由视频解码器(例如，视频解码器30)用于解码视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。图1A和1B中说明的视频解码器30可包括图2B中说明的视频解码器30或本文中所描述的任何其它视频解码器。
显示装置32可与目的地装置14集成或者在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，并且还经配置以与外部显示装置界接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在相关方面中，图1B展示实例视频译码系统10′，其中源装置12和目的地装置14在装置11上或为其的部分。装置11可为电话手持机，例如“智能”电话或其类似者。装置11可包含与源装置12和目的地装置14进行可操作性通信的处理器/控制器装置13(任选地存在)。图1B的视频译码系统10′及其组件在其它方面类似于图1A的视频译码系统10及其组件。
视频编码器20和视频解码器30可根据视频压缩标准(例如，DSC)操作。替代地，视频编码器20和视频解码器30可根据其它专属或行业标准(例如，ITU-TH.264标准，替代地被称作MPEG-4第10部分、AVC、HEVC或此类标准的扩展)操作。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。
尽管图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件，以处置对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用，那么多路复用器－多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令从而执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器的部分。
视频译码过程
如上文简要提及，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20编码视频数据时，视频编码器20可以产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片及相关联数据。经译码的图片是图片的经译码表示。
为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。相关联数据可包含译码参数(例如量化参数(QP))的集合。为了产生经译码图片，视频编码器20可将图片分割成大小相等的视频块。视频块可为样本的二维阵列。译码参数可定义用于视频数据的每一块的译码选项(例如，译码模式)。可选择译码选项以便达成所要的率失真性能。
在一些实例中，视频编码器20可将图片分割成多个切片。切片中的每一者可包含可在无来自图像或帧中的其余区域的信息的情况下独立解码的在所述图像(例如，帧)中的空间上截然不同的区域。每一图像或视频帧可在单一切片中编码，或其可在若干切片中编码。在DSC中，经分配以编码每一切片的目标位可基本上恒定。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。
DSC视频编码器
图2A为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的一些或全部。
出于解释的目的，本发明在DSC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含：色彩-空间转换器105、缓冲器110、平度检测器115、速率控制器120、预测器、量化器和重建器组件125、线缓冲器130、索引的色彩历史135、熵编码器140、子流多路复用器145及速率缓冲器150。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
色彩-空间转换器105可将输入的色彩空间转换到在译码实施方案中使用的色彩空间。举例来说，在一个示范性实施例中，输入视频数据的色彩空间在红、绿和蓝(RGB)色彩空间中，且以亮度Y、色度绿Cg和色度橙Co(YCgCo)色彩空间实施译码。色彩空间转换可通过包含移位和添加到视频数据的方法执行。应注意，可处理其它色彩空间中的输入视频数据，且也可执行到其它色彩空间的转换。
在相关方面中，视频编码器20可包含缓冲器110、线缓冲器130和/或速率缓冲器150。举例来说，缓冲器110可在其由视频编码器20的其它部分使用之前保持经色彩空间转换的视频数据。在另一实例中，视频数据可存储于RGB色彩空间中，且可按需要执行色彩空间转换，因为经色彩空间转换的数据可需要更多位。
速率缓冲器150可充当视频编码器20中的速率控制机制的部分，其将在下文中结合速率控制器120更详细地被描述。编码每一块花费的位可基本上高度基于所述块的本质而变化。速率缓冲器150可使经压缩视频的速率变化平稳。在一些实施例中，使用恒定位率(CBR)缓冲器模型，其中以恒定位率从缓冲器取出位。在CBR缓冲器模型中，如果视频编码器20将过多的位添加到位流，那么速率缓冲器150可上溢。另一方面，视频编码器20必须添加足够的位以便防止速率缓冲器150的下溢。
在视频解码器侧上，可以恒定位率将位添加到视频解码器30的速率缓冲器155(见下文进一步详细描述的图2B)，且视频解码器30可针对每一块去除可变数目个位。为了确保适当解码，视频解码器30的速率缓冲器155在经压缩位流的解码期间不应“下溢”或“上溢”。
在一些实施例中，可基于表示当前在缓冲器中的位数的值BufferCurrentSize和表示速率缓冲器150的大小(即，在任一时间点可存储于速率缓冲器150中的最大位数)的BufferMaxSize来定义缓冲器满度(BF)。BF可以计算为：
BF＝((BufferCurrentSize*100)/BufferMaxSize)
平度检测器115可检测视频数据中的复杂(即，非平坦)区到视频数据中的平坦(即，简单或均匀)区的改变。术语“复杂”和“平坦”将在本文中用以通常指视频编码器20编码视频数据的相应区域的难度。因此，如本文中使用的术语复杂通常将视频数据的区域描述为视频编码器20编码起来复杂，且可(例如)包含纹理化的视频数据、高空间频率和/或编码起来复杂的其它特征。如本文中使用的术语平坦通常将视频数据的区域描述为视频编码器20编码起来简单，且可(例如)包含视频数据中的平滑梯度、低空间频率和/或编码起来简单的其它特征。复杂与平坦区域之间的过渡可由视频编码器20用以减少经编码视频数据中的量化假影。具体来说，当识别到从复杂到平坦区域的过渡时，速率控制器120和预测器、量化器和重建器组件125可减少此类量化假影。
速率控制器120确定译码参数(例如，QP)的集合。QP可由速率控制器120基于速率缓冲器150的缓冲器满度和视频数据的图像活动来调整，以便针对目标位率将图片质量最大化，所述目标位率确保速率缓冲器150不上溢或下溢。速率控制器120还选择用于每一视频数据块的特定译码选项(例如，特定模式)，以便达成最优率失真性能。速率控制器120使经重建图像的失真最小化，使得其满足位率约束，即，总实际译码速率在目标位率内。
预测器、量化器和重建器组件125可执行视频编码器20的至少三个编码操作。预测器、量化器和重建器组件125可在多个不同模式中执行预测。一个实例预测模式为中值自适应预测的修改版本。中值自适应预测可由无损JPEG标准(JPEG-LS)实施。可由预测器、量化器和重建器组件125执行的中值自适应预测的修改版本可允许三个连续样本值的并行预测。另一实例预测模式为块预测。在块预测中，从上方线或同一线左方中的先前经重建像素来预测样本。在一些实施例中，视频编码器20及视频解码器30都可对经重建像素执行相同搜索，以确定块预测使用情况，且因此，不需要在块预测模式中发送位。在其它实施例中，视频编码器20可在所述位流中执行搜索并用信号发送块预测矢量，使得视频解码器30无需执行单独搜索。也可实施中点预测模式，其中使用组件范围的中点来预测样本。中点预测模式可在甚至最坏情况样本中实现对经压缩视频需要的位数的限界。如下文参考图3到6进一步论述，预测器、量化器和重建器组件125可经配置以通过执行图3到6中所说明的方法来预测(例如，编码或解码)视频数据块(或任何其它预测单元)。
预测器、量化器和重建器组件125还执行量化。举例来说，可经由可使用移位器实施的2的乘幂量化器来执行量化。应注意，可实施其它量化技术，代替2的乘幂量化器。由预测器、量化器和重建器组件125执行的量化可基于由速率控制器120确定的QP。最终，预测器、量化器和重建器组件125还执行重建，所述重建包含将反量化残余添加到预测值并且确保结果不落在样本值的有效范围之外。
应注意，以上描述的由预测器、量化器和重建器组件125执行的预测、量化和重建的实例方法只是说明性的且可实施其它方法。还应注意，预测器、量化器和重建器组件125可包含用于执行预测、量化和/或重建的子组件。还应注意，预测、量化和/或重建可由若干单独的编码器组件代替预测器、量化器和重建器组件125执行。
线缓冲器130保持来自预测器、量化器和重建器组件125的输出，使得预测器、量化器和重建器组件125和索引的色彩历史135可使用经缓冲视频数据。索引的色彩历史135存储最近使用的像素值。这些最近使用的像素值可由视频编码器20经由专用语法直接参考。
熵编码器140基于索引的色彩历史135及由平度检测器115识别的平度过渡来编码预测残余及从预测器、量化器和重建器组件125接收的任何其它资料(例如，由预测器、量化器和重建器组件125识别的索引)。在一些实例中，熵编码器140可每时钟每子流编码器编码三个样本。子流多路复用器145可基于无标头分组复用方案而将位流多路复用。这允许视频解码器30并行地运行三个熵解码器，从而有助于每时钟解码三个像素。子流多路复用器145可最优化分组顺序，使得可由视频解码器30有效地解码分组。应注意，可实施熵译码的不同方法，所述方法可有助于每时钟解码2的乘幂像素(例如，2个像素/时钟或4个像素/时钟)。
DSC视频解码器
图2B为说明可实施本发明中所描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中描述的技术可在视频编码器30的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的一些或全部。
出于解释的目的，本发明在DSC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图2B的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含：速率缓冲器155、子流解多路分用器160、熵解码器165、速率控制器170、预测器、量化器和重建器组件175、索引的色彩历史180、线缓冲器185及色彩空间转换器190。所说明的视频解码器30的组件类似于上文结合图2A中的视频编码器20所描述的对应组件。因而，视频解码器30的组件中的每一者可以类似于如上所描述的视频编码器20的对应组件的方式操作。
DSC中的切片
如上所指出，切片通常指可在不使用来自图像或帧中的区域中的其余者的信息的情况下独立地解码的所述图像或帧中的空间上截然不同的区域。每一图像或视频帧可在单一切片中编码，或其可在若干切片中编码。在DSC中，经分配以编码每一切片的目标位可基本上恒定。
图案模式
单独视频数据块可含有多个像素，且每一视频数据块具有可译码块的多个潜在译码模式。此类译码模式中的一者为图案模式。在图案模式中，编码器及解码器可维持最近已经译码的像素值的数据库(例如，图案数据库)。当编码视频数据块时，编码器可确定块中含有的每一图案(例如，单独像素的RGB值)存在于图案数据库中，且将图案数据库中的匹配图案(即，图案数据库中与块中所含有的图案匹配的图案)的索引而非块中含有的实际像素值用信号发送到解码器。图案模式可尤其适用于压缩图形内容，这是因为这类内容(例如，与台式用户接口相关联的内容)通常含有大量相同的像素值(即，冗余像素值)。
在一些实施方案中，图案模式可采用最近出现且在空间上相邻的像素值的持久数据库，所述数据库针对每一图案块更新。当待编码的给定块的其像素值中的大部分含于数据库中时提供良好的译码效率。在此情况下，数据库中与含于数据库中的每一像素值相关联的索引可被发射而非自己发射像素值，由此提供要求用信号发送每一像素值的实施方案的明显位率节省。举例来说，如果图案数据库大小为32个可能的图案条目，那么可使用log2(32)＝5位索引来编码每一像素。
图案模式的使用
在本发明的一些实施例中，即使图案数据库不含有块中含有的每一图案，可在图案模式中译码视频数据块。举例来说，如果当前块具有8个图案，且在图案数据库中仅发现所述图案中的5个，那么编码器仍可在图案模式中译码所述块且用信号发送针对图案数据库中发现的所述5个图案的数据库索引并且用信号发送其余3个图案的实际像素值。在一些情况下，如果未发现于图案数据库中的独特图案的数目小于阈值，那么编码器可在图案模式中译码所述块。举例来说，如果块含有未发现于图案数据库中但都具有相同像素值的8个像素，那么编码器可在针对单独块可添加到图案数据库的新图案的最大数目至少为1的情况下在图案模式中译码所述块。可使用旗标用信号发送(即指示)图案模式的使用。换句话说，旗标可用于指示图案模式的启用(或停用)。
在本发明的一些实施例中，不需要当前块中的图案与图案数据库中的图案之间的精确匹配(例如，具有相同RGB值)。阈值差(或损失)量可基于一或多个译码参数，例如，QP。举例来说，在本发明的一些实施例中，图案模式可用于无损设定或有损设定中。如果选择有损设定，那么可将图案模式中的阈值损失量作为编解码器的当前QP的函数予以计算。阈值损失量可与当前QP成正比。
在图案模式中用信号发送的信息
在本发明的一些实施例中，编码器可在位流中显式地用信号发送一或多个数据。这类数据可包含(i)新图案的数目，(ii)新图案值，及/或(iii)已在图案数据库中的重复图案的数据库索引。在本发明的一些实施例中，在位流中显式地用信号发送(而非基于在位流中用信号发送的其它值来导出或确定)(i)至(iii)中的全部。通过将在编码器处完成的工作最大化(例如，搜索图案数据库，确定当前块中的哪些图案为新的，确定当前块中的哪些图案存在于数据库中等)，可最小化解码器复杂度。这之所以重要是因为编码器的硬件能力通常远远超过解码器的能力。如上文所述，可以无损方式或有损方式使用图案模式。在无损方法中，可使用图案的源位深度而用信号发送新图案整体。举例来说，对于RGB888数据，可使用24位将新图案用信号发送到解码器。在有损方法中，可基于当前QP值将新图案量化一量。举例来说，对于较高QP，可将少于24位显式地用信号发送到解码器。
在本发明的一些实施例中，更新图案数据库的过程不要求在解码器侧上搜索数据库。此使得硬件设计简单。
实例图案数据库
在一些实施方案中，图案数据库可分割成三个字段：持久的、相邻的及新的。持久部分可包含最近已由编码器使用的多个独特图案。相邻部分可包含相邻像素及/或块的图案。新的部分可包含最新添加的图案。举例来说，每块的新图案的最大数目将确定图案模式块的最大速率。另外，可在持久数据库分区与相邻数据库分区的大小之间达到平衡。可将相邻数据库设定为当前块大小的函数。
在每一图案模式块经编码之后，将新的及相邻的图案索引的集合添加到持久数据库。在图案模式的一个实施方案中，持久数据库可为先进先出(FIFO)缓冲器。当将图案加回到持久数据库时，图案模式的实施方案可去除重复。在图案模式的更复杂实施方案中，可使用最近使用的(MRU)高速缓存策略来填充持久数据库。
图案数据库的相邻部分可针对每一块经更新(例如，在每一块经处理之后)，且含有当前块的空间相邻者(从先前重建线获得)。取决于整个编解码器实施方案，当前块的左方相邻者可或可不添加到图案数据库。举例来说，可能需要去除左方相邻者以保证适当的流水线化且降低硬件复杂度。
图案数据库的新的部分含有正经添加到图案数据库的新的图案。如上文所论述，每块允许特定数目个新图案。添加到图案数据库的每一条目还可在位流中显式地用信号发送，使得解码器可相应地在解码器侧上更新图案数据库。
在本发明的一些实施例中，可去除图案数据库的相邻部分，使得图案数据库由持久的及新的部分组成(例如，分别含有持久的图案及新的图案)。举例来说，如果整体图案数据库大小较小，那么可实施此类实施例，且包含相邻图案将减小图案数据库的持久部分的超出特定阈值的大小(例如，过小以致无效或无用)。此外，在本发明的其他实施例中，图案数据库含有单独部分(例如，持久部分)。参考图6更详细地描述此类实施例的实例。
存储于图案数据库中的实例图案
在本发明中，将存储于图案数据库中的实际值称作图案，且可针对8位源内容如下定义：
PAT(R，G，B)＝R+(G＜＜8)+(B＜＜16)
对于10位内容，可分别将G及B的位移位增加到10及20。
匹配确定
在本发明的一些实施方案中，可在搜索图案数据库以找到对待编码的给定像素的匹配时获得较小增量。举例来说，如果待编码的当前像素为(R，G，B)，且数据库中的特定图案为(Rp，Gp，Bp)，那么只要待编码像素及数据库图案满足对两个阈值T0及T1(其中T1≥T0)的以下约束条件，编码器即可确定当前像素与数据库中的特定图案之间存在匹配：
|R-Rp|<T0
|G-Gp|<T0
|B-Bp|<T0
|R-Rp|+|G-Gp|+|B-Bp|<T1
在本发明的一些实施例中，可放松用于严格比较的上述约束条件以包含等式。举例来说，约束条件|R-Rp|<To可由|R-Rp|≤T0替换。可对其它约束条件进行相同操作。
在所提出算法的一个实施例中，将上述阈值确定为编解码器的当前QP的函数：
T0＝((QP-A)＞＞B)+C
T1＝2·T0
其中A，B，C都是待在实施方案期间调谐的参数。在此实施例中，图案模式中所允许的失真响应于编解码器的全部QP而逐渐增加。
搜索图案数据库的实例流程图
参考图3，将描述用于搜索图案数据库的实例程序。图3中所说明的步骤可由视频编码器(例如，图2A中的视频编码器20)、视频解码器(例如，图2B中的视频解码器30)，或其组件执行。为方便起见，将方法300描述为由视频译码器(还简称为译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。
方法300开始于框302。在框302处，在方法300中使用的不同参数经初始化。如图3中所说明，译码器搜索数据库301A以找到当前图案301B。在框304处，译码器确定译码器是否已完成仔细检查图案数据库301A。如果译码器确定译码器尚未完成仔细检查图案数据库301A，那么译码器进行到框306，其中译码器确定当前图案与当前数据库条目之间的差。否则，译码器进行到框314。
在框308处，译码器确定当前图案与当前数据库条目之间的差是否满足一或多个阈值准则(例如，所述差小于阈值并且也小于到目前为止发现的最小差值)。如果译码器确定满足一或多个阈值准则，那么译码器进行到框310，其中译码器将所述差指定为到目前为止的最小差。否则，译码器进行到框312，其中译码器进行到图案数据库中的下一数据库条目，并且返回到框304。
在已通过译码器处理每一数据库条目之后，在框314处，译码器确定译码器是否已在图案数据库中发现匹配。如果译码器确定译码器已在图案数据库中发现匹配，那么译码器进行到框316，其中译码器用信号发送对当前图案301B的匹配的索引(例如，当译码器确定图案模式待用于含有当前图案301B的当前块时)。否则，译码器进行到框318及320，其中译码器确定新图案(例如，新的独特图案)的数目是否已超过阈值。如果译码器确定新图案的数目尚未超过所述阈值，那么译码器进行到框322，其中将当前图案添加到数据库(例如，除了在位流中用信号发送当前图案之外)。否则，译码器进行到框324，其中译码器确定图案模式不可用于译码含有当前图案301B的当前块。
在方法300中，可去除(例如，不执行)图3中所展示的框中的一或多者，及/或可交换执行方法的顺序。在一些实施例中，可将额外框添加到方法300。因此，本发明的实施例不限于图3中展示的实例或不受图3中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
更新图案数据库的实例流程图
参考图4，将描述用于更新图案数据库的实例程序。图4中所说明的步骤可由视频编码器(例如，图2A中的视频编码器20)、视频解码器(例如，图2B中的视频解码器30)，或其组件执行。为方便起见，将方法400描述为由视频译码器(还简称为译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。
方法400开始于框402处，其中在方法400中使用的一个或多个参数经初始化。如图4中所说明，译码器迭代当前块的索引(例如，curBlockIndices 401，其可包含当前块中的多个图案)以使用来自当前块的图案更新图案数据库415。在框404处，译码器确定译码器是否已完成仔细检查当前块中的所有图案。如果译码器确定译码器尚未完成仔细检查当前块中的所有图案，那么译码器进行到框406，其中译码器确定当前图案是否在图案数据库中。如果译码器确定当前图案不在图案数据库中，那么译码器进行到框408，其中将当前图案添加到临时存储器作为新的图案。否则，译码器进行到框410，其中将当前图案添加到临时存储器作为现有图案。译码器接着进行到框412及返回到框404以完成仔细检查当前块中的所有图案。在译码器已完成仔细检查当前块中的所有图案之后，在框414处，将在框408及410处添加到临时存储器的图案添加到图案数据库415顶部。
在方法400中，可去除图4中所展示的框中的一或多者(例如，不执行)，及/或可交换执行方法的顺序。在一些实施例中，可将额外框添加到方法400。因此，本发明的实施例不限于图4中展示的实例或不受图4中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
用于在图案模式中译码块的实例流程图
参考图5，将描述用于在图案模式中译码块的实例程序。图5中所说明的步骤可由视频编码器(例如，图2A中的视频编码器20)、视频解码器(例如，图2B中的视频解码器30)，或其组件执行。为方便起见，将方法500描述为由视频译码器(还简称为译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。
方法500开始于框501。在框505处，译码器确定当前视频数据块中的第一图案不在图案数据库中。如上文所论述，数据库可包含多个图案。在框510处，译码器将第一图案添加到图案数据库。添加到数据库的第一图案可与数据库索引相关联，所述数据库索引指示在图案数据库中定位有第一图案。在框515处，译码器至少部分地经由用信号发送(i)经确定不在图案数据库中的第一图案及(ii)与位流中的第一图案相关联的数据库索引而在图案模式中译码当前块。对于存在于图案数据库中的图案，可仅用信号发送数据库索引。通过用信号发送现有图案的数据库索引(例如，当图案数据库具有32个图案条目的大小时可以5位表示)而非图案的实际值(例如，当使用8位RGB值时为24位)，可实现位节省。方法500在框520处结束。
在方法500中，可去除(例如，不执行)图5中所展示的框中的一或多者，及/或可交换执行方法的顺序。在一些实施例中，可将额外框添加到方法500。因此，本发明的实施例不限于图5中展示的实例或不受图5中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
用于更新图案数据库的实例图
参考图6，将描述用于更新图案数据库的实例程序600。在此实例中，每一块由八个像素组成。在当前块中，以黄色突出显示的图案被视为“新图案”。以橙色突出显示的图案被视为“保留图案”，其在搜索当前块期间发现于数据库中。如图6中所说明，当前切片602含有正考虑在图案模式中经译码的块0至3。在处理块0之前，图案数据库为空的。举例来说，当译码器正处理新切片内的第一块时图案数据库可为空的。对于此实例，每块的新图案的最大数目在此实例中可固定为4。
对于块0，图案数据库开始为空的，这是因为这是所述切片中的第一块。在块0中观测到三个独特像素值(图案A、B、C)。由于新图案的数目小于阈值4，所以可使用具有用信号发送到位流的3个新图案的图案模式来译码当前块。如果通过速率控制算法将图案模式选择为最优模式，那么将更新图案数据库以包含图案A、B及C。
块1含有三个独特图案A、C及D。由于图案数据库已含有图案A及C，仅需要将图案D添加到图案数据库(例如，添加到图案数据库顶部)。由于新图案的数目为1，所以可使用具有用信号发送到位流的1个新图案的图案模式来译码块1。假设选择图案模式，图案数据库现将包含：图案A、B、C及D。如图6中所展示，由于最近也已使用图案A及C，所以将图案A及C移动到图案数据库顶部。通过这样做，虽然所丢弃的图案条目将为最近最少使用的，但最近使用的图案将在数据库中保持尽可能久。
块2含有三个独特图案A、B及E。图案A及B发现于图案数据库中，且将新图案E添加到图案数据库。类似地，将最近使用的图案(例如，图案A、B及E)置放于图案数据库顶部。
块3具有8个独特图案。尽管图案数据库含有两个独特图案E及B，但其余6个图案未发现于图案数据库中。由于6超过可添加到图案数据库的新图案的最大数目，在此实例中所述最大数目为4，所以译码器可确定不能在图案模式中译码块3，如图6中所指示。由于不能通过速率控制算法选择图案模式，所以图案数据库将与块2后的图案数据库相同。
在本发明的一些实施例中，即使图案模式不经选择用于给定块，给定块中的新图案也可添加到图案数据库。举例来说，可将切片的第一块中的图案添加到图案数据库，即使那个块不在图案模式中经译码。在另一个实例中，可将切片的第一少数块(例如，阈值数目个块)中的图案添加到图案数据库，即使这类块不在图案模式中经译码。在又一实例中，如果图案数据库未满(例如，可将至少一个新图案添加到图案数据库而无需去除图案数据库中的任何现有图案)，那么可将不在图案模式中译码的给定块中的图案添加到图案数据库。
编码器的实例图案更新过程
参考图7，将描述用于在编码器侧上更新图案数据库的实例程序。在此实例中，图案数据库(Dprev)最初含有图案A、D、C、X及Y。在箭头702处，将当前块中经译码的图案A、B、C、D、E及F添加到当前数据库(Dcurr)。在箭头704处，将当前块中还在Dprev中的图案复制到新的数据库Dnew。在箭头706处，将当前块中不在Dprev中的图案添加到Dnew。如果在图案模式中编码当前块，那么在箭头708处将Dprev中不在当前块中的图案添加到Dnew。在箭头710处，Dnew成为用于下一块的图案数据库Dprev。
解码器的实例图案更新过程
参考图8，将描述用于在解码器侧上更新图案数据库的实例程序。在此实例中，解码器最初具有对图案数据库、针对保留及非保留图案的位图及新的图案的接入权。在箭头802处，将保留图案从图案数据库复制到新数据库Dnew。在箭头804处，将非保留图案从图案数据库复制到暂时数据库Dtemp。在箭头806处，在位流中用信号发送的新图案获自位流且添加到Dnew。在箭头808处，在解码图案索引之后，将Dtemp中的图案添加到Dnew。在箭头810处，Dnew成为用于下一块的图案数据库Dprev。
其它图案数据库技术
在本发明的一些实施例中，无论选择图案模式与否，可将切片中的前m个块添加到图案数据库。举例来说，如果使用某一其它模式译码第一块，那么可将经重建像素添加到图案数据库。这将不造成任何冲突，这是因为在每一切片的开始处图案数据库为空的。
本发明中描述的图案模式技术可用于支持一个线缓冲器或多个线缓冲器的编解码器中。这意味着预设块大小可能为一个线(1-D)或多个线(2-D)。在任一情况下，块内的像素中的每一者可受制于相同约束(例如，每一像素应与图案数据库中的某一条目匹配或“新图案”的总数目必须小于或等于每块所允许的最大值)。
优势
如上文所论述，本发明中描述的图案模式技术可以无损方式使用，或可在搜索数据库以找到匹配时允许某一损失。另外，如果以有损方式使用，那么可接受的损失量可与编码器的当前QP成比例。此外，不对称设计允许在编码器侧上执行图案搜索，降低解码器复杂度。
图案数据库或其部分(例如，持久的、相邻的及新的)的相对大小可经调谐随压缩率、位深度、块大小及针对特定编解码器最优化性能的其它编解码器参数而变化。举例来说，给定块大小及图案数据库大小的特定组合，数据库的相邻部分可经排除以为持久图案形成更多空间。
另外，本发明中描述的图案模式技术可产生较低硬件复杂度。可执行图案更新而不要求搜索持久数据库以强制MRU。替代地，仅针对图案模式块更新数据库，且仅将新的及相邻的图案加回到持久数据库中。
性能
最好可通过检查不使用图案模式可难以译码的内容而表明本发明的一或多个实施例的性能。图9及10分别说明使用和不使用图案模式译码的实例图像内容。使用固定比率4:1压缩展示所有实例。使用峰值信噪比(PSNR)测量目标质量，所述目标质量为图像质量的共同目标度量。
本文中描述的编解码器的速率控制机制可经设计以基于速率与失真之间的平衡点为每一块选择最佳译码模式。因此，图案模式经选择用于图10中所说明的内容中的大部分块的事实是图案模式为此类内容提供优良译码效率的指示。
图9中所展示的图像内容(其中停用图案模式)具有36.76dB的PSNR。图像内容从上到下包含重建图像、每块的模式选择映射，及重建图像的经放大区域。图10中所展示的图像内容(其中启用图案模式)具有44.14dB的PSNR。图像内容从上到下包含重建图像、每块的模式选择映射，及重建图像的经放大区域。
其它考虑因素
可使用多种不同技术和技艺中的任一者来表示本文中所公开的信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个以上描述中可能提及的数据、指令、命令、信息、信号、位、符号及芯片。
结合本文中所公开的实施例所描述的各种说明性逻辑块及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块和步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统上的设计约束。本领域技术人员可针对每一特定应用以不同方式实施所描述功能性，但此类实施决策不应被解释为引起偏离本发明的范围。
本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为装置或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机接入、读取和/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。此外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件或硬件内或并入组合式视频编码器-解码器(编码解码器)中。另外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件或单元是为了强调经配置以执行所公开技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元(包含如上文所描述的一或多个处理器)的集合来提供。
虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下将来自一个实施例的特征或要素与其它实施例组合。然而，相应实施例之间的特征的组合不必限于此。已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (30)

1.一种用于在图案模式中译码视频数据的方法，其包括：
确定所述视频数据中的当前块中的第一图案不在包括多个图案的图案数据库中，其中所述图案数据库存储于视频编码装置的存储器中；
将所述第一图案添加到所述图案数据库，所述第一图案与识别所述第一图案在所述图案数据库中的位置的第一索引相关联；及
至少部分地经由用信号发送(i)经确定不在所述图案数据库中的所述第一图案及(ii)识别所述第一图案在所述第一数据库中的所述位置的所述第一索引而在图案模式中译码所述当前块。
2.根据权利要求1所述的方法，其中确定所述第一图案不在所述图案数据库中包括：
迭代所述图案数据库中的所述多个图案中的每一者；及
确定所述图案数据库中的每一图案不与所述当前块中的所述第一图案相同。
3.根据权利要求1所述的方法，其中确定所述第一图案不在所述图案数据库中包括：
迭代所述图案数据库中的所述多个图案中的每一者；及
确定所述图案数据库中的每一图案与所述当前块中的所述第一图案之间的差超过阈值差值。
4.根据权利要求1所述的方法，其进一步包括：
确定在所述当前块及所述图案数据库两者中的一或多个保留图案；
确定在所述当前块中但不在所述图案数据库中的一或多个新图案；
确定在所述图案数据库中但不在所述当前块中的一或多个非保留图案；及
基于所述保留、新的及非保留图案产生新的图案数据库。
5.根据权利要求1所述的方法，其中将所述第一图案添加到所述图案数据库包含将所述第一图案添加到在所述图案数据库中表示为所述图案数据库中的最近使用图案的图案的位置。
6.根据权利要求1所述的方法，其中确定所述第一图案不在所述图案数据库中包含以下各者中的至少一者：针对所述图案数据库中的每一图案，(i)确定所述第一图案的至少一个分量与所述图案数据库中的所述图案之间的差超过第一阈值，或(ii)确定所述第一图案的每一分量与所述数据库中的所述图案的对应分量之间的差的总和超过第二阈值。
7.根据权利要求6所述的方法，其中所述第一和第二阈值为固定的。
8.根据权利要求6所述的方法，其中基于与所述当前块相关联的量化参数确定所述第一和第二阈值。
9.根据权利要求1所述的方法，其进一步包括：
确定视频数据的第二块中的第二图案不在所述图案数据库中；
将所述第二图案添加到所述图案数据库，所述第二图案与识别所述第二图案在所述图案数据库中的位置的第二索引相关联；及
在不同于图案模式的译码模式中译码所述第二块。
10.根据权利要求9所述的方法，其中将所述第二图案添加到所述图案数据库包括：
确定所述第二块是否满足一或多个阈值准则；及
基于所述第二块满足所述一或多个阈值准则的确定，将所述第二图案添加到所述图案数据库。
11.根据权利要求10所述的方法，其中所述一或多个阈值准则包括以下各者中的一者：(i)所述第二块是否不具有相同切片中的任何先前块，(ii)所述第二块是否在不具有相同切片中的任何先前块的一组连续块中，或(iii)所述图案数据库是否未满。
12.根据权利要求1所述的方法，其中使用借以捕获所述第一图案的源位深度以无损方式用信号发送所述第一图案。
13.根据权利要求1所述的方法，其中以有损方式用信号发送所述第一图案，其中基于与所述当前块相关联的量化参数将所述第一图案量化一量，所述经量化第一图案具有低于借以捕获所述第一图案的源位深度的位深度。
14.一种经配置以在图案模式中译码视频数据的设备，其包括：
存储器，其经配置以存储包括多个图案的图案数据库；及
处理器，其与所述存储器通信且经配置以：
确定所述视频数据的当前块中的第一图案不在所述图案数据库中；
将所述第一图案添加到所述图案数据库，所述第一图案与识别所述第一图案在所述图案数据库中的位置的第一索引相关联；及
至少部分地经由用信号发送(i)经确定不在所述图案数据库中的所述第一图案及(ii)识别所述第一图案在所述第一数据库中的所述位置的所述第一索引而在图案模式中译码所述当前块。
15.根据权利要求14所述的设备，其中所述处理器经进一步配置以：
迭代所述图案数据库中的所述多个图案中的每一者；及
确定所述图案数据库中的每一图案不与所述当前块中的所述第一图案相同。
16.根据权利要求14所述的设备，其中所述处理器经进一步配置以：
迭代所述图案数据库中的所述多个图案中的每一者；及
确定所述图案数据库中的每一图案与所述当前块中的所述第一图案之间的差超过阈值差值。
17.根据权利要求14所述的设备，其中所述处理器经进一步配置以：
针对所述当前块中的每一图案：
确定所述图案是否在所述图案数据库中；
基于所述图案在所述图案数据库中的确定，将对应图案数据库条目添加到临时存储器；
基于所述图案不在所述图案数据库中的确定，将所述图案添加到所述临时存储器；及
将所述临时存储器中的图案添加到所述图案数据库。
18.根据权利要求14所述的设备，其中所述处理器经进一步配置以将所述第一图案添加到在所述图案数据库中表示为所述图案数据库中的所述最近使用图案的图案的位置。
19.根据权利要求14所述的设备，其中所述处理器经进一步配置以进行以下各者中的至少一者：针对所述图案数据库中的每一图案，(i)确定所述第一图案的至少一个分量与所述图案数据库中的所述图案之间的差超过第一阈值，或(ii)确定所述第一图案的每一分量与所述数据库中的所述图案的对应分量之间的差的总和超过第二阈值。
20.根据权利要求19所述的设备，其中所述第一和第二阈值为固定的。
21.根据权利要求19所述的设备，其中基于与所述当前块相关联的量化参数确定所述第一和第二阈值。
22.根据权利要求14所述的设备，其中所述处理器经进一步配置以：
确定视频数据的第二块中的第二图案不在所述图案数据库中；
将所述第二图案添加到所述图案数据库，所述第二图案与识别所述第二图案在所述图案数据库中的位置的第二索引相关联；及
在不同于图案模式的译码模式中译码所述第二块。
23.根据权利要求22所述的设备，其中所述处理器经进一步配置以：
确定所述第二块是否满足一或多个阈值准则；及
基于所述第二块满足所述一或多个阈值准则的确定，将所述第二图案添加到所述图案数据库。
24.根据权利要求23所述的设备，其中所述一或多个阈值准则包括以下各者中的一者：(i)所述第二块是否不具有相同切片中的任何先前块，(ii)所述第二块是否在不具有相同切片中的任何先前块的一组连续块中，或(iii)所述图案数据库是否未满。
25.根据权利要求14所述的设备，其中所述处理器经进一步配置以使用借以捕获所述第一图案的源位深度以无损方式用信号发送所述第一图案。
26.根据权利要求14所述的设备，其中所述处理器经进一步配置以有损方式用信号发送所述第一图案，其中基于与所述当前块相关联的量化参数将所述第一图案量化一量，所述经量化第一图案具有低于借以捕获所述第一图案的源位深度的位深度。
27.一种非暂时性计算机可读媒体，其包括在执行时使得设备进行以下操作的代码：
确定视频数据的当前块中的第一图案不在包括多个图案的图案数据库中；
将所述第一图案添加到所述图案数据库，所述第一图案与识别所述第一图案在所述图案数据库中的位置的第一索引相关联；及
至少部分地经由用信号发送(i)经确定不在所述图案数据库中的所述第一图案及(ii)识别所述第一图案在所述第一数据库中的所述位置的所述第一索引而在图案模式中译码所述当前块。
28.根据权利要求27所述的计算机可读媒体，其中所述代码进一步使得所述设备将所述第一图案添加到在所述图案数据库中表示为所述图案数据库中的所述最近使用图案的图案的位置。
29.一种经配置以在图案模式中译码视频数据的视频译码装置，所述视频译码装置包括：
用于确定所述视频数据的当前块中的第一图案不在包括多个图案的图案数据库中的装置；
用于将所述第一图案添加到所述图案数据库的装置，所述第一图案与识别所述第一图案在所述图案数据库中的位置的第一索引相关联；及
用于至少部分地经由用信号发送(i)经确定不在所述图案数据库中的所述第一图案及(ii)识别所述第一图案在所述第一数据库中的所述位置的所述第一索引而在图案模式中译码所述当前块的装置。
30.根据权利要求29所述的视频译码装置，其进一步包括用于将所述第一图案添加到在所述图案数据库中表示为所述图案数据库中的所述最近使用图案的位置的图案的装置。
CN201580020095.6A 2014-04-21 2015-04-21 用于针对显示流压缩(dsc)在图案模式中译码的系统和方法 Active CN106233731B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201461982211P 2014-04-21 2014-04-21
US61/982,211 2014-04-21
US201462009814P 2014-06-09 2014-06-09
US62/009,814 2014-06-09
US201462035178P 2014-08-08 2014-08-08
US62/035,178 2014-08-08
US201462093340P 2014-12-17 2014-12-17
US62/093,340 2014-12-17
US14/691,376 2015-04-20
US14/691,376 US9843816B2 (en) 2014-04-21 2015-04-20 System and method for coding in pattern mode for display stream compression (DSC)
PCT/US2015/026865 WO2015164369A1 (en) 2014-04-21 2015-04-21 System and method for coding in pattern mode for display stream compression (dsc)

Publications (2)

Publication Number Publication Date
CN106233731A true CN106233731A (zh) 2016-12-14
CN106233731B CN106233731B (zh) 2019-05-28

Family

ID=54323097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020095.6A Active CN106233731B (zh) 2014-04-21 2015-04-21 用于针对显示流压缩(dsc)在图案模式中译码的系统和方法

Country Status (7)

Country Link
US (1) US9843816B2 (zh)
EP (1) EP3135034A1 (zh)
JP (1) JP6401295B2 (zh)
KR (1) KR20160145181A (zh)
CN (1) CN106233731B (zh)
BR (1) BR112016024464A2 (zh)
WO (1) WO2015164369A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737760A (zh) * 2017-04-25 2018-11-02 深圳市玩视科技有限公司 单网线传输高清hdmi信号的装置以及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410863B (zh) * 2014-12-11 2017-07-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
US10123045B2 (en) * 2015-07-24 2018-11-06 Qualcomm Incorporated Modification to block size for transform mode in display stream compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010864A1 (en) * 2011-07-05 2013-01-10 Qualcomm Incorporated Image data compression
US8599214B1 (en) * 2009-03-20 2013-12-03 Teradici Corporation Image compression method using dynamic color index
CN103703781A (zh) * 2011-07-01 2014-04-02 高通股份有限公司 使用自适应运动向量分辨率的视频译码

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4743959A (en) * 1986-09-17 1988-05-10 Frederiksen Jeffrey E High resolution color video image acquisition and compression system
US5737537A (en) * 1995-09-29 1998-04-07 Intel Corporation Two-measure block classification scheme for encoding video images
US7277585B2 (en) * 2001-05-25 2007-10-02 Ricoh Company, Ltd. Image encoding method, image encoding apparatus and storage medium
WO2007021227A1 (en) * 2005-08-19 2007-02-22 Telefonaktiebolaget Lm Ericsson (Publ) Texture compression based on two hues with modified brightness
US8014612B2 (en) * 2007-10-12 2011-09-06 Himax Technologies Limited Image processing device and method for compressing and decompressing images
US9460527B2 (en) * 2013-02-04 2016-10-04 Qualcomm Incorporated Pattern mode for frame buffer compression
US9363517B2 (en) * 2013-02-28 2016-06-07 Broadcom Corporation Indexed color history in image coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599214B1 (en) * 2009-03-20 2013-12-03 Teradici Corporation Image compression method using dynamic color index
CN103703781A (zh) * 2011-07-01 2014-04-02 高通股份有限公司 使用自适应运动向量分辨率的视频译码
US20130010864A1 (en) * 2011-07-05 2013-01-10 Qualcomm Incorporated Image data compression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737760A (zh) * 2017-04-25 2018-11-02 深圳市玩视科技有限公司 单网线传输高清hdmi信号的装置以及方法

Also Published As

Publication number Publication date
JP2017517190A (ja) 2017-06-22
KR20160145181A (ko) 2016-12-19
EP3135034A1 (en) 2017-03-01
US9843816B2 (en) 2017-12-12
CN106233731B (zh) 2019-05-28
BR112016024464A2 (pt) 2017-08-15
JP6401295B2 (ja) 2018-10-10
US20150304668A1 (en) 2015-10-22
WO2015164369A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
CN106256127B (zh) 用于针对显示流压缩(dsc)在块预测模式中译码的系统和方法
CN106416248B (zh) 用于对视频数据进行熵编码和熵解码的方法和装置
CN106165421B (zh) 用于译码视频数据的设备、方法及计算机可读媒体
CN107787583A (zh) 在块内复制模式中的参考图片列表构建
US10362310B2 (en) Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
CN108028925A (zh) 用于显示流压缩(dsc)的块预测模式的可变分区大小
CN106165418B (zh) 译码视频数据的设备、方法及计算机可读媒体
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN107409219A (zh) 用于显示流压缩的速率受限回退模式
CN108293114A (zh) 用于显示流压缩的块预测模式的多区域搜索范围
CN106663085A (zh) 用于再使用变换结构用于多分区变换的系统和方法
CN106576173B (zh) 对视频数据进行译码的方法和设备及计算机可读存储介质
CN109196866A (zh) 用于显示流压缩的子流多路复用
CN107005698A (zh) 支持尽力服务解码的元数据提示
CN106165420A (zh) 用于显示流压缩(dsc)的平度检测的系统及方法
CN107534771A (zh) 用于基于复杂性量度的显示流压缩dsc的量化参数qp计算
CN108353170A (zh) 用于在显示流压缩(dsc)中固定点近似的系统和方法
CN107258081A (zh) 对使用非正方形分割编码视频数据的优化
CN106233731B (zh) 用于针对显示流压缩(dsc)在图案模式中译码的系统和方法
CN106664406A (zh) 用于确定用于显示流压缩的缓冲器满度的系统和方法
CN107431811A (zh) 用于显示流压缩的量化参数更新分类
CN108432249A (zh) 用于在显示流压缩(dsc)中计算失真的系统和方法
KR20180030021A (ko) 서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장
CN107852494A (zh) 针对显示流压缩中的变换模式来修改块大小

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant