CN106576173B - 对视频数据进行译码的方法和设备及计算机可读存储介质 - Google Patents

对视频数据进行译码的方法和设备及计算机可读存储介质 Download PDF

Info

Publication number
CN106576173B
CN106576173B CN201580042163.9A CN201580042163A CN106576173B CN 106576173 B CN106576173 B CN 106576173B CN 201580042163 A CN201580042163 A CN 201580042163A CN 106576173 B CN106576173 B CN 106576173B
Authority
CN
China
Prior art keywords
pixel
row
slice
decoded
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580042163.9A
Other languages
English (en)
Other versions
CN106576173A (zh
Inventor
纳坦·海姆·雅各布森
维贾伊拉加哈万·提鲁马莱
拉詹·拉克斯曼·乔希
戴闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106576173A publication Critical patent/CN106576173A/zh
Application granted granted Critical
Publication of CN106576173B publication Critical patent/CN106576173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示一种对于多模式视频译码使用空间预测模式进行视频译码的方法和设备。在一个方面中，所述方法包含对视频数据的切片进行译码，所述切片包含经组织成第一排和多个非第一排的多个像素。所述对所述切片进行译码进一步包含在空间预测模式中使用所述第一排的先前像素作为预测符对所述第一排的当前像素进行译码，以及在除所述空间预测模式以外的译码模式中对非第一排的另一像素进行译码。

Description

对视频数据进行译码的方法和设备及计算机可读存储介质
技术领域
本发明涉及视频译码和压缩的领域，且确切地说，涉及用于经由显示链路传输的视频压缩，例如显示链路视频压缩。
背景技术
数字视频能力可并入到广泛范围的显示器中，包含数字电视、个人数字助理(PDA)、膝上型计算机、桌面监视器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏机、蜂窝或卫星无线电电话、视频电话会议装置以及类似者。使用显示链路将显示器连接到适当源装置。显示链路的带宽要求与显示器的分辨率成比例，且因此，高分辨率显示器需要大带宽显示链路。一些显示链路不具有支持高分辨率显示器的带宽。可使用视频压缩减少带宽要求，以使得可使用较低带宽显示链路将数字视频提供到高分辨率显示器。
他人已试着使用对像素数据的图像压缩。然而，此类方案有时并不能视觉上无损，或可能在常规显示装置中实施起来困难且昂贵。
视频电子学标准协会(VESA)已开发了显示流压缩(DSC)作为用于显示链路视频压缩的标准。例如DSC的显示链路视频压缩技术应(尤其)提供视觉无损的图片质量(即，图片具有使得用户不能断定压缩为作用中的质量等级)。显示链路视频压缩技术还应提供用常规硬件实时实施起来简单且价廉的方案。
发明内容
本发明的系统、方法和装置各自具有数个创新方面，其中没有单个方面单独负责本文中所揭示的合乎需要的属性。
在一个方面中，一种用于在显示链路视频压缩中经由多个译码模式对视频数据进行译码的方法包括对所述视频数据的切片进行译码，所述切片包括所述切片的第一排和所述切片的多个非第一排中的多个像素，所述对所述切片进行译码包括：在空间预测模式中使用所述第一排的先前像素作为预测符对所述切片的所述第一排的当前像素进行译码；和在除所述空间预测模式以外的译码模式中对所述切片的非第一排的另一像素进行译码。
在另一方面中，一种用于在显示链路视频压缩中经由多个译码模式对视频数据进行译码的装置包括：存储器，其经配置以存储所述视频数据；和处理器，其与所述存储器通信且经配置以：对所述视频数据的切片进行译码，所述切片包括所述切片的第一排和所述切片的多个非第一排中的多个像素；在空间预测模式中使用所述第一排的先前像素作为预测符对所述切片的所述第一排的当前像素进行译码；和在除所述空间预测模式以外的译码模式中对所述切片的非第一排的另一像素进行译码。
在另一方面中，一种设备包括：用于对所述视频数据的切片进行译码的装置，所述切片包括所述切片的第一排和所述切片的多个非第一排中的多个像素；用于在空间预测模式中使用所述第一排的先前像素作为预测符对所述切片的所述第一排的当前像素进行译码的装置；和用于在除所述空间预测模式以外的译码模式中对所述切片的非第一排的另一像素进行译码的装置。
在另一方面中，一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使装置的处理器：对所述视频数据的切片进行译码，所述切片包括所述切片的第一排和所述切片的多个非第一排中的多个像素；在空间预测模式中使用所述第一排的先前像素作为预测符对所述切片的所述第一排的当前像素进行译码；和在除所述空间预测模式以外的译码模式中对所述切片的非第一排的另一像素进行译码。
附图说明
图1A是说明可使用根据本发明中所描述的方面的技术的实例视频编码和解码系统的框图。
图1B是说明可执行根据本发明中所描述的方面的技术的另一实例视频编码和解码系统的框图。
图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
图2B是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。
图3是说明根据本发明中所描述的方面的对切片的第一排进行译码的方法的框图。
图4是说明根据本发明中所描述的方面的对切片的第一排进行译码的另一方法的框图。
图5是说明在根据本发明中所描述的方面的对块进行译码的方法中当前像素与预测符像素之间的空间关系的框图。
图6是说明在根据本发明中所描述的方面的对块进行译码的方法中当前像素与预测符像素之间的空间关系的框图。
图7是说明在根据本发明中所描述的方面对块进行译码的方法中当前像素与预测符像素之间的空间关系的框图。
图8是说明根据本发明中所描述的方面的实例分组策略的框图。
图9是说明根据本发明中所描述的方面的对切片的排进行译码的框图。
图10是说明根据本发明中所描述的方面的对切片的排进行译码的另一方法的框图。
图11是说明根据本发明的各方面的用于空间预测模式译码的方法的流程图。
具体实施方式
一般来说，本发明涉及改进视频压缩技术(例如在显示链路视频压缩中使用的那些技术)的方法。更具体来说，本发明涉及用于在使用多模式译码技术时改进切片中的第一排的译码效率的系统和方法。
虽然本文中在DSC标准的上下文中描述某些实施例，但所属领域的技术人员将了解，本文中所揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)移动图像专家组-1(MPEG-1)Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-TH.264(也称为ISO/IEC MPEG-4AVC)、高效率视频译码(HEVC)，以及此类标准的任何扩展。并且，本发明中描述的技术可变为将来开发的标准的部分。换句话说，本发明中描述的技术可适用于先前开发的视频译码标准、当前正在开发的视频译码标准和即将出现的视频译码标准。
提出的用于DSC标准的方法包含数个译码模式，其中每一视频数据块可由编码器编码且类似地由解码器解码。在一些实施方案中，可使用多个不同译码模式(即，使用多模式视频译码)对图像的像素进行译码。然而，用于对图像的切片进行译码的模式中的一些对于除切片的第一排以外的切片的排可具有更佳性能。举例来说，某些视频译码模式可利用在空间上位于待译码的当前像素上方的预测符。由于切片的第一排不能够存取在空间上位于切片的第一排上方的预测符(即，先前排不可用于对切片的第一排进行译码)，因此这些视频译码技术对于切片的第一排可具有减小的译码质量。
在本发明中，描述经改进的使用空间预测模式对切片的第一排进行译码的方法。举例来说，可使用第一排的先前像素作为预测符对切片的第一排的像素进行译码。换句话说，当对当前像素进行译码时，切片的第一排中的位于待译码的当前像素之前的先前像素可用作预测符。先前像素可在译码次序中在空间上位于当前像素之前。这可在不存取位于切片的第一排上方的先前排的情况下改进切片的第一排的译码质量。
视频译码标准
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像的数字图像可包含布置成水平和垂直排的像素或样本。单个图像中的像素的数目通常有数万个。每一像素通常含有明度和色度信息。在无压缩的情况下，将从图像编码器传送到图像解码器的信息的绝对量将使实时图像传输变得不可行。为了减少待传输的信息的量，已开发出例如JPEG、MPEG及H.263标准等数种不同压缩方法。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，以及包含此类标准的扩展的HEVC。
另外，VESA已开发视频译码标准(即，DSC)。DSC标准是可压缩视频以供经由显示链路传输的视频压缩标准。随着显示器的分辨率增加，驱动显示器需要的视频数据的带宽相应地增加。一些显示链路可能不具有将所有视频数据传输到此类分辨率的显示器的带宽。因此，DSC标准规定用于在显示链路上的可互操作的视觉无损压缩的压缩标准。
DSC标准不同于例如H.264和HEVC的其它视频译码标准。DSC包含帧内压缩，但不包含帧间压缩，这意味着DSC标准在对视频数据进行译码时不可使用时间信息。相比之下，其它视频译码标准可在其视频译码技术中使用帧间压缩。
视频译码系统
下文参考附图更完整地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反地，提供这些方面以使得本发明将透彻且完整，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此类设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
尽管本文中描述了特定方面，但这些方面的许多变化和排列落在本发明的范围内。尽管提及了优选方面的一些益处和优点，但本发明的范围不意在限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件不一定暗示所述元件具有特定次序。而是，此类序数词仅用于指代相同或类似类型的不同元件。
图1A是说明可使用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”或“译码器”一般指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码和视频解码。除了视频编码器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如转码器(例如，可解码位流且重新编码另一位流的装置)和中间盒(例如，可修改、变换和/或以其它方式操纵位流的装置)。
如图1A中所示，视频译码系统10包含产生稍后由目的地装置14(即，“视频译码装置14”或“译码装置14”)解码的经编码视频数据的源装置12(即，“视频译码装置12”或“译码装置12”)。在图1A的实例中，源装置12和目的地装置14构成单独装置。然而，应注意，源装置12和目的地装置14可在同一装置上或为同一装置的部分，如在图1B的实例中所展示。
再次参考图1A，源装置12和目的地装置14可分别包括广泛范围的装置(也称为视频译码装置)中的任一者，包含桌上型计算机、笔记本型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”手机)、所谓的“智能”板、电视、摄像机、显示装置、数字媒体播放器、视频游戏机、视频流装置或类似者。在各种实施例中，源装置12和目的地装置14可经装备以用于无线通信(即，经配置以经由无线通信进行通信)。
视频译码系统10的视频译码装置12、14可经配置以经由无线网络和无线电技术(例如无线广域网(WWAN)(例如，蜂窝式)和/或无线局域网(WLAN)运营商)进行通信。术语“系统”和“网络”通常可互换使用。视频译码装置12、14中的每一者可为用户设备(UE)、无线装置、终端机、移动站、订户单元等。
WWAN运营商可包含(例如)无线通信网络，例如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)和其它网络。CDMA系统可实施例如通用地面无线电接入(UTRA)、CDMA2000等无线电技术。UTRA包含宽带CDMA(WCDMA)和CDMA的其它变体。CDMA2000涵盖IS-2000、IS-95和IS-856标准。TDMA网络可以实施例如全球移动通信系统(GSM)等无线电技术。OFDMA网络可实施例如演进型UTRA(E-UTRA)、超移动宽带(UMB)、IEEE802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、Flash-OFDMA等无线电技术。UTRA和E-UTRA是通用移动电信系统(UMTS)的部分。3GPP长期演进(LTE)和LTE高级(LTE-A)是UMTS的使用E-UTRA的新版本。UTRA、E-UTRA、UMTS、LTE、LTE-A和GSM描述于来自名为“第三代合作伙伴计划”(3GPP)的组织的文献中。CDMA2000和UMB描述于来自名为“第三代合作伙伴计划2”(3GPP2)的组织的文献中。
视频译码系统10的视频译码装置12、14还可根据一或多个标准(例如IEEE 802.11标准，包含例如这些修正案：802.11a-1999(通常称为“802.11a”)、802.11b-1999(通常称为“802.11b”)、802.11g-2003(通常称为“802.11g”)等)经由WLAN基站与彼此通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源装置12能够实时将经编码视频数据传输到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网，或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任一其它设备。
在图1A的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如以下各者的源：视频捕获装置(例如，摄像机)、含有先前所捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口和/或用于产生计算机图形数据以作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的“相机电话”或“视频电话”，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
视频编码器20可编码所捕获、预捕获或计算机产生的视频。经编码视频数据可经由源装置12的输出接口22传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置(未说明)上以供稍后由目的地装置14或其它装置存取以用于解码和/或重放。图1A和1B中说明的视频编码器20可包括图2A中说明的视频编码器20或本文中所描述的任何其它视频编码器。
在图1A的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28可经由链路16和/或从存储装置接收经编码视频数据。经由链路16传送或提供于存储装置上的经编码视频数据可包含由视频编码器20产生的供视频解码器(例如视频解码器30)在解码视频数据时使用的多种语法元素。此类语法元素可与在通信媒体上传输、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。图1A和1B中说明的视频解码器30可包括图2B中说明的视频解码器30或本文中所描述的任何其它视频解码器。
显示装置32可与目的地装置14集成在一起或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置且还可经配置以与外部显示装置接口连接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在相关方面中，图1B展示实例视频译码系统10′，其中源装置12和目的地装置14在装置11上或为装置11的部分。装置11可为电话手持机，例如“智能”电话或类似者。装置11可包含与源装置12和目的地装置14操作性通信的处理器/控制器装置13(任选地存在)。图1B的视频译码系统10'和其组件在其它方面类似于图1A的视频译码系统10和其组件。
尽管图1A和1B中的每一者展示源装置12包含视频源/摄像机18、视频编码器20和输出接口22，且目的地装置14包含输入接口28、视频解码器30和显示装置32，但源装置12和目的地装置14中的每一者可包含额外元件。举例来说，源装置12和目的地装置14中的每一者可具有包含视频源/摄像机18、视频编码器20、输出接口22、输入接口28、视频解码器30和显示装置32的类似结构。因此，在某些实施方案中，源装置12和目的地装置14可互换。
视频编码器20和视频解码器30可根据视频压缩标准(例如，DSC)操作。替代地，视频编码器20和视频解码器30可根据其它专属或行业标准(例如，ITU-TH.264标准(替代地被称为MPEG-4第10部分)、AVC、HEVC或此类标准的扩展)操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件以处理对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频译码过程
如上文简要提及，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20编码视频数据(例如，视频编码层(VCL)数据和/或非VCL数据)时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码图片是图片的经译码表示。VCL数据可包含经译码图片数据(即，与经译码图片的样本相关联的信息)，且非VCL数据可包含与一或多个经译码图片相关联的控制信息(例如，参数集和/或补充增强信息)。
为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。相关联数据可包含译码参数(例如量化参数(QP))集合。为了产生经译码图片，视频编码器20可将图片分割成大小相等的视频块。视频块可为样本的二维阵列。译码参数可定义用于视频数据的每一块的译码选项(例如，译码模式)。可选择译码选项以便达成所要速率-失真性能。
在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包含图像(例如，帧)中的在空间上相异的区，其可在无来自所述图像或帧中的其余区的信息的情况下独立地解码。可在单个切片中编码每一图像或视频帧，或可在数个切片中编码每一图像或视频帧。在DSC中，经分配以编码每一切片的位数可实质上恒定。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。
DSC视频编码器
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未示出)可经配置以执行本发明中描述的技术中的一些或全部。
出于解释的目的，本发明在DSC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。
在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含色彩-空间转换器105、缓冲器110、平度检测器115、速率控制器120、预测器、量化器和重构器组件125、排缓冲器130、带索引的色彩历史135、熵编码器140、子流多路复用器145和速率缓冲器150。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。
色彩-空间105转换器可将输入色彩-空间转换成在译码实施方案中使用的色彩-空间。举例来说，在一个示范性实施例中，输入视频数据的色彩-空间处于红色、绿色和蓝色(RGB)色彩-空间中，且在明度Y、色度绿色Cg和色度橙色Co(YCgCo)色彩-空间中实施译码。色彩-空间转换可通过包含移位和添加到视频数据的方法执行。应注意，可处理其它色彩空间中的输入视频数据，且也可执行到其它色彩空间的转换。
在相关方面中，视频编码器20可包含缓冲器110、排缓冲器130和/或速率缓冲器150。举例来说，缓冲器110可在视频编码器20的其它部分使用经色彩-空间转换的视频数据之前保存所述经色彩-空间转换的视频数据。在另一实例中，视频数据可存储在RGB色彩-空间中，且可按需要执行色彩-空间转换，这是由于经色彩-空间转换的数据可能需要较多位。
速率缓冲器150可充当视频编码器20中的速率控制机构的部分，其将在下文中结合速率控制器120更详细地进行描述。编码视频数据的每一块所耗费的位(即，用以编码的位)可实质上基于所述块的性质(例如，大小、位数等)而极其不同。速率缓冲器150可使经压缩视频(即，输出视频流)的速率变化平滑化。在一些实施例中，使用恒定位率(CBR)缓冲器模型，其中在经由有线物理链路传输数据期间以恒定位率从缓冲器移除位。在CBR缓冲器模型中，如果视频编码器20将太多位添加到位流，那么速率缓冲器150中的位数可超过速率缓冲器150的容量，从而致使溢出。另一方面，视频编码器20应以足够速率添加位以便防止速率缓冲器150下溢。
在视频解码器侧上，可以恒定位率将位添加到视频解码器30的速率缓冲器155(见下文进一步详细描述的图2B)，且视频解码器30可针对每一块移除可变数目个位。为了确保适当解码，视频解码器30的速率缓冲器155在解码经压缩位流期间不应下溢或溢出。
在一些实施例中，可基于表示当前存储于缓冲器中的位数的变量BufferCurrentSize和表示速率缓冲器150的大小(即，容量)的变量BufferMaxSize来定义缓冲器满度(BF)，即可存储在速率缓冲器150中的最大总位数。缓冲器的“满度”(也称为缓冲器满度(BF))可如下文方程式1中所示地计算。BF表示在特定时间点正用于存储位的缓冲器的容量的百分比。
BF＝((BufferCurrentSize*100)/BufferMaxSize)(方程式1)
平度检测器115可检测视频数据中的复杂(即，非平坦)区域到视频数据中的平坦(即，简单或均匀)区域的改变。术语“复杂”和“平坦”将在本文中用以大体指视频编码器20编码视频数据的相应区的难度。因此，如本文中使用的术语复杂将视频数据的区大体描述为视频编码器20编码起来复杂，且可(例如)包含纹理化的视频数据、高空间频率和/或编码起来复杂的其它特征。如本文中使用的术语平坦将视频数据的区大体描述为视频编码器20编码起来简单，且可(例如)包含视频数据中的平滑梯度、低空间频率和/或编码起来简单的其它特征。视频编码器20可使用复杂区与平坦区之间的过渡减少经编码视频数据中的量化伪影。具体来说，当识别到从复杂区到平坦区的过渡时，速率控制器120以及预测器、量化器和重构器组件125可减少此类量化伪影。
速率控制器120确定译码参数(例如QP)集合。速率控制器120可基于速率缓冲器150的缓冲器满度和视频数据的图像活动来调整QP，以便针对确保速率缓冲器150不溢出或下溢的目标位率最大化图片质量。速率控制器120还选择用于视频数据的每一块的特定译码选项(例如，特定模式)，以便达成最优速率-失真性能。速率控制器120最小化经重构图像的失真以使得速率控制器120满足位率约束，即，实际总译码速率落在目标位率内。
预测器、量化器和重构器组件125可执行视频编码器20的至少三种编码操作。预测器、量化器和重构器组件125可以许多不同模式执行预测。一个实例预测模式为中值自适应预测的修改版本。中值自适应预测可由无损JPEG标准(JPEG-LS)实施。可由预测器、量化器和重构器组件125执行的中值自适应预测的修改版本可允许三个连续样本值的并行预测。另一实例预测模式为块预测。在块预测中，从上方排中或同一排中左边的先前经重构像素预测样本。在一些实施例中，视频编码器20和视频解码器30都可对经重构像素执行相同搜索以确定块预测使用情况，且因此，不需要在块预测模式中发送位。在其它实施例中，视频编码器20可执行搜索并在位流中用信号发送块预测向量，使得视频解码器30无需执行单独搜索。也可实施中点预测模式，其中使用分量范围的中点来预测样本。中点预测模式可在甚至最坏情况的样本下实现对于经压缩视频需要的位数的定界。
预测器、量化器和重构器组件125还执行量化。举例来说，可经由可使用移位器实施的2幂量化器执行量化。应注意，可实施其它量化技术，代替2幂量化器。由预测器、量化器和重构器组件125执行的量化可基于由速率控制器120确定的QP。最后，预测器、量化器和重构器组件125还执行重构，包含将经逆量化的残差加到经预测值和确保结果不落在样本值的有效范围之外。
应注意，上文描述的由预测器、量化器和重构器组件125执行的预测、量化和重构的实例方法只是说明性的，且可实施其它方法。还应注意，预测器、量化器和重构器组件125可包含用于执行预测、量化和/或重构的子组件。还应注意，预测、量化和/或重构可由若干单独的编码器组件代替预测器、量化器和重构器组件125执行。
排缓冲器130保存来自预测器、量化器和重构器组件125的输出，使得预测器、量化器和重构器组件125和带索引的色彩历史135可使用经缓冲视频数据。带索引的色彩历史135存储最近使用的像素值。这些最近使用的像素值可由视频编码器20经由专用语法直接引用。
熵编码器140基于带索引的色彩历史135和由平度检测器115识别的平度过渡编码预测残差和从预测器、量化器和重构器组件125接收的任何其它资料(例如，由预测器、量化器和重构器组件125识别的索引)。在一些实例中，熵编码器140可每时钟每子流编码器编码三个样本。子流多路复用器145可基于无标头包复用方案来多路复用位流。这允许视频解码器30并行地运行三个熵解码器，从而有助于每时钟解码三个像素。子流多路复用器145可优化包次序，使得视频解码器30可有效地解码包。应注意，可实施熵译码的不同方法，这可有助于每时钟解码2的幂个像素(例如，2个像素/时钟或4个像素/时钟)。
DSC视频解码器
图2B是说明可实施根据本发明中描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未示出)可经配置以执行本发明中描述的技术中的一些或全部。
出于解释的目的，本发明在DSC译码的上下文中描述视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。
在图2B的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含速率缓冲器155、子流多路分用器160、熵解码器165、速率控制器170、预测器、量化器和重构器组件175、带索引的色彩历史180、排缓冲器185和色彩-空间转换器190。视频解码器30的所说明的组件类似于上文结合图2A中的视频编码器20所描述的对应组件。因而，视频解码器30的组件中的每一者可以类似于如上文所描述的视频编码器20的对应组件的方式操作。
DSC中的切片
如上所述，切片大体指图像或帧中的在空间上相异的区，其可在无来自所述图像或帧中的其余区的信息的情况下独立地解码。可在单个切片中编码每一图像或视频帧，或可在数个切片中编码每一图像或视频帧。在DSC中，经分配以编码每一切片的位数可实质上恒定。
根据本发明的方面，图像的译码可为基于块的且包含多个译码模式，每一译码模式旨在压缩不同类型的内容。模式选择可由速率控制特征(即，速率控制器120或速率控制器170)处理，旨在通过考虑模式的速率和失真两者选择用于每一块的适当模式。速率控制特征可由假想参考解码器(HRD)缓冲器模型(即，速率缓冲器150或速率缓冲器155)支持。在一个实例中，HRD缓冲器从未处于下溢(例如，缓冲器中少于零位)或溢出(例如，缓冲器大小已增加到超过设置的最大大小)状态中。
对于基于切片的视频编解码器，相对于切片的非第一排(即，除第一排以外的排)，压缩切片的第一排中的内容存在挑战。这是因为非第一排可采用切片的非第一排上方的经重构排中的高度相关的预测符，而第一排归因于给定切片的第一排上方的切片的经重构排不可用的事实而无法采用给定切片的第一排上方的切片的经重构排中的高度相关的预测符。因此，利用水平预测符的译码模式对于切片的第一排中的块来说可为合意的。此模式可为差量脉码调制(DPCM)模式的较大集合的变化形式且可经调谐以在硬件中有效地实施。另外，可描述不对给定切片的第一排的块中的像素的第一集合使用任何预测符的变化形式。两种技术之间的权衡是硬件复杂性/输贯量对压缩率/性能。
空间预测
为了用译码技术(例如DSC)的现有方法克服上文所描述的挑战，本发明描述以下改进。在本发明中，下文描述的技术和方法可单独地或以任何组合方式使用。
根据本发明的一或多个方面，提供用于对视频数据(其可为例如图形内容)进行译码的空间预测模式/技术。在相关方面中，可在维持高性能水平的同时最小化硬件复杂性。
图3是说明根据本发明中所描述的方面的对切片的第一排进行译码的方法的框图。图4是说明根据本发明中所描述的方面的对切片的第一排进行译码的另一方法的框图。图3说明包含第一排203的切片的一部分，所述第一排包含先前块205和当前块207。先前块205包含多个像素，其包含像素X-2和X-1。当前块207包含多个像素X0到XN-1，其中所述块中的每一者包含N个像素。图4说明包含第一排213的切片的一部分，所述第一排包含先前块215和当前块217。在图4实施方案中，块215和217係2维(2D)块。
可基于第二左相邻像素(即，先前块205的像素X-2)预测当前块207的当前像素X0。这可推广到第一排203的任何像素，例如可从先前像素Xi-2(即与当前像素Xi相邻的第二左像素)预测当前像素Xi。应注意，从第二左相邻像素预测当前像素Xi允许并行地执行两个译码路径(一个路径在偶数像素上另一路径在奇数像素上)。此显著地减小硬件实施方案中的临界路径。此预测方法在本文中表示为“交错式预测”。
还应注意，为了减小对先前经重构块的依赖性，可使用脉码调制(PCM)编码在块开始处的一或多个像素(而无需预测)。
本文中所揭示的技术可用于任何基于块的编解码器而不管块大小是1维(1D)还是2D，且其可进一步适用于更高维度的块(例如，3D块)。本文中所揭示的技术也可与任何类型的DPCM方法结合使用。举例来说，所揭示的技术可与标准DPCM方案或中值自适应预测符(MAP)方案一起使用。
1D空间预测
在图3和4中说明用于空间预测模式的实例预测路径。如先前所描述，当前块207或217中的每一像素可从其第二左相邻像素被预测。在一些实施方案中，当先前相邻像素是在当前切片外部时，可使用默认预测符，其可例如等于当前像素(即，当前正被译码的像素)的动态范围的一半。给定视频帧中的像素中的每一者的动态范围对于整个视频帧可为共同的。在此实例中，对于具有8位/分量的RGB内容(RGB888内容)，针对R、G和B的默认值将为128。对于具有针对Y的8位、针对Co/Cg的9位的YCoCg内容，预测符将具有针对Y的默认值128和针对Co和Cg的默认值0。这些值可相应地针对较高位深度源内容按比例进行缩放。举例来说，如果源是RGB10/10/10，那么默认值512可用于R/G/B。可如下计算预测环路：
此处，由ai给出经量化空间残差系数；分别由Q(·)和Q-1(·)给出量化和解量化；xi的经重构像素表示为且由p(·)给出预测。如在图3和4中所说明，像素x-2和x-1来自先前经重构块205或215。预测针对以下两个像素继续进行如下：
类似方法可用于当前块中的其余像素。
如果当前块如在图4的实施方案中包含多排(例如，使用2×8块大小)，那么并行性可进一步增加。交错式预测允许每一块215和217的每排或行2个并行译码路径，且也可独立地处理块215和217的多排。因此，对于2×8块大小，可采用总计四个译码并行路径。尽管上文已将2×8块215和217中的每一者描述为包含两排，但是如本文所使用的术语“第一排”通常是指切片中的块的第一经独立地译码的排。因此，图4中所说明的切片的第一排可包含块215和217中的所有像素，即使这些块215和217是2D的仍然如此。举例来说，可并行地预测/量化/重构图4中的样本x0,0,x1,0,x0,1,x1,1：
P(x0,0)＝x-2,0
P(x1,0)＝x-1,0
P(x0,1)＝x-2,1
P(x1,1)＝x-1,1
MAP空间预测
图5到7是说明说明在根据本发明中所描述的方面的对块进行译码的数种方法中当前像素与预测符像素之间的空间关系的框图。确切地说，图5到7说明用于2D MAP空间预测的预测路径。在图5到7中，所说明的像素包含先前排221、231或241、当前排223、233或243、当前排223、233或243的先前块225、235或245，以及当前排223、233或243的当前块227、237或247。先前排221、231或241包含像素A到F，先前块225、235或245包含像素X-2,0、X-1,0、X-2,1和X-1,1。在图5到7中，类似参考标号已用以说明所说明的块和/或像素的类似布局。
图5说明可在完整MAP实施方案中使用的预测符像素集合。所说明的预测符像素B、C和X-1,0是最靠近当前像素X0,0的空间相邻者，且因此其可具有与当前像素X0,0紧密相关的最高可能性。图5具有所说明实施方案的最低输贯量，其中一个编码路径用于块内的所有像素。在图6和7中说明分别使图5实施方案的输贯量增加2×和4×的两种并行方法，即，可用于DPCM的预测符像素集合。举例来说，图6的预测符像素集合可经选择以允许并行地执行两个译码路径，这是由于在两个译码路径之间可能不存在重叠的依赖性。类似地，图7说明可并行地执行四个译码路径的实施方案。举例来说，在图7的实施方案中，每行可独立地处理两个并行路径，其中所述路径中的每一者不包含重叠的依赖性。这对于硬件是有利的，因为将减小最差情况临界路径，从而降低硬件实施方案的复杂性。
用于图5实施方案的预测环路可计算如下：
此处，由ai,j给出经量化空间残差系数；分别由Q(·)和Q-1(·)给出量化和解量化；xi,j的经重构像素表示为且由p(·)给出预测。如在图5中所说明，像素x-1来自先前经重构块225，且B和C像素来自先前排221。此外，MED(·)是返回去往函数的输入的中值的中值函数。
用于图6的实施方案的预测环路可计算如下，其中函数和值如上文所定义：
类似地，用于图7的实施方案的预测环路可计算如下，其中函数和值如上文所定义：
量化器的选择可取决于大型编解码器的设计准则。然而，可使用任何适合量化器。举例来说，可如下将简单量化器用于低成本硬件设计：
一旦计算出整个块的经量化残差ai，经量化残差ai便可在传输到解码器之前经熵译码。
图8是说明根据本发明中所描述的方面的实例分组策略的框图。应注意，取决于所使用的熵译码器的类型，用于经量化系数的分组策略可与图8中展示的分组策略一致或依循图8中展示的分组策略。图8包含分组成多个群组(即群组1到群组4)的多个经量化残差a0到a15。在图8中，经量化残差a0到a15可分组成四个群组：群组1包含经量化残差a0和a1；群组2包含经量化残差a2、a3和a4；群组3包含经量化残差a5到a9；且群组4包含经量化残差a10到a15
在另一方法中，可使用非2幂量化器来代替简单量化。举例来说，可使用HEVC式量化器，只要额外复杂性在译码器的预算内，这便将改进性能。
在用以上文所描述的技术的又一方法中，可使用一些其它方法(例如，使用字典的固定长度译码或可变长度码(VLC)译码，或类似者)用信号发送经量化空间残差。如果使用VLC译码，那么可基于例如译码类型的预期统计训练字典。
图9是说明根据本发明中所描述的方面的对切片的排进行译码的框图。图10是说明根据本发明中所描述的方面的对切片的排进行译码的另一方法的框图。在一些实施方案中，图9和10的方法可应用于切片中的第一排。确切地说，图9和10是说明分别对应于图3的方法的实施方案的技术。因此，相同参考标号指定与先前说明的相同的元件。具体地说，图9和10中的每一者说明包含第一排203的切片的一部分，所述第一排包含先前块205和当前块207。
在图9和10中所说明的方法中，当前块207或217中的第一n像素可显式地在位流中被编码，而非从先前经重构块205或215预测。图9说明其中n＝2的情况，且图10说明其中n＝1的情况。此方法的优点是当前块完全独立于先前经重构数据。可通过此方法预期每块较高位率。在对此方法的修改形式中，可编码第一n像素，其中移除位平面的某一子集。举例来说，如果情境是速率受约束的，那么PCM像素可在编码之前被截短为较低位深度。
可在任何色彩空间中执行本文中所揭示的空间预测模式。举例来说，RGB或YCoCg可用于此类型的帧压缩。可能需要确保预测符使用与当前块相同的色彩空间。举例来说，如果正在YCoCg空间中处理当前块，但经重构像素存储于RGB中，那么应执行经重构像素的色彩空间转换。
根据本发明的各方面的空间预测模式的性能可通过检查在无其的情况下难以译码的内容进行论证。在一个实例中，用及不用所提出的模式对图像内容进行译码。这些实例可使用固定比率4:1压缩。使用峰值信噪比(PSNR)(其为图像质量的共同客观度量)测量客观质量。
所提出的编解码器的速率控制机构可经设计以基于比率与失真之间的权衡来选择用于每一块的最佳译码模式。
尤其对于切片的第一排中的内容，所提出的空间预测模式在成本D+λ·R方面提供低成本译码选项。此处，参数R是指当前块的位率，其可为当前块的在编码器20和解码器30之间传输的位的总数目；参数D是指当前块的失真，其可为原始块和经重构块之间的差。参数D可以数种不同方式计算为(例如)原始块和经重构块之间的绝对差总和(SAD)、平方差总和等。参数λ是可为参数R和D之间的权衡的拉格朗日参数。应注意，拉格朗日参数λ可以各种方式计算，且用以λ计算的选定方法可取决于上下文和应用程序而变化。举例来说，可基于数个因数(例如速率缓冲器155状态、块的第一排或非第一排条件等)计算拉格朗日参数λ。即使对于切片的非第一排条件，仍可选择用于多种类型的图像内容的空间预测模式。
空间预测模式译码的实例流程图
参考图11，将描述用于空间预测模式译码的实例过程。图11中所说明的步骤可由视频编码器(例如，图2A中的视频编码器20)、视频解码器(例如，图2B中的视频解码器30)或其组件执行。为方便起见，方法300描述为由可为视频编码器20、视频解码器30或另一组件的视频译码器(还简称为译码器)执行。
方法300开始于框301。在框305处，译码器对视频数据的切片进行译码。切片包括经组织成第一排和多个非第一排的多个像素。在框310处，译码器可经由在空间预测模式中使用第一排的先前像素作为预测符对第一排的当前像素进行译码来对切片进行译码。可在先前像素和当前像素之间存在中间像素。在框315处，译码器可继续经由在除空间预测模式以外的译码模式中对非第一排的至少另一像素进行译码来对切片进行译码。对切片进行译码可进一步包括经由第一和第二交错式译码路径对第一排进行译码。第一和第二译码路径中的像素中的每一者可独立于对应译码路径外部的像素经译码。方法300在框320处结束。
在方法300中，可移除(例如，不执行)图11中所展示的框中的一或多者，且/或可转换执行所述方法的次序。在一些实施例中，可将额外框添加到方法300。本发明的实施例不限于图11中展示的实例或不受图11中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化形式。
其它考虑
可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
结合本文中揭示的实施例所描述的各种说明性逻辑块和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软体的此可互换性，上文已大体上关于其功能性描述了各种说明性组件、块和步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起偏离本发明的范围。
本文中所描述的技术可在硬件、软件、固件或其任一组合中实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机，或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为装置或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在被执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存器、磁性或光学数据存储媒体及其类似者。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。
与计算机可读媒体(例如，存储器或其它数据存储装置)通信(例如，与其合作操作)的处理器可执行程序代码的指令，且可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。此类处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、上述结构的任何组合，或适合于实施本文中所描述的技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件或硬件内或并入于组合的视频编码器-解码器(编解码器)中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片集合)。本发明中描述各种组件或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下将来自一个实施例的特征或元件与其它实施例组合。然而，相应实施例之间的特征的组合不必限于此。已经描述本发明的各种实施例。这些和其它实施例处于所附权利要求书的范围内。

Claims (22)

1.一种用于在显示链路视频压缩中经由多个译码模式对视频数据进行译码的方法，其包括：
对所述视频数据的切片进行译码，所述切片包括经组织成多个块的多个像素，所述块布置于所述切片的第一排和所述切片的多个非第一排中，所述对所述切片进行译码包括：
在空间预测模式中使用所述第一排的先前像素作为预测符对所述第一排的当前像素进行译码；和
在除所述空间预测模式以外的译码模式中对非第一排的另一像素进行译码，
其中所述第一排的所述当前像素和所述第一排的所述先前像素通过中间像素分隔开，
其中所述对所述视频数据的所述切片进行译码进一步包括使用包含第一和第二交错式译码路径的经定义交错式预测译码方案对所述第一排进行译码，所述第一和第二交错式译码路径中的所述像素中的每一者独立于对应交错式译码路径外部的像素经译码，
其中所述块中的每一者是包含像素的至少两行的二维2D块，
其中所述当前像素和所述先前像素处于同一行中，且
其中所述对所述视频数据的所述切片进行译码进一步包括经由对应第一和第二交错式译码路径对所述第一排的每一行进行译码。
2.根据权利要求1所述的方法，其进一步包括在无需预测的情况下对所述切片的所述第一排的第一像素进行译码。
3.根据权利要求2所述的方法，其进一步包括在无需预测的情况下对所述切片的所述第一排的第二像素进行译码，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
4.根据权利要求2所述的方法，其进一步包括在所述空间预测模式中使用所述第一排的所述第一像素作为预测符对所述切片的所述第一排的第二像素进行译码，且所述第一交错式译码路径从所述第一像素开始，所述第二交错式译码路径从所述第二像素开始。
5.根据权利要求2所述的方法，其进一步包括：
确定是否存在对所述对所述视频数据进行译码的速率约束；和
响应于所述确定所述速率约束存在而截短所述第一像素的位深度。
6.根据权利要求1所述的方法，其进一步包括在所述空间预测模式中使用默认预测符对所述第一排的第一像素进行译码，其中所述默认预测符取决于所述视频数据的位深度。
7.根据权利要求1所述的方法，其进一步包括在中值自适应预测MAP模式中使用当前排的先前像素和先前排的第一和第二像素作为预测符对所述当前排的当前像素进行译码，所述当前排的所述当前像素和所述当前排的所述先前像素通过第一中间像素分隔开，且所述先前排的所述第一和第二像素通过第二中间像素分隔开。
8.一种用于在显示链路视频压缩中经由多个译码模式对视频数据进行译码的装置，其包括：
存储器，其经配置以存储所述视频数据；和
处理器，其与所述存储器通信且经配置以：
对所述视频数据的切片进行译码，所述切片包括经组织成多个块的多个像素，所述块布置于所述切片的第一排和所述切片的多个非第一排中；
在空间预测模式中使用所述第一排的先前像素作为预测符对所述第一排的当前像素进行译码；和
在除所述空间预测模式以外的译码模式中对非第一排的另一像素进行译码，
其中所述第一排的所述当前像素和所述第一排的所述先前像素通过中间像素分隔开，
其中所述对所述视频数据的所述切片进行译码进一步包括使用包含第一和第二交错式译码路径的经定义交错式预测译码方案对所述第一排进行译码，所述第一和第二交错式译码路径中的所述像素中的每一者独立于对应交错式译码路径外部的像素经译码，
其中所述块中的每一者是包含像素的至少两行的二维2D块，
其中所述当前像素和所述先前像素处于同一行中，且
其中所述处理器进一步经配置以经由对应第一和第二交错式译码路径对所述第一排的每一行进行译码。
9.根据权利要求8所述的装置，其中所述处理器进一步经配置以在无需预测的情况下对所述切片的所述第一排的第一像素进行译码。
10.根据权利要求9所述的装置，其中所述处理器进一步经配置以在无需预测的情况下对所述切片的所述第一排的第二像素进行译码，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
11.根据权利要求9所述的装置，其中所述处理器进一步经配置以在所述空间预测模式中使用所述第一排的所述第一像素作为预测符对所述切片的所述第一排的第二像素进行译码，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
12.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
确定是否存在对所述对所述视频数据进行译码的速率约束；和
响应于所述确定所述速率约束存在而截短所述第一像素的位深度。
13.根据权利要求8所述的装置，其中所述处理器进一步经配置以在所述空间预测模式中使用默认预测符对所述第一排的第一像素进行译码，其中所述默认预测符取决于所述视频数据的位深度。
14.根据权利要求8所述的装置，其中所述处理器进一步经配置以在中值自适应预测MAP模式中使用当前排的先前像素和先前排的第一和第二像素作为预测符对当前排的所述当前像素进行译码，所述当前排的所述当前像素和所述当前排的所述先前像素通过第一中间像素分隔开，且所述先前排的所述第一和第二像素通过第二中间像素分隔开。
15.一种用于在显示链路视频压缩中经由多个译码模式对视频数据进行译码的设备，其包括：
用于对所述视频数据的切片进行译码的装置，所述切片包括经组织成多个块的多个像素，所述块布置于所述切片的第一排和所述切片的多个非第一排中；
用于在空间预测模式中使用所述第一排的先前像素作为预测符对所述第一排的当前像素进行译码的装置；和
用于在除所述空间预测模式以外的译码模式中对非第一排的另一像素进行译码的装置，
其中所述第一排的所述当前像素和所述第一排的所述先前像素通过中间像素分隔开，
其中所述对所述视频数据的所述切片进行译码进一步包括使用包含第一和第二交错式译码路径的经定义交错式预测译码方案对所述第一排进行译码，所述第一和第二交错式译码路径中的所述像素中的每一者独立于对应交错式译码路径外部的像素经译码，
其中所述块中的每一者是包含像素的至少两个行的二维2D块，
其中所述当前像素和所述先前像素处于同一行中，且
其中所述设备进一步包括用于经由对应第一和第二交错式译码路径对所述第一排的每一行进行译码的装置。
16.根据权利要求15所述的设备，其进一步包括用于在无需预测的情况下对所述切片的所述第一排的第一像素进行译码的装置。
17.根据权利要求16所述的设备，其进一步包括用于在无需预测的情况下对所述切片的所述第一排的第二像素进行译码的装置，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
18.根据权利要求16所述的设备，其进一步包括用于在所述空间预测模式中使用所述第一排的所述第一像素作为预测符对所述切片的所述第一排的第二像素进行译码的装置，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
19.根据权利要求16所述的设备，其进一步包括：
用于确定是否存在对所述对所述视频数据进行译码的速率约束的装置；和
用于响应于所述确定所述速率约束存在而截短所述第一像素的位深度的装置。
20.一种上面存储有计算机程序的非暂时性计算机可读存储介质，所述计算机程序在执行时致使装置的处理器：
对视频数据的切片进行译码，所述切片包括经组织成多个块的多个像素，所述块布置于所述切片的第一排和所述切片的多个非第一排中；
在空间预测模式中使用所述第一排的先前像素作为预测符对所述第一排的当前像素进行译码；和
在除所述空间预测模式以外的译码模式中对非第一排的另一像素进行译码，
其中所述第一排的所述当前像素和所述第一排的所述先前像素通过中间像素分隔开，
其中所述对所述视频数据的所述切片进行译码进一步包括使用包含第一和第二交错式译码路径的经定义交错式预测译码方案对所述第一排进行译码，所述第一和第二交错式译码路径中的所述像素中的每一者独立于对应交错式译码路径外部的像素经译码，
其中所述块中的每一者是包含像素的至少两行的二维2D块，
其中所述当前像素和所述先前像素处于同一行中，且
其中所述非暂时性计算机可读存储介质上面进一步存储有在执行时致使所述处理器经由对应第一和第二交错式译码路径对所述第一排的每一行进行译码的计算机程序。
21.根据权利要求20所述的非暂时性计算机可读存储介质，其上进一步存储有在执行时致使所述处理器在无需预测的情况下对所述切片的所述第一排的第一像素进行译码的计算机程序。
22.根据权利要求21所述的非暂时性计算机可读存储介质，其上进一步存储有在执行时致使所述处理器在无需预测的情况下对所述切片的所述第一排的第二像素进行译码计算机程序，所述第一交错式译码路径从所述第一像素开始，且所述第二交错式译码路径从所述第二像素开始。
CN201580042163.9A 2014-08-08 2015-08-06 对视频数据进行译码的方法和设备及计算机可读存储介质 Active CN106576173B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462035363P 2014-08-08 2014-08-08
US62/035,363 2014-08-08
US201562146935P 2015-04-13 2015-04-13
US62/146,935 2015-04-13
US14/819,306 2015-08-05
US14/819,306 US10979705B2 (en) 2014-08-08 2015-08-05 Method for video coding with spatial prediction mode for multi-mode video coding
PCT/US2015/044067 WO2016022835A1 (en) 2014-08-08 2015-08-06 Method for video coding with spatial prediction mode for multi-mode video coding

Publications (2)

Publication Number Publication Date
CN106576173A CN106576173A (zh) 2017-04-19
CN106576173B true CN106576173B (zh) 2019-09-03

Family

ID=54012264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580042163.9A Active CN106576173B (zh) 2014-08-08 2015-08-06 对视频数据进行译码的方法和设备及计算机可读存储介质

Country Status (10)

Country Link
US (1) US10979705B2 (zh)
EP (1) EP3178230B1 (zh)
JP (1) JP6622791B2 (zh)
KR (1) KR102282260B1 (zh)
CN (1) CN106576173B (zh)
BR (1) BR112017002226A2 (zh)
CA (1) CA2953878A1 (zh)
ES (1) ES2812807T3 (zh)
HU (1) HUE049462T2 (zh)
WO (1) WO2016022835A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10574988B2 (en) * 2015-11-19 2020-02-25 Qualcomm Incorporated System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
US10511858B2 (en) * 2016-07-13 2019-12-17 Ati Technologies Ulc Bit packing for delta color compression
EP3306924A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to picture data
US11044466B2 (en) 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
CN108965877A (zh) * 2018-07-04 2018-12-07 武汉精测电子集团股份有限公司 基于dsc压缩算法实现视频实时显示的装置及方法
US11638040B2 (en) 2020-08-24 2023-04-25 Schmied Enterprises LLC Eco-friendly codec-based system for low latency transmission

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941915A (zh) * 2005-09-26 2007-04-04 株式会社东芝 视频编码方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299866A (ja) * 1999-04-12 2000-10-24 Ntt Software Corp 画像符号化方法
JP2002204359A (ja) * 2000-10-20 2002-07-19 Sony Corp 画像処理装置および方法
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
KR101194518B1 (ko) * 2005-04-05 2012-10-24 톰슨 라이센싱 양자화 단계를 국부적으로 조정하기 위한 방법
JP2007020036A (ja) * 2005-07-11 2007-01-25 Toshiba Corp 画像送信装置および画像受信装置
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
WO2011138912A1 (ja) * 2010-05-06 2011-11-10 日本電気株式会社 映像符号装置、映像復号装置、映像符号方法、映像復号方法及びプログラム
US20110310967A1 (en) * 2010-06-22 2011-12-22 Lei Zhang Method and System for Video and Image Coding Using Pattern Matching for Intra-Prediction
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
US10812829B2 (en) * 2012-10-03 2020-10-20 Avago Technologies International Sales Pte. Limited 2D block image encoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941915A (zh) * 2005-09-26 2007-04-04 株式会社东芝 视频编码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BDC-1: A robust algorithm for display stream compression;Frederick Walls等;《2013 Picture Coding Symposium (PCS) IEEE》;20140211;全文

Also Published As

Publication number Publication date
EP3178230B1 (en) 2020-05-20
US10979705B2 (en) 2021-04-13
ES2812807T3 (es) 2021-03-18
JP6622791B2 (ja) 2019-12-18
KR102282260B1 (ko) 2021-07-26
EP3178230A1 (en) 2017-06-14
JP2017527194A (ja) 2017-09-14
CA2953878A1 (en) 2016-02-11
HUE049462T2 (hu) 2020-09-28
US20160044308A1 (en) 2016-02-11
CN106576173A (zh) 2017-04-19
BR112017002226A2 (pt) 2017-11-21
KR20170041203A (ko) 2017-04-14
WO2016022835A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
CN106576173B (zh) 对视频数据进行译码的方法和设备及计算机可读存储介质
CN106416248B (zh) 用于对视频数据进行熵编码和熵解码的方法和装置
CN106165421B (zh) 用于译码视频数据的设备、方法及计算机可读媒体
CN106165418B (zh) 译码视频数据的设备、方法及计算机可读媒体
CN108028925A (zh) 用于显示流压缩(dsc)的块预测模式的可变分区大小
CN106256127B (zh) 用于针对显示流压缩(dsc)在块预测模式中译码的系统和方法
US10362310B2 (en) Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
CN106663085A (zh) 用于再使用变换结构用于多分区变换的系统和方法
CN107534771A (zh) 用于基于复杂性量度的显示流压缩dsc的量化参数qp计算
CN108353177A (zh) 在显示流压缩dsc中用于降低切片边界视觉假象的系统及方法
CN107409219A (zh) 用于显示流压缩的速率受限回退模式
CN108293114A (zh) 用于显示流压缩的块预测模式的多区域搜索范围
CN107258081A (zh) 对使用非正方形分割编码视频数据的优化
CN106664406A (zh) 用于确定用于显示流压缩的缓冲器满度的系统和方法
US10448024B2 (en) System and methods for calculating distortion in display stream compression (DSC)
CN106233731B (zh) 用于针对显示流压缩(dsc)在图案模式中译码的系统和方法
US20160044339A1 (en) System and method for reordering of prefixes and suffixes in variable length coding to increase throughput
US10123045B2 (en) Modification to block size for transform mode in display stream compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant