CN105052141B - 用于可伸缩视频编码空间模式的带宽节省架构 - Google Patents

用于可伸缩视频编码空间模式的带宽节省架构 Download PDF

Info

Publication number
CN105052141B
CN105052141B CN201380062561.8A CN201380062561A CN105052141B CN 105052141 B CN105052141 B CN 105052141B CN 201380062561 A CN201380062561 A CN 201380062561A CN 105052141 B CN105052141 B CN 105052141B
Authority
CN
China
Prior art keywords
data
layer
coder
encoder
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380062561.8A
Other languages
English (en)
Other versions
CN105052141A (zh
Inventor
张雷
周吉
陈珍
余敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Advanced Micro Devices Inc
Original Assignee
ATI Technologies ULC
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC, Advanced Micro Devices Inc filed Critical ATI Technologies ULC
Priority to CN201811385296.8A priority Critical patent/CN109905706B/zh
Publication of CN105052141A publication Critical patent/CN105052141A/zh
Application granted granted Critical
Publication of CN105052141B publication Critical patent/CN105052141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于可伸缩视频编码的系统和方法，所述可伸缩视频编码包括具有较低分辨率编码的基本层、具有较高分辨率编码的增强层和两层之间的数据传送。所述系统和方法提供若干种方法来减小中间层传送的带宽同时降低存储器需求。归因于存储器访问较少，所以系统时钟频率可降低使得系统功率消耗也降低。所述系统避免对从基本层到增强层的预测数据进行上采样以匹配所述增强层中的分辨率，因为传送上采样数据可对存储器带宽强加大的负担。

Description

用于可伸缩视频编码空间模式的带宽节省架构
技术领域
本发明涉及可伸缩视频应用且更具体来说涉及最小化可伸缩视频应用中的带宽。
背景
目前，使用家用电子装置进行的视频数据的远程传送和显示已成为重要开发领域。通常，需要允许在具有不同显示能力的装置之间进行这种流式传输。随着更高分辨率视频的出现，需要压缩视频流以增大可传送数据的量，还需要允许用仅可以允许更低分辨率视频流或可以具有不适当地呈现这些更高分辨率信号的通量或缓慢处理能力的装置查看这些视频流。因此，可伸缩视频流越来越受欢迎。大体来说，视频位流在所述流的部分可按所得子流形成另一有效位流用于某个目标解码器的方式移除时称为可伸缩，且所述子流表示具有小于完整原始位流的重建质量的源内容，但在考虑更低剩余数据量时为高。
可伸缩性的常见模式为时间可伸缩性、空间可伸缩性和质量可伸缩性。空间可伸缩性(也称为空间分辨率)描述其中位流子集表示具有缩小的图片大小的源内容的情况。时间可伸缩性(也称为时间分辨率)描述其中位流子集表示具有缩小的帧率的源内容的情况。在质量可伸缩性下，子流提供与完整位流相同的空间—时间分辨率，但具有更低保真度—其中保真度通常非正式地称为信噪比(SNR)。质量可伸缩性也俗称为保真度或SNR可伸缩性。
在实时支持空间、质量和空间可伸缩性的系统中，存储器带宽可成为总系统性能的限制因素。因此，需要一种用于减小或消除可增大存储器带宽问题的读取/写入活动的影响的方法。
实施方案概述
在本文中所描述的实施方案的一些中，一种用于可伸缩视频编码的系统和方法包括第一编码引擎，其用于使用帧数据将帧编码到小于最优层分辨率的第一层分辨率。第一编码引擎生成数据用于预测帧到最优层分辨率的编码。第二编码引擎将帧编码到大于第一分辨率层的第二层分辨率。第二编码引擎使用来自第一编码引擎的预测数据来改善视频压缩速率。在这些描述的实施方案中，所述系统和方法包括使用在第一编码引擎与第二编码引擎之间传送的较少预测数据，从而可通过使用较少帧数据来减小消耗的功率。
在一些实施方案中，所述系统和方法还包括在编码器中用于存储和检索帧数据和预测数据的存储器。相较于标准AVC，第二编码器将更多存储器用于预测数据，其中添加的存储小于第二层分辨率的一个数据帧。
附图简述
从在结合附图考虑时进行的本发明的下文详细描述，本发明的其它方面、优点和新颖特征将变得更加显而易见，其中：
图1为根据本发明的计算系统的方框图；
图2为根据本发明的空间编码引擎的方框图；
图3为根据本发明的空间编码器的方框图；
图4为根据本发明的图3的空间编码器的逻辑图；
图5为根据本发明的增强层和基本层的图解视图；和
图6为根据本发明的经处理帧的方框图。
优选实施方案详述
如本文中所描述的本发明的实施方案提供一种解决常规方法问题的方案。在下文描述中，各个实例是出于说明目的而给出，但无一实例意在限制性。实施方案包括使用标准、非定制编码解码器实施远程视频会议系统(有线或无线)。这些实施方案的优点涉及具有不同连接带宽和/或不同接收装置的三个或三个以上用户之间的通信，其中两个或两个以上不同分辨率显示器从相同用户的视频源接收对应视频信号。示例性视频分辨率流可以包括但不限于表示每种可伸缩性模式的高及低分辨率值的以下高及低分辨率实例。
时间分辨率 空间分辨率 SNR规模
在高分辨率下的视频源 30fps 1080p 高质量
在低分辨率下的视频源 15fps 540p 低质量
那些本领域的技术人员应明白，虽然在各自高及低视频流中示出每种模式的高及低分辨率实例，但可以混合可伸缩性模式使得高及低可伸缩性选项的所有组合可行。
在本发明的一些实施方案中，体现本发明的可伸缩视频编码(SVC)用于其中涉及两个以上用户的网络会议。在一个视频源服务具有不同显示分辨率的一个以上客户端的范例中，本发明在发送视频流以支持这些不同时间分辨率和/或空间分辨率的环境中运作。SVC还可用于用户与服务器之间的点对点流式传输应用，其中服务器将视频存储成SVC格式。用户接着可根据可用带宽和接收装置在可能的可用分辨率中间进行挑选。
出于本描述的目的，“H.264”指代也称为MPEG-4Part 10或MPEG-4AVC(高级视频编码)的视频压缩标准。H.264为由ITU-T视频编码专家组(VCEG)连同ISO/IEC活动图片专家组(MPEG)开发的面向块、基于运动估计的编码解码器中的一种。
H.264的特征内包括越来越受欢迎的视频会议类型应用的可伸缩视频编码(SVC)。诸多业界一流公司已在UCIF(全球通信互操作论坛)中使用SVC对视频会议进行标准化。
预期将广泛地采用基于SVC的视频会议。然而，SVC，尤其是SVC的空间模式(即，SVC空间)对存储器带宽相当严格。减小存储器读取和写入(R/W)带宽和相关联功率消耗需要在集成电路(诸如ASIC(专用集成电路))中(尤其是在低端笔记型计算机/平板型计算机芯片中)实施SVC空间模式。有利地，本发明的实施方案通过单独或一起实施以下四个新颖特征而得以解决这些问题：
1.在增强层编码器处执行上采样。相较于分离这些任务的常规方法，此可节省写入带宽高达75％。
2.如果硬件架构包括内部缓冲器，那么使用内部缓冲器来消除与存储器进行的数据交换。以此方式，上述点1还可用于显著地减小内部缓冲器大小。
3.在编码非顶级(意指非最优或非最高级)分辨率层的16x 16像素微块(MB)之后，接着仅将中间层的内部重建数据或中间层的中间残余数据写出到根据当前MB类型的一个缓冲器。这个缓冲器的每个条目为16位，使得由增强型层对这个缓冲器进行的读取直接存储器定址(DMA)得以简化。这是因为根据SVC标准，重建数据的数据大小为8位，而残余数据的数据大小为9位。运用这种方法，读取/写入带宽节省高达从常规方法实现的带宽的1/3。
4.为了改善存储和传送效率，符号位与残余数据分离，8位而非16位可用于残余数据。
5.为了进一步节省存储器带宽，视需要使用常规数据压缩算法(诸如但不限于ZIP档案格式压缩)压缩写出的中间层数据。
在下文描述中，介绍诸多特定详情以便透彻了解实施低延时应用的实施方案和描述实施低延时应用的实施方案。然而，那些本领域的技术人员应认识到，可在没有所述特定详情中的一个或多个的情况下或在具有其它组件、系统等的情况下实行这些实施方案。在其它范例中，未展示或未详细描述熟知结构或操作，以免使所公开实施方案的方面不清楚。
计算机和其它这种数据处理装置具有俗称为控制处理单元(CPU)的至少一个控制处理器。这些计算机和处理装置在通常可具有存储器、存储装置、输入装置和输出装置的环境中操作。这些计算机和处理装置还可具有其它处理器，诸如用于各种类型的专用处理且可以与处理装置共位或定位在其外部(诸如包括输出装置)的图形处理单元(GPU)。例如，GPU被设计成特别适于图形处理操作。GPU通常包括理想上适于对平行数据流执行相同指令的多个处理元件。大体来说，CPU用作主机或控制处理器且不干涉对其它处理器(诸如GPU)的特殊功能，诸如图形处理。
借助于其中每个CPU具有多个处理核心的多核心CPU，还可用于特殊功能的实质性处理能力可用于CPU。多核心CPU或GPU的计算核心中的一个或多个可为相同裸片(例如，AMDFusionTM)的部分或在不同裸片(例如，具有NVIDIA GPU的Intel XeonTM)中。最近，大体上已提议具有CPU和GPU两者(例如，CellSPETM、Intel LarrabeeTM)的特性的混合核心用于通用GPU(GPGPU)样式计算。GPGPU样式计算主张使用CPU来主要执行控制代码和将性能关键数据平行代码卸载到GPU。GPU主要用作加速计。多核心CPU和GPGPU计算模型的组合涵盖作为加速计目标的CPU核心和GPU核心两者。在诸多领域中，诸多多核心CPU核心具有比得上GPU的性能。例如，诸多CPU核心的每秒浮点运算速度(FLOPS)现比得上一些GPU核心的FLOPS。
本发明的实施方案可以通过使能够在CPU和GPU处理器上使用相同或相似代码基数且还通过促进这些代码基数的调试而产生实质性优点。虽然本文中结合特定应用的说明性实施方案描述本发明，但应了解，本发明不限于此。那些本领域的技术人员使用本文中提供的教学内容将认识到在其范畴和其中本发明将具有显著实用性的额外领域内的额外修改、应用和实施方案。
本发明的实施方案可以用于使用一个或多个处理器的任何计算机系统、计算装置、娱乐系统、媒体系统、游戏系统、通信装置、个人数字助理、或任何系统。本发明在系统包括异质计算系统的情况下特别有用。如本文中所使用的术语“异质计算系统”为其中多种处理器可用的计算系统。
本发明的实施方案使相同代码基数能够在不同处理器(GPU和CPU)上执行。本发明的实施方案例如可特别有利于具有多核心CPU和/或GPU的处理系统，这是因为可在仅需花些许额外精力的情况下或在无需花额外精力的情况下将对于一种类型的处理器开发的代码部署在另一类型的处理器上。例如，使用本发明的实施方案，被开发来在GPU(也称为GPU内核)上执行的代码可被部署来在CPU上执行。
图1中示出根据本发明的实施方案的示例性异质计算系统100。异质计算系统100可包括一个或多个处理单元，诸如处理器102。异质计算系统100还可包括至少一个系统存储器104、至少一个永久性存储装置106、至少一个系统总线108、至少一个输入装置110和输出装置112。
根据如图2所示的本发明的实施方案，适于异质计算的类型的处理单元为加利福尼亚州，圣何塞AMD旗下品牌Fusion销售的加速处理单元(APU)。异质处理单元包括一个或多个CPU和一个或多个GPU，诸如执行先前由离散GPU处置的功能的宽型单指令、多数据(SIMD)处理器和统一视频解码器。应了解，在提及GPU结构和功能时，由SIMD实行这些功能。异质处理单元还可包括用于访问系统存储器且还提供GPU与CPU之间共享的存储器的至少一个存储器控制器和用于通过例如控制器总线处置与输入和输出装置的通信的平台接口。
用于实行图形处理指令的宽型单指令、多数据(SIMD)处理器可以被包括来提供根据本发明的异质GPU能力或离散GPU可以被包括来与CPU分离以实施本发明；然而，如那些本领域的技术人员应了解，在使用离散GPU实施本发明中可能经历额外延时。
有利地，这种类型的架构很好地适于提供用于在SVC(可伸缩视频编码)中实施空间规模编码和/或解码的解决方案。根据H.264标准，SVC的H.264实施方式支持空间、质量和时间可伸缩性。
现将关于支持空间可伸缩性以减少外部存储器访问同时使对于编码器和解码器两者实施SVC得以改善描述本发明。
图2示出硬件实施方式空间规模编码200的数据流程的方框图。最初，将由基本层编码器202编码基本层的较小分辨率，且同时将对于增强层编码器210生成中间层数据，包括残余数据204、重建数据206和运动数据208。在本发明的实施方案中，编码器202执行增强层编码器210的功能。在到达增强层编码器210之前，由上采样器引擎212对中间层数据进行上采样到增强层分辨率。最后，增强层由增强层编码器210进行估计且用上采样的中间层数据信息进行编码。基本层编码器202的输出和增强层编码器210的输出合并到最终位流214中。接着，通过时分多工合并编码器202和210。
本发明的实施方案改善存储器宽带通量。如在H.264规范中，编码器基于基本层微块(MB)类型挑选残余或重建数据进行增强层预测。由于这2种类型的数据通常相互排斥，所以其不用于相同MB。已发现，可基于MB_TYPE输出残余或重建数据。如果MB_TYPE为Intra，那么将选择重建数据，否则将选择残余数据。
此外，应明白，在使用常规源格式(诸如但不限于YUV420源格式)时，生成的残余数据中的每个为9位且重建数据中的每个为8位。但9位数据不适于在存储器中使用8位通道存储和传送数据。还应意识到，第9位为将其标记为残余数据的符号位标志且如果符号位与残余数据分离，那么可将8位而非16位用于残余数据。接着将符号位保存在储备48bytes/MB的另一位置中，其足以处置这个任务。参考图3，空间编码器300的实施方案在基本层编码器304的输出处包括基于MB_Type选择性地递送残余数据或重建数据的输出多工器302。虽然输出多工器可以单独与基本层编码器304相关联，但那些本领域的技术人员应明白，在包括有基本层编码器304时，输出多工器302的性能是最优的。因此，用一个8位以下通道传输中间层数据，这是因为一个8位通道306连同单独运动数据308和残余符号位通道310递送残余数据和重建数据。这些更有效通道接着经由上采样器314将数据递送到增强层编码器312。为了进一步减小带宽，在实施方案中，将上采样器引擎(UPS)314放置在增强层编码器312中。
参考图4，更佳地了解SVC空间可伸缩性引擎400的数据流程。数据流程用于了解计算需求和各种组件之间的数据流程效率。H.264编码器中的各种功能元件的计算需求包括接收中间层数据402和当前图片404。上采样器(UPS)406用于对中间层数据402进行上采样以及在引线410处输出残余数据和在引线408处输出重建数据。UPS引擎406使用双线性滤波器来对当前MB的基本层中的对应残余数据进行上采样，且使用4抽头滤波器来对重建内部数据进行上采样。UPS还将对运动向量(MV)420进行上采样以用于运动估计422。
使用UPS输出，SVC提供3个中间层预测工具用于空间规模。中间层内部预测用于内部(Intra)模式，且中间层残余预测和中间层运动预测用于中间(Inter)模式。取决于基本层中的MB Type，应用如下：
如果基本层中的MB Type等于Intra，那么按以下方式界定编码流程：
在基本模式标志设置为真时，中间层内部预测工具为活动。在这种模式中，将通过从上采样的基本层重建数据减去当前MB生成残余。在此，数据引线418将为非活动且零数据412在使用中。
在基本模式标志设置为假时，调用标准H.264内部流程。
否则，如果基本层中的MB Type等于Inter，那么如下般指定不同步骤：
在基本模式标志设置为1时，中间层运动预测为活动。基本层MV(其在图中未示出)用作预测子，当前MB的MV设置为等于MV预测子。
在基本模式标志设置为0且运动预测标志为1时，基本层MV仍用作预测子但可在当前MV与MV预测子之间设置差(MVD)。
在基本模式标志和运动预测标志均为0时，应用标准H.264MV预测且将不使用基本层MV。
在残余预测标志为1时，中间层残余预测为活动。最终残余将计算为减去MC输出和上采样的基本层残余数据418两者的当前MB。为了估计残余预测的效果，中间层残余数据提供引线420用于ME。
在残余预测标志为0时，不使用基本层残余且仅通过从MC输出减去当前MB生成残余。
在随后由整数/逆整数变换引擎428和430(IT/IIT)处理残余数据之后，接着由量化/逆量化引擎432和434(Q/IQ)编码残余数据。编码器的输出发送到输出多工器436和解块滤波器(DBF)438。重建的图片440变成参考图片426。输出多工器436将中间层数据传输到更高层442。
那些本领域的技术人员应明白，图4未示出SVC空间规模的详情且有关更多详情可参考上文所述的H.264规范。
参考图5，图中示出用于上采样的2x规模实例500。然而，应了解，需要基本层506中的12x12区域502而非8x8区域504来预测增强层510中的16x16MB 508。
参考图6，图中示出帧上的SVC实施方式600，其包括时间规模、质量规模和空间规模。但本文中所描述的实施方案仅专注于空间规模。那些本领域的技术人员应明白，实际上2个会话用于实施具有时分多工的空间规模。
对于会话0中的第一时槽，编码较低分辨率层。而且将中间层数据保存到存储器中。
对于会话1中的下一时槽，相同硬件编码器将从存储器提取中间层数据且开始编码较高分辨率层。
空间规模残余/重建缓冲器可分类成2个部分；即，中间层残余/重建缓冲器和中间层残余符号缓冲器。
如参考图5般描述中间层残余/重建缓冲器，需要12x12区域来将16x16MB内插到增强层中。这可以被理解为在上/下/右/左的所有方向上需要2个额外像素用于基本层中的8x8块。
在编码器实施方案中，存储器中的数据保存成8x8颗粒，因此实际上，应明白，在所述实施方式中所需区域为24x24。
关于中间层残余符号缓冲器，所述符号缓冲器遵循如上文所描述的相同8x8存储颗粒。
关于这两个缓冲器，驱动器将检查编码器状态；增强层仅可在对应基本层完成编码之后进行编码。
可从其中采取30fps下的540p到30fps下的1080p伸缩作为实例以示出根据本发明的实施方案的残余数据和重建数据的带宽节省的实例看出带宽结果。
在这个实例中，具有以下变量：
变量 伸缩范围
图片宽度 1920/960
图片高度 1088/544
帧大小因子 1.5(1用于Y,0.5用于UV)
帧率 30
位深度 1/2(1用于重建数据，2用于残余数据)
MB中的图片宽度 (960/16)
MB中的图片高度 (544/16)
残余符号的每MB字节 (384/8)
没有任何优化的带宽(在基本层中上伸缩，且残余数据和重建数据两者将发送到存储器)：
写入：(1920*1088*1.5*1*30+1920*1088*1.5*2*30)/1000000＝282M Bytes/s
读取：(1920*1088*1.5*1*30+1920*1088*1.5*2*30)/1000000＝282M Bytes/s
优化之后的带宽变成：
写入：(960*544*1.5*l*30+(960/16)*(544/16)*(384/8)*30)/1000000＝26MBytes/s
读取：(960*544*1.5*l*30+(960/16)*(544/16)*(384/8)*30)*3/1000000＝79MBytes/s
因此，写入带宽实现90％节省且读取带宽实现70％节省。
应明白，为了进一步节省存储器，可以使用用ZIP或其它运行级别压缩工具压缩输出数据的额外选项。
最后，为了获得最佳性能，可添加用于消除与存储器进行的数据交换的内部缓冲器。这还在硬件配置有快速处理器或配置为上文所描述的异质计算平台时实现。
在本发明的实施方案中，上文所描述的硬件可使用执行来自非暂时性存储介质的指令的处理器来实施。那些本领域的技术人员应明白，使用为用于描述电路的代码的硬件描述语言(HDL)创建指令。HDL的示例性使用为在设计者必须致力于制造之前模拟设计。两个最流行HDL为VHSIC硬件描述语言(VHDL)和VERILOG。VHDL是由美国国防部开发且为开放标准。VERILOG(也称为国际开放VERILOG)(OVI)为由私人实体开发的行业标准，且现为称为IEEE标准1364的开放标准。以描述连接测试访问组(JTAG)兼容装置的VERILOG代码写入的文件称为VERILOG网络清单。VHDL为由IEEE标准1076.1界定的HDL。边界扫描描述语言(BSDL)为VHDL的子集，且提供标准机器和人类可读数据格式用于描述IEEE标准1149.1边界扫描架构如何实施和在装置中操作。所描述类型的任何HDL可用于创建表示硬件描述的指令。
虽然已关于示例性实施方案描述本发明，但其不限于此。相反，所附权利要求书应被广义地解释为包括可以由那些本领域的技术人员在不背离本发明的等效物的范畴和范围的情况下制作的本发明的其它变体和实施方案。

Claims (8)

1.一种用于可伸缩视频编码的系统，其包括：
基本层编码器，其被配置用于将帧编码到基本层；
所述基本层编码器进一步被配置用于生成中间层数据并且将中间层数据传输到增强层编码器，其中，所述中间层数据包括残余数据、重建数据或运动数据中的任何一个或者其组合；以及
所述增强层编码器，其被配置用于从所述基本层编码器接收所述中间层数据并且对所接收的中间层数据进行上采样；
所述增强层编码器进一步被配置用于基于所述基本层的微块类型使用所述上采样的中间层数据将所述帧编码到增强层，其中，所述基本层的所述微块类型指示所述基本层是否包括残余数据或重建数据，其中，所述增强层的分辨率大于所述基本层的分辨率。
2.根据权利要求1所述的系统，其中：
所述基本层编码器和所述增强层编码器为空间规模编码引擎。
3.根据权利要求1所述的系统，其进一步包括：
所述基本层编码器与所述增强层编码器之间的至少一个数据通道，其用于传输所述重建数据和所述残余数据，其中所述至少一个数据通道并非将所有位用于传输所述重建数据和所述残余数据。
4.根据权利要求1所述的系统，其中，所述基本层编码器进一步包括：
输出多工器，其被配置用于控制所述重建数据和所述残余数据至所述增强层编码器的传输。
5.一种用于实施可伸缩视频编码的方法，其包括：
使用基本层编码器将帧编码到基本层；
通过基本层编码器生成中间层数据并且将中间层数据传输到增强层编码器，其中，所述中间层数据包括残余数据、重建数据或运动数据中的任何一个或者其组合；
通过所述增强层编码器从所述基本层编码器接收所述中间层数据并且对所接收的中间层数据进行上采样；以及
通过所述增强层编码器基于所述基本层的微块类型使用所述上采样的中间层数据将所述帧编码到增强层，其中，所述基本层的所述微块类型指示所述基本层是否包括残余数据或重建数据，其中，所述增强层的分辨率大于所述基本层的分辨率。
6.根据权利要求5所述的方法，其中：
所述基本层编码器和所述增强层编码器为空间规模编码引擎。
7.根据权利要求5所述的方法，其包括：
使用至少一个数据通道传输所述重建数据和所述残余数据，其中所述至少一个数据通道并非将所有位用于传输所述重建数据和所述残余数据。
8.根据权利要求7所述的方法，其包括：
使用所述基本层编码器中的输出多工器来控制所述重建数据和所述残余数据至所述增强层编码器的传输。
CN201380062561.8A 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构 Active CN105052141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811385296.8A CN109905706B (zh) 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/689,212 US10085017B2 (en) 2012-11-29 2012-11-29 Bandwidth saving architecture for scalable video coding spatial mode
US13/689,212 2012-11-29
PCT/US2013/071931 WO2014085415A2 (en) 2012-11-29 2013-11-26 Bandwidth saving architecture for scalable video coding spatial mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811385296.8A Division CN109905706B (zh) 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构

Publications (2)

Publication Number Publication Date
CN105052141A CN105052141A (zh) 2015-11-11
CN105052141B true CN105052141B (zh) 2018-12-18

Family

ID=50773288

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811385296.8A Active CN109905706B (zh) 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构
CN201380062561.8A Active CN105052141B (zh) 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811385296.8A Active CN109905706B (zh) 2012-11-29 2013-11-26 用于可伸缩视频编码空间模式的带宽节省架构

Country Status (6)

Country Link
US (4) US10085017B2 (zh)
EP (1) EP2926561B1 (zh)
JP (2) JP6501712B2 (zh)
KR (3) KR102294209B1 (zh)
CN (2) CN109905706B (zh)
WO (1) WO2014085415A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US20160014417A1 (en) * 2014-07-08 2016-01-14 Magnum Semiconductor, Inc. Methods and apparatuses for stripe-based temporal and spatial video processing
CN104581172A (zh) * 2014-12-08 2015-04-29 北京中星微电子有限公司 一种实现svc宏块级算法的硬件结构
JP6820717B2 (ja) 2016-10-28 2021-01-27 株式会社日立ハイテク プラズマ処理装置
KR20180047763A (ko) * 2016-11-01 2018-05-10 삼성전자주식회사 처리 장치들 및 그 제어 방법들
EP3864845A1 (en) * 2018-10-09 2021-08-18 V-Nova International Ltd Dynamic range support within a multi-layer hierarchical coding scheme
US11074666B2 (en) * 2019-01-30 2021-07-27 Sony Interactive Entertainment LLC Scalable game console CPU/GPU design for home console and cloud gaming
KR102445181B1 (ko) 2019-02-01 2022-09-20 주식회사 히타치하이테크 에칭 방법 및 플라스마 처리 장치
WO2021192210A1 (ja) 2020-03-27 2021-09-30 株式会社日立ハイテク 半導体製造方法
US11967120B2 (en) * 2020-08-26 2024-04-23 Tencent America LLC Attribute coding of duplicate points for point cloud coding
GB2623547A (en) * 2022-10-19 2024-04-24 Sony Interactive Entertainment Europe Ltd Progressive refinement video enhancement
CN116886932B (zh) * 2023-09-07 2023-12-26 中移（杭州）信息技术有限公司 视频流传输方法、装置、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
CN101911699A (zh) * 2008-01-09 2010-12-08 摩托罗拉公司 用于高度可分级的帧内视频编码的方法和设备

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3279260A (en) 1964-05-07 1966-10-18 Galigher Company Material sampling device and dust closure therefor
US6137953A (en) * 1995-05-23 2000-10-24 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus in which non-active digital video data may be recorded in an auxiliary data region
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6731723B1 (en) * 1998-09-29 2004-05-04 Skyworks Solutions, Inc. Multi-line recording device having reduced processing and storage requirements
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US7502415B2 (en) * 2003-07-18 2009-03-10 Microsoft Corporation Range reduction
CN1627823A (zh) * 2003-12-10 2005-06-15 皇家飞利浦电子股份有限公司 一种空间分级压缩的方法和装置
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
KR100587561B1 (ko) * 2004-04-08 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 구현하는 방법 및 장치
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
WO2006065078A1 (en) * 2004-12-14 2006-06-22 Samsung Electronics Co., Ltd. Apparatus for encoding and decoding image and method thereof
US20060132855A1 (en) * 2004-12-22 2006-06-22 Murata Kikai Kabushiki Kaisha Image processing device
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
US8290057B2 (en) * 2005-02-18 2012-10-16 Mediatek Incorporation Method of decoding a digital video sequence and related apparatus
KR20080002936A (ko) * 2005-04-08 2008-01-04 에이전시 포 사이언스, 테크놀로지 앤드 리서치 하나 이상의 디지털 영상을 인코딩하는 방법, 인코더 및컴퓨터 프로그램 생성물
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
AU2006346226B8 (en) 2005-07-20 2010-03-25 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US7933294B2 (en) 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7593032B2 (en) 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100736080B1 (ko) * 2005-10-27 2007-07-06 삼성전자주식회사 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US7844879B2 (en) * 2006-01-20 2010-11-30 Marvell World Trade Ltd. Method and system for error correction in flash memory
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
CA2667194C (en) 2006-10-23 2013-06-25 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
TWI368444B (en) * 2006-11-17 2012-07-11 Lg Electronics Inc Method and apparatus for decoding/encoding a video signal
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
WO2008083521A1 (en) * 2007-01-10 2008-07-17 Thomson Licensing Video encoding method and video decoding method for enabling bit depth scalability
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
US8737474B2 (en) 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
DE602007009730D1 (de) * 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
KR101492302B1 (ko) * 2007-10-15 2015-02-23 톰슨 라이센싱 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
JP5451626B2 (ja) 2007-10-19 2014-03-26 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
JP5071413B2 (ja) 2009-03-02 2012-11-14 沖電気工業株式会社 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
WO2010123855A1 (en) * 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Filter selection for video pre-processing in video applications
EP2428042B1 (en) * 2009-05-05 2013-05-01 Telefonaktiebolaget LM Ericsson (publ) Scalable video coding method, encoder and computer program
DE102009026983A1 (de) * 2009-06-16 2010-12-30 Trident Microsystems (Far East) Ltd. Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung
WO2011094034A2 (en) 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
US8873637B2 (en) * 2010-05-14 2014-10-28 Qualcomm Incorporated Hardware pixel processing pipeline and video processing instructions
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
WO2012122246A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc. Dependency parameter set for scalable video coding
US20120300844A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Cascaded motion compensation
US8751906B2 (en) * 2011-06-13 2014-06-10 Marvell World Trade Ltd. Systems and methods for operating on a storage device using a life-cycle dependent coding scheme
US20140286415A1 (en) * 2011-10-05 2014-09-25 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus for same
JP6272819B2 (ja) 2012-03-20 2018-01-31 サムスン エレクトロニクス カンパニー リミテッド スケーラブルビデオ符号化方法、復号化方法、符号化装置及び記録媒体
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US10097825B2 (en) * 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9451251B2 (en) * 2012-11-27 2016-09-20 Broadcom Corporation Sub picture parallel transcoding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US9578328B2 (en) * 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US10547834B2 (en) * 2014-01-08 2020-01-28 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
CN101911699A (zh) * 2008-01-09 2010-12-08 摩托罗拉公司 用于高度可分级的帧内视频编码的方法和设备

Also Published As

Publication number Publication date
US20210377552A1 (en) 2021-12-02
US10659796B2 (en) 2020-05-19
US11863769B2 (en) 2024-01-02
US10085017B2 (en) 2018-09-25
JP2016502815A (ja) 2016-01-28
KR102294209B1 (ko) 2021-08-27
JP6721729B2 (ja) 2020-07-15
JP2019092179A (ja) 2019-06-13
KR102598748B1 (ko) 2023-11-06
US11095910B2 (en) 2021-08-17
KR20230018535A (ko) 2023-02-07
CN109905706B (zh) 2021-07-16
JP6501712B2 (ja) 2019-04-17
KR20210109045A (ko) 2021-09-03
US20140146883A1 (en) 2014-05-29
WO2014085415A2 (en) 2014-06-05
EP2926561A4 (en) 2016-08-03
KR102492251B1 (ko) 2023-01-26
WO2014085415A3 (en) 2014-09-12
EP2926561B1 (en) 2024-01-03
US20200112731A1 (en) 2020-04-09
CN105052141A (zh) 2015-11-11
CN109905706A (zh) 2019-06-18
KR20150107727A (ko) 2015-09-23
US20190028725A1 (en) 2019-01-24
EP2926561A2 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
CN105052141B (zh) 用于可伸缩视频编码空间模式的带宽节省架构
CN104982036B (zh) 用于帧包装和帧解包的方法及计算设备
CN104168479B (zh) 用于视频成码的切片级比特率控制
CN111726624B (zh) 用于视频递送的纹理的序列的生成
CN105765978B (zh) 用于编码/解码图像的方法和使用其的装置
CN101790093B (zh) 一种利用sopc实现avs视频解码的装置及方法
CN101883276B (zh) 软硬件联合解码的多格式高清视频解码器结构
CN102547291B (zh) 基于fpga的jpeg2000图像解码装置及方法
EP2865185A1 (en) Cross-layer cross-channel sample prediction
CN110324668A (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
CN105635731B (zh) 高效视频编码的帧内预测参考点预处理方法
Sanchez et al. 3D-HEVC bipartition modes encoder and decoder design targeting high-resolution videos
Wang et al. Hardware architecture design of HEVC entropy decoding
CN110796590A (zh) 用于视频处理或编码的可扩缩媒体体系结构
CN103379349A (zh) 一种视点合成预测编码方法、解码方法、对应的装置及码流
Xie et al. Reconfiguration Design and Implementation of DPRAP-Based Multi-viewpoint Image Coding Algorithm
CN108432251A (zh) 比特流变换设备、比特流变换方法、分发系统、动画图像编码设备、动画图像编码方法以及计算机可读存储介质
Fan et al. Co-ViSu: a Video Super-Resolution Accelerator Exploiting Codec Information Reuse
KR20230088437A (ko) Uv 좌표들의 코딩
WO2023205294A1 (en) Mesh compression using coding units with different encoding parameters
WO2014099478A2 (en) Prediction method using skip check module
CN117979015A (zh) 视频编解码方法、视频编码器和视频解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant