CN109982081B - 用于多层视频编码的自适应上采样 - Google Patents

用于多层视频编码的自适应上采样 Download PDF

Info

Publication number
CN109982081B
CN109982081B CN201910171028.4A CN201910171028A CN109982081B CN 109982081 B CN109982081 B CN 109982081B CN 201910171028 A CN201910171028 A CN 201910171028A CN 109982081 B CN109982081 B CN 109982081B
Authority
CN
China
Prior art keywords
upsampling
upsampling filter
filter
video sequence
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910171028.4A
Other languages
English (en)
Other versions
CN109982081A (zh
Inventor
董洁
罗恩铭
贺玉文
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN109982081A publication Critical patent/CN109982081A/zh
Application granted granted Critical
Publication of CN109982081B publication Critical patent/CN109982081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Abstract

公开了用于多层视频编码的自适应上采样的系统、方法和手段。传输视频数据的方法可包括将上采样滤波器应用于视频序列以生成编码后的增强层图像。该上采样滤波器可应用在视频序列的序列级以生成增强层比特流。可从多个候选上采样滤波器中选择该上采样滤波器，例如，通过确定是否存在与视频序列相关的类别信息和选择针对与视频序列相关的类别所设计的候选上采样滤波器。可编码上采样滤波器信息。编码后的上采样滤波器信息可包括该上采样滤波器的多个系数。可在输出视频比特流中发送编码后的上采样滤波器信息和编码后的增强层图像。该方法可例如通过编码器来执行。

Description

用于多层视频编码的自适应上采样
本申请是申请号为201380050742.9，申请日为2013年09月27日，发明名称为“用于多层视频编码的自适应上采样”的中国发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2012年9月28日递交的美国临时专利申请No.61/706,941和2013年1月10日递交的美国临时专利申请No.61/750,883的权益，所述申请的内容以引用的方式结合于此。
背景技术
视频编码系统用来压缩数字视频信号以减少所述信号的存储需求和/或传输带宽。视频编码系统可以包含基于块的系统、基于小波的系统、基于对象的系统等。可以使用并部署基于块的混合视频编码系统。基于块的视频编码系统的示例包含但不限于例如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC和VC-1标准的国际视频编码标准。
随着智能手机和平板电脑在分辨率和计算能力两方面的增长，例如视频聊天、移动视频录制和分享及视频流的额外视频应用可在异构环境中传送视频数据。如考虑多种消费设备(如个人电脑、智能手机、平板电脑、电视等)的3屏和N屏的场景可适应在计算能力、内存/存储大小、显示分辨率、显示帧速率等方面具有很大能力差异的设备上的视频消费。网络和传输信道可能在分组丢失率、可用信道带宽、突发错误率等方面具有很大的特性差异。可通过有线网络和无线网络的组合来传输视频数据，这会使得底层(underlying)传输信道的特征更加复杂。
可缩放(scalable)视频编码可提供解决方案以改善通过异构网络对在具有不同能力的设备上运行的视频应用的体验质量。可缩放视频编码可以以最高表示(representation)(如时间分辨率、空间分辨率、质量等)对信号进行一次编码并且能够依据由运行在客户设备上的应用所采用的具体速率和表示从视频流的子集进行解码。可缩放视频编码相比于不可缩放视频编码可以节省带宽和存储空间。例如但不限于MPEG-2视频、H.263、MPEG4视件和H.264的视频标准可具有支持一些可缩放性模式的工具和/或配置文件。
发明内容
公开了用于多层视频编码的自适应上采样的系统、方法和工具。传输视频数据的方法可包括对视频序列应用上采样滤波器以产生编码后的增强层图像。可对上采样滤波器信息进行编码。编码后的上采样信息可包含上采样滤波器的多个系数。可以在输出视频比特流中发送编码后的上采样滤波器信息和编码后的增强层图像。可由例如编码器来执行该方法。
传输视频数据的方法可以包含接收输入比特流，该输入比特流包括编码后的增强层图像和/或上采样滤波器信息，该上采样滤波器信息属于用来生成增强层图像的上采样滤波器。可对上采样滤波器信息解码以构造上采样滤波器。可至少部分地将上采样滤波器应用于对基础层(base layer)图像进行上采样。例如，上采样滤波器可被应用在序列级(sequence level)以解码视频序列的增强层图像。上采样滤波器可被用于视频序列的图像级(picture level)、视频序列的切片级(slice level)和/或视频序列的块级(blocklevel)。上采样后的基础层图像可用于对编码后的增强层图像进行解码。可以根据输入比特流中的第一上采样滤波器信息来构造第一上采样滤波器。可以根据输入比特流中的第二上采样滤波器信息来构造第二上采样滤波器。可应用第一上采样滤波器对基础层图像中的第一像素集进行上采样。可应用第二上采样滤波器对基础层图像中的第二像素集进行上采样。第一像素集和第二像素集表示基础层图像中的不同像素。可例如通过解码器执行该方法。
用信号发送上采样滤波器信息的方法可包括将多个上采样滤波器中的每一个滤波器要么分类为固定滤波器要么分类为定制滤波器，并且确定多个上采样滤波器中的哪些滤波器与对视频序列中的一部分进行编码相关。相关滤波器的确定可基于视频序列中的运动的量、视频序列中的边缘信息的量和/或视频序列中的边缘的方向性。可对对应于相关的固定滤波器的索引进行编码。可对对应于相关定制滤波器的滤波器系数进行编码。可在视频流中一起传送编码索引和编码滤波器系数。可由例如编码器执行该方法。
附图说明
图1是示出基于块的混合视频编码系统的示例的图。
图2是示出基于块的视频解码器的示例的图。
图3是示出两层可缩放视频编码系统的示例的图。
图4是示出两层可缩放视频解码器的示例的图。
图5是示出基于多通路编码进行图像级/切片级滤波器选择的示例的流程图。
图6是示出基于自适应上采样编码决策进行快速图像级/切片级滤波器选择的示例的流程图。
图7A是可以在其中实施一个或多个公开的实施方式的示例通信系统的系统图。
图7B是可以在图7A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。
图7C是可以在图7A所示的通信系统中使用的示例无线电接入网和示例核心网的系统图。
图7D是可以在图7A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。
图7E是可以在图7A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。
具体实施方式
图1是示出基于块的混合视频编码系统的示例的图。可逐块地处理输入视频信号102。视频块单元可包括16x16个像素。块单元可称为宏块或MB。在高效视频编码(HEVC)中，扩展的块大小(例如，可称为编码单元或CU)可用于压缩高分辨率(例如，1080p或更高)的视频信号。在HEVC中，CU可高达64x64像素。CU还可被分割为预测单元(PU)，可对预测单元应用单独的预测实施。对于输入视频块(例如，MB或CU)，可执行空间预测160和/或时间预测162。空间预测(例如，内预测(intra prediction))可使用来自同一视频图像/切片中的已编码相邻块中的像素对当前视频块进行预测。空间预测可减少视频信号中固有的空间冗余。时间预测(可称为例如间预测(inter prediction)或运动补偿预测)可使用已编码视频图像中的像素对当前视频块进行预测。时间预测可减少视频信号中固有的时间冗余。如果使用了多个参考图像，则给定视频块的时间预测信号可包括一个或多个运动矢量和一个或多个参考图像索引(例如，可用于识别时间预测信号来自参考图像存储库164中的哪些参考图像)。
在空间预测和/或时间预测之后，编码器中的模式决策块180可选择预测模式，例如，基于例如速率失真最优化示例的最佳预测模式。在116中，可从当前视频块中减去预测块。预测残差可在104中被变换并在106中被量化。被量化的残差系数可在110中被逆量化并在112中被逆变换，以形成重构残差，在126中重构残差可被添加到预测块中以形成重构视频块。进一步的，在环路滤波166中，在重构视频块被放入参考图像存储库164中和/或被用于编码将来的视频块之前，可在重构视频块上应用去块化(deblocking)滤波器和自适应环路滤波器。为形成输出视频比特流120，可将编码模式(例如，间(inter)编码或内(intra)编码)、预测模式信息、运动信息和/或量化后残差系数发送至熵编码单元108，以便对其进行压缩和打包以形成比特流120。
图2是示出基于块的视频解码器的示例的图。图2中的基于块的视频解码器可对应于图1中的基于块的视频编码器。可在熵解码单元208中对视频比特流202进行拆包并进行熵解码。编码模式和预测信息可被发送至空间预测单元260(例如，如果被内编码)和/或时间预测单元262(例如，如果被间编码)以形成预测块。残差变换系数可被发送至逆量化单元210和/或逆变换单元212以重构残差块。在226中可将预测块和残差块相加。在重构块被存入参考图像存储库264前，重构块可经历环路内(in-loop)滤波。参考图像存储库中的重构视频可被发送以驱动显示设备和/或被用于预测随后的视频块。
图3是示出可缩放视频编码系统的示例的图。在图3中，可示出具有一个基础层和一个增强层的两层可缩放编码系统。这两个层之间的空间分辨率可能不同(例如，可应用空间可缩放性)。例如，如图1所示，基础层编码器(例如，可以是图3中示出的HEVC编码器)可逐块编码基础层视频输入流并产生基础层比特流。例如，如图1所示，增强层编码器可逐块编码增强层视频输入流并产生增强层比特流。
为改善可缩放系统的编码效率，当对增强层视频进行编码时，来自基础层重构视频的信号相关性可用于改善其预测准确度。例如，如图3所示，可对基础层重构视频进行处理，并且处理后的基础层图像中的一者或多者可被插入到增强层解码图像缓存(DPB)中并用以预测增强层视频输入。基础层视频和增强层视频可以是以不同空间分辨率表示的本质上相同的视频源。如图3所示，经由下采样过程，基础层视频和增强层视频可以相互对应。例如，(例如，如图3所示的)由层间处理和管理单元所执行的ILP处理步骤可以是用以将基础层重构视频的空间分辨率与增强层视频的空间分辨率进行对准的上采样操作。除基础层编码器产生的基础层比特流和增强层编码器产生的增强层比特流之外，层间预测(ILP)处理和管理单元可产生ILP信息。例如，ILP信息可包括但不限于可被应用的层间处理的类型、在处理(例如，可使用的任意上采样滤波)中使用的参数，一个或多个处理后的基础层图像的ILP信息可被插入到增强层DPB等中。例如，可通过复用器来一起复用基础层比特流、增强层比特流和ILP信息以形成可缩放比特流。
图4是示出两层可缩放视频解码器的示例的图。图4中的两层可缩放视频解码器可对应于图3中的可缩放编码器。该解码器可执行与编码器相反的操作。例如，在解复用器中将可缩放比特流解复用成基础层比特流、增强层比特流和ILP信息。基础层解码器可解码基础层比特流。基础层解码器可产生基础层重构。ILP处理和管理单元可接收ILP信息。ILP处理和管理单元可对基础层重构进行处理。可根据接收到的ILP信息进行该操作。ILP处理和管理单元可以可选地将处理后的基础层图像中的一者或多者插入到增强层DPB中。可根据接收到的ILP信息进行该操作。增强层解码器可对如具有时间参考图像和层间参考图像(例如，处理后的基础层图像)的组合的增强层比特流进行解码，以重构增强层视频。
术语“层间参考图像”和“处理后的基础层图像”可替换使用。
如图3和图4所示，在可缩放系统中执行图像级ILP可提供简化的实施复杂度。这是因为基础层和增强层的编码器和解码器逻辑可以不用修改而在块级再次使用。可使用包括将处理后的基础层图像中的一者或多者插入到增强层DPB中的高级(例如，图像级/切片级)配置。在可缩放系统中可允许块级改变以便于除图像级层间预测外的块级层间预测。
针对基础层图像的一个或多个上采样滤波器的设计和/或应用可能对层间参考图像的质量和增强层的编码效率有影响。一个上采样滤波器可用于不同种类的视频内容和比特率。使用一个上采样滤波器可能不足以充分地利用各种空间特性。一个或多个上采样滤波器可以是2-D可分离的，2-D可分离可用于指示可通过连续地对行和列进行上采样来完成对图像的上采样。这种类型的滤波器不会保留沿着非水平或非竖直方向的边缘细节，但与2-D不可分离的滤波器相比会具有更低的复杂度。可使用依赖于模式的方向性上采样(例如，可以是一种自适应的上采样)对基础层图像中的内块进行上采样。依赖于模式的方向性上采样可采用一个或多个上采样滤波器，可根据一个或多个内预测模式将这一个或多个上采样滤波器应用在基础层视频块中。这种上采样示例可在无需使用额外的比特指示哪个滤波器被选择的情况下使上采样滤波器适应块级，和/或可改善使用内预测模式编码的上采样后的基础层块的质量。
此处描述了当对增强层图像进行编码时与层间预测和层间参考图像的质量相关的示例。多个上采样滤波器可被设计并且自适应地用在序列级、图像级/切片级和/或块级。可至少部分地通过先前知识和/或计算复杂度的均衡、开销比特的大小和/或编码效率来确定适应的等级。此处描述的示例可包括多个被设计为处理任意边缘方向和其他空间特性的多个上采样滤波器、可以可选择地用在序列级、图像级/切片级和/或块级的多个上采样滤波器和/或由编码器预定义或定制的多个上采样滤波器。
可使用两层的、空间可缩放的视频编码系统来举例说明所公开的主题。可用HEVC编码器/解码器作为示例来描述基础单层编码器/解码器。所公开的主题可应用于其他可缩放系统(例如，多于两层，其他类型的可缩放性，和/或其他基础单层编码器/解码器)。
此处可描述自适应上采样示例。可例如利用使用训练数据集的最小平方(LS)方法来设计、训练上采样滤波器，该训练数据集可包括将被编码的一个或多个增强层原始输入图像和/或一个或多个基础层重构图像。上采样滤波器可减小或最小化在一个或多个所采样的基础层重构图像与一个或多个增强层原始输入图像间的均方误差(MSE)。为训练一个或多个上采样滤波器，可构造一个或多个训练数据集。训练数据集可包括给定视频序列中的一个或多个增强层原始输入图像和/或一个或多个基础层重构图像。经训练的上采样滤波器对于那个训练视频序列而言可以是有效的。可将视频序列分类为一个或多个类别(例如，平稳性、高移动性、边缘丰富性、同类性等)。可根据用于对应的上采样滤波器的训练数据集将一个或多个基础层重构图像和/或一个或多个增强层原始输入图像分类至视频序列类别。经训练的上采样滤波器对于视频序列中的一定类别是有效的。
可通过确保滤波器的频率响应占据期望的方向性来创建上采样滤波器。例如，可由经窗函数剪切的2-d Sinc函数，例如如等式(1)中所示的函数，来表示不具有方向性的2-D上采样滤波器：
f(x,y)＝Sinc(ax)Sinc(by)w(x,y) 等式(1)
其中a和b是用于控制频域中在水平和竖直方向上的截止频率的两个参数。为了保留沿着一定方向(例如，可假定该方向与水平方向之间的角度为θ)的边缘细节，可通过将原始坐标逆时针旋转角度θ来获得期望的定向上采样滤波器，例如，如等式(2)中所示：
Figure BDA0001987904730000081
基于等式(1)和等式(2)，可得到具有期望方向性的上采样滤波器，例如，如等式(3)中所示：
f(x,y,θ)＝Sinc(a(cosθx+sinθy))Sinc(b(-sinθx+cosθy))w(cosθx+sinθy,-sinθx+cosθy)
等式(3)
通过训练实现方式和/或通过理论推导实现方式所获得的上采样滤波器可具有实数值。当在软件和/或硬件中实现时，可通过诸如具有一定精度的整数之类的值来近似该实数值。更低的精度可导致更低的实施复杂度，但也会降低上采样滤波器的性能。更高的精度可使得上采样滤波器的性能提高，但也会导致更高的实施复杂度。例如，精度可以是8比特，这可表明滤波器系数的值可被量化在256个步长内。当将具有8比特精度(例如，从0到255)的上采样滤波器应用于像素时，像素值和滤波器系数这两个乘数可产生8比特的精度，并且乘积可不超出16比特的动态范围。
在上采样滤波器中的一者或多者到位后，编码器可在编码过程期间自适应地应用上采样滤波器中的一者或多者(例如，任意上采样滤波器)。可通过不同的方式和/或在不同的编码级(例如，序列级，图像级/切片级，和/或块级)处来选择上采样滤波器。
如果编码器具有关于视频序列的内容的先前信息并且存在着被设计用于视频序列或该视频序列所属的类别的上采样滤波器，则该编码器可在编码处理开始时选择上采样滤波器。贯穿编码过程，该编码器可维持，例如不改变上采样滤波器。这可称为序列级自适应。贯穿视频序列的编码过程，编码器可使用经训练的上采样滤波器。确定视频序列的内容和/或类别的先前信息可指代确定与视频序列相关(例如，与视频序列中的一个或多个属性相关)的内容和/或类别。一旦确定了与视频序列相关的内容和/或类别，编码器就可基于该内容和/或类别(例如，从多个候选上采样滤波器中)选择上采样滤波器。
如果编码器不具有关于视频序列的先前知识或具有不可靠的知识，编码器可将经训练的上采样滤波器中的一者或多者(例如，全部或子集)用作针对编码处理的候选上采样滤波器。该编码器可以以图像为基础选择候选上采样滤波器中的一者。这可称为图像级/切片级自适应。该编码器可以以块为基础选择候选上采样滤波器中的一者。这可称为块级自适应。
此处可描述与选择一个或多个上采样滤波器和所选择的一个或多个上采样滤波器的自适应等级相关的示例。例如，此处可描述视频序列级自适应、图像级/切片级自适应和块级自适应。
编码器可使用上采样滤波器集(例如，候选上采样滤波器)中的其中一个或多个上采样滤波器(例如，子集)对当前视频序列进行编码。可以在如序列参数集(SPS)的序列报头中指示该一个或多个上采样滤波器。如果在SPS中指示一个上采样滤波器，则图像级/切片级或块级自适应可被禁用，例如，可不被启用。这是因为视频序列级自适应被启用。如果在SPS中指示多于一个上采样滤波器，则图像级/切片级和/或块级自适应可被启用。
可描述图像级/切片级自适应。用于对视频序列进行编码的候选上采用滤波器的数目可用N来表示。图5是示出基于多通路编码进行图像级/切片级滤波器选择的示例的流程图。在第n(1≤n≤N)个编码通路中，编码器可使用由第n个上采样滤波器所处理的处理后基础层图像来对当前增强层图像进行编码。在N通路编码后，编码器可使用预定义的标准选择N个编码通路中的候选上采样滤波器。例如，编码器可选择其编码通路具有最小率失真成本的上采样滤波器。编码器可使用所选择的上采样滤波器对当前增强层图像进行编码。
执行多通路编码对于一些应用(例如，使用实时编码的应用)可能是费时且昂贵的。对于可使用实时编码的应用，可使用快速编码器决策机制。图6是示出基于自适应上采样编码决策进行快速图像级/切片级滤波器选择的示例的图。如图6中所示，可根据图3执行第一编码通路。在这一编码通路中，处理后的基础层重构可用以提供层间预测。可通过应用表示为filter_dflt的缺省上采样滤波器来获得处理后的基础层图像。缺省上采样滤波器可以是N个上采样滤波器候选中的一者。缺省上采样滤波器可以是具有通常设计和低复杂度的2-D可分离滤波器。为决定用于增强层块的最优滤波器(其在第一编码通路期间使用处理后的基础层图像)，可收集和累积使用缺省滤波器的块失真和使用其他候选上采样滤波器中的一者或多者的块失真。例如，可通过使用不同的候选上采样滤波器并通过收集对这些候选上采样滤波器的块失真测量来逐块地对曾被选择用于通过使用缺省上采样滤波器在第一编码通路中进行当前EL帧的ILR预测的块进行重新编码。
可选择具有最小的总累计失真的滤波器作为最优滤波器(filter_opt)。如果filter_opt与filter_dflt相同，则第二编码通路可被忽略，例如，不被执行。否则，可使用filter_opt再次处理基础层重构，并且可使用最新处理后的基础层图像执行第二编码通路(例如，根据图3)。该快速编码算法可减少编码通路的数目，特别地如果初始滤波器(filter_dflt)被合适地设置的话。例如，当前图像编码可根据之前的编码统计得到缺省上采样滤波器。
可例如通过考虑编码时间和性能二者间的均衡来合并使用多通路编码和快速编码器决策机构的示例。例如，在N个上采样滤波器中，A(A小于N)个上采样滤波器的子集对于将被编码的给定视频序列可以是有效的。A个上采样滤波器可以和多通路编码一起使用，并且其余的B(N＝A+B)个上采样滤波器可以和快速编码器决策机构一起使用。
此处可描述使用针对块级的滤波器或上采样滤波器的示例。上采样滤波器，例如M个上采样滤波器候选中的最佳上采样滤波器，可对基础层块(例如，每一个基础层块)进行上采样。上采样后的块可用作对对应的增强层块进行编码的预测。用于图像级/切片级自适应和块级自适应的上采样滤波器候选集可以是不同的。M可以不同于N。例如，因为每一ILP块传送一次边信息(side information)(例如，这用于指示可使用哪个上采样滤波器)会导致比特开销(其可能是显著的)，所以M可能小于N。例如，如果M是2，则一个比特可用以用信号通知被用于块的上采样滤波器。如果M是5，则3个比特可用以用信号通知被用于块的上采样滤波器。如果M太大，信令开销会超过为块选择最优自适应上采样滤波器可实现的增益。对于图像级/切片级自适应，对于每一图像和/或每一切片而言可对边信息进行一次编码，且所使用的比特在总比特流中的百分比中可以是可忽略的。
对于块级自适应，可通过不同的方式来构造大小为M的上采样滤波器候选池。例如，M个候选上采样滤波器可被预定义并在SRS中用信号发送。例如，用于块级自适应的M个上采样滤波器可以是用于图像级/切片级自适应的N个上采样滤波器的子集，并且可被动态地构造。当对图像进行编码时，可执行多通路编码(例如，如图5中所示)和/或快速编码算法(例如，如图6中所示)，并且该M个最佳上采样滤波器可形成用于块级自适应的该M个上采样滤波器池。例如，在该M个上采样滤波器候选中，K个滤波器可被预定义(例如，在序列级)而L个滤波器可被动态地选择(例如，在图像级/切片级)，其中M＝K+L。
与图像级/切片级自适应类似，在块级，可通过不同的方法确定M个上采样滤波器候选中的一个或多个(例如，最佳的上采样滤波器)。例如，可选择使块的率失真成本最小化的上采样滤波器。当选择最佳块级滤波器时，可考虑上采样后的基础层块和对应的增强层原始块间的失真。考虑失真而非比特成本可能更快速。当对视频序列进行编码时，可使用图像级/切片级自适应上采样对图像中的一者或多者进行编码，然而可使用块级自适应上采样对其他图像中的一者或多者进行编码。
在可缩放系统中执行图像级上采样(例如，如图3和图4中所示)以及将上采样后的图像用作参考图像中的一者可降低实施复杂度。例如，可在很大程度上重复使用块级处的基础层和增强层编码器和解码器逻辑而无需改变。可使用包括将处理后的基础层图像中的一者或多者插入到增强层DPB中的高级(例如，图像级/切片级)配置。使用块级上采样可通过多个参考图像实现，其可省略对单层编码器/解码器的块级改变。例如，当对增强层图像进行编码时，分别使用M个上采样滤波器上采样后的M个基础层重构图像可用作附加的M个参考图像。虽然这可能增加参考图像列表的大小并且可能增加块级处参考索引信令的成本(例如，包括时间参考图像的参考索引信令开销)，但可降低实施复杂度。
可预定义多个上采样滤波器，并且可将滤波器的系数存储在编码器和/或解码器中。可选择预定义的上采样滤波器的数目以满足计算资源限制，例如，与滤波器系数相关的存储器限制。上采样滤波器可对视频中的一个类别进行编码，例如，平稳性、高移动性、边缘丰富性和/或同类性。可使用例如VPS(视频参数集)和/或SPS(序列参数集)之类的高级参数集中的一个或多个标记或指示符来用信号发送预定义的上采样滤波器的使用。一个或多个预定义上采样标记的一个或多个值可设置为真，其可意味着该预定义上采样滤波器可被使用。在比特流中，上采样滤波器的数目可跟随在一个或多个标记之后。
可为将被编码的视频序列定制多个上采样滤波器。编码器可将滤波器系数编码到比特流中并将其进行传送。在解码器侧，滤波器系数可被接收并用于解码视频序列。可使用如VPS和/或SPS的高级参数集中的一个或多个标记来用信号发送上采样滤波器的定制使用。一个或多个定制上采样标记的一个或多个值可设置为真，其可意味着该定制上采样滤波器可被使用。在比特流中，上采样滤波器的数目和上采样滤波器的系数可跟随在一个或多个标记之后。滤波器和系数可顺序地跟在一个或多个标记之后。
预定义的和定制的上采样可在使用时被组合，这可能意味着用于对当前视频序列进行编码的多个上采样滤波器可包括预定义的和定制的滤波器和系数。
表1示出了在用信号发送序列参数集(SPS)中的预定义自适应上采样滤波器和定制上采样滤波器的使用时使用的标记和/或值的示例集。
作为示例，具有值0的标记sps_predefined_upsampling_enabled_flag(sps_预定义的_上采样_使能的_标记)可用于指示预定义的上采样滤波器可不用于对当前视频序列进行编码。例如，如果标记sps_predefined_upsampling_enabled_flag具有值1，该标记可用于指示预定义的上采样滤波器可用于对当前视频序列进行编码。
作为另一示例，具有值0的标记sps_customized_upsampling_enabled_flag(sps_定制的_上采样_使能的_标记)可用于指示定制的上采样滤波器可不用于对当前视频进行编码。例如，如果sps_customized_upsampling_enabled_flag具有值1，该标记可用于指示定制的上采样滤波器可用于对当前视频序列进行编码。
例如，值num_predefined_upsampling_filters_minus_1(数目_预定义的_上采样_滤波器_减去_1)加1可用于指示对当前视频序列进行编码时使用的预定义上采样滤波器的数目。例如，值num_customized_upsampling_filters_minus_1(数目_定制的_上采样_滤波器_减去_1)加1可用于指示对当前视频序列进行编码时使用的定制上采样滤波器的数目。例如，值num_coeff_per_minus_1(数目_系数_每个_减去_1)加1可用于指示一个定制上采样滤波器中的滤波器系数的数目。
例如，值num_coeff_hori_minus_1[j](数目_系数_水平_减去_1[j])加1可用于指示第j个定制上采样滤波器的水平方向上的系数的数目。例如，值num_coeff_vert_minus_1[j](数目_系数_垂直_减去_1[j])加1用于指示第j个定制上采样滤波器的垂直方向上的系数的数目。
可用值num_coeff_hori_minus_1[j]乘以num_coeff_vert_minus_1[j]来指示滤波器的维度，并且滤波器的总系数数目可由是例如num_coeff_hori_minus_1[j]和num_coeff_vert_minus_1[j]的乘积。值upsampling_filter_coeff[j][i](上采样_滤波器_系数[j][i])可为第j个定制上采样滤波器的第i个滤波器参数。
Figure BDA0001987904730000151
表1.在SPS中用信号发送预定义自适应上采样滤波器和定制上采样滤波器的使用
图7A是在其中可以实施一个或多个公开的实施方式的示例通信系统700的图。通信系统700可以是向多个无线用户提供内容(例如语音、数据、视频、消息发送、广播等)的多接入系统。通信系统700可以使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问这些内容。例如，通信系统700可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FMDA(SC-FDMA)等。
如图7A所示，通信系统700可以包括无线发射/接收单元(WTRU)702a、702b、702c、702d，无线电接入网(RAN)703/704/705，核心网706/707/709，公共交换电话网(PSTN)708、因特网710和其他网络712。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 702a、702b、702c、702d的每一个可以是被配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，WTRU702a、702b、702c、702d可以被配置为传送和/或接收无线信号，并可以包括用户设备(UE)、移动站、固定或者移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器和消费电子产品、或能接收和处理所压缩视频通信的任意其他终端。
通信系统700还可以包括基站714a和基站714b。基站714a、714b的每一个都可以是被配置为与WTRU 702a、702b、702c、702d中的至少一个无线对接以便于接入一个或者多个通信网络(例如核心网706/707/709、因特网710和/或网络712)的任何类型的设备。作为示例，基站714a、714b可以是基站收发信台(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站714a、714b的每一个被描述为单独的元件，但是应该理解的是，基站714a、714b可以包括任何数量的互连基站和/或网络元件。
基站714a可以是RAN 703/704/705的一部分，所述RAN 703/704/705还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站714a和/或基站714b可以被配置为在特定地理区域内传送和/或接收无线信号，该特定地理区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站714a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站714a可以包括三个收发信机，即小区的一个扇区使用一个收发信机。在另一种实施方式中，基站714a可以使用多输入多输出(MIMO)技术，因此小区的每一个扇区可以使用多个收发信机。
基站714a、714b可以通过空中接口715/716/717与WTRU 702a、702b、702c、702d中的一个或者多个通信，该空中接口715/716/717可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口715/716/717。
更具体地，如上所述，通信系统700可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 703/704/705中的基站714a和WTRU 702a、702b、702c可以实施例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口715/716/717。WCDMA可以包括例如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
基站714a和WTRU 702a、702b、702c可以实施例如演进型UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口715/716/717。
基站714a和WTRU 702a、702b、702c可以实施例如IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。
图7A中的基站714b可以是例如无线路由器、家用节点B、家用e节点B或者接入点，并且可以使用任何适当的RAT以便于局部区域例如商业场所、住宅、车辆、校园等中的无线连接。基站714b和WTRU 702c、702d可以实施例如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。基站714b和WTRU 702c、702d可以实施例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。基站714b和WTRU 702c、702d可以使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等)来建立微微小区或毫微微小区。如图7A所示，基站714b可以具有到因特网710的直接连接。因此，基站714b可以不需要经由核心网706/707/709而接入因特网710。
RAN 703/704/705可以与核心网706通信，所述核心网706可以是被配置为向WTRU702a、702b、702c、702d中的一个或多个提供语音、数据、应用和/或网际协议上的语音(VoIP)服务等的任何类型的网络。例如，核心网706/707/709可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等、和/或执行高级安全功能，例如用户认证。虽然图7A中未示出，应该理解的是，RAN 703/704/705和/或核心网706/707/709可以与使用和RAN 703/704/705相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 703/704/705之外，核心网706/707/709还可以与使用GSM无线电技术的另一RAN(未示出)通信。
核心网706/707/709还可以充当WTRU 702a、702b、702c、702d接入PSTN 708、因特网710和/或其他网络712的网关。PSTN 708可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网710可以包括使用公共通信协议的全球互联计算机网络和设备系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络712可以包括被其他服务提供商拥有和/或运营的有线或无线通信网络。例如，网络712可以包括连接到一个或多个RAN的另一核心网，该RAN可以使用和RAN 703/704/705相同的RAT或不同的RAT。
通信系统700中的WTRU 702a、702b、702c、702d的某些或全部可以包括多模式能力，即WTRU 702a、702b、702c、702d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图7A中示出的WTRU 702c可被配置为与可以使用基于蜂窝的无线电技术的基站714a通信，以及与可以使用IEEE 802无线电技术的基站714b通信。
图7B是示例WTRU 702的系统图。如图7B所示，WTRU 702可以包括处理器718、收发信机720、发射/接收元件722、扬声器/麦克风724、键盘726、显示器/触摸板728、不可移除存储器730、可移除存储器732、电源734、全球定位系统(GPS)芯片组736和其他外围设备738。应该理解的是，在保持与实施例一致时，WTRU 702可以包括前述元件的任何子组合。而且，基站714a和714b和/或基站714a和714b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关和代理节点等)，可以包括图7B所描述的和这里描述的元件中的一些或每个。
处理器718可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、图形处理单元(GPU)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器718可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 702能够运行于无线环境中的任何其他功能。处理器718可以耦合到收发信机720，所述收发信机720可耦合到发射/接收元件722。虽然图7B描述了处理器718和收发信机720是单独的部件，但是应该理解的是，处理器718和收发信机720可以一起被集成在电子封装或芯片中。
发射/接收元件722可以被配置为通过空中接口715/716/717将信号传送到基站(例如，基站714a)，或从基站(例如，基站714a)接收信号。例如，发射/接收元件722可以是被配置为传送和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件722可以是被配置为传送和/或接收例如IR、UV或可见光信号的发射器/检测器。发射/接收元件722可以被配置为传送和接收RF和光信号两者。应当理解，发射/接收元件722可以被配置为传送和/或接收无线信号的任何组合。
另外，虽然发射/接收元件722在图7B中被描述为单个元件，但是WTRU702可以包括任意数量的发射/接收元件722。更具体的，WTRU 702可以使用MIMO技术。因此，在一种实施方式中，WTRU 702可以包括用于通过空中接口715/716/717传送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
收发信机720可以被配置为调制要由发射/接收元件722传送的信号和/或解调由发射/接收元件722接收的信号。如上面提到的，WTRU 702可以具有多模式能力。因此收发信机720可以包括用于使得WTRU 702能够经由多个RAT(例如UTRA和IEEE 802.71)通信的多个收发信机。
WTRU 702的处理器718可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风724、键盘726和/或显示器/触摸板728(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器718还可以输出用户数据到扬声器/麦克风724、键盘726和/或显示器/触摸板728。另外，处理器718可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，所述存储器例如不可移除存储器730和/或可移除存储器732。不可移除存储器730可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器732可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。处理器718可以从在物理上没有位于WTRU 702上(例如位于服务器或家用计算机(未示出)上)的存储器访问信息，并且可以将数据存储在该存储器中。
处理器718可以从电源734接收电力，并且可以被配置为分发和/或控制到WTRU702中的其他部件的电力。电源734可以是给WTRU 702供电的任何适当的设备。例如，电源734可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。
处理器718还可以耦合到GPS芯片组736，所述GPS芯片组736可以被配置为提供关于WTRU 702的当前位置的位置信息(例如，经度和纬度)。作为来自GPS芯片组736的信息的补充或作为其替代，WTRU 702可以通过空中接口715/716/717从基站(例如，基站714a、714b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，在保持实施例的一致性时，WTRU 702可以通过任何适当的位置确定方法来获得位置信息。
处理器718还可以耦合到其他外围设备738，所述外围设备738可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备738可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0001987904730000221
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图7C是根据实施方式的RAN 703和核心网706的系统图。如上所述，RAN 703可使用UTRA无线电技术以通过空中接口715与WTRU 702a、702b、702c通信。RAN 704还可以与核心网706通信。如图7C所示，RAN703可以包括节点B 740a、740b、740c，所述节点B 740a、740b、740c的每一个可以包括一个或多个用于通过空中接口715与WTRU 702a、702b、702c通信的收发信机。节点B 740a、740b、740c的每一个可以与RAN 703内的特定小区(未显示)关联。RAN 703还可以包括RNC 742a、742b。应当理解的是，在保持实施例的一致性时，RAN 703可以包括任意数量的节点B和RNC。
如图7C所示，节点B 740a、740b可以与RNC 742a通信。此外，节点B 740c可以与RNC742b通信。节点B 740a、740b、740c可以经由Iub接口与各自的RNC 742a、742b通信。RNC742a、742b可以经由Iur接口相互通信。RNC 742a、742b的每一个可以被配置为控制与其连接的各个节点B740a、740b、740c。另外，RNC 742a、742b的每一个可以被配置为执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图7C中所示的核心网706可以包括媒体网关(MGW)744、移动交换中心(MSC)746、服务GPRS支持节点(SGSN)748、和/或网关GPRS支持节点(GGSN)750。尽管前述元件的每一个被描述为核心网706的一部分，应当理解的是，这些元件中的任何一个可以被除核心网运营商以外的实体拥有和/或运营。
RAN 703中的RNC 742a可以经由IuCS接口连接至核心网706中的MSC 746。MSC 746可以连接至MGW 744。MSC 746和MGW 744可以向WTRU 702a、702b、702c提供到电路交换网络(例如PSTN 708)的接入，以便于WTRU 702a、702b、702c与传统陆线通信设备之间的通信。
RAN 703中的RNC 742a还可以经由IuPS接口连接至核心网706中的SGSN 748。SGSN7148可以连接至GGSN 750。SGSN 748和GGSN 750可以向WTRU 702a、702b、702c提供到分组交换网络(例如因特网710)的接入，以便于WTRU 702a、702b、702c与IP使能设备之间的通信。
如上所述，核心网706还可以连接至网络712，该网络712可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
图7D是根据另一实施方式的RAN 704和核心网707的系统图。如上所述，RAN 704可使用E-UTRA无线电技术以通过空中接口716与WTRU702a、702b、702c通信。RAN 704还可以与核心网707通信。
RAN 704可包括e节点B 760a、760b、760c，但可以理解的是，在保持与各种实施方式的一致性的同时，RAN 704可以包括任意数量的e节点B。e节点B 760a、760b、760c的每一个可包括一个或多个用于通过空中接口716与WTRU 702a、702b、702c通信的收发信机。e节点B 760a、760b、760c可以实施MIMO技术。因此，e节点B 760a例如可以使用多个天线来向WTRU 702a传送无线信号，以及从该WTRU 702a接收无线信号。
e节点B 760a、760b、760c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线电资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图7D所示，e节点B 160a、160b、760c可以通过X2接口相互通信。
图7D中所示的核心网707可以包括移动性管理网关(MME)762、服务网关764和/或分组数据网络(PDN)网关766。虽然前述元件的每一个被描述为核心网707的一部分，应当理解的是，这些元件中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。
MME 762可以经由S1接口连接到RAN 704中的e节点B 760a、760b、760c的每一个，并可以作为控制节点。例如，MME 162可以负责认证WTRU702a、702b、702c的用户、承载激活/去激活、在WTRU 702a、702b、702c的初始附着期间选择特定服务网关等等。MME 762还可以提供控制平面功能，以用于在RAN 704与使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。
服务网关764可以经由S1接口连接到RAN 704中的eNB 760a、760b、760c的每一个。服务网关764通常可以路由和转发去往/来自WTRU 702a、702b、702c的用户数据分组。服务网关764还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU 702a、702b、702c可用时触发寻呼、管理和存储WTRU 702a、702b、702c的上下文等等。
服务网关764还可以连接到PDN网关766，该PDN网关766可以向WTRU 702a、702b、702c提供到例如因特网710的分组交换网络的接入，以便于WTRU 702a、702b、702c与IP使能设备之间的通信。
核心网707可以便于与其他网络的通信。例如，核心网707可以向WTRU702a、702b、702c提供到例如PSTN 708的电路交换网络的接入，以便于WTRU 702a、702b、702c与传统陆线通信设备之间的通信。例如，核心网707可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网707与PSTN 708之间的接口。另外，核心网707可以向WTRU 702a、702b、702c提供到网络712的接入，该网络712可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。
图7E是根据另一实施例的RAN 705和核心网709的系统图。RAN 705可以是使用IEEE 802.16无线电技术通过空中接口717与WTRU 702a、702b、702c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 702a、702b、702c，RAN 705和核心网709的不同功能实体之间的通信链路可以被定义为参考点。
如图7E所示，RAN 705可以包括基站780a、780b、780c和ASN网关782，但应当理解的是，在保持与实施例的一致性的同时，RAN 705可以包括任意数量的基站和ASN网关。基站780a、780b、780c的每一个可以与RAN 705中特定小区(未示出)关联，并可以包括一个或多个用于通过空中接口717与WTRU 702a、702b、702c通信的收发信机。基站780a、780b、780c可以实施MIMO技术。因此，基站780a例如可以使用多个天线来向WTRU 702a传送无线信号，以及从其接收无线信号。基站780a、780b、780c还可以提供移动性管理功能，例如切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关782可以充当业务聚集点，并且可以负责寻呼、用户简档(profile)的缓存、到核心网709的路由等等。
WTRU 702a、702b、702c与RAN 705之间的空中接口717可以被定义为实施802.16规范的R1参考点。另外，WTRU 702a、702b、702c的每一个可以与核心网709建立逻辑接口(未显示)。WTRU 702a、702b、702c与核心网709之间的逻辑接口可以被定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。
基站780a、780b、780c的每一个之间的通信链路可以被定义为包括便于WTRU切换和基站间数据转移的协议的R8参考点。基站780a、780b、780c与ASN网关782之间的通信链路可以被定义为R6参考点。R6参考点可以包括用于便于基于与WTRU 702a、702b、702c的每一个关联的移动性事件的移动性管理的协议。
如图7E所示，RAN 705可以连接至核心网709。RAN 705与核心网709之间的通信链路可以被定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网709可以包括移动IP本地代理(MIP-HA)784，认证、授权、计费(AAA)服务器786和网关788。尽管前述的每个元件被描述为核心网709的一部分，应当理解的是，这些元件中的任意一个可以由除核心网运营商以外的实体拥有和/或运营。
MIP-HA 784可以负责IP地址管理，并可以使得WTRU 702a、702b、702c能够在不同ASN和/或不同核心网之间漫游。MIP-HA 784可以向WTRU702a、702b、702c提供对分组交换网络(例如因特网710)的接入，以便于WTRU 702a、702b、702c与IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可便于与其他网络互通。例如，网关188可以向WTRU 702a、702b、702c提供对电路交换网络(例如PSTN 708)的接入，以便于WTRU702a、702b、702c与传统陆线通信设备之间的通信。此外，网关188可以向WTRU 702a、702b、702c提供对网络712的接入，该网络712可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
尽管未在图7E中显示，应当理解的是，RAN 705可以连接至其他ASN，并且核心网709可以连接至其他核心网。RAN 705与其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调RAN 705与其他ASN之间的WTRU 702a、702b、702c的移动性的协议。核心网709与其他核心网之间的通信链路可以被定义为R5参考，该R5参考可以包括便于本地核心网与被访问核心网之间的互通的协议。
此处描述的过程可以在引入到计算机可读介质中并供计算机或处理器运行的计算机程序、软件或固件中实施。计算机可读介质的示例包括但不限于电信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、例如但不限于内部硬盘和可移除磁盘的磁介质、磁光介质和例如CD-ROM磁盘和/或数字多用途碟片(DVD)的光介质。与软件关联的处理器可以被用于实施在WTRU、WTRU、终端、基站、RNC或任何主计算机中使用的射频收发信机。

Claims (21)

1.一种用于传输视频数据的方法，该方法包括：
选择用于视频序列的上采样滤波器以通过以下方式创建增强层图像：
执行第一编码通道，包括将缺省上采样滤波器应用于基础层图像以获得处理后的基础层图像；
识别所述处理后的基础层图像的被选择用于增强层帧的层间预测的块；
基于与所述缺省上采样滤波器和多个候选上采样滤波器中的每一者相关联的针对所述处理后的基础层图像的所述被识别的块的块失真测量的比较，选择所述缺省上采样滤波器和所述多个候选上采样滤波器中的一者；
如果所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者不是所述缺省上采样滤波器，则执行第二编码通道，包括将所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者应用于所述基础层图像；以及
如果所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者是所述缺省上采样滤波器，则确定不执行第二编码通道；
编码上采样滤波器信息，其中所述上采样滤波器信息包括所选择的上采样滤波器的多个系数；以及
在输出视频比特流中发送所述编码后的上采样滤波器信息和所述增强层图像。
2.根据权利要求1所述的方法，其中所选择的上采样滤波器被应用于所述视频序列的序列级别，以创建所述增强层比特流。
3.根据权利要求1所述的方法，该方法还包括通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
确定是否存在所述视频序列的内容的知识；以及
在确定存在所述视频序列的内容的知识时，选择为所述视频序列的所述内容所设计的候选上采样滤波器。
4.根据权利要求1所述的方法，该方法还包括通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
确定是否存在与所述视频序列相关的类别的知识；以及
在确定存在与所述视频序列相关的类别的知识时，选择被设计用于与所述视频序列相关的所述类别的候选上采样过滤器。
5.根据权利要求1所述的方法，其中所选择的上采样滤波器被应用于所述视频序列的图像或切片级。
6.根据权利要求5所述的方法，该方法还包括通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
利用所述多个候选上采样滤波器在所述视频序列的增强层图像上执行多通路编码；以及
基于在所述多通路编码期间的所述第二上采样滤波器的性能，从所述多个候选上采样滤波器中选择所述第二上采样滤波器。
7.根据权利要求6所述的方法，其中所述第二上采样滤波器的所述性能是通过使用率失真成本来评估的。
8.根据权利要求1所述的方法，其中基于块失真测量的比较选择所述缺省上采样滤波器和所述多个候选上采样滤波器中的一者包括：选择所述缺省上采样滤波器和所述多个候选上采样滤波器中具有最小相关联的失真的一者。
9.根据权利要求5所述的方法，该方法还包括通过以下方式选择第二上采样滤波器：
针对第一多个候选上采样滤波器中的每一者，在所述视频序列的增强层图像上执行多通路编码；以及
选择所述第一多个候选上采样滤波器中与最符合标准的编码通道相对应的一者。
10.根据权利要求1所述的方法，还包括：
针对先前所接收的视频序列，生成包括所述先前所接收的视频序列的原始增强层输入图像和重建的基础层图像的训练数据集；以及
使用最小平方法训练所述上采样滤波器，所述最小平方法使用所述先前所接收的视频序列的所述训练数据集。
11.一种系统，包括可执行指令，使得所述系统执行包括以下的操作：
选择用于视频序列的上采样滤波器以通过以下方式创建增强层图像：
执行第一编码通道，包括将缺省上采样滤波器应用于基础层图像以获得处理后的基础层图像；
识别所述处理后的基础层图像的被选择用于增强层帧的层间预测的块；以及
基于与所述缺省上采样滤波器和多个候选上采样滤波器中的每一者相关联的针对所述处理后的基础层图像的所述被识别的块的块失真测量的比较，选择所述缺省上采样滤波器和所述多个候选上采样滤波器中的一者；
如果所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者不是所述缺省上采样滤波器，则执行第二编码通道，包括将所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者应用于所述基础层图像；以及
如果所述缺省上采样滤波器和所述多个候选上采样滤波器中的所选择的一者是所述缺省上采样滤波器，则确定不执行第二编码通道；
编码上采样滤波器信息，其中所述上采样滤波器信息包括所选择的上采样滤波器的多个系数；以及
在输出视频比特流中发送所述编码后的上采样滤波器信息和所述增强层图像。
12.根据权利要求11所述的系统，其中所选择的上采样滤波器被应用于所述视频序列的序列级别，以创建所述增强层比特流。
13.根据权利要求11所述的系统，该系统还包括可执行指令，以使得所述系统执行包括以下的进一步操作：
通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
确定是否存在所述视频序列的内容的知识；以及
在确定存在所述视频序列的内容的知识时，选择为所述视频序列的所述内容所设计的候选上采样滤波器。
14.根据权利要求11所述的系统，该系统还包括可执行指令，以使得所述系统执行包括以下的进一步操作：
通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
确定是否存在与所述视频序列相关的类别的知识；以及
在确定存在与所述视频序列相关的类别的知识时，选择被设计用于与所述视频序列相关的所述类别的候选上采样过滤器。
15.根据权利要求11所述的系统，其中所选择的上采样滤波器被应用于所述视频序列的图像或切片级。
16.根据权利要求15所述的系统，该系统还包括可执行指令，以使得所述系统执行包括以下的进一步操作：
通过以下方式从多个候选上采样滤波器中选择第二上采样滤波器：
利用所述多个候选上采样滤波器在所述视频序列的增强层图像上执行多通路编码；以及
基于在所述多通路编码期间的所述第二上采样滤波器的性能，从所述多个候选上采样滤波器中选择所述第二上采样滤波器。
17.根据权利要求16所述的系统，其中，所述第二上采样滤波器的所述性能是通过使用率失真成本来评估的。
18.根据权利要求11所述的系统，其中，基于块失真测量的比较选择所述缺省上采样滤波器和所述多个候选上采样滤波器中的一者包括：选择所述缺省上采样滤波器和所述多个候选上采样滤波器中具有最小相关联的失真的一者。
19.根据权利要求15所述的系统，该系统还包括可执行指令，以使得所述系统执行包括以下的进一步操作：
通过以下方式选择第二上采样滤波器：
针对第一多个候选上采样滤波器中的每一者，在所述视频序列的增强层图像上执行多通路编码；以及
选择所述第一多个候选上采样滤波器中与最符合标准的译码通道相对应的一者。
20.根据权利要求11所述的系统，该系统还包括可执行指令，以使得所述系统执行包括以下的进一步操作：
针对先前所接收的视频序列，生成包括所述先前所接收的视频序列的原始增强层输入图像和重建的基础层图像的训练数据集；以及
使用最小平方法训练所述上采样滤波器，所述最小平方法使用所述先前所接收的视频序列的所述训练数据集。
21.一种其上存储有指令的计算机可读存储介质，所述指令用于使计算系统执行如权利要求1-10中任意一项所述的方法。
CN201910171028.4A 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样 Active CN109982081B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261706941P 2012-09-28 2012-09-28
US61/706,941 2012-09-28
US201361750883P 2013-01-10 2013-01-10
US61/750,883 2013-01-10
CN201380050742.9A CN104685877B (zh) 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样
PCT/US2013/062149 WO2014052740A1 (en) 2012-09-28 2013-09-27 Adaptive upsampling for multi-layer video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380050742.9A Division CN104685877B (zh) 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样

Publications (2)

Publication Number Publication Date
CN109982081A CN109982081A (zh) 2019-07-05
CN109982081B true CN109982081B (zh) 2022-03-11

Family

ID=49305224

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380050742.9A Active CN104685877B (zh) 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样
CN201910171028.4A Active CN109982081B (zh) 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380050742.9A Active CN104685877B (zh) 2012-09-28 2013-09-27 用于多层视频编码的自适应上采样

Country Status (7)

Country Link
US (1) US10218971B2 (zh)
EP (1) EP2901683A1 (zh)
JP (2) JP6141988B2 (zh)
KR (2) KR101774675B1 (zh)
CN (2) CN104685877B (zh)
TW (1) TW201436531A (zh)
WO (1) WO2014052740A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US20160044340A1 (en) * 2014-08-07 2016-02-11 PathPartner Technology Consulting Pvt. Ltd. Method and System for Real-Time Video Encoding Using Pre-Analysis Based Preliminary Mode Decision
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
DE202016009107U1 (de) 2015-02-19 2022-04-27 Magic Pony Technology Limited Visuelle Verarbeitung durch zeitliche und räumliche Interpolation
CN107211128B (zh) * 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
EP3278559B1 (en) 2015-03-31 2021-05-05 Magic Pony Technology Limited Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB2553556B (en) 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
EP3411223B1 (en) 2017-03-15 2019-12-18 Novelis Inc. Corrugated heat protection tube and methods of making the same
WO2019009490A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019009447A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019126170A1 (en) * 2017-12-19 2019-06-27 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US10740394B2 (en) * 2018-01-18 2020-08-11 Oath Inc. Machine-in-the-loop, image-to-video computer vision bootstrapping
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
KR102285738B1 (ko) 2018-10-19 2021-08-05 삼성전자주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11720997B2 (en) * 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
KR20200044662A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
JP7336427B2 (ja) * 2018-12-28 2023-08-31 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
AU2020256658A1 (en) 2019-04-12 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
WO2020233663A1 (en) * 2019-05-22 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using upsampling
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
KR102287947B1 (ko) 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
US20230031886A1 (en) * 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
US11889200B2 (en) 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1722831A (zh) * 2004-07-15 2006-01-18 三星电子株式会社 对包括基本层的比特流预解码和解码的方法和设备
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
CN101502118A (zh) * 2006-01-10 2009-08-05 诺基亚公司 用于可伸缩视频编码的转换滤波器上采样机制
CN102450009A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064422A1 (en) * 2004-12-13 2006-06-22 Koninklijke Philips Electronics N.V. Scalable picture encoding
JP4295236B2 (ja) * 2005-03-29 2009-07-15 日本電信電話株式会社 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
FR2889778A1 (fr) 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
US7205914B1 (en) * 2005-10-28 2007-04-17 Motorola, Inc. System and method for efficient upsampled signal processing
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
US9729899B2 (en) 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
FR2965444B1 (fr) * 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
EP2792146A4 (en) * 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
CN104160705B (zh) * 2012-03-12 2018-11-16 杜比实验室特许公司 三维视觉动态范围编码
US9660913B2 (en) * 2014-03-14 2017-05-23 Network Critical Solutions Limited Network packet broker
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1722831A (zh) * 2004-07-15 2006-01-18 三星电子株式会社 对包括基本层的比特流预解码和解码的方法和设备
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
CN101502118A (zh) * 2006-01-10 2009-08-05 诺基亚公司 用于可伸缩视频编码的转换滤波器上采样机制
CN102450009A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择

Also Published As

Publication number Publication date
JP2017153145A (ja) 2017-08-31
KR101774675B1 (ko) 2017-09-04
WO2014052740A1 (en) 2014-04-03
JP6954763B2 (ja) 2021-10-27
KR20150060906A (ko) 2015-06-03
JP6141988B2 (ja) 2017-06-07
EP2901683A1 (en) 2015-08-05
TW201436531A (zh) 2014-09-16
US20150256828A1 (en) 2015-09-10
KR20170100045A (ko) 2017-09-01
JP2015534781A (ja) 2015-12-03
CN104685877B (zh) 2019-03-29
CN109982081A (zh) 2019-07-05
US10218971B2 (en) 2019-02-26
KR102008078B1 (ko) 2019-08-06
CN104685877A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN109982081B (zh) 用于多层视频编码的自适应上采样
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP6421224B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
JP6694031B2 (ja) ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
JP6709823B2 (ja) ビデオ符号化のための成分間相関解除
US20240015321A1 (en) Systems and methods for spatial prediction
US10321130B2 (en) Enhanced deblocking filters for video coding
TWI675585B (zh) 可調整視訊編碼的移動資訊傳訊
JP6397902B2 (ja) スケーラブルビデオ符号化のためのレイヤ間予測
TW201419867A (zh) 可調視訊編碼層相依及優先傳訊設計
WO2014074601A2 (en) Temporal filter for denoising a high dynamic range video
TW201427426A (zh) 視訊編碼邊緣導向處理方法及裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant