CN104769639A - 用于对高动态范围视频进行去噪的时间滤波器 - Google Patents

用于对高动态范围视频进行去噪的时间滤波器 Download PDF

Info

Publication number
CN104769639A
CN104769639A CN201380058270.1A CN201380058270A CN104769639A CN 104769639 A CN104769639 A CN 104769639A CN 201380058270 A CN201380058270 A CN 201380058270A CN 104769639 A CN104769639 A CN 104769639A
Authority
CN
China
Prior art keywords
pixel
video
presumptive area
chromatic component
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380058270.1A
Other languages
English (en)
Inventor
R·瓦纳莫
Y·雷兹尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN104769639A publication Critical patent/CN104769639A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

公开了用于使用时间滤波器对高动态范围视频进行去噪的系统、方法和装置。可接收未压缩的视频流的帧。该帧可包括多个像素。可确定该多个像素中的像素的色度分量属于预定区域。可在一个或多个色度分量的基础上预定该区域。该预定区域可以是CbCr空间。该像素的该色度分量可以与共位像素的色度分量进行比较，以确定该共位像素的该色度分量是否属于该预定的区域。可使用去噪滤波器对该像素进行滤波。该去噪滤波器可以是时间滤波器。该去噪滤波器可以是克劳福德滤波器。包括经滤波的像素的未压缩的视频流可以被编码。

Description

用于对高动态范围视频进行去噪的时间滤波器
相关申请的交叉引用
本申请要求2012年11月7日递交的美国临时专利申请No.61/723,715的权益，该临时专利申请的内容以引用的方式结合于此。
背景技术
归因于多种因素(诸如但不限于内容产生和准备过程的特征)时间噪声(例如特定区域时间噪声)可出现在视频序列中。例如，时间噪声可能是使用不同相机或者在不同光照条件下等的视频拍摄的组合的结果。
当对具有随时间变化的噪声的内容进行编码时，编码器可将噪声当作可被保留(preserved)的高频分量。编码器可分配比特来编码该噪声。这可减少可用于编码视频的剩余区域的比特，其可产生具有固定比特率的较低的视觉质量。存在对用于对高动态范围视频进行去噪的去噪滤波器的需求。
发明内容
公开了使用时间滤波器对高动态范围视频进行去噪的系统、方法和装置。描述了方法，该方法包括接收视频流的帧，所述帧包括多个像素，确定所述多个像素中的像素的色度分量是否在色度(chrominance)颜色空间的预定区域内，以及如果所述像素的所述色度分量在该色度颜色空间的所述预定区域内，则将去噪滤波器应用于所述像素。还描述了方法，该方法包括接收视频流的帧，所述帧包括多个像素，确定所述多个像素中的像素的色度分量是否在色度颜色空间的预定区域内，确定在所述视频流的先前帧中的共位(co-located)像素的色度分量是否在色度颜色空间的所述预定区域内，以及如果所述像素的所述色度分量在色度颜色空间的所述预定区域内并且在所述视频流的所述先前帧中的所述共位像素的所述色度分量在色度颜色空间的所述预定区域内，则将去噪滤波器应用于所述像素。还描述了方法，该方法包括接收视频流的帧，所述帧包括多个像素，将所述多个像素中的像素的色度分量和在所述视频流的先前帧中的共位像素的色度分量进行比较，以及如果所述像素的所述色度和在所述视频流的所述先前帧中的所述共位像素的所述色度之间的差值小于预定差值(r)，则将去噪滤波器应用于所述像素，其可在色度颜色空间的预定区域内。还描述了视频设备，该视频设备包括处理器，其中所述处理器被配置成接收视频流的帧，所述帧包括多个像素，确定所述多个像素中的像素的色度分量是否在色度颜色空间的预定区域内，以及如果所述像素的所述色度分量在色度颜色空间的所述预定区域内，则将去噪滤波器应用于所述像素。
附图说明
图1是示出去噪实施的示例的图；
图2A是示出共位的先前像素“A”的色度和A周围的色谱区域的图；
图2B是示出在像素A周围的色谱区域中与共位的先前像素“A”的色度进行对比的当前帧中的像素“B”的色度的图；
图3是示出时间滤波决策过程的图；
图4是示出克劳福德(Crawford)滤波器的示例的图；
图5是示出用于对天空区域(sky region)进行去噪的时间滤波决策过程的图；
图6是示出Cb和Cr标绘(plot)的示例的图，其中阴影区域指示天空蓝的阴影。
图7是示出时间滤波决策过程的图；
图8是示出用以减少伪像(artifact)的时间滤波决策过程的图；
图9是示出针对不同τ值时δ和f(δ)之间的关系的示例的图；
图10是示出去噪滤波器的实施的图；
图11是示出RD标绘的图；
图12是示出基于块的视频编码器的示例的框图；
图13是示出基于块的视频解码器的示例的框图；
图14A是示例通信系统的系统图，在该系统中可以实施一个或多个公开的实施方式；
图14B是示例无线发射/接收单元(WTRU)的系统图，该WTRU可以用在图14A所示的通信系统内；
图14C是示例无线电接入网和示例核心网的系统图，该示例无线电接入网和示例核心网可以用在图14A所示的通信系统内；
图14D是另一示例无线电接入网和另一示例核心网的系统图，该另一示例无线电接入网和另一示例核心网可以用在图14A所示的通信系统内；
图14E是另一示例无线电接入网和另一示例核心网的系统图，该另一示例无线电接入网和该另一示例核心网可以用于在图14A所示的通信系统内。
具体实施方式
本文所描述的实施可提供用于对高动态范围(HDR)视频流中的时间噪声进行滤波的方法。HDR相机可以以不同曝光捕捉一些图像。HDR相机可合并这些图像以生成单个图像，例如，该单个图像可准确地表示在给定场景中发现的强度范围。HDR视频相机可捕捉在场景中的常规视频相机通常捕捉不到的各种各样的强度。例如，HDR相机可在有日光的期间捕捉星辰。
HDR视频相机可引入随时间变化的噪声，这对于整体视觉质量可能是不利的。例如，来自两个连续帧的对应于天空的片段可显示差异(例如亮度差异)，其可造成可作为斑点或者“椒盐噪声”出现的时间噪声。归因于一种或多种因素(诸如在内容产生和准备过程中造成的那些)时间噪声(例如特定区域的时间噪声)可出现。例如，时间噪声可以是使用不同相机或者在不同光照条件下拍摄的的视频组合的结果。
实施可扩展至选择性地对视频流中的一个或多个感兴趣区域(ROI)去噪。实施可提供用于对HDR视频进行去噪的方法，并且例如实施可扩展至对视频流中的ROI(诸如但不限于蓝天、植物等)中的噪声滤波。滤波器可用作编码器的预处理步骤。产生的比特流与具有固定比特率的未滤波的压缩的视频相比，可具有更好的视觉质量。预处理滤波器通过提供可用于比特分配、运动估计等的信息(诸如但不限于ROI信息)可帮助编码器节省比特并且改善视觉质量。可为这类工具提供用于改善视频编码有效性的工具和应用。可提供对整个帧进行去噪。可提供穿过(across)输入帧的时间滤波。
图1是示出去噪实施的示例100的图。例如，针对输入像素102，可执行检查以确定输入像素102的色度是否属于条件104(例如CbCr空间中的指定区域)。在106时间滤波器可被应用于(只被应用于)满足条件104的像素(例如位于CbCr空间中的指定区域内的那些像素)。如果条件104符合，输出像素108可经过滤波。如果条件104不符合，输出像素108可不经过滤波。
可提供滤波决策实施。可定义针对时间滤波的约束，例如以确保时间滤波可跨过具有相似色度的像素而被应用。针对当前帧中的输入像素，先前帧中的共位像素可用以定义用于决定该当前像素是否可被滤波的条件。例如，可定义CbCr空间中的条件。
图2A和2B是示出示例滤波决策过程的图。图2A是示出示例滤波过程的图，其中“A”可表示共位的先前像素(例如在先前帧中的)的色度，A周围的点状线区域可用于确定是否对当前帧中的该像素进行滤波。图2B是示出示例滤波过程的图，其中“B”可表示当前帧中该像素的色度。因为当前帧中该像素的色度位于点状线区域内，可对该像素进行滤波。例如，“B”和“A”可以分别是当前像素和共位像素。例如，A和B的色度可以分别是(Cba，Cra)和(Cbb，Crb)。可定义在CbCr空间中围绕像素A的区域。
例如，如图2A所示，该区域可定义对B进行滤波的约束。参数r、R和α可以是该区域的参数，其中如图2B所示，如果B位于该区域内，则可应用时间滤波。如果B不位于该区域内，则可不应用时间滤波。
图3是示出时间滤波300的图。输入像素302(例如，图2B中“B”)可与视频流的先前帧中的共位像素(例如图2B中“A”)相比较。在304可计算出角度β1和β2。检查306确定β1和β2之间的差值的绝对值是否小于或等于参数α(图2A)。如果不是，则输出像素316不经过滤波。如果β1和β2之间的差值的绝对值小于或等于参数α(例如图2A)，在308计算Rb。检查310确定Rb是否小于或等于参数R(例如，图2A)加参数r(例如，图2A)的和。如果不是，输出像素316不经过滤波。如果Rb小于或等于参数R加参数r的和，检查312确定Cra和Crb的乘积是否大于零。如果不是，输出像素316不经过滤波。如果Cra和Crb的乘积大于零，时间滤波器314可被应用。例如，时间滤波器可以是基于克劳福德滤波器的。时间滤波器可在亮度像素上(例如，仅在亮度像素上)操作。
图4是示出克劳福德滤波器的示例的图。可计算当前帧中的像素和先前帧中的共位像素之间的差值δ。可将非线性传递函数应用于δ。例如：
f ( δ ) = δ ( 1 - e - ( | δ | τ ) γ ) ,
其中γ和τ可以是可分别确定截止锐度和滤波器阈值的参数。
可提供用于对HDR视频中的ROI(例如天空区域)进行去噪的实施。可使用时间滤波器(例如本申请描述的示例克劳福德滤波器)。可提供通过检测天空蓝像素的去噪。
图5是示出针对颜色区域(例如天空区域)的去噪实施的示例500的图。可接收输入像素502(例如与输入帧相关联的像素)。可执行检查504以确定输入像素502是否属于颜色区域，例如输入像素502是否是天空蓝。例如，可使用像素的色度分量(例如，Cb和Cr)以确定该像素是否属于天空蓝的阴影。表格1列出了天空蓝的不同阴影的RGB和YCbCr值的示例。
表格1：天空蓝的不同阴影和其关联的RGB以及YCbCr值的示例
例如，如表格1中所示，天空蓝的Cb和Cr可分别在[0.04,0.3]和[-0.01,-0.4]的大致范围内。如果输入像素502是天空蓝，可应用时间滤波器506，并且在这种情况下输出像素508是经过滤波的。如果输入像素502不是天空蓝，可不应用时间滤波器506，并且在这种情况下输出像素508是不经过滤波的。
天空区域中的噪声部分可以是由空中的星辰生成的，星辰通常具有[Cb,Cr]＝[0,0]。由星辰生成的噪声的色度分量可被包括在检测范围中。例如，如果满足下面的不等式，像素可被分类为天空蓝像素。
Cb≥0,Cr≤0,    公式(1)
Cb≥-0.1Cr.
图6是示出Cb和Cr标绘的示例的图，其中阴影区域指示根据公式(1)所定义的天空蓝的阴影。例如，该不等式所覆盖的CbCr颜色空间中的区域可以被示出在图6中的图的右下部分中。可使用时间滤波器对满足该不等式的像素进行滤波。可提供使用当前和共位天空蓝像素的去噪实施。
图7是示出使用时间滤波器708来执行的去噪实施700的示例的图。输入帧702具有包含输入像素的感兴趣区域，以及实施该输入像素是否位于颜色区域中(例如，该输入像素是否是天空蓝)的检查704。如果不是，相应的输出帧710中的像素不经过滤波。当对像素进行滤波时，先前的共位像素(例如先前帧中的共位像素)可以不是天空蓝。为了避免使用属于不同颜色的像素，可执行检查706以确定该共位像素是否是天空蓝。例如，可使用公式(1)中定义的条件执行该检查。如果该像素和该共位像素是天空蓝，可将时间滤波器708应用于该像素。经过滤波的像素可以在相应的输出帧710中。
可提供通过采用时间滤波器的一个或多个参数对颜色区域(例如天空区域)进行去噪。例如，在快速移动的场景中，其中对象可以是相对于天空背景移动的，对象的边界可包括可以是天空蓝阴影的像素。当使用来自对象(例如，对象边界)的边界的天空蓝像素对属于天空区域的当前像素滤波时，假轮廓(false contouring)伪像可产生在滤波后的帧中。可提供防止这类伪像的实施。
图8是示出时间滤波器实施800的示例的图。时间滤波器实施800可减轻假轮廓伪像。输入帧802可具有包含输入像素的感兴趣区域，并且可执行检查804以确定该输入像素是否是天空蓝。如果不是，相应的输出帧814中的像素不经过滤波。如果是，则可执行检查806以确定共位像素是否是天空蓝。如果不是，相应的输出帧814中的像素不经过滤波。
如果该像素和该共位像素是天空蓝，可在808确定该共位像素和它的最近的非天空蓝像素之间的距离“r”。基于共位像素与最近的非天空蓝像素之间的距离的参数τ可在810计算。例如，可使用32x32的像素搜索窗。例如可使用下面的公式将距离r映射至滤波器参数τ：
τ(r)＝1+K log(r)
其中K可以是常数缩放因子。上述公式可针对较小的r值产生较小的τ值。如果该像素和该共位像素都是天空蓝，则可将时间滤波器812应用于该像素，该像素可在相应的输出帧814中经过滤波。
图9是示出针对不同τ值时δ和f(δ)之间的关系的示例的图。例如，图9可例证当γ设置为1时针对不同τ值时δ和f(δ)之间的关系。对于较小的τ，f(δ)≈δ，这可产生输出y[n]≈x[n]，其可相当于较为轻度的(milder)滤波。可提供这样的实施：当共位像素与非天空蓝区域非常接近时，可使用较为轻度的时间滤波器。使用较为轻度的时间滤波器可减轻轮廓伪像的出现。
克劳福德滤波器参数γ和τ是可变的。γ＝1和τ＝4可产生期望的去噪输出。连续的去噪帧可具有相当于原始帧的令人满意的差值图像。例如，当与根据原始图像获取的差值图像相比，该差值图像可具更低的时间噪声(明显更低的时间噪声)。
可提供用于视频压缩的去噪滤波器的应用。当对具有随时间变化的噪声的内容进行编码时，编码器可将噪声当作可能需要被保留的高频分量。编码器可分配一个或多个比特来编码该噪声，例如，这可减少可用于编码视频的剩余区域的比特，产生具有固定比特率的较低的视觉质量。
图10是示出对视频流进行去噪的过程1000的示例的图。未压缩视频1002可被应用于去噪滤波器1004。例如，如上所述的，可对未压缩视频中的某些像素进行滤波。去噪滤波器1004可被用作编码器1006的预处理步骤，编码器1006可产生压缩的比特流1008。使用去噪滤波器1004(例如如图10中示出的预处理步骤)可减少分配给噪声的比特。这可产生更好的视觉质量。
去噪滤波器1004可用于提高编码器1006的性能。例如，如果去噪滤波器1004确定了天空区域，则去噪滤波器可将该信息转播给编码器1006。因为天空区域大体上是趋向于均匀的(例如包括具有低时间变化的很少的细节)，编码器1006可通过如跳过宏块(skip macroblock)的方式对属于天空区域的宏块进行编码，来减少使用的比特数。
例如，当在编码前使用去噪预处理滤波器时可分析x264编码器的比率失真(RD)性能。这可以与没有预滤波的情况进行比较。包括341个帧的视频片段可用作测试视频。例如可使用高配置文件x264编码器以四个不同的量化参数(例如等于[34,34,38,42])对该片段编码。图11是示出产生的RD标绘的示例的图。图11中的RD标绘例证了在使用去噪编码器的情况下编码器的PSNR可提高达0.7dB(例如，具有较高比特率)。
图12是示出例如用于混合视频编码系统的基于块的视频编码器的示例的框图。视频编码器1200可接收输入视频信号1202。输入视频信号1202可被逐块地处理。视频块可以具有各种大小。例如，视频块单元可包括16x16像素。16x16像素的视频块单元可称为宏块(MB)。在高效视频编码(HEVC)中，可使用扩展块大小(例如，其可称为编码单元或CU)以对高分辨率(例如1080p及以上)视频信号进行有效地压缩。在HEVC中，CU可高达64x64像素。CU可被划分成预测单元(PU)，可对预测单元应用各自的预测方法。
可对输入视频块(MB或CU)执行空间预测1260和/或时间预测1262。空间预测(例如“内预测”)可使用来自在相同视频图片/切片(slice)中的已被编码的邻近块中的像素来预测当前视频块。空间预测可减少视频信号中固有的空间冗余。时间预测(例如“间预测”或“运动补偿预测”)可使用已经被编码的视频图片(例如，其可称为“参考图片”)中的像素来预测当前视频块。时间预测可减少视频信号中固有的时间冗余。可通过一个或多个运动向量来用信号发送针对视频块的时间预测信号，该一个或多个运动向量可指示当前块和其在参考图片中的预测块之间的运动量和/或运动方向。如果支持多个参考图片(例如在H.264/AVC和/或HEVC的情况中)，则针对视频块，可发送其参考图片索引。参考索引可用以识别该时间预测信号来自参考图片存储库164(例如，其也可称为解码图片缓存器或DPB)中的哪个参考图片。
编码器中的模式决策块1280可例如在空间和/或时间预测之后选择预测模式。在1216，可从当前视频块中减去预测块。预测残差可在1204被变换和/或在1206被量化。量化的残差系数可在1210被逆量化和/或在1212被逆变换以形成重构的残差，重构的残差可在1226加回预测块以形成重构的视频块。
在重构的视频块被放在参考图片存储库1264和/或被用以对后来的视频块编码之前，在1266可将在环(in-loop)滤波(例如去块滤波器、采样自适应偏移、自适应环路滤波器和/或等等)应用于重构的视频块。视频编码器1200可输出输出视频流1220。为形成输出视频比特流1220，编码模式(例如间预测模式或内预测模式)、预测模式信息、运动信息和/或量化的残差系数可以被发送至熵编码单元1208以被压缩和/或打包以形成比特流。
图13是示出基于块的视频解码器的示例的框图。视频解码器1300可接收视频比特流1302。视频比特流1302可以在熵解码单元1308处被解包和/或熵解码。用于对视频比特流编码的编码模式和/或预测信息可被发送至空间预测单元1360(例如，如果是内编码)和/或时间预测单元1362(例如，如果是间编码)以形成预测块。如果是间编码，预测信息可包括预测块大小、一个或多个运动向量(例如，其可指示运动的方向和运动量)、和/或一个或多个参考索引(例如，其可指示该预测信号是从哪个参考图片中得到的)。
时间预测单元1362可应用运动补偿预测以形成时间预测块。残差变换系数可被发送至逆量化单元1310和逆变换单元1312以重构残差块。在1326，预测块和残差块可被加在一起。重构的块在被存储到参考图片存储库1364中之前，可通过在环滤波。参考图片存储库1364中的重构的视频可用以驱动显示设备和/或用以预测未来的视频块。视频解码器1300可输出将被设备1324接收的重构的视频信号1320。
单层视频编码器可采用单个视频序列输入并且生成被传送给单层解码器的单个压缩的比特流。视频编解码器可被设计用于数字视频服务(例如，诸如但不限于通过卫星、电缆和地面传输信道发送TV信号)。利用异构环境中部署的视频中心应用，可开发多层视频编码技术作为视频编码标准的扩展以启用各种应用。例如，可设计可分级视频编码技术来处理多于一个视频层，该多于一个视频层中的每层可被解码以重构具有特定空间分辨率、时间分辨率、保真度、和/或视图的视频信号。虽然参考图12和13描述了单层编码器和解码器，但本申请所描述的构思可使用例如用于多层或可分级编码技术的多层编码器和解码器。
图14A是可以在其中实现一个或多个公开的实施方式的示例通信系统1600的示图。通信系统1600可以是用于提供诸如语音、数据、视频、消息传送、广播等内容给多个无线用户的多接入系统。通信系统1600能够使得多个无线用户通过共享系统资源(包括无线带宽)来访问这些内容。例如，通信系统1600可以使用例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等的一种或多种信道接入方法。
如图14A所示，通信系统1600可以包括无线发射/接收单元(WTRU)1602a、1602b、1602c、1602d、无线电接入网(RAN)1603/1604/1605、核心网1606/1607/1609、公共交换电话网(PSTN)1608、因特网1610和其他网络1612，但是应当理解，所公开的实施方式考虑了任意数量的WTRU、基站、网络和/或网络元件。WTRU 1602a、1602b、1602c、1602d中的每一个可以是被配置为在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 1602a、1602b、1602c、1602d可被配置为发送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、消费类电子产品、或其他任意能够接收和处理压缩的视频传输的终端。
通信系统1600还可以包括基站1614a和基站1614b。基站1614a、1614b中的每一个可以是被配置为与WTRU 1602a、1602b、1602c、1602d中的至少一个进行无线交互以便于接入例如核心网1606/1607/1609、因特网1610和/或网络1612的一个或多个通信网络的任何类型的设备。作为示例，基站1614a、1614b可以是基站收发信机(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站1614a、1614b分别被绘出为单个元件，但是可以理解基站1614a、1614b可以包括任意数量的互连的基站和/或网络元件。
基站1614a可以是RAN 1603/1604/1605的一部分，该RAN1603/1604/1605还可以包括其它基站和/或网络元件(未示出)(例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等)。基站1614a和/或基站1614b可以被配置为在特定地理区域内发射和/或接收无线信号，该特定地理区域被称作小区(未示出)。所述小区还被分割成小区扇区。例如，与基站1614a相关联的小区被分割成三个扇区。如此，在一个实施方式中，基站1614a可包括三个收发信机，例如每一个收发信机针对小区的一个扇区。在另一实施方式中，基站1614a可以使用多输入多输出(MIMO)技术，因此，可以针对小区的每个扇区使用多个收发信机。
基站1614a、1614b可以通过空中接口1615/1616/1617与WTRU 1602a、1602b、1602c、1602d中的一个或多个通信，所述空中接口1615/1616/1617可以是任何适当的无线通信链路(例如射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光等等)。可以使用任何适当的无线电接入技术(RAT)来建立空中接口1615/1616/1617。
更具体而言，如上所述，通信系统1600可以是多址系统且可以采用一种或多种信道接入方案(诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等)。例如，RAN 1603/1604/1605中的基站1614a和WTRU 1602a、1602b、1602c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其中该无线电技术可以使用宽带CDMA(WCDMA)来建立空中接口1615/1616/1617。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站1614a和WTRU 1602a、1602b、1602c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其中该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口1615/1616/1617。
在其它实施方式中，基站1614a和WTRU 1602a、1602b、1602c可以实施诸如IEEE 802.16(例如全球微波互通接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、针对GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等无线电技术。
图14A中的基站1614b可以是例如无线路由器、家用节点B、家用e节点B、或接入点，并且可以利用任何适当的RAT来促进在诸如营业场所、家庭、车辆、校园等局部区域中的无线连接。在一个实施方式中，基站1614b和WTRU 1602c、1602d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在另一实施方式中，基站1614b和WTRU 1602c、1602d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在另一实施方式中，基站1614b和WTRU 1602c、1602d可以使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微小区或毫微微小区。如图14A所示，基站1614b可以具有到因特网1610的直接连接。因此，基站1614b可以不需要经由核心网1606/1607/1609而接入因特网1610。
RAN 1603/1604/1605可以与核心网1606通信，该核心网1606可以是被配置为向WTRU 1602a、1602b、1602c、1602d中的一个或多个提供语音、数据、应用、和/或网际协议语音(VoIP)服务的任何类型的网络。例如，核心网1606/1607/1609可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行诸如用户认证等高级安全功能。虽然图14A未示出，但应认识到RAN 1603/1604/1605和/或核心网1606/1607/1609可以与跟其他RAN进行直接或间接的通信，该其他RAN可采用和RAN 1603/1604/1605相同的RAT或不同的RAT。例如，除连接到可以利用E-UTRA无线电技术的RAN 1603/1604/1605之外，核心网1606/1607/1609还可以与采用GSM无线电技术的另一RAN(未示出)通信。
核心网1606/1607/1609还可以充当WTRU 1602a、1602b、1602c、1602d接入PSTN 1608、因特网1610、和/或其它网络1612的网关。PSTN 1608可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网1610可以包括使用公共通信协议(例如传输控制协议(TCP)/网际协议(IP)网际协议族中的IP、用户数据报协议(UDP)和TCP)的互联计算机网络和设备的全球系统。网络1612可以包括由其它服务提供商所拥有和/或操作的有线或无线通信网络。例如，网络1612可以包括连接到一个或多个RAN的另一核心网络，该一个或多个RAN可以采用与RAN 1603/1604/1605相同的RAT或不同的RAT。
通信系统1600中的WTRU 1602a、1602b、1602c、1602d中的一些或全部可以包括多模式能力，例如WTRU 1602a、1602b、1602c、1602d可以包括用于通过不同的无线链路与不同的无线网络通信的多个收发信机。例如，图14A所示的WTRU 1602c可以被配置为与可以采用基于蜂窝的无线电技术的基站1614a通信，并且与可以采用IEEE 802无线电技术的基站1614b通信。
图14B是示例WTRU 1602的系统图。如图14B所示，WTRU 1602可以包括处理器1618、收发信机1620、发射/接收元件1622、扬声器/麦克风1624、键盘1626、显示器/触摸板1628、不可移除存储器1630、可移除存储器1632、电源1634、全球定位系统(GPS)芯片组1636、以及其它外围设备1638。应认识到WTRU 1602可以在保持与实施方式一致的同时，包括前述元件的任何子组合。同样，实施方式可以考虑到基站1614a和1614b、和/或基站1614a和1614b可以表示的节点(诸如但不限于收发信机站(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关、以及代理节点等等)，可以包括图14B绘出的以及这里描述的一些元件和所有元件。
处理器1618可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、图像处理单元(GPU)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等等。处理器1618可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU 1602能够在无线环境中操作的任何其它功能。处理器1618可以耦合到收发信机1620，收发信机1620可以耦合到发射/接收元件1622。虽然图14B将处理器1618和收发信机1620绘出为单独的元件，但应认识到处理器1618和收发信机1620可以被一起集成在电子组件或芯片中。
发射/接收元件1622可以被配置为通过空中接口1615/1616/1617向基站(例如基站1614a)发射信号或从基站(例如基站1614a)接收信号。例如，在一个实施方式中，发射/接收元件1622可以是被配置为发射和/或接收RF信号的天线。在另一实施方式中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV、或可见光信号的发射器/检测器。在另一实施方式中，发射/接收元件1622可以被配置为发射和接收RF和光信号两者。应认识到发射/接收元件1622可以被配置为发射和/或接收无线信号的任何组合。
另外，虽然发射/接收元件1622在图14B中被绘出为单个元件，但单个WTRU 1602可以包括任何数目的发射/接收元件1622。更具体而言，WTRU1602可以采用MIMO技术。因此，在一个实施方式中，WTRU 1602可以包括用于通过空中接口1615/1616/1617来发射和接收无线信号的两个或更多个发射/接收元件1622(例如多个天线)。
收发信机1620可以被配置为对将由发射/接收元件1622发射的信号进行调制并对由发射/接收元件1622接收到的信号进行解调。如上所述，WTRU1602可以具有多模式能力。因此，例如，收发信机1620可以包括用于使得WTRU 1602能够经由诸如UTRA和IEEE 802.11之类的多种RAT通信的多个收发信机。
WTRU 1602的处理器1618可以耦合到扬声器/麦克风1624、键盘1626、和/或显示器/触摸板1628(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以从这些组件接收用户输入数据。处理器1618还可以向扬声器/扩音器1624、键盘1626、和/或显示器/触摸板1628输出用户数据。另外，处理器1618可以访问来自任意类型的合适的存储器(例如不可移除存储器1630和可移除存储器1632)的信息，或者将数据存储在该存储器中。不可移除存储器1630可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或任何其它类型的存储器存储设备。可移除存储器1632可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其它实施方式中，处理器1618可以访问来自在物理上不位于WTRU1602上(诸如在服务器或家用计算机(未示出))的存储器的信息并将数据存储在该存储器中。
处理器1618可以从电源1634接收电力，并且可以被配置为分配和/或控制到WTRU 1602中的其它组件的电力。电源1634可以是为WTRU 1602供电的任何适当设备。例如，电源1634可以包括一个或多个干电池(例如镍镉(NiCd)、镍锌铁氧体(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池等等。
处理器1618还可以耦合到GPS芯片组1636，GPS芯片组1636可以被配置为提供关于WTRU 1602的当前位置的位置信息(例如，经度和纬度)。除来自GPS芯片组1636的信息之外或作为其替代，WTRU 1602可以通过空中接口1615/1616/1617从基站(例如基站1614a、1614b)接收位置信息和/或基于从两个或更多个附近的基站接收到信号的定时来确定其位置。应该理解的是，在保持与实施方式一致的同时，WTRU 1602可以通过任何适当的位置确定方法来获取位置信息。
处理器1618还可以耦合到其它外围设备1638，外围设备1638可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备1638可以包括加速计、电子指南针、卫星收发信机、数码相机(用于拍照或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图14C是根据一个实施方式的RAN 1603和核心网1606的系统图。如上所述，RAN 1603可使用UTRA无线电技术通过空中接口1615来与WTRU1602a、1602b、1602c进行通信。该RAN 1603还可与核心网1606进行通信。如图14C所示，RAN 1603可包括节点B 1640a、1640b、1640c，其中每个都可包含一个或多个收发信机，以用于通过空中接口1615与WTRU 1602a、1602b、1602c进行通信。节点B 1640a、1640b、1640c中的每一个可与RAN1603内的特定小区(未示出)相关联。RAN 1603还可以包括RNC 1642a、1642b。应当理解，在与实施方式保持一致的情况下，RAN 1603可以包括任何数量的节点B和RNC。
如图14C所示，节点B 1640a、1640b可以与RNC 1642a进行通信。此外，节点B 1640c可以与RNC 1642b进行通信。节点B 1640a、1640b、1640c可以经由Iub接口分别与RNC 1642a、1642b进行通信。RNC 1642a、1642b可以通过Iub接口相互通信。RNC 1642a、1642b中的每一个可以被配置为控制其各自所连接的节点B 1640a、1640b、1640c。此外，可将RNC 1642a、1642b中的每一个可以被配置为执行或支持其他功能，例如外环功率控制、负载控制、许可控制、分组调度、切换控制、宏分集、安全功能、数据加密等。
图14C中所示的核心网1606可以包括媒体网关(MGW)1644、移动交换中心(MSC)1646、服务GPRS支持节点(SGSN)1648和/或网关GPRS支持节点(GGSN)1650。虽然将前述组件表示为核心网1606的一部分，但是应该理解，这些组件中任何一部分都可由核心网运营商以外的实体所有和/或操作。
RAN 1603中的RNC 1642a可经由IuCS接口连接至核心网1606中的MSC 1646。可将MSC 1646连接至MGW 1644。MSC 1646和MGW 1644可向WTRU 1602a、1602b、1602c提供至电路交换网络(PSTN 1608)的接入，从而促进WTRU 1602a、1602b、1602c与传统陆线通信设备之间的通信。
还可将RAN 1603中的RNC 1642a经由IuPS接口连接至核心网1606中的SGSN 1648。SGSN 1648可连接至GGSN 1650。SGSN 1648和GGSN 1650可向WTRU 1602a、1602b、1602c提供针至分组交换网络(例如因特网1610)的接入，从而促进WTRU 1602a、1602b、1602c与IP使能设备之间的通信。
如上所述，还可将核心网1606连接至网络1612，核心网1606可包括由其他服务提供商所有和/或操作的有线或无线网络。
图14D是根据另一实施方式的RAN 1604和核心网1607的系统图。如上所述，RAN 1604可采用E-UTRA无线技术通过空中接口1616与WTRU1602a、1602b和1602c通信。RAN 1604还可以与核心网1607通信。
RAN 1604可包括e节点B 1660a、1660b、1660c，但是应当理解的是，在保持与实施方式的一致性的同时RAN 1604可以包括任意数量的e节点B。e节点B 1660a、1660b、1660c中的每一个可包括一个或多个收发信机，以用于通过空中接口1616与WTRU 1602a、1602b、1602c通信。在一个实施方式中，e节点B 1660a、1660b、1660c可以实现MIMO技术。e节点B 1660a例如可以使用多天线来向WTRU 1602a传送无线信号和从其接收无线信号。
e节点B 1660a、1660b、1660c中的每一个可以与特定小区(未显示)相关联，可以被配置为处理无线电资源管理决策、切换决策、和/或上行链路和/或下行链路上的用户调度等等。如图14D所示，e节点B 1660a、1660b、1660c可以通过X2接口与彼此通信。
图14D中所示的核心网1607可以包括移动性管理实体(MME)1662、服务网关1664、和分组数据网络(PDN)网关1666等。虽然前述单元的每一个被绘为核心网1606的一部分，但是应当理解这些单元中的任意一个都可以由除了核心网运营商之外的其他实体拥有和/或运营。
MME 1662可以经由S1接口连接到RAN 1604中的e节点B 1660a、1660b、1660c中的每一个，并作为控制节点。例如，MME 1662可以负责认证WTRU 1602a、1602b、1602c的用户、承载激活/去激活、在WTRU 1602a、1602b、1602c的初始附着期间选择特定服务网关等等。MME 1662还可以提供控制平面功能以在RAN 1604和使用其他无线电技术(例如GSM或者WCDMA)的其他RAN(未显示)之间进行切换。
服务网关1664可以经由S1接口连接到RAN 1604中的e节点B 1660a、1660b、1660c中的每一个。服务网关1664通常可以向/从WTRU 1602a、1602b、1602c路由和转发用户数据分组。服务网关1664还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU1602a、1602b、1602c可用时触发寻呼、管理和存储WTRU 1602a、1602b、1602c的内容等等。
服务网关1664还可以被连接到PDN网关1666，PDN网关1666向WTRU1602a、1602b、1602c提供到分组交换网络(例如因特网1610)的接入，以便于WTRU 1602a、1602b、1602c与IP使能设备之间的通信。
核心网1607可以便于与其他网络的通信。例如，核心网1607可以向WTRU 1602a、1602b、1602c提供到电路交换网络(例如PSTN 1608)的接入，以便于WTRU 1602a、1602b、1602c与传统陆地线路通信设备之间的通信。例如，核心网1607可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网1607与PSTN 1608之间的接口。另外，核心网1607可以向WTRU 1602a、1602b、1602c提供到网络1612的接入，网络1612可以包括其他服务提供商拥有和/或操作的有线或无线网络。
图14E是根据另一实施方式的RAN 1605和核心网1609的系统图。RAN1605可以是采用IEEE 802.16无线电技术以通过空中接口1617与WTRU1602a、1602b、1602c通信的接入服务网络(ASN)。如下所述，WTRU 1602a、1602b、1602c、RAN 1605、以及核心网1609的不同功能实体之间的通信链路可以定义为参考点。
如图14E所示，RAN 1605可以包括基站1680a、1680b、1680c以及ASN网关1682，但是应当理解的是在与实施方式保持一致的同时，RAN 1605可以包括任意数量的基站和ASN网关。基站1680a、1680b、1680c的每个可以与RAN 1605中的特定小区(未示出)相关联，并且每个可以包括一个或多个收发信机，以通过空中接口1617与WTRU 1602a、1602b、1602c通信。在一个实施方式中，基站1680a、1680b、1680c可以实施MIMO技术。从而，举例来说，基站1680a可以使用多个天线来传送无线信号给WTRU 1602a，并且接收来自该WTRU 1602a的信号。基站1680a、1680b、1680c还可以提供移动性管理功能(例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略强制实施等等)。ASN网关1682可以用作业务汇聚点，并且可以负责寻呼、缓存订户简档、路由到核心网1609等等。
WTRU 1602a、1602b、1602c与RAN 1605之间的空中接口1617可以被定义为实施IEEE 802.16规范的R1参考点。另外，WTRU 1602a、1602b、1602c中的每个WTRU可以建立与核心网1609的逻辑接口(未示出)。WTRU1602a、1602b、1602c与核心网1609之间的逻辑接口可以定义为R2参考点，R2参考点可以用于认证、授权、IP主机配置管理、和/或移动性管理。
基站1680a、1680b、1680c中的每个基站之间的通信链路可以定义为R8参考点，R8参考点可以包括用于促进基站之间的数据传递和WTRU切换的协议。基站190a、1680b、1680c与ASN网关1682之间的通信链路可以定义为R6参考点。R6参考点可以包括用于基于与WTRU 1602a、1602b、1602c中的每个WTRU相关联的移动性事件来促进移动性管理的协议。
如图14E所示，RAN 1605可以连接到核心网1609。RAN 1605与核心网1609之间的通信链路可以定义为R3参考点，R3参考点包括例如用于促进数据传递和移动性管理能力的协议。核心网1609可以包括移动IP家用代理(MIP-HA)1684、认证、授权、记账(AAA)服务器1686、以及网关1688。虽然前述元件中的每个元件被描述为核心网1609的一部分，但是可以理解这些元件中的任意元件都可以由除核心网运营商之外的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，并使得WTRU 1602a、1602b、1602c能够在不同ASN和/或不同核心网之间进行漫游。MIP-HA 1684可以为WTRU 1602a、1602b、1602c提供至分组切换网(例如因特网1610)的接入，以促进WTRU 1602a、1602b、1602c与IP使能设备之间的通信。AAA服务器1686可以负责用户认证和支持用户服务。网关1688有助于与其他网络的互联。例如，网关1688可以为WTRU 1602a、1602b、1602c提供至电路交换网络(例如PSTN 1608)的接入，以促进WTRU 1602a、1602b、1602c与传统陆线通信设备之间的通信。例如，网关1688可以为WTRU 1602a、1602b、1602c提供至网络1612的接入，网络1612可以包括由其他服务提供商拥有和/或操作的其他有线或无线网络。
虽然在图14E中没有示出，但是可以理解的是RAN 1605可以连接到其他ASN，并且核心网1609可以连接到其他核心网。RAN 1605与其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调WTRU 1602a、1602b、1602c在RAN 1605与其他RAN之间的移动性。核心网1609与其他核心网之间的通信链路可以被定义为R5参考，R5参考可以包括用于促进家用核心网与被访问核心网之间的网络互联的协议。
上述过程可以在可结合在计算机可读程序中由计算机和/或处理器执行的计算机程序、软件和/或固件中实施。计算机可读介质的示例包括但不限于电信号(通过有线和/或无线连接传送的)和/或计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、磁介质(诸如但不限于内部硬盘和可移除磁盘)、磁光介质、和/或诸如CD-ROM磁盘和/或数字多功能磁盘(DVD)的光学介质。与软件相关联的处理器可以用于实施射频收发信机以在WTRU、UE、终端、基站、RNC和/或任意主机中使用。

Claims (21)

1.一种方法，该方法包括：
接收视频流的帧，所述帧包括多个像素；
确定所述多个像素中的像素的色度分量是否在色度颜色空间的预定区域内；以及
如果所述像素的所述色度分量在所述色度颜色空间的预定区域内，则将去噪滤波器应用于所述像素。
2.根据权利要求1所述的方法，其中所述色度颜色空间是CbCr空间。
3.根据权利要求2所述的方法，其中所述CbCr空间的所述预定区域是通过限定Cb的最小值来定义的。
4.根据权利要求1所述的方法，其中所述色度颜色空间的预定区域与颜色相关联，该颜色是通过将Cb的值限定在第一范围内并且将Cr的值限定在第二范围内来定义的。
5.根据权利要求1所述的方法，其中所述去噪滤波器是时间滤波器。
6.根据权利要求1所述的方法，该方法还包括确定所述像素与不在所述色度颜色空间的预定区域内的最近像素之间的距离(r)。
7.根据权利要求6所述的方法，其中随着所述距离(r)减小，所述去噪滤波器被更为轻度地应用于所述像素。
8.一种方法，该方法包括：
接收视频流的帧，所述帧包括多个像素；
确定所述多个像素中的像素的色度分量是否在色度颜色空间的预定区域内；
确定在所述视频流的先前帧中的共位像素的色度分量是否在所述色度颜色空间的预定区域内；以及
如果所述像素的所述色度分量在所述色度颜色空间的预定区域内并且在所述视频流的所述先前帧中的所述共位像素的所述色度分量在所述色度颜色空间的预定区域内，则将去噪滤波器应用于所述像素。
9.根据权利要求8所述的方法，该方法还包括确定在所述视频流的所述先前帧中的所述共位像素与所述先前帧中不在所述色度颜色空间的预定区域内的最近像素之间的距离(r)。
10.根据权利要求9所述的方法，其中根据所述距离(r)将所述去噪滤波器应用于所述像素。
11.根据权利要求9所述的方法，其中随着所述距离(r)减小，所述去噪滤波器被更为轻度地应用于所述像素。
12.根据权利要求8所述的方法，该方法还包括在应用所述去噪滤波器之后对所述视频流进行编码。
13.一种方法，该方法包括：
接收视频流的帧，所述帧包括多个像素；
将所述多个像素中的像素的色度分量与在所述视频流的先前帧中的共位像素的色度分量进行比较；以及
如果所述像素的所述色度分量和在所述视频流的所述先前帧中的所述共位像素的所述色度分量之间的差值小于预定距离(r)，则将去噪滤波器应用于所述像素。
14.根据权利要求13所述的方法，该方法还包括：
定义色度颜色空间的区域，其中所述区域包含所述像素的所述色度分量；以及
如果在所述视频流的所述先前帧中的所述共位像素的所述色度分量也在所述区域内，则将所述去噪滤波器应用于所述像素。
15.一种视频设备，该视频设备包括：
处理器，其中所述处理器被配置成：
接收视频流的帧，所述帧包括多个像素；
确定所述多个像素中的像素的色度分量是否在色度颜色空间的预定区域内；以及
如果所述像素的所述色度分量在所述色度颜色空间的预定区域内，则将去噪滤波器应用于所述像素。
16.根据权利要求15所述的视频设备，其中所述色度颜色空间是CbCr空间。
17.根据权利要求16所述的视频设备，其中所述CbCr空间的预定区域是通过限定Cb的最小值来定义的。
18.根据权利要求15所述的视频设备，其中所述色度颜色空间的预定区域与颜色相关联，该颜色是通过将Cb的值限定在第一范围内并且将Cr的值限定在第二范围内来定义的。
19.根据权利要求15所述的视频设备，其中所述去噪滤波器是时间滤波器。
20.根据权利要求11所述的视频设备，其中所述处理器被配置成在应用所述去噪滤波器之后对所述视频流编码。
21.根据权利要求11所述的视频设备，其中所述处理器使用跳过宏块对所述色度颜色空间的预定区域内的像素编码。
CN201380058270.1A 2012-11-07 2013-11-06 用于对高动态范围视频进行去噪的时间滤波器 Pending CN104769639A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261723715P 2012-11-07 2012-11-07
US61/723,715 2012-11-07
PCT/US2013/068752 WO2014074601A2 (en) 2012-11-07 2013-11-06 Temporal filter for denoising a high dynamic range video

Publications (1)

Publication Number Publication Date
CN104769639A true CN104769639A (zh) 2015-07-08

Family

ID=50685307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058270.1A Pending CN104769639A (zh) 2012-11-07 2013-11-06 用于对高动态范围视频进行去噪的时间滤波器

Country Status (6)

Country Link
US (1) US10044913B2 (zh)
EP (1) EP2917892A2 (zh)
JP (1) JP2016503613A (zh)
KR (1) KR101812860B1 (zh)
CN (1) CN104769639A (zh)
WO (1) WO2014074601A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241758A1 (en) * 2021-05-21 2022-11-24 Qualcomm Incorporated Face detection based filtering for image processing

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
WO2019109061A1 (en) * 2017-12-02 2019-06-06 Mine One Gmbh Temporal de-noising
WO2017075804A1 (en) 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US20180343449A1 (en) * 2017-05-26 2018-11-29 Ati Technologies Ulc Application specific filters for high-quality video playback
US11216912B2 (en) * 2017-10-18 2022-01-04 Gopro, Inc. Chrominance denoising
FR3083415B1 (fr) * 2018-06-29 2020-09-04 Electricite De France Traitement d'un bruit impulsionnel dans une sequence video
US11847737B2 (en) * 2021-04-09 2023-12-19 Nvidia Corporation Temporal denoiser quality in dynamic scenes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141655A (zh) * 2007-10-29 2008-03-12 威盛电子股份有限公司 影像信号像素点色彩值调整方法
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
CN101536031A (zh) * 2006-09-29 2009-09-16 汤姆森许可贸易公司 用于基于像素的自适应滤波的自动参数估计
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
JP2012100066A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3365229B2 (ja) 1996-11-22 2003-01-08 松下電器産業株式会社 画像表示装置
WO1999045713A1 (en) 1998-03-05 1999-09-10 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US6980326B2 (en) * 1999-12-15 2005-12-27 Canon Kabushiki Kaisha Image processing method and apparatus for color correction of an image
JP2002222416A (ja) 2001-01-26 2002-08-09 Mitsubishi Electric Corp 画質改善装置
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
US7519907B2 (en) 2003-08-04 2009-04-14 Microsoft Corp. System and method for image editing using an image stack
US20050185836A1 (en) 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
JP2006157239A (ja) 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
US7551234B2 (en) 2005-07-28 2009-06-23 Seiko Epson Corporation Method and apparatus for estimating shot boundaries in a digital video sequence
US7821578B2 (en) 2006-04-07 2010-10-26 Marvell World Trade Ltd. Reconfigurable self-calibrating adaptive noise reducer
US8493313B2 (en) 2008-02-13 2013-07-23 Dolby Laboratories Licensing Corporation Temporal filtering of video signals
JP5701874B2 (ja) 2009-07-21 2015-04-15 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオ画像の検出およびエンハンスメントのための方法およびシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536031A (zh) * 2006-09-29 2009-09-16 汤姆森许可贸易公司 用于基于像素的自适应滤波的自动参数估计
CN101141655A (zh) * 2007-10-29 2008-03-12 威盛电子股份有限公司 影像信号像素点色彩值调整方法
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
JP2012100066A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241758A1 (en) * 2021-05-21 2022-11-24 Qualcomm Incorporated Face detection based filtering for image processing

Also Published As

Publication number Publication date
WO2014074601A2 (en) 2014-05-15
US20150288856A1 (en) 2015-10-08
JP2016503613A (ja) 2016-02-04
KR20150082554A (ko) 2015-07-15
WO2014074601A8 (en) 2014-12-18
KR101812860B1 (ko) 2017-12-27
US10044913B2 (en) 2018-08-07
EP2917892A2 (en) 2015-09-16
WO2014074601A3 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
US20220329831A1 (en) Enhanced chroma coding using cross plane filtering
CN104769639A (zh) 用于对高动态范围视频进行去噪的时间滤波器
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP6684867B2 (ja) Ｒｇｂビデオコーディングエンハンスメントのためのシステムおよび方法
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
US10484686B2 (en) Palette coding modes and palette flipping
JP6367963B2 (ja) 画面コンテンツ符号化のためのパレット符号化
US20170374384A1 (en) Palette coding for non-4:4:4 screen content video
KR20170108112A (ko) 팔레트 코딩 모드를 위한 이스케이프 컬러 코딩
CN103797792A (zh) 用于空间预测的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180724