CN103096054A - 一种视频图像滤波处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种视频图像滤波处理方法和装置，该方法包括：接收视频条带编码码流；从视频条带包头中获得至少两个APS的标识，该至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；根据所述至少两个APS标识分别获得所述至少两个滤波器参数；利用所述至少两个滤波器参数对视频条带进行滤波处理。

Description

一种视频图像滤波处理方法和装置

技术领域

本发明涉及数字信号处理技术领域的视频编解码技术，尤其是一种视频图像滤波处理方法和装置。

背景技术

在数字通信领域，语音、图像、音频、视频的传输有着非常广泛的应用需求，如手机通话、音视频会议、广播电视、多媒体娱乐等。随着网络技术的发展，影视点播、网络电视、可视电话等已成为宽带网络的主要业务，并且这些业务也将成为第三代(3G，the 3rd Generation)无线网络的主要业务。为了降低视频信号存储或者传输过程中占用的资源，视频信号在发送端进行压缩处理后传输到接收端，接收端通过解压缩处理恢复视频信号并进行播放。

一种视频编码的方法，通常将视频图像划分为多个视频帧，每个视频帧又分为多个Slice(视频条带)，对每个Slice进行编码，解码端解码出该信息后，再合成为视频帧。以Slice为单位的视频编码技术中，为了提高编码效率，引入ALF(Adaptive Loop Filter，自适应环路滤波)和SAO(Sample adaptiveoffset，像素自适应偏移)后处理技术。

ALF技术是指利用解码重构图像和原始输入图像训练多组滤波器参数，对编码重构图像进行滤波，提高重构图像质量，同时在编码环路内部通过提高运动补偿预测性能，进而提高编码效率。

SAO技术是通过将解码重构图像的像素根据边缘信息和强度信息等进行分类，通过利用像素自适应偏移参数对每一类像素进行修正，提高重构图像质量，同时在编码环路内部通过提高运动补偿预测性能，进而提高编码效率。

ALF和SAO需要在Slice级别记录较多的边信息，例如ALF的滤波器系数，SAO的offset值等。由于图像空间和时间上都具有较大的相关性，因此，不同Slice间的ALF/SAO参数也同样存在较大的相关性，如果简单的将这些参数写在Slice header中，在每帧图像具有多个Slice时会使得参数占用较多的码率而且他们之间具有较大冗余。

发明内容

本发明实施例的目的在于提供一种视频图像滤波处理方法和装置，提高视频编码处理中选择滤波参数的灵活性。

根据本发明的一实施例，提供一种视频图像滤波处理方法，包括：

接收视频条带编码码流；

从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；

根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

利用所述至少两个滤波器参数对视频条带进行滤波处理。

根据本发明的另一实施例，提供一种视频图像滤波处理装置，包括：

接收单元，用于接收视频条带编码码流；

提取单元，用于从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；

参数获得单元，用于根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

滤波单元，用于利用所述至少两个滤波器参数对视频条带进行滤波处理。

本发明实施例在APS中存储有至少两个滤波器参数，在视频条带的包头中存储该视频条带对应的至少两个滤波器参数的APS的参数，由于一个视频条带包头中包含至少两个APS标识，解码时可以从不同的APS中分别获得不同的滤波器参数进行滤波，提高滤波器参数选择的灵活性，从而提高视频编码效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一种视频码流的顺序示意图；

图2为本发明提供的视频图像滤波处理方法一个实施例的流程示意图；

图3为本发明提供的视频图像滤波处理方法另一个实施例的流程示意图；

图4为本发明提供的视频码流的顺序示意图；

图5为本发明提供的视频图像滤波处理方法另一个实施例的流程示意图；

图6为本发明提供的视频图像滤波处理装置一个实施例的结构示意图；

图7为本发明提供的视频图像滤波处理装置另一个实施例的结构示意图；

图8为本发明提供的视频图像滤波处理装置另一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

数字信号处理领域，视频编解码器广泛应用于各种电子设备中，例如：移动电话，无线装置，个人数据助理(PDA)，手持式或便携式计算机，GPS接收机/导航器，照相机，视频播放器，摄像机，录像机，监控设备等。通常，这类电子设备中包括视频编码器或视频解码器，视频编码器或者解码器可以直接由数字电路或芯片例如DSP(digital signal processor)实现，或者由软件代码驱动处理器执行软件代码中的流程而实现。

为了有效的存储Slice级的ALF/SAO等参数，同时降低这些参数在空域和时域上的相关性，进一步提高编码效率，一种技术提出了采用新的高层语法元素APS(Adaptation Parameter Set，自适应参数集合)来存储ALF/SAO等参数。该技术将ALF和SAO参数存放到给定的APS中，每个APS由特定aps_id标识，在每个Slice header中写入一个当前Slice所使用的aps_id即可，这样就灵活的实现了ALF和SAO的空域和时域参数重用，有效地降低了ALF和SAO参数的冗余。

参考图1，一种视频码流的顺序，对一个视频图像以帧为单位进行处理，每帧的视频码流中包含SPS(Sequence Parameter Set，序列参数集)，PPS(PictureParameter Set，图像参数集)，多个APS和多个视频条带的信息。视频条带(Slice)的包头信息中，包含一个aps_id，该aps_id表示该视频条带对应的存储ALF和SAO参数的APS标识。解码端接收到码流后解析sps、pps、sps以及Slice信息，根据解码的信息重构图像，通过aps_id对应的APS获得ALF和SAO参数，并ALF和SAO参数对重构图像进行滤波处理。滤波后的重构图像输出显示同时也存储在缓存中作为之后解码帧的参考。

然而，该技术仅在Slice header中写入一个aps_id，该做法导致ALF和SAO都利用同一个aps_id中的参数，这种ALF和SAO参数绑定的使用方式限制了这两种后处理技术性能，因为同一个APS中的ALF和SAO参数不一定能够同时使两种技术的性能达到最优。该技术限制了选择ALF和SAO参数的灵活性。

参考图2，本发明视频图像滤波处理方法的一个实施例包括：

S201：接收视频条带编码码流；

S202：从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数，其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与滤波器参数的数量相同；

一个实施例中，视频条带包头中包含两个APS标识，分别用于指示ALF和SAO参数的存储地方。这两个标识可以相同也可以不相同。

S203：根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

S204：利用所述至少两个滤波器参数对视频条带进行滤波处理。

本发明实施例在APS中存储有至少两个滤波器参数，在视频条带的包头中存储该视频条带对应的至少两个滤波器参数的APS的参数，由于一个视频条带包头中包含至少两个APS标识，解码时可以从不同的APS中分别获得不同的滤波器参数，提高滤波器参数选择的灵活性，从而提高视频编码的处理性能。

参考图3，为了提高选择ALF和SAO参数的灵活性，本发明视频图像滤波处理方法另一个实施例包括：

S301：接收视频条带编码码流；

参考图4，解码端的视频编码码流顺序包括：SPS，PPS，多个APS和多个视频条带的信息。解码端接收到视频编码码流后依次解析各个数据包的数据，其中包含一系列SPS包，PPS包，APS包的信息(包含其中的各类滤波器组的参数信息)，以及各个视频条带(Slice)的数据信息。

S302：从视频条带包头中获得用于存储ALF参数的第一APS的标识和用于存储SAO参数的第二APS标识；其中，每一个ASP存储有ALF参数和SAO参数；

其中，视频条带包头中包含两个APS标识，分别用于指示ALF和SAO参数的存储地方。这两个标识可以相同也可以不相同。ASP中存储ALF参数和SAO参数的顺序与视频条带包头中APS标识的顺序可以相同也可以不同。

解析视频条带头的语法信息，其中包含APS_ID的语法元素，依次解析各个APS_ID的信息，根据APS_ID的解析顺序使用的各个滤波器组信息。

例如图4中Slice_c的头信息中需要解析两个APS_ID(APS_id1和APS_id2)，比如分别对应APS_a和APS_c，那么Slice_c将会使用ALF(a)和SAO(c)(或者ALF(c)和SAO(a))对本视频条带进行滤波操作。

S303：分别根据第一APS的标识和第二APS的标识获得ALF参数和SAO参数。

S304：利用ALF参数和SAO参数对视频条带进行后处理。

利用ALF参数进行自适应滤波，利用SAO参数对视频条带进行像素修正，这两个后处理技术也可以看成是滤波处理。

对应的视频条带包头的语法如下表：

slice_header(){	Descriptor
		lightweight_slice_flag	u(l)
if(！lightweight_slice_flag){
		slice_type	ue(v)
pic_parameter_set_id	ue(v)
		if(sample_adaptive_offset_enabled_flag||adaptive_loop_filter_enabled_flag)
{
		aps_id	ue(v)
aps_id	ue(v)
		}
if(IdrPicFlag)
		idr_pic_id	ue(v)
if(pic_order_cnt_type＝＝0)
		pic_order_cnt_lsb/＊	u(v)
if(slice_type＝＝P||slice_type＝＝B){
		num_ref_idx_active_override_flag	u(l)
if(num_ref_idx_active_override_flag){
		num_ref_idx_l0_active_minus1	ue(v)
if(slice_type＝＝B)
		num_ref_idx_l1_active_minus1	ue(v)
}
		}
ref_pic_lis_modification()
		ref_pic_list_combination()
if(nal_ref_idc！＝0)
		dec_ref_pic_marking()
}
		if(entropy_coding_mode_flag && slice_type  ！＝I)
cabac_init_idc	ue(v)
		first_slice_in_pic_flag	u(l)
if(first_slice_in_pic_flag＝＝0)
		slice_address	u(v)
if(！lightweight_slice_flag){
		slice_qp_delta	se(v)
if(deblocking_filter_control_present_flag){
		disable_deblocking_filter_idc
if(disable_deblocking_filter_idc  ！＝1){
		slice_alpha_c0_offset_div2
slice_beta_offset_div2
		}

}
		if(slice_type＝＝B)
collocated_from_l0_flag	u(l)
		if(adaptive_loop_filter_enabled_flag && aps_adaptive_loop_filter_flag){
byte_align()
		alf_cu_control_param()
byte_align()
		}
}

本实施例中，在一个视频条带中添加两个APS标识，可以根据编码性能独立选择ALF参数和SAO的参数，由于一个视频条带包头中包含两个APS标识，一个视频条带可以使用不同APS中的各个滤波器组进行滤波，提高滤波器参数选择的灵活性，从而提高视频编码的处理性能。

参考图5，本发明另一个实施例的方法包括：

S501：接收视频条带编码码流；

参考图4，解码端的视频编码码流顺序包括：SPS，PPS，多个APS和多个视频条带的信息。解码端接收到视频编码码流后依次解析各个数据包的数据，其中包含一系列SPS包，PPS包，APS包的信息(包含其中的各类滤波器组的参数信息)，以及各个视频条带(Slice)的数据信息。

S502：从视频条带包头中获得参数共享标识，该参数共享标识用于表示视频条带对应的ALF参数和SAO参数是否存储于同一APS中；

解析视频条带头的语法信息，其中包含参数共享标识sao_alf_share_aps_flag的语法元素，如果其数值为0的话，说明此条带共享同一个APS包内的各个滤波器组信息，之后只需要解析一个APS_ID的信息，如果其数值是为1的话，说明此条带分享不同的APS包内的各个滤波器组的信息，之后需要解析多个APS_ID的信息。

S503：如果该参数共享标识表示视频条带对应的ALF参数和SAO参数存储于不同APS中，则从视频条带包头中获得用于存储ALF参数的第一APS的标识和用于存储SAO参数的第二APS的标识；其中，每一个ASP存储有ALF参数和SAO参数。

S504：分别根据第一APS的标识和第二APS的标识获得ALF参数和SAO参数；

例如如果上图中Slice_c的头信息中sao_alf_share_aps_flag＝0，其后需要解析一个APS_ID，比如为APS_a，那么Slice_c将会使用ALF(a)和SAO(c)对本视频条带进行滤波操作。

S505：如果该参数共享标识表示视频条带对应的ALF参数和SAO参数存储于同一个APS中，则从视频条带包头中获得一个共享APS标识；其中，每一个ASP存储有ALF参数和SAO参数；

S506：从该共享APS标识对应的ASP中获得ALF参数和SAO参数；

如果sao_alf_share_aps_flag＝1，其后需要解析两个APS_ID，比如为APS_a和APS_b，那么Slice_c将会使用ALF(a)和SAO(c)(或者ALF(c)和SAO(a))对本视频条带进行滤波操作。

S507：利用ALF参数和SAO参数对视频条带进行后处理。

对应的视频条带包头的语法如下表：

slice_header(){	Descriptor
		lightweight_slice_flag	u(l)
if(！lightweight_slice_flag){
		slice_type	ue(v)
pic_parameter_set_id	ue(v)
		if(sample_adaptive_offset_enabled_flag||adaptive_loop_filter_enabled_flag)
{
		sao_alf_share_aps_flag
if(sao_alf_share_aps_flag)	u(l)
		{
aps_id	ue(v)
		else{
aps_id	ue(v)
		aps_id	ue(v)
}
		}
if(IdrPicFlag)
		idr_pic_id	ue(v)
if(pic_order_cnt_type＝＝0)
		pic_order_cnt_lsb/＊	u(v)
if(slice_type＝＝P||slice_type＝＝B){
		num_ref_idx_active_override_flag	u(l)
if(num_ref_idx_active_override_flag){
		num_ref_idx_l0_active_minus1	ue(v)
if(slice_type＝＝B)
		num_ref_idx_l1_active_minus1	ue(v)
}
		}
ref_pic_list_modification()
		ref_pic_list_combination()
if(nal_ref_idc！＝0)
		dec_ref_pic_marking()
}
		if(entropy_coding_mode_flag && slice_type  ！＝I)
cabac_init_idc	ue(v)
		first_slice_in_pic_flag	u(l)
if(firs_slice_in_pic_flag＝＝0)
		slice_address	u(v)
if(！lightweight_slice_flag){
		slice_qp_delta	se(v)
if(deblocking_filter_control_present_flag){
		disable_deblocking_filter_idc
if(disable_deblocking_filter_idc  ！＝1){
		slice_alpha_c0_offset_div2
slice_beta_offset_div2
		}

}
		if(slice_type＝＝B)
collocated_from_ l0_flag	u(l)
		if(adaptive_loop_filter_enabled_flag && aps_adaptive_loop_filter_flag){
byte_align()
		alf_cu_control_param()
byte_align()
		}
}

本实施例中，视频条带包头中包含一个参数共享标识，标识ALF参数和SAO是否存储与同一个APS中，并根据该参数共享标识确定在一个视频条带中添加两个APS标识还是一个APS标识，一个视频条带可以根据情况使用APS中滤波器或者不同APS中的各个滤波器组进行滤波，提高滤波器参数选择的灵活性和兼容性，从而提高视频编码的处理性能。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

与上述方法实施例相关联，本发明还提供一种视频图像滤波处理装置，该装置可以位于终端设备，网络设备，或测试设备中。所述视频图像滤波处理装置可以由硬件电路来实现，或者由软件配合硬件来实现。例如，参考图6，由一个处理器调用视频图像滤波处理装置来获得视频解码中滤波器参数。该视频图像滤波处理装置可以执行上述方法实施例中的各种方法和流程。

参考图7，视频图像滤波处理装置的一个实施例包括：

接收单元701，用于接收视频条带编码码流；

提取单元702，用于从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；

参数获得单元703，用于根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

滤波单元704，用于利用所述至少两个滤波器参数对视频条带进行滤波处理。

一个实施例中，所述提取单元702，用于获得存储ALF参数的第一APS的标识和用于存储SAO参数的第二APS的标识；其中，每一个ASP存储有ALF参数和SAO参数；

所述参数获得单元703，用于分别根据第一APS标识和第二APS标识获得ALF参数和SAO参数；

所述滤波单元704，用于利用ALF参数和SAO参数对视频条带进行滤波处理。

参考图8，视频图像滤波处理装置的另一个实施例包括：

接收单元801，用于接收视频条带编码码流；

标识提取单元802，用于从视频条带包头中获得参数共享标识，该参数共享标识用于表示视频条带对应的ALF参数和SAO参数是否存储于同一APS中；

判断单元803，用于确定所述参数共享标识表示视频条带对应的ALF参数和SAO参数是否存储于不同APS中；

提取单元804，用于在判断单元确认ALF参数和SAO参数存储于不同APS时，获得存储ALF参数的第一APS的标识和存储SAO参数的第二APS的标识；其中，每一个ASP存储有ALF参数和SAO参数；

参数获得单元805，用于分别根据第一APS标识和第二APS标识获得ALF参数和SAO参数；

滤波单元808，用于利用ALF参数和SAO参数对视频条带进行滤波处理。

另一个实施例中，视频图像滤波处理装置还包括：

第二提取单元806，用于当所述判断单元确定ALF参数和SAO参数存储于同一个APS中时，从视频条带包头中获得一个共享APS标识；其中，每一个ASP存储有ALF参数和SAO参数；

第二参数获得单元807，用于从该共享APS标识对应的ASP中获得ALF参数和SAO参数；

其中，所述滤波单元808，用于利用ALF参数和SAO参数对视频条带进行滤波处理。

当然，本实施中的单元化分模块并不是固定的，例如，可以提取单元与第二提取单元、参数获得单元与第二参数获得单元在实现时候可以分别是同一个模块，在判断单元输出不同判断结果时候分别执行不同的操作。

以上所述仅为本发明的几个实施例，本领域的技术人员依据申请文件公开的可以对本发明进行各种改动或变型而不脱离本发明的精神和范围。

Claims (9)

1.一种视频图像滤波处理方法，其特征在于，包括：

接收视频条带编码码流；

从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；

根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

利用所述至少两个滤波器参数对视频条带进行滤波处理。

2.根据权利要求1所述的方法，其特征在于，所述至少两个APS的标识包括：

用于存储ALF参数的第一APS的标识和用于存储SAO参数的第二APS的标识；其中，每一个ASP存储有ALF参数和SAO参数；

根据所述至少两个APS标识分别获得所述至少两个滤波器参数包括：分别根据第一APS标识和第二APS标识获得ALF参数和SAO参数。

3.根据权利要求2所述的方法，其特征在于，还包括：

从视频条带包头中获得参数共享标识，该参数共享标识用于表示视频条带对应的ALF参数和SAO参数是否存储于同一APS中；

确定所述参数共享标识表示视频条带对应的ALF参数和SAO参数存储于不同APS中。

4.根据权利要求3所述的方法，其特征在于，还包括：

如果所述参数共享标识表示视频条带对应的ALF参数和SAO参数存储于同一个APS中，则从视频条带包头中获得一个共享APS标识；其中，每一个ASP存储有ALF参数和SAO参数；

从该共享APS标识对应的ASP中获得ALF参数和SAO参数；

利用ALF参数和SAO参数对视频条带进行滤波处理。

5.根据权利要求2所述的方法，其特征在于，所述ASP存储ALF参数和SAO参数的顺序与Slice包头中ID顺序相同。

6.一种视频图像滤波处理装置，其特征在于，包括：

接收单元，用于接收视频条带编码码流；

提取单元，用于从视频条带包头中获得至少两个APS的标识，所述至少两个APS分别用于存储至少两个滤波器参数；其中，每一个ASP存储有至少两个滤波器参数，视频条带包头中的APS标识的数量与所述滤波器参数的数量相同；

参数获得单元，用于根据所述至少两个APS标识分别获得所述至少两个滤波器参数；

滤波单元，用于利用所述至少两个滤波器参数对视频条带进行滤波处理。

7.根据权利要求6所述的装置，其特征在于，所述提取单元，用于获得存储ALF参数的第一APS的标识和用于存储SAO参数的第二APS的标识；其中，每一个ASP存储有ALF参数和SAO参数；

所述参数获得单元，用于分别根据第一APS标识和第二APS标识获得ALF参数和SAO参数；

所述滤波单元，用于利用ALF参数和SAO参数对视频条带进行滤波处理。

8.根据权利要求7所述的装置，其特征在于，还包括：

标识提取单元，用于从视频条带包头中获得参数共享标识，该参数共享标识用于表示视频条带对应的ALF参数和SAO参数是否存储于同一APS中；

判断单元，用于确定所述参数共享标识表示视频条带对应的ALF参数和SAO参数是否存储于不同APS中；并在判断单元确认ALF参数和SAO参数存储于不同APS时，启动提取单元的处理功能。

9.根据权利要求8所述的装置，其特征在于，还包括：

第二提取单元，用于当所述判断单元确定ALF参数和SAO参数存储于同一个APS中时，从视频条带包头中获得一个共享APS标识；其中，每一个ASP存储有ALF参数和SAO参数；

第二提取单元，用于从该共享APS标识对应的ASP中获得ALF参数和SAO参数；

其中，所述滤波单元，用于利用ALF参数和SAO参数对视频条带进行滤波处理。

Images