CN103179408B

CN103179408B - 一种解决色度上采样错误的系统和方法

Info

Publication number: CN103179408B
Application number: CN201210493105.6A
Authority: CN
Inventors: 袁野; 江显舟; 郑成根; 孙军; 管云峰; 戴杨; 王峰
Original assignee: SHANGHAI HIGH DEFINITION DIGITAL TECHNOLOGY INDUSTRIAL Co Ltd
Current assignee: SHANGHAI HIGH DEFINITION DIGITAL TECHNOLOGY INDUSTRIAL Co Ltd
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2016-01-06
Anticipated expiration: 2032-11-27
Also published as: CN103179408A

Abstract

本发明公开了一种解决色度上采样错误的系统,其包括：复制上采样单元，对输入的4：2：0色度数据进行复制模式的上采样；同极性场的色度低通滤波处理单元，对输入的4：2：0色度数据进行同极性相邻场的数据低通滤波上采样；异极性场的色度低通滤波处理单元，对输入的4：2：0色度数据进行异极性相邻场的数据低通滤波上采样；色度上采样错误检测单元，检测出现色度上采样错误问题的部分；色度上采样错误处理单元，根据色度上采样错误检测单元的检测结果，判断是否存在色度上采样错误，分别进行相应的数据低通滤波处理；本发明的有益效果是：可以在有限的硬件资源下有效改善色度上采样错误问题。

Description

一种解决色度上采样错误的系统和方法

技术领域

本发明属于电视信号的画质增强技术领域，主要涉及到YUV420转化为YUV422色度上采样发生颜色交织的错误现象问题。

背景技术

近年来，数字电视和平板电视成为家电消费的热点。随着高清数字电视概念的日益普及，人们对电视机画质的要求也越来越高，以前在标清画面上可以忽略的色度上采样错误现象，即CUE问题（ChromaUp-samplingError），现在经缩放后在高清画面上变得十分明显。

在4:2:0隔行扫描MPEG视频帧中，色度通道是由两个单独的来自不同场的色度通道交织而成。这两个色度场的分辨率非常低。例如，拥有480条扫描线的4:2:0隔行扫描帧的色度采样扫描线在垂直方向上只有240条，因此，单个色度场仅仅有120条色度采样扫描线。为了转换为4:2:2的隔行视频，这两个120条扫描线色度场必须被上采样以形成两个240条扫描线的色度场。上采样的过程本质上就是填充本场图像缺失的扫描线，根本不考虑另一个场的采样点。所以在处理过程中，逐行扫描视频的图像可能会出现上采样错误导致的拉丝现象，这在静止图像中尤为明显。

下面将介绍一下所述拉丝现象的形成原因：

如附图1所示是：4:2:2格式编码图像的布局。这里每个像素有一个亮度采样，而每隔一个像素才有一个色度采样。

如附图2所示是4:2:0逐行扫描格式的亮度和色度采样的布局。在每条扫描线上，色度采样点个数是亮度采样点的一半，色度扫描线的条数是亮度扫描线的一半，从整个图像来看，色度采样点个数是亮度采样点的四分之一。色度采样点之所以在图中位于两条亮度扫描线之间，是因为色度采样是由相邻的上下两条原始色度扫描线的颜色信息平均而来。第一行色度采样是由原始图像上Line1和Line2的色度信息取平均而来，其他以此类推。

如附图3所示是4:2:0隔行扫描格式的亮度和色度采样的布局。色度采样点仍然位于两条亮度扫描线之间，但是和逐行扫描相比有很大的不同。第一行的色度采样点不是来自Line1和Line2的平均，而是来自Line1和Line3。

一般的上采样算法的MPEG解码器无论隔行还是逐行扫描视频，统统使用隔行扫描上采样算法。对于逐行扫描图像来说，本来色度采样应该用于插值出Line1和Line2的色度采样，实际上因为使用隔行扫描算法，却插值出了Line1和Line3的色度采样。将来将场合并成帧的时候，就会出现CUE（ChromaUp-samplingError）现象。

为了克服上述的色度上采样错误，专利号为US2004/0057467A1的名称为“MPEG-2色度上采样伪像的检测和修复”的美国发明专利公开了一种检测和修复MPEG-2色度上采样伪像的方法，其技术方案具体地为，首先检测出现上采样伪像的地方，然后对此处进行逐行数据低通滤波处理。就是对在两个奇数场和偶数场的垂直色度4个采样点分别进行部分离散傅立叶变换，如有上采样伪像处则奇数场的数据与偶数场的数据有很大不同；然后对经逐行数据低通滤波后的数据同样的操作一遍，如果奇场的数据与偶场的数据这次变得很相似，则可以检测出是属于上采样伪像，取逐行数据低通滤波后的数据来进行修复。但是这种方法需要每场4行以上的数据，比较耗费资源。

综上所述，为了避免上述情形，降低资源耗费，一种新的，检测和修复色度上采样伪像的方法的发明是势在必行的。

发明内容

本发明的目的是解决如下技术问题：

一般的上采样算法的MPEG解码器无论隔行还是逐行扫描视频，统统使用隔行扫描上采样算法将场合并成帧的时候，就会出现CUE现象。

为了克服上述的色度上采样错误的专利公开的一种检测和修复MPEG-2色度上采样伪像的方法，则需要每场4行以上的数据，比较耗费资源。

针对上述技术问题，本发明提出了一种检测和修复色度上采样的CUE现象的方法，可以检测出色度上采样出现CUE现象的地方，并进行相应的处理。

本发明公开了一种只需要每场3行数据的一种检测上采样CUE现象的方法和装置，也能达到去除色度上采样CUE现象的目的。因为硬件实现的局限，在较少的硬件资源下，进行检测和修复色度上采样错误现象。

为了解决上述技术问题，本发明提供的技术方案是：

首先检测出现上采样存在CUE问题的地方，然后对此处进行异极性相邻场的数据低通滤波处理。具体地，是对在两个奇场和偶场的垂直方向上2个色度采样点分别进行异极性相邻场低通滤波和复制模式的上采样，然后通过判断原始的3行420帧内数据是否在垂直方向有渐变过渡，以及检测是否经异极性相邻场的上采样色度低通滤波后数据渐变过渡比较平滑，是否复制模式上采样算法两行数据在色度上有较大的跨度，来决定是否有上采样错误（CUE）现象。处理方法具体如下，如有色度上采样错误现象，则取经异极性相邻场的上采样色度低通滤波值来进行修复，如不符，则取同极性相邻场的低通滤波值。

即：一种解决色度上采样错误的系统,其特征在于，其包括：

复制上采样单元，对输入的4：2：0色度数据进行复制模式的上采样；

同极性场的色度低通滤波处理单元，对输入的4：2：0色度数据进行同极性相邻场的数据低通滤波上采样；

异极性场的色度低通滤波处理单元，对输入的4：2：0色度数据进行异极性相邻场的数据低通滤波上采样；

色度上采样错误检测单元，检测出现色度上采样错误问题的部分；

色度上采样错误处理单元，根据色度上采样错误检测单元的检测结果，判断是否存在色度上采样错误，分别进行相应的数据低通滤波处理。

所述色度上采样错误检测单元，通过判断原始的3行帧内4：2：0数据是否在垂直方向有渐变过渡，检测是否经异极性相邻场的上采样色度低通滤波后数据渐变过渡比较平滑，是否复制模式上采样系统的两行数据在色度上有较大的跨度，判断是否有上采样错误现象。

所述的色度上采样错误处理单元，经检测有色度上采样错误现象，则取经异极性相邻场的上采样色度低通滤波值进行修复，如不符，则取同极性相邻场的低通滤波值。

一种解决色度上采样错误的方法,其特征在于，其包括如下步骤：

1）合并两个4：2：0的原始色度数据，复制模式进行上采样；

2）同极性场的色度低通滤波处理或异极性场的色度低通处理；

3）检测色度上采样错误部位，根据检测结果进行色度上采样错误处理。

根据所述的解决色度上采样错误的方法，对在两个奇场和偶场的垂直方向上2个色度采样点分别进行异极性相邻场低通滤波和复制模式的上采样，通过判断原始的3行4：2：0帧内数据是否在垂直方向有渐变过渡，检测是否经异极性相邻场的上采样色度低通滤波后数据渐变过渡比较平滑，是否复制模式上采样算法两行数据在色度上有较大的跨度，来判断是否有上采样错误现象。

根据解决色度上采样错误的方法，如有色度上采样错误现象，则取经异极性相邻场的上采样色度低通滤波值来进行修复，如不符，则取同极性相邻场的低通滤波值。

本发明的有益效果是：针对现有技术一般不考虑色度上采样错误或者如果考虑需要耗费非常大的硬件资源的缺点,本发明公开的一种低成本的解决色度上采样错误的方法，只需要每场3行数据,就可以判断出色度上采样错误存在的地方,然后对这些地方应用相邻异极性场的色度数据低通滤波进行上采样，其他地方选用相邻同极性场的色度数据低通滤波进行上采样,可以在有限的硬件资源下有效改善色度上采样错误问题。

附图说明：

通过以下对本发明的实施例结合其附图的描述，可以进一步理解其发明的目的、具体结构特征和优点。其中，附图为：

图1是：4:2:2格式编码图像的布局示意图；

图2是：4:2:0逐行扫描格式的亮度和色度采样的布局示意图；

图3是：4:2:0隔行扫描格式的亮度和色度采样的布局示意图；

图4是：本发明色度上采样复制模式示意图；

图5是：本发明色度上采样同极性相邻场低通处理模式示意图；

图6是：本发明色度上采样异极性相邻场低通处理模式示意图；

图7是：本发明算法装置模块示意图；

图8是：本发明算法流程图。

具体实施方式：

下面结合附图中的实例对本发明作进一步的描述。

本发明提出了一种检测和修复色度上采样的CUE现象的方法，可以检测出色度上采样出现CUE现象的地方，并进行相应的处理。因为硬件实现的局限，在较少的硬件资源下，进行检测和修复色度上采样错误现象。

本发明通过实施下述技术方案来实现：首先检测出现上采样存在CUE问题的地方，然后对此处进行异极性相邻场的数据低通滤波处理。具体地，是对在两个奇场和偶场的垂直方向上2个色度采样点分别进行异极性相邻场低通滤波和复制模式的上采样，然后通过判断原始的3行4：2：0（简称为420）帧内数据是否在垂直方向有渐变过渡，以及检测是否经异极性相邻场的上采样色度低通滤波后数据渐变过渡比较平滑，是否复制模式上采样算法两行数据在色度上有较大的跨度，来决定是否有上采样错误（CUE）现象。处理方法具体如下，如有色度上采样错误现象，则取经异极性相邻场的上采样色度低通滤波值来进行修复，如不符，则取同极性相邻场的低通滤波值。

概括的表述，本发明方法至少包括如下几个工作部分：

检测色度上采样错误现象，具体做法为：首先，对奇场和偶场的垂直方向上2个色度采样点分别进行异极性相邻场和同极性相邻场的低通滤波；其次，判断经异极性相邻场的上采样色度低通滤波后数据是否渐变过渡；判断复制滤波上采样是否有色度上大的跨度；判断原始的420数据是否在垂直方向有渐变过渡；如以上三条都符合则说明有上采样错误（CUE）现象。

处理色度上采样错误现象，如有色度上采样错误现象，说明需要相邻异极性场的色度信息，则取经异极性相邻场合并后的的色度低通滤波值进行上采样；如不符，则取同极性相邻场的低通滤波值。

如图4-8所示，实现本发明的具体实施例如下：本发明的装置共分为6个单元：复制上采样处理单元，异极性场的色度低通滤波处理单元，同极性场的色度低通滤波处理单元，检测色度上采样错误单元，色度上采样错误处理单元。

以下分步骤详细色度上采样算法：

STEP1：合并两个420的原始色度数据

以奇数在上偶数在下的FRAME来说，首先合并原始的420色度数据为一帧：

yuv420_merge(2*i-1)=yuv420_422_odd(i);

yuv420_merge(2*i)=yuv420_422_even(i);

这里，i代表420原始数据的当前行。

STEP2：复制模式进行上采样

以奇数在上偶数在下的一帧为例，使用了复制模式进行上采样,结合图4来理解。

奇数行：yuv422_odd_dup(2*i-1)=yuv420_odd(i);

偶数行：yuv422_odd_dup(2*i)=yuv420_odd(i);

对于偶场来说：

奇数行：yuv422_even_cop(2*i-1)=yuv420_even(i);

偶数行：yuv422_even_cop(2*i)=yuv420_even(i);

可以看出，经复制模式处理后的上采样，如果是在逐行扫描视频边界处，会出现明显的色度上采样错误现象。

STEP3：同极性场的色度低通滤波处理

以奇数在上偶数在下的一帧为例，使用了如下同极性场的垂直低通滤波器，结合图5来理解。

奇数行：

yuv422_odd_same(2*i-1)=(yuv420_odd(i-1)+7*yuv420_odd(i))/8;

偶数行：

yuv422_odd_same(2*i,:,2:3)=(5*yuv420_odd(i)+3*yuv420_odd(i+1))/8;

对于偶场来说：

奇数行：

yuv422_even_same(2*i-1)=(3*yuv420_even(i-1)+5*yuv420_even(i))/8;

偶数行：

yuv422_even_same(2*i)=(7*yuv420_even(i)+1*yuv420_even(i+1))/8;

可以看出，经同极性场的垂直低通滤波后的上采样，如果是在逐行扫描视频边界处，色度上采样错误现象会有减轻，但是不会彻底消失。

STEP4：异极性场的色度低通处理

以奇数在上偶数在下的一帧为例，使用了如下异极性场的垂直低通滤波器，结合图6来理解。

对于奇场来说：

奇数行：

yuv422_odd_dif(2*i-1)=(3*yuv420_odd(i)+yuv420_even(i-1))/4;

偶数行：

yuv422_odd_dif(2*i)=(3*yuv420_even(i)+yuv420_odd(i))/4;

对于偶场来说：

奇数行：

yuv422_even_dif(2*i-1)=(3*yuv420_odd(i)+yuv420_even(i))/4;

偶数行：

yuv422_even_dif(2*i)=(yuv420_odd(i+1)+3*yuv420_even(i))/4;

可以看出，经异极性场的垂直低通滤波后的上采样，如果是在逐行扫描视频边界处，色度上采样错误现象会从根本上消失。

STEP5：检测色度上采样错误部位

如果以下条件符合，则认为当前象素点是属于色度上采样错误现象：

1)如果相邻场的两个点的色度是跳变的，可用下式表示：

ifabs(yuv422_odd_cop(2*i-1)-yuv422_even_cop（2*i-1）)>T_big

dup=1；

end

2)并且，如果经异极性相邻场间低通处理后的值是渐变过渡的，可用下式表示：

if(...

((yuv422_odd_dif(2*i-1)>=yuv422_even_dif(2*i-1))&&(yuv_422_even_dif(2*i-1)>=yuv422_odd_dif(2*i)))...

|((yuv422_odd_dif(2*i-1)<=yuv422_even_dif(2*i-1))&&(yuv422_even_dif(2*i-1)<=yuv422_odd_dif(2*i)))...

)

Trans_dif=1;

end

3)并且，如果420的原始帧内数据是渐变过渡的，可用下式表示：

if((yuv420_merge(2*i-1)>=(yuv420_merge(2*i)+delta))&(yuv420_merge(2*i)>=(yuv420_merge(2*i+1)+delta)))|((yuv420_merge(2*i-1)<=(yuv420_merge(2*i)-delta))&(yuv420_merge(2*i)<=(yuv420_merge(2*i+1)-delta)))

Trans_420=1;

End

这里，T_big代表两场色度差的阈值，大于它，表示视觉能看出属于不同色度，一般选取30；Delta为一个较小的值，保证三行的竖直方向的数据是渐变过渡的，略有小的偏差可以接受，一般选取2。

如果以上三方面都符合，则认为是符合色度上采样错误情况，可以进行后续的处理。用up_error_Flag来标识有色度上采样CUE问题的像素点：

ifdup&Trans_dif&Trans_420

up_error_Flag=1;

end

两个色度中如有一个满足就认为是符合色度上采样错误情况。

STEP6：色度上采样错误处理方法

如果up_error_Flag=1,说明此象素点是出现色度上采样错误的方法，可采用yuv422_even_dif和yuv422_odd_dif,即相邻异极性场的低通处理方法，否则采用的yuv422_even_same和yuv422_odd_same,即通用的相邻同极性场的低通处理方法。

本发明系统与方法对应，共分为5个模块：

复制上采样单元，同极性场的色度低通滤波处理单元，异极性场的色度低通滤波处理，检测色度上采样错误单元，色度上采样错误处理单元。

（一）、复制上采样单元

功能：对输入的420色度数据进行复制模式的上采样。

输入：相邻两场420色度数据；

输出：复制模式上采样处理后的422色度数据；

（二）、异极性场的色度低通滤波处理单元

功能：对输入的420色度数据进行异极性相邻场的数据低通滤波上采样；

输入：相邻两场420色度数据；

输出：异极性场的色度低通滤波处理后的422色度数据。

（三）、同极性场的色度低通滤波处理单元

功能：对输入的420色度数据进行同极性相邻场的数据低通滤波上采样；

输入：相邻两场420色度数据；

输出：异极性场的色度低通滤波处理后的422色度数据。

（四）、色度上采样错误检测单元

功能：检测出现色度上采样错误问题的部分。

输入：相邻两场420色度数据、复制模式上采样处理后的422色度数据、异极性场的色度低通滤波处理后的422色度数据。

输出：当前像素点是否属于色度上采样错误的信号；

（五）、色度上采样错误处理单元

功能：根据色度上采样错误检测单元的检测结果进行色度上采样错误处理。

输入：当前像素点是否属于色度上采样错误的信号、异极性场的色度低通滤波处理后的422色度数据、同极性场的色度低通滤波处理后的422色度数据；

输出：经处理后的422色度数据。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明的目的，而并非用作对本发明的限定，只要在本发明的实质范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求的范围内。

Claims

1.一种解决色度上采样错误的系统，其特征在于，其包括：

同时都是奇场的场或偶场的场的色度低通滤波处理单元，对输入的4：2：0色度数据进行相邻的两个场都是奇场的场或偶场的场的数据低通滤波上采样；

既有奇场又有偶场的场的色度低通滤波处理单元，对输入的4：2：0色度数据进行相邻的两个场既有奇场又有偶场的场的数据低通滤波上采样；

色度上采样错误检测单元，针对原始的3行4：2：0帧内数据来检测出现色度上采样错误问题的部分；

色度上采样错误处理单元，根据色度上采样错误检测单元的检测结果，判断是否存在色度上采样错误，并分别进行相应的数据低通滤波处理。

2.根据权利要求1所述的解决色度上采样错误的系统，其特征在于：所述色度上采样错误检测单元，通过判断原始的3行4：2：0帧内数据是否在垂直方向有渐变过渡，并且检测是否经相邻的两个场既有奇场又有偶场的场的上采样色度低通滤波后数据渐变过渡平滑，并且是否复制模式上采样系统的两行数据在色度上有大的跨度，判断是否有上采样错误现象。

3.根据权利要求2所述的解决色度上采样错误的系统，其特征在于：所述的色度上采样错误处理单元，经检测有色度上采样错误现象，则取经相邻的两个场既有奇场又有偶场的场的上采样色度低通滤波值进行修复，如不符，则取相邻的两个场都是奇场的场或偶场的场的低通滤波值。

4.一种解决色度上采样错误的方法，其特征在于，其包括如下步骤：

1）合并两个4：2：0的原始色度数据，复制模式进行上采样；

2）同时都是奇场的场或偶场的场的色度低通滤波处理或既有奇场又有偶场的场的色度低通处理；

3）针对原始的3行4：2：0帧内数据来检测色度上采样错误部位，根据检测结果进行色度上采样错误处理。

5.根据权利要求4所述的解决色度上采样错误的方法，其特征在于：对在两个奇场和偶场的垂直方向上2个色度采样点分别进行相邻的两个场既有奇场又有偶场的场低通滤波和复制模式的上采样，通过判断原始的3行4：2：0帧内数据是否在垂直方向有渐变过渡，并且检测是否经相邻的两个场既有奇场又有偶场的场的上采样色度低通滤波后数据渐变过渡比较平滑，并且是否复制模式上采样算法两行数据在色度上有较大的跨度，来判断是否有上采样错误现象。

6.根据权利要求5所述的解决色度上采样错误的方法，其特征在于：如有色度上采样错误现象，则取经相邻的两个场既有奇场又有偶场的场的上采样色度低通滤波值来进行修复，如不符，则取相邻的两个场都是奇场的场或偶场的场的低通滤波值。