CN101500066B - 图像采样格式转换的方法及系统 - Google Patents

Abstract

本发明公开了一种图像采样格式转换的方法及系统，该方法先对输入数据流进行分流，后对分流后的亮度分量Y和色度分量Ce分别进行差值运算，然后对差值运算结果进行计算，并生成权值a_left和a_right，根据分流出的色度分量Cn和得出的权值进行加权求和，得到当前点缺失的色度值，最后将当前像素点完整的亮度、色度信息YUV格式的顺序输出。本发明解决了隔点取值的4:2:2采样格式转4:4:4采样格式时出现的串色问题，提高了图像质量，特别是能产生更鲜明清晰的色彩边界，对阈值的可选性提供了对图像质量提高的可调节性。

Description

图像采样格式转换的方法及系统

技术领域

本发明涉及数字图像采样格式转换领域，尤其涉及一种交叉色度采样位置的4:2:2采样格式图像转换为4:4:4采样格式图像的系统及方法。 

背景技术

在视频和图像处理中，根据人眼的视觉特性，将图像表示成亮度信息和色度信息。亮度和色度信息的表示方法有很多，通常使用Y表示图像像素的亮度分量，U和V表示图像的色度分量。在图像数据的存储和传输过程中，为了降低数据量，常常保留全部亮度信息，保留部分像素的部分色度信息，即降低图像色度的分辨率，显示图像时再利用已有的色度数据插值恢复出完整的色度信息。虽然这样损失了颜色信息，但由于人眼对色度信息并不敏感，因此图像显示效果一般不会受到严重的影响。主要的YUV采样格式有4:4:4、4:2:2、4:1:1、4:2:0等。 

如图2a所示，4:4:4采样格式可以保持完整的图像数据，每个像素点均对应一个亮度分量Y，两个色度分量U和V，在亮度和色度分量上都保持原分辨率。在图像显示时，一般要先将各采样格式的图像数据恢复成完整的4:4:4采样格式，再转换为RGB分量输出给显示设备。 

4:2:2采样格式每个像素点对应一个亮度分量Y，但在水平方向上(一行以内)每两个像素点才对应一个色度分量U和一个色度分量V，这相当于水平方向的色度分辨率只有原来的一半，大大降低了图像的数据量。4:2:2采样格式在各种图像视频压缩和传输标准中被广泛的使用。 

和4:2:2采样格式相比，4:1:1采样格式进一步降低了水平方向上的分辨率，一行内4个像素点共用一组色度分量U和V，其抽样方法与4:2:2采样格式类似。 

4:2:0采样格式不仅在水平方向上降低了分辨率，同时在垂直方向上也是两个像素共享一组色度，虽然和4:1:1采样格式的数据量相同，但由于对垂直方向上的降采样大大增加了处理的难度，这是由于视频信号有隔行和逐行两种，对应了不同的处理方法。 

4:2:2采样格式在不同的标准中有不同的规定，图2b、图2c和图2d分别是3种不同的4:2:2采样格式，本发明针对的是图2c描述的4:2:2采样格式转为4:4:4采样格式的方法，和图2b、图2d的4:2:2采样格式不同，图2c描述的4:2:2采样格式的色度分量U和色度分量V数据采样不在相同的点上，而是相互间隔开来。现有技术中一般采用复制方法或插值方法将图2c中4:2:2采样格式恢复成4:4:4采样格式。 

如果采用插值方法将图2c中4:2:2采样格式恢复成4:4:4采样格式，如图3c所示，直接使用插值方法将4:2:2采样格式恢复成4:4:4采样格式可能存在颜色边界串色的问题，分属两个颜色的U色度分量和V色度分量分别加权组合，而各像素点的另外一个色度却因为是已有数据而不会发生变化，这就使颜色不是均匀过渡，而是出现不协调的变色。 

如果采用复制方法将图2c中4:2:2采样格式恢复成4:4:4采样格式，如图3b所示，分属两个颜色的色度分量U和色度分量V分别组合，而各像素点的另外一个色度却因为是已有数据而不会发生变化，这就使颜色不是均匀过渡，而是出现不协调的变色，出现串色的情况。 

发明内容

本发明针对如图2c所述4:2:2采样格式的特点，提出了一种利用已知信息判断像素相关程度，并以此为依据将其恢复成4:4:4采样格式的系统及方法。 

图像采样格式转换的方法，用于将色度交叉采样的4:2:2采样格式图像数据，转换为4:4:4采样格式图像数据，该方法包括如下步骤： 

步骤一、对输入数据流进行分流，将数据流分为独立的亮度分量Y、色度分量Ce和Cn； 

步骤二、对分流后的亮度分量Y和色度分量Ce分别与各自相邻分量进行差值运算； 

步骤三、对差值运算结果进行计算，经判断生成权值a_left和a_right； 

步骤四、根据步骤一分流出的色度分量Cn和步骤三得出的权值进行加权求和，得到当前点缺失的色度值； 

步骤五、将当前像素点完整的亮度、色度信息YUV格式的顺序输出。 

所述该方法步骤三中对当前像素点与左、右两边像素点的差异进行计算，并对当前像素点与左、右两边像素点的差异进行比较：如果当前像素点与右边点的差异和其与左边点的差异两者之差temp_d大于阈值T，则权值a_left＝1、a_right＝0；如果当前像素点与右边点的差异和其与左边点的差 异之差temp_d小于阈值-T，则权值a_left＝0、a_right＝1；否则，权值通过如下公式进行计算：a_left＝(0.5+temp_d/T*2)；a_right＝(0.5-temp_d/T*2)。权值a_left、a_right满足：a_left+a_right＝1。 

所述阈值T是可配置的。 

在所述步骤四中，根据从步骤一中数据分流单元101中分流出的，与当前像素点相邻两点的色度分量Cn和从所述步骤三中所得权值a_left和a_right计算当前像素点P_k缺失的色度分量。 

该方法所述步骤三在对当前像素点与左、右两边像素点差异的计算中，分配给各点之间的亮度差值的权值大于各点之间色度差值的权值，且满足权值总和为1。 

该方法所述步骤三在对当前像素点与左、右两边像素点的差异的计算中，各点之间亮度差值的权值分配遵循离当前像素点越近，分配的权值越大的原则，且满足权值总和为1。 

用于实现所述方法的图像采样格式转换系统，该系统包括：数据分流单元101、差值计算单元102、权值计算单元103、加权平均单元104和数据合并单元105； 

数据流输入数据分流单元101进行分流，将色度分量Cn输入加权平均单元104，将亮度分量Y和色度分量Ce均分别输入差值计算单元102和数据合并单元105，亮度分量Y与色度分量Ce在差值计算单元102中分别进行差值计算，并将差值结果输入103进行判断，判断结果输入加权平均单元104，加权平均单元104根据色度分量Cn和由权值计算单元103输入的结果进行计算，并将结果输入数据合并单元105合成完整的亮度、色度信息按照YUV格式的顺序输出。 

本发明针对图2c所述4:2:2采样格式的特点，提出了一种图像采样格式转换的系统及方法，解决了此类4:2:2采样格式转4:4:4采样格式时一般实现方法中出现的串色问题，提高了图像质量，特别是能产生更鲜明清晰的色彩边界，对阈值的可选性提供了对图像质量提高的可调节性。 

附图说明 

图1是本发明具体实施方式结构示意图；

图2a是4:4:4采样格式的示意图； 

图2b是一种4:2:2采样格式的示意图； 

图2c是本发明所针对的一种4:2:2采样格式的示意图； 

图2d是又一种4:2:2采样格式的示意图； 

图3a是采用本发明所述方法将4:2:2采样格式恢复成4:4:4采样格式的效果图； 

图3b是采用复制方法将4:2:2采样格式恢复成4:4:4采样格式的效果图； 

图3c是采用插值方法将4:2:2采样格式恢复成4:4:4采样格式的效果图； 

图4是权值a_left、a_right和temp_d的关系流程图。 

具体实施方式

以下结合附图对本发明的具体实施方式进行详细描述。 

本发明主要是针对图2c所述的色度交叉采样的4:2:2采样格式转换为4:4:4采样格式，提出一种4:2:2采样格式图像转换为4:4:4采样格式图像的系统，如图1所示，所述系统包括数据分流单元101、差值计算单元102、权值计算单元103、加权平均单元104和数据合并单元105。 

其中，数据分流单元101，用于识别串行输入的亮度、色度信号，并将其分离成独立的亮度和色度信号分量，还可对当前像素点以及其左、右各两个像素点的亮度和色度数据进行缓存； 

差值计算单元102，用于计算当前像素点与左右邻域的像素点的亮度和色度差异值； 

权值计算单元103，用于根据当前像素点与左右邻域像素点的差异判断当前像素和左右像素的相关关系，并利用左右两相邻像素点色度恢复当前像素点色度； 

加权平均单元104，利用权值将左右两相邻像素点的色度值加权求和作为当前像素点缺失色度的恢复值； 

数据合并单元105，将当前像素点的完整的亮度、色度信息：Y、Ce、Cn按照统一规定的顺序发送出去。 

本实施例中以五个相邻像素点为例，具体说明本发明所述图像格式转换系统的工作原理： 

设数据流输入顺序为：...Y_k-2、U_k-2、Y_k-1、V_k-1、Y_k、U_k、Y_k+1、V_k+1、Y_k+2、U_k+2...。 

由于各像素点已有的色度分量交替不同(U、V交替)，为后面统一叙 述方便，用Ce，Cn符号代表U、V色度分量符号，其中Ce表示当前像素点已有的色度分量名称，Cn表示当前像素点没有的色度分量名称。则在当前像素点以及其左右各两个像素点共计5个像素点所已有的5个色度值，包含3个Ce色度值，2个Cn值，即如果当前像素点只有U值分量，则Ce为U分量，Cn为V分量；反之，如果当前像素点只有V分量，则Ce为V分量，Cn为U分量。 

具体来说，若当前处理点为P_k，则Ce为U分量，Cn为V分量，对应Ce＝(U_k-2、U_k、U_k+2)，Cn＝(V_k-1、V_k+1)；若当前处理点为P_k+1，则Ce为V分量，Cn为U分量，对应Ce＝(V_k-1、V_k+1、V_k+3)，Cn＝(U_k、U_k+2)。在具体实施过程中，Ce和Cn代表的色度分量是交替变化的 

现以第k个像素点为例说明色度插值过程，已知五个相邻像素点的亮度值为Y＝(Y_k-2、Y_k-1、Y_k、Y_k+1、Y_k+2)，各像素点色度值分别为Ce＝(Ce_k-2、Ce_k、Ce_k+2)和Cn＝(Cn_k-1、Cn_k+1)，其中，由上可知Ce＝(U_k-2、U_k、U_k+2)，Cn＝(V_k-1、V_k+1)。 

差值计算单元102根据保存在数据分流单元101中的上述5个亮度值Y和已有3个色度值Ce计算当前点与左右邻域像素点的差值，计算公式如下： 

Y_k与Y_k-1的亮度差值：dY_L_1＝|Y_k-Y_k-1|        (1) 

Y_k与Y_k-2的亮度差值：dY_L_2＝|Y_k-Y_k-2|        (2) 

Y_k-1与Y_k-2的亮度差值：dY_L_3＝|Y_k-1-Y_k-2|    (3) 

Y_k与Y_k+1的亮度差值：dY_R_1＝|Y_k-Y_k+1|        (4) 

Y_k与Y_k+2的亮度差值：dY_R_2＝|Y_k-Y_k+2|        (5) 

Y_k+1与Y_k+2的亮度差值：dY_R_3＝|Y_k+1-Y_k+2|    (6) 

Ce_k-2与Ce_k的色度差值：dC_L＝|Ce_k-Ce_k-2|      (7) 

Ce_k与Ce_k+2的色度差值：dC_R＝|Ce_k-Ce_k+2|      (8) 

上述8个差异值代表了当前像素点Y_k和左右邻域像素点的相似程度。 

权值计算单元103根据差值计算单元102计算的上述8个差异值判断当前像素点的亮度和色度值是更接近左边像素点的亮度和色度值，或者还是更接近右边像素点亮度和色度值，并根据判断结果生成两个权值a_left、a_right，权值计算单元103按照如下原则生成权值a_left、a_right： 

D_L＝dY_L_1×0.3+dY_L_2×0.18+dY_L_3×0.12+dC_L×0.4(9) 

D_R＝dY_R_1×0.3+dY_R_2×0.18+dY_R_3×0.12+dC_R×0.4(10) 

公式(9)和公式(10)分别计算当前像素点与左、右两边像素点的差异，其中的系数由以下原则确定： 

(1)由于人对亮度更敏感，亮度差异的影响应该更大，所以应该给亮度差异分配更多的权值。以当前像素点P_k左边的数据为例：分配给dY_L_1、dY_L_2、dY_L_3总共的权值是0.6，给dC_L的权值为0.4； 

(2)根据dY_L_1、dY_L_2，、dY_L_3对应像素差异与当前像素的关系分配不同的权值，其中dY_L_1最大，dY_L_2其次，dY_L_3最小，同样以左边数据为例：分配给dY_L_1，dY_L_2，dY_L_3权值分别是0.6*0.5，0.6*0.3，0.6*0.2，这样dY_L_1，dY_L_2，dY_L_3分配到的实际权值分别为：0.3，0.18，0.12。 

上述权值的分配可以是固定值，也可以随机进行调整，可根据具体情况设定权值的分配。 

权值a_left，a_right的生成方式如图4所示，其中temp_d＝D_R-D_L。 

若当前像素点P_k与右边像素点P_k+1的差异D_R和当前像素点P_k与左边的像素点P_k-1的差异D_L之差大于T时，即temp_d＞T时，当前点P_k应属于右边区域，则a_left＝1，a_right＝0； 

若当前像素点P_k与右边的像素点P_k+1的差异D_R和当前像素点P_k与左边像素点P_k-1的差异D_L之差小于-T时，即temp_d＜-T时，当前像素点P_k应属于左边区域，则a_left＝0，a_right＝1； 

除此以外，若当前像素点P_k与右边像素点P_k+1的差异D_R与当前像素点P_k与左边像素点P_k-1的差异D_L之差在[-T，T]之间时： 

a_left＝(0.5+temp_d/16*2)；a_right＝(0.5-temp_d/16*2)； 

其中，阈值T在本实施例中采用T＝16，所述阈值可以是固定的，也可是是随机进行调整的。 

权值a_left、a_right的和始终满足：a_left+a_right＝1。 

加权平均单元104对数据分流单元101中分流出的色度分量Cn和在权值计算单元103生成的权值a_left、a_right进行计算，得到当前像素点P_k缺失的色度值： 

Cn_k＝a_left×Cn_k-1+a_right×Cn_k+1(11) 

最后由数据合并单元105将当前像素点P_k的完整的亮度、色度信息：Y、Ce、Cn按照统一规定的顺序发送出去，即，Y_k、U_k、V_k、Y_k+1、U_k+1、V_k+1…。 

图3a是采用本发明所述方法将4:2:2采样格式恢复成4:4:4采样格式的效果图，解决了—般方法中出现的串色问题，提高了图像质量，特别是能产生更鲜明清晰的色彩边界，对阈值的可选性提供了对图像质量提高的可调节性。 

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。 

Claims (8)

1.图像采样格式转换的方法，用于将色度交叉采样的4:2:2采样格式图像数据，转换为4:4:4采样格式图像数据，该方法包括如下步骤：

步骤一、对输入数据流进行分流，将数据流分为独立的亮度分量Y、色度分量Ce和Cn；

步骤二、对分流后的亮度分量Y和色度分量Ce分别与各自相邻分量进行差值运算；

步骤三、对差值运算结果进行计算，经判断生成权值a_left和a_right；

步骤四、根据步骤一分流出的色度分量Cn和步骤三得出的权值进行加权求和，得到当前点缺失的色度值；

步骤五、将当前像素点完整的亮度、色度信息以YUV格式的顺序输出。

2.如权利要求1所述图像采样格式转换的方法，其特征在于，所述该方法步骤三中对当前像素点与左、右两边像素点的差异进行计算，并对当前像素点与左、右两边像素点的差异进行比较：如果当前像素点与右边点的差异和其与左边点的差异两者之差temp_d大于阈值T，则权值a_left＝1、a_right＝0；如果当前像素点与右边点的差异和其与左边点的差异之差temp_d小于阈值-T，则权值a_left＝0、a_right＝1；否则，权值通过如下公式进行计算：

a_left＝(0.5+temp_d/T*2)；a_right＝(0.5-temp_d/T*2)。

3.如权利要2所述图像采样格式转换的方法，其特征在于，权值a_left、a_right满足：a_left+a_right＝1。

4.如权利要求2所述图像采样格式转换的方法，其特征在于，所述阈值T是可配置的。

5.如权利要求1或2所述图像采样格式转换的方法，其特征在于，在所述步骤四中，根据从步骤一中数据分流单元(101)中分流出的，与当前像素点相邻两点的色度分量Cn和从所述步骤三中所得权值a_left和a_right计算当前像素点P_k缺失的色度分量。

6.如权利要求2所述图像采样格式转换的方法，其特征在于，该方法所述步骤三在对当前像素点与左、右两边像素点差异的计算中，分配给各点之间的亮度差值的权值大于各点之间色度差值的权值，且满足权值总和为1。

7.如权利要求2或6所述图像采样格式转换的方法，其特征在于，该 方法所述步骤三在对当前像素点与左、右两边像素点的差异的计算中，各点之间亮度差值的权值分配遵循离当前像素点越近，分配的权值越大的原则，且满足权值总和为1。

8.用于实现权利要求1所述方法的图像采样格式转换系统，其特征在于，该系统包括：数据分流单元(101)、差值计算单元(102)、权值计算单元(103)、加权平均单元(104)和数据合并单元(105)；

数据流输入数据分流单元(101)进行分流，将色度分量Cn输入加权平均单元(104)，将亮度分量Y和色度分量Ce均分别输入差值计算单元(102)和数据合并单元(105)，亮度分量Y与色度分量Ce在差值计算单元(102)中分别进行差值计算，并将差值结果输入(103)进行判断，判断结果输入加权平均单元(104)，加权平均单元(104)根据色度分量Cn和由权值计算单元(103)输入的结果进行计算，并将结果输入数据合并单元(105)合成完整的亮度、色度信息按照YUV格式的顺序输出。 

Images