CN102932654A

CN102932654A - 色彩处理装置及方法

Info

Publication number: CN102932654A
Application number: CN2011102269555A
Authority: CN
Inventors: 唐佩忠
Original assignee: Hongfujin Precision Industry Shenzhen Co Ltd; Hon Hai Precision Industry Co Ltd
Current assignee: Hongfujin Precision Industry Shenzhen Co Ltd; Hon Hai Precision Industry Co Ltd
Priority date: 2011-08-09
Filing date: 2011-08-09
Publication date: 2013-02-13
Also published as: US20130038772A1; TWI532010B; TW201308250A

Abstract

一种色彩处理方法，包括以下步骤：接收第一格式的第一像素；将第一格式的第一像素转换成第二格式的第二像素，该第二像素包括第一输入值及第二输入值；对第二格式的第二像素进行采样；其中采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，采样后的第二像素的第二输入值维持不变；将采样后的第二格式的第二像素转换成第一格式的第一像素。本发明还提供一种色彩处理装置。

Description

色彩处理装置及方法

技术领域

本发明涉及数据处理领域，特别是一种色彩处理装置及方法。

背景技术

现有数字图像采集系统多是通过CMOS图像感测记录图像的灰度值，配合一个彩色滤波阵列(CFA，Color Filter Array)来实现彩色取像。在每个像素上只能采集红(R)、绿(G)或蓝(B)中的一种颜色分量，后续装置根据RGB数值完成图像数据的采集和存储。其中，Bayer格式的CFA阵列应用最为广泛，如图1所示，它交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素个数占总像素的1/2，红色和蓝色则只占1/4。这是由于人眼对绿色更为敏感，能分辨更多的细节，同时，绿色也占据了可见光谱中最重要和最宽的位置。

如图2及3所示，从感光元件900的像素信号输出端(VDI)读取的信号则是此像素阵列的串行。为了取出对应每个像素的R/G/B三元色值，需要对此信号串行进行数据分离，即VDI端的每个像素输出，都分离为R/G/B三元色三个通道输出。

经过Bayer型CFA后的传感器的原始输出是每个像素点只有红、绿或蓝中的一种颜色分量的马赛克图像。为了获得全彩色图像，就要用周围像素的颜色灰度值近似计算出被滤掉的颜色分量，即彩色恢复，又称颜色插值。

颜色插值常采用双线性插值方法，该方法属于单通道独立插值法，是各种插值算法的基础，对参考评估其它算法具有广泛的意义。双线性插值的具体计算过程如下：(1)一般采用3*3的矩阵模板；(2)模板中心像素的RGB值通过模板内各颜色分量的平均值来获得；(3)整幅图片的各点均采用该方法获得对应的全彩分量(边缘点除外)；(4)边缘点通常舍弃不做处理或者全部变黑。以图4中R22点为例：

R22点的R分量R22-R＝R22；

R22点的G分量R22-G＝(G12+G21+G23+G32)/4；

R22点的B分量R22-B＝(B11+B13+B31+B33)/4。

通过运用上述方法可以得到全彩色的图像。特别对于临近区域灰度变化较小的图像或者纯色图像的处理效果较好。由于双线性法是单通道之间独立插值，并且始终取3x3滤波器的平均值，拉小了相邻像素间点的颜色差别，在插值过程中产生色彩拖影、伪彩、拉链效应。特别地，由于彩色图像不同颜色区域的交界处的RGB值各分量差异较大，经过颜色插值后这种边缘不良现象尤其明显，会给后期图像处理带来困扰。

发明内容

鉴于此，有必要提供一种能提高图像品质的色彩处理装置。

此外，还有必要提供一种能提高图像品质的色彩处理方法。

一种色彩处理装置，包括处理单元，该处理单元用于执行以下步骤：接收第一格式的第一像素；将第一格式的第一像素转换成第二格式的第二像素，该第二像素包括第一输入值及第二输入值；对第二格式的第二像素进行采样；其中采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，采样后的第二像素的第二输入值维持不变；并将采样后的第二格式的第二像素转换成第一格式的第一像素。

一种色彩处理方法，包括以下步骤：接收第一格式的第一像素；将第一格式的第一像素转换成第二格式的第二像素，该第二像素包括第一输入值及第二输入值；对第二格式的第二像素进行采样；其中采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，采样后的第二像素的第二输入值维持不变；将采样后的第二格式的第二像素转换成第一格式的第一像素。

相对于现有技术，由于采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，相当于对第二像素的第一输入值进行平滑处理，因而改善了边界因插值形成的锯齿痕迹。

附图说明

图1为感光元件的感光矩阵示意图。

图2为感光元件的数据输入输出示意图。

图3为感光元件输出的感光数据分离方式示意图。

图4为感光元件输出的感光数据结构示意图。

图5为一较佳实施方式的色彩处理装置结构图。

图6为图5所示色彩处理装置输出的数据结构示意图。

图7为两种四点式像素色彩分离计算公式表。

图8为色彩处理装置中的第一种色彩分离运算电路结构图。

图9为色彩处理装置中的第二种色彩分离运算电路结构图。

图10为RGB数据矩阵示意图。

图11为一较佳实施方式的色彩处理方法的流程图。

主要元件符号说明

感光元件 100、900

色彩处理装置 200

存储单元 10

寄存器 12

处理单元 14

加法器 140

移位器 142

色彩处理方法 300

步骤3 02～310

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

如图5所示，其为一较佳实施方式的色彩处理装置200的结构图，感光元件100输出的感光数据VDI传送至色彩处理装置200。色彩处理装置200包括存储单元10、多个寄存器12及处理单元14。存储单元10及多个寄存器12构成延迟单元。感光元件100的输出端、存储单元10及三个寄存器12依次串联。感光元件100的输出端还进一步串联有四个寄存器12。处理单元14分别与连接于感光元件100的输出端的四个寄存器12、连接于存储单元10的三个寄存器12以及存储单元10的输出端(共八个)相连，以同时获得该八个输出端的八个感光数据VDI。

为了方便理解，下面仍以图1所示阵列作为感光元件100进行说明。由于从感光元件100中读取感光数据是一行一行逐个读取的，因此存储单元10需要存储感光元件100的一行数据量的感光数据VDI，即10个感光数据VDI。由于前一个数据的输出到存储器的存储动作需要一个脉冲的时间，即需要一个寄存器12的延迟时间，所以可存储10个感光数据VDI的存储单元10便相当于10+1＝11个延迟，即等于11个寄存器12。从而使得存储单元10的输出要比感光元件100的输出晚一个脉冲时间，感光元件100的输出端需要比存储单元10的输出端多连接一个寄存器12。如此可确保相邻两个像素的八个感光数据VDI都能同时在各个输出端输出，处理单元14即可同时获得八个感光数据VDI。

请同时参阅图6，其为图5中各个输出端同时输出的感光数据VDI的数据结构示意图。每个感光数据VDI用Dxy表示，其中x表示感光矩阵的“行”(x＝0、1、2、3.....)，y表示感光矩阵的“列”(y＝0、1....)。当感光元件100的第一个感光数据VDI(D00)传递到连接于存储单元10输出端的最后一个寄存器12上并输出时，图6所示的八个感光数据VDI(Dxy)为图5中的八个输出端所输出的感光数据VDI。处理单元14所连接的八个输出端的数据即为图6中虚线框所包含的八个感光数据VDI(Dxy)，且这八个感光数据VDI(Dxy)正好构成相邻的两个第一像素。此时，感光元件100的输出端已经输出到第二行的第五个感光数据VDI(D14)。当下一个脉冲到来，所有感光数据VDI继续向前传递一个，处理单元14所连接的八个输出端的数据则变为构成下一个相邻两个第一像素的八个感光数据。如此，往后感光元件100的输出端每输出一个感光数据VDI，处理单元14则可同时得到构成相邻两个第一像素的八个感光数据。在本实施方式中，第一像素为RGB格式。

处理单元14接收到八个感光数据VD1后需要对构成第一像素的四个感光数据D00、D01、D10、D11中的R/G/B三色数据分离，得到R/G/B三个色彩数据。四个感光数据中R/G/B每个颜色的排列有二种方式，如此，所有像素中的R/G/B分离共有二种计算方法。图7所示为对两种排列方式的二种色彩分离的计算公式列表。构成第一像素的另外四个感光数据D02、D03、D12、D13中的R/G/B三色数据分离的方法与四个感光数据D00、D01、D10、D11相同。

图8及图9分别为处理单元14中实现上述二种算法的电路结构图。处理单元14包括加法器140和移位器142，加法器140用于进行图7中所述公式的加法运算，移位器142用于进行图7中所述公式的除法运算，其中除以2(/2)相当于将数据右移一位。

上述色彩处理装置200仅仅是以四个感光点作为一个像素的色彩分离举例，其还可以延伸到九个，十六个等其他数量的感光点作为一个像素的情况。

处理单元14对同时接收到的RGB格式的第一像素进行如下处理：

首先，将RGB格式的第一像素转换成YUV格式的第二像素，该第二像素包括第一输入值(Y)及第二输入值(U、V)；转换公式如下：

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G-0.1B。

本实施方式中，在垂直方向上，相邻两个第一像素共用两个感光数据；在水平方向上，该第一像素中相邻两个感光数据的RGB分量是相同的；所以转换后的YUV值也是一致的。

其次，对YUV格式的第二像素进行采样；其中采样后的第二像素的第一输入值(Y)为相邻两个第二像素的第一输入值(Y)的平均值，采样后的第二像素的第二输入值(U、V)维持不变。在本实施方式中，同一个【2*2】矩阵第二像素中左右相邻两个感光数据的YUV值可以转化成YUV422格式，采样后以【YUYV】形式存在，图像的精度减半。其中【YU】中的Y值保持不变，【YV】中的Y值为相邻两个第二像素中【YUYV】的【YU】中Y的平均值，并将【YUYV】按照【YUV】【UYV】形式组合，其中U值及V值保持不变，【UYV】中的Y值为处理后的新值。

在其他实施方式中，处理单元14也可以利用YUV444格式对第二像素进行采样，采样后以【YUV】形式存在。其中【YUV】中的Y值为相邻两个第二像素中【YUV】中Y的平均值，U值及V值保持不变。

最后，将采样后的第二格式的第二像素转换成第一格式的第一像素，转换公式如下：

R＝Y+1.14V；

G＝Y-0.39U-0.58V；

B＝Y+2.03U。

其中，若以YUV422格式采样，需要将同一个【2*2】矩阵第二像素中的【YUV】及【UYV】分别转换成【RGB】，因而一个【2*2】矩阵第二像素中可以获得两个像素的RGB值，填充在【2*2】矩阵配置的相应位置。若以YUV444格式采样，只要将【2*2】矩阵第二像素的【YUV】转换成【RGB】。

本发明提出的一种利用FPGA实现的，直接将CMOS输出转换为YUV422格式的新模型，该模型同时可以辅助实现图像边缘锯齿现象消除，采用边缘像素和其邻域内非边缘像素的颜色单独进行运算的思想，利用RGB值与YUV色彩空间之间的关系，对YUV422格式中的Y值平滑处理，使得RGB像素分配均匀，图像的边界处不再有锯齿痕迹，对后期图像处理带来极大程度上的便捷。该方法简单易用，为工业检测，图像传输、压缩及医学影像，遥感技术等对高精度图像有较高要求的领域的研究及应用提供了一种非常方便有效的处理手段和参考模型。

以下为处理单元14对RGB数据矩阵进行处理的具体示例：

现有一幅由两种颜色构成的图像，左侧(图10中B11、G12、B13所代表的一侧)绿色(R＝0；G＝255；B＝0)，右侧(图10中G14、B15、G16所代表的一侧)为蓝色(R＝100；G＝0；B＝255)。处理单元14对图10进行处理，其包括以下步骤：

步骤一：通过一个[2*2]矩阵可以获得两个像素的RGB分量，左右相邻两点的RGB是一致的，如图10所示。

B11-R＝G12-R＝R22＝0

B11-G＝G12-G＝(G12+G21)/2＝(255+255)/2＝255

B11-B＝G12-B＝B11＝0

B13-R＝G14-R＝R24＝100

B13-G＝G14-G＝(G23+G14)/2＝(255+0)/2＝128

B13-B＝G14-B＝B13＝0

B15-R＝G16-R＝R26＝100

B15-G＝G16-G＝(G16+G25)/2＝(0+0)/2＝0

B15-B＝G16-B＝B 15＝255

G21-R＝R22-R＝R22＝0

G21-G＝R22-G＝(G21+G32)/2＝(255+255)/2＝255

G21-B＝R22-B＝B31＝0

G23-R＝R24-R＝R24＝100

G23-G＝R24-G＝(G23+G34)/2＝(255+0)/2＝128

G23-B＝R24-B＝B33＝0

G25-R＝R26-R＝R26＝100

G25-G＝R26-G＝(G25+G36)/2＝(0+0)/2＝0

G25-B＝R26-B＝B35＝255

步骤二：将RGB转YUV格式。

其中同一个[2*2]矩阵中相邻两点的RGB是一致的，所以转化后的YUV值也是一致的。根据RGB转YUV的公式，转换如下：

B11-RGB(0，255，0)---＞B11-YUV(150，-74，-131)

G12-RGB(0，255，0)---＞G12-YUV(150，-74，-131)

B13-RGB(100，128，0)---＞B13-YUV(105，-52，-4)

G14-RGB(100，128，0)---＞G14-YUV(105，-52，-4)

B15-RGB(100，0，255)---＞B15-YUV(59，96，36)

G16-RGB(100，0，255)---＞G16-YUV(59，96，36)

G21-RGB(0，255，0)---＞G21-YUV(150，-74，-131)

R22-RGB(0，255，0)---＞R22-YUV(150，-74，-131)

G23-RGB(100，128，0)---＞G23-YUV(105，-52，-4)

R24-RGB(100，128，0)---＞R24-YUV(105，-52，-4)

G25-RGB(100，0，255)---＞G25-YUV(59，96，36)

R26-RGB(100，0，255)---＞R26-YUV(59，96，36)

步骤三：按YUV422格式进行采样。

同一个[2*2]中两个[YUV]可以转换为YUV422格式，采样后以[YUYV]形式存在，图像的精度减半。

B11 G12 B13 G14

Y U V Y U V Y U V Y U V

150 -74 -131 150 -74 -131 105 -52 -4 105 -52 -4

步骤四：对每个[YUYV]中的Y值进行重新分配。

其中[YU]中的Y值保持不变，仅对[YV]中的Y值进行处理。处理后Y值为相邻两个[2*2]矩阵中[YUYV]的[YU]中Y的平均值。

Y U Y V Y U Y V Y U

150 -74 150 -131 105 -52 105 -4 59 96

Y值重新分配

Y U Y V Y U Y V

150 -74 128 -131 105 -52 82 -4

步骤五：重新组合的YU、YV按照[YUV][UYV]形式组合。

其中U、V直接继承保持原值，[UYV]中的Y值为处理后的新值。

Y U Y V Y U Y V

150 -74 128 -131 105 -52 82 -4

Y U V U Y V Y U V U Y V

150 -74 -131 -74 128 -131 105 -52 -4 -52 82 -4

步骤六：再次进行YUV与RGB的转换。

Y U V U Y V Y U V U Y V

150 -74 -131 -74 128 -131 105 -52 -4 -52 82 -4

R G B R G B R G B R G B

0 255 0 -21 233 0 100 128 0 77 105 -24

每个【2*2】矩阵均可以得到两个像素的RGB值，填充在[2*2]配置的对应位置。

请参阅图11，一较佳实施方式的色彩处理方法300，该色彩处理方法300执行于色彩处理装置200中，该色彩处理方法300包括以下步骤：

步骤302：通过多个寄存器中的部分寄存器接收并延迟感光元件输出的多个感光数据；

步骤304：通过存储单元存储感光元件输出的多个感光数据并逐一传递给另一部分感光元件；

步骤305：同时接收该多个寄存器输出的多个感光数据，该多个感光数据构成相邻的两个第一像素，该第一像素为第一格式，在本实施方式中，第一格式为RGB格式；

步骤306：将第一格式的第一像素转换成第二格式的第二像素，在本实施方式中，第一格式为YUV格式；该第二像素包括第一输入值(亮度信息：Y)及第二输入值(色度信息：U、V)；转换公式为：

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G-0.1B。

步骤308：对第二格式的第二像素进行采样；其中采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，采样后的第二像素的第二输入值维持不变；具体地，在垂直方向上，相邻两个第一像素共用两个感光数据；在水平方向上，该第一像素中相邻两个感光数据的RGB分量是相同的；具体采样方法为：将第二像素中左右相邻两个感光数据的YUV分量按照【YUYV】形式采样，其中【YU】中的Y值保持不变，【YV】中的Y值为相邻两个第二像素中【YUYV】的【YU】中Y的平均值；

将【YUYV】按照【YUV】【UYV】形式组合，其中U值及V值保持不变，【UYV】中的Y值为处理后的新值。

步骤310：将采样后的第二格式的第二像素转换成第一格式的第一像素，转换公式为：

R＝Y+1.14V；

G＝Y-0.39U-0.58V；

B＝Y+2.03U。

本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围之内，对以上实施例所作的适当改变和变化都落在本发明要求保护的范围之内。

Claims

1.一种色彩处理装置，包括处理单元，该处理单元用于执行以下功能：

接收第一格式的第一像素；

将第一格式的第一像素转换成第二格式的第二像素，该第二像素包括第一输入值及第二输入值；

对第二格式的第二像素进行采样；其中采样后的第二像素的第一输入值为相邻两个第二像素的第一输入值的平均值，采样后的第二像素的第二输入值维持不变；

并将采样后的第二格式的第二像素转换成第一格式的第一像素。

2.如权利要求1所述的色彩处理装置，其特征在于：该色彩处理装置还包括延迟单元，该延迟单元包括多个寄存器和存储单元，该多个寄存器中的部分寄存器用于接收并延迟感光元件输出的多个感光数据；该存储单元存储感光元件输出的多个感光数据并逐一传递给另一部分感光元件；该处理单元同时接收该多个寄存器输出的多个感光数据，该多个感光数据构成相邻的两个第一像素。

3.如权利要求2所述的色彩处理装置，其特征在于：该处理单元包括加法器和移位器，该加法器用于将一个第一像素内的多个相同颜色的感光数据相加，该移位器用于将多个相加后的感光数据移位，以得到该多个相同颜色的感光数据的平均值。

4.如权利要求2所述的色彩处理装置，其特征在于：该第一格式包括RGB，该第二格式包括YUV，该第一输入值为亮度信息(Y)，该第二输入值为色度信息(U、V)。

5.如权利要求4所述的色彩处理装置，其特征在于：该处理单元用于采集构成相邻两个第一像素的八个感光数据，且该处理单元利用如下表一所述的两种运算方法得出该四个感光数据中的各颜色的色彩数据，其中，表一中的各个参数为表二中所示构成第一像素的四个感光数据：

表一

第一种第二种 R＝D10 R＝D11 G＝(D00+D 11)/2 G＝(D01+D10)/2 B＝D01 B＝D00

表二

D00 D01 D10 D11

6.如权利要求5所述的色彩处理装置，其特征在于：在垂直方向上，相邻两个第一像素共用两个感光数据；在水平方向上，该第一像素中相邻两个感光数据的RGB分量是相同的；该处理单元将第二像素中左右相邻两个感光数据的YUV分量按照【YUYV】形式采样，其中【YU】中的Y值保持不变，【YV】中的Y值为相邻两个第二像素中【YUYV】的【YU】中Y的平均值，并将【YUYV】按照【YUV】【UYV】形式组合，其中U值及V值保持不变，【UYV】中的Y值为处理后的新值。

7.一种色彩处理方法，包括以下步骤：

接收第一格式的第一像素；

将采样后的第二格式的第二像素转换成第一格式的第一像素。

8.如权利要求7所述的色彩处理方法，还包括：

通过多个寄存器中的部分寄存器接收并延迟感光元件输出的多个感光数据；

通过存储单元存储感光元件输出的多个感光数据并逐一传递给另一部分感光元件；

同时接收该多个寄存器输出的多个感光数据，该多个感光数据构成相邻的两个第一像素。

9.如权利要求8所述的色彩处理方法，其特征在于：该第一格式包括RGB，该第二格式包括YUV，该第一输入值为亮度信息(Y)，该第二输入值为色度信息(U、V)。

10.如权利要求9所述的色彩处理方法，其特征在于：在垂直方向上，相邻两个第一像素共用两个感光数据；在水平方向上，该第一像素中相邻两个感光数据的RGB分量是相同的；步骤“对第二格式的第二像素进行采样”具体包括：

将第二像素中左右相邻两个感光数据的YUV分量按照【YUYV】形式采样，其中【YU】中的Y值保持不变，【YV】中的Y值为相邻两个第二像素中【YUYV】的【YU】中Y的平均值；

11.如权利要求7所述的色彩处理方法，其特征在于：步骤“将第一格式的第一像素转换成第二格式的第二像素”是利用如下公式实现的，

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G-0.1B。

12.如权利要求7所述的色彩处理方法，其特征在于：步骤“将采样后的第二格式的第二像素转换成第一格式的第一像素”是利用如下公式实现的，

R＝Y+1.14V；

G＝Y-0.39U-0.58V；

B＝Y+203U。