CN100366045C - 一种实现缩放的图像转换方法 - Google Patents

Abstract

本发明公开了一种实现缩放的图像转换方法，该方法包括以下步骤：确定缩放后图像中每个像素点在原始图像中的对应点；对于每种颜色类型，根据所述对应点选取在原始图像中包围所述对应点的矩形网格，选取所有处于矩形网格上的该颜色类型的像素点作为该颜色类型的插值数据点，其中R或B的矩形网格与坐标轴平行，G的矩形网格与坐标轴成45度角；利用每种颜色类型的插值数据点进行插值计算得到缩放后图像中每个像素点的每种颜色类型的颜色值。本发明减少了图像处理过程中插值计算的计算量，降低了计算复杂度，加快了图像处理的速度，并且本发明不会带来图像质量的下降。

Description

一种实现缩放的图像转换方法

技术领域

本发明涉及图像处理领域，特别是一种实现缩放的图像转换方法。

背景技术

在数码相机、摄像头等设备中，通常由Bayer传感器采集图像，将图像离散化为像素点，并用某种基色来表示像素点的颜色值。Bayer传感器采用RGB(红蓝绿)颜色模型，该模型包括R(红)、G(绿)、B(蓝)三种基色。在Bayer传感器的数据格式中，每个像素点只采集R、G、B三种基色之一的颜色值，如图1(a)～图1(d)所示的是Bayer传感器的数据格式，由于在图1所示的坐标系中，像素点的颜色值在初始行的排列方式不同，从而存在如图1(a)～图1(d)所示的四种不同的数据排列格式。其中，图1(a)初始行的像素点颜色类型遵循GR的规律重复采集；图1(b)初始行的像素点颜色类型遵循RG的规律重复采集；图1(c)初始行的像素点颜色类型遵循BG的规律重复采集；图1(d)初始行的像素点颜色类型遵循GB的规律重复采集。这里所述行指的是图1(a)～图1(d)中沿X轴方向排列的像素点。在以下的说明中，将图1所示的四种图像格式统称为Bayer数据格式。

在与数码相机或者摄像头连接的显示设备上显示图像时，经常需要对采集到的图像进行缩放操作，最终显示的图像为大小适宜的RGB图像，该RGB图像采用的RGB数据格式中每个像素点同时具有R、G、B三种基色的颜色值。所述缩放操作一般采用最邻近方法、双线性插值(Bi-Linear)和双三次样条插值(Bi-Cubic)等插值方法实现。

如图2所示，在现有技术中从Bayer数据格式到缩放后的RGB数据格式图像一般需要经过以下过程：

步骤201，将Bayer传感器采集到的Bayer数据格式图像转换成RGB数据格式的图像。

由于Bayer数据格式中每个像素点只有一种基色的颜色值，而RGB数据格式中每个像素点同时具有三种基色的颜色值，所以在转换过程中，需要用插值的方法得到Bayer数据格式中每个像素点所没有的另两种基色的颜色值。

下面以图1(a)中标出的像素点A为例说明从Bayer数据格式到RGB数据格式的转换过程。图1(a)中的像素点A本身具有G颜色值，在X轴方向和A相邻的两个像素点具有R颜色值，在Y轴方向和A相邻的两个像素点具有B颜色值。假设像素点A的G颜色值为G0、在X轴方向和像素点A相邻的两个像素点的R颜色值为R1和R2、在Y轴方向和像素点A相邻的两个像素点的B颜色值为B1和B2，那么像素点A的R颜色值R0和B颜色值B0分别为：

$R0=\frac{R1+R2}{2}---\left(1\right)$

$B0=\frac{B1+B2}{2}---\left(2\right)$

公式(1)和公式(2)采用的插值方法是线性插值方法，在实际应用中可以根据需要采用其它的插值方法。

在上述插值过程之后，像素点A具有了三种基色的颜色值，分别为：R0、G0、B0。对Bayer数据格式图像中的所有像素点进行上述插值过程后，就获得了RGB数据格式的图像数据。

步骤202，对RGB数据格式的图像进行缩放操作，得到缩放后的RGB图像。

这里需要插值计算缩放后图像中所有像素点的三种颜色值，下面以缩放后图像中一个像素点的R颜色值计算过程为例，说明缩放操作。

假设缩放前图像大小为M×N，缩放前图像中(i，j)位置的像素点的R颜色值为f(i，j)，其中0≤i＜M，0≤j＜N，缩放后图像的大小为M′×N′，缩放后图像中(i′，j′)位置的像素点的R颜色值为f′(i′，j′)，其中0≤i′＜M′，0≤j′＜N′。

首先，获取缩放后图像中像素点(i′，j′)在缩放前图像中的对应点(x，y)，所述对应点的坐标值由x＝i′M/M′，y＝j′N/N′确定，其中M′/M、N′/N分别为X轴方向和Y轴方向的放大倍数。

其次，根据对应点(x，y)确定缩放后图像像素点(i′，j′)在缩放前图像中的参考点(i，j)，其中i、j为i＝x、j＝y，即为x、y的向下取整。如图3所示，对应点(x，y)与参考点(i，j)在X轴方向和Y轴方向的距离分别为dx＝x-i，dy＝y-j，由于i、j分别由x、y的向下取整得到，因此有0≤dx，dy＜1。

然后，根据对应点和参考点选取插值数据点，由所选取插值数据点的R颜色值利用插值方法计算得到缩放后图像中像素点(i′，j′)的R颜色值f′(i′，j′)。

对于不同的插值方法，所选取的插值数据点的个数和位置是不同的。如果采用Bi-Linear方法，可以选择图3中标示的A、B、C、D四个像素点的颜色值进行计算，这四个点的坐标分别为(i，j)、(i，j+1)、(i+1，j)和(i+1，j+1)，那么由公式(3)计算计算得到f′(i′，j′)：

f′(i′，j′)＝(1-dx)(1-dy)f(i，j)+dy(1-dx)f(i，j+1)+dx(1-dy)f(i+1，j)+dxdyf(i+1，j+1)(3)

如果采用Bi-Cubic方法，可以选取图3中以灰色标示的十六个像素点的颜色值进行插值计算。所用公式为：

$f^{\′}(i^{\′},j^{\′})=\underset{m=-1}{\overset{2}{\mathrm{\Σ}}}\underset{n=-1}{\overset{2}{\mathrm{\Σ}}}f(i+m,j+n)R(m-\mathrm{dx})R(\mathrm{dy}-n)---\left(4\right)$

上式中加权系数R(x)的值由下式得到：

$R\left(x\right)=\frac{1}{6}[P{(x+2)}^3-4P{(x+1)}^3+6P{\left(x\right)}^3-4P{(x-1)}^3]---\left(5\right)$

其中 $P\left(x\right)=\left\{\begin{array}{cc}x& x\&GreaterEqual;0\\ 0& x<0\end{array}\right..$

对缩放后图像中所有像素点的三种基色的颜色值都进行上述插值计算后，得到放后的RGB图像。

从上述现有技术的过程可以看出，在步骤201中进行了2MN次用于数据格式转换的插值计算，在步骤202中进行了3M′N′次用于图像缩放的插值计算，则现有技术中需要插值计算的次数为2MN+3M′N′，计算量非常大，并具有相当高的计算复杂度。从Bayer数据格式通过插值形成RGB数据格式图像后，并没有提供更多的图像信息，当在步骤202中进行图像缩放操作的时候，又一次在同样信息量的基础上进行了插值操作，也没有增加更多的图像信息。因此，现有技术在没有增加图像信息的情况下，进行了两次插值操作，使得整个图像处理过程具有非常高的计算复杂度，降低了图像处理的速度，很难适用于视频图像实时性要求较高的场合。

发明内容

有鉴于此，本发明提出了一种实现缩放的图像转换方法，用以减少图像处理时的计算量，加快图像处理速度。

根据上述目的，本发明提供了一种实现缩放的图像转换方法，原始图像中的像素点包括R、G、B三种颜色类型中的一种，缩放后图像中的像素点包括R、G、B三种颜色类型，该方法包括以下步骤：

A.确定缩放后图像中每个像素点在原始图像中的对应点；

B.对于每种颜色类型，根据所述对应点选取原始图像中包围所述对应点的矩形网格，选取所有处于矩形网格上的该颜色类型的像素点作为该颜色类型的插值数据点，其中R或B的矩形网格与坐标轴平行，G的矩形网格与坐标轴成45度角；

C.利用每种颜色类型的插值数据点进行插值计算得到缩放后图像中每个像素点的每种颜色类型的颜色值。

进一步，所述步骤B包括：根据所述对应点确定原始图像中每种颜色类型的参考点；对于每种颜色类型，在选取该颜色类型的矩形网格时，使该颜色类型的参考点位于该颜色类型的矩形网格上。

步骤B中根据所述对应点确定原始图像中每种颜色类型的参考点的步骤包括：将所述对应点的坐标值向下取整得到取整后的坐标值，确定取整后的坐标值所对应的像素点的颜色类型，

如果所述像素点的颜色类型为R，那么以该像素点为R色参考点，以该像素点在X轴方向或Y轴方向上的相邻G色像素点之一为G色参考点，以该像素点与坐标轴成45度角方向上的相邻B色像素点为B色参考点；

如果所述像素点的颜色类型为G，那么以该像素点为G色参考点，以该像素点在X轴方向或Y轴方向上的相邻R色像素点之一为R色参考点，以该像素点在X轴方向或Y轴方向上的相邻B色像素点之一为B色参考点；

如果所述像素点的颜色类型为B，那么以该像素点为B色参考点，以该像素点在X轴方向或Y轴方向上的相邻G色像素点之一为G色参考点，以该像素点与坐标轴成45度角方向上的相邻R色像素点为R色参考点。

所述步骤A为：根据缩放后图像中每个像素点的坐标值和缩放倍数确定其在原始图像中的对应点。

从上述方案中可以看出，由于本发明直接在Bayer数据格式的图像上进行图像的缩放操作和格式转换操作，在一次插值操作中完成了数据格式转换和图像缩放，只需要进行3M′N′次插值计算，比现有技术减少了2MN次插值计算，因此本发明大大减少了插值计算的计算量，降低了图像处理时的计算复杂度，加快了图像处理的速度，更适用于视频处理等实时性要求较高的领域。并且，由于本发明和现有技术利用的都是原始的Bayer格式数据，两者在图像处理过程中没有增加数据，因此本发明在简化计算复杂度的同时，不会带来图像质量的下降。

附图说明

图1(a)～图1(d)为Bayer数据格式的示意图；

图2为现有技术中将Bayer数据格式转换成RGB数据格式并进行缩放的流程示意图；

图3为现有技术中插值点的选取示意图；

图4为实现本发明的流程示意图；

图5为本发明中选择三种颜色参考点的示意图；

图6为在原始图像中选取插值数据点的示意图；

图7为在原始图像中选取G色插值数据点的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。

与现有技术将整个图像处理过程分为格式转换和缩放两个部分、进行两次插值操作不同，本发明将数据格式转换和图像缩放融合在一次插值操作中完成，从而降低了计算量。

假设缩放前Bayer数据格式图像的大小为M×N，缩放后RGB数据格式图像的大小为M′×N′。那么，在缩放前Bayer数据格式的图像中每个像素点只有一个基色的颜色值；由于没有进行插值操作，在缩放后RGB数据格式的图像中每个像素点不含有与缩放前图像相关的颜色值，需要通过插值操作得到每个像素点的三种基色的颜色值。

如图4所示，实现本发明的过程如下：

步骤401，根据缩放后图像中像素点的坐标(i′，j′)和缩放倍数确定其在原始图像中的对应点(x，y)，其中x、y分别满足：x＝i′M/M′，y＝j′N/N′。

步骤402，根据对应点(x，y)确定参考点(i，j)。同一个对应点在计算不同基色的颜色值时所确定的参考点是不同的，这是由于在Bayer数据格式每个像素点只有一种基色的颜色值。

如图5所示，对应点的坐标为(x，y)，那么选择其左上方最近的、具有所要计算颜色值的像素点作为参考点。令i＝x，j＝y，首先判断对应点左上方最近像素点(i，j)的颜色类型：如果原始图像为图1(a)所示的格式，那么可以根据公式(6)判断(i，j)的颜色类型：

如果原始图像为图1(b)所示的格式，那么根据公式(7)判断(i，j)的颜色类型：

如果原始图像为图1(c)所示的格式，那么根据公式(8)判断(i，j)的颜色类型：

如果原始图像为图1(d)所示的格式，那么根据公式(9)判断(i，j)的颜色类型：

在判断出像素点(i，j)的颜色类型后，确定各种基色的参考点，分为三种情况：

A、如果(i，j)为R色，那么以(i，j)为R色参考点；(i，j-1)为G色参考点；(i-1，j-1)为B色参考点。

B、如果(i，j)为G色，那么以(i，j)为G色参考点；如果(i，j-1)为R色，那么以(i，j-1)为R色参考点、(i-1，j)为B色参考点，否则以(i-1，j)为R色参考点、(i，j-1)为B色参考点。图5中的(i，j)为G色，并且(i，j-1)为R色，因此在图5所示的情况下，以(i，j)为G色参考点、(i，j-1)为R色参考点、(i-1，j)为B色参考点

C、如果(i，j)为B色，那么以(i，j)为B色参考点、(i，j-1)为G色参考点、(i-1，j-1)为R色参考点。

步骤403至步骤404，根据参考点选取插值数据点，并根据插值数据点的颜色值插值计算出缩放后图像中(i′，j′)点的颜色值。

从图1(a)～图1(d)和图5可以看出，Bayer数据格式中G、R、B颜色类型的像素点的比例为2∶1∶1，G色和R、B色像素点具有不同的分布规律，下面分别说明不同颜色类型的参考点的插值数据点的选取。

方法1、R色或B色参考点的插值数据点的选取。由于R、B颜色类型的像素点具有相同的分布规律，因此这两种情况下插值数据点的选择是一样的，下面的过程适用于以两者中的任一种。

如图6所示，图中A点为步骤402中所确定的参考点(i，j)，在X轴方向和Y轴方向上的间隔点为相同颜色类型的像素点，那么同一颜色类型像素点的间距为正常间距的两倍，因此在计算过程中需要将加权系数进行归一化处理，使得加权系数在[0，1)区间内。

如果采用Bi-Linear插值法计算缩放后图像中(i′，j′)点的颜色值，那么可以选取图6中的A、B、C、D四个像素点作为插值数据点，其中A、B、C、D四点的坐标值分别为(i，j)、(i+2，j)、(i，j+2)和(i+2，j+2)，插值的结果由下面的公式可得：

f′(i′，j′)＝(1-dx)(1-dy)f(i，j)+dy(1-dx)f(i，j+2)+dx(1-dy)f(i+2，j)+dxdyf(i+2，j+2)(10)

其中dx、dy与现有技术缩放过程中的dx、dy不同，为了使得各插值数据点颜色值前面的系数在[0，1)区间内，取： $\mathrm{dx}=\frac{1}{2}(x-i),$ $\mathrm{dy}=\frac{1}{2}(y-j).$

如果采用Bi-Cubic插值法计算缩放后图像中(i′，j′)点的颜色值，那么可以选取图6中以灰色标示的十六个像素点作为插值数据点。采用Bi-Cubic插值法进行插值的结果由下面的公式可得：

$f^{\&prime;}(i^{\&prime;},j^{\&prime;})=(\underset{m=-1}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{2}{\mathrm{\&Sigma;}}}f(i+2m,j+2n)R(m-\mathrm{dx})R(\mathrm{dy}-n)---\left(11\right)$

上式中的dx、dy分别取 $\mathrm{dx}=\frac{1}{2}(x-i),$ $\mathrm{dy}=\frac{1}{2}(y-j),$ 其目的是使得加权系数R(x)归一化，加权系数R(x)的值由下式得到：

$R\left(x\right)=\frac{1}{6}[P{(y+2)}^3-4P{(y+1)}^3+6P{\left(y\right)}^3-4P{(y-1)}^3]---\left(12\right)$

其中 $P\left(x\right)=\left\{\begin{array}{cc}x& x\&GreaterEqual;0\\ 0& x<0\end{array}\right..$

方法2、G色参考点的插值数据点的选取。可以按照选取R、B类型参考点的插值数据点的方法来选取G类型参考点的插值数据点，如图6中所示，(i，j)点为参考点，在采用Bi-Linear方法时按照上述方法选取的四个插值数据点为(i，j)、(i+2，j)、(i，j+2)和(i+2，j+2)，可以看出具有G色的像素点(i+1，j+1)距离对应点比像素点(i+2，j+2)更近，但是该像素点(i+1，j+1)并没有被选取，因此本发明进一步提出了一种能够选取较为接近对应点的插值数据点的方法。

如图7所示，图中A点为步骤402中所确定的参考点(i，j)，图中其它像素点均为G颜色类型的像素点。在采用Bi-Linear插值法时本发明选取了图7中的A、B、C、D四个像素点作为插值数据点，这四个像素点的坐标值为(i，j)、(i+1，j+1)、(i-1，j+1)和(i，j+2)，插值的结果由下面的公式可得：

f′(i′，j′)＝(1-dx)(1-dy)f(i，j)+dy(1-dx)f(i-1，j+1)+dx(1-dy)f(i+1，j+1)+dxdyf(i，j+2)(13)

其中dx、dy与以上的dx、dy都不同，为了使得插值数据点颜色值前的加权系数归一化，这里dx、dy取： $\mathrm{dx}=(x-i)/\sqrt{2}$ 以及 $\mathrm{dy}=(y-j)/\sqrt{2}.$

如果采用Bi-Cubic插值法，那么可以选取图7中以灰色标示的十六个像素点作为插值数据点，所采用的计算公式由公式(11)作相应的变化，使其对所选的十六个像素点求和，并对其中的加权系数进行归一化处理，这里不再赘述。

从上面两种选取插值数据点的方法中可以看出，所选取的插值数据点构成矩形网格，该矩形网格将上述对应点包围在其内部，并且上述参考点位于该矩形网格上。不同的是，方法1中的矩形网格与坐标轴平行，方法2中的矩形网格与坐标轴成45度角。

经过上述步骤计算得出缩放后图像所有像素点的三种颜色值后，就得到了缩放后的RGB数据格式的图像。

本发明提出的实现过程中，可不必根据参考点选取插值数据点，而是直接根据对应点选取插值数据点，具体实现与以上描述基本相同，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种实现缩放的图像转换方法，原始图像中的像素点包括红R、绿G、蓝B三种颜色类型中的一种，缩放后图像中的像素点包括R、G、B三种颜色类型，其特征在于，该方法包括以下步骤：

A.确定缩放后图像中每个像素点在原始图像中的对应点；

B.对于每种颜色类型，根据所述对应点选取原始图像中包围所述对应点的矩形网格，选取所有处于矩形网格上的该颜色类型的像素点作为该颜色类型的插值数据点，其中R或B的矩形网格与坐标轴平行，G的矩形网格与坐标轴成45度角；

C.利用每种颜色类型的插值数据点进行插值计算得到缩放后图像中每个像素点的每种颜色类型的颜色值。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中进一步包括：

根据所述对应点确定原始图像中每种颜色类型的参考点；

对于每种颜色类型，在选取该颜色类型的矩形网格时，使该颜色类型的参考点位于该颜色类型的矩形网格上。

3.根据权利要求2所述的方法，其特征在于，步骤B中根据所述对应点确定原始图像中每种颜色类型的参考点的步骤包括：

将所述对应点的坐标值向下取整得到取整后的坐标值，确定取整后的坐标值所对应的像素点的颜色类型，

如果所述像素点的颜色类型为R，那么以该像素点为R色参考点，以该像素点在X轴方向或Y轴方向上的相邻G色像素点之一为G色参考点，以该像素点与坐标轴成45度角方向上的相邻B色像素点为B色参考点；

如果所述像素点的颜色类型为G，那么以该像素点为G色参考点，以该像素点在X轴方向或Y轴方向上的相邻R色像素点之一为R色参考点，以该像素点在X轴方向或Y轴方向上的相邻B色像素点之一为B色参考点；

如果所述像素点的颜色类型为B，那么以该像素点为B色参考点，以该像素点在X轴方向或Y轴方向上的相邻G色像素点之一为G色参考点，以该像素点与坐标轴成45度角方向上的相邻R色像素点为R色参考点。

4.根据权利要求1所述的方法，其特征在于，所述步骤A为：

根据缩放后图像中每个像素点的坐标值和缩放倍数确定其在原始图像中的对应点。

Images