CN101883218B - 一种基于摄像头的图像采集与艺术化处理的方法 - Google Patents

Abstract

本发明公开了一种基于摄像头的图像采集与艺术化处理的方法，通过摄像头采集多幅图像并对其处理、生成新的具有艺术化效果的图像。该方法首先从摄像头采集多帧图像，然后对其采用Alpha混合合成为单独一幅图像，然后与已有图像结合，再进行空间变换，最后与一幅背景图像通过Alpha混合生成目标图像，并进行存储。本发明可在具有摄像头和图像处理功能的硬件设备上实施，为用户提供一种新的艺术图像生成方法。

Description

一种基于摄像头的图像采集与艺术化处理的方法

技术领域

本发明涉及一种图像采集与艺术化处理的方法，尤其涉及一种基于摄像头的图像采集与艺术化处理的方法。

背景技术

基于摄像头的图像采集与艺术化处理这一领域已有实际产品。例如，目前常见的“大头贴”制作系统便是典型例子；还有人利用手机拍照功能实现类似“大头贴”制作系统的功能；还有人在视频聊天工具中对视频图像添加卡通特效，丰富了视频交流的手段。

近年来，一些学者基于摄像头发展出一些新型的艺术图像生成方法，这些方法主要有三种模式：

一、对摄像头采集的图像施加视觉特效。例如，Jan Fischer等开发了一种算法，对摄像头采集的图像进行实时的艺术化渲染，生成卡通风格的视频图像。再如Maria

等通过在拍照时采集运动和声音信息并将其融合入拍摄的图像，生成视觉特效图像。

二、设定一种绘画工具及绘画操作空间，系统运行时，用摄像头捕捉用户在绘画操作空间内的操作，据此进行艺术图像绘制。此模式主要是设计一种针对数字绘画的人机交互系统。例如Peter Vandoren等制作了可发出红外光的笔刷，用红外摄像头接收笔刷发出的红外光信号作为输入手段，实现了“intoPaint”系统，可以给使用者逼真的绘画笔刷使用体验。基于数字桌面(digital desk)的概念，Yasuto Nakanishi等利用普通摄像头与红外摄像头作为输入设备，提出了一套改进的数字桌面，并实现了直接用手进行数字图像绘制，提高了数字图像操作的交互便捷性与直观性。Jun Park也基于数字桌面概念提出了“Digital Canvas”系统，使得用户可以选用任意工具来进行数字绘画。事实上，Richard Greene早在1985年便利用三棱镜和摄像头搭建一套数字绘画系统，实现了用任意真实笔刷工具进行数字绘画。Daisuke Iwai等基于红外摄像头制作了热感应数位板“ThermoTablet”，结合其相应的图像操作软件，使用户可以使用具有不同热量的物体来创作数字图像。以上研究都是通过“模仿”与“延伸”真实绘画的工具、方式，构建出新型的数字绘画系统。

三、将摄像头获取的图像作为“颜料”，用户操作这些“颜料”向“画布”添加，实现艺术图像绘制。例如，数字艺术家Daniel Rozin利用摄像头实现了两套绘画系统“easel”及“Paint-Cam”，让用户利以绘图的方式将不同视频源的实时视频图像进行交互式图像融合，不同视频源采集的图像成为了创作的“颜料”。类似的，Jean-Baptiste LABRUNE等用摄像头与触摸屏构成了“sketchCam”装置，让使用者在触摸屏上通过“绘画”的方式进行艺术化的图像生成。KimikoRyokai等提出了“The World as your Palette”的理念，发明了绘画工具“I/OBrush”。这种工具外观上类似于普通笔刷，其特殊之处在于笔端安装了摄像头、照明灯及触摸传感器，它使得用户可以抓拍任意色彩、材质、运动作为“颜料”来进行数字绘画，用户利用该工具可以对任意物体进行抓拍，获得该物体的色彩或纹理的图像或视频，将这些元素作为绘画的“颜料”，然后用户将该工具在显示屏上“绘画”。

上述第三种模式与本发明的思想最为接近，即将摄像头采集的图像向目标图像融合，但上述发明都只是对摄像头采集图像进行简单处理后便将其与目标图像融合，类似于画家在颜料盒中取色后直接向画布绘制，缺少了对摄像头采集图像及已有图像进行融合的功能，无法实现类似于画家调色时选取多种颜料及辅料进行混合的过程。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于摄像头的图像采集与艺术化处理的方法：本发明通过摄像头采集多幅图像并对其处理、生成新的具有艺术化效果的图像。

本发明的目的是通过以下技术方案来实现的：一种基于摄像头的图像采集与艺术化处理的方法，该方法包括以下步骤：

(1)、从摄像头实时采集的图像序列中抽取多帧图像，并对每帧图像设定Alpha通道；

(2)、对抽取的多帧图像进行Alpha混合，生成素材图；

(3)、将生成的素材图与已有的图像结合，生成包含Alpha通道的前景图像，具体为：若素材图是灰度图像，则将其灰度通道作为前景图像的Alpha通道，而前景图像的RGB通道则采用已有的一幅图像的RGB通道；若素材图是RGB图像，则将其RGB通道作为前景图像的RGB通道，前景图像的Alpha通道则采用已有的一幅灰度图像；

(4)、将前景图像在其图像平面内进行空间变换；

(5)、将前景图像与一幅预先设定的背景图像进行Alpha混合，合成为目标图像；

(6)、存储目标图像。

本发明与现有的较为接近的基于摄像头的图像采集与艺术化处理方法相比，有益效果是：

一、不必设计专门的硬件设备，在配备摄像头的个人电脑、普通数码相机、带摄像头的手机等具有摄像头和图像处理功能的硬件设备上即可实施；

二、已有的方法只是对摄像头采集图像进行简单处理后便将其与目标图像融合，本发明通过采集多幅原始采集图像并进行融合，处理方式更加丰富灵活，从而获得更得艺术处理自由度。

附图说明

图1为本专利的总体方法流程图；

图2为实施方式1的流程实例图；

图3为图像的缩放旋转平移过程图；

图4为实施方式2的流程实例图；

图5为实施方式3的流程实例图；

图6为实施方式5的系统框图。

具体实施方式

本发明的具体实施中，用到了一些公知的图像处理技术，下面首先介绍本说明书叙述中有关这些技术的规定：

1.本说明书所论述的图像都是有限值域的，即像素的强度值不能为无穷大。

在图像处理算法中，由于图像可以用不同的数据类型表达，因此其值域随其数据类型而各有不同，为避免造成表述混乱，本说明书约定：图像像素的强度最大值用1表示、最小值用0表示，即约定所有图像的值域限定于区间[0，1]。

2.灰度图像表示为二元函数：

v＝v(x，y)，(x，y)∈D

x，y表示图像所处的平面(本说明书中称为图像平面)的坐标，v(x，y)表示位于坐标(x，y)处的灰度强度为v，按前述约定，v∈[0，1]，D为图像的定义域，表示在xy平面内的有效图像区域。

3.RGB图像表示为三值二元函数：

$I=\left[\begin{array}{c}r\\ g\\ b\end{array}\right]=\left[\begin{array}{c}r(x,y)\\ g(x,y)\\ b(x,y)\end{array}\right],(x,y)\∈D$

x，y表示平面坐标，r(x，y)，g(x，y)，b(x，y)分别表示位于坐标(x，y)处的r通道、g通道、b通道的强度值，按前述约定，r，g，b∈[0，1]，D为图像的定义域。

4.多色彩通道图像表示方法：

多通道图像可表示为多值二元函数：

$I=\left[\begin{array}{c}{c}_1(x,y)\\ c_2(x,y)\\ ...\\ c_n(x,y)\end{array}\right]=C(x,y),(x,y)\∈D$

x，y表示平面坐标，c_i(x，y)表示位于坐标(x，y)处的第i个色彩通道的值，C表示所有色彩通道，D为图像的定义域。按前述约定，c_i(x，y)∈[0，1]。

5.加入Alpha通道的图像表示方法：

Alpha通道(Alpha Channel)技术是一种成熟的图像融合技术，最早是由A.R.Smith在20世纪70年代提出来，最终由Thomas Porter和Tom Duff在1984年发展成熟。这一技术是在图像的定义域内增添了表示图像“透明度”的通道，即Alpha通道。

对于一幅多通道图像，添加Alpha通道后，可表示为：

$I=\left[\begin{array}{c}{c}_1(x,y)\\ x_2(x,y)\\ ...\\ c_n(x,y)\\ a(x,y)\end{array}\right]=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right],(x,y)\∈D$

其中，c_i为色彩通道，用大写的C表示所有色彩通道，a为Alpha通道，其取值范围与一般色彩通道一样，按前述约定，即[0，1]。

相应的，对一幅灰度图像添加Alpha通道后，可表示为：

$I=\left[\begin{array}{c}v(x,y)\\ a(x,y)\end{array}\right]=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right],(x,y)\∈D$

对一幅RGB图像添加Alpha通道后，可表示为：

$I=\left[\begin{array}{c}r(x,y)\\ g(x,y)\\ b(x,y)\\ a(x,y)\end{array}\right]=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right],(x,y)\∈D$

对于一般采集的图像，其Alpha通道可默认为恒定值1，即图像完全不透明。

6.图像的Alpha混合(Alpha Blending)算法：

Alpha混合是一种利用Alpha通道的图像融合算法，简单的说，它是一种利用Alpha通道融合前景图像与背景图像来创造部分透明效果的技术。这种算法针对两幅具有相等色彩通道数的图像(分别称为前景图像和背景图像)，利用二者的Alpha通道和普通色彩通道作为参量，将二者融合为一幅图像。

设待融合的两幅图像为前景图像Is和背景图像Id，分别表示为：

$\mathrm{Is}=\left[\begin{array}{c}\mathrm{Cs}(x,y)\\ \mathrm{as}(x,y)\end{array}\right],(x,y)\∈\mathrm{Ds}$

$\mathrm{Id}=\left[\begin{array}{c}\mathrm{Cd}(x,y)\\ \mathrm{ad}(x,y)\end{array}\right],(x,y)\∈\mathrm{Dd}$

符号Cs和Cd表示两幅图像各自的所有色彩通道，二者的色彩通道数目必须一样，融合后的图像表示为：

$I=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right]=\mathrm{blend}(\mathrm{Is},\mathrm{Id})=\mathrm{blend}(\left[\begin{array}{c}\mathrm{Cs}\\ \mathrm{as}\end{array}\right],\left[\begin{array}{c}\mathrm{Cd}\\ \mathrm{ad}\end{array}\right]),(x,y)\∈D$

其中，必满足

blend(Is，Id)表示Alpha混合公式，Is为前景图，Id为背景图。

则依据上述表示符号，下表列出了常用的Alpha混合公式：表1：常用的Alpha混合公式

上表只列出了部分Alpha混合计算公式。Alpha混合公式总的思想是利用两幅图像的色彩通道和Alpha通道将两幅图像相互重叠的对应像素的色彩值进行混合。目前，一些常用的Alpha混合公式已硬件化。

7.多幅图像的Alpha混合算法

对于多幅图像，采用迭代的方式进行混合。设有n幅待混合的图像I₁，I₂，...，I_n：

$I_i=\left[\begin{array}{c}{C}_i(x,y)\\ a_i(x,y)\end{array}\right],(x,y)\∈D_i$

首先每幅图像选定一种Alpha混合公式，表示当此幅图像作为前景图时需采用的Alpha混合公式，第n幅图像的Alpha混合以符号blend_n表示，然后，按下述计算顺序进行迭代运算：

I₁₂＝blend₂(I₂，I₁)

I₁₃＝blend₃(I₃，I₁₂)

…

I_1i＝blend_i(I_i，I_1(i-1))

…

I_1n＝blend_n(I_n，I_1(n-1))

I_1n即表示从第一幅图像混合至第i幅图像。

8.图像的空间变换

图像所在的坐标平面oxy称为图像平面，图像的空间变换即是图像在其图像平面内发生坐标变换，常见变换包括平移、缩放、斜切、旋转等线性变换以及球面变换、桶形变换、枕形变换等非线性变换。

对于一幅包含Alpha通道的图像：

$I=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right],(x,y)\∈D$

对其进行空间变换，即对其每个通道施加变换：

$I^{\′}=\left[\begin{array}{cc}C(f(x,y),g(x,y))& \\ a(f(x,y),g(x,y))& \end{array}\right],(f(x,y),g(x,y))\∈D$

将式中符号代换，得变换后的图像：

$I^{\′}=\left[\begin{array}{c}{C}^{\′}(x,y)\\ a^{\′}(x,y)\end{array}\right],(x,y)\∈D^{\′}$

上述空间变换f(x，y)及g(x，y)可用齐次坐标变换的形式表达：

$\left[\begin{array}{c}f(x,y)\\ g(x,y)\\ 1\end{array}\right]=M\×\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}{a}_{11}x+a_{12}y+a_{13}\\ a_{21}x+a_{22}y+a_{23}\\ 1\end{array}\right].$

如图1所示，本发明基于摄像头的图像采集与艺术化处理的方法，包括以下步骤：

1、从摄像头实时采集的图像序列中抽取多帧图像，并对每帧图像设定Alpha通道；

2、对抽取的多帧图像进行Alpha混合，生成素材图；

3、将生成的素材图与已有的图像结合，生成包含Alpha通道的前景图像，处理方式如下：

若素材图是灰度图像，则将其灰度通道作为前景图像的Alpha通道，而前景图像的RGB通道则采用已有的一幅图像的RGB通道；若素材图是RGB图像，则将其RGB通道作为前景图像的RGB通道，前景图像的Alpha通道则采用已有的一幅灰度图像。

4、将前景图像在其图像平面内进行空间变换。

5、将前景图像与一幅预先设定的背景图像进行Alpha混合，合成为目标图像。

6、存储目标图像，包括打印、保存至存储器等方式。

下面根据实施例详细描述本发明，本发明的目的和效果将变得更加明显。

实施例1

图2示意了本实施方式的流程实例。

下面详细介绍本实施方式的各个步骤。

步骤1(201).从摄像头206实时采集的图像序列中抽取两帧图像，二者的Alpha通道设为1。本实施方式限定获取的两帧图像必须为灰度图像，用V1(207)，V2(208)表示：

$V_1=\left[\begin{array}{c}{v}_1(x,y)\\ a_1(x,y)\end{array}\right]=\left[\begin{array}{c}{v}_1(x,y)\\ 1\end{array}\right],(x,y)\∈D_1:x\∈[0,l],y\∈[0,w]$

$V_2=\left[\begin{array}{c}{v}_2(x,y)\\ a_2(x,y)\end{array}\right]=\left[\begin{array}{c}{v}_2(x,y)\\ 1\end{array}\right],(x,y)\∈D_1:x\∈[0,l],y\∈[0,w]$

本实施方式限定两幅图像的定义域D相同，都是长l宽w，左下角位于原点且四边平行于坐标轴的矩形。

步骤2(202).对步骤1中获得的两帧图像进行Alpha混合。V₁、V₂为灰度图，则合成的素材图d(209)也为灰度图，表示如下：

$d=\left[\begin{array}{c}v(x,y)\\ a(x,y)\end{array}\right]=\mathrm{blend}(V_1,V_2),(x,y)\∈D_1$

由于V₁、V₂的定义域都为D₁，则d的定义域也为D₁。

步骤3(203)：将步骤2生成的素材图与已有的图像结合，生成包含Alpha通道的前景图像。本实施方式中，步骤2生成的素材图d为灰度图像，则处理方式为：设定一幅RGB图像I_o(211)，其图像定义域与素材图d一样，然后生成前景图像I_f(210)，其RGB通道为I_o的色彩通道，其Alpha通道为素材图d的灰度通道v(x y)。

具体过程如下：

步骤3.1.设定一幅RGB图像，用符号I_o表示，其定义域与步骤2生成的素材图像一样：

$I_o=\left[\begin{array}{c}{r}_o\\ g_o\\ b_o\end{array}\right]=\left[\begin{array}{c}{r}_o(x,y)\\ g_o(x,y)\\ b_o(x,y)\end{array}\right],(x,y)\∈D_1$

步骤3.2.以Io的RGB通道作为色彩通道，步骤2生成的素材图为Alpha通道，组成前景图像：

$I_f=\left[\begin{array}{c}{r}_f\\ g_f\\ b_f\\ a_f\end{array}\right]=\left[\begin{array}{c}{r}_o(x,y)\\ g_o(x,y)\\ b_o(x,y)\\ v(x,y)\end{array}\right],(x,y)\∈D_1$

步骤4(204).将前景图像I_f在其图像平面内进行空间变换，得到I_f’(212)。本实施中，空间变换方式限定为平移、旋转、尺度这几种线性变换方式，运算过程如下：

步骤4.1.首先确定变换的目标区域，本实施方式中，目标区域必须是图像平面内的矩形区域。目标区域由几组参数确定，即目标区域D₂的原点位置(tx，ty)，目标区域矩形长宽尺寸m、n，目标区域矩形相对于原图像平面坐标轴的倾斜角度θ。

步骤4.2.根据前景图像的定义域D1及目标区域D2，确定平移矩阵T、旋转矩阵R及缩放矩阵S：

$T=\left[\begin{array}{ccc}1& 0& \mathrm{tx}\\ 0& 1& \mathrm{ty}\\ 0& 0& 1\end{array}\right]$

$R=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]$

$S=\left[\begin{array}{ccc}m/l& 0& 0\\ 0& n/w& 0\\ 0& 0& 1\end{array}\right]$

步骤4.3.图像的齐次变换矩阵M由平移矩阵T、旋转矩阵R及缩放矩阵S的乘积决定：

$M=T\×R\×S$

$=\left[\begin{array}{ccc}1& 0& \mathrm{tx}\\ 0& 1& \mathrm{ty}\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{ccc}m/l& 0& 0\\ 0& n/w& 0\\ 0& 0& 1\end{array}\right]$

步骤4.4.根据齐次变换矩阵M，求得前景图像I_f的空间变换公式f(x，y)

g(x，y)＝ty+(n/w)×y×cosθ+(m/l)×x×sinθ

步骤4.5.对前景图像I_f进行图像空间变换，获得变换后的前景图I_f’，确定其定义域D₂：

${I^{\′}}_f=\left[\begin{array}{c}C(f(x,y),g(x,y))\\ a(f(x,y),g(x,y))\end{array}\right],(f(x,y),g(x,y))\∈D_1$

由(f(x，y)，g(x，y))∈D₁，可得变换后的图像的定义域D₂为：

$D_2:\left\{\begin{array}{c}0<\mathrm{tx}+(m/l)\&times;x\&times;\cos \mathrm{\&theta;}-(n/w)\&times;y\&times;\sin \mathrm{\&theta;}<l\\ 0<\mathrm{ty}+(n/w)\&times;y\&times;\cos \mathrm{\&theta;}+(m/l)\&times;x\&times;\sin \mathrm{\&theta;}<w\end{array}\right.$

图3示意了本实施的图像空间变换方法，首先，在图像平面内设定好变换的目标区域D₂(301)，然后根据D₂及D₁(302)的位置参数，获得缩放矩阵S、旋转矩阵R及平移矩阵T，将其连乘得到变换矩阵M，最后对图像进行变换，将原位于D₁区域的图像变换到D₂区域内。如图所示，图像的变换也可看成是三个步骤：一、缩放(303)；二、旋转(304)；三、平移(305)。

步骤5(205).将前景图像(212)与一幅预先设定的背景图像(213)进行Alpha混合，合成为目标图像(214)。

背景图像包括RGB色彩通道及Alpha通道：

$I_b=\left[\begin{array}{c}{r}_b\\ g_b\\ b_b\\ a_b\end{array}\right]=\left[\begin{array}{c}{r}_b(x,y)\\ g_b(x,y)\\ b_b(x,y)\\ a_b(x,y)\end{array}\right],(x,y)\&Element;D_b:x\&Element;[0,l_b],y\&Element;[0,w_b]$

本步骤即是将经过空间变换的前景图像I’_f与背景图像I_b进行Alpha混合，其融合公式可在实施中根据需要选取合适的Alpha混合公式或采用交互的方式让用户选择Alpha混合公式。

步骤6(215).存储目标图像，可采用打印、保存至存储器等方法

实施例2：

图4示意了本实施方式的流程实例。

下面详细介绍本实施方式的各个步骤。

步骤1(401).从摄像头(406)实时采集的图像序列中抽取两帧图像，二者的Alpha通道设定为1。本实施方式中，限定两帧图像都为RGB彩色图像，用I₁(407)，I₂(408)表示：

$I_1=\left[\begin{array}{c}{r}_1\\ g_1\\ b_1\\ a_1\end{array}\right]=\left[\begin{array}{c}{r}_1(x,y)\\ g_1(x,y)\\ b_1(x,y)\\ 1\end{array}\right],(x,y)\&Element;D_1:x\&Element;[0,l],y\&Element;[0,w]$

$I_2=\left[\begin{array}{c}{r}_2\\ g_2\\ b_2\\ a_2\end{array}\right]=\left[\begin{array}{c}{r}_2(x,y)\\ g_2(x,y)\\ b_2(x,y)\\ 1\end{array}\right],(x,y)\&Element;D_1:x\&Element;[0,l],y\&Element;[0,w]$

两幅图像都包含3个色彩通道r₁，g₁，b₁及r₂，g₂，b₂，二者的的定义域都为D₁，为长l宽w，左下角位于原点且四边平行于坐标轴的矩形。

步骤2(402).对步骤1中获得的两帧图像进行Alpha混合，生成素素材图d(409)。

I₁、I₂为RGB彩色图像，则合成的素材图d也为RGB彩色图像，表示如下：

$d=\left[\begin{array}{c}C(x,y)\\ a(x,y)\end{array}\right]=\left[\begin{array}{c}r(x,y)\\ g(x,y)\\ b(x,y)\\ a(x,y)\end{array}\right]=\mathrm{blend}(I_1,I_2),(x,y)\&Element;D_1$

步骤3(403)：将步骤2生成的素材图与已有的图像结合，生成包含Alpha通道的前景图像。本实施方式中，步骤2生成的素材图d为RGB图像，则处理方式为：设定一幅灰度图像V(410)，其图像尺寸与素材图d一样，然后以素材图d(409)的RGB通道作前景图像的RGB通道，灰度图像V作为前景图像的Alpha通道，生成前景图像I_f(411)。即前景图像为：

$I_f=\left[\begin{array}{c}{r}_f\\ g_f\\ b_f\\ a_f\end{array}\right]=\left[\begin{array}{c}r\\ g\\ b\\ V\end{array}\right],(x,y)\&Element;D_1$

则其色彩通道r_f，g_f，b_f为素材图d的RGB通道r，g，b，其Alpha通道a_f为设定的灰度图V。灰度图V的设定方法为：

V＝V₁·V₂

其中，

$V_1(x,y)=\left\{\begin{array}{ccccc}1,\mathrm{if}[r(x,y)\&NotEqual;0& \mathrm{or}& g(x,y)\&NotEqual;0& \mathrm{or}& b(x,y)\&NotEqual;0]\\ 0,\mathrm{if}[r(x,y)\&NotEqual;0& \mathrm{amd}& g(x,y)\&NotEqual;0& \mathrm{and}& b(x,y)\&NotEqual;0]\end{array}\right.,(x,y)\&Element;D_1$

V₂为根据实施需要而设定的灰度图，定义域为D₁。

步骤4(404).将前景图像在其图像平面内进行空间变换。本实施与第一种实施方式的步骤4完全一样，将其限定为平移、旋转、尺度这几种线性变换方式，运算过程与第一种实施方式完全一样，最终得到变换后的前景图像I_f’(412)。

步骤5(405).将前景图像(412)与一幅预先设定的背景图像(413)进行Alpha混合，合成为目标图像(414)。

背景图像包括RGB色彩通道及Alpha通道：

$I_b=\left[\begin{array}{c}{r}_b\\ g_b\\ b_b\\ a_b\end{array}\right]=\left[\begin{array}{c}{r}_b(x,y)\\ g_b(x,y)\\ b_b(x,y)\\ a_b(x,y)\end{array}\right],(x,y)\&Element;D_b:x\&Element;[0,l_b],y\&Element;[0,w_b]$

本步骤即是将经过空间变换的前景图像I’_f与背景图像I_b进行Alpha混合，其融合公式可在实施中根据需要选取合适的Alpha混合公式或采用交互的方式让用户选择Alpha混合公式。

步骤6(415).存储目标图像，可采用打印、保存至存储器等方法

实施例3：

图5示意了本实施方式的实例流程图。

本实施方式从实施方式一变化而来，本实施方式与实施方式一的区别在于步骤1和步骤2。下面详细介绍本实施方式的步骤1和步骤2。

步骤1(501).从摄像头获取n帧灰度图像V₁、V₂，...，V_n，每幅图像的Alpha通道都以已有的灰度图像设定。本步骤中，预先设定了n帧灰度图像，A₁，A₂，...，A_n，当从摄像头截获n帧灰度图像后(507)，便将A₁，A₂，..，A_n作为Alpha通道添加给V₁、V₂，...，V_n(508)。

步骤2(502).用Alpha混合技术将n帧灰度图像融合为素材图d509。混合方法即采用前述的多幅图像的Alpha混合算法，每次迭代中采用的Alpha混合公式都是预先设定好的。

步骤3至步骤6与实施方式一完全一样。

实施例4：

本实施方式对实施方式二的步骤1和步骤2进行改变，其余步骤与实施方式二一样。本实施方式的步骤1及步骤2如下：

步骤1.从摄像头获取n帧RGB彩色图像I₁、I₂，...，I_n，每幅图像的Alpha通道都以已有的灰度图像设定。本步骤中，预先设定了n帧灰度图像，A₁，A₂，...，A_n，当从摄像头截获n帧RGB彩色图像后，便将A₁，A₂，...，A_n作为Alpha通道添加给I₁、I₂，...，I_n。

步骤2.用Alpha混合技术奖n帧RGB彩色图像融合为素材图d。混合方法即采用前述的多幅图像的Alpha混合算法，每次迭代中采用的Alpha混合公式都是预先设定好的。

步骤3至步骤6与实施方式二完全一样。

实施例5：

本实施方式对前述几种实施方式进行综合，将本发明的基本处理步骤模块化，并添加附属处理模块，构成一套图像获取与处理系统，如图6所示。

图6示意了本实施方式的系统框图。图中连接线表示数据流向，中间部分621为本系统的核心部分，其中图像获取模块602、图像混合模块604、前景图生成模块606、空间变换模块608、目标图像生成模块610、存储模块612分别对应于本发明的步骤1至步骤6，它们按步骤顺序相连，在它们之间添加了暂存器603、605、607、609、611，用于存储每个模块处理的中间结果，此外每个模块运算需要的其他参数由参数生成模619块提供，每个模块的运算由控制信号生成模块618输出的信号引发，摄像头601为图像获取模块提供输入图像，摄像头控制模块622用于设定摄像头捕获图像的尺寸与色彩模式(灰度或RGB)，图像暂存器a623用于存储图像捕获模块运算时所需的图像，图像暂存器b616用于暂存前景图生成模块运算时所需的图像，背景图存储器617用于存储目标图像生成模块运算时所需背景图像。本系统还配备了控制设备620、打印机613、显示器614、存储器615，用于本系统与外界信号的交换。

下面介绍本系统的运行机制。

本系统的用户通过控制设备620对系统进行操作，控制设备包括鼠标、键盘、数位板等设备，这些设备产生的信号将输入摄像头控制模块622、控制信号生成模块618与参数生成模块619。

摄像头控制模块622的功能是根据控制设备的指示，设定摄像头捕获图像的尺寸与色彩模式(灰度或RGB)。

控制信号生成模块618的作用是将控制设备输入的信号转化为控制信号，用于引发六个处理步骤模块(图像获取模块602、图像混合模块604、前景图生成模块606、空间变换模块608、目标图像生成模块610、存储模块612)的运算。

参数生成模块619的功能是将控制设备输入的信号转化为六个处理步骤模块所需的参数。

系统运行过程中，六个处理步骤模块始终等待着由控制信号模块618发来的控制信号，当接收到控制信号后，则执行本模块的功能。

图像获取模块602执行本发明的步骤1的功能，在本实施方式中，其执行的功能是：根据参数生成模块619指定的图像帧获取数量，从摄像头截获相应数量的图像，其截获图像的尺寸和色彩模式(灰度或RGB)取决于摄像头601的设置，然后再根据参数生成模块619指定的Alpha通道设定方式，对每帧图像设定Alpha通道，设定方式有两种：1、设为1；2、将图像暂存器a623中的灰度图像提取出来作为Alpha通道；最后，将设定好Alpha通道的截获图像存入暂存器603。

图像混合模块604执行本发明的步骤2的功能，在本实施方式中，其执行的功能是：提取出暂存器603中的全部图像，并对其进行Alpha混合，Alpha混合公式的选取由参数生成模块619提供。实施方式一至实施方式四已经叙述了几种情况下的Alpha混合计算，包括对两帧灰度图像、两帧RGB彩色图像、多帧灰度图像、多帧RGB彩色图像的处理方式，本模块将根据暂存器603中图像数量和色彩模式选用实施方式一至实施方式4所述的处理方式，对图像进行Alpha混合，最终得到素材图d，并将其存入暂存器605。

前景图生成模块606执行本发明的步骤3的功能，在本实施方式中，其执行的功能是：将暂存器605中的素材图d提取出来，并与图像暂存器b中的图像结合为前景图，存入暂存器607。根据d的色彩模式有两种处理方式：若d为灰度图像，则根据参数生成模块619的指定从图像暂存器b中取得相应的RGB图像，作为前景图的RGB通道，d的灰度通道作为前景图的Alpha通道；若d为RGB彩色图像，则根据参数生成模块619的指定从图像暂存器b中取得相应的灰度图像，作为前景图的Alpha通道，d的RGB通道作为前景图的RGB通道，这两种处理方式的具体实施可参考实施方式一和实施方式二所述的步骤3。

空间变换模块608执行本发明的步骤4的功能，在本实施方式中，其执行的功能是：从暂存器607提取出前景图，根据参数生成模块619提供的空间变换参数，对其进行空间变换，然后存入暂存器609。本部执行的空间变换的详细过程可参考实施方式一所述的步骤4。

目标图像生成模块610执行本发明的步骤5的功能，在本实施方式中，其执行的功能是：从暂存器609提取出前景图，根据参数生成模块619的指定，从背景图暂存器617中提取出背景图，然后依据参数生成模块619指定的Alpha混合公式，对前景图与背景图进行混合，得到目标图像，存入暂存器611。

存储模块612执行本发明的步骤6的功能，在本实施方式中，其执行的功能是：从暂存器611中提取出目标图像，然后根据参数生成模块619的指定，对目标图像进行四种操作：1、通过打印机613打印；2、通过显示器614显示；3、存入存储器615；4、替代背景图暂存器617中的背景图。

上述六个处理步骤模块完成了本发明所述的六个步骤，其他模块对这六个模块起辅助作用。

图像暂存器a623暂存一系列的灰度图像，作为图像获取模块602对获取图像设定Alpha通道时所用的图像。

图像暂存器b616暂存一系列灰度图像及RGB彩色图像，作为前景图生成模块合成前景图时所用到的图像。

背景图暂存器617暂存一幅背景图，用于目标图像生成模块中合成目标图像的运算。

上述三个暂存器都与存储器615相连，可从其调用存储的图像。

本实施方式的各个模块可由程序模块或以实际硬件的形式实现。

实施例6：

前述的实施方式的步骤4都限定于缩放、平移、旋转几种空间变换方式，本实施主要是将变换方式扩展到任意几何变形。作为示意，本实施对实施方式一的步骤4做出改进，这种改进方法也可用于改进实施方式二到实施方式五。

在实施方式一中，步骤4中对前景图像的空间变换限定于平移、旋转及缩放，作为改进，本实施方式的步骤4的具体运算流程如下：

步骤4.1.设定齐次变换矩阵M：

$M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]$

其中，a、b、c、d、e、f为可设定的值，其设定范围为任意实数、x、y或x、y的多项式。

步骤4.2.根据齐次变换矩阵M，求得前景图像I_f的空间变换公式f(x，y)及g(x，y)：

由

可得：

f(x，y)＝a×x+b×y+c

g(x，y)＝d×x+e×y+f

步骤4.3.对前景图像I_f进行图像空间变换，获得变换后的前景图I_f’，确定其定义域D₂：

${I^{\&prime;}}_f=\left[\begin{array}{c}C(f(x,y),g(x,y))\\ a(f(x,y),g(x,y))\end{array}\right],(f(x,y),g(x,y))\&Element;D_1$

由(f(x，y)，g(x，y))∈D₁，可得变换后的图像的定义域D₂为：

$D_2:\left\{\begin{array}{c}0<a\&times;x+b\&times;y+c<l\\ 0<d\&times;x+e\&times;y+f<w\end{array}\right.$

本实施方式的其余步骤与实施方式一完全一样。

Claims (2)

1.一种基于摄像头的图像采集与艺术化处理的方法，其特征在于，该方法包括以下步骤：

(1)、从摄像头实时采集的图像序列中抽取多帧图像，并对每帧图像设定Alpha通道；

(2)、对抽取的多帧图像进行Alpha混合，生成素材图；

(3)、将生成的素材图与已有的图像结合，生成包含Alpha通道的前景图像；

(4)、将前景图像在其图像平面内进行空间变换；

(5)、将前景图像与一幅预先设定的背景图像进行Alpha混合，合成为目标图像；

(6)、存储目标图像。

2.根据权利要求1所述基于摄像头的图像采集与艺术化处理的方法，其特征在于，所述步骤(3)具体为：若素材图是灰度图像，则将其灰度通道作为前景图像的Alpha通道，而前景图像的RGB通道则采用已有的一幅图像的RGB通道；若素材图是RGB图像，则将其RGB通道作为前景图像的RGB通道，前景图像的Alpha通道则采用已有的一幅灰度图像。

Images