CN101853498B - 图像合成方法及图像处理装置 - Google Patents

Abstract

本发明公开了图像合成方法及图像处理装置，由于对待合成的图像进行亮度统一后，再进行图像合成，使得合成后的图像相对于现有技术中的合成方式得到的图像，亮度差异小，图片效果真实自然。

Description

图像合成方法及图像处理装置

技术领域

本发明涉及图像处理技术领域，具体涉及图像合成方法及图像处理装置。

背景技术

图像合成是图像处理领域的一个热点，通过图像合成技术，可以产生现实世界中不可能出现的虚拟效果。图像合成具体是指将两幅或以上不同的图片合成一幅图片的技术。“换背景”是一种常见的图像合成处理，其目的是通过变更图像的背景，将照片中的人物嵌入到新的背景内，以实现特殊的效果。

在现有技术中存在一种图像合成技术，图像处理设备将用户选择的前景图像和背景图像进行合成，用户选择的前景图像可以是实时拍摄的，也可以是用户预先拍摄载入的，背景图像可以是海边背景、沙漠背景、街道背景等；用户通过前景和背景的自由组合获得需要的图片，例如：合成一张沙漠背景的人像照、或者合成一张海滩背景的人像照，以满足用户的视觉感官需求。

在现有技术中，由设备自动完成的图像合成技术，由于合成的图像仅仅是前景图片和背景图片的简单叠加，由于前景图片和背景图片来自于不同的拍摄场景，因此叠加后的图片的前景部分和背景部分的亮度差异较大，看上去很不自然，使得合成的图片效果很“假”，无法满足用户的需求。

发明内容

本发明实施例提供图像合成方法及图像处理装置，可以让合成图像更加真实自然。

本发明实施例提供的一种图像合成方法，包括：

获取待合成的至少两幅图像；

将待合成的每一幅图像进行主分量分析处理；

计算所述每一幅图像所有像素点对应的第一主分量的均值；

分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值；

根据所述计算得到的差值调整对应图像的亮度；

将所述至少两幅图像合成一幅图像。

本发明实施例提供的一种图像处理装置，包括：

图像获取单元，用于获取待合成的至少两幅图像；

亮度调节单元，对所述图像获取单元获取的至少两幅图像进行亮度统一；

图像合成单元，用于将所述亮度调节单元进行亮度调节后的至少两幅图像合成一幅图像。

本发明实施例中的技术方案由于对待合成的图像进行亮度统一后，再进行图像合成，使得合成后的图像相对于现有技术中的合成方式得到的图像，亮度差异小，图片效果真实自然。

附图说明

图1是本发明实施例一图像合成方法的流程图；

图2是本发明实施例一对待合成的至少两幅图像进行亮度统一的流程图；

图3是本发明实施例二图像合成方法的流程图；

图4是本发明实施例三图像合成装置的结构示意图；

图5是本发明实施例四图像合成装置的结构示意图；

图6是本发明实施例五图像合成装置的结构示意图。

具体实施方式

本发明实施例提供一种图像合成方法及图像处理装置，以下分别进行详细说明。

实施例一、一种图像合成方法，流程如图1所示，包括：

A1，获取待合成的至少两幅图像；

本发明实施例中的待合成图像可以是用于通过视频采集设备(例如：摄像头、数码摄像机等)实时采集的图像，也可以是用户选择的存储器内已有的图像，具体的图像来源不构成对本发明的限制。

A2，对待合成的至少两幅图像进行亮度统一；

具体进行亮度统一的过程可以采取多种实现方式，例如：根据待合成图像的直方图；以基准图像为参考，调整每幅图像中央灰度地区像素的亮度值，以减少图像之间亮度的差异。

A3，将所述至少两幅图像合成一幅图像。

本发明实施例一中，由于对待合成的图像进行亮度统一后，在进行图像合成，使得合成后的图像相对于现有技术中的合成方式得到的图像，亮度差异小，图片效果真实自然。

对于上述实施例一步骤A2对待合成的至少两幅图像进行亮度统一的过程本发明提供优选的处理方式，其流程参照图2所示，包括：

B1，将待合成的每一幅图像进行主分量分析处理；

本发明实施例中对图像进行主分量分析提供一种可行具体计算方式，即采用自协方差函数对待合成的每一幅图像数据的协方差矩阵进行对角化处理。以下采用的公式以及算法仅作为实现本实施例技术方案的一种实现方式，可以理解还可以采用现有的其他常规实现方式进行主分量分析，此处不一一列举，具体的实现方式不构成对本发明的限制。

主分量分析的过程包括：

1.计算每一个频带的均值： $x_{\mathrm{io}}=\frac{1}{M\×N}\mathrm{\Σ}{x}_i(k,l).$ (其中x_i(k，l)为像素点(k，l)在i频带的值，i＝R，G，B。)

2.计算原颜色分布的协方差矩阵C(i，j)：

$C(i,j)=E\left\{(x_i(k,l)-x_{\mathrm{io}})(x_j(k,l)-x_{\mathrm{jo}})\right\}=\frac{1}{N\×M}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{l=1}{\overset{M}{\mathrm{\Σ}}}(x_i(k,l)-x_{i0})(x_j(k,l)-x_{j0}),$ 其中x_i(k，l)为像素点(k，l)在i频带的值，x_i0为i频带的平均值，x_j(k，l)为像素点(k，l)在j频带的值，x_j0为j频带的平均值，i，j＝R，G，B。协方差矩阵为3×3的对称矩阵，即有C(i，j)＝C(j，i)。

3.计算协方差矩阵C(i，j)的特征值λ_i及其对应的特征向量u_i(i＝1，2，3)，并按特征值的大小降序排列，即λ₁＞λ₂＞λ₃。用特征向量作为行，得到特征向量矩阵A＝(u₁，u₂，u₃)^T。

4.用矩阵A进行主分量分析(K-L)变换，即用y＝Ax把每个原RGB三维向量x＝(R，G，B)^T变换为y＝(P₁，P₂，P₃)^T，即y_k＝∑_ia_kix_i。

因为第二步中得到的自协方差矩阵C(i，j)是一个实对称矩阵，所以它的特征向量一定是正交的，这样由特征向量组成的特征向量矩阵A就是可逆的并且有A的逆矩阵就是它的转置，在第四步中我们有Ay＝x，因为A^-1＝A^T，所以有y＝A^Tx。新的“颜色”是原来三种颜色值的线性组合，由于步骤3中得到的特征值是按降序排列的，第一个特征向量最大，因此新颜色的第一个分量(即第一主分量)包含了图像的大部分信息，可以用来作为亮度调节的依据。

B2，计算所述每一幅图像所有像素点对应的第一主分量的均值；

${\stackrel{\‾}{P}}_1^{\left(j\right)}=\frac{1}{M\×N}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{P}_1(k,l),$ 其中j＝1，2，...，F，F是待合成图像的幅数。

B3，分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值d_j。

$d_j=|{\stackrel{\‾}{P}}_1^{\left(j\right)}-v|,$ 其中 $v=\frac{1}{F}\underset{j=1}{\overset{F}{\mathrm{\Σ}}}{\stackrel{\‾}{P}}_1^{\left(j\right)},$ j＝1，2，...，F，F是待合成图像的幅数；

B4，根据所述步骤B3计算得到的差值调整对应图像的亮度，具体的处理方式如下：

1.对于图像中的某点(k，l)，得到该点的RGB值，用m位二进制数表示，记为：x_i(k，l)，i＝R，G，B，范围为0到2^m-1。

2.对于R，G，B值分别计算偏移值 $x_i^{\′}(k,l)=\frac{|2^{m-1}-x_i(k,l)|*d}{2^m},$ 其中i＝R，G，B，d为对应图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值。

3.如果x_i(k，l)的值大于2^m-1，则将x_i(k，l)调整为Trimint(x_i(k，l)+x′_i(k，l)，0，2^m)，否则调整为Trimint(x_i(k，l)-x′_i(k，l)，0，2^m)。其中i＝R，G，B，Trimint(value，min，max)表示如果value＞max，那么函数值取max，如果value＜min，那么x＝函数值取min，否则取value。

4.将第三步计算出来的x_i(k，l)，i＝R，G，B，作为该点的新的RGB值。

实施例二、一种图像合成方法，流程如图3所示，包括：

C1，获取待合成的至少两幅图像；

C2，对待合成的至少两幅图像进行亮度统一；

C3，所述待合成图像区分为前景图像和背景图像；

C4，依据背景图像的大小对前景图像大小对前景图像做防越界处理。

对预处理后的图像自适应调节和防越界处理，使得初步合成的图像达到统一视点。

由于需要合成的图片可能是在不同的背景环境下拍摄的，图片中的人像的大小，位置如果不经过处理的话，那么就有可能在合成的时候造成不真实的景象。对图像视点的调整是通过获取背景图像的尺寸；根据所述背景图像的尺寸对前景图像进行缩放。具体步骤如下：

比较前景图像与背景图像的大小，如果前景图片的长或者宽比大于背景图像，那么采用自适应缩小的方法对图像进行处理：

1)如果前景图像的长和宽都大于所规划的矩形区域的长和宽，那么得到两个缩小比例，一个是宽的缩小比例，另一个是长的缩小比例，取这两个中小的那一个作为最终缩小比例。然后按照这个比例将前景图像缩小。具体的缩小方式可以采用一次线性插值算法实现。

2)如果只是前景图像的长大于背景图像的长，那么将长的缩小比例作为图像的缩小比例，然后按照这个比例将前景图像缩小。

3)如果只是前景图像的宽大于背景图像的宽，那么将宽的缩小比例作为图像的缩小比例，然后按照这个比例将前景图像缩小。

可以理解，在存在多幅前景图像的情况下，在采用上述按照背景图像的边界对前景图像进行防越界处理后，可能出现多幅前景图像相互重叠的问题，因此，本发明实施例可以在上述进行防越界处理时，可以先将背景图像划分为至少两个互不重叠的背景区域，然后再将每幅前景图像针对其中一个背景区域做防越界处理后，将前景图像移入该区域。样就可以保证前景图像之间互不重叠，达到更好的视点要求。

具体的防越界处理方式参考上述针对背景图像的尺寸对前景图像进行缩放的过程，只是缩放的参考对象为背景图像经过划分后的背景区域，不再赘述。

通过防越界处理，可以解决前景图像边界越界和前景图像彼此遮挡的问题，较好地保证前景图像与虚拟背景的协调。

C5，将所述至少两幅图像合成一幅图像。

进一步本发明实施例一和实施例二中，还可以使用二值蒙板记录图像合成的边界，对图像合成的边界进行模糊处理。具体的模糊处理可以采用高斯模糊，边缘模糊等方式。

下面对具体记录合成图像的边界过程进行举例描述：

本例中，前景图像为人像，背景图像为风景，首先建立一个二值蒙板，对应前景区域的点用1表示，对应背景区域的点用0表示。在进行前面所做的步骤时，如需要缩小或者平移时，其蒙板中为1的前景区域要随着图像一起缩小或者平移。当蒙板中某个点的3*3邻域中既包含了1也包含了0，则认为该点就是前景图像与背景图像拼接处的边界点。

高斯模糊是数字图像模板处理法的一种，其模板是根据二维正态分布(高斯分布)函数计算出来的，即 $g(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2}},$ 高斯半径σ为高斯模糊滤镜中的半径。对二维高斯分布图像来说，是一个钟形曲面，高斯半径越小，曲面越高越尖越陡峭；高斯半径越大，曲面越低越平缓。因此高斯半径越小，则模糊越小，高斯半径越大，则模糊程度越大。根据这个二维正态分布公式，可以计算出不同半径下的高斯模板。当σ＝0.849时，其3*3归一模板如下所示：

$\left[\begin{array}{ccc}0.06& 0.13& 0.06\\ 0.13& 0.24& 0.13\\ 0.06& 0.13& 0.06\end{array}\right]$

对于边界点(k，l)，将其置于模板的中心，然后将模板上对应的值分别乘以模版中对应像素的RGB值后相加，即：0.06x_i(k-1，l-1)+0.13x_i(k，l-1)+...+0.06x_i(k+1，l+1)，可以得到一个新的RGB，这个值就是模糊后图像的对应像素的RGB值。由于正态分布的曲线是中间高两边低，所以所得的像素与原来的像素相似度最大，也就基本上保持了原来图形的基本形状，并且其边缘也被模糊了。

高斯模糊本质上一种低通滤波器。体现在图像处理上，图像的边缘等灰度变化剧烈的地方对应高频信息，将被滤除。因此利用高斯模糊能够将边缘进行融合让图像更真实

上述实施例一和实施例二还可以包括：采用色度关联度的自适应均值滤波的方法消除图像的噪声。

色度关联度的自适应均值滤波通过色度关联加权完成权值的优化过程。其权值是通过滤波窗口内各像素样本点的灰度值与窗口中几像素均值的相似程度来确定，以获得其权值确定该值在此次计算像素值中所起的权重作用。如果该窗口内的像素全为零，则此时只做均值计算，不作关联计算。

对于图像中的一个像素点x(i，j)，其有4X4的窗口模板，其中的点的序列为(x(i，j)，x(i+1，j)，...x(i+2，j+2))分别记为(x₀，x₁，x₂...x₁₅)，共有16个像素点。对模板像素矩阵的灰度值做如下处理：

在图像滤波窗口中选择窗口像素均值作为参考均值，且只有一个元素，即：avg＝[x(i，j)+...+x(i+1，j+1)+...+x(i+2，j+2)]/16。

对原始数据列进行均值化处理，即每个像素点除以avg均值。

计算差序列Δ_ot＝|x₀-x_t|、并确定两极最大差

与两极最小差

计算灰度相关联系数ε，其中 ${\mathrm{\ϵ}}_i=\frac{\underset{i,0}{\min }|x_i-x_0|+\mathrm{\ρ}\underset{i,0}{\max }|x_i-x_0|}{|x_i-x_0|+\mathrm{\ρ}\underset{i,0}{\max }|x_i-x_0|},$ 依次得到色度关联系数ε₁，ε₂，ε₃...ε₁₆。

利用色度关联系数计算滤波后的像素的灰度值 $x(i,j)=\frac{{\mathrm{\ϵ}}_{1}x(i,j)+{\mathrm{\ϵ}}_{2}x(i,j+1)+...+{\mathrm{\ϵ}}_{16}x(i+3,j+3)}{\mathrm{\ϵ}},$ 其中ε＝ε₁+ε₂+...+ε₁₆。

平滑处理模块消除的噪声并不限于人眼所能看的见的失真和变形，图像常见噪声主要有加性噪声、乘性噪声和量化噪声等。图像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果平滑不当就会使图像本身的细节如边界轮廓、线条等变的模糊不清。图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段。

上述实施例一和实施例二还可以包括：采用直方图均衡化的灰度变换方式对图像进行自适应色调调节。

由于初始合成的图像都是比较粗糙的，没有经过任何手段对其进行颜色的统一，源图像和目标图像可能具有不同的颜色基调，如果只是简单的将其合成在一起那么合成图多半会比较生硬、不自然，为了让源图像与目标图像融合在一起，需要色调调节模块对初步合成图像进行颜色调节，让其色调达到统一。

图像的直方图是一个关于图像灰度级别的离散函数f(x)，描述的是图像中具有该灰度级别的像素的个数。它是以图形化参数来显示图片曝光精确度的手段，其描述的是图片显示范围内影像的灰度分布曲线。直方图的左边显示了图像的阴影信息，直方图的中间显示了图像的中间色调信息，直方图的右边显示了图像的高亮信息。一幅较好的图像应该明暗细节都有，在柱状图上就是从左到右都有分布，同时直方图的两侧没有像素溢出。

直方图均衡化就是对图像进行处理，使得图像直方图中所有的灰度级别尽量拥有相同的像素个数，均衡化后函数f(x)在所有灰度级上的离散和为1。离散函数f(x)可以认为是图像中具有相同灰度值的像素出现的概率密度函数。

假设原图像灰度值变量为r，变化后的新图像的灰度值变量为s，灰度变换函数为s＝T(r)。P_r(r)是随机变量为r的概率密度函数，原图像灰度值在区间[r，r+dr]上的像素的个数为P_r(r)dr，在新图像中灰度值在区间[s，s+ds]上的像素个数为P_s(s)ds，有P_s(s)ds＝P_r(r)dr。两边积分，并进行均衡化得 $s=\underset{0}{\overset{r}{\∫}}{P}_r\left(w\right)\mathrm{dw},$ 由于数字图像是离散的，对上式离散化有 $s_k=\underset{j=0}{\overset{k}{\mathrm{\Σ}}}\frac{n_j}{N}+\mathrm{\Δ\ρ},$ 其中k为离散的灰度级，s_k为取值实际与T(r_k)最近的灰度值，n_j是灰度级为j的象素数，N表示像素总数，Δρ为增强参数。每一象素的s_k为均衡化后的正规化灰度，统计s_k即可得出均衡化后的直方图。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

实施例三、一种图像处理装置，逻辑结构示意图如图4所示，包括：

图像获取单元410，用于获取待合成的至少两幅图像；

亮度调节单元420，对所述图像获取单元410获取的至少两幅图像进行亮度统一；

图像合成单元430，用于将所述亮度调节单元进行亮度调节后至少两幅图像合成一幅图像。

实施例五中的图像处理装置可以运行实施例一所述的方法。

实施例四，一种图像处理装置，逻辑结构示意图如图5所示，包括：

图像获取单元510，用于获取待合成的至少两幅图像；

亮度调节单元520包括：

主分量分析单元521，用于将待合成的每一幅图像进行主分量分析处理；

计算单元522，用于计算所述每一幅图像所有像素点对应的第一主分量的均值；并分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值；

调节单元523，根据所述计算单元522计算得到的差值调整对应图像的亮度。

图像合成单元530，用于在所述调节单元523对待合成的进行亮度调节后，将所述待合成的至少两幅图像合成一幅图像。

实施例五，一种图像处理装置，逻辑结构示意图如图6所示，包括：

图像获取单元610，用于获取待合成的至少两幅图像；

亮度调节单元620包括：

主分量分析单元621，用于将待合成的每一幅图像进行主分量分析处理；

计算单元622，用于计算所述每一幅图像所有像素点对应的第一主分量的均值；并分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值；

调节单元623，根据所述计算单元622计算得到的差值调整对应图像的亮度。

图像合成单元630，用于在所述调节单元623对待合成的进行亮度调节以及视点调节单元640对待合成的图像做防越界处理后，将所述待合成的至少两幅图像合成一幅图像。

视点调整单元640，用于将所述待合成图像区分为前景图像和背景图像；并依据背景图像的大小对前景图像做防越界处理。

本发明图像处理装置可以运行的方法参见上述实施例一和实施例二的描述，此处不再赘述。

以上对本发明实施例所提供的图像合成方法及图像处理装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像合成方法，其特征在于，包括：

获取待合成的至少两幅图像；

将待合成的每一幅图像进行主分量分析处理；

计算所述每一幅图像所有像素点对应的第一主分量的均值；

分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值；

根据所述计算得到的差值调整对应图像的亮度；

将所述至少两幅图像合成一幅图像。

2.如权利要求1所述的方法，其特征在于，将待合成的每一幅图像进行主分量分析处理的过程包括：

采用自协方差函数对待合成的每一幅图像数据的协方差矩阵进行对角化处理。

3.如权利要求1或2所述的方法，其特征在于，将所述至少两幅图像合成一幅图像之前还包括：

将所述待合成图像区分为前景图像和背景图像；

对前景图像做防越界处理。

4.如权利要求3所述的方法，其特征在于，所述对前景图像做防越界处理的过程包括：

获取背景图像的尺寸；根据所述背景图像的尺寸对前景图像进行缩放。

5.如权利要求3所述的方法，其特征在于，所述对前景图像做防越界处理的过程包括：

将背景图像划分为至少两个互不重叠的背景区域；

将每幅前景图像针对其中一个背景区域做防越界处理后，将前景图像移入该区域。

6.如权利要求1或2所述的方法，其特征在于，还包括：用二值蒙板记录图像合成的边界，对图像合成的边界进行模糊处理。

7.如权利要求1或2所述的方法，其特征在于，还包括：采用直方图均衡化的灰度变换方式对图像进行自适应色调调节。 

8.如权利要求1或2所述的方法，其特征在于，还包括：采用色度关联度的自适应均值滤波的方法消除图像的噪声。

9.一种图像处理装置，其特征在于，包括：

图像获取单元，用于获取待合成的至少两幅图像；

亮度调节单元，对所述图像获取单元获取的至少两幅图像进行亮度统一，所述亮度调节单元包括：主分量分析单元，计算单元，调节单元；所述主分量分析单元用于将待合成的每一幅图像进行主分量分析处理；所述计算单元用于计算所述每一幅图像所有像素点对应的第一主分量的均值；并分别计算所述每一幅图像的第一主分量均值与所有待合成图像的第一主分量均值的算术平均的差值；所述调节单元用于根据所述计算单元计算得到的差值调整对应图像的亮度；

图像合成单元，用于将所述亮度调节单元进行亮度调节后的至少两幅图像合成一幅图像。

10.如权利要求9所述的图像处理装置，其特征在于，还包括：

视点调整单元，用于将所述待合成图像区分为前景图像和背景图像；并依据背景图像的大小对前景图像做防越界处理。 

Images