CN102542545A - 一种多焦距照片融合方法、系统及拍照装置 - Google Patents

Abstract

本发明涉及一种多焦距照片融合方法和系统，以及包含所述多焦距照片融合系统的拍照装置，属于图像合成技术领域。本发明首先从一组多焦距照片中选出一幅复制为目标照片；然后比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度；用清晰度最高的像素点替换目标照片中相同位置的像素点。本发明实现了将一组多焦距照片合成多焦距均清晰的照片。

Description

一种多焦距照片融合方法、系统及拍照装置

技术领域

本发明属于图像合成技术领域，具体涉及一种多焦距照片融合方法和系统，以及包含该多焦距照片融合系统的拍照装置。

背景技术

在利用光学成像系统拍摄照片时，由于画面内同时包含多个不同目标，每个目标与镜头的距离通常不等，所以其成像清晰度往往也不一样。通过变焦，对同一场景中的不同目标聚焦，可拍得一组清晰区域不同的照片，称之为多焦距照片。显然，同一目标在不同多焦距照片中的清晰度也不一样。从每幅照片中抽取出清晰区域，经过融合处理，便可得到一幅新的、所有目标都聚焦清晰的照片。

通常借助边缘强度、梯度能量等特征来度量区域的对比度，利用人眼对局部对比度变化敏感这一特性，选取对比度较高的区域为聚焦清晰区域，构成融合新照片。但图像融合处理利用存在缺陷，尤其是：由于模糊图像伪边缘区域的对比度通常也较高，所以发生误判并且融合的边缘存在“振纹”。

目标的成像清晰度受光学成像系统冲激响应的影响，通常称该影响为点扩散效应。目标离焦越小，目标图像越清晰；反之，目标图像越模糊。可以借助方差为σ的高斯函数G(x，y)来衡量目标图像的清晰与模糊。由于不同目标的离焦量通常不等，所以同一幅多焦距图像中不同区域对应的σ一般也不相等。但对于一个较小的图像区域，可以认为其内部各点所对应的σ为一定值。

对图像进行高斯模糊时，所用高斯模板的方差越大，则模糊后图像与原图像间的视觉差异也越大。本发明基于点扩散效应原理，结合焦点框大小与离焦量进行矫正，生成多焦距均清晰的照片。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种融合效果好的多焦距照片融合方法及系统，以及包含所述多焦距照片融合系统的拍照装置。

为解决上述技术问题，本发明采用的技术方案如下：

一种多焦距照片融合方法，包括以下步骤：

(1)从一组多焦距照片中选出一幅复制为目标照片；

(2)比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度；

(3)用清晰度最高的像素点替换目标照片中相同位置的像素点。

如上所述的多焦距照片融合方法，步骤(1)中，将焦点框大小系数与中心偏离系数的乘积最小的照片复制为目标照片。

如上所述的多焦距照片融合方法，步骤(2)中，像素点的清晰度的计算方法如下：

(a)将所述多焦距照片中每一幅照片均切分成M×M′大小的图像区域；

(b)对所有照片中的图像区域进行方差为σ的高斯模糊，形成高斯模糊图像区域；

(c)采用如下公式计算图像区域中每个像素点的清晰度：

Q_i＝s×p×∑[(x₁-x′₁)²+(x₂-x′₂)²+…+(x_n-x′_n)²]

其中，Q_i表示像素点i的清晰度，s表示焦点框大小系数，p表示中心偏离系数，x₁，x₂，…，x_n分别表示图像区域中像素点i的N×N邻域内像素点的灰度值，x′₁，x′₂，…，x′_n分别表示与所述图像区域对应的高斯模糊图像区域中与x₁，x₂，…，x_n对应的像素点的灰度值。所述N＝3、5、7或9。

如上所述的多焦距照片融合方法，步骤(a)中所述M×T＝L，M′×T＝W；其中，T为大于1的整数，L为照片长度，W为照片宽度。

如上所述的多焦距照片融合方法，步骤(c)中，如果图像区域中所有像素点的清晰度之和∑Q_i小于阀值，则方差σ步进递增，对该图像区域重复步骤(b)～步骤(c)，直到该图像区域中所有像素点的清晰度之和∑Q_i不小于阀值。

如上所述的多焦距照片融合方法，其中，焦点框大小系数s＝g×S_k/S_p；其中，g表示矫正系数，S_k表示焦点框面积，S_p表示照片面积。所述焦点框大小为照片中人脸区域的最小外接矩形。

如上所述的多焦距照片融合方法，其中，中心偏离系数p＝焦点框中心点与照片中心点的距离/照片外接圆的半径。

一种多焦距照片融合系统，包括用于从一组多焦距照片中选出一幅复制为目标照片的选择装置；

用于比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度的比较装置；

用于用清晰度最高的像素点替换目标照片中相同位置的像素点的替换装置。

如上所述的多焦距照片融合系统，其中，比较装置包括用于将多焦距照片中每一幅照片均切分成M×M′大小的图像区域的切分单元；

用于对所有照片中的图像区域进行方差为σ的高斯模糊的模糊单元；

用于计算图像区域中每个像素点的清晰度的计算单元。

一种拍照装置，包括上述多焦距照片融合系统。

本发明符合多焦距照片融合的应用环境，实现了将一组多焦距照片融合成一幅各个对焦区域均清晰的照片，使融合后照片更符合用户对照片合并的要求，即视点分布要求，大幅度提高了照片关键区域的清晰度。通过角点框大小系数和中心偏离系数的矫正，很好解决了多照片融合交叉区域判别的边缘融合“振纹”问题。

附图说明

图1是实施方式1中多焦距照片融合系统的结构框图；

图2是实施方式2中多焦距照片融合方法的流程图；

图3是实施方式2中像素点清晰度的计算方法流程图；

图4a是实施方式2中切分后的一个图像区域示意图，图4b是图4a所示图像区域经过高斯模糊后的图像区域示意图。

具体实施方式

多焦距照片是指通过变焦对同一场景中的不同目标聚焦，拍摄的一组清晰区域不同的照片。显然，同一目标在多焦距照片中的清晰度不同。从每幅照片中抽取出清晰区域，经过融合处理，便可得到一幅所有目标都聚焦清晰的照片。下面结合具体实施方式和附图对本发明进行详细描述。

实施方式1

本实施方式记载了多焦距照片融合系统。如图1所示，该系统包括选择装置11、比较装置12和替换装置13。其中，比较装置12包括切分单元121、模糊单元122和计算单元123。

选择装置11用于从一组多焦距照片中选出一幅复制为目标照片。

比较装置12用于比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度。其中，切分单元121用于将多焦距照片中每一幅照片均切分成M×M′大小的图像区域；模糊单元122用于对所有图像中的图像区域进行方差为σ的高斯模糊；计算单元123用于计算图像区域中每个像素点的清晰度。

替换装置13用于用清晰度最高的像素点替换目标照片中相同位置的像素点。

实施方式2

本实施方式记载了采用实施方式1中所述系统对多焦距照片进行融合的方法。如图2所示，该方法包括以下步骤：

(1)选择装置11从一组多焦距照片中选出一幅复制为目标照片。

多焦距照片可通过如下方法拍摄：利用拍照装置，对取景区域识别对焦目标，拍摄一幅照片；然后在同一场景中选择其他目标进行对焦，变焦拍摄系列照片，即可得到严格匹配的一组多焦距照片。在拍摄多焦距照片时，记录每幅照片的对焦区域，即焦点框位置。

优选的，在一组多焦距照片中，将焦点框大小系数与中心偏离系数的乘积最小的照片复制为目标照片。因为焦点框大小系数与中心偏离系数乘积最小的照片，其对焦区域在照片中心位置附近，清晰区域最大，不清晰的区域最少，因此替换的像素点最少，从而能够加快照片融合的效率。

所述焦点框大小与照片中人脸区域大小有关，一般为人脸区域的最小外接矩形。照片中的人脸区域可以通过现有的人脸识别算法识别。在照片中无人脸情况下，焦点框大小为缺省大小。焦点框大小系数s可由用户配置，也可以通过如下公式计算：s＝g×S_k/S_p；其中，g表示矫正系数，S_k表示焦点框的面积，S_p表示照片的面积。

所述中心偏离系数p用于表示焦点框中心点偏离照片中心点的程度，可通过如下公式计算：p＝焦点框中心点与照片中心点的距离/照片外接圆的半径。也可采用其他公式计算。

(2)比较装置12比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度。

如图3所示，本实施方式中，像素点清晰度的方法如下：

(a)切分单元121将所述多焦距照片中每一幅照片均切分成M×M′大小的图像区域。

优选的，所述M和M′与照片的长度和宽度成同比关系，即M×T＝L，M′×T＝W。其中，T为大于1的整数，L为照片长度，W为照片宽度。

(b)模糊单元122对所有照片中的图像区域进行方差为σ的高斯模糊，形成高斯模糊图像区域。对每一幅照片，方差σ可以相同，也可以不同。

(c)计算单元123采用如下公式计算所有图像区域中的每个像素点的清晰度：

Q_i＝s×p×∑[(x₁-x′₁)²+(x₂-x′₂)²+…+(x_n-x′_n)²]

其中，Q_i表示像素点i的清晰度，s表示焦点框大小系数，p表示中心偏离系数，x₁，x₂，…，x_n分别表示图像区域中像素点i的N×N邻域内像素点的灰度值，x′₁，x′₂，…，x′_n分别表示与所述图像区域对应的高斯模糊图像区域中与x₁，x₂，…，x_n对应的像素点的灰度值。所述N＝3、5、7或9。

例如，如图4a和4b所示，图4a为切分后的一个图像区域，圆圈表示像素点，图4b表示图4a所示图像区域经过高斯模糊后的图像区域。像素点i的清晰度的计算公式如下：

$Q_i=s\×p\×\mathrm{\Σ}\left[\begin{array}{c}{(x_1-x_1^{\′})}^2+{(x_2-x_2^{\′})}^2+{(x_3-x_3^{\′})}^2+{(x_4-x_4^{\′})}^2+{(x_5-x_5^{\′})}^2+\\ {(x_6-x_6^{\′})}^2+{(x_7-x_7^{\′})}^2+{(x_8-x_8^{\′})}^2\end{array}\right]$

清晰度乘以框大小系数和中心偏离系数，是为了对一组多焦距照片进行整体权重矫正，以便于按照照片排序将临近清晰点聚合在一起。

例如，C₁点在C₀焦距清晰度为100，D₁点在D₀焦距清晰度为90，本来由于C₁点清晰度高，应该用该点替换目标照片中的相应点。但D₁点所在区域为人像的头部区域，焦点框大，中心偏离小，则经过矫正计算后，其矫正清晰度为109，C₁点的矫正清晰度为99，则用D₁点替换目标照片中的相应点，而不是C₁点。

步骤(c)中，当计算出图像区域中所有像素点的清晰度之后，判断图像区域中所有像素点的清晰度之和∑Q_i是否小于阀值。对于小于阀值的图像区域，方差σ步进递增，对这些图像区域重复步骤(b)～步骤(c)，重新计算这些图像区域中像素点的清晰度，直到这些图像区域中所有像素点的清晰度之和∑Q_i不小于阀值。这样，可以更加精确地判断出照片中的清晰像素点。本实施方式中，所述阀值为8。

(3)用清晰度最高的像素点替换目标照片中相同位置的像素点。

对于一组多焦距照片中相同位置的图像区域的每一个像素点，选出其清晰度最高的像素点，替换目标照片中相同位置的像素点。这样将多焦距照片中清晰的点提取出来合成到目标照片中，即使用其他照片中的清晰点，替换目标照片中清晰度不够的点。替换后的目标照片便是融合后的各个对焦区域均清晰的照片。

实施方式3

本实施方式记载了包括实施方式1所述系统的拍照装置，可以是数码照相机或具有拍照功能的数码摄像机等。用所述拍照装置拍摄一组多焦距照片后，可以利用该拍照装置提供的融合功能将一组多焦距照片融合成一幅各个对焦区域均清晰的照片。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种多焦距照片融合方法，包括以下步骤：

(1)从一组多焦距照片中选出一幅复制为目标照片；

(2)比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度；

(3)用清晰度最高的像素点替换目标照片中相同位置的像素点。

2.如权利要求1所述的多焦距照片融合方法，其特征在于：步骤(1)中，将焦点框大小系数与中心偏离系数的乘积最小的照片复制为目标照片。

3.如权利要求1所述的多焦距照片融合方法，其特征在于：步骤(2)中所述像素点的清晰度的计算方法如下：

(a)将所述多焦距照片中每一幅照片均切分成M×M′大小的图像区域；

(b)对所有照片中的图像区域进行方差为σ的高斯模糊，形成高斯模糊图像区域；

(c)采用如下公式计算图像区域中每个像素点的清晰度：

Q_i＝s×p×∑[(x₁-x′₁)²+(x₂-x′₂)²+…+(x_n-x′_n)²]

其中，Q_i表示像素点i的清晰度，s表示焦点框大小系数，p表示中心偏离系数，x₁，x₂，…，x_n分别表示图像区域中像素点i的N×N邻域内像素点的灰度值，x′₁，x′₂，…，x′_n分别表示与所述图像区域对应的高斯模糊图像区域中与x₁，x₂，…，x_n对应的像素点的灰度值。

4.如权利要求3所述的多焦距照片融合方法，其特征在于：步骤(a)中所述M×T＝L，M′×T＝W；其中，T为大于1的整数，L为照片长度，W为照片宽度。

5.如权利要求3所述的多焦距照片融合方法，其特征在于：所述N＝3、5、7或9。

6.如权利要求3～5中任一项所述的多焦距照片融合方法，其特征在于：步骤(c)中，如果图像区域中所有像素点的清晰度之和∑Q_i小于阀值，则方差σ步进递增，对该图像区域重复步骤(b)～步骤(c)，直到该图像区域中所有像素点的清晰度之和∑Q_i不小于阀值。

7.如权利要求2或3所述的多焦距照片融合方法，其特征在于：所述焦点框大小系数s＝g×S_k/S_p；其中，g表示矫正系数，S_k表示焦点框面积，S_p表示照片面积。

8.如权利要求7所述的多焦距照片融合方法，其特征在于：所述焦点框大小为照片中人脸区域的最小外接矩形。

9.如权利要求2或3所述的多焦距照片融合方法，其特征在于：所述中心偏离系数p＝焦点框中心点与照片中心点的距离/照片外接圆的半径。

10.一种多焦距照片融合系统，包括用于从一组多焦距照片中选出一幅复制为目标照片的选择装置(11)；

用于比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度的比较装置(12)；

用于用清晰度最高的像素点替换目标照片中相同位置的像素点的替换装置(13)。

11.如权利要求10所述的多焦距照片融合系统，其特征在于：所述比较装置(12)包括用于将多焦距照片中每一幅照片均切分成M×M′大小的图像区域的切分单元(121)；

用于对所有照片中的图像区域进行方差为σ的高斯模糊的模糊单元(122)；

用于计算图像区域中每个像素点的清晰度的计算单元(123)。

12.一种拍照装置，其特征在于：所述拍照装置包括权利要求10或11所述的多焦距照片融合系统。

Images