CN102075679A - 一种图像采集方法和装置 - Google Patents

Abstract

本发明公开了一种图像采集装置和方法，所述装置包括：用于采集第一图像的第一图像采集模块；用于采集第二图像的第二图像采集模块；将第一图像与第二图像进行配准的图像配准模块；将配准后的第一图像和第二图像融合成一张合成图像的图像融合模块。通过将两张不同的图像进行融合从而可以得到近景和远景同时清晰的图像。

Description

一种图像采集方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及图像采集方法和装置。

技术背景

由于镜头物理结构的限制，只能使距离镜头一定范围的景物的成像比较清晰，超出这个范围的景物成像则变得相对模糊。例如，我们用相机进行拍摄的时候经常需要进行微距模式、正常模式或者其他拍摄模式的切换，这样可以拍摄不同距离下的场景，或者直接对相机镜头的焦距、光圈等参数进行设置，来拍摄不同距离下的景物，在采用近焦距拍摄时只能拍摄清楚近景的物体，而采用远焦距拍摄时只能拍摄清楚远景的物体，要远景近景同时清楚用一个单焦距的镜头比较难办到。

有时我们需要近景清楚远景也清楚，这时候需要使用者掌握更多的拍摄技巧或者使用更加精密且昂贵的镜头，这样对于一般用户来说，在操作上和费用上都是难以接受的。另外，即使掌握更好的拍摄技巧和使用更加精密的镜头也只能部分的解决图像清晰的问题。也就是说，要保证拍摄画面的近景清晰，一般就不得不舍弃对远景的清晰要求，而要保证拍摄画面的远景清晰，一般就不得不舍弃对近景的清晰要求。

图2A示例性的示出了一张采用近焦距拍摄的图像，其中图像中前景比较清楚。而图2B示例性的示出了一张采用远焦距拍摄的图像，其中图像中远景比较清楚。

因此，亟待提出一种新的图像合成装置来解决上述问题。

发明内容

本发明的目的在于提供一种图像合成装置和方法，其可以使得图像中的近景和远景同时清楚。

为了解决上述问题，根据本发明的一个方面，本发明提供了一种图像采集装置，其包括：用于采集第一图像的第一图像采集模块；用于采集第二图像的第二图像采集模块；将第一图像与第二图像进行配准的图像配准模块；和将配准后的第一图像和第二图像融合成一张合成图像的图像融合模块。

进一步的，所述图像采集装置还包括：在合成图像中选取部分矩形区域用作输出图像的图像输出模块。

进一步的，所述图像输出模块将合成图像中的内陷最大矩形区域作为输出图像进行输出。

进一步的，对于配准后的第一图像和第二图像中的重叠像素点，所述图像融合模块根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

进一步的，所述图像融合模块根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：比较该像素点的两个像素值的第一差异，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值，如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，如果配准后的第一图像和第二图像中的该像素点的第二差异的差大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差小于第二预定阈值时，则以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值。

进一步的，所述图像配准模块，设定第二图像为参考图像，将第一图像与其进行配准，其配准公式表示为：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

其中a为缩放参数，θ为旋转参数，Δx，Δy为平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标。

根据本发明的一个方面，本发明提供了一种图像采集方法，其包括：第一图像采集模块用第一焦距采集第一图像；第二图像采集模块用第二焦距采集第二图像；将第一图像与第二图像进行配准；和将配准后的第一图像和第二图像融合成一张合成图像。

进一步的，对于配准后的第一图像和第二图像中的重叠像素点，根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

进一步的，所述根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：比较该像素点的两个像素值的第一差异，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值，如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，如果配准后的第一图像和第二图像中的该像素点的第二差异的差大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差小于第二预定阈值时，则以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值。

进一步的，设定第二图像为参考图像，将第一图像与其进行配准，根据如下公式进行配准：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

其中a为缩放参数，θ为旋转参数，Δx，Δy为平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标。

与现有技术相比，在本发明中利用两个不同的摄像头采集两张不同的图像，通过将两张不同的图像进行融合从而可以得到近景和远景同时清晰的图像。

附图说明

图1是本发明图像采集装置的一个实施例的功能结构图；

图2A示出了一张远景清楚的图像的示例；

图2B示出了一张近景清楚的图像的示例；

图2C示出了通过本发明图像采集装置采集的一张近景和远景同时清楚的图像的示例；和

图3是本发明图像采集方法的一个实施例的流程示意图。

具体实施方式

下面结合说明书附图来说明本发明的具体实施方式。

请参考图1所示，其示出了本发明图像合成装置的一个实施例的功能结构示意图。所述图像合成装置包括图像采集模块组110、图像配准模块120、图像融合模块130和图像输出模块140。

所述图像采集模块组110包括第一图像采集模块111和第二图像采集模块112，所述第一图像采集模块111和所述第二图像采集模块112用于对同一场景进行拍摄获得第一图像和第二图像。在一个实施例中，所述第一图像采集模111和第二图像采集模可以分别用不同的焦距进行拍摄以得到第一图像和第二图像，其中一个图像中的近景较为清楚，另一个图像中的远景较为清楚。为了方便后续的图像配准，可以将第一图像采集模块和第二图像采集模块尽量近的安装在一起，并尽量保证它们的光轴处于同一个高度，它们的镜头处于同一平面上。在一个实施例中，为了保证两个摄像头的相对位置关系，可以将所述第一图像采集模块和所述第二图像采集模块封装在一起。所述图像采集模块组可以为两个摄像头。

所述图像配准模块120对第一图像和第二图像进行配准得到配准后的第一图像和第二图像。由于是不同摄像头对同一场景进行的拍摄，场景内同一目标在两张不同的图像中的位置、大小或角度也会有所差别，因此需要对两张不同摄像头得到的图像进行配准以为后继的图像融合创造基础。

图像配准的方式包括相对配准和绝对配准。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。在图像配准中，如何确定多图像之间的配准函数映射关系是图像配准的关键。在相对配准中，通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数。

在一个实施例中，所述图像配准模块120采用相对配准方式，设定第二图像为参考图像，将第一图像与其进行配准，其配准公式可以表示为：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right]---\left(1\right)$

其中a为缩放参数，θ为旋转参数，Δx，Δy为平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标，其中缩放参数、旋转参数、平移参数都可以称之为图像空间坐标变换参数。

所述图像空间坐标变换参数的值的获取是图像配准的关键。在一个实施例中，可以对两幅图像进行特征提取得到特征点；通过进行相似性度量找到两张图像中的匹配的特征点对；然后将匹配的特征点对带入公式(1)得到图像空间坐标变换参数。在另一个实施例中，也可以采用其他方式求取所述图像空间坐标变换参数，由于第一图像和第二图像是同颜色分布，因此可以按照灰度相关性最大化原则，有：

E(a，θ，Δx，Δy)＝∑∑|I1(x1，y1)-I2(x2，y2)|             (2)

$\{a,\mathrm{\θ},\mathrm{\Δx},\mathrm{\Δy},\}=\underset{a,\mathrm{\θ},\mathrm{\Δx},\mathrm{\Δy},}{\arg \min }E(a,\mathrm{\θ},\mathrm{\Δx},\mathrm{\Δy})---\left(3\right)$

这样可以得到第一图像和第二图像的配准参数a、θ、Δx，Δy的值，其中I1为第一图像的灰度函数，I2为第二图像的灰度函数，x1、y1为第一图像的像素点的坐标，x2、y2为第二图像中的像素点坐标。

当然也可以基于第一图像对第二图像进行配准，经过图像配准模块120后的两个图像被称为配准后的第一图像和第二图像。

所述第一图像代表第一图像采集模块111采集的一系列图像，第二图像代表第二图像采集模块112采集的一系列图像。

所述图像融合模块140用于对配准后的第一图像和第二图像进行融合得到合成图像。对于配准后的第一图像和第二图像中的重叠像素点，所述图像融合模块130根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块130根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

根据一像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：比较该像素点的两个像素值(比如灰度值)的第一差异(比如灰度值的差)，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值。如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，具体如下：

$\mathrm{dif}=\underset{i\∈B}{\mathrm{\Σ}}{a}_{i}I\left(i\right)---\left(4\right)$

上式中，B为该像素的邻域区域(包括像素本身)，i为邻域区域的像素，a_i为各个像素的权值，dif为所述第二差异。

如果配准后的第一图像和第二图像中的该像素点的第二差异的差ABS(dif1-dif2)大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差ABS(dif1-dif2)小于第二预定阈值时，以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值，具体如下：

$I=\frac{\mathrm{dif}1*I1+\mathrm{dif}2*I2}{\mathrm{dif}1+\mathrm{dif}2}---\left(5\right)$

所述图像输出模块140在合成图像中选取部分矩形区域用作输出图像。优选的，所述图像输出模块140将合成图像中的内陷最大矩形区域作为输出图像进行输出。

这样，通过本发明中的图像采集装置100可以获得近景和远景同时清晰的合成图像。图2C示出了通过本发明图像采集装置100采集的一张近景和远景同时清楚的图像的示例。

下面详细阐述一下本发明中的图像采集方法。图3是本发明图像采集方法300的一个实施例的流程示意图。所述图像采集方法300包括一下步骤。

步骤311，第一图像采集模块用第一焦距采集第一图像，所述第一图像中的近景比较清楚。

步骤312，第二图像采集模块用第二焦距采集第二图像，所述第二图像中的远景比较清楚。

步骤313将第一图像与第二图像进行配准。

设定第二图像为参考图像，将第一图像与其进行配准，根据如下公式进行配准：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

其中a为缩放参数，θ为旋转参数，Δx，Δy平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标。

步骤314，将配准后的第一图像和第二图像融合成一张合成图像。

对于配准后的第一图像和第二图像中的重叠像素点，根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的像素点，所述图像融合模块根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

所述根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：比较该像素点的两个像素值的第一差异，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值；如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内的第二差异，如果配准后的第一图像和第二图像中的该像素点的第二差异的差大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差小于第二预定阈值时，以该像素点的第二差异为权值对进行归一化的加权求和得到所述合成图像上的该像素点的像素值。

本发明中的图像采集方法300与对应的装置100是基于同样的原理，因此对于所述装置100的相应的描述同样也适合于所述方法300，这里就不再重复描述了。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像采集装置，其特征在于：其包括：

用于采集第一图像的第一图像采集模块；

用于采集第二图像的第二图像采集模块；

将第一图像与第二图像进行配准的图像配准模块；和

将配准后的第一图像和第二图像融合成一张合成图像的图像融合模块。

2.如权利要求1所述的图像采集装置，其特征在于，其还包括：在合成图像中选取部分矩形区域用作输出图像的图像输出模块。

3.如权利要求2所述的图像采集装置，其特征在于，所述图像输出模块将合成图像中的内陷最大矩形区域作为输出图像进行输出。

4.根据权利要求1所述的图像采集装置，其特征在于，对于配准后的第一图像和第二图像中的重叠像素点，所述图像融合模块根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

5.根据权利要求4所述的图像采集装置，其特征在于，所述图像融合模块根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：

比较该像素点的两个像素值的第一差异，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值，如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，

如果配准后的第一图像和第二图像中的该像素点的第二差异的差大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差小于第二预定阈值时，则以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值。

6.根据权利要求1所述的图像采集装置，其特征在于，所述图像配准模块，设定第二图像为参考图像，将第一图像与其进行配准，其配准公式表示为：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

其中a为缩放参数，θ为旋转参数，Δx，Δy为平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标。

7.一种图像采集方法，其特征在于：

第一图像采集模块用第一焦距采集第一图像；

第二图像采集模块用第二焦距采集第二图像；

将第一图像与第二图像进行配准；和

将配准后的第一图像和第二图像融合成一张合成图像。

8.根据权利要求7所述的图像采集方法，其特征在于，对于配准后的第一图像和第二图像中的重叠像素点，根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值，对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块根据该像素点的像素值确定所述合成图像上的该像素点的像素值。

9.根据权利要求8所述的图像采集方法，其特征在于，所述根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：

比较该像素点的两个像素值的第一差异，如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值，如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，

如果配准后的第一图像和第二图像中的该像素点的第二差异的差大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果配准后的第一图像和第二图像中的该像素点的第二差异的差小于第二预定阈值时，则以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值。

10.根据权利要求1所述的图像采集方法，其特征在于，设定第二图像为参考图像，将第一图像与其进行配准，根据如下公式进行配准：

$\left[\begin{array}{c}x2\\ y2\end{array}\right]=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x1\\ y1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

其中a为缩放参数，θ为旋转参数，Δx，Δy为平移参数，(x1、y1)为第一图像的像素点的坐标，(x2、y2)为将第一图像与第二图像配准后的像素点的坐标。

Images