CN105704402A - 微透镜阵列的成像方法与成像装置 - Google Patents

Abstract

本发明提供了一种微透镜阵列的成像方法，其用于对微透镜阵列所成的像进行处理，所述微透镜阵列的成像方法包括：通过微透镜阵列对光源成像，以获取底图；通过微透镜阵列在所述光源条件下对实际场景成像，以获取像图；对所述底图与所述像图进行亮度配准；为所述像图中的第一象素建立背景概率模型；以及根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。本发明进一步包括一种微透镜阵列的成像装置。所述微透镜阵列的成像方法与成像装置可以有效地消除微透镜阵列成像的亮度分布不均的现象，并且进一步地将微透镜阵列成像的亮度归一化到同一水平。

Description

微透镜阵列的成像方法与成像装置

技术领域

本发明涉及成像技术领域，具体而言，涉及一种微透镜阵列的成像方法与成像装置。

背景技术

微透镜阵列广泛应用于光场相机，复眼相机以及大视野的显微相机。一般地，需要对微透镜阵列所成的像进行后续处理，如将每个微透镜所成的像进行匹配或者拼接。然而，由于光的波动性，每个微透镜成像都会出现中间亮四周暗的现象，从而导致处理后的像造成严重的干扰。

发明内容

本发明正是基于上述技术问题，提出了一种微透镜阵列的成像方法与成像装置。

一种微透镜阵列的成像方法，其用于对微透镜阵列所成的像进行处理，其特征在于，所述微透镜阵列的成像方法包括：

通过微透镜阵列对光源成像，以获取底图；

通过微透镜阵列在所述光源条件下对实际场景成像，以获取像图；

对所述底图与所述像图进行亮度配准；

为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率；以及

根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

在上述实施方式中，所述微透镜阵列的成像方法可以有效地消除微透镜阵列成像的亮度分布不均的现象，并且进一步地将微透镜阵列成像的亮度归一化到同一水平，从而大大降低了对微透镜阵列成像做匹配和拼接的难度。

在上述任一技术方案中，优选的，在所述“对所述底图与所述像图进行亮度配准”之前，进一步包括对所述底图与所述像图去除噪声。

在上述任一技术方案中，优选的，所述“对所述底图与所述像图进行亮度配准”包括计算所述像图和所述底图的亮度差异并指定一个阈值来定义出所述像图中的背景。

在上述任一技术方案中，优选的，计算所述像图和所述底图的亮度差异并指定一个阈值来定义出所述像图中的背景。

在上述任一技术方案中，优选的，所述像图中的第一象素作为背景的概率正比于所述第一象素与所述第二象素的亮度差异。

在上述任一技术方案中，优选的，进一步根据所述底图的亮度变化对所述底图与所述像图的亮度差异作规整化处理。

在上述任一技术方案中，优选的，所述像图中的第一象素p₁作为背景的概率B(p₁)为：

$B\left(p_1\right)=e^{-{\left(\right|p_1-p_0|/p_0)}^2/{\mathrm{\δ}}^2}$

其中，p₀表示所述底图中与所述第一象素坐标相同的第二象素，δ是一个可以调整的参数。

在上述任一技术方案中，优选的，所述“根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理”进一步包括：通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，以得到所述底图的亮度调整算子T₀。

在上述任一技术方案中，优选的，进一步包括对所述期望的均一亮度值S与所述底图中的亮度分布模型为I₀通过相加、相乘或者对数运算，得到所述底图的亮度调整算子T₀。

在上述任一技术方案中，优选的，进一步通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到所述像图的亮度调整算子T₁。

在上述任一技术方案中，优选的，对所述像图中的第一象素p₁的亮度进行均一化处理表示为：

T₁(p₁)＝T₀(p₀)B(p₁)。

一种微透镜阵列的成像装置，包括微透镜阵列和图像处理单元，所述微透镜阵列用于对光源成像以获取底图，并在所述光源条件下对实际场景成像以获取像图；所述图像处理单元用于对所述底图与所述像图进行亮度配准，为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率；并根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

在上述任一技术方案中，优选的，所述图像处理单元对所述底图与所述像图去除噪声后再对所述底图与所述像图进行亮度配准。

在上述任一技术方案中，优选的，通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，以得到所述底图的亮度调整算子T₀，并通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到所述像图的亮度调整算子T₁。

在上述任一技术方案中，优选的，进一步包括对所述期望的均一亮度值S与所述底图中的亮度分布模型为I₀通过相加、相乘或者对数运算，得到所述底图的亮度调整算子T₀。

在上述实施方式中，所述微透镜阵列的成像装置可以有效地消除微透镜阵列成像的亮度分布不均的现象，并且进一步地将微透镜阵列成像的亮度归一化到同一水平，从而大大降低了对微透镜阵列成像做匹配和拼接的难度。

附图说明

图1为本发明实施例提供的微透镜阵列的成像方法的流程示意图；

图2为利用微透镜阵列所获取的底图。

图3为标定好的亮度分布模型。

图4为利用微透镜阵列所获取的像图。

图5为每个微透镜所成的原始像图进行拼接而成的像。

图6为每个微透镜所成的像图经过成像亮度均一化后进行拼接而成的像。

图7为本发明实施例提供的微透镜阵列的成像装置的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

本发明提供的微透镜阵列的成像方法，其用于对微透镜阵列所成的像进行处理，所述微透镜阵列的成像方法包括：

通过微透镜阵列对光源成像，以获取底图；

通过微透镜阵列在所述光源条件下对实际场景成像，以获取像图；

对所述底图与所述像图进行亮度配准；

为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率；以及

根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

参见图1，本发明第一实施例提供的微透镜阵列的成像方法的流程示意图其用于对微透镜阵列所成的像进行处理，其包括如下步骤：

步骤110：通过微透镜阵列对光源成像，以获取底图。

具体地，微透镜阵列对光源成像，以作为底图，其用于校正实际拍摄时的亮度不均。一般地，校正拍摄的底图可以在成像设备出厂前进行，也可以在实际拍摄之前进行，其主要目的是获取微透镜阵列中的每个微透镜对光源成像的不同特性。如图2所示，利用微透镜阵列所获取的底图。当每个微透镜的特性差异很小，也可以用一个统一的标定好的亮度分布模型来取代，如图3所示。

步骤120：通过微透镜阵列在所述光源条件下对实际场景成像，以获取像图。

步骤130：对所述底图与所述像图去除噪声。

一般地，校正拍摄的底图和实际场景拍摄的像图存在较严重的噪声干扰，这会影响接后续对图像的处理。因此，在做进一步处理之前对所述底图和所述像图做去噪处理。在本实施例中，对所述底图与所述像图通过高斯低通滤波进行去除噪声处理。

步骤140：对所述底图与所述像图进行亮度配准。

具体地，由于拍摄时间上的差异，校正拍摄和实际拍摄的照明条件会有差别，所以底图的亮度分布模型不能直接用来指导像图的亮度均一化，所以先对所述底图与所述像图进行亮度配准。请参见图4，所述像图中同时存在背景(背光部分)和像，先定义出像图中的背景，即所述像图中能和所述底图配准的图像区域。在本实施例中，通过计算所述像图和所述底图的亮度差异并指定一个阈值来定义出像图中的背景。接下来，将所述像图的背景和相应底图的背景做亮度的配准。具体地：针对像图中每个微透镜所成的像，将其亮度做一个整体的线性变换，使得变换后所述像图的背景与相应底图的区域具有相同的亮度均值和方差。在本实施例中，上述的亮度配准操作对每个微透镜所成的像都是独立进行的。当然，在其他实施例中，亮度配准操作对每个微透镜所成的像也可以同时进行。

步骤150：为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率。

具体地，在背景概率模型中，所述像图中的第一象素p₁(即为所述像图中的任一象素)为作为背景的概率应该正比于所述第一象素p₁与和其坐标相同的底图中的第二象素p₀的亮度差异|p₁-p₀|。如图2和图3所示，在本实施例中，由于底图中的亮度本身就会有很强烈的变化，特别是在微透镜阵列成像边缘处亮度急剧下降，由此造成在每个微透镜的边缘处亮度差异|p₁-p₀|也会因此而急剧下降，很难再反映出背光和像的差异。为此，在背景概率模型中，进一步根据所述底图的亮度变化对所述底图与所述像图的亮度差异作规整化处理。在本实施例中，对所述规整化处理为：|p₁-p₀|/p₀。

所述像图中的第一象素p₁作为背景的概率B(p₁)为：

$B\left(p_1\right)=e^{-{\left(\right|p_1-p_0|/p_0)}^2/{\mathrm{\δ}}^2}$

其中，p₀表示所述底图中与所述第一象素坐标相同的第二象素，δ是一个可以调整的参数。

当所述像图中的第一象素p₁作为背景的概率B(p₁)为0表示像图中的第一象素不为背景，即无需对所述像图中的第一象素进行亮度均一化处理。

当所述像图中的第一象素p₁作为背景的概率B(p₁)不为0表示像图中的第一象素为背景，即对所述像图中的第一象素进行亮度均一化处理。

步骤160：根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

在本实施例中，在获得了背景模型后，即可对所述像图做最后的亮度均一化处理，且对所述像图中的每个微透镜所成的像独立进行的。具体地，通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，以得到所述底图的亮度调整算子T₀。具体地，对所述期望的均一亮度值S与所述底图中的亮度分布模型为I₀通过相加、相乘或者对数运算，得到所述底图的亮度调整算子T₀。并进一步通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到亮度调整算子T₁。

在本实施例中，所述底图中的亮度分布模型为所述底图中像圆区域的亮度分布模型。所谓像圆区域为图像传感器上光阑像的主光线覆盖范围，其为每个微透镜的有效视场范围。由此可知，亮度调整算子T₀表示为：T₀＝S-I₀，通过所述亮度调整算子T₀可以将所述底图的亮度调整到一个恒定的亮度值S，也就是I₀+T₀＝S。对所述像图做亮度均一化时，基于上述背景概率模型，如果所述像图中的第一象素作为背景的概率很大，那么就对所述第一象素做类似于T₀的调整；而如果所述第一象素作为背景的概率很小，那么则对其保留其原始的亮度。

在本实施例中，对所述像图中的第一象素进行亮度均一化处理表示为：

$T_1\left(p_1\right)=T_0\left(p_0\right)B\left(p_1\right)=[S-I_0\left(p_0\right)]e^{-{\left(\right|p_1-p_0|/p_0)}^2/{\mathrm{\δ}}^2}$

由上述可知，当所述像图中的第一象素p₁作为背景的概率B(p₁)为0时，即表示像图中的第一象素来为背景，则无需对所述像图中的第一象素进行亮度均一化处理；当所述像图中的第一象素p₁作为背景的概率B(p₁)不为0，即表示像图中的第一象素为背景，即对所述像图中的第一象素进行亮度均一化处理。

经过本发明提供的成像亮度均一化之后的图像I′₁(p₁)，可以表示为：

I′₁(p₁)＝I₁(p₁)+T₁(p₁)

其中，I₁(p₁)为未经本发明亮度均一化的图像，T₁(p₁)表示亮度调整值。

请参见图5与图6，其中，图5为每个微透镜像所成的原始的像图进行拼接而成的像，图6为每个微透镜像所成的像图经过所述成像亮度均一化处理后，进行拼接而成的像。由此可知，本发明提供的微透镜阵列的成像方法可以有效地消除微透镜阵列成像的亮度分布不均的现象，并且进一步地将微透镜阵列成像的亮度归一化到同一水平，从而大大降低了对微透镜阵列成像做匹配和拼接的难度。

图7为本发明第二实施例提供的微透镜阵列的成像装置200的结构框图。其中，所述微透镜阵列的成像装置包括微透镜阵列21和图像处理单元22。

所述微透镜阵列21用于对光源成像以获取底图，并在所述光源条件下对实际场景成像以获取像图。

首先，所述图像处理单元22对所述底图与所述像图去除噪声，并对所述底图与所述像图进行亮度配准。

然后，所述图像处理单元22为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率。

再次，所述图像处理单元22根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。具体地，在本实施例中，所述图像处理单元22通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，通过相加、相乘或者对数运算，以得到所述底图的亮度调整算子T₀，并通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到所述像图的亮度调整算子T₁。

在本实施例中，所述图像处理单元22对所述像图中的第一象素p₁的亮度进行均一化处理表示为：

T₁(p₁)＝T₀(p₀)B(p₁)。

在上述实施方式中，所述微透镜阵列的成像装置可以有效地消除微透镜阵列成像的亮度分布不均的现象，并且进一步地将微透镜阵列成像的亮度归一化到同一水平，从而大大降低了对微透镜阵列成像做匹配和拼接的难度。

上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种微透镜阵列的成像方法，其特征在于，包括：

通过微透镜阵列对光源成像，以获取底图；

通过微透镜阵列在所述光源条件下对实际场景成像，以获取像图；

对所述底图与所述像图进行亮度配准；

为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率；以及

根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

2.根据权利要求1所述的微透镜阵列的成像方法，其特征在于，在所述“对所述底图与所述像图进行亮度配准”之前，进一步包括对所述底图与所述像图去除噪声。

3.根据权利要求1所述的微透镜阵列的成像方法，其特征在于，所述“对所述底图与所述像图进行亮度配准”包括计算所述像图和所述底图的亮度差异并指定一个阈值来定义出所述像图中的背景。

4.根据权利要求3所述的微透镜阵列的成像方法，其特征在于，所述像图中每个微透镜所成的像，将其亮度做线性变换，使得变换后像图的背景与相应底图的区域具有相同的亮度均值和方差。

5.根据权利要求1所述的微透镜阵列的成像方法，其特征在于，所述像图中的第一象素作为背景的概率正比于所述第一象素与所述第二象素的亮度差异。

6.根据权利要求5所述的微透镜阵列的成像方法，其特征在于，进一步根据所述底图的亮度变化对所述底图与所述像图的亮度差异作规整化处理。

7.根据权利要求6所述的微透镜阵列的成像方法，其特征在于，所述像图中的第一象素p₁作为背景的概率B(p₁)为：

其中，p₀表示所述底图中与所述第一象素坐标相同的第二象素，δ是一个可以调整的参数。

8.根据权利要求7所述的微透镜阵列的成像方法，其特征在于，所述“根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理”进一步包括：通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，以得到所述底图的亮度调整算子T₀。

9.根据权利要求8所述的微透镜阵列的成像方法，其特征在于，进一步包括对所述期望的均一亮度值S与所述底图中的亮度分布模型为I₀通过相加、相乘或者对数运算，以得到所述底图的亮度调整算子T₀。

10.根据权利要求9所述的微透镜阵列的成像方法，其特征在于，进一步通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到所述像图的亮度调整算子T₁。

11.根据权利要求10所述的微透镜阵列的成像方法，其特征在于，对所述像图中的第一象素p₁的亮度进行均一化处理表示为：

T₁(p₁)＝T₀(p₀)B(p₁)。

12.一种微透镜阵列的成像装置，包括微透镜阵列和图像处理单元，其特征在于：

所述微透镜阵列用于对光源成像以获取底图，并在所述光源条件下对实际场景成像以获取像图；

所述图像处理单元用于对所述底图与所述像图进行亮度配准，为所述像图中的第一象素建立背景概率模型，根据所述底图中与所述第一象素坐标相同的第二象素的亮度差异，判断所述像图中的第一象素作为背景的概率；并根据所述第一象素的背景概率模型，对所述像图中的第一象素进行亮度均一化处理。

13.根据权利要求12所述的微透镜阵列的成像装置，其特征在于，所述图像处理单元对所述底图与所述像图去除噪声后再对所述底图与所述像图进行亮度配准。

14.根据权利要求12所述的微透镜阵列的成像装置，其特征在于，通过设定一个期望的均一亮度值S，以及所述底图中的亮度分布模型I₀，以得到所述底图的亮度调整算子T₀，并通过背景概率模型B来修正所述底图的亮度调整算子T₀，从而得到所述像图的亮度调整算子T₁。

15.根据权利要求14所述的微透镜阵列的成像方法，其特征在于，进一步包括对所述期望的均一亮度值S与所述底图中的亮度分布模型为I₀通过相加、相乘或者对数运算，得到所述底图的亮度调整算子T₀。