CN102663732B - 一种针对光场相机进行相对辐射定标的方法 - Google Patents

Abstract

本发明实施例公开了一种针对光场相机进行相对辐射定标的方法。所述方法首先利用光场相机对均匀面光源发出的图像进行标定处理，得到暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数；再利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理，得到相对辐射定标处理后的光场图像。该方法能够消除光场相机系统的暗电流噪声，去除微透镜子图像之间的无效像素，并校正由各种因素所引起的像元响应不一致问题，从而提高光场相机的性能。

Description

一种针对光场相机进行相对辐射定标的方法

技术领域

本发明涉及光场成像技术领域，尤其涉及一种针对光场相机进行相对辐射定标的方法。

背景技术

光场成像技术是一种新型的计算成像技术，它将传统的光学成像技术与现代的计算机信息处理技术相结合，通过光学调制方法获取四维的光场信息，再利用信息解调的方法处理得到满足不同需求的二维图像。这种技术突破了传统成像技术中的某些固有缺陷，具有“先拍照后对焦”的特点，能够在大孔径条件下获得大景深的图像，在高速、低照以及大距离范围成像中具有明显的优势。

光场相机一般由主光学镜头、微透镜阵列和图像传感器组成，将微透镜阵列置于主光学镜头的像平面上，图像传感器位于微透镜阵列的后焦面上。在理想状态下，当相机入瞳处的入射光照完全一致时，图像传感器中的各个像素应该输出相同的灰度值，而在实际中，由于各方面因素的影响，相机在均匀光照条件下输出的图像并非由同一灰度值组成，而会具有一定程度的灰度变化。在普通相机中，造成这种辐射响应不一致性的来源主要包括暗电流噪声、像元响应不一致和光学镜头渐晕等因素；而对于光场相机来说，除了上述几种因素的影响之外，还包括其特殊的成像结构所引起的问题，具体来说：

(1)微透镜阵列非均匀性的影响。由于生产过程、工艺条件以及材料性质的影响，微透镜阵列的每个单元不可能具有完全相等的孔径和焦距，因此各个微透镜单元对光辐射的采集能力会存在不一致性。

(2)微透镜子图像之间非填充区域的影响。光场相机所输出的光场图像是由各个微透镜的子图像排列而成的，由于主光学镜头一般都采用圆形孔径光阑，其投影到每个微透镜后会形成圆形轮廓的子图像，这样在圆形子图像之间会存在一部分像素无法接收到光线的辐射，因此始终具有零灰度值。

(3)微透镜子图像边缘像素的渐晕效应。微透镜子图像具有圆形轮廓，而图像传感器的像元一般都是矩形排列，这就导致各个微透镜的子图像在边缘处无法覆盖完整的像元，因而具有较低的灰度值。

基于上述原因，需要对光场相机进行相对辐射定标，以对光场相机所拍摄的原始光场图像进行相应处理，而由于光场相机的自身特点，普通相机的定标方法无法直接适用，现有技术中也没有相应的辐射定标处理方法。

发明内容

本发明的目的是提供一种针对光场相机进行相对辐射定标的方法，能够消除光场相机系统的暗电流噪声，去除微透镜子图像之间的无效像素，并校正由各种因素所引起的像元响应不一致问题，从而提高光场相机的性能。

本发明的目的是通过以下技术方案实现的：

一种针对光场相机进行相对辐射定标的方法，所述方法包括：

利用光场相机采集N幅由均匀面光源发出的图像I_k，其中k＝1，2，…，N，并对所采集的图像求平均值消除由于随机误差引起的图像灰度不确定性；

将所述光场相机的镜头盖关闭，采集N幅暗场图像I_nk，其中k＝1，2，…，N，并对所采集的暗场图像计算均值图像作为暗电流噪声测量值；

将消除随机误差后的均匀面光源图像减去得到去除系统暗电流噪声的图像 ${\stackrel{\‾}{I}}_0;$

再设定阈值T，对进行二值化处理，得到二值化矩阵t，通过设定适当的阈值T，使将所述光场相机的微透镜边缘像素的灰度值变为零，并将与t相乘，得到所述微透镜子图像相互分离后的均匀面光源图像J；

计算所述光场相机中每个微透镜子图像的灰度重心坐标(x_m，y_m)，以该灰度重心坐标(x_m，y_m)为中心，提取L×L大小的方形区域，其中L为所述光场相机的角分辨率，并进行重新拼接，得到重新拼接后的均匀面光源图像；

将所述重新拼接后的均匀面光源图像与预先设定的单灰度值理想均匀面光源图像相除，得到每个像素的平场校正系数；

利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理，得到相对辐射定标处理后的光场图像。

所述计算所述光场相机中每个微透镜子图像的灰度重心坐标(x_m，y_m)，具体包括：

若所述图像J中包含M个分离的微透镜子图像J_m，其中m＝1，2，...，M，则采用下式计算所述光场相机中每个微透镜子图像的灰度重心坐标：

$x_m=\frac{{\mathrm{\Σ}}_{i,j\∈\mathrm{Jm}}j\×\stackrel{\‾}{I}(i,j)}{{\mathrm{\Σ}}_{i,j\∈\mathrm{Jm}}\stackrel{\‾}{I}(i,j)},$

$y_m=\frac{{\mathrm{\Σ}}_{i,j\∈\mathrm{Jm}}i\×\stackrel{\‾}{I}(i,j)}{{\mathrm{\Σ}}_{i,j\∈\mathrm{Jm}}\stackrel{\‾}{I}(i,j)}.$

所述均匀面光源采用积分球来实现，并将所述光场相机的光轴对准所述积分球的出口中心。

由上述本发明提供的技术方案可以看出，所述方法包括首先利用光场相机采集N幅由均匀面光源发出的图像I_k，其中k＝1，2，…，N，并对所采集的图像求平均值消除由于随机误差引起的图像灰度不确定性；将所述光场相机的镜头盖关闭，采集N幅暗场图像I_nk，其中k＝1，2，…，N，并对所采集的暗场图像计算均值图像作为暗电流噪声测量值；将消除随机误差后的均匀面光源图像减去得到去除系统暗电流噪声的图像再设定阈值T，对进行二值化处理，得到二值化矩阵t，通过设定适当的阈值T，使将所述光场相机的微透镜边缘像素的灰度值变为零，并将与t相乘，得到所述微透镜子图像相互分离后的均匀面光源图像J；计算所述光场相机中每个微透镜子图像的灰度重心坐标(x_m，y_m)，以该灰度重心坐标(x_m，y_m)为中心，提取L×L大小的方形区域，其中L为所述光场相机的角分辨率，并进行重新拼接，得到重新拼接后的均匀面光源图像；将所述重新拼接后的均匀面光源图像与预先设定的单灰度值理想均匀面光源图像相除，得到每个像素的平场校正系数；利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理，得到相对辐射定标处理后的光场图像。该方法能够消除光场相机系统的暗电流噪声，去除微透镜子图像之间的无效像素，并校正由各种因素所引起的像元响应不一致问题，从而提高光场相机的性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例所提供针对光场相机进行相对辐射定标的方法流程示意图；

图2为本发明所举实例中相对辐射定标的处理系统示意图；

图3为本发明实施例消除随机误差和暗电流噪声后的均匀面光源图像示意图；

图4为本发明实施例所述二值化矩阵t的示意图；

图5为本发明实施例所述微透镜子图像相互分离后的均匀面光源图像J；

图6为本发明实施例所述微透镜子图像灰度重心坐标的标记示意图；

图7为本发明实施例有效像素提取的示意图；

图8为本发明实施例所述通过重新拼接后的均匀面光源图像示意图；

图9为本发明实施例所述平场校正后的均匀面光源图像；

图10为本发明实施例所举实例的相对辐射定标处理流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供了一种针对光场相机进行相对辐射定标的方法，下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例所提供方法的流程示意图，所述方法包括：

步骤11：采集均匀面光源发出的图像，并消除随机误差。

在该步骤中，首先，利用光场相机来采集N幅由均匀面光源发出的图像I_k(其中，K＝1，2，…，N)，对这些图像求平均值以消除由于随机误差引起的图像灰度不确定性：

$\stackrel{\‾}{I}(i,j)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{I}_k(i,j)$

其中，i和j分别表示图像的行坐标和列坐标。

在本发明实施例中，上述均匀面光源可以采用积分球来是是实现，将光场相机的光轴对准积分球的出口中心，采集图像后经过计算机进行数据处理，如图2所示为本发明所举实例中相对辐射定标的处理系统示意图，当然本领域技术人员能够想到的其他均匀面光源的实现方法也是能够满足要求的。

步骤12：去除暗电流噪声。

在该步骤中，将上述光场相机的镜头盖关闭，采集N幅暗场图像I_nk(其中，k＝1，2，...，N)，在计算均值图像作为暗电流噪声的测量值：

(其中，i和j分别表示图像的行坐标和列坐标)

再将消除随机误差后的均匀面光源图像减去就可以去除系统中的暗电流噪声，得到图像即：

${\stackrel{\‾}{I}}_0(i,j)=\stackrel{\‾}{I}(i,j)-{\stackrel{\‾}{I}}_n(i,j)$

例如，如图3所示为本发明实施例消除随机误差和暗电流噪声后的均匀面光源图像的示意图。

步骤13：分离微透镜子图像。

在该步骤中，首先设定阈值T，对上述图像进行二值化处理，得到二值化矩阵t，如下公式所示，且如图4所示为本发明实施例所述二值化矩阵t的示意图：

$t(i,j)=\left\{\begin{array}{cc}0,& {\stackrel{\&OverBar;}{I}}_0(x,y)<T;\\ 1,& {\stackrel{\&OverBar;}{I}}_0(x,y)\&GreaterEqual;T.\end{array}\right.$

然后，通过设定适当的阈值T，可将微透镜边缘像素的灰度值变为零，从而使微透镜子图像之间不会发生连接，这里阈值T的计算设定方式可以有多种，本领域技术人员能够想到的方式都是可以实现的。

再将与t进行相乘，得到微透镜子图像相互分离后的均匀面光源图像J，例如，如图5所示为本发明实施例所述微透镜子图像相互分离后的均匀面光源图像J。

步骤14：计算光场相机中每个微透镜子图像的灰度重心坐标。

在该步骤中，计算光场相机中每个微透镜子图像的灰度重心坐标的方式有多种，本发明实施例列举其中的一种计算方式，具体来说：

假设图像J中包含M个分离的微透镜子图像J_m(m＝1，2，…，M)，则本发明实施例可以采用下式计算每个微透镜子图像的灰度重心坐标：

$x_m=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;\mathrm{Jm}}j\&times;\stackrel{\&OverBar;}{I}(i,j)}{{\mathrm{\&Sigma;}}_{i,j\&Element;\mathrm{Jm}}\stackrel{\&OverBar;}{I}(i,j)}$

$y_m=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;\mathrm{Jm}}i\&times;\stackrel{\&OverBar;}{I}(i,j)}{{\mathrm{\&Sigma;}}_{i,j\&Element;\mathrm{Jm}}\stackrel{\&OverBar;}{I}(i,j)}$

上述计算方式只是本发明实施例所举出的一种，本领域技术人员能够想到的其他方式也是可以实现的。

通过上述计算后，就可以得到每个微透镜子图像的灰度重心坐标，如图6所示为本发明实施例所述微透镜子图像灰度重心坐标的标记示意图。

步骤15：提取并重新拼接有效像素，得到重新拼接后的均匀面光源图像。

在该步骤中，由于微透镜子图像一般为圆形轮廓，这样造成子图像之间的非填充区域成为无效像素，故需要提取并重新拼接有效像素，具体来说：

以图6为例，以每个微透镜子图像的灰度重心坐标(x_m，y_m)为中心，提取L×L大小的方形区域，其中L为光场相机的角分辨率，进行重新拼接，如图7所示为本发明实施例有效像素提取的示意图，再通过重新拼接后的均匀面光源图像如图8所示。

步骤16：对上述重新拼接后的均匀面光源图像进行平场校正。

在该步骤中，进行平场校正的目的在于消除成像系统的渐晕和探测器像元响应的不一致性等误差，具体来说：

将上述重新拼接后的均匀面光源图像与预先设定的单灰度值理想均匀面光源图像相除，即可得到每个像素的平场校正系数。

这里，利用该平场校正系数就可以对上述重新拼接后的均匀面光源图像进行平场校正，例如，如图9所示即为本发明实施例所述平场校正后的均匀面光源图像。

步骤17：利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理。

在该步骤中，通过上述步骤11-16的操作获得了暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，这里就可以利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理，从而得到相对辐射定标处理后的光场图像。

举例来说，如图10所示为本发明实施例所举实例的相对辐射定标处理的流程示意图，图10中左侧为对均匀面光源图像101的辐射定标处理的流程，通过步骤102得到暗电流噪声测量值，步骤105得到微透镜子图像灰度重心坐标，步骤107得到平场校正系数。

右侧为对光场相机所拍摄的其他原始光场图像108进行相应处理的流程，具体包括：利用所得到暗电流噪声测量值进行噪声消除处理，得到去噪光场图像109；利用微透镜子图像灰度重心坐标105进行有效像素的提取和拼接处理，得到有效光场图像110；利用平场校正系数107进行平场校正处理，得到定标光场图像111。

由此可见，通过上述方法实施例，就可以消除光场相机系统的暗电流噪声，去除微透镜子图像之间的无效像素，并校正由各种因素所引起的像元响应不一致问题，从而提高光场相机的性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种针对光场相机进行相对辐射定标的方法，其特征在于，所述方法包括：

利用光场相机采集N幅由均匀面光源发出的图像I_k，其中k＝1,2，…，N，并对所采集的图像求平均值，消除由于随机误差引起的图像灰度不确定性，并得到消除随机误差后的均匀面光源图像；

将所述光场相机的镜头盖关闭，采集N幅暗场图像I_nk，其中k＝1，2，…，N，并对所采集的暗场图像计算均值图像作为暗电流噪声测量值；

将消除随机误差后的均匀面光源图像减去得到去除系统暗电流噪声的图像

再设定阈值T，对进行二值化处理，得到二值化矩阵t，通过设定适当的阈值T，使将所述光场相机的微透镜边缘像素的灰度值变为零，并将与t相乘，得到所述微透镜子图像相互分离后的均匀面光源图像J；

计算所述光场相机中每个微透镜子图像的灰度重心坐标(x_m,y_m)，以该灰度重心坐标(x_m,y_m)为中心，提取L×L大小的方形区域，其中L值为所述光场相机的角分辨率，并进行重新拼接，得到重新拼接后的均匀面光源图像；

将所述重新拼接后的均匀面光源图像与预先设定的单灰度值理想均匀面光源图像相除，得到每个像素的平场校正系数；

利用上述所获得的暗电流噪声测量值、微透镜子图像灰度重心坐标和平场校正系数，对所述光场相机所拍摄的其他原始光场图像进行相应处理，得到相对辐射定标处理后的光场图像。

2.如权利要求1所述的针对光场相机进行相对辐射定标的方法，其特征在于，所述计算所述光场相机中每个微透镜子图像的灰度重心坐标(x_m,y_m)，具体包括：

若所述图像J中包含M个分离的微透镜子图像J_m，其中m＝1,2，…，M，则采用下式计算基于消除随机误差后的均匀面光源图像的灰度值的灰度重心坐标：

$x_m=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;J_m}j\&times;\stackrel{\&OverBar;}{I}(i,j)}{{\mathrm{\&Sigma;}}_{i,j\&Element;J_m}\stackrel{\&OverBar;}{I}(i,j)},$

$y_m=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;J_m}i\&times;\stackrel{\&OverBar;}{I}(i,j)}{{\mathrm{\&Sigma;}}_{i,j\&Element;J_m}\stackrel{\&OverBar;}{I}(i,j)},$

3.如权利要求1所述的针对光场相机进行相对辐射定标的方法，其特征在于，所述均匀面光源采用积分球来实现，并将所述光场相机的光轴对准所述积分球的出口中心。