CN110634165B - 一种基于rgb三通道信息融合的光场图像去散射方法 - Google Patents

Abstract

本发明公开了一种基于RGB三通道信息融合的光场图像去散射方法，包括：A1、从沿像面二自由度等间隔采集到的彩色散射光场图像集中，提取每幅图像的R、G、B三通道的散射干扰；A2、对于每幅图像，融合其R、G、B三通道的散射干扰，形成每幅图像基于RGB三通道一致的散射干扰矩阵；A3、对于每幅图像，根据散射干扰矩阵，消除图像的散射干扰，并利用基于RGB三通道数据的归一化处理实现颜色恢复；得到去散射干扰的彩色光场图像集；A4、对所述彩色光场图像集，利用光场重聚焦的方法进行重建，恢复出待观测目标物的图像。本发明能实现快速有效的散射目标物彩色重建，解决了原有相关光场去散射方法无法应用到RGB三通道场景及颜色恢复存在严重色差的问题。

Description

一种基于RGB三通道信息融合的光场图像去散射方法

技术领域

本发明涉及一种基于RGB三通道信息融合的光场图像去散射方法，属于计算机视觉与数字图像处理领域。

背景技术

散射介质广泛存在于自然界中，由于其内部存在对入射光线的非线性的反射、折射及衰减，造成成像结果出现明显偏差。如何透过散射介质清晰重建待观测目标物，在天文观测、医学观测、海底勘探及安全驾驶等方面具有重大应用前景。

现有的透过散射介质散射成像的方法，主要包括以下五类：波前整型法、弹道光提取法、基于点扩散函数(PSF)的反卷积方法、相关成像法以及结合光场重聚焦与光场图像处理的去散射方法。其中，波前整型法在光路系统中人为置入空间光调制器(SLM)等相位调制仪器，通过系统标定，补偿散射介质带来的相位干扰，实现透过散射介质成像，但受标定过程的复杂度所限，系统标定及重建的视场相对较小；弹道光提取法利用弹道光子未经散射因此能更快到达感光器件的特点，使用皮秒级的快门采集弹道光生成的图像，但皮秒级传感器很难实现大面阵采集，同时弹道光比例随散射介质的厚度成指数式衰减，基于弹道光的散射成像方法很难适用于强散射介质及大视场的环境；基于PSF的反卷积方法与相关成像方法，均利用散射介质的记忆效应实现成像，即在一定的视场范围内，散射介质的PSF具有平移不变性，但在真实应用场景中，视场范围往往要远超记忆效应范围；结合光场重聚焦与光场图像处理的去散射方法，从相机阵列采集的高维光场数据中提取由散射介质带来的干扰，并将这种干扰从原始光场数据中消除，最后结合光场重聚焦技术实现多深度目标物重建。该方法虽能实现大视场下的散射重建，但只限于对光场灰度图像的处理。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于克服现有技术的不足，提出一种基于RGB三通道信息融合的光场图像去散射方法，实现快速有效的散射目标物彩色重建，以解决现有的相关光场去散射方法无法应用到RGB三通道场景及颜色恢复存在严重色差的问题。

本发明为达上述目的提出以下技术方案：

一种基于RGB三通道信息融合的光场图像去散射方法，包括以下步骤：

A1、从沿像面二自由度等间隔采集到的彩色散射光场图像集中，提取每幅图像的R、G、B三通道的散射干扰；

A2、对于每幅图像，融合其R、G、B三通道的散射干扰，形成每幅图像基于RGB三通道一致的散射干扰矩阵；

A3、对于每幅图像，根据所述散射干扰矩阵，消除图像的散射干扰，并利用基于RGB三通道数据的归一化处理实现颜色恢复；从而得到去散射干扰的彩色光场图像集；

A4、对步骤A3得到的所述彩色光场图像集，利用光场重聚焦的方法进行重建，恢复出待观测目标物的图像。

本发明上述技术方案所提供的光场图像去散射方法，从经过散射干扰的RGB光场图像中提取基于RGB三通道一致的散射干扰矩阵，进而削弱图像的散射干扰，同时实现彩色颜色恢复，结合光场重聚焦技术，重建受散射介质遮挡的待观测目标物。该方法能实现快速有效的散射目标物彩色重建，解决了现有的相关光场去散射方法无法应用到RGB三通道场景及颜色恢复存在严重色差的问题，在工业和日常生活中具有较大应用的应用前景。

附图说明

图1是本发明一具体实施例提出的基于RGB三通道信息融合的光场图像去散射方法流程图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明的具体实施方式提出了一种基于RGB三通道信息融合的光场图像去散射方法，参考图1，该方法包括以下步骤：

A1、从沿像面二自由度等间隔采集到的彩色散射光场图像集中，提取每幅图像的R、G、B三通道的散射干扰；

A2、对于每幅图像，融合其R、G、B三通道的散射干扰，形成每幅图像基于RGB三通道一致的散射干扰矩阵；

A3、对于每幅图像，根据所述散射干扰矩阵，消除图像的散射干扰，并利用基于RGB三通道数据的归一化处理实现颜色恢复；从而得到去散射干扰的彩色光场图像集；

A4、对步骤A3得到的所述彩色光场图像集，利用光场重聚焦的方法进行重建，恢复出待观测目标物的图像。在该步骤中，对经过去散射干扰的彩色光场图像集中的多张空间规则排布的彩色光场图像，利用光场重聚焦技术，最终恢复出不同目标深度下目标观测物的图像。需要理解的是，本发明输入的是空间上规则排布的图像集(同一目标观测物)，输出的是该目标观测物的不同深度下的多张图像(每个深度产生一张图像)。

本发明所针对的处理对象是沿像面二自由度等间隔采集得到的彩色散射光场图像集，集合中的多张待处理图像是空间规则排布的。采集的方式包括但不限于移动相机阵列采集以及用空间规则排布的多相机阵列采集。在一种具体的实施例中，沿像面h方向和v方向等间隔采集到的H×V张RGB三通道彩色强度图像I₁(x,y)、I₂(x,y)、I₃(x,y)、……、I_H×V(x,y)构成所述彩色散射光场图像集，其中，h方向和v方向分别平行于相机传感器靶面的长和宽，x和y是采集到的每幅图像的二维坐标分布，(x,y)代表了图像上的像素点。

对于上述得到的彩色散射光场图像集中的任意一张图像I_p(x,y)，p∈{1,2,3,…,H×V}，均包括R、G、B三个通道的分量：

相应地，每张图像对应于R、G、B三个通道的散射干扰分别为：

其中，

表示图像I_p(x,y)的像素点(x,y)在R通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定；

表示图像I_p(x,y)的像素点(x,y)在G通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定；

表示图像I_p(x,y)的像素点(x,y)在B通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定。m表示x方向上以点(x,y)为起始的第m个像素点，n表示y方向上以点(x,y)为起始的第n个像素点。对于ω_x、ω_y的取值，本领域技术人员可以根据待处理图像的像素大小等因素以及具体的处理效果需求来选择，本发明对此不作限制，但当像素点(x,y)接近原始图像的右边界或下边界时，ω_x、ω_y的取值要适当缩小，以保证公式(1)(2)(3)中的像素取值(x+m-1,y+n-1)不超过图像最大范围。

在步骤A2中，对于图像I_p(x,y)的任一像素点(x,y)，其R、G、B三通道的散射干扰

融合公式为：

其中，限定a_r+a_g+a_b＝1，并且，对于a_r、a_g、a_b的选取，可以按照强度正比例模型以及强度反比例模型两种情况来选取。

在强度正比例模型中：

从而，强度正比例模型中图像I_p(x,y)基于RGB三通道一致的散射干扰矩阵(μ_p(x,y))_X×Y的逐点表达式为：

而在强度反比例模型中：

从而，强度反比例模型中图像I_p(x,y)基于RGB三通道一致的散射干扰矩阵(μ_p(x,y))_X×Y的逐点表达式为：

其中，X、Y分别表示图像I_p(x,y)的x、y方向上的像素点个数。

在得到待处理图像的散射干扰矩阵之后，即可消除散射干扰。对于每幅图像，可以根据需要选取强度正比例模型或强度反比例模型下的散射干扰矩阵，来消除图像的散射干扰。具体步骤为：

其中，

分别为消除散射干扰后的单幅图像的R、G、B三通道数据；接着，对每幅图像，将前述得到的R、G、B三通道数据的范围归一化至0～255，以实现颜色恢复；归一化公式如下：

最后将

和

融合成彩色图像

即为图像I_p(x,y)去除散射干扰后的彩色图像；从而得到原始待处理图像集{I₁(x,y),I₂(x,y),I₃(x,y),……,I_H×V(x,y)}所对应的彩色光场图像集

最后，对得到的彩色光场图像集，利用光场重聚焦技术进行不同深度下的重建，即从规则排布的彩色光场图像集中，恢复出不同深度下的待观测目标物的图像。利用光场重聚焦技术例如合成孔径积分成像技术(SAII)等来从光场图像集中恢复出不同深度的目标物图像的具体应用为业界公知，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于RGB三通道信息融合的光场图像去散射方法，其特征在于，包括以下步骤：

A1、从沿像面二自由度等间隔采集到的彩色散射光场图像集中，提取每幅图像的R、G、B三通道的散射干扰；

A2、对于每幅图像，融合其R、G、B三通道的散射干扰，形成每幅图像基于RGB三通道一致的散射干扰矩阵；

A3、对于每幅图像，根据所述散射干扰矩阵，消除图像的散射干扰，并利用基于RGB三通道数据的归一化处理实现颜色恢复；从而得到去散射干扰的彩色光场图像集；

A4、对步骤A3得到的所述彩色光场图像集，利用光场重聚焦的方法进行重建，恢复出待观测目标物的图像；

步骤A1中所述彩色散射光场图像集包括沿像面h方向和v方向等间隔采集到的H×V张RGB三通道彩色强度图像I₁(x,y)、I₂(x,y)、I₃(x,y)、……、I_H×V(x,y)，其中，h方向和v方向分别平行于相机传感器靶面的长和宽，x和y是采集到的每幅图像的二维坐标分布；

对于所述彩色散射光场图像集中的任意一张图像I_p(x,y)，p∈{1,2,3,…,H×V}，均包括R、G、B三个通道的分量：

相应地，每张图像对应于R、G、B三个通道的散射干扰分别为：

其中，

表示图像I_p(x,y)的像素点(x,y)在R通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定；

表示图像I_p(x,y)的像素点(x,y)在G通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定；

表示图像I_p(x,y)的像素点(x,y)在B通道上的散射干扰，且

由

上对应像素点附近的ω_x×ω_y个像素点确定；m表示x方向上以点(x,y)为起始的第m个像素点，n表示y方向上以点(x,y)为起始的第n个像素点。

2.如权利要求1所述的基于RGB三通道信息融合的光场图像去散射方法，其特征在于，步骤A1中沿像面二自由度等间隔采集的方式包括：移动相机阵列采集以及用空间规则排布的多相机阵列采集。

3.如权利要求1所述的基于RGB三通道信息融合的光场图像去散射方法，其特征在于，步骤A2具体包括：

对于图像I_p(x,y)的任一像素点(x,y)，其R、G、B三通道的散射干扰

融合公式为：

其中，限定a_r+a_g+a_b＝1，并且，对于a_r、a_g、a_b的选取，在强度正比例模型中：

从而，强度正比例模型中图像I_p(x,y)基于RGB三通道一致的散射干扰矩阵(μ_p(x,y))_X×Y的逐点表达式为：

其中，X、Y分别表示图像I_p(x,y)的x、y方向上的像素点个数。

4.如权利要求1所述的基于RGB三通道信息融合的光场图像去散射方法，其特征在于，步骤A2具体包括：

对于图像I_p(x,y)的任一像素点(x,y)，其R、G、B三通道的散射干扰

融合公式为：

其中，限定a_r+a_g+a_b＝1，并且，对于a_r、a_g、a_b的选取，在强度反比例模型中：

从而，强度反比例模型中图像I_p(x,y)基于RGB三通道一致的散射干扰矩阵(μ_p(x,y))_X×Y的逐点表达式为：

其中，X、Y分别表示图像I_p(x,y)的x、y方向上的像素点个数。

5.如权利要求3或4所述的基于RGB三通道信息融合的光场图像去散射方法，其特征在于，步骤A3具体包括：

A31、对于每幅图像，选取强度正比例模型或强度反比例模型下的散射干扰矩阵，来消除图像的散射干扰：

其中，

分别为消除散射干扰后的单幅图像的R、G、B三通道数据；

A32、对每幅图像，将步骤A31得到的R、G、B三通道数据的范围归一化至0～255，以实现颜色恢复；归一化公式如下：

A33、将

和

融合成彩色图像

即为图像I_p(x,y)去除散射干扰后的彩色图像；

从而得到原始待处理的彩色散射光场图像集{I₁(x,y),I₂(x,y),I₃(x,y),……,I_H×V(x,y)}所对应的彩色光场图像集

6.如权利要求1所述的基于RGB三通道信息融合的光场图像去散射方法，其特征在于，步骤A4中，对规则排布的所述彩色光场图像集，利用光场重聚焦的方法进行重建，恢复出不同目标深度下的待观测目标物的图像。

Images