CN114638759B - 一种基于双摄像头的散射环境下图像去雾方法 - Google Patents

Abstract

本发明公开一种基于双摄像头的散射环境下光学图像的去雾方法，属于计算机图像处理领域。所述方法为使用双摄像头任意拍摄一对没有场景目标的立体图像，作为最远处的背向散射成分信息；使用双摄像头拍摄一对目标场景立体图像，并假设该图像记录了两种成分信息：信号成分和背向散射成分；定义一个单调递增的背向散射比例函数，在[0，1]区间以适当间距枚举背向散射比例的值，如果枚举的背向散射比例是最优的，目标场景中左右立体图像对上对应点的匹配代价最小，进而得到只包含目标信号成分的去雾图像。本发明所述方法可以很好的工作于自然光源和人造光源条件下，既不用对光源进行校准，也不用对散射属性进行估计，算法简单易行。

Description

一种基于双摄像头的散射环境下图像去雾方法

技术领域

本发明涉及一种充满散射介质环境下的光学图像去雾方法，属于计算机图像处理领域。

背景技术

在充满尘埃、烟雾等散射介质的大气或浑浊水下环境中，悬浮粒子的散射将导致光学图像的对比度和色彩饱和度显著降低，使得场景中目标能见度变弱，给目标提取和识别带来困难。为了提高散射成像环境下图像的清晰度，需要研究如何去除图像中悬浮粒子散射所产生的雾化成分，常见的去雾方法有：(1)基于偏振方法，从不同偏振角度获取多幅图像移除尘雾；(2)基于深度的方法，通过附加的深度信息估算不同位置处雾的浓度；(3)基于先验知识的方法，在单幅图像中估计图像局部的雾浓度实现去雾。在散射环境中，图像可认为是记录了两种光辐射成分信息：(1)被衰减和吸收后的场景目标辐射成分，记为信号成分，是需要恢复还原的目标分量；(2)由悬浮粒子反向散射周围照明进入摄像机的光线成分，记为背向散射成分，是需要去除的尘雾分量。

发明内容

本发明的目的在于提供一种基于双摄像头的散射环境下光学图像的去雾方法，以实现散射介质环境下光学图像的去雾效果，该方法步骤如下：

步骤1：设双摄像头的左相机L为世界坐标系原点，使用双目相机任意拍摄一对没有场景目标的立体图像，作为最远处的背向散射成分信息，左相机记录背向散射信息记为右相机R记录的背向散射信息记为/>左右相机的中点和P点的距离记为u，将∠PLR记为γ^L，∠LRP记为γ^R。

步骤2：使用双目相机拍摄一对含有场景目标的立体图像(假设该图像记录了两种成分信息：信号成分和背向散射成分)，左相机记录的光辐射信息为I^L，右相机记录的光辐射信息为I^R，设：

式中，S^L和S^R分别为左右相机中记录的需要恢复的去雾后的信号成分；B^L和B^R分别为左右相机中记录的需要去除的背向散射成分，其大小和点P(X,Y,Z)距左右相机的距离d_L和d_R有关，即B^L＝f_L(d_L)，B^R＝f_R(d_R)。

步骤3：定义目标场景中点P(X,Y,Z)处左右图像的背向散射成分与最远处背向散射成分的比例分别为函数和/>如果左右两个相机间的距离小于20厘米，则d_L≈d_R＝d，其中，d表示两个相机距离P点的距离，s_L(d_L)≈s_R(d_R)＝s(d)，同时，左右相机记录的信号成分S^L和S^R也认为近似相等，则：

由于背向散射比例s(d)处于[0,1]区间，为了得到点P(X,Y,Z)处最优的使用枚举法让s(d)从0开始以Δs为间隔进行自增到1为止，在此过程中，使用立体视觉匹配算法沿着极线计算P点处左右信号成分S^L、S^R对于不同视差(距离d)的匹配代价C(S^L,S^R,d)，计算公式可采用归一化离差平方和(NSSD)或零均值离差平方和(ZSSD)等多种，然后采用赢者通吃(WTA)策略，当匹配代价C(S^L,S^R,d)最小时，即认为此时所枚举的s(d)为P处最优的背向散射比例/>

步骤4：使用所得到的最优背向散射比例即可分别估算出去雾后左右图像上点P(X,Y,Z)位置处的信号成分/>和/>大小：

本发明的原理：在需要人工光源作为辅助照明的散射环境下，背向散射成分大小通常随着与相机距离的增加而叠加，所以图像中的背向散射成分天然的包含了距离信息，本发明所述方法定义了一个背向散射比例函数，用来描述从摄像头处由近及远，目标场景中背向散射成分与最远处背向散射成分的比例，其是一个单调递增函数，且值域处于[0 1]区间；在[0，1]区间以适当的数量级的间距对目标场景中任一目标点枚举背向散射比例的值，如果枚举的背向散射比例是最优的，将导致目标场景中左右立体图像对上对应点的匹配代价最小，从而可以得到左右立体图上该点处背向散射成分的大小，进而得到只包含目标信号成分的去雾图像。

本发明的有益效果：

该去雾方法可以很好的工作于自然光源和人造光源条件下，既不用对光源进行校准，也不用对散射属性进行估计，算法简单易行，提高了散射成像环境下图像的清晰度。

附图说明

图1是散射介质环境下双目立体相机记录场景信息示意图。

图2是按照本发明方法得到去雾图像结果示例。

具体实施方式

下面结合具体实施例对本发明作进一步详细说明，但本发明的保护范围并不限于所述内容。

一种基于双摄像头的散射环境下光学图像的去雾方法，具体包括以下步骤：

步骤1：设双摄像头的左相机L为世界坐标系原点，在使用双目相机任意拍摄一对没有场景目标的立体图像时，则对应于有场景目标上的任意一点P(X,Y,Z),左相机记录的全为背向散射信息，记为右相机R记录的也只包含光背向散射信息，记为/>左右相机的中点和P点的距离记为u，将∠PLR记为γ^L，∠LRP记为γ^R。

步骤2：使用双目相机拍摄一对含有场景目标的立体图像，则对应于点P(X,Y,Z)，左相机记录的光辐射信息为I^L，右相机记录的光辐射信息为I^R，设：

式(1)中，S^L和S^R分别为左右相机中记录的需要恢复的去雾后的信号成分；B^L和B^R分别为左右相机中记录的需要去除的背向散射成分，其大小和点P距左右相机的距离d_L和d_R有关，即B^L＝f_L(d_L)，B^R＝f_R(d_R)。

步骤3：定义目标场景中点P(X,Y,Z)处左右图像的背向散射成分与最远处背向散射成分的比例分别为函数和/>如果左右两个相机间的距离较小(通常小于20厘米)，则d_L≈d_R＝d，其中，d表示两个相机距离P点的距离，s_L(d_L)≈s_R(d_R)＝s(d)，此外，左右相机记录的信号成分S^L和S^R也可认为近似相等，则由式(1)可得：

由于背向散射比例s(d)处于[0,1]区间，为了得到P点处最优的使用枚举法让s(d)从0开始以Δs为间隔(步长)进行自增到1为止，在此过程中，使用立体视觉匹配算法沿着极线计算P点处左右信号成分S^L、S^R对于不同视差(距离d)的匹配代价C(S^L,S^R,d)，计算公式可采用归一化离差平方和(NSSD)或零均值离差平方和(ZSSD)等多种，然后采用赢者通吃(WTA)策略，当匹配代价C(S^L,S^R,d)最小时，即求出最优的背向散射比例/>

步骤4：求出最优背向散射比例后，即可分别估算出去雾后左右图像上点P位置处的信号成分/>和/>大小：

附图2为按照本发明方法进行混浊水下图像去雾果示例，其中(a)为左相机任意拍摄的一幅没有场景目标的图像，(b)为左相机记录的包含场景目标的待去雾图像，(c)为(b)去雾后的结果，由图可以看出本实施例所述方去雾效果非常好。

Claims (2)

1.一种基于双摄像头的散射环境下光学图像的去雾方法，其特征在于，该方法步骤如下：

步骤1：设双摄像头的左相机L为世界坐标系原点，使用双目相机任意拍摄一对没有场景目标的立体图像，作为最远处的背向散射成分信息，则对应于有场景目标上的任意一点P(X,Y,Z)，左相机记录背向散射信息记为右相机R记录的背向散射信息记为/>左右相机的中点和P点的距离记为u，将∠PLR记为γ^L，∠LRP记为γ^R；

步骤2：使用双目相机拍摄一对含有场景目标的立体图像，则对应于点P(X,Y,Z)，左相机记录的光辐射信息为I^L，右相机记录的光辐射信息为I^R，那么设：

式中，S^L和S^R分别为左右相机中记录的需要恢复的去雾后的信号成分；B^L和B^R分别为左右相机中记录的需要去除的背向散射成分，其大小和点P(X,Y,Z)距左右相机的距离d_L和d_R有关，即B^L＝f_L(d_L)，B^R＝f_R(d_R)；

步骤3：定义目标场景中点P(X,Y,Z)处左右图像的背向散射成分与最远处背向散射成分的比例分别为函数和/>如果左右两个相机间的距离小于20厘米，则d_L≈d_R＝d，其中，d表示两个相机距离P点的距离，s_L(d_L)≈s_R(d_R)＝s(d)，同时，左右相机记录的信号成分S^L和S^R也认为近似相等，则：

由于背向散射比例s(d)处于[0,1]区间，为了得到点P(X,Y,Z)处最优的使用枚举法让s(d)从0开始以Δs为间隔进行自增到1为止，在此过程中，使用立体视觉匹配算法沿着极线计算P点处左右信号成分S^L、S^R对于不同视差的匹配代价C(S^L,S^R,d)，然后采用赢者通吃策略，当匹配代价C(S^L,S^R,d)最小时，即认为此时所枚举的s(d)为P处最优的背向散射比例

步骤4：使用所得到的最优背向散射比例即可分别估算出去雾后左右图像上点P(X,Y,Z)位置处的信号成分/>和/>大小：

2.根据权利要求1所述基于双摄像头的散射环境下光学图像的去雾方法，其特征在于：最优的背向散射比例：