CN114357721A - 水下对空成像全链路仿真方法 - Google Patents

Abstract

本发明公开了水下对空成像全链路仿真方法，基于场景仿真模块、海浪仿真模块、相机仿真模块和光线追踪模块构成的仿真模块系统，场景仿真模块根据输入的场景参数生成高动态范围海空全景图，海浪仿真模块根据输入的海浪参数生成海浪法线图，相机仿真模块根据输入的相机参数生成水下观察向量场，光线追踪模块先根据场景仿真模块、海浪仿真模块和相机仿真模块的输入通过光线追踪计算每个观察向量对应的天空亮度值，然后计算水面折射对亮度的影响，最后生成仿真图形；本发明仿真方法可实现水下对空成像建模与随机海浪扰动下的水面目标智能探测。

Description

水下对空成像全链路仿真方法

技术领域

本发明属于水下对空成像技术领域，具体涉及水下对空成像全链路仿真方法，通过对水下对空成像系统进行建模，实现水下对空成像效果的仿真。

背景技术

水下对空成像采用水下相机对空中和水面的目标进行跨介质成像探测。针对该成像方式设计的成像系统需要把相机和目标之间的水体当成光学系统的一部分，随机海浪对成像的影响巨大而不可控，给水下对空成像系统及其图像处理算法的设计带来了很大的困难。为此，在设计水下对空成像系统之前做仿真研究是必要的。

水下对空成像实验样机的制造成本高，样机的开发周期长，新型的成像技术和图像处理算法在应用到样机之前得不到充分验证。目前公开的测试及试验方法往往采用在水箱、船池以及内地湖泊上进行，而无法直接反映出海上真实环境下的状态。

水下对空成像全链路仿真是将水下对空成像的物理模型通过数值方法实现出来，从而获得不同海空背景不同海况下的水下对空图像数据。依据相机的技术参数，分析成像系统在水下对空成像应用中的成像效果，给水下对空成像系统的设计和优化提供方向。

发明内容

针对现有技术的上述改进需求，本发明提供一种水下对空成像全链路仿真方法。

本发明解决其技术问题所采用的技术方案是：水下对空成像全链路仿真方法，基于场景仿真模块、海浪仿真模块、相机仿真模块和光线追踪模块构成的仿真模块系统，包括如下步骤：

以水下光学系统光心为原点建立三维直角坐标系作为坐标系1，将水下相机的图像坐标系作为坐标系2，在光心正上方水面处为原点的海平面上建立二维海平面坐标系作为坐标系3，在光心正上方水面处为原点建立海面上半球空间地平坐标系(或天顶角-方位角坐标系)作为坐标系4；

场景仿真模块根据输入的场景参数，采用CIE天空亮度模型生成仿真高动态范围天空全景图；

海浪仿真模块根据输入的海浪参数，采用Gerstner海浪参数模型生成海面法线图；

将高动态范围天空全景图定义在坐标系4上作为仿真的水面场景，将海面法线图平铺在海平面上的坐标系3上；

相机仿真模块根据输入的相机参数生成水下观察向量场，光线追踪模块先根据场景仿真模块、海浪仿真模块和相机仿真模块的输入通过光线追踪计算每个观察向量对应的天空亮度值：采用光线追踪的方法把坐标系2中的像素首先映射到坐标系3上，以海浪仿真结果可得成像路径上折射点的单位法向量，根据Snell定律在坐标系1中建立空气中观察视线、水下观察视线与水面法线三者的向量方程，求解出空中目标点的方位角和天顶角，即得到坐标系2中的像素在坐标系4上的坐标，从而将图像坐标转换为高动态范围天空全景图上的坐标，通过Fresnel方程推导出水空介面的折射透过率，从而对天空亮度进行亮度拉伸变换，通过计算水面折射对亮度的影响，最后生成仿真图形。

进一步，所述的场景仿真模块(1)通过如下方式建立：

场景仿真模块采用CIE天空亮度模型，假设太阳的天顶角方位角分别为θ_s，

对于天顶角和方位角分别为θ，

的给定计算点，天空亮度计算方法如下：

其中，参数a，b，c，d，e是CIE天空亮度模型中定义天空种类的固定参数，L_z是天顶亮度，δ是计算点与太阳之间的最短角距离，其计算方法如下：

在θ∈[0°，90°)，

范围内均匀抽样，以此计算方法计算出天空亮度全景图。

进一步，所述的海浪仿真模块通过如下方式建立：

海浪方向谱模型的海面由多个不同角频率和海浪方向的分量叠加而成，将角频率ω_m在[ω_min，ω_max]范围内均分为M个采样宽度为Δω的分量，海浪的方向θ_n均分为N个采样宽度为Δθ的分量：

该模型表示了海面坐标位置(u，v)上时刻t时海面的高度，ω_m是角频率，海面波浪的方向θ_n∈[0，2π)，φ_mn∈[0，2π)是均匀分布的随机相位，振幅a_mn由JONSWAP海浪谱S(ω)和色散关系式D(ω，θ)计算：

JONSWAP海浪谱S(ω)由如下方法计算：

其中，γ是峰值增强因数，取3.3，U₁₀表示海面上方10m处的风速，g代表重力加速度，F是取风长度，表示了特定风无阻碍地吹过的水域长度，ω_p是JONSWAP谱的峰值频率，计算方法如下：

色散关系式D(ω，θ)的计算方法如下：

其中，θ_w是海浪谱的主方向，通常也是海面上方的风向，θ是偏离主方向的角度，Γ(·)表示伽马函数，其他参数计算方法如下

通过对海面高度图计算梯度，并归一化得到海面法线图：

进一步，所述的相机仿真模块把图像坐标系下的像素坐标(x，y)转换为三维直角坐标系下的观察向量(X，Y，Z)，假设图像坐标系上的靶面中心为(x_H，y_H)，相机姿态用天顶角θ₀和方位角

表示，则视线向量

计算方法如下：

进一步，所述的光线追踪模块(4)计算每个视线向量

对应在海面上的坐标点，并用Snell公式计算折射光线向量

再联立

在天空全景图中的天顶角方位角坐标，求解图像像素坐标到天空全景坐标的变换；

令水平面在相机上方h处，在相机正上方水面点S(0，0，h)，成像光路上的折射点为P_S(u，v，h)，同时该点在海平面坐标系中的坐标为(u，v)，视线向量与海平面相交于点P_S：

结合相机模型，可将图像坐标系上的一个像素点(x，y)由视线向量对应到海平面坐标系上的点(u，v)，从而可在输入的海面法线图中查询到该点此时刻的海面法向量

Snell定律的向量形式如下：

和

分别表示水面和水下的视线向量，而空中的视线向量可与高动态范围天空全景图中的坐标分量表示：

θ和

分别是天空全景图的图像坐标系下的天顶角和方位角；

联合上述四个等式求解每个水下观察向量

对应的天空全景图坐标

最后，计算每个水下观察向量

上折射造成的亮度衰减，根据辐亮度的n2定律和Fresnel公式，亮度衰减计算方法如下：

其中，L_i代表入射水面前的亮度，L_s代表传感器上探测到的亮度；

θ_i和θ_t分别是入射角和折射角，其与水下观察向量

与海面法线

有如下关系：

再根据Snell定律计算：

联合以上三个公式计算出每个观察向量的亮度衰减值L_s/L_i，再对生成的图像进行逐像素亮度拉伸变换，得到最终仿真图像。

本发明的有益效果是：本发明可用于对水下对空成像系统的整个成像链路建模分析，仿真出指定天空状态、海况以及相机参数下的成像效果，为水下对空成像系统设计提供参考。

附图说明

图1是本发明的原理框图；

图2是本发明的模块组成框图；

图3是本发明光线追踪原理框图。

各附图标记为：1—场景仿真模块，2—海浪仿真模块，3—相机仿真模块，4—光线追踪模块。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

本发明公开了一种水下对空成像全链路仿真方法，有助于水下对空成像系统的研发。

本发明首先在水下对空成像链路中建立四个坐标系：以水下光学系统光心为原点建立三维直角坐标系作为坐标系1，将水下相机的图像坐标系作为坐标系2，在光心正上方水面处为原点的海平面上建立二维海平面坐标系作为坐标系3，在光心正上方水面处为原点建立海面上半球空间地平坐标系(或天顶角-方位角坐标系)作为坐标系4，如图1所示。

采用CIE天空亮度模型生成仿真高动态范围天空全景图(高动态范围海空全景图)，采用Gerstner海浪参数模型生成海面法线图(海浪法线图)，将高动态范围天空全景图定义在坐标系4上作为仿真的水面场景，将海面法线图平铺在海平面上的坐标系3上；采用光线追踪的方法把坐标系2中的像素首先映射到坐标系3上，以海浪仿真结果可得成像路径上折射点的单位法向量，根据Snell定律在坐标系1中建立空气中观察视线、水下观察视线与水面法线三者的向量方程，求解出空中目标点的方位角和天顶角，即得到坐标系2中的像素在坐标系4上的坐标，从而将图像坐标转换为高动态范围天空全景图上的坐标，通过Fresnel方程推导出水空介面的折射透过率，从而对天空亮度进行亮度拉伸变换。

本发明所公开的仿真方法基于场景仿真模块1(天空仿真模块)、海浪仿真模块2、相机仿真模块3和光线追踪模块4构成的仿真模块系统，模块框图与处理流程如图2所示。

场景仿真模块1根据输入的场景参数生成高动态范围海空全景图，海浪仿真模块2根据输入的海浪参数生成海浪法线图，相机仿真模块3根据输入的相机参数生成水下观察向量场，光线追踪模块4先根据场景仿真模块1、海浪仿真模块2和相机仿真模块3的输入通过光线追踪计算每个观察向量对应的天空亮度值，然后计算水面折射对亮度的影响，最后生成仿真图形。

场景仿真模块1采用CIE天空亮度模型，假设太阳的天顶角方位角分别为θ_s,

对于天顶角和方位角分别为θ,

的给定计算点，天空亮度计算方法如下：

其中，参数a,b,c,d,e是CIE天空亮度模型中定义天空种类的固定参数，L_z是天顶亮度，δ是计算点与太阳之间的最短角距离，其计算方法如下：

在θ∈[0°,90°),

范围内均匀抽样，以此计算方法计算出天空亮度全景图。

海浪仿真模块2采用海浪方向谱模型，海面由多个不同角频率和海浪方向的分量叠加而成，将角频率ω_m在[ω_min,ω_max]范围内均分为M个采样宽度为Δω的分量，海浪的方向θ_n均分为N个采样宽度为Δθ的分量：

该模型表示了海面坐标位置(u，v)上时刻t时海面的高度，ω_m是角频率，海面波浪的方向θ_n∈[0，2π)，φ_mn∈[0，2π)是均匀分布的随机相位，振幅a_mn由JONSWAP海浪谱S(ω)和色散关系式D(ω，θ)计算：

JONSWAP海浪谱S(ω)由如下方法计算：

其中，γ是峰值增强因数，取3.3，U₁₀表示海面上方10m处的风速，g代表重力加速度，F是取风长度，表示了特定风无阻碍地吹过的水域长度，ω_p是JONSWAP谱的峰值频率，计算方法如下：

色散关系式D(ω，θ)的计算方法如下：

其中，θ_w是海浪谱的主方向，通常也是海面上方的风向，θ是偏离主方向的角度，Γ(·)表示伽马函数，其他参数计算方法如下

通过对海面高度图计算梯度，并归一化得到海面法线图：

相机仿真模块3把图像坐标系下的像素坐标(x，y)转换为三维直角坐标系下的观察向量(X，Y，Z)，假设图像坐标系上的靶面中心为(x_H，y_H)，相机姿态用天顶角θ₀和方位角

表示，则视线向量

计算方法如下：

光线追踪模块4计算每个视线向量

对应在海面上的坐标点，并用Snell公式计算折射光线向量

再联立

在天空全景图中的天顶角方位角坐标，求解图像像素坐标到天空全景坐标的变换。

如图3所示，假设水平面在相机上方h处，在相机正上方水面点S(0，0，h)，成像光路上的折射点为P_S(u，v，h)，同时该点在海平面坐标系中的坐标为(u，v)。由于视线向量与海平面相交于点P_S：

结合相机模型，可将图像坐标系上的一个像素点(x，y)由视线向量对应到海平面坐标系上的点(u，v)，从而可在输入的海面法线图中查询到该点此时刻的海面法向量

Snell定律的向量形式如下：

科

分别表示水面和水下的视线向量，而空中的视线向量可与高动态范围天空全景图中的坐标分量表示：

θ和

分别是天空全景图的图像坐标系下的天顶角和方位角。

联合上述等式，求解每个水下观察向量

对应的天空全景图坐标

最后，计算每个水下观察向量

上折射造成的亮度衰减，根据辐亮度的n2定律和Fresnel公式，亮度衰减计算方法如下：

其中，L_i代表入射水面前的亮度，L_s代表传感器上探测到的亮度。

θ_i和θ_t分别是入射角和折射角，其与水下观察向量

与海面法线

有如下关系：

再根据Snell定律计算：

联合以上三个公式计算出每个观察向量的亮度衰减值L_s/L_i，再对生成的图像进行逐像素亮度拉伸变换，得到最终仿真图像。

本发明的水下对空成像全链路仿真方法可实现水下对空成像建模与随机海浪扰动下的水面目标智能探测，有助于水下对空成像系统的研发。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.水下对空成像全链路仿真方法，其特征在于：基于场景仿真模块(1)、海浪仿真模块(2)、相机仿真模块(3)和光线追踪模块(4)构成的仿真模块系统，包括如下步骤：

以水下光学系统光心为原点建立三维直角坐标系作为坐标系1，将水下相机的图像坐标系作为坐标系2，在光心正上方水面处为原点的海平面上建立二维海平面坐标系作为坐标系3，在光心正上方水面处为原点建立海面上半球空间地平坐标系作为坐标系4；

场景仿真模块(1)根据输入的场景参数，采用CIE天空亮度模型生成仿真高动态范围天空全景图；

海浪仿真模块(2)根据输入的海浪参数，采用Gerstner海浪参数模型生成海面法线图；

将高动态范围天空全景图定义在坐标系4上作为仿真的水面场景，将海面法线图平铺在海平面上的坐标系3上；

相机仿真模块(3)根据输入的相机参数生成水下观察向量场，光线追踪模块(4)先根据场景仿真模块(1)、海浪仿真模块(2)和相机仿真模块(3)的输入通过光线追踪计算每个观察向量对应的天空亮度值：采用光线追踪的方法把坐标系2中的像素映射到坐标系3上，以海浪仿真结果得到成像路径上折射点的单位法向量，根据Snell定律在坐标系1中建立空气中观察视线、水下观察视线与水面法线三者的向量方程，求解出空中目标点的方位角和天顶角，得到坐标系2中的像素在坐标系4上的坐标，将图像坐标转换为高动态范围天空全景图上的坐标，通过Fresnel方程推导出水空介面的折射透过率，对天空亮度进行亮度拉伸变换，最后生成仿真图形。

2.根据权利要求1所述的水下对空成像全链路仿真方法，其特征在于，所述的场景仿真模块(1)通过如下方式建立：

采用CIE天空亮度模型，令太阳的天顶角方位角分别为θs，

根据天顶角和方位角分别为θ，

的给定计算点，计算天空亮度：

其中，参数a，b，c，d，e是CIE天空亮度模型中定义天空种类的固定参数，L_z是天顶亮度，δ是计算点与太阳之间的最短角距离，其计算方法如下：

在θ∈[0°，90°)，

范围内均匀抽样，计算出天空亮度全景图。

3.根据权利要求1所述的水下对空成像全链路仿真方法，其特征在于，所述的海浪仿真模块(2)通过如下方式建立：

建立海浪方向谱模型，将多个不同角频率和海浪方向的分量叠加作为海面，将角频率ω_m在[ω_min，ω_max]范围内均分为M个采样宽度为Δω的分量，海浪的方向θ_n均分为N个采样宽度为Δθ的分量，海面坐标位置(u，v)上时刻t时海面的高度通过如下公式表示：

其中，ω_m是角频率，海面波浪的方向θ_n∈[0，2π)，φ_mn∈[0，2π)是均匀分布的随机相位，振幅a_mn由J0NSWAP海浪谱S(ω)和色散关系式D(ω，θ)计算：

JONSWAP海浪谱S(ω)由如下公式计算：

其中，γ是峰值增强因数，U₁₀表示海面上方10m处的风速，g代表重力加速度，F是取风长度，ω_p是JONSWAP谱的峰值频率，计算公式如下：

色散关系式D(ω，θ)的计算公式如下：

其中，θ_w是海浪谱的主方向，θ是偏离主方向的角度，Γ(·)表示伽马函数，其他参数计算方法如下

通过对海面高度图计算梯度，并归一化得到海面法线图：

4.根据权利要求3所述的水下对空成像全链路仿真方法，其特征在于，所述的相机仿真模块(3)通过如下方式建立：

把图像坐标系下的像素坐标(x，y)转换为三维直角坐标系下的观察向量(X，Y，Z)：令图像坐标系上的靶面中心为(x_H，y_H)，相机姿态用天顶角θ₀和方位角

表示，则视线向量

计算方法如下：

5.根据权利要求4所述的水下对空成像全链路仿真方法，其特征在于，所述的光线追踪模块(4)通过如下方式建立：

计算每个视线向量

对应在海面上的坐标点，并用Snell公式计算折射光线向量

再联立

在天空全景图中的天顶角方位角坐标，求解图像像素坐标到天空全景坐标的变换；

令水平面在相机上方h处，在相机正上方水面点S(0，0，h)，成像光路上的折射点为P_S(u，v，h)，同时该点在海平面坐标系中的坐标为(u，v)，视线向量与海平面相交于点P_S：

结合相机模型，将图像坐标系上的一个像素点(x，y)由视线向量对应到海平面坐标系上的点(u，v)，在输入的海面法线图中查询到该点此时刻的海面法向量

Snell定律的向量形式如下：

其中，

和

分别表示水面和水下的视线向量，而空中的视线向量可与高动态范围天空全景图中的坐标分量表示：

θ和

分别是天空全景图的图像坐标系下的天顶角和方位角；

求解每个水下观察向量

对应的天空全景图坐标

最后计算每个水下观察向量

上折射造成的亮度衰减，根据辐亮度的n²定律和Fresnel公式，亮度衰减计算方法如下：

其中，L_i代表入射水面前的亮度，L_s代表传感器上探测到的亮度，θ_i和θ_t分别是入射角和折射角，其与水下观察向量

与海面法线

有如下关系：

再根据Snell定律计算：

联合以上三个公式计算出每个观察向量的亮度衰减值L_s/L_i，再对生成的图像进行逐像素亮度拉伸变换，得到最终仿真图像。

Images