CN111652817B - 一种基于人眼视觉感知机理的水下图像清晰化方法 - Google Patents

Abstract

本发明公开了一种基于人眼视觉感知机理的水下图像清晰化方法，包括：光场相机采集水下的目标物图像，通过调整水体的浑浊程度和光场相机与目标物的距离两个变量从而获得四维光场图像数据，根据不同的水体深度测量水体中光的衰减系数；通过焦点堆栈的方式求取不同浑浊度水下的全聚焦图像，通过模拟大脑神经元之间的相互作用模拟获得不同浑浊程度的水下图像场景光和衰减系数参数，将以上参数代入水下成像模型中获得水下去模糊图像；模拟人眼视网膜成像的处理机制对去模糊图像进行颜色矫正、动态范围扩展和对比度调整获得水下清晰图像。

Description

一种基于人眼视觉感知机理的水下图像清晰化方法

技术领域

本发明涉及水下图像清晰度处理技术领域，尤其涉及一种基于人眼视觉感知机理的水下图像清晰化方法。

背景技术

随着人类活动范围的增加和国际形势不断的变化，各个国家已经将海洋作为主要的战略要地。对海洋的探索技术日益成熟为人类活动提供了更广阔的空间。其中海洋技术产业的研究主要集中于水下光学处理，水下图像检测,水下图像增强和水下通信技术等。其中水下图像的获取及水下目标识别是近几年研究的重点，这对海洋技术的发展如：海洋开采和水产品捕捞等水下作业提供了重要推动力。

不同于一般的水下图像处理，水下图像清晰化方法主要关注水下图像的成像质量。目前，采用生物启发模型对图像进行处理已经成为近两年的热点问题。由于不同浑浊程度的水体环境中采集的图像具有色偏，模糊和对比度低等问题，而白内障是由于晶状体蛋白发生变性形成浑浊状态从而阻碍光线进入眼内造成视力受损。研究表明，白内障患者晶状体浑浊初期依然能够清晰的辨识目标物体，对视力几乎没有影响。

由于水下存在较多的悬浮粒子并且其光学成像系统具有特殊性，因此水下光的散射效应会造成图像模糊和其他的降质问题。此外，光在水下会随着深度的增加产生衰减从而造成水下的成像效果对比度低，色偏等问题。以上不确定因素对水下的图像清晰化获取增加了难度。为了解决水下的成像难题，何凯明等人采用暗通道先验的方法对有雾图像进行去雾处理，这种方法被用来处理水下图像的模糊等问题取得了很好的效果。此外，Ancuti等人采用图像的像素级融合的方法并利用不同处理方法的优势对水下图像进行融合增强。最近几年，采用深度学习的方法对水下图像进行增强的方法逐渐兴起，但是由于该方法可解释性较差仍未被普遍使用。

人类视觉系统从采集图像到视觉神经的处理搭配人脑各个区域能够使人类获得清晰化图像。近年来有一些生物可解释的模型被提出，其采用模拟的人类视觉系统处理水下图像。但是，这些方法仅考虑了对水下图像数据集中的已获取图像样本进行增强，未兼顾图像获取阶段的水体环境对于图像成像过程的影响。因此根据人类视觉系统处理图像的机理，设计一种水下图像采集到图像清晰化处理的方法。本文提出一种能够解决水下图像存在的色偏，对比度低和模糊等降质问题，充分利用视觉通路和人类脑神经之间的信息传输获得清晰化图像。因此，模拟人类视觉处理机制对图像进行清晰化处理是我们要解决的问题。

发明内容

根据现有技术存在的问题，本发明公开了一种基于人眼视觉感知机理的水下图像清晰化方法，具体包括如下步骤：

光场相机采集水下的目标物图像，通过调整水体的浑浊程度和光场相机与目标物的距离这两个变量从而获得四维光场图像数据，根据不同的水体深度测量水体中光的衰减系数；

通过焦点堆栈的方式求取不同浑浊度水下的全聚焦图像，将光场图像通过重聚焦方法获得聚焦在不同深度的二维图像，统计二维图像的清晰像素点，对图像的深度信息进行遍历搜索，寻找相机的最佳焦距以获得全聚焦图像，采用透镜的相关公式求出深度值组合完整的深度图像；

采用卷积神经网络模拟人眼高级视觉通路处理机制，将全聚焦图像和获取衰减系数输入至卷积神经网络中，通过模拟大脑神经元之间的相互作用模拟获得不同浑浊程度的水下图像衰减系数，采用深度图像中连续区域前0.1％最亮的像素点作为水下场景光，将全聚焦图像、水下场景光和衰减系数参数输入水下成像模型中获得水下去模糊图像；

模拟人眼视网膜成像的处理机制采用高斯差模型对去模糊图像进行颜色矫正、动态范围扩展和对比度调整获得水下清晰图像。

进一步的，基于人眼多聚焦和景深原理采用焦点堆栈的方式提取光场图像的深度特征，对图像中像素点清晰度进行统计，通过对图像的深度信息进行遍历搜索以寻找相机的最佳焦距从而获取深度值以组合完整的深度图像，采用公式(2)对图像的清晰度进行量化评估：

其中δ(*)为阶跃函数，代表梯度，在本公式中表示像素点在(x,y)点处对应的图像灰度的梯度，ζ_k是图像I_k采用边缘检测方法求取梯度阈值，保留满足清晰度评价值F_k(x,y)的像素点；

根据清晰度评价值F_k(x,y)中清晰像素点索引值l_x,y提取每幅图像聚焦区域，其索引下清晰聚焦图像损失函数表示为：

为获得全局优化函数最小值，将损失函数D(x,y,l_x,y)与平滑函数S(l_x,y,l_x',y')结合对聚焦区域像素点进行图像拼接以获取聚焦索引图：

其中定义平滑函数为：

(x’,y’)为像素点(x,y)所有邻域像素的集合，将索引值差异的对数作为平滑代价函数增长值，聚焦索引图通过最小化公式(4)获取以获得全聚焦图像I(x)，采用索引值对应的聚焦深度求取深度图像d(x)。

进一步的，根据全聚焦图像I(x)和深度图d(x)，通过水下成像模型计算去模糊图J(x)，其中水下成像模型为

I(x)＝J(x)e^-βd(x)+(1-e^-βd(x))A

J(x)代表清晰化图片，A代表水体散射光,e^-βd(x)为透射图，β代表衰减系数,I(x)为水下不同浑浊度的全聚焦图像，d(x)为水下场景深度；

根据上述计算出的I(x)、d(x)以及β求出去模糊图J(x)

进一步的，提取去模糊图J(x)的颜色通道分量和亮度信息模拟感光细胞的两种输入，采用图像的R、G、B三个通道模拟视锥细胞获取图像颜色分量信息，图像的亮度信息L(x,y)通过以下公式以模拟视杆细胞工作原理；

模拟人眼的水平细胞对颜色的调节作用以获取颜色通道像素值均匀分布的无色偏图像，首先由公式计算各个通道的像素均值：

采用红通道补偿的方法将衰减最小的绿色通道I_G(x,y)对红通道I_R(x,y)进行补偿，首先将像素值归一化到(0-1)区间，表示通道的均值，校正后的红通道值为I_rj(x,y)

对三通道校正后值进行线性拉伸获取颜色矫正后图像C_RGB(x,y)，

根据上述获取亮度通道图像L(x,y)和颜色通道图像C_RGB(x,y)分别进行均值滤波操作作为亮度通道和颜色通道感受野外周输入；

根据上述获取亮度通道图像L(x,y)进行非线性对比度拉伸获得f_bc(x,y)作为亮度通道感受野中心输入，I_RGB(x,y)分别表示三个通道校正后的图像，表示校正图片三个通道的均值。

进一步的，采用高斯差模型模拟双极细胞感受野扩展图像动态范围，根据获取的亮度通道感受野中心输入f_bc(x,y)和感受野外周输入f_bs(x,y)则两条通路感受野输出为：

其中σ为高斯核的半径模拟感受野的大小，Max操作是为了保证方程取值非负，其中代表卷积操作，B表示高斯差模型输出，g_σs和g_σc分别代表不同高斯核大小的高斯差函数。

进一步的，采用高斯差模型模拟神经节细胞感受野提升图像对比度，根据高斯差模型输出B对颜色通道图像C_RGB(x,y)进行非线性映射变换获得颜色通道感受野中心输入f_gc(x,y)，

γ代表灰度系数，可以取值0.5；根据上述计算的感受野中心输入f_gc(x,y)和感受野外周输入f_gs(x,y)，获得模拟神经节细胞感受野输出图像为：

G(x,y)和G'(x,y)分别模拟两种神经节细胞感受野的输出，输入图像分别与σc和σs两种不同尺度高斯核进行卷积，h为感受野外周的权重，其大小与图像的对比度呈负相关，其中

对获取图像G(x,y)和G'(x,y)进行加权获取最终清晰化图像为：

out(x,y)＝ψ(x,y)×G(x,y)+(1-ψ(x,y))×G'(x,y)

其中ψ(x,y)控制两个通路的权重系数，权重系数由(x,y)处的局部亮度决定。

由于采用了上述技术方案，本发明提供的一种基于人眼视觉感知机理的水下图像清晰化方法，首先人眼在处理不同浑浊程度水下图像时具有多次聚焦和景深感知功能，本发明在不同浑浊程度水下采用光场相机的数字调焦能力获得水下不同聚焦处图像，同时通过基于光场相机焦点堆栈的深度信息提取方法获取目标物的全聚焦图像和景深信息。其次，采用卷积神经网络模拟人眼高级视觉通路处理机制，将获取的衰减系数和不同浑浊度的全聚焦图像同时输入神经网络中，通过模拟大脑神经元之间的相互作用训练不同浑浊程度的水下衰减系数模型。将获取的水下图像场景光和透射图等参数，代入水下成像模型中解决散射效应造成的图像模糊问题。最后，由于人眼颜色恒常的后期计算发生在大脑的V4区域，通过这一机理能够恢复水下图像的颜色和对比度，主要为通过模拟人眼细胞间的相互作用，采用高斯差分模型，其中高斯核的大小为视觉感受野的大小，对去模糊图片进行多次滤波操作最终获得清晰化图片。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于人眼视觉感知机理的水下图像清晰化方法，具体包括如下步骤：

S1:在透明的深水池中添加清水并放置目标物，采用光场相机采集目标物图像，通过控制变量法不断地调整水体的浑浊程度和目标物与光场相机的距离从而采集光场图像，同时通过仪器测量不同深度的水体中光的衰减系数，将采集的不同聚焦深度的光场图片和水体衰减参数作为下一步的处理数据。

S2:采用光场相机采集的光场数据能够获得聚焦在不同深度的二维图像，多张不同聚焦深度的二维图像组成了聚焦堆栈。通过重聚焦的方法对光场数据进行处理从而获得不同浑浊度水下的全聚焦图像和深度图。实验采用的Lytro光场相机是微透镜阵列的单相机采集方式获取光场数据，本发明采用焦点堆栈的方式将光场数据的深度特征提取出来，焦点堆栈(Focal Stack)又可称为聚焦堆栈，其本质是一种光场数据，由成像原理可知，当对空间中的物体进行对焦时，不同深度的物体所对应的聚焦距离不同，多幅不同聚焦深度的二维图像组成了聚焦堆栈，公式1表示聚焦堆栈的光场离散化描述：

T＝T(x,y,k)_k＝1,2...K (1)

其中k是索引值，表示焦点堆栈中第k幅图像，K是聚焦堆栈中图像的总数。(x,y)代表二维图像。本方法的主要原理是根据对图像中像素点清晰度进行统计然后对图像的深度信息进行遍历搜索以寻找相机的最佳焦距，最终采用透镜的相关公式求出深度值以组合完整的深度图像。具体流程如下：采用光场相机捕捉的场景信息。为了寻找最佳的焦距以获得此焦距下的清晰图像，通过公式(2)对图像的清晰程度进行量化评估：

其中δ(*)为阶跃函数，k表示第k张图片，代表梯度，在本公式中表示像素点在(x,y)点处对应的图像灰度的梯度，ζ_k是图像I_k采用边缘检测方法求取梯度阈值，评价清晰度的取值F_k(x,y)最终可以通过图像的梯度和梯度阈值获得。为了提取每幅图片的聚焦区域，需要对焦点堆栈中的图像进行分割操作，因此定义代价函数为公式(3)

l_(x,y)＝l(x,y)为像素(x,y)在焦点堆栈图像上的索引值，最小化公式表示清晰聚焦索引处的像素最终将聚焦区域提取出来。最终的聚焦索引图优化函数为聚焦索引和平滑函数相结合为公式(4)：

平滑函数的定义为公式(5)：

(x’,y’)为像素点(x,y)所有邻域像素的集合，像素之间的差异值越小，平滑代价函数的取值也随之减小。通过最终的优化公式(4)可以计算光场数据的聚焦索引图从而生成全聚焦图像命名为I(x)。最终将聚焦索引图转换为所需要的深度图d(x)。

S3:采用卷积神经网络模拟人眼高级视觉通路处理机制，将全聚焦图像和获取的衰减系数输入至深度神经网络中，通过训练神经网络进行参数训练获得不同浑浊程度的水下图像光的衰减系数，将以上获得的参数代入水下成像模型中获取去模糊图像。通过水下物理成像模型对未知参数进行求解，水下成像模型为：

I(x)＝J(x)e^-βd(x)+(1-e^-βd(x))A (6)

其中输入I(x)为水下不同浑浊度的全聚焦图像，J(x)代表清晰化图片，A代表水体散射光，e^-βd(x)为透射图，其中β代表衰减系数，d(x)为水下场景深度。

本发明采用卷积神经网络对图像的衰减系数进行训练，水下不同浑浊度的图像的衰减系数已经通过仪器测量获得。卷积神经网络的输入为全聚焦图像和通过仪器测量的衰减系数作为标签，采用基础的resnet-50网络作为骨干网络对不同衰减系数进行数据分类任务训练。由于已知场景的景深，本发明选取连续区域前0.1％最亮的像素点作为水体散射光A的选取，卷积神经网络训练求取衰减系数β，聚焦堆栈获得的场景深度d(x)，因此根据水下成像模模型可以将公式(6)整理为(7)：

这部分将解决水下成像模型中散射效应造成的图像模糊问题。以上模拟了人眼多聚焦以及去模糊的全过程，由于人眼视觉通路具有颜色恒常性，这一性能可以很好的恢复图像的对比度和颜色等。根据上一步骤可以得到的水下去模糊图像作为这一部分的输入。

S4：人眼视网膜成像系统具有颜色恒常性，我们通过模拟人类视觉机制通路中各个细胞间相互作用的功能以获取颜色校正和对比度增强的水下清晰化图片。为了模拟人类视觉系统工作机制，提取去模糊图J(x)的颜色通道分量和亮度信息模拟感光细胞的两种输入。采用图像的R、G、B三个通道模拟视锥细胞获取图像颜色分量信息，图像的亮度信息通过公式(8)以模拟视杆细胞。

由于不同波长的光在不同水深下的衰减速率不同，在水下光的衰减作用造成红通道颜色缺失，为了模拟人眼的水平细胞对颜色的调节作用以获取颜色通道像素值均匀分布的无色偏图像。首先由公式(9)计算各个通道的像素均值：

本发明采用红通道补偿的方法校正图像的颜色偏差，即首先将像素值进行归一化到(0-1)区间，红通道补偿的过程表示为：

表示通道的均值。校正后的红通道值为I_rj(x,y)。对公式(10)获得的图片进行线性拉伸可以得到颜色校正后图片表示为：

其中I_RGB(x,y)分别表示三个通道校正后的图像，表示校正图片三个通道的均值。

由于人类视觉动态范围远大于相机等感光器件，因此本部分模拟双极细胞的感受野对输入图像进行动态范围的扩展。采用模拟双极细胞对图像的对比度进行调节，对亮度通道和更新的颜色通道分别通过公式(12)进行均值滤波操作.

其中亮度信息和校正后的三通道图像f_bs(x,y)和f_gs(x,y)作为感受野的外周输入。感受野外周输入采用非线性对比度拉伸函数得到调节后图像f_bc(x,y)。

采用经典的高斯差模型模拟双极细胞的感受野。采用高斯差模型模拟双极细胞的感受野响应过程，经典的高斯差方程如(13)所示：

其中σ为高斯核的半径，在本文中可用于模拟感受野的大小。双极细胞共有两条通路，我们可以得到双极细胞两条通路感受野的输出为：

Max操作是为了保证方程取值非负，其中代表卷积操作，B表示高斯差模型输出。g_σs和g_σc分别代表不同高斯核大小的高斯差函数，根据心里物理学实验发现两种尺度的高斯核相差三倍左右能够最大化模拟人类感受野。f_bc和f'_bc表示模拟两个通路的感受野中心输入，f_bs和f'_bs表示模拟感受野外周的输入，分别与σc和σs两种不同尺度高斯核进行卷积。其中系数k为经验系数，代表感受野外周的权重系数，一般取值为0.4。其中：

为了提升水下图像颜色对比度，在颜色通道对图像对比度进行调节以模拟神经节拮抗细胞的作用，其中颜色通道的输入通过高斯差输出模型获得B进行gamma非线性映射变换获得，计算公式如下，γ的取值可以设定为0.5：

其中f_bc(x,y)为颜色通道感受野中心输入。与亮度通道处理公式(14)相同，本发明可以计算三个通道的神经结细胞响应为：

G(x,y)和G'(x,y)分别模拟两种神经节细胞感受野的输出。输入图像分别与σc和σs两种不同尺度高斯核进行卷积。h为感受野外周的权重，其大小与图像的对比度呈负相关。为了模拟神经节的自适应过程，参数h可以通过以下公式计算：

对神经节细胞两个颜色通路的模拟可以得到模型最后的输出为：

out(x,y)＝ψ(x,y)×G(x,y)+(1-ψ(x,y))×G'(x,y) (19)

其中ψ(x,y)可以控制两个通路的权重系数，权重系数一般由(x,y)处的局部亮度决定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于人眼视觉感知机理的水下图像清晰化方法，其特征在于包括：

光场相机采集水下的目标物图像，通过调整水体的浑浊程度和光场相机与目标物的距离这两个变量从而获得四维光场图像数据，根据不同的水体深度测量水体中光的衰减系数；

通过焦点堆栈的方式求取不同浑浊度水下的全聚焦图像，将光场图像通过重聚焦方法获得聚焦在不同深度的二维图像，统计二维图像的清晰像素点，对图像的深度信息进行遍历搜索，寻找相机的最佳焦距以获得全聚焦图像，采用透镜的相关公式求出深度值组合完整的深度图像；

采用卷积神经网络模拟人眼高级视觉通路处理机制，将全聚焦图像和获取衰减系数输入至卷积神经网络中，通过模拟大脑神经元之间的相互作用模拟获得不同浑浊程度的水下图像衰减系数，采用深度图像中连续区域前0.1％最亮的像素点作为水下场景光，将全聚焦图像、水下场景光和衰减系数输入水下成像模型中获得水下去模糊图像；

模拟人眼视网膜成像的处理机制采用高斯差模型对去模糊图像进行颜色矫正、动态范围扩展和对比度调整获得水下清晰图像。

2.根据权利要求1所述的一种基于人眼视觉感知机理的水下图像清晰化方法，其特征还在于：基于人眼多聚焦和景深原理采用焦点堆栈的方式提取光场图像的深度特征，对图像中像素点清晰度进行统计，通过对图像的深度信息进行遍历搜索以寻找相机的最佳焦距从而获取深度值以组合完整的深度图像，采用以下公式对图像的清晰度进行量化评估：

其中δ(*)为阶跃函数，代表梯度，在本公式中表示像素点在(x,y)点处对应的图像灰度的梯度，ζ_k是图像I_k采用边缘检测方法求取梯度阈值，保留满足清晰度评价值F_k(x,y)的像素点；

根据清晰度评价值F_k(x,y)中清晰像素点索引值l_x,y提取每幅图像聚焦区域，其索引下清晰聚焦图像损失函数表示为：

为获得全局优化函数最小值，将损失函数D(x,y,l_x,y)与平滑函数S(l_x,y,l_x',y')结合对聚焦区域像素点进行图像拼接以获取聚焦索引图：

其中定义平滑函数为：

(x’,y’)为像素点(x,y)所有邻域像素的集合，将索引值差异的对数作为平滑代价函数增长值，聚焦索引图通过最小化公式(4)获取以获得全聚焦图像I(x)，采用索引值对应的聚焦深度求取深度图像d(x)。

3.根据权利要求1所述的一种基于人眼视觉感知机理的水下图像清晰化方法，其特征还在于：根据全聚焦图像I(x)和深度图d(x)，通过水下成像模型计算去模糊图J(x)，其中水下成像模型为

I(x)＝J(x)e^-βd(x)+(1-e^-βd(x))A

J(x)代表清晰化图片，A代表水体散射光,e^-βd(x)为透射图，β代表衰减系数,I(x)为水下不同浑浊度的全聚焦图像，d(x)为水下场景深度；

根据上述计算出的I(x)、d(x)以及β求出去模糊图J(x)

4.根据权利要求1所述的一种基于人眼视觉感知机理的水下图像清晰化方法，其特征还在于：提取去模糊图J(x)的颜色通道分量和亮度信息模拟感光细胞的两种输入，采用图像的R、G、B三个通道模拟视锥细胞获取图像颜色分量信息，图像的亮度信息L(x,y)通过公式(8)以模拟视杆细胞工作原理；

模拟人眼的水平细胞对颜色的调节作用以获取颜色通道像素值均匀分布的无色偏图像，首先由公式(9)计算各个通道的像素均值：

采用红通道补偿的方法将衰减最小的绿色通道I_G(x,y)对红通道I_R(x,y)进行补偿，首先将像素值归一化到(0-1)区间，表示通道的均值，校正后的红通道值为I_rj(x,y)

对三通道校正后值进行线性拉伸获取颜色矫正后图像C_RGB(x,y)，

根据上述获取图像的亮度信息L(x,y)和颜色通道图像C_RGB(x,y)分别进行均值滤波操作作为亮度通道和颜色通道感受野外周输入；

根据上述获取图像的亮度信息L(x,y)进行非线性对比度拉伸获得f_bc(x,y)作为亮度通道感受野中心输入，I_RGB(x,y)分别表示三个通道校正后的图像，表示校正图片三个通道的均值。

5.根据权利要求4所述的一种基于人眼视觉感知机理的水下图像清晰化方法，其特征还在于：采用高斯差模型模拟双极细胞感受野扩展图像动态范围，根据获取的亮度通道感受野中心输入f_bc(x,y)和感受野外周输入f_bs(x,y)则两条通路感受野输出为：

其中σ为高斯核的半径模拟感受野的大小，Max操作是为了保证方程取值非负，其中代表卷积操作，B表示高斯差模型输出，g_σs和g_σc分别代表不同高斯核大小的高斯差函数。

6.根据权利要求4所述的一种基于人眼视觉感知机理的水下图像清晰化方法，其特征还在于：采用高斯差模型模拟神经节细胞感受野提升图像对比度，根据高斯差模型输出B对颜色通道图像C_RGB(x,y)进行非线性映射变换获得颜色通道感受野中心输入f_gc(x,y)：

γ代表灰度系数，根据上述计算的感受野中心输入f_gc(x,y)和感受野外周输入f_gs(x,y)，获得模拟神经节细胞感受野输出图像为：

G(x,y)和G'(x,y)分别模拟两种神经节细胞感受野的输出，输入图像分别与σc和σs两种不同尺度高斯核进行卷积，h为感受野外周的权重，其大小与图像的对比度呈负相关，其中

对获取图像G(x,y)和G'(x,y)进行加权获取最终清晰化图像为：

out(x,y)＝ψ(x,y)×G(x,y)+(1-ψ(x,y))×G'(x,y)

其中ψ(x,y)控制两个通路的权重系数，权重系数由(x,y)处的局部亮度决定。