CN115409872B - 一种水下摄像机图像优化方法 - Google Patents

Abstract

本发明公开了一种水下摄像机图像优化方法，建立水下摄像机运动中图像目标检测模型；建立运动中目标图像的跟踪状态之间的与运动图像矩阵关系式；完成对丢帧状态参数的处理，将丢帧误差消除，还原出低照度原始图像；将低照度图像分为低频分量与高频分量；对于低频分量采用改进的Retinex算法进行光照强度增强；对于包含图像细节信息的高频分量，使用基于多尺度灰度熵的PLIP模型进行增强；将得到的高低频图像信息返回时域计算，将得出的最终增强图像。本发明采用小波变换的计算方法，将低照度图像分解为多个不同方向上的高频细节图像以及低频近似图像，增强了初始低照度图像对比度，突出了细节信息。

Description

一种水下摄像机图像优化方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种水下摄像机图像优化方法。

背景技术

水下摄像机一般搭载在水下航行器(如水下机器人、水下自主航行器、水下滑翔机等)载体上使用或由蛙人运动过程中手持式使用。由于水下目标运动(相对运动)具有自由度高和复杂多变的空间结构特点，与陆面摄像机视频相比较，所获取的水下视频的信噪比非常低，目标的信息也严重失真。传统的方法因为不能自动对跟踪的窗口大小进行调整，极易出现运动过程中的丢帧现象，从而导致水下采集时图像跟踪缺少连贯性，严重时会丢失重要目标的特征。同时，受困于海水中外界环境的干扰(如：温度、盐度、压力、叶绿素条件、海水悬浮物变换等)，以及水的散射吸收作用较强，从而使水下目标探测识别过程中造成低照度的困扰。所以，如何消除水下摄像机在水下运动中丢帧误差问题提升跟踪准确性，以及增强改善水下摄像机照度成为当前亟待解决的问题。

发明内容

有鉴于此，本发明提出一种水下摄像机图像优化方法，可很好地提升水下目标检测和跟踪性能，以及提升水下图像照度，具有广泛的适应性。

具体的，本发明公开的一种水下摄像机图像优化方法，包括以下步骤：

建立水下摄像机运动中图像目标识别跟踪模型，包括将运动中相邻的三帧图像的相邻两帧图像进行差分处理、选择阈值对获取的两帧运动图像进行预处理，建立帧幅度能量模型和图像目标识别跟踪模型；

图像跟踪中丢帧误差消除，还原出初始图像：建立运动中目标图像的跟踪状态与运动图像矩阵关系式；完成对丢帧状态参数的处理，将丢帧误差消除，还原出低照度原始图像；

使用二维离散小波变换对低照度图像进行多尺度分解，然后对小波变换后所有的高频子带使用方向滤波器组执行多方向分解，将低照度图像分为低频分量与高频分量；

对于原始图像相近且包含图像大部分信息的低频分量，采用改进的Retinex算法进行光照强度增强；对于包含图像细节信息的高频分量，使用基于多尺度灰度熵的PLIP模型进行增强；

将得到的高低频图像信息返回时域计算，将得出的最终增强图像。

进一步的，所述图像目标识别跟踪模型包括：

将运动中相邻的三帧图像的相邻两帧图像进行差分处理，再选择阈值对获取的两帧运动图像进行预处理：其中运动中获取的图像目标，用下式表示：

B_n+1(x,y)＝βB_n+(1-β)D_n(x,y)

式中：β为更新速度；B_n为采集的此刻帧图像，D_n为采集的上一帧图像；

经过预处理后图像G_n，方程式为：

阈值T_n对两帧图像差异进行判定；

在帧幅度能量模型中二维矢量集Φ，方程式描述如下：

Φ＝[(-1，1)，(0，1)，(1，1)，(1，0)，(1，-1)，(0，-1)，(-1，-1)，(-1，0)]

对各帧f中运动矢量非零的宏块数量N进行统计，若超过门限T，则认为f为存在移动运动能量的图像帧f_m，反之认为f是静止帧f₀；

f_m运动帧的宏块数量可记为N_i，方程式表达为：

获取该帧运动场能量幅度D，存在最大宏块数量的运动方向即为该帧的运动方向，表达式如下：

D＝max(f_i)

通过模型把运动图像序列运动分布有效反映出来，从而建立运动中图像目标识别跟踪模型。

进一步的，运动中目标图像的跟踪状态与运动图像矩阵关系式如下：

式中：V₁₂和V₂₁分别为运动中第1帧～第2帧水下摄像机图像速度及反向速度；V₁₃和V₃₁分别为运动中第1帧～第3帧水下摄像机图像速度及反向速度；和/>分别为水下摄像机第1帧～第2帧、第1帧～第3帧的图像的运动场能量幅度。

进一步的，在对运动中图像进行跟踪时，运动中图像跟踪状态系数由下式得出：

Δλ＝D/Δτ'＝(Δτ/e-dΔτ)D

式中：e为跟踪速度；d为丢帧图像误差集合；Δτ'为运动中图像跟踪过程中的延时参数。

进一步的，丢帧图像误差记作通过下式得出：

丢帧二阶误差，用下式描述：

获取运动中图像跟踪过程中丢帧误差方向向量，将丢帧误差消除：

其中k为丢帧图像误差方向系数，计算如下：

k＝p(i)/Δτ(i)*d(i)

其中，p(i)/Δτ(i)代表丢帧图像角度偏移速度。

进一步的，所述改进的Retinex算法步骤如下：

输入原始的低频分量图像I(x,y)和滤波的半径范围sigma；

计算原始的低频分量图像I(x,y)高斯滤波后的结果L(x,y)；

计算低频分量图像的多尺度灰度熵：

将低频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

计算各颜色通道的灰度多尺度像素值修正系数，下式为R通道的灰度多尺度像素值修正系数：

其中，g_j为图像中第j个像素的灰度值，g_j′为高斯平滑后图像的灰度值，n_j为某个灰度级别下的像素数量，α为饱和度调整系数。

进一步的，所述基于多尺度灰度熵的PLIP模型包括：

计算高频分量图像的多尺度灰度熵：

将高频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

基于多尺度灰度熵的PSLIP模型的同态函数的正变换和逆变换如下：

其中M是图像的灰度色调范围；灰度值f定义在[-M，M]之间，sgn(f)表示符号函数，λ(M)的形式为AM+B，A和B为常数。

相比与现有技术，本发明的有益效果是：

本申请装置适应于水下运动中的各种场景，很好地提升了水下图像目标跟踪检测性能，可解决水下摄像机在运动中丢帧问题；

采用小波变换的计算方法，将低照度图像分解为多个不同方向上的高频细节图像以及低频近似图像，增强了初始低照度图像对比度，突出了细节信息。

附图说明

图1增加图像优化控制装置后的水下摄像机；

图2水下摄像机图像优化控制步骤方法

图3小波-C变换频域分布图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

传统的水下摄像机，主要由光学系统、光电转换系统、信号处理系统、图像存储系统等组成,而在水下运动中摄像机对图像进行跟踪时，随着运动速度变化以及周围水底环境变化为目标获取以及跟踪、图像还原等造成巨大的困难。本申请在原有的水下摄像机基础上，增加图像优化控制装置及方法，解决水下摄像机目标跟踪丢失以及水下低照度问题。

本申请技术方案中，增加图像优化控制装置后的水下摄像机产品组成框图如图1所示，虚线表示原水下摄像机产品组成，实线部分为本发明的图像优化控制装置。

图像优化控制装置对水下相机的控制方法如图2所示，主要分为三步：第一步，建立水下摄像机运动中图像目标跟踪识别模型：

拟定运动中相邻的三帧图像用f_t-1(x,y)、f_t(x,y)、f_t+1(x,y)进行表示，产品图像优化控制装置通过对相邻两帧图像的差分处理，获取D_t(x,y)、D_t+1(x,y),再选择合理的阈值对获取的两帧运动图像进行预处理。具体运动中获取的图像目标，用下式方程(1)表示：

B_n+1(x,y)＝βB_n+(1-β)D_n(x,y) (1)

式(1)中：β为更新速度；B_n为采集的此刻帧图像，D_n为采集的上一帧图像。将此刻帧图像与上一帧图像相减，取相减结果的绝对值，通过阈值T_n对两帧图像差异进行判定。则运动中的图像目标采集，经过预处理后图像G_n，方程式可表述为：

对运动中图像序列，相邻两帧进行差分计算，利用每帧获取的差异值，为帧能量幅度模型建立铺好判定的基础。帧幅度能量模型通过对此刻与上一帧图像信息的改变程度进行描述，建立运动中图像目标检测模型。

在帧幅度能量模型中，整体上运动图像序列中所有帧均可看作朝相同方向运动。在该方向的运动能量可体现该帧运动场幅度。这样，将水下摄像机运动中的每帧运动场方向看成二维矢量集Φ，方程式描述为式(3):

Φ＝[(-1，1)，(0，1)，(1，1)，(1，0)，(1，-1)，(0，-1)，(-1，-1)，(-1，0)] (3)

对各帧f中运动矢量非零的宏块数量N进行统计，若超过门限T，则认为f为为存在移动运动能量的图像帧f_m，反之认为f是静止帧f₀。f_m运动帧的宏块数量可记为Ni，方程式表达为：

通过式(5)获取该帧运动场能量幅度D，存在最大宏块数量的运动方向即为该帧的运动方向，表达式

D＝max(f_i) (5)

通过模型把运动图像序列运动分布有效反映出来，从而建立运动中图像目标识别跟踪模型。

第二步，图像跟踪中丢帧误差消除，还原出初始图像

对运动中图像跟踪时，现忽略噪声的影响，则可用运动过程中图像跟踪方程式(6)得到运动中目标图像的跟踪状态之间的与运动图像矩阵关系式。

式(6)中：V₁₂和V₂₁分别为运动中第1帧～第2帧水下摄像机图像速度及反向速度；V₁₃和V₃₁分别为运动中第1帧～第3帧水下摄像机图像速度及反向速度；和/>分别为水下摄像机第1帧～第2帧、第1帧～第3帧的图像的运动场能量幅度。

在对运动中图像进行跟踪时，运动中图像跟踪状态系数可通过式(7)得出：

Δλ＝D/Δτ'＝(Δτ/e-dΔτ)D (7)

上式中：e为跟踪速度；d为丢帧图像误差集合；Δτ'为运动中图像跟踪过程中的延时参数。

丢帧图像误差记作通过式(8)可得出：

可将丢帧二阶误差，用下式描述：

在上述分析的基础上，获取运动中图像跟踪过程中丢帧误差方向向量，可将丢帧误差消除：

丢帧图像误差方向系数式，表达为：

k＝p(i)/Δτ(i)*d(i) (11)

其中，p(i)/Δτ(i)代表丢帧图像角度偏移速度；丢帧图像方向系数k是丢帧图像角度偏移程度的体现。

通过上述分析获取运动中图像跟踪状态，求得运动中图像跟踪状态矩阵，完成对丢帧状态参数的处理，将丢帧误差消除，还原出低照度原始图像。第三步，低照度初始图像增强，输出增强质量图像

按照图2第三步流程图，运动中跟踪的图像，使用二维离散小波变换对低照度图像执行多尺度分解，然后对小波变换后所有的高频子带使用方向滤波器组执行多方向分解。如图3，表示了小波-Contourlet(本发明简称小波-C)变换中多尺度分解过程，图中密点部分表示小波分解的高频子带。

经过小波-C变换后，可将低照度图像分为低频分量与高频分量。针对与原始图像相近且包含图像大部分信息的低频分量，采用改进的Retinex算法进行光照强度增强。而对于包含图像主要细节信息的高频分量，使用基于多尺度灰度熵的PLIP模型进行增强。最后，将得到的高低频图像信息返回时域计算，将得出的最终增强图像，输出到水下摄像机显示存储系统。

Retinex算法通过对原始图像进行高斯滤波来获取照度图像，并尽量准确的获取照度图像，最后将照度图像从原始图像中分离出来，从而获得反射图像。包括多尺度Retinex，多尺度加权平均的Retinex算法等。本发明针对现有算法对于图像局部细节过暗或过良时，图像增强效果不理想的情况，对Retinex算法进行改进。

改进的Retinex算法方法如下：

输入原始的低频分量图像I(x,y)和滤波的半径范围sigma；

计算原始的低频分量图像I(x,y)高斯滤波后的结果L(x,y)；

计算低频分量图像的多尺度灰度熵：

将低频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

计算各颜色通道的灰度多尺度像素值修正系数，以下为R通道的灰度多尺度像素值修正系数：

其中，g_j为图像中第j个像素的灰度值，g_j′为高斯平滑后图像的灰度值，n_j为某个灰度级别下的像素数量，α为饱和度调整系数；

G通道和B通道的灰度多尺度像素值修正系数计算方法与R通道的灰度多尺度像素值修正系数相同。

得到多通道的灰度多尺度像素值修正系数后，将原始图像的多通道灰度值与相应的灰度多尺度像素值修正系数相乘，得到修正后的图像。通过将图像进行多尺度像素修正，可以在保证图像灰度的同时，提升图像色彩饱和度。

对于包含图像主要细节信息的高频分量，使用基于多尺度灰度熵的PSLIP模型进行增强。PSLIP模型是Parameterized Symmetric LIP模型，为本领域的现有技术。

步骤如下：

计算高频分量图像的多尺度灰度熵：

将低频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

基于多尺度灰度熵的PSLIP模型的同态函数如下：

其中M是图像的灰度色调范围；灰度值f定义在[-M，M]之间，sgn(f)表示符号函数，λ(M)的形式为AM+B，A和B为常数。公式(14)是PSLIP模型基本同态函数关于灰度值的正变换，公式(15)是PSLIP模型基本同态函数关于灰度值的逆变换。本发明将多尺度灰度熵与PSLIP模型相结合，通过多尺度增强，可以更好地增强图像细节。

相比与现有技术，本发明的有益效果是：

本申请装置适应于水下运动中的各种场景，很好地提升了水下图像目标跟踪检测性能，可解决水下摄像机在运动中丢帧问题；

采用小波变换的计算方法，将低照度图像分解为多个不同方向上的高频细节图像以及低频近似图像，增强了初始低照度图像对比度，突出了细节信息。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种水下摄像机图像优化方法，其特征在于，包括以下步骤：

建立水下摄像机运动中图像目标识别跟踪模型，包括将运动中相邻的三帧图像的相邻两帧图像进行差分处理、选择阈值对获取的两帧运动图像进行预处理，建立帧幅度能量模型和图像目标识别跟踪模型；

图像跟踪中丢帧误差消除，还原出初始图像：建立运动中目标图像的跟踪状态与运动图像矩阵关系式；完成对丢帧状态参数的处理，将丢帧误差消除，还原出低照度原始图像；

使用二维离散小波变换对低照度图像进行多尺度分解，然后对小波变换后所有的高频子带使用方向滤波器组执行多方向分解，将低照度图像分为低频分量与高频分量；

对于原始图像相近且包含图像大部分信息的低频分量，采用改进的Retinex算法进行光照强度增强；对于包含图像细节信息的高频分量，使用基于多尺度灰度熵的PLIP模型进行增强；

将得到的高低频图像信息返回时域计算，得出最终增强图像；

其中，所述基于多尺度灰度熵的PLIP模型包括：

计算高频分量图像的多尺度灰度熵：

将高频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

基于多尺度灰度熵的PSLIP模型的同态函数的正变换和逆变换如下：

其中M是图像的灰度色调范围；灰度值f定义在[-M，M]之间，sgn(f)表示符号函数，λ(M)的形式为AM+B，A和B为常数。

2.根据权利要求1所述的水下摄像机图像优化方法，其特征在于，所述图像目标识别跟踪模型包括：

将运动中相邻的三帧图像的相邻两帧图像进行差分处理，再选择阈值对获取的两帧运动图像进行预处理：其中运动中获取的图像目标，用下式表示：

B_n+1(x,y)＝βB_n+(1-β)D_n(x,y)

式中：β为更新速度；B_n为采集的此刻帧图像，D_n为采集的上一帧图像；

经过预处理后图像G_n，方程式为：

阈值T_n对两帧图像差异进行判定；

在帧幅度能量模型中二维矢量集Φ，方程式描述如下：

Φ＝[(-1，1)，(0，1)，(1，1)，(1，0)，(1，-1)，(0，-1)，(-1，-1)，(-1，0)]

对各帧f中运动矢量非零的宏块数量N进行统计，若超过门限T，则认为f为存在移动运动能量的图像帧f_m，反之认为f是静止帧f₀；

f_m运动帧的宏块数量记为N_i，方程式表达为：

获取该帧运动场能量幅度D，存在最大宏块数量的运动方向即为该帧的运动方向，表达式如下：

D＝max(f_i)

通过模型把运动图像序列运动分布有效反映出来，从而建立运动中图像目标识别跟踪模型。

3.根据权利要求1所述的水下摄像机图像优化方法，其特征在于，运动中目标图像的跟踪状态与运动图像矩阵关系式如下：

式中：V₁₂和V₂₁分别为运动中第1帧～第2帧水下摄像机图像速度及反向速度；V₁₃和V₃₁分别为运动中第1帧～第3帧水下摄像机图像速度及反向速度；和/>分别为水下摄像机第1帧～第2帧、第1帧～第3帧的图像的运动场能量幅度。

4.根据权利要求3所述的水下摄像机图像优化方法，其特征在于，在对运动中图像进行跟踪时，运动中图像跟踪状态系数由下式得出：

Δλ＝D/Δτ'＝(Δτ/e-dΔτ)D

式中：e为跟踪速度；d为丢帧图像误差集合；Δτ'为运动中图像跟踪过程中的延时参数。

5.根据权利要求3所述的水下摄像机图像优化方法，其特征在于，丢帧图像误差记作通过下式得出：

丢帧二阶误差，用下式描述：

获取运动中图像跟踪过程中丢帧误差方向向量，将丢帧误差消除：

其中k为丢帧图像误差方向系数，计算如下：

k＝p(i)/Δτ(i)*d(i)

其中，_p(i)/Δτ(i)代表丢帧图像角度偏移速度。

6.根据权利要求1所述的水下摄像机图像优化方法，其特征在于，所述改进的Retinex算法步骤如下：

输入原始的低频分量图像I(x,y)和滤波的半径范围sigma；

计算原始的低频分量图像I(x,y)高斯滤波后的结果L(x,y)；

计算低频分量图像的多尺度灰度熵：

将低频分量的灰度值按大小划分为m个级别，计算第i个灰度级别下像素灰度值j出现的频率p_i，j，1<i<m；

p_i，j为第i个灰度级别下像素灰度值j出现的概率，n为某个灰度级别下灰度值的数量；

计算各颜色通道的灰度多尺度像素值修正系数，下式为R通道的灰度多尺度像素值修正系数：

其中，g_j为图像中第j个像素的灰度值，g_j′为高斯平滑后图像的灰度值，n_j为某个灰度级别下的像素数量，α为饱和度调整系数。