CN111541886A - 一种应用于浑浊水下的视觉增强系统 - Google Patents

Abstract

本发明公开了一种应用于浑浊水下的视觉增强系统，包括依次连接的摄像机模块、高速采集模块、运算处理模块、网络传输模块和终端设备；摄像机模块用于获取视频图像数据，将视频图像数据数字化；高速采集模块用于将数字化的视频图像数据读入高速缓存处理；运算处理模块用于实时高速处理采集的图像，对视频高速采集模块输送的视频数据进行高画质图像的实时处理，运算速度不低于16毫秒每张1920x1080图像；网络传输模块：将处理输出的图像进行实时压缩，然后输送到终端设备；终端设备用于呈现网络传输模块输送的图像。画面清晰，便于水下观测和水下距离测量，独立的图像处理模块可以在现有的嵌入式系统中运行，实现了水下摄像采集数据的在线实时处理。

Description

一种应用于浑浊水下的视觉增强系统

技术领域：

本发明属于水下设备技术领域，涉及一种应用于浑浊水下的视觉增强系统。

背景技术：

双目立体视觉是典型的人类视觉模型，采用两个视觉传感器进行图像采集，立体矫正，立体匹配工作，能够获取丰富的环境信息，在传统的图像获取的基础上，增加了对场景深度信息的感知能力，非常应用于构建智能服务机器人的视觉系统。

由于水下环境的特殊性，受光照和浑浊度的影响，双目水下摄像机获取的图像比较模糊，在处理之前，需要增强其清晰度。双目视觉增强是在立体视觉的基础上进行了画面增强处理，通过对图像细节的处理，增强更多的细节展示。目前国内外仅有极少数用于海洋及水下的双目视觉增强系统。现有的视觉增强系统是通过上位机进行后期增强后使用，由于运算速度的限制，水下设备的嵌入式处理器难以直接对获取的立体视觉图像进行增强处理。

发明内容：

本发明目的在于克服现有技术存在的缺点，寻求设计一种应用于浑浊水下的视觉增强系统。

为了实现上述目的，本发明涉及的应用于浑浊水下的视觉增强系统，包括依次连接的摄像机模块、高速采集模块、运算处理模块、网络传输模块和终端设备；摄像机模块用于获取视频图像数据，将视频图像数据数字化；高速采集模块用于将数字化的视频图像数据读入高速缓存处理，单目采集速率≥60fps，双目采集速率≥30fps；运算处理模块用于实时高速处理采集的图像，对视频高速采集模块输送的视频数据进行高画质图像的实时处理，包括对实时图像进行增强、图像合成和双目测距，运算速度不低于16毫秒每张1920x1080图像；网络传输模块：将处理输出的图像进行实时压缩，然后输送到终端设备；终端设备用于呈现网络传输模块输送的图像。

具体地，网络输送模块使用×264编码进行base line压缩，然后使用双绞线输出到上位机或者移动端，传输协议使用RTSP协议。

具体地，运算处理模块包括图像增强模块，图像增强模块用于对采集的图形进行处理，得到高画质的图像，图像增强模块，包括伽马自动校正单元，白平衡自动矫正单元，锐度自动校正加强单元，直方图均衡化调整单元，拉普拉斯算子增强单元，手动调节单元和双目测距单元。伽马自动校正模块，自动判断是否需要伽马自动校正，若是，则对图像的伽马曲线进行编辑，以及对图像进行非线性色调编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度，主要用于解决在强光曝光下引起的白色曝光过度问题，主要是在使用强光灯的水下工作时使用，有效避免图像曝光过度，白平衡自动矫正模块，自动判断是否需要白平衡矫正，若是则进行白平衡调整，主要是针对偏色问题进行的调整，能够自动针对水下蓝色光线或者黄色光线进行白平衡修正；锐度自动校正加强模块，自动判断是否需要锐度自动校正，若是则进行锐度自动校正，对物体边缘进行校正，使得各个物体之间的结构更加明显，具有更加明显的层次感；直方图均衡化调整模块，用于去除水下图像模糊的雾状感观；拉普拉斯算子增强模块，用于强化视野内尤其是对焦点的细节构造，能够让部分不在焦距内的物体进行细节和边缘的强化；手动调正模块：用于调增图像的亮度、对比度和饱和度；

运算处理模块还包括图像合成模块，图像合成模块与图像增强模块连接，用于将需要显示的其他信息叠加在图像增强模块输出的图像上。

本发明与现有技术相比具有以下有益效果：通过图像增强模块得到高清的画面，便于观测水下环境，能够测量测绘水下生物大小，以及水下物体之间的距离，独立的图像处理模块可以在现有的嵌入式系统中运行，实现了水下摄像采集数据的在线实时处理。

附图说明：

图1是本发明应用于浑浊水下的视觉增强系统结构原理示意图。

具体实施方式：

下面通过具体实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及的应用于浑浊水下的视觉增强系统，包括依次连接的摄像机模块、高速采集模块、运算处理模块、网络传输模块和终端设备；摄像机模块具体为双目摄像机或SDI高清摄像机，用于获取视频图像数据，将视频图像数据数字化；高速采集模块用于将数字化的视频图像数据读入高速缓存处理，单目采集速率≥60fps，双目采集速率≥30fps；运算处理模块用于实时高速处理采集的图像，对视频高速采集模块输送的视频数据进行高画质图像的实时处理，包括对实时图像进行增强、图像合成和双目测距，运算速度不低于16毫秒每张1920x1080图像，该运行速度具体使用CUDA图形加速技术，将运算处理模块中涉及的算法进行移植，从CPU处理移植到嵌入式GPU处理中实现；网络传输模块：将处理输出的图像进行实时压缩，然后输送到终端设备；终端设备具体为移动终端，如手机、ipad,或PC终端，立体视觉头盔，用于呈现网络传输模块输送的图像。

具体地，网络输送模块使用×264编码进行base line压缩，然后使用双绞线输出到上位机或者移动端，传输协议使用RTSP协议。

具体地，运算处理模块包括图像增强模块，图像增强模块用于对采集的图形进行处理，得到高画质的图像，图像增强模块，包括伽马自动校正单元，白平衡自动矫正单元，锐度自动校正加强单元，直方图均衡化调整单元，拉普拉斯算子增强单元，手动调节单元和双目测距单元。伽马自动校正模块，自动判断是否需要伽马自动校正，若是，则对图像的伽马曲线进行编辑，以及对图像进行非线性色调编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度，主要用于解决在强光曝光下引起的白色曝光过度问题，主要是在使用强光灯的水下工作时使用，有效避免图像曝光过度。白平衡自动矫正模块，自动判断是否需要白平衡矫正，若是则进行白平衡调整，主要是针对偏色问题进行的调整，能够自动针对水下蓝色光线或者黄色光线进行白平衡修正；锐度自动校正加强模块，自动判断是否需要锐度自动校正，若是则进行锐度自动校正，对物体边缘进行校正，使得各个物体之间的结构更加明显，具有更加明显的层次感；直方图均衡化调整模块，用于去除水下图像模糊的雾状感观；拉普拉斯算子增强模块，用于强化视野内尤其是对焦点的细节构造，能够让部分不在焦距内的物体进行细节和边缘的强化；手动调正模块：用于调增图像的亮度、对比度和饱和度；

图像增强模块中各个单元，在使用过程中不分使用顺序，通过对图像的智能分析后，自动进行相关调用，也可根据操作人员的实际使用环境，使用外设控制图像的处理效果，比如对图像的亮度，对比度，饱和度的调整。

进一步地，伽马自动校正单元具体处理过程为：

(1)采集的图像进入伽马(Gamma)校正单元，采集像素数据，即该对象中的每个像素，都保存着RGB值，也就是红、绿、蓝通道，这些数据以数组形式存在，并存储于图像对象的数据中；

R＝255×(R÷255)^1/r

G＝255×(G÷255)^1/r

B＝255×(B÷255)^1/r

(2)将图片的像素数据转变为灰度数据，计算灰度均值mean；

(3)将计算出来的灰度均值mean带入

公式中，得到Gamma值，其中midrange＝0.5；

(4)若计算的Gamma值小于比0.6，则进行Gamma校正，否则不做处理；

(5)Gamma校正具体为Gamma值调整为大于0.6的一值，如0.8、0.65，然后代入步骤(3)所述公式中计算灰度均值mean，再将灰度灰度均值mean代入步骤(1)所述公式中，得到矫正后的RGB值，实现对亮度的调整。

进一步地，所述白平衡自动矫正单元的具体处理过程为：

首先判断彩色图像中R、G、B三个通道内的像素灰度值是否在[0.255]的范围内，若不在，则根据映射函数将R、G、B三个通道内的像素灰度值映射在[0.255]范围内，得到新的灰度值。

进一步地，所述锐度自动校正加强单元具体处理过程为：

(1)根据方差公式，计算图像清晰度方差。对焦清晰的图像相比对焦模糊的图像，它的数据之间的灰度差异应该更大，即它的方差应该较大，可以通过图像灰度数据的方差来衡量图像的清晰度，方差越大，表示清晰度越好。

其中，x_i表示的是图像中某一像素点的灰度值；n表示图像的像素点总数。

(2)当清晰度方差小于3500的设定阈值时，进行图像锐化处理，具体为：提取图像的高频分量，将其叠加到原图上，根据叠加后形成新的图形，计算新的图像的方差，重复进行图像锐化，直到图像方差值大于3500，完成图像锐化。

进一步地，所述直方图均衡化调整单元的具体处理过程为：

(1)根据图像灰度计算灰度密度函数PDF，g_k＝EQ(f_k)＝(n_i/n)＝pf(f_i)，其中,f(x，y)表示图像中(x，y)坐标点的第k级灰度值，f_k表示原始图像中(x，y)坐标点的灰度值，n_i是图像f(x，y)中具有灰度值f_i的像素个数，n是图像象素总数，i是图像的灰度级数，f_i是表示一个给定的固定灰度值。因为pf(f_i)给出了对各个f_i出现概率的一个统计，所以直方图提供了图像的灰度值分布情况。原始图像在(x，y)处的灰度为f_k。

(2)计算积累分布函数CDF，CDF的算法：

(3)将CDF归一化到原图取值范围[0，255]。

直方图均衡化调整单元的目的就是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。

进一步地，所述拉普拉斯算子增强单元中采用OpenCV中Laplacian函数可以实现对图像的拉普拉斯操作。

进一步地，所述手动调节具体为：

前期增强后的图片由于高光度的原因，最终可能引起局部光感偏高的问题。在保证平均亮度不变的情况下，扩大或缩小亮的点和暗的点的差异。根据下述调整公式，调整像素点的亮度，进而实现对比度的调整。

Out＝Average+(In–Average)*(1+percent)

其中，In表示原始像素点亮度，Average表示整张图片的平均亮度，Out表示调整后的亮度，而percent即调整范围[-1,1]，在这里经过多次论证和实验，最终percent值锁定在0.65。

运算处理模块还包括图像合成模块，图像合成模块与图像增强模块连接，用于将需要显示的额外信息(文字或图形等)叠加在图像增强模块输出的图像上。

当采用双目摄像机时，还能够实现测距和增强现实(AR)。当实现双目测距时，运算处理模块还包括双目测距模块，双目增强模块与图像增强模块模块连接。具体地，所述双目增强模块的具体实现方式包括以下步骤：

(1)计算出双目摄像机每个摄像头的内部参数：焦距f，成像原点cx,cy，和畸变参数k1、k2、k3、p1、p2，以及通过标定来测量两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R、平移向量t)。其中，当摄像头为鱼眼镜头等径向畸变特别大的镜头时才需要计算k3。

(2)双目校正：双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变参数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

(3)双目匹配：把同一场景在左右视图上对应的像点匹配起来，得到视差图，进而得到视差数据，进而计算出深度信息。

Claims (5)

1.一种应用于浑浊水下的视觉增强系统，其特征在于，包括依次连接的摄像机模块、高速采集模块、运算处理模块、网络传输模块和终端设备；摄像机模块用于获取视频图像数据，将视频图像数据数字化；高速采集模块用于将数字化的视频图像数据读入高速缓存处理，单目采集速率≥60fps，双目采集速率≥30fps；运算处理模块用于实时高速处理采集的图像，对视频高速采集模块输送的视频数据进行高画质图像的实时处理，运算速度不低于16毫秒每张1920x1080图像；网络传输模块：将处理输出的图像进行实时压缩，然后输送到终端设备；终端设备用于呈现网络传输模块输送的图像。

2.根据权利要求1所述的应用于浑浊水下的视觉增强系统，其特征在于，网络输送模块使用×264编码进行baseline压缩，然后使用双绞线输出到上位机或者移动端，传输协议使用RTSP协议。

3.根据权利要求2所述的应用于浑浊水下的视觉增强系统，其特征在于，运算处理模块包括图像增强模块，图像增强模块用于对采集的图形进行处理，得到高画质的图像，图像增强模块，包括伽马自动校正单元，白平衡自动矫正单元，锐度自动校正加强单元，直方图均衡化调整单元，拉普拉斯算子增强单元，手动调节单元和双目测距单元。伽马自动校正模块，自动判断是否需要伽马自动校正，若是，则对图像的伽马曲线进行编辑，以及对图像进行非线性色调编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度，主要用于解决在强光曝光下引起的白色曝光过度问题，主要是在使用强光灯的水下工作时使用，有效避免图像曝光过度，白平衡自动矫正模块，自动判断是否需要白平衡矫正，若是则进行白平衡调整，主要是针对偏色问题进行的调整，能够自动针对水下蓝色光线或者黄色光线进行白平衡修正；锐度自动校正加强模块，自动判断是否需要锐度自动校正，若是则进行锐度自动校正，对物体边缘进行校正，使得各个物体之间的结构更加明显，具有更加明显的层次感；直方图均衡化调整模块，用于去除水下图像模糊的雾状感观；拉普拉斯算子增强模块，用于强化视野内尤其是对焦点的细节构造，能够让部分不在焦距内的物体进行细节和边缘的强化；手动调正模块：用于调增图像的亮度、对比度和饱和度。

4.根据权利要求3所述的应用于浑浊水下的视觉增强系统，其特征在于，运算处理模块还包括双目测距模块，双目增强模块与图像增强模块模块连接。

5.根据权利要求3或4所述的应用于浑浊水下的视觉增强系统，其特征在于，运算处理模块还包括图像合成模块，图像合成模块与图像增强模块连接，用于将需要显示的其他信息叠加在图像增强模块输出的图像上。

Images