CN109688382A - 一种水下机器人的水下图像处理系统 - Google Patents

Abstract

本发明涉及一种水下机器人的水下图像处理系统，图像采集模块、FPGA模块以及显示模块；图像采集模块包括：LED灯组和摄像头模块；图像采集模块以及显示模块均与FPGA模块相连；通过图像采集模块采集水下图像，经FPGA模块处理，通过显示模块显示。本发明提出的一种水下机器人的水下图像处理系统，解决了水下图像系统的时滞性大、水下图像偏色严重、水下图像的后向闪射、水下图像对比度差、亮度低、体积大、能耗高的缺陷。

Description

一种水下机器人的水下图像处理系统

技术领域

本发明涉及水下图像处理领域，特别是一种水下机器人的水下图像处理系统。

背景技术

目前，水下机器人大多数是采用有缆模式控制的水下机器人(rov)，就是通过脐带缆线来获得与母船上的上位机进行数据交换，获得水下机器人的水下图像资料和姿态信息和岸上的控制反馈信息，包括获得水下机器人的位置、姿态和深度信息；实现与母船上位机的数据实时的交互，人机画面的交互更加的生动具体，更加适合人眼识别特征的需求，有助于对水下复杂环境的准确判断和避免水下机器人水下事故的发生，以及避免水下机器人水下零浮力电缆的缠绕的发生，保证了操作的方便和事故的最大限度的减小。

在生产和生活中水下图像系统广泛的被使用，主要是用来图像的采集，记录水下环境，通常采用的是普通相机或者是摄像机密封后直接用于水下，现在有直接防水的相机，但是不针对水下进行图像的处理和优化。现在的水下图像采集的系统是采集上岸之后通常采用个人计算机进行处理，需要人为的操作，提取自己感兴趣的部分优化，通常偏色严重，噪点多，亮度不均匀的情况普遍存在。所以，现在研究一种水下图像实时处理系统是很有使用价值和产品有广阔的前景。

为了解决水下图像系统的时滞性大、水下图像偏色严重和水下图像的后向闪射、水下图像对比度差和亮度低的特点，并且克服了体积大、能耗高的特点，设计了这个水下图像实时处理系统。对于现在的水下图像采集领域可以得到满足。

发明内容

本发明的目的在于提供一种水下机器人的水下图像处理系统，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种水下机器人的水下图像处理系统，包括：设置于水面下的图像采集模块与FPGA模块以及设置于水面上的显示模块；所述图像采集模块包括：LED灯组和摄像头模块；所述图像采集模块以及所述显示模块均与所述FPGA模块相连；通过所述图像采集模块采集水下图像，经所述FPGA模块处理，暂存于TF卡内或通过所述显示模块显示。

在本发明一实施例中，所述摄像头模块具备密封有机玻璃罩，所述图像采集模块通过摄像头模块中的CMOS感光元件对水下的光学成像，采用的120°广角的玻璃组镜头；通过设置于摄像头模块四周的LED灯组进行灯光的补偿，环绕在球形摄像头罩四周的分别是两颗白光、红光、黄光和蓝光的LED灯；摄像头模块采用USB协议初始化寄存器，并将数据传输至所述FPGA模块。

在本发明一实施例中，所述FPGA模块包括：PLL单元、LED控制模块、图像处理模块、IIC数据交换模块、USB传输模块、Flash数据交换模块、USB摄像头连接模块、控制模块、传感器模块、SDRAM、FIFO、TF卡数据存储模块、VGA接口模块、DDR3控制模块。

在本发明一实施例中，所述FPGA模块采用基于灰度世界的偏色纠正；统计G、R、B三个通道所有的像素值，除以总的像素点的个数，得到的每个通道的平均值；获取三个通道的平均值greg；获取每个通道的增益因子；将原始输入的像素值乘以增益因子，映射出每一个像素点的新的值，获取三个通道处理后的最大值，除以8位宽通道的最大值255，获取偏色因子，判断偏色因子是否大于1.6；若大于，则对图片进行纠偏；若小于，则将图像像素值输出。

在本发明一实施例中，所述FPGA模块通过如下步骤对采集的图像进行直方图均衡化：

步骤S1：所采集的数据进行统计，采用3通道的数据，每个通道8位，总共是24bit的位宽，通过片外的DDR3构建双口RAM作为缓存储存器，根据摄像头模块的参数1280H×960V，地址的宽度设置为21位深度，每一个通道的数据分别是R、G、B像素值，大小位0-255的整数，数据的位宽为8位深度；在数据统计过程中，遇到相同的像素值，此像素个数+1，将获取的像素个数值重新写入RAM，如遇不相同像素值，继续往后面搜索；统计时利用FPGA的并行特点同时进行3个通道的像素个数的处理，统计一帧图像的值完毕之后，在下一帧图像来之前读出结果，再进行对RAM内数值的清零；

步骤S2：对数据进行归一化，分别计算出每一个像素值所占的百分比，然后对各个像素值百分比由小到大依次排序，各个像素的像素个数已由上一步统计，之后对每个地址中的数值同时除以1228800，再进行概率累加，分别计算出各个像素值的累加概率；构建一个概率累加图，得到的一组数据范围为0～1的像素累加概率；

步骤S3：对数据进行线性拉伸，产生新的数据，最后将最小像素的像素值记为最小值0，其它的依次和累加的概率相乘得到最终映射出来的像素值，完成直方图均衡。

在本发明一实施例中，所述FPGA模块采用软核NIOS II实现图像处理，通过非局部均值滤波，消除水中浮游生物和悬浮颗粒产生的椒盐噪声；当前像素的估计值由图像中与其近似邻域结构的像素加权平均得到；设定两个固定大小的窗口，搜索窗口的大小和邻域窗口，设定窗口的半径分别为Ds和ds，邻域窗口在搜索窗口中滑动，根据邻域的相似性确定像素的权重。

相较于现有技术，本发明具有以下有益效果：本发明解决了水下机器人的水下图像实时处理，包括图像采集、传输、储存、处理和显示等功能，包括了水下LED补光灯组的照明和控制电路，提供一种在水下成像系统的设备。在水下图像传输具有强的实时性，实时显示的图像符合人眼的识别特点，并且实现亮度适合、噪点低，在水下的能量消耗量小、体积小的目标。使用于水下机器人以及水下作业的一类产品，尤其是ROV、AUV之类的产品。采集图像影像资料和图像的实时传输对舵手的指示作用，以及本身携带电源的微小型水下设备。解决了现在水下图像处理传输速率慢，传输回来的图像不符合人眼的识别效果和偏色严重或者是亮度差，能耗消耗大和产品的体积大等特点。该装置还可以推广到水下娱乐，水下电视直播，水下考古，水下资源的勘探领域，产品具有广泛的需求量和使用价值。

附图说明

图1为本发明中水下图像处理系统的整体设计框图

图2为本发明中图像采集模块机构设计是示意图。

图3为本发明中FPGA设计模块框图。

图4为本发明中FPGA板载外围资源示意图。

图5为本发明中水下图像处理系统的功能示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于现场可编程逻辑门阵列(FPGA)构建SoC系统所搭建的水下机器人的水下图像处理。本发明提出的系统属于水下图像处理领域，具体的说是水下图像实时处理系统的装置的一种，实现水下图像实时的处理和传输，如图1所示，该系统包括了水下机器人的图像采集、图像处理、和图像传输和图像显示的设计模块。水下摄像头采用高透度的有机玻璃罩密封，本发明使用在有缆水下机器人上，可以推广到水下其它各类产品中，主要用于图像的采集、图像的保存和图像的显示设备中。图像采集单元是获得初始化的图像，是采用密封的摄像头进行收集，并且有LED灯组进行灯光补偿。对于采集的图像通过两个渠道进行处理，第一是对摄像头获得的原始图像资粮存储在TF内存卡中，第二是采用全真彩色RGB8：8：8的色彩空间的方式传递给图像处理模块；图像处理模块通过Avalanche总线与NiOS II进行数据交换，在这里此模块中设计偏色算法的纠正；通过非局部均值滤波处理水中悬浮颗粒和浮游生物引起的椒盐噪声；之后再输出到FPGA的硬件编程中，通过硬件语言来实现直方图均衡化操作，使得视频流符合人眼的识别特点；之后再通过数据线传到水下机器人(ROV)主体上面，最后通过ROV与母船之间的脐带进行数据的传输，在VGA的显示器上实现显示低噪度的全真彩色视频流。本系统可以直观的对水下的环境的了解，图像的实时传输，有助于母船上专业舵手信息的处理和及时的判断，同时又可以存储水下的原始图像，可以对科研考察和资源勘探等有重大的价值。

本发明是为了解决现在水下图像传输和处理的等产业的需要，在水下图像传输具有强的实时性，实时显示的图像符合人眼的识别特点，并且亮度适宜、水下信噪比高，在系统能量消耗量小、体积小的特点，实时现实的图像资料符合人眼识别的特点。

进一步的，在本实施例中，水下机器人的图像实时处理系统主要包括图像采集模块、FPGA设计模块和显示模块和LED灯组的控制模块。系统外设包括数字摄像头，LED灯组和TF卡，VGA显示器等。

进一步的，在本实施例中，如图2所示，图像采集模块主要是包括两部分，LED灯组和摄像头模块，结构如图2所示。主要通过CMOS感光元件对水下的光学成像，采用的120°广角的玻璃组镜头，形成直观的人眼可识别的图像，在水环境复杂的情况下，可以通过四周的LED灯组进行灯光的补偿，环绕在球形摄像头罩四周的分别是两颗白光、红光、黄光和蓝光的LED灯，可以通过人为调节灯光的亮度和进行灯光补偿的颜色。摄像头采用USB协议初始化寄存器来实现要求的工作，数据的传输直接输入到下一个模块FPGA处理模块中。

图像采集模块采用的是IIC配置摄像头初始化，采用12位并行数据输出，提高传输的速度，缓存进SDRAM中。摄像头采用的是AR 0134CMOS彩色摄像头，采用的是120°的广角镜头，这样可以使得水下的视角宽阔，便于收集更多的数据资料和舵手操作水下机器人，并且使用直径的高透球面罩密封，安装时可以参见图2中的6侧视图和7主视图来装配，必须保证CMOS的靶面在球心位置，这样可以减少折射产生的畸变。周围均匀分布8颗高亮度的LED灯，可以通过调节电源的频率来调整LED灯的亮度。分别是白光、红光、蓝光和绿光各两颗，安装的位置在7中明确标注，w表示白色、r表示红色、g表示绿色、b表示蓝色LED灯，分布均匀，减少水下光场不均匀现象产生；并且没颗LED灯采用90°的灯碗组装密封起来，方向都是水平向前，保证在水中不会出现严重的后向闪射情况。

进一步的，在本实施例中，如图3以及图4所示，现场可编程逻辑门阵列(FPGA)模块是设计的核心部分，通过使用硬件描述语言(DHL)实现液态电路的编辑，组成相应的所需模块，使得实际板载元件大大减少，保证体积的缩小和能耗的降低。在FPGA内部通过VerilogHDL调用IP核和实现硬件电路，调用的IP核主要包括锁相环(PLL)、FIFO、SDRAM等图形化设计模块。

在本实施例中，SD卡储存器采用TF卡，质量小，体积小，容量大，是嵌入式数据收集的首选，采用的是市面可以购买的256GB的Class 10TF卡，读写速度为100MB/s，保证水下机器人在水下原始图像的保存，以便于收集的光电图像资料在矫正中难免出现误差，后期可以人为的纠正改正。

在本实施例中，纠正偏色是基于灰度世界的偏色纠正。统计G、R、B三个通道所有的像素值，在除以总的像素点的个数，得到的每个通道的平均值，在完成了之后在解出三个通道的平均值greg，在基于上面的两个平均值找到每个通道的增益因子，在将原始输入的像素值乘以增益因子，映射出每一个像素点的新的值，获取三个通道的最大值，除以8位宽通道的最大值255，获取偏色因子，判断偏色因子是否大于1.6。若大于，并对图片进行纠偏，是对于原来图像的像素值除以偏色因子，映射出处理后的像素值。若小于，就对图像像素值直接输出。

在本实施例中，使用硬件电路实现直方图均衡化，主要是分为三个步骤，水下图像的直方图线性拉伸操作，采用的是硬件实现的方式。

第一步是对所采集的数据进行统计，主要是采用3通道的数据，每个通道8位，总共是24bit的位宽，数据量比较大，选择了片外的DDR3构建双口RAM作为缓存储存器，根据摄像头的参数1280H×960V，每一帧图像的每个通道的总像素点约为1.2Mp，地址的宽度设置为21位深度，每一个通道的数据分别是R、G、B像素值，大小位0-255的整数，数据的位宽只需要8位深度即可，在数据统计过程中，遇到相同的像素值，此像素个数+1，将获取的像素个数值重新写入RAM，直到遇到不同的像素值之后就在新的RAM地址中+1；同时进行3个通道的数据处理，统计一帧图像的值完毕之后，在下一帧图像来之前读出结果，之后再进行对RAM内数值的清零。

第二步是对对数据进行归一化，分别计算出每一个像素值所占的百分比，然后对各个像素值百分比由小到大依次排序，各个像素的像素值已由上一步统计，之后对每个地址中的数值同时除以1228800，再进行概率累加，分别计算出各个像素值的累加概率；构建一个概率累加图，得到的一组数据范围为0～1的像素累加概率。

第三步是对数据进行线性拉伸，产生新的数据，最后在对最小像素的像素值定义为最小值0，其它的依次和累加的概率相乘得到最终映射出来的像素值，完成直方图均衡。

在本实施例中，采用了软核NIOS II实现image processing module，主要针对图像噪点比较多的情况实行非局部均值滤波，有效的消除水中浮游生物和悬浮颗粒产生的椒盐噪声；非局部均值滤波是通过对于软核来实现的，理论上来说是利用了图像中的冗余信息，在去噪的同时最大限度地保留图像的细节特征。在当前像素的估计值由图像中的与它近似邻域结构的像素加权平均得到。考虑到计算的效率性，实现的时设定了两个固定大小的窗口，搜索窗口的大小(D×D)和邻域窗口(d×d)，设定窗口的半径分别为Ds和ds。邻域窗口在搜索窗口中滑动，根据邻域的相似性确定像素的权重。

在本实施例中，FPGA模块是水下图像实时处理系统的核心，主要是基于DE1-SoC开发板设计。由于Verilog DHL语言采用的是模块化编程，主要的实现的功能见图5，主要包括TF数据存储，采用纠正偏色的图像处理算法，之后再进行非局部均值滤波去除椒盐噪声，再增强对比度，做直方图均衡，此外还加入了对LED灯组颜色和亮度的控制。首先是通过IIC配置摄像头，初始化寄存器，见3.4模块，使得摄像头正常工作，在3.7模块中从摄像头传来的数据接收模块，原始数据进入FPGA中，这两个模块主要使用到的板载资源是GPIO 0端；在3.11中是TF卡数据存储模块，把得来的原始图像数据存入TF卡中，使用到的板载资源是4.4的micro SD card槽；在3.1中，管理了所有的时钟资源，对时钟进行分频、倍频和相移工作，使得FPGA中所有的模块可以正常工作；在3.2中是对LED的亮灭和亮度进行控制，通过控制电源的频率来实现灯光的亮度的改变；在3.3中，是构建NIOS II软核，由于实现的算法复杂，就采用c语言描述，数据的交换是通过Avlanche总线；在3.5中是实现水下机器人中传感器收集的数据，在显示器上显示的传输，使用的是板上R15的VGA接口；在3.6中主要是对原始程序的保存，在每次上电时都可以加载到FPGA上；在3.7中是对CMOS摄像头中的数据进行接收，由于是8bit并行输入，才有的是GPIO 0端口；在3.8中是对传感器的数据的收集，存储，加工之后通过3.5模块输出；在3.9和3.10中的SDRAM和FIFO中主要是对数据的缓存作用，当跨时钟域，或者再处理带宽和位数的转变时对数据进行相应的处理，FIFO可以在实现滤波，尤其在3×3的矩阵运算中使用；在3.12中的VGA模块直接对接VGA显示器；在3.13中是DDR3内存的控制，处理高级的算法时进行缓存，数据的交换速度快，使用到板载资源是4.3，1G容量的内存。

在本实施例中，可以进一步的缩小体积和降低功耗，可以将水下图像处理系统和控制系统相融合，对于重复的资源切割掉，进一步减少嵌入式系统的开销，降低成本。

在本实施例中，VGA显示模块实现了行同步、场同步和8位宽的红绿蓝三种颜色直接输出到外部，可以直接接入VGA显示器上面；TF卡数据的写入，通过编写一个SD卡模块，对摄像头传来的有效数据记录在TF卡中，等到水下机器人上岸后取出，对原始数据的恢复和保存；LED灯的控制比较简单，通过门级电路即可实现，通过两个按钮控制，一组为白光和红蓝光，一个是所有灯都亮。整体的设计框图如下图3所示，FPGA设计采用的是DE1-SoC开发板，使用到的资源如图4所示。在显示模块中还要对水下机器人的实时数据进行交换，在显示器上要反应出LED的水下情况；水下机器人的水下姿态，包括横倾和俯仰角度；深度传感器中的处于水中的深度；电池检测的电量的多少等均要实时的显示。这些都是通过IIC协议传输给上位机。

在本实施例中，水下机器人的水下图示实时处理系统，可以实现水下图像的实时显示，不会产生很长的时滞性延迟。解决了水下由于浮游生物和悬浮颗粒引起的椒盐噪声多的情况，图像的亮度进一步得到改善。水下机器人(ROV)的水下图像处理系统，实现了在水下低光照、水文条件复杂的条件下解决图像采集的色彩偏差严重、图像质量差、信噪比低，在处理阶段采用基于FPGA的SoC系统，数据集中处理采用并行处理方式，提高处理速度，时滞性降低，系统升级方便，可以直接改变图像处理的算法，升级电器元件的性能和带宽等都可以实现，FPGA液态电路可以在线完成。实现了采集的数据通过接口储存在TF卡和实时传输功能，为后期的图像数据处理提供了原始的资料。保证了水下图像处理的实时性和符合人眼识别特征，操作简单，对操控人员与很大的辅助作用。并且采用片上系统(SOC)构建相关的硬件电器元件，FPGA可以实现高精度的PWM调制等，大大的节省了空间，电源的能耗也降低，后期和控制系统融合之后可以进一步缩小设计体积，适合小型ROV和AUV等设备。

在本实施例中，显示模块配置有人机交互界面，在图像的实时显示环节，不仅要对水下的实时图像进行显示，还有对水下机器人的姿态、所处深度、俯仰角、侧倾角、电源容量、LED组的使用状态和附加传感器的相关信息的显示。在5中的LED的操作模块可采用触摸屏的方式，可以直观的对哪一种颜色的灯组进行操作，还可以直观的调节亮度。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种水下机器人的水下图像处理系统，其特征在于，包括：设置于水面下的图像采集模块与FPGA模块以及设置于水面上的显示模块；所述图像采集模块包括：LED灯组和摄像头模块；所述图像采集模块以及所述显示模块均与所述FPGA模块相连；通过所述图像采集模块采集水下图像，经所述FPGA模块处理，暂存于TF卡内或通过所述显示模块显示。

2.根据权利要求1所述的一种水下机器人的水下图像处理系统，其特征在于，所述摄像头模块具备密封有机玻璃罩，所述图像采集模块通过摄像头模块中的CMOS感光元件对水下的光学成像，采用的120°广角的玻璃组镜头；通过设置于摄像头模块四周的LED灯组进行灯光的补偿，环绕在球形摄像头罩四周的分别是两颗白光、红光、黄光和蓝光的LED灯；摄像头模块采用USB协议初始化寄存器，并将数据传输至所述FPGA模块。

3.根据权利要求1所述的一种水下机器人的水下图像处理系统，其特征在于，所述FPGA模块包括：PLL单元、LED控制模块、图像处理模块、IIC数据交换模块、USB传输模块、Flash数据交换模块、USB摄像头连接模块、控制模块、传感器模块、SDRAM、FIFO、TF卡数据存储模块、VGA接口模块、DDR3控制模块。

4.根据权利要求1所述的一种水下机器人的水下图像处理系统，其特征在于，所述FPGA模块采用基于灰度世界的偏色纠正；统计G、R、B三个通道所有的像素值，除以总的像素点的个数，得到的每个通道的平均值；获取三个通道的平均值greg；获取每个通道的增益因子；将原始输入的像素值乘以增益因子，映射出每一个像素点的新的值，获取三个通道处理后的最大值，除以8位宽通道的最大值255，获取偏色因子，判断偏色因子是否大于1.6；若大于，则对图片进行纠偏；若小于，则将图像像素值输出。

5.根据权利要求1所述的一种水下机器人的水下图像处理系统，其特征在于，所述FPGA模块采用软核NIOS II实现图像处理，通过非局部均值滤波，消除水中浮游生物和悬浮颗粒产生的椒盐噪声；当前像素的估计值由图像中与其近似邻域结构的像素加权平均得到；设定两个固定大小的窗口，搜索窗口的大小和邻域窗口，设定窗口的半径分别为Ds和ds，邻域窗口在搜索窗口中滑动，根据邻域的相似性确定像素的权重。

6.根据权利要求1所述的一种水下机器人的水下图像处理系统，其特征在于，所述FPGA模块通过如下步骤对采集的图像进行直方图均衡化：

步骤S1：所采集的数据进行统计，采用3通道的数据，每个通道8位，总共是24bit的位宽，通过片外的DDR3构建双口RAM作为缓存储存器，根据摄像头模块的参数1280H×960V，地址的宽度设置为21位深度，每一个通道的数据分别是R、G、B像素值，大小位0-255的整数，数据的位宽为8位深度；在数据统计过程中，遇到相同的像素值，此像素个数+1，，不相同继续做其它像素值的搜索，最后将将完整的图像像素值和像素个数进行统计，再重新写入RAM；统计时同时进行3个通道的像素个数的处理，统计一帧图像的值完毕之后，在下一帧图像来之前读出结果，再进行对RAM内数值的清零；

步骤S2：对数据进行归一化，分别计算出每一个像素值所占的百分比，然后对各个像素值百分比由小到大依次排序，各个像素的像素值的分布数量已由上一步统计，之后对每个地址中的数值同时除以1228800，再进行概率累加，分别计算出各个像素值的累加概率；构建一个概率累加图，得到的一组数据范围为0~1的像素累加概率；

步骤S3：对数据进行线性拉伸，产生新的数据，最后将最小像素的像素值记为最小值0，其它的依次和累加概率相乘得到最终映射出来的像素值，完成直方图均衡。