CN117808712A - 一种基于水下相机的图像校正方法 - Google Patents

Abstract

本发明公开一种基于水下相机的图像校正方法，属于图像校正技术领域，用于对水下相机拍摄的图像进行校正，包括将三种红色通道参数取均值，得到修正后的红色通道透射率，根据蓝色通道参数、绿色通道参数和修正后的红色通道透射率分别对图像的三个通道进行补偿，并将补偿后的三个通道进行合并得到校正后的图像，将校正后的图像和原始图像输入判别器进行判别，并指导生成器的训练。本发明通过图像预处理单元对水下图像进行校正，蓝绿光在水下衰减程度相较于红光更小，信息保存更加完整，在相同的水下环境中由蓝绿通道反演出的红色通道参数更加精确，融合物理模型的校正算法提高了校正图像的质量。

Description

一种基于水下相机的图像校正方法

技术领域

本发明公开一种基于水下相机的图像校正方法，属于图像校正技术领域。

背景技术

传统的水下智能监控识别系统采用集中式的识别方式，通过在监控区域布放水下相机采集图像，并上传至陆地的云计算服务器中心实现水下图像的智能分析，但这种系统不具备边缘识别能力，且数据的集中传输方式易受网络通信限制。而现有的水下智能相机内部虽然集成了厂商开发的目标检测、区域侦测等功能，但是内置的算法库有限，通用性不强，导致不同场景需要定制，图像质量不高。

发明内容

本发明的目的在于提供一种基于水下相机的图像校正方法，以解决现有技术中，水下相机输出的图像质量不高的问题。

一种基于水下相机的图像校正方法，通过融合物理模型的多通道生成对抗网络算法对水下图像进行校正，生成对抗网络包括图像生成器和判别器/>；

首先计算绿色通道参数、/>，蓝色通道参数/>、/>，红色通道参数/>、，根据绿色通道参数/>、/>和透射率关系计算第一红色通道参数/>，根据蓝色通道参数/>、/>和透射率关系计算第二红色通道参数/>，将/>、和/>取均值，得到修正后的红色通道透射率/>：

；

根据蓝色通道参数、绿色通道参数和修正后的红色通道透射率分别对图像的三个通道进行补偿，并将补偿后的三个通道进行合并得到校正后的图像，将校正后的图像/>和原始图像输入判别器/>进行判别，评价/>对于水下图像的校正效果，并指导/>的训练，判别器/>采用马尔可夫判别器。

生成器为：

；

式中，为水下相机直接获取的图像，/>为校正后的图像，/>为透射率，/>表示某个颜色通道的背景光，/>为图像的三个颜色通道，/>，/>为图像的像素点。

颜色通道的背景光为：

；

；

；

式中，是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>表示颜色通道/>的像素值中位数，/>表示颜色通道/>的像素值均值，表示颜色通道/>的像素值标准差，/>表示颜色通道/>的像素值均值，/>表示颜色通道/>的像素值标准差。

透射率为：

；

式中，为颜色通道系数，，/>表示图像深度图。

三个通道之间的透射率为：

；

式中，表示/>其中一个颜色通道，/>，/>=1.62517，/>=-0.00113，/>表示光的波长。

相对比现有技术，本发明具有以下有益效果：本发明通过图像预处理单元对水下图像进行校正，蓝绿光在水下衰减程度相较于红光更小，信息保存更加完整，在相同的水下环境中由蓝绿通道反演出的红色通道参数更加精确，融合物理模型的校正算法提高了校正图像的质量。

附图说明

图1是水下相机系统的结构框图；

图2是本发明的技术流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于水下相机的图像校正方法，通过融合物理模型的多通道生成对抗网络算法对水下图像进行校正，生成对抗网络包括图像生成器和判别器/>；

首先计算绿色通道参数、/>，蓝色通道参数/>、/>，红色通道参数/>、，根据绿色通道参数/>、/>和透射率关系计算第一红色通道参数/>，根据蓝色通道参数/>、/>和透射率关系计算第二红色通道参数/>，将/>、和/>取均值，得到修正后的红色通道透射率/>：

；

根据蓝色通道参数、绿色通道参数和修正后的红色通道透射率分别对图像的三个通道进行补偿，并将补偿后的三个通道进行合并得到校正后的图像，将校正后的图像/>和原始图像输入判别器/>进行判别，评价/>对于水下图像的校正效果，并指导/>的训练，判别器/>采用马尔可夫判别器。

生成器为：

；

式中，为水下相机直接获取的图像，/>为校正后的图像，/>为透射率，/>表示某个颜色通道的背景光，/>为图像的三个颜色通道，/>，/>为图像的像素点。

颜色通道的背景光为：

；

；

；

式中，是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>表示颜色通道/>的像素值中位数，/>表示颜色通道/>的像素值均值，表示颜色通道/>的像素值标准差，/>表示颜色通道/>的像素值均值，/>表示颜色通道/>的像素值标准差。

透射率为：

；

式中，为颜色通道系数，，/>表示图像深度图。

三个通道之间的透射率为：

；

式中，表示/>其中一个颜色通道，/>，/>=1.62517，/>=-0.00113，/>表示光的波长。

本发明利用国产化AI器件实现的水下智能相机系统，可给用户提供一套完整、开放的硬件平台，在边缘实现水下视频图像采集、识别及硬件编解码双路推流输出。系统还可以对水下图像进行校正，优化输出质量。用户能够灵活扩展自行设计的算法框架，以应对水下不同的应用需求。同时，边缘部署的识别模式降低了系统数据传输的压力，提高了系统的稳定性。

本发明提供一种基于Atlas200的水下边缘智能相机系统，解决现有水下相机系统算法扩展性和通用性差、识别效率受水下通信限制等问题。系统包括主控单元、通信单元、图像采集单元、图像预处理单元、编解码单元、推理单元、电源单元和存储单元。主控单元负责系统流程调度、各单元数据交互、外部指令执行、内部结果双路推流；图像采集单元获取视频流数据并通过通信单元传输到解码单元进行解码；图像预处理单元对解码的视频帧数据进行校正处理；推理单元可灵活部署用户设计的深度学习算法，实现输入图片的边缘智能分析，完成相关的智能识别任务；编码单元将推理结果编码为视频流，由主控单元实现智能结果推流。本系统高度集成，算法可扩展性强，具备边缘智能识别能力，拓展了水下智能相机的应用范围，降低数据传输压力，提高了水下相机系统的智能化水平。

本发明提供一种基于Atlas200的水下边缘智能相机系统，如图1所示，包括：主控单元、通信单元、图像采集单元、图像预处理单元、编解码单元、推理单元、电源单元、存储单元，通信单元设有双流输出，分别为原视频流和结果视频流，旨在解决现有水下相机系统算法扩展性和通用性差、识别效率受水下通信限制等问题。

主控单元由Atlas200边缘计算单元提供，内部处理器为昇腾310芯片，通过144pinBTB连接器对外连接。主要负责系统工作流程的调度，协调图像采集单元、编解码单元、图像预处理单元、存储单元、推理单元之间的数据交互，接收并执行外部用户指令，通过通信单元将编码完成的视频流对外进行双路推流。

通信单元为串口通信和双路千兆以太网，通过TX-RX引脚和RJ45接口对外连接。以太网通信采用RTL8367PHY芯片实现，PHY芯片采用RGMII接口与Atlas200电性连接，PHY复位引脚与主控单元之间采用电平匹配电路进行连接。串口通信为系统调试、内核启动日志输出和应急登录等提供接口。以太网通信为图像采集单元输入图像、推理结果的输出和用户登录提供接口。

电平匹配电路通过MOS管Q1和三极管Q2实现，Q1的栅极串联电阻R38与Q2源极相连；Q2基极串联电阻R84与PHY侧复位信号相连；PHY侧复位信号经过R81电阻上拉和R85电阻下拉；三极管源极经电阻R82连接到12V电源，经R86电阻接地，R82和R86形成分压，完成主控单元1.8V电平和PHY3.3V电平之间的匹配。

图像采集单元主要器件为CMOS图像传感器和镜头，通过RJ45接口与通信单元连接，实现对水下图像数据的采集，通过通信单元向主控单元提供RTSP视频流数据。

编解码单元为视频编码单元VENC和解码单元VDEC；解码单元对接收到的RTSP视频流数据进行硬件解码，获取YUV格式的图片；编码单元对推理结果进行H.264/H.265Encoder硬件编码，分辨率及帧率可达1080P@25FPS。

推理单元为DaVinciCoreAI计算引擎，吞吐量高且延迟低，具备2TOPS的AI计算能力，为推理单元实现解码图片的实时推理分析提供了硬件基础。

电源单元为：设计基于多种规格电源芯片的供电电路，为系统中不同的单元进行供电。采用AMS1117和K78L03设计PHY芯片供电电路，输出电压分别为1.8V和3.3V；采用LM27402设计主控单元供电电路，输出电压3.8V；采用URB2405YMD模组为AMS1117、K78L03、LM27402和存储单元设计供电电路，输出电压5V。采用K78L12为电平匹配电路和图像采集单元供电，输出电压12V。

存储单元采用SDIO接口的SD卡存储电路，为操作系统、算法模型、各种数据的存储提供空间。编通信单元、解码单元、推理单元、存储单元均电性连接于主控单元。

本发明的一种基于Atlas200的水下边缘智能相机系统，利用国产化AI器件实现水下视频图像采集、识别及硬件编解码双流输出，同时给与用户更高的开放权限，可根据不同的应用需求灵活更新用户设计的算法模型，拓展了系统的适用范围，具备较高的通用性和灵活性。结构精简，机身体积小，高度集成，具备较高的智能化水平和可拓展性。

本发明技术流程如图2，首先计算绿色通道参数，蓝色通道参数，红色通道参数，根据绿色通道参数和透射率关系计算第一红色通道参数，根据蓝色通道参数和透射率关系计算第二红色通道参数，将三种红色通道参数取均值，得到修正后的红色通道透射率，根据蓝色通道参数、绿色通道参数和修正后的红色通道透射率分别对图像的三个通道进行补偿，并将补偿后的三个通道进行合并得到校正后的图像，将校正后的图像和原始图像输入判别器进行判别，即图2中的True or False，判断水下图像的校正效果，并指导生成器的训练。

以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于水下相机的图像校正方法，其特征在于，通过融合物理模型的多通道生成对抗网络算法对水下图像进行校正，生成对抗网络包括图像生成器和判别器/>；

首先计算绿色通道参数、/>，蓝色通道参数/>、/>，红色通道参数/>、，根据绿色通道参数/>、/>和透射率关系计算第一红色通道参数/>，根据蓝色通道参数/>、/>和透射率关系计算第二红色通道参数/>，将/>、和/>取均值，得到修正后的红色通道透射率/>：

；

根据蓝色通道参数、绿色通道参数和修正后的红色通道透射率分别对图像的三个通道进行补偿，并将补偿后的三个通道进行合并得到校正后的图像，将校正后的图像和原始图像输入判别器/>进行判别，评价/>对于水下图像的校正效果，并指导/>的训练，判别器/>采用马尔可夫判别器。

2.根据权利要求1的一种基于水下相机的图像校正方法，其特征在于，所述生成器为：

；

式中，为水下相机直接获取的图像，/>为校正后的图像，/>为透射率，表示某个颜色通道的背景光，/>为图像的三个颜色通道，/>，/>为图像的像素点。

3.根据权利要求2的一种基于水下相机的图像校正方法，其特征在于，所述颜色通道的背景光为：

；

；

；

式中，是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>是颜色通道/>的背景光，/>表示颜色通道/>的像素值中位数，/>表示颜色通道/>的像素值均值，/>表示颜色通道/>的像素值标准差，/>表示颜色通道/>的像素值均值，/>表示颜色通道/>的像素值标准差。

4.根据权利要求3的一种基于水下相机的图像校正方法，其特征在于，所述透射率为：

；

式中，为颜色通道系数，，/>表示图像深度图。

5.根据权利要求4的一种基于水下相机的图像校正方法，其特征在于，三个通道之间的透射率为：

；

式中，表示/>其中一个颜色通道，/>，/>=1.62517，/>=-0.00113，/>表示光的波长。