CN116309607A - 基于机器视觉的船艇式智能水上救援平台 - Google Patents

Abstract

本发明涉及水上救援领域，具体涉及基于机器视觉的船艇式智能水上救援平台，所述平台包括：数据采集模块，采集水面图像；水面图像处理分析模块，根据通道图像中各像素点局部窗口范围内像素点的空间距离以及通道值差异得到通道图像中各像素点的显著值，获取通道显著图像；根据通道显著图像中各像素点的色调拉伸得到各像素点的通道映射值，获取通道映射图像；获取水面显著图像；对V通道图像进行分割，提取大气光值评估区域；计算大气光值；结合暗通道算法得到优化水面图像；救援预警模块，通过神经网络对水面危险情况进行识别，根据水面危险情况识别结果进行相应救援预警。从而实现船艇式智能水上救援，危险情况识别精度高。

Description

基于机器视觉的船艇式智能水上救援平台

技术领域

本申请涉及水上救援领域，具体涉及基于机器视觉的船艇式智能水上救援平台。

背景技术

现代的水上救援活动已经不能离开先进救援装备，救援装备更是不断向无人化、信息化、智能化方向发展，如水上无人机、无人巡视系统及水上救援机器人等。在现有的水上救援装置中，是否有人溺水主要通过无人机摄像机分辨来完成，即依靠摄像机拍照和处理器来判断是否有人溺水的情况。然而在实际水上环境下，水上一般雾气较大，环境较为复杂，摄像机采集的图像极易出现模糊等质量问题，在实际打捞抢救过程中，单个摄像机对溺水者拍照并不能精确定位溺水者的实际坐标方位，大大拖延了溺水者的生还抢救时间，溺水者很有可能因为抢救不及时而导致死亡，因此，研究智能化水上救援是很具有现实意义的。

综上所述，本发明提出基于机器视觉的船艇式智能水上救援平台，通过船艇上的相机获取水面图像，然后对水面图像进行分析，获取优化水面图像，提高水上危险情况的识别精度，获取准确度较高的水上智能救援平台。

发明内容

为了解决上述技术问题，本发明提供基于机器视觉的船艇式智能水上救援平台，所述平台包括：

数据采集模块，通过船艇上的相机对水面进行采集，获取水面图像；

水面图像处理分析模块，获取水面图像的R、G、B通道图像，根据通道图像中各像素点局部窗口范围内像素点的空间距离以及通道值差异得到通道图像中各像素点的显著值，获取通道显著图像；根据通道显著图像中各像素点的色调拉伸得到各像素点的通道映射值，获取通道映射图像；根据R、B、G三幅通道映射图像得到水面显著图像；

获取水面显著图像的V通道图像，通过超像素分割算法对V通道图像进行分割，根据各超像素块内像素点的V通道值提取大气光值评估区域；根据大气光值评估区域内像素点的灰度值得到大气光值；根据水面显著图像的大气光值结合暗通道算法得到优化水面图像；

救援预警模块，根据优化水面图像结合神经网络对水面危险情况进行识别，根据水面危险情况识别结果进行相应救援预警。

优选的，所述根据通道图像中各像素点局部窗口范围内像素点的空间距离以及通道值差异得到通道图像中各像素点的显著值，表达式为：

式中，

为R通道图像中像素点i的显著值，/>

为像素点i局部邻域窗口内的像素点集合，j为像素点i局部邻域窗口内的像素点，/>

为像素点i与局部邻域窗口内像素点j的欧式距离，/>

分别为像素点i、j的R通道值，/>

为截断阈值，/>

为自然常数。

优选的，所述根据通道显著图像中各像素点的色调拉伸得到各像素点的通道映射值，表达式为：

式中，

为R通道显著图像中像素点i的通道映射值，/>

为R通道图像中像素点i的显著值，/>

分别为R通道图像中最大显著值、最小显著值，/>

为乘法符号。

优选的，所述根据各超像素块内像素点的V通道值提取大气光值评估区域，具体为：

计算每个超像素块的V通道均值，当存在超像素块的V通道均值等于255时，将V通道均值等于255且面积高于面积阈值的超像素块作为高亮区域，高亮区域作为大气光值评估区域；

当V通道图像的所有超像素块的V通道均值均小于255时，建立天空区域检测约束条件：

式中，

分别为超像素块q的V通道最大值、V通道最小值，/>

分别为第一约束阈值、第二约束阈值，将满足天空区域检测约束条件的超像素块作为天空区域，天空区域作为大气光值评估区域；

当V通道图像的各超像素块的V通道均值均小于255且均不满足天空区域检测约束条件时，将面积高于面积阈值的超像素块中V通道均值最大的超像素块作为大气光值评估区域。

优选的，所述根据大气光值评估区域内像素点的灰度值得到大气光值，包括的具体步骤为：

统计大气光值评估区域数量，当大气光值评估区域数量为1时，将大气光值评估区域内像素点的灰度均值作为大气光值；当大气光值评估区域的数量大于1时，分别提取每个大气光值评估区域内灰度值前1%的像素点，作为候选像素点，将所有候选像素点的灰度均值作为大气光值。

本发明至少具有如下有益效果：

本发明通过机器视觉对水面状况进行检测，识别水面危险情况，可实现对水面危险情况的自动识别。通过对水面图像的显著处理，提高水面图像中大气光值评估区域的提取精度，避免水面图像中模糊对比度低导致大气光值评估区域提取不准确的问题；

同时，本发明自适应的对水面显著图像中的大气光值进行评估，解决了人为设定的随机性以及传统大气光值评估精度低的问题，提高了水面显著图像的去雾效果，防止大气光值估计不准确导致水面显著图像透射率的计算结果出现较大偏差，提高图像去雾复原质量。本发明具有水上危险情况识别精度高、智能化等有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的基于机器视觉的船艇式智能水上救援平台的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于机器视觉的船艇式智能水上救援平台，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于机器视觉的船艇式智能水上救援平台的具体方案。

本发明一个实施例提供的基于机器视觉的船艇式智能水上救援平台，主要包括：数据采集模块，水面图像处理分析模块，救援预警模块。

具体的，本实施例的基于机器视觉的船艇式智能水上救援平台提供了如下的基于机器视觉的船艇式智能水上救援方法，请参阅图1，该方法包括以下步骤：

步骤S001，数据采集模块。

首先，在船艇上部署图像采集设备，用于对水面图像进行采集，图像采集设备包括摄像头、光源等，图像采集设备的具体设置、摄像头视角以及拍摄范围等实施者自行设定。

至此，即可通过船艇上的图像采集设备对水面图像进行采集，用于对水面的救援状况进行分析。

步骤S002，水面图像处理分析模块。

水面图像处理分析模块：本实施例将对水面图像进行分析，对危险情况进行识别，以便准确发出救援提示。对水面图像进行特征分析，考虑到船艇图像采集设备的摄像头在进行图像采集过程中，水面雾气较大，海上环境较为复杂，导致摄像头采集的水面图像质量不佳，严重时将无法根据水面图像数据对水面的危险情况进行识别，因此，对于所采集的水面图像，本实施例将对其进行处理，避免水面上的雾气以及船艇移动导致摄像头抖动等对水面图像的影响。

对于水面图像，本实施例将采用暗通道算法对水面图像进行去雾处理，首先对于暗通道算法中的大气光值，传统暗通道算法去雾过程中的大气光值大多为人为自行设定或者是将图像中亮度值最高的点的灰度值作为大气光值，或者有些将高亮区域的亮度均值作为大气光值，但是该过程随机性较高，且在实际情况中，若场景中出现大面积的高亮区域、白色物体或者是水面时，图像中亮度值最高的区域将不一定是天空区域，将造成大气光值的设定出现较大的误差，大气光值的估计对于暗通道算法中透射率的求解影响较大，因此，将影响透射率计算精度，进而导致水面图像的去雾效果不佳、颜色失真以及图像过于昏暗等问题。因此，为提高水面图像的去雾效果，本实施例将基于水面图像的分析对大气光值进行准确估计。大气光值估计过程具体为：

首先，对于所采集的水面图像，考虑到水面环境下会出现水天一色的情况，导致水面图像中的天空区域不易于分割出来，或者由于水面图像模糊、对比度较低导致无法检测到图像中的高亮区域，进而使得大气光值评估不准确，为保证对水面图像中的大气光值评估区域进行准确检测，本实施例将对水面图像进行显著处理，以增加天空区域和水面区域的差异程度，便于准确获取大气光值评估区域。为提高水面图像显著处理效果，本实施例将从多尺度对水面图像进行显著处理，对于水面图像的R、G、B三通道图像，分别进行显著性分析，以水面图像的R通道图像为例，以水面图像的R通道图像中各像素点为中心，获取像素点局部邻域窗口，基于像素点局部邻域窗口内所包含的像素点对局部窗口中心像素点进行自适应显著处理，以获取局部窗口中心像素点的显著值，需要说明的是，上述局部邻域窗口实施者可自行设定，本实施例将像素点的局部邻域窗口设置为以像素点为中心5*5的局部窗口。像素点的显著值具体为：

式中，

为R通道图像中像素点i的显著值，/>

为像素点i局部邻域窗口内的像素点集合，j为像素点i局部邻域窗口内的像素点，/>

为像素点i与局部邻域窗口内像素点j的欧式距离，欧氏距离的计算为现有公知技术，/>

分别代表像素点i、j的R通道值，e为自然常数，/>

为截断阈值，用于控制像素点的显著处理效果，为提高水面图像的显著处理效果，本实施例将对截断阈值进行自适应设定，以避免固定阈值导致不同像素点显著效果不佳或者引起图像色调严重失真等问题。对于截断阈值，本实施例将像素点局部邻域窗口内包含的所有像素点的R通道均值作为局部窗口中心像素点的截断阈值；

重复上述方法，获取水面图像的R通道图像中每个像素点的显著值，R通道图像中所有像素点的显著值构成了水面图像的R通道显著图像；

对于R通道显著图像，为保证图像真实性，避免显著处理导致的图像色彩失真，对R通道显著图像进行色调拉伸，将R通道显著图像中像素点的通道值映射到[0,255]中，R通道显著图像中像素点的通道映射值为：

式中，

为R通道显著图像中像素点i的通道映射值，/>

为R通道图像中像素点i的显著值，/>

分别为R通道图像中最大显著值、最小显著值，/>

为乘法符号；

重复上述方法，获取R通道显著图像中所有像素点的通道映射值，得到R通道映射图像；

重复上述方法，获取水面图像的G通道映射图像、B通道映射图像；

根据处理之后的R、B、G通道映射图像，通过整合获取水面显著图像，需要说明的是，R、B、G通道映射图像的整合获取水面显著图像可通过现有技术实现，整合过程为现有公知技术；

然后，对于水面显著图像，本实施例将对其中的大气光值评估区域进行检测，显著处理得到的水面显著图像可增加图像对比度，提高水面图像中高频区域与低频区域的差异。为更加符合人眼视觉特征，对水面显著图像进行颜色空间转换，得到水面显著图像对应的HSV图像，V通道主要体现水面显著图像中的亮度信息，可对水面图像中的高亮区域进行检测提取，因此，本实施例进一步根据水面显著图像的V通道图像对大气光值评估区域进行提取。先通过超像素分割算法对水面显著图像的V通道图像进行分割处理，得到各个超像素块。需要说明的是，超像素分割算法为现有公知技术，不在本实施例做相关详细阐述；

对于V通道图像的每个超像素块，分别统计每个超像素块中的V通道最大值、V通道最小值以及V通道均值。首先，将V通道均值等于255且面积高于面积阈值的超像素块作为高亮区域，将高亮区域在水面显著图像中的对应区域作为大气光值评估区域。需要说明的是，面积阈值实施者可自行设定，本实施例设置为100。当大气光值评估区域数量为1时，将大气光值评估区域内像素点的灰度均值作为大气光值；当大气光值评估区域的数量大于1时，分别提取每个大气光值评估区域内灰度值前1%的像素点，作为候选像素点，将所有候选像素点的灰度均值作为大气光值；

当V通道图像的所有超像素块的V通道均值均小于255时，则水面图像中不存在高亮区域，进一步本实施例将进行天空区域检测，天空成像之后具有亮度值较高且区域灰度变化缓慢等特征，因此，对于天空区域检测具体约束条件为：

式中，

分别为超像素块q的V通道最大值、V通道最小值，/>

分别为第一约束阈值、第二约束阈值，实施者可自行设定第一约束阈值及第二约束阈值的取值，本实施例设置为/>

。将满足天空区域检测约束条件的超像素块作为天空区域，考虑到V通道图像与水面显著图像的尺寸以及内容是保持一致的，因此，将天空区域在水面显著图像中的对应区域作为大气光值评估区域。当大气光值评估区域数量为1时，将大气光值评估区域内像素点的灰度均值作为大气光值；当大气光值评估区域的数量大于1时，分别提取每个大气光值评估区域内灰度值前1%的像素点，作为候选像素点，将所有候选像素点的灰度均值作为大气光值；

当V通道图像的各超像素块的V通道均值均小于255且均不满足天空区域检测约束条件时，则水面图像中不存在高亮平滑区域，将V通道均值最大且面积高于面积阈值的超像素块对应的水面显著图像中的区域作为大气光值评估区域，需要说明的是，面积阈值实施者可自行设定，本实施例设置为100。进而大气光值为大气光值评估区域中像素点的灰度均值；

至此，根据提取的大气光值评估区域，对大气光值进行准确评估。本实施例通过显著处理以及大气光值评估区域的提取，提高大气光值的评估精度，避免人为设定的随机性以及传统大气光值评估精度低的问题。

最后，根据暗通道算法结合水面显著图像的大气光值，对水面显著图像进行去雾处理，暗通道算法具体的去雾过程为现有公知技术，不在本实施中做详细阐述。

至此，即可根据上述方法获取优化水面图像，用于对水面的危险情况进行准确检测。本实施例对水面图像进行处理，可提高水面图像的显著性，同时避免现实环境中雾气、水气等对水面情况的影响，保证水面图像中信息的可靠性，进而提高水面危险情况的识别精度。

步骤S003，救援预警模块。

获取优化水面图像后，基于优化水面图像对水面的危险情况进行识别，以便针对危险情况及时发出救援预警。本实施例通过神经网络对水面危险情况进行识别，网络的输入为优化水面图像，网络输出为优化水面图像中人体的包围框及类型，人体包围框类型是指人体包围框中的人体状态，本实施例中人体包围框类型包括落水遇险包围框、落水无危险包围框、未落水有危险包围框、未落水无危险包围框，人体包围框类型实施者也可以根据水面上人体的具体情况进行标注。包围框检测神经网络结构有很多，实施者可自行选取，网络训练标签通过人为标注优化水面图像中人体包围框信息

，本实施例中采用YOLOv3网络结构，网络结构及网络训练过程为现有公知技术。

根据水面危险情况识别结果，将发出对应的预警提示，当检测到优化水面图像中存在落水遇险包围框以及未落水有危险包围框时，系统直接发出救援提示，并根据人体包围框的位置信息对水上救援人员提供危险情况的位置信息。需要说明的是，水上救援平台的具体救援方式实施者根据实际情况自行设定。

综上所述，本发明实施例通过机器视觉对水面状况进行检测，识别水面危险情况，可实现对水面危险情况的自动识别。通过对水面图像的显著处理，提高水面图像中大气光值评估区域的提取精度，避免水面图像中模糊对比度低导致大气光值评估区域提取不准确的问题，同时，自适应的对水面显著图像中的大气光值进行评估，解决了人为设定的随机性以及传统大气光值评估精度低的问题，提高了水面显著图像的去雾效果，防止大气光值估计不准确导致水面显著图像透射率的计算结果出现较大偏差，提高图像去雾复原质量。本发明具有水上危险情况识别精度高、智能化等有益效果。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于机器视觉的船艇式智能水上救援平台，其特征在于，所述平台包括：

数据采集模块，通过船艇上的相机对水面进行采集，获取水面图像；

水面图像处理分析模块，获取水面图像的R、G、B通道图像，根据通道图像中各像素点局部窗口范围内像素点的空间距离以及通道值差异得到通道图像中各像素点的显著值，获取通道显著图像；根据通道显著图像中各像素点的色调拉伸得到各像素点的通道映射值，获取通道映射图像；根据R、B、G三幅通道映射图像得到水面显著图像；

获取水面显著图像的V通道图像，通过超像素分割算法对V通道图像进行分割，根据各超像素块内像素点的V通道值提取大气光值评估区域；根据大气光值评估区域内像素点的灰度值得到大气光值；根据水面显著图像的大气光值结合暗通道算法得到优化水面图像；

救援预警模块，根据优化水面图像结合神经网络对水面危险情况进行识别，根据水面危险情况识别结果进行相应救援预警。

2.如权利要求1所述的基于机器视觉的船艇式智能水上救援平台，其特征在于，所述根据通道图像中各像素点局部窗口范围内像素点的空间距离以及通道值差异得到通道图像中各像素点的显著值，表达式为：

式中，

为R通道图像中像素点i的显著值，/>

为像素点i局部邻域窗口内的像素点集合，j为像素点i局部邻域窗口内的像素点，/>

为像素点i与局部邻域窗口内像素点j的欧式距离，/>

分别为像素点i、j的R通道值，/>

为截断阈值，/>

为自然常数。

3.如权利要求1所述的基于机器视觉的船艇式智能水上救援平台，其特征在于，所述根据通道显著图像中各像素点的色调拉伸得到各像素点的通道映射值，表达式为：

式中，

为R通道显著图像中像素点i的通道映射值，/>

为R通道图像中像素点i的显著值，/>

分别为R通道图像中最大显著值、最小显著值，/>

为乘法符号。

4.如权利要求1所述的基于机器视觉的船艇式智能水上救援平台，其特征在于，所述根据各超像素块内像素点的V通道值提取大气光值评估区域，具体为：

计算每个超像素块的V通道均值，当存在超像素块的V通道均值等于255时，将V通道均值等于255且面积高于面积阈值的超像素块作为高亮区域，高亮区域作为大气光值评估区域；

当V通道图像的所有超像素块的V通道均值均小于255时，建立天空区域检测约束条件：

式中，

分别为超像素块q的V通道最大值、V通道最小值，/>

分别为第一约束阈值、第二约束阈值，将满足天空区域检测约束条件的超像素块作为天空区域，天空区域作为大气光值评估区域；

当V通道图像的各超像素块的V通道均值均小于255且均不满足天空区域检测约束条件时，将面积高于面积阈值的超像素块中V通道均值最大的超像素块作为大气光值评估区域。

5.如权利要求1所述的基于机器视觉的船艇式智能水上救援平台，其特征在于，所述根据大气光值评估区域内像素点的灰度值得到大气光值，包括的具体步骤为：

统计大气光值评估区域数量，当大气光值评估区域数量为1时，将大气光值评估区域内像素点的灰度均值作为大气光值；当大气光值评估区域的数量大于1时，分别提取每个大气光值评估区域内灰度值前1%的像素点，作为候选像素点，将所有候选像素点的灰度均值作为大气光值。

Images