CN112733914B - 一种基于支持向量机的水下目标视觉识别分类方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的水下目标视觉识别分类方法，包括：对拍摄到的原始水下图像进行图像预处理，包括将图像的多维度环境特征转换到HSV颜色空间进行去背景处理、解算得到包含目标的二值化图像；将二值化图像映射到原始水下图像中进行剪裁处理获得目标图像；提取目标物图像的HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图从而构造HOG特征信息；以目标物和障碍物为标签信息基于HOG特征信息训练优化支持向量机，寻求最优分类方式从而对目标物和障碍物进行分类处理；采用水下航行器进行实验，通过真实环境实验和仿真分析验证所提出的基于支持向量机的水下目标视觉识别分类方法的有效性和稳定性。

Description

一种基于支持向量机的水下目标视觉识别分类方法

技术领域

本发明涉及水下航行器目标视觉实时识别分类方法，尤其涉及一种基于支持向量机的水下目标视觉识别分类方法及系统。

背景技术

水下目标的识别分类是未来发展水下航行器的重要基础和前提，其同时具有商业和军事上的重要价值而被学者和生产技术人员重视。水下航行器通过视觉系统对水下环境信息进行快速收集和分析，根据分析结果为水下的运动和作业提供相应的指导。在人类对海洋环境进行充分的开发和利用的过程中，水下目标的识别和分类技术具有显著的意义。

近年来，海洋信息处理技术蓬勃发展，水下目标探测技术的应用也日益广泛，涉及海底光缆的铺设、水下石油平台的建立与维修、海底沉船的打捞和海洋生态系统的研究等领域。水下光学图像因其分辨率高、信息量较为丰富，在短距离的水下目标识别分类任务中具有突出优势。

由于受水下特殊成像环境的限制，水下图像往往存在噪声干扰多、纹理特征模糊、对比度低等诸多问题。现在水下目标识别算法一般是利用水下目标的外形特征，比如尺寸和形状，然后运用人工神经网络来对目标进行相关的分类；但是现在依旧存在水下目标定位不准，实时性不强等问题。因此，水下目标识别分类任务如何在图像可视性较差的情况下，精确、快速、稳定地检测识别水下目标物体是亟待解决的问题。

发明内容

根据现有技术存在的问题，本发明公开了一种基于支持向量机的水下目标视觉识别分类方法，具体步骤包括：

对拍摄到的原始水下图像进行图像预处理，包括将图像的多维度环境特征转换到HSV颜色空间进行去背景处理、解算得到包含目标的二值化图像；

将二值化图像映射到原始水下图像中进行剪裁处理获得目标图像；

提取目标物图像的HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图从而构造HOG特征信息；

以目标物和障碍物为标签信息基于HOG特征信息训练优化支持向量机，寻求最优分类方式从而对目标物和障碍物进行分类处理；

采用水下航行器进行实验，通过真实环境实验和仿真分析验证所提出的基于支持向量机的水下目标视觉识别分类方法的有效性和稳定性。具体采用如下方式：

将拍摄到的多维度水下环境特征转换到HSV颜色空间进行去背景处理：

设(r,g,b)分别是所视水下图像一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数，设max为(r,g，b)中的最大者，设min为(r，g,b)中的最小者。要找到在HSV空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1)是饱和度和亮度，计算为

v＝max (3)

经过上述多维度环境特征空间的转换，即可将水下航行器所拍摄的RGB图像转换为HSV图像。在上述的基础上进行过滤背景，在阈值化处理与图像合成阶段，对HSV三通道图像分别设置对应颜色上限阈值和下限阈值，经过上下限滤波得到HSV的三个单通道图像，通过按位与运算合并三通道图像，然后解算得到包含目标的二值化图像。在包含目标的二值化图像中提取目标的轮廓信息，根据轮廓信息得到绘制轮廓的点在x方向上和在y方向上的最大值x_max，y_max和最小值x_min，y_min。根据(x_max,y_min)，(x_max,y_max)，(x_min,y_min)，(x_min,y_max)四个点坐标在水下航行器所拍摄的RGB图像截取对应的矩形区域。

进一步的，提取包含目标物图像的HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图来构成特征，将输出的RGB图像进行进一步的处理：

将输出的RGB图像的矩形区域添加标签，以包含目标物的图像为正样本信息，包含障碍物的图像并标签为负样本信息，将正负样本的大小调整为128×128。对正负样本提取HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图来构成特征。然后将图像分成小的来连通细胞单元，采集其中各像素点的梯度或边缘方向直方图，并组合起来构成特征描述器。具体的转化过程为：

首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量，然后用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量。然后再用以下公式计算该像素点的梯度大小和方向。图像中像素点(x,y)的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (4)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (5)

其中，G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为

将图像分成若干个单元格细胞，每个单元格细胞为8×8个像素。将单元格细胞的梯度方向360度分成9个方向块来统计这8×8个像素的梯度信息，即z_n＝[20(n-1)，20n)，[180+20(n-1)，180+20n)|n∈[1，9)。如果像素的梯度方向α(x,y)∈ z_n，则在直方图第n个方向块的统计中加上1×G(x,y)；

在每个单元格细胞里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元格细胞构成一个块，每个块的尺寸为16×16，把一个块内的特征向量联起来得到64维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元，步长设置为8×8。最后将所有块的特征串联起来，就得到了目标的HOG特征，为支持向量机的识别分类提供有效输入。

利用HOG特征信息，以目标物和障碍物为标签信息，有监督地训练优化支持向量机，寻求最优分类方式，实现目标物和障碍物的分类。具体步骤如下：

目标物的HOG特征x₁,x₂,x₃,…,x_n和障碍物的HOG特征x_n+1,x_n+2,x_n+3,…,x_m分别带入到分类超平面f(x_i)＝w^Tx_i+b，使其满足：

式中，w^T∈H超平面法向量，H表示内积空间，b∈R表示偏移量，y_i表示类别，当y_i＝1时标签为目标物，当y_i＝-1标签为障碍物。在约束条件y_i(w^Tx_i+b)≥1,i＝1,2,…,m下，已有训练样本集中求解引入拉格朗日函数：

式中α＝α₁,α₂,…,α_n为拉格朗日乘子向量。通过对其对偶问题的求解求得最优的超平面参数为和b^*，最后得到最优分类超平面函数为

通过将图像的HOG特征带入到最优分类超平面函数，若结果为正，则为目标物，反之则为障碍物。最后将识别结果映射到二值图像中。

本发明公开的一种基于支持向量机的水下目标视觉识别分类方法可分为定位检测、特征提取和分类识别三个过程。在定位检测方面，通过水下航行器所拍摄的RGB图像转换为HSV图像，通过阈值提取目标的轮廓信息，大大减少了背景的干扰，也能较为完整的提取到目标。在特征提取方面，HOG特征应用于水下目标视觉检测，关注的是图像的边缘，因此对于光照和旋转的适应性较强，在识别率上有一定的提高。在分类识别方面，从实验结果来看，本发明公开的基于支持向量机的水下目标视觉识别分类方法有较高的识别率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的整体流程图；

图2为本发明中的RGB图像转换HSV格式流程图；

图3为本发明中HOG特征提取流程图；

图4为本发明中支持向量机目标分类；

图5为本发明中水下目标视觉识别分类效果图；

图6为本发明中实验的整体硬件配置示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于支持向量机的水下目标视觉识别分类方法，具体包括如下步骤：S1:为了凸显水中的目标信息，将拍摄到的多维度环境特征转换到HSV颜色空间进行去背景处理，如图2所示为水下RGB图像转换HSV格式流程图，其首先将摄像头所示的RGB图像进行处理，使其转换为针对用户观感的HSV模型。具体的转化过程为：

设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数，设max等于(r,g,b)中的最大者，设min等于(r,g,b)中的最小者。要找到在HSV空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1)是饱和度和亮度，计算为

v＝max (3)

经过上述多维度环境特征空间的转换，即可将水下航行器所拍摄的RGB图像转换为HSV图像。在上述的基础上进行过滤背景，在阈值化处理与图像合成阶段，对HSV三通道图像分别设置对应颜色上限阈值和下限阈值，经过上下限滤波得到HSV的三个单通道图像，通过按位与运算合并三通道图像，然后解算得到包含目标的二值化图像。在包含目标的二值化图像中提取目标的轮廓信息，根据轮廓信息得到绘制轮廓的点在x方向上和在y方向上的最大值x_max，y_max和最小值x_min，y_min。根据(x_max，y_min)，(x_max，y_max)，(x_min,y_min)，(x_min,y_max)四个点坐标在水下航行器所拍摄的RGB图像截取对应的矩形区域。

S2:将S1输出的RGB图像的矩形区域添加标签，以包含目标物的图像为正样本信息，包含障碍物的图像并标签为负样本信息，将正负样本的大小调整为128×128。对正负样本提取HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图来构成特征。然后将图像分成小的来连通细胞单元，采集其中各像素点的梯度或边缘方向直方图，并组合起来构成特征描述器，具体的转化过程如图3所示。

首先用[-1，0,1]梯度算子对原图像做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量，然后用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量。然后再用以下公式计算该像素点的梯度大小和方向。图像中像素点(x,y)的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1，y) (4)

G_y(x，y)＝H(x,y+1)-H(x,y-1) (5)

其中，G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为

将图像分成若干个单元格细胞，每个单元格细胞为8×8个像素。将单元格细胞的梯度方向360度分成9个方向块来统计这8×8个像素的梯度信息，即z_n＝{[20(n-1),20n)，[180+20(n-1)，180+20n)|n∈[1,9)}。如果像素的梯度方向α(x,y)∈z_n，则在直方图第n个方向块的统计中加上1×G(x,y)。

在每个单元格细胞里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元格细胞构成一个块，每个块的尺寸为16×16，把一个块内的特征向量联起来得到64维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元，步长设置为8×8。最后将所有块的特征串联起来，就得到了目标的HOG特征，为支持向量机的识别分类提供有效输入。

S3:随后利用正负样本提取出来的HOG特征，有监督地训练优化支持向量机，判断障碍物和目标物。支持向量机是一类按监督学习(Supervised Learning)方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。将SVM的作用简化地理解为在二维平面上进行分类。如图4所示，具体步骤如下：

目标物的HOG特征x₁,x₂,x₃,…,x_n和障碍物的HOG特征x_n+1,x_n+2,x_n+3,…,x_m分别带入到分类超平面f(x_i)＝w^Tx_i+b，使其满足

式中，w^T∈H超平面法向量，H表示内积空间，b∈R表示偏移量，y_i表示类别，当y_i＝1时标签为目标物，当y_i＝-1标签为障碍物。在约束条件y_i(w^Tx_i+b)≥1,i＝1,2,…,m下，已有训练样本集中求解在此基础上，引入拉格朗日函数：

其中α＝α₁,α₂,…,α_n为拉格朗日乘子向量。通过对其对偶问题的求解求得最优的超平面参数为和b^*，最后得到最优分类超平面函数为

通过将图像的HOG特征带入到最优分类超平面函数，若结果为正，则为目标物，反之则为障碍物。最后将识别结果映射到二值图像中，具体的水下目标视觉识别分类效果如图5所示。

S4:利用二次开发的水下航行器进行实验，通过仿真分析和真实环境中实验，验证所提出的基于支持向量机的水下目标视觉识别分类技术的有效性和稳定性。

首先搭建实验所需的硬件环境，然后对软件进行二次开发，使本专利算法程序通过UDP通信协议与水下航行器地面控制站进行连接，从而将水下感知的视频信息实时转化成水下航行器各通道的控制指令，进而操纵水下航行器执行期望的运动。本实验所搭建水下航行器目标视觉实时识别分类平台包括实验水池、水下航行器、地面控制站等软硬件，并结合AI单模块计算机等辅助设备来进行相关实验。

本实验的整体硬件配置示意图如图6所示，左侧部分为水下航行器BlueRov2的硬件配置和连接过程，其中树莓派作为水下航行器中的微型计算机，通过电缆接收来自地面控制站的通道指令，经过处理后发送至航行控制器中，相机云台、推进器和照明灯都是由其统一管理和分派指令。右侧部分主要通过TX2微型计算机来提取QGC地面控制站的视频图像，并进行目标识别分类算法的运算，然后输出的线速度和角速度信号发送至QGC地面控制站，进而控制水下航行器进行运动。开发水下航行器地面站软件，使其与TX2微型计算机之间可以相互收发数据，最终在TX2微型计算机中，利用OpenCV提取航行器视频帧，实时处理输出线速度和角速度信息，并转化成各通道的控制指令，通过UDP通信发送至地面控制站中进而控制航行器运动。

在实验水池中，布置水下不同形状的目标物，使得水下航行器识别并分类，进而输出动作信息，使其具备一定的自主识别和决策能力。经实验验证，本申请所设计的水下航行器基于支持向量机的水下目标视觉实时识别与分类方法在实际运行中具有一定的可行性。

Claims (2)

1.一种基于支持向量机的水下目标视觉识别分类方法，其特征在于包括：

对拍摄到的原始水下图像进行图像预处理，包括将图像的多维度环境特征转换到HSV颜色空间进行去背景处理、解算得到包含目标的二值化图像；

将二值化图像映射到原始水下图像中进行剪裁处理获得目标图像；

提取目标物图像的HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图从而构造HOG特征信息；

以目标物和障碍物为标签信息基于HOG特征信息训练优化支持向量机，寻求最优分类方式从而对目标物和障碍物进行分类处理；

采用水下航行器进行实验，通过真实环境实验和仿真分析验证所提出的基于支持向量机的水下目标视觉识别分类方法的有效性和稳定性；

以包含目标物的图像为正样本信息、包含障碍物的图像为负样本信息，对正负样本提取HOG特征信息，通过计算和统计图像局部区域的梯度方向直方图构成HOG特征，将图像分成多个单元格细胞，采集其中各像素点的梯度或边缘方向直方图并组合构成特征描述器，具体方式为：

采用[-1,0,1]梯度算子对原图像做卷积运算得到x方向的梯度分量，采用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向的梯度分量；

采用以下公式计算该像素点的梯度大小和方向，图像中像素点(x,y)的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (4)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (5)

其中，G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和梯度方向分别为

将图像分成若干个单元格细胞，每个单元格细胞为8×8个像素，将单元格细胞的梯度方向360度分成9个方向块来统计该8×8个像素的梯度信息，即z_n＝[20(n-1)，20n)，[180+20(n-1)，180+20n)|n∈[1，9)，如果像素的梯度方向α(x,y)∈z_n，则在直方图第n个方向块的统计中加上1×G(x,y)；

在每个单元格细胞里，对所有像素的各个梯度方向区间进行直方图统计，得到9维的特征向量，每相邻的4个单元格细胞构成一个块，每个块的尺寸为16×16，把一个块内的特征向量联起来得到64维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元，步长设置为8×8，最后将所有块的特征串联得到目标的HOG特征

将目标物的HOG特征x₁,x₂,x₃,…,x_n和障碍物的HOG特征x_n+1,x_n+2,x_n+3,…,x_m分别带入到分类超平面f(x_i)＝w^Tx_i+b，使其满足：

式中，w^T∈H超平面法向量，H表示内积空间，b∈R表示偏移量，y_i表示类别，当y_i＝1时标签为目标物，当y_i＝-1标签为障碍物，在约束条件y_i(w^Tx_i+b)≥1,i＝1,2,…,m下，已有训练样本集中求解

引入拉格朗日函数：

α＝α₁,α₂,…,α_n为拉格朗日乘子向量，通过对其对偶问题的求解求得最优的超平面参数为和b^*，最后得到最优分类超平面函数为

通过将图像的HOG特征带入到最优分类超平面函数，若结果为正，则为目标物，反之则为障碍物，最后将识别结果映射到二值图像中。

2.根据权利要求1所述的方法，其特征还在于：将拍摄到的多维度水下环境特征转换到HSV颜色空间进行去背景处理：

设(r,g,b)分别为水下图像颜色的红、绿和蓝坐标，设max为(r,g,b)中的最大者，设min为(r,g,b)中的最小者，计算在HSV空间中的(h,s,v)值，其中h∈[0,360)为角度的色相角，s,v∈[0,1)为饱和度和亮度，采用多维度环境特征空间转换方式将RGB图像转换为HSV图像，对图像进行过滤背景处理，在阈值化处理和图像合成阶段，对HSV三通道图像分别设置对应颜色上限阈值和下限阈值，经过上下限滤波得到HSV的三个单通道图像，通过运算合并三通道图像、获得包含目标的二值化图像；在包含目标的二值化图像中提取目标的轮廓信息，根据轮廓信息得到绘制轮廓的点在x方向上和在y方向上的最大值x_max、y_max和最小值x_min，y_min，根据(x_max,y_min)，(x_max,y_max)，(x_min,y_min)，(x_min,y_max)四个点坐标在水下航行器所拍摄的RGB图像截取对应的矩形区域。