CN111882619B - 一种模拟测试智能船舶上视觉设备的海面目标识别方法 - Google Patents

Abstract

本发明提供一种模拟测试智能船舶上视觉设备的海面目标识别方法，首先建立一个测试平台，然后将视觉设备安装在测试平台上，同时在视觉设备的四周环绕布置显示屏；利用显示屏播放真实海面画面，通过对视觉设备进行参数的提取，对视觉设备的内部参数矩阵和对应的外部参数进行求解；最后通过校正后的视觉设备获取显示屏上的画面，提取画面中目标的各种不变量，利用纹理特征提取方法实现对海面目标的智能分类识别并传送给智能船舶系统，完成当前视觉设备的感知测试过程。本发明通过搭建测试平台对智能船舶的运动情况进行仿真，结合播放实际海面画面情况，能够根据感知数据信息快速并精确的做出相应的避碰和躲避方案，提高了智能船舶航行的安全性。

Description

一种模拟测试智能船舶上视觉设备的海面目标识别方法

技术领域

本发明属于智能船舶测试领域，具体地说是一种利用测试平台模拟实际海况然后对智能船舶上的视觉设备进行测试的海面目标识别方法。

背景技术

随着社会经济的高速发展，船舶行业智能化水平越来越高，船舶数量在不断攀升的同时，船舶类型也呈现复杂多样。这给智能船舶的安全航行带来安全隐患，因此在繁忙的航道中，船舶对周围环境事物的感知精确度是保证船舶航行安全的一个重要因素。

船舶行业的快速发展以及数量的不断增加，对智能船舶的快速反应及复杂环境的应对提出了较高的要求。其中，智能船舶在航行过程中，是通过智能船舶上的视觉系统利用摄像或照相获取外部实际海况的图像并分析，然后将信息传递给船舶系统，船舶系统根据传递的信息对周围环境状况进行了解，进而给出船舶的正确航行轨迹。而智能船舶在航行过程中，需要时刻进行目标识别和避障等复杂有序的自主操作，因此需要视觉系统具备高速信息处理能力及相应的识别精度。

智能船舶上的视觉系统是在出厂之前完成相应的感知测试，但其是在厂内进行的测试，并没有结合实际海况，因此测试结果不完善。此外，如果采用实船在海上测试，一是成本较大，另一个就是实船也不会遇到所有的海况，导致最终的测试数据单一，无法体现复杂的海洋环境，也无法反映出实际船舶航行中的复杂运动过程，因此这种测试方式的数据待完善。

发明内容

本文发明的目的是提供一种利用测试平台模拟实际海况然后对智能船舶上的视觉设备进行测试的海面目标识别方法。

具体地，本发明提供一种模拟测试智能船舶上视觉设备的海面目标识别方法，包括如下步骤：

步骤100，建立一个测试平台，然后将视觉设备安装在测试平台上，同时在测试平台上视觉设备的四周环绕布置显示屏；

步骤200，利用显示屏播放真实海面画面，设置运动参数和屏幕播放频率，然后对视觉设备进行参数的提取，对视觉设备的内部参数矩阵和对应的外部参数进行求解，以校正视觉设备的误差畸变；

步骤300，通过校正后的视觉设备获取显示屏上的画面，提取画面中目标的各种不变量，利用纹理特征提取方法实现对海面目标的智能分类识别并传送给智能船舶系统，完成当前视觉设备的感知测试过程。

在本发明的一个实施方式中，所述测试平台用于模拟实际海面上发生各种海况时智能船舶的复杂摇荡运动，所述测试平台的复杂摇荡运动与实际船舶的动作频率保持一致。

在本发明的一个实施方式中，所述测试平台包括直线测速导轨，安装在直线测速导轨上以模拟六自由度摇荡情况的液压杆装置，安装在液压杆装置上的智能船舶模型，和安装在智能船舶模型上的视觉设备，以及根据实际海况下智能船舶的摇荡数据控制液压杆装置的控制单元。

在本发明的一个实施方式中，所述视觉设备包括全景摄像头、调整球摄像机及光敏传感器。

在本发明的一个实施方式中，所述显示屏播放真实海面画面包括实际海面发生的各种海况图像，且释放速度与实际海面的海况动作速度一致。

在本发明的一个实施方式中，所述显示屏为内弧形显示屏，且围绕角度为360度。

在本发明的一个实施方式中，所述视觉设备在所述测试平台上的安装位置与实际船舶上的安装位置一致。

在本发明的一个实施方式中，通过调整所述显示屏与测试平台的距离，实现对视觉设备分辨事物的最远距离测试；通过改变所述显示屏中的亮度程度，实现对视觉设备的强光抑制与弱光补偿能力测试。

在本发明的一个实施方式中，所述步骤200中，对视觉设备的内部参数矩阵和对应的外部参数进行求解的过程如下：

设标定模板位于Z＝0平面上，利用视觉设备外部参数中旋转矩阵R和平移向量t，根据齐次坐标[x,y,1]^T和世界坐标[X,Y,0,1]^T对应关系得到：

[x,y,1]^T＝sM[r₁ r₂ r₃ t][X,Y,0,1]^T

sM[r₁ r₂ r₃ t][X,Y,0,1]^T＝sM[r₁ r₂ t][X,Y,1]^T

式中，(r₁,r₂,r₃)为旋转矩阵R的分解；s为比例因子。

将目标点到视觉设备的单位矩阵H表达为：

H＝sM[r₁ r₂ t]

同时将H以新的形式表达为H＝[h₁ h₂ h₃]，由于旋转矩阵R的各自分量r₁，r₂正交，即得到约束条件：

式中M^-T＝(M^-1)^T，根据旋转向量长度相等，即建立新的约束条件：

设置B＝M^-TM^-1，根据约束条件，矩阵B表达式为B＝M^-TM^-1，根据约束条件的表达形式，两个约束的形式表示为将/>乘开，将/>表达为：

当使用K个标定板，表达式为：Vb＝0；式中V为2K*6矩阵；

计算求解b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

通过对上述公式的计算求解，即可得出视觉设备的内外标定参数，保证设备采集到的信息可以真实表达显示屏中播放的真实信息。

在本发明的一个实施方式中，所述步骤300中的智能分类识别过程如下：

从图像灰度为i像元(x,y)出发，记录与i相距d，方向为θ，灰度为j的像元(x+d_x,y+d_y)同时出现的概率，记为P(i,j,d,θ)，数学表达式为：

P(i,j,d,θ)＝{[(x,y),(x+d_x,y+d_y)]|f(x,y)＝i,f(x+d_x,y+d_y)＝j}

式中x＝0,1,2...N_x，y＝0,1,2...N_y；i,j＝0,1,2...L-1；L是最高灰度级；(x,y)为图像中的像素坐标；d_x，d_y为偏移量；N_x，N_y表示水平和垂直方向的像素数；

通过提取其中的五个特征来获取图像的纹理特征，选定特定的方向进行计算求解；

角二阶矩：

对比度：

相关：

熵：

平稳度：

其中，

通过对以上公式的分析计算，是归一化后的矩阵元素，常用的归一化方法是：

通过以上的计算可得出识别的四类目标，分别为礁石、岛屿、钻井平台和其他船舶，通过与对应的图像的五个纹理特征进行对比分析，即可确定对应的目标事物。

本发明通过搭建测试平台的方式，对智能船舶的运动情况进行仿真，然后结合播放实际海面画面情况，通过对视觉设备自身的校正，然后对视觉设备获取的感知视觉数据在提取过程中进行数据处理计算，最终在当前运动状态下自动识别出水面上的各种目标物，使测试所得的数据准确度提高，方便智能船舶在实际航行中，能够根据视觉设备提供的感知数据信息快速并精确的做出相应的避碰和躲避方案，使视觉设备能够与智能船舶的实际航行实现无疑衔接，提高了智能船舶航行的安全性。

本发明利用模拟的测试平台，完全模拟智能船舶在实际航行中的运动方式及海面情况，通过在真实环境下对视觉设备进行误差校正和数据处理方法改进，既降低了现有利用实船进行测试的成本，同时又能够解决实船所不能表现的实际航行状态，使模拟的结果更接近智能船舶的真实航行状态，提高了视觉设备在实际使用中与智能船舶的契合度。

附图说明

图1是本发明一个实施方式的方法流程示意图；

图2是本发明一个实施方式的测试平台示意图。

具体实施方式

本发明通过模拟实际船舶复杂运动的测试平台，及播放实际海面状态的显示屏，对视觉设备先进行误差校正，再通过对显示屏画面的智能识别，从而为船舶系统快速提供海面目标信息，使船舶能够及时做出航向调整及避让动作，以下详细说明该过程的实现步骤。

如图1所示，在本发明的一个实施方式中，公开一种模拟测试智能船舶上视觉设备的海面目标识别方法，包括如下步骤：

步骤100，建立一个测试平台，然后将视觉设备安装在测试平台上，同时在测试平台上视觉设备的四周环绕布置显示屏；

这里的测试平台能够模拟船舶实际在水上的各种复杂摇荡运动。测试平台可以是一个利液压结构支撑的平台，通过对液压结构的升降控制，实现测试平台的倾斜、转向、升高或降低等各种效果。

如图2所示，具体的测试平台1包括模拟智能船舶航行速度情况的直线测速导轨2，在直线测速导轨2上安装有模拟智能船舶在运动过程中六自由度摇荡情况的液压杆装置3，仿真智能船舶模型4安装在液压杆装置3上，然后在仿真智能船舶模型4上安装船舶视觉设备5，利用由计算机61和存储设备62构成的控制单元6对整个实验过程的运动参数进行控制，使仿真智能船舶模型4在液压杆装置3的控制下，其运动情况能够与智能船舶在实际海洋环境中的运动情况相同。

通过计算机61可以对相应的运动参数进行设置，然后将测试所得数据储存在存储设备62中，以用于其它设备的调取使用。

视觉设备5与实际安装在智能船舶上的位置一致，包括安装位置、转动视角等，自身具备图像采集、画面捕捉分析、信息传递等功能。本实施方式中的视觉设备5包括全景摄像头51、高速球摄像机52及光敏传感器53。

全景摄像头51可对监控区域内无盲点的监测，取代多种普通摄像机，做到无缝监控，同时可以兼顾重点目标的细节识别、一键联动及智能跟踪功能，方便智能船舶的应急指挥、监视水面目标等，也可用于智能船舶防碰撞、船舶立体防护的监测。全景摄像头51不仅可以任意变换观测视角，而且可以输出高分辨率实时图像，保证传输画面清晰流畅；全景无畸变，清晰度高，色彩真实；具有全局指挥，局部特写的功能，在智能船舶视觉设备的监测中具有重要的作用。

高速球摄像机52是一种智能化摄像机，高速球摄像机52能够适应高密度、最复杂的监控场合，其可以实现水平360°无限位连续旋转，垂直90°，自动翻转180°的高端视觉感知设备，做到无死角监控。采用精密步进电机驱动，运行平稳，定位精确。

光敏传感器53是利用光敏原件将光信号转换为电信号的传感器，因其具有非接触、响应快、性能可靠等特点，因此在自动控制中占有重要的地位。光敏传感器53是利用光敏电阻受光线强度影响而阻值发生变化的原理向控制台发送光线强度的模拟信号。在智能船舶的视觉监测中，根据光敏传感器53发送的光强度信号，可知监测海域内障碍物的基本信息。

显示屏7安装在测试平台1上，图2中仅示意性地给出了显示屏7的安装位置示意，并未按实际安装位置给出真实的安装位置示意。显示器屏可以随着测试平台1的高低起伏同步播放海面的实际画面，使视觉设备5能够在当前状态下获取到与实际海面画面相同的播放画面，进而进行分析和目标物的提取。显示屏7的安装方式采用环形型布置，以便模拟智能船舶周围且360度的画面，此外，显示屏7优选采用内弧形显示屏，以配合视觉设备并减少画面失真度。

步骤200，利用显示屏播放真实海面画面，设置运动参数和屏幕播放频率，然后对视觉设备进行参数的提取，对视觉设备的内部参数矩阵和对应的外部参数进行求解，以校正视觉设备的误差畸变；

显示屏播放的画面在与实际海面的真实状况相同的情况下，同时调整播放速度与实际海面的起伏情况一致，保证测试平台的运动状况与真实海洋环境下的运动情况相同。

设置运动参数以及屏幕播放频率对视觉设备进行参数的提取。对于视觉设备，必须对其内部参数矩阵和对应的外部参数进行求解，以保证采集图像能够真实表达外部信息。采用二维标定模板完成设备内外参数标定，达到畸变校正目的，具体过程如下：

设标定模板位于Z＝0平面上，利用视觉设备外部参数中旋转矩阵R和平移向量t，根据齐次坐标[x,y,1]^T和世界坐标[X,Y,0,1]^T对应关系得到：

[x,y,1]^T＝sM[r₁ r₂ r₃ t][X,Y,0,1]^T

sM[r₁ r₂ r₃ t][X,Y,0,1]^T＝sM[r₁ r₂ t][X,Y,1]^T

式中，(r₁,r₂,r₃)为旋转矩阵R的分解；s为比例因子。

将目标点到视觉设备的单位矩阵H表达为：

H＝sM[r₁ r₂ t]

同时将H以新的形式表达为H＝[h₁ h₂ h₃]，由于旋转矩阵R的各自分量r₁，r₂正交，即得到约束条件：

式中M^-T＝(M^-1)^T，根据旋转向量长度相等，即建立新的约束条件：

h₁ ^TM^-TM^-1h₂＝h₂ ^TM^-TM^-1h₂

设置B＝M^-TM^-1，根据约束条件，矩阵B表达式为B＝M^-TM^-1，根据约束条件的表达形式，两个约束的形式表示为将/>乘开，将/>表达为：

当使用K个标定板，表达式为：Vb＝0；式中V为2K*6矩阵；

计算求解b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

通过对上述公式的计算求解，即可得出视觉设备的内外标定参数，保证设备采集到的信息可以真实表达显示屏中播放的真实信息。

步骤300，通过校正后的视觉设备获取显示屏上的画面，提取画面中目标的各种不变量，利用纹理特征提取方法实现对海面目标的智能分类识别并传送给智能船舶系统，完成当前视觉设备的感知测试过程。

其中，测试平台在视觉设备的模拟过程中，始终模仿实际船舶在海面上的复杂运动而进行摇荡，且与实际船舶的动作频率保持一致。

为了减少误差，提高信息采集的精度，需要对数据采集过程进行分析处理。视觉设备对于外界事物的感知，主要是颜色、纹理和形状，利用这些属性来对事物进行描述和分析，而其中对事物进行纹理特征的提取在数据提取中是使用比较广泛的方法。

对视觉设备采集信息的可行性分析中，数据的提取是最关键的一步，提取的特征能否有效描述区域内事物特征是非常重要的，另外由于船舶自身的运动对于数据的采集收集也是比较困难的。本方案在模拟智能船舶实际运动的下情况下，利用视觉设备从显示屏上与真实水面相同的画面中，通过数据的采集然后利用纹理特征提取方法，通过提取水面图像目标的各种不变量，实现对水面目标的智能分类识别，智能分类识别过程如下：

从图像灰度为i像元(x,y)出发，记录与i相距d，方向为θ，灰度为j的像元(x+d_x,y+d_y)同时出现的概率，记为P(i,j,d,θ)，数学表达式为：

P(i,j,d,θ)＝{[(x,y),(x+d_x,y+d_y)]|f(x,y)＝i,f(x+d_x,y+d_y)＝j}

式中x＝0,1,2...N_x，y＝0,1,2...N_y；i,j＝0,1,2...L-1；L是最高灰度级；(x,y)为图像中的像素坐标；d_x，d_y为偏移量；N_x，N_y表示水平和垂直方向的像素数；

通过提取其中的五个特征来获取图像的纹理特征，选定特定的方向进行计算求解；

角二阶矩：

对比度：

相关：

熵：

平稳度：

其中，

通过对以上公式的分析计算，是归一化后的矩阵元素，常用的归一化方法是：

通过以上的计算可得出识别的四类目标，分别为礁石、岛屿、钻井平台和其他船舶，通过与对应的图像的五个纹理特征进行对比分析，即可确定对应的目标事物。

本实施方式通过搭建测试平台的方式，对智能船舶的运动情况进行仿真，然后结合播放实际水面画面情况，通过对视觉设备自身的校正，然后对视觉设备获取的感知视觉数据在提取过程中进行数据处理计算，最终在当前运动状态下自动识别出水面上的各种目标物，使测试所得的数据准确度提高，方便智能船舶在实际航行中，能够根据视觉设备提供的感知数据信息快速并精确的做出相应的避碰和躲避方案，使视觉设备能够与智能船舶的实际航行实现无疑衔接，提高了智能船舶航行的安全性。

本实施方式利用模拟的测试平台，完全模拟智能船舶在实际航行中的运动方式及海面情况，通过在真实环境下对视觉设备进行误差校正和数据处理方法改进，既降低了现有利用实船进行测试的成本，同时又能够解决实船所不能表现的实际航行状态，使模拟的结果更接近智能船舶的真实航行状态，提高了视觉设备在实际使用中与智能船舶的契合度。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (9)

1.一种模拟测试智能船舶上视觉设备的海面目标识别方法，其特征在于，包括如下步骤：

步骤100，建立一个测试平台，然后将视觉设备安装在测试平台上，同时在测试平台上视觉设备的四周环绕布置显示屏；

步骤200，利用显示屏播放真实海面画面，设置运动参数和屏幕播放频率，然后对视觉设备进行参数的提取，对视觉设备的内部参数矩阵和对应的外部参数进行求解，以校正视觉设备的误差畸变；所述步骤200中，对视觉设备的内部参数矩阵和对应的外部参数进行求解的过程如下：

设标定模板位于Z＝0平面上，利用视觉设备外部参数中旋转矩阵R和平移向量t，根据齐次坐标[x,y,1]^T和世界坐标[X,Y,0,1]^T对应关系得到：

[x,y,1]^T＝sM[r₁ r₂ r₃ t][X,Y,0,1]^T

sM[r₁ r₂ r₃ t][X,Y,0,1]^T＝sM[r₁ r₂ t][X,Y,1]^T

式中，(r₁,r₂,r₃)为旋转矩阵R的分解；s为比例因子，

将目标点到视觉设备的单位矩阵H表达为：

H＝sM[r₁ r₂ t]

同时将H以新的形式表达为H＝[h₁ h₂ h₃]，由于旋转矩阵R的各自分量r₁，r₂正交，即r₁ ^Tr₂＝0，得到约束条件：

h₁ ^TM^-TM^-1h₂＝0

式中M^-T＝(M^-1)^T，根据旋转向量长度相等，即r₁ ^Tr₁＝r₂ ^Tr₂，建立新的约束条件：

h₁ ^TM^-TM^-1h₂＝h₂ ^TM^-TM^-1h₂

设置B＝M^-TM^-1，根据约束条件，矩阵B表达式为B＝M^-TM^-1，根据约束条件的表达形式，两个约束的形式表示为将/>乘开，将/>表达为：

当使用K个标定板，表达式为：Vb＝0；式中V为2K*6矩阵；

计算求解b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

通过对上述公式的计算求解，即可得出视觉设备的内外标定参数，保证设备采集到的信息可以真实表达显示屏中播放的真实信息；

步骤300，通过校正后的视觉设备获取显示屏上的画面，提取画面中目标的各种不变量，利用纹理特征提取方法实现对海面目标的智能分类识别并传送给智能船舶系统，完成当前视觉设备的感知测试过程。

2.根据权利要求1所述的海面目标识别方法，其特征在于，

所述测试平台用于模拟实际海面上发生各种海况时智能船舶的复杂摇荡运动，所述测试平台的复杂摇荡运动与实际船舶的动作频率保持一致。

3.根据权利要求2所述的海面目标识别方法，其特征在于，

所述测试平台包括直线测速导轨，安装在直线测速导轨上以模拟六自由度摇荡情况的液压杆装置，安装在液压杆装置上的智能船舶模型，和安装在智能船舶模型上的视觉设备，以及根据实际海况下智能船舶的摇荡数据控制液压杆装置的控制单元。

4.根据权利要求3所述的海面目标识别方法，其特征在于，

所述视觉设备包括全景摄像头、调整球摄像机及光敏传感器。

5.根据权利要求1所述的海面目标识别方法，其特征在于，

所述显示屏播放真实海面画面包括实际海面发生的各种海况图像，且释放速度与实际海面的海况动作速度一致。

6.根据权利要求5所述的海面目标识别方法，其特征在于，

所述显示屏为内弧形显示屏，且围绕角度为360度。

7.根据权利要求6所述的海面目标识别方法，其特征在于，

所述视觉设备在所述测试平台上的安装位置与实际船舶上的安装位置一致。

8.根据权利要求7所述的海面目标识别方法，其特征在于，

通过调整所述显示屏与测试平台的距离，实现对视觉设备分辨事物的最远距离测试；通过改变所述显示屏中的亮度程度，实现对视觉设备的强光抑制与弱光补偿能力测试。

9.根据权利要求1所述的海面目标识别方法，其特征在于，

所述步骤300中的智能分类识别过程如下：

从图像灰度为i像元(x,y)出发，记录与i相距d，方向为θ，灰度为j的像元(x+d_x,y+d_y)同时出现的概率，记为P(i,j,d,θ)，数学表达式为：

P(i,j,d,θ)＝{[(x,y),(x+d_x,y+d_y)]|f(x,y)＝i,f(x+d_x,y+d_y)＝j}

式中x＝0,1,2...N_x，y＝0,1,2...N_y；i,j＝0,1,2...L-1；L是最高灰度级；(x,y)为图像中的像素坐标；d_x，d_y为偏移量；N_x，N_y表示水平和垂直方向的像素数；

通过提取其中的五个特征来获取图像的纹理特征，选定特定的方向进行计算求解；

角二阶矩：

对比度：

相关：

熵：

平稳度：

其中，

通过对以上公式的分析计算，是归一化后的矩阵元素，常用的归一化方法是：

通过以上的计算可得出识别的四类目标，分别为礁石、岛屿、钻井平台和其他船舶，通过与对应的图像的五个纹理特征进行对比分析，即可确定对应的目标事物。