CN104064055B - 一种内河通航船舶超高检测预警系统及其工作方法 - Google Patents

Abstract

本发明公开了一种内河通航船舶超高检测预警系统及其工作方法，所述的系统包括船舶图像成像模块、现场图像远程发送模块、船舶图像接收模块、VTS控制中心、环境信息检测模块、环境信息发送/接收模块、桥梁净空高度发送/接收模块、桥梁净空高度测量模块、标定数据模块、AIS系统模块、无线发送/接收模块和无线手持执法终端模块。本发明以计算机视觉理论为基础，以内河通航船舶为应用背景，利用AIS设备，获得通航环境的位置信息，系统实现简单。本发明利用标定物的空间信息并且采用图像处理算法，实现离船无损检测，不会对船体造成伤害，节省了人力资源，自动化程度高。本发明通过坐标系转换标定法，补偿了成像误差，使船高测量更为精确。

Description

一种内河通航船舶超高检测预警系统及其工作方法

技术领域

本发明涉及计算机机器视觉、背景标定与投影测高技术、船舶超高检测技术、船舶超高报警技术、特别是一种内河通航船舶超高检测预警系统及其工作方法。

背景技术

我国内河航道众多，主要以长江、珠江、淮河、黑龙江几大水系为主。由于地理、气候、人文因素的影响，内河桥区水域的通航环境十分复杂。伴随而来的内河交通问题也日益增多。近年来，桥船碰撞的事故时有发生，其中不乏一些由于船舶超高所引起的。所以，在内河通航中，超高检测是十分必要的。目前，内河桥区水域通航船舶高度测量主要有以下几种：

一、人工上船测高的方式。

二、激光扫描测高的方式。

三、基于图像检测的测高方式。

上述方法中，方法一受人的主观性比例较大，并且浪费了人力资源，因此，不宜采用这种传统上船方式来测高；方法二通过激光扫描的方式虽然能够进行目标高度的测量，但是对于远距离测量，激光光束散射较为严重，这样导致了基于激光束扫描的方式测量精度低，测量距离短，使得应用受到限制。方法三基于图像检测的测高方式主要是根据已知船舶高度，通过图像处理的方式检测出水船分界线，获得船舶吃水深度，最终计算出船舶在通航过程中的实际高度。但是船舶在航行过程中处于一个环境不断变化的过程中，在图像处理中，由于水浪的存在，经过图像处理的算法，最终检测出的水船分界线很难保证是真正的水船分界线，得到的错误检测几率仍然很大；这些问题的存在对通航安全保障带来了很大的风险。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种自动化水平较高、测量距离较远且测量结果精度较高的内河通航船舶超高检测预警系统及其工作方法。

为了实现上述目的，本发明的技术方案如下：

一种内河通航船舶超高检测预警系统，包括船舶图像成像模块、现场图像远程发送模块、船舶图像接收模块、VTS控制中心、环境信息检测模块、环境信息发送/接收模块、桥梁净空高度发送/接收模块、桥梁净空高度测量模块、标定数据模块、AIS系统模块、无线发送/接收模块和无线手持执法终端模块；所述的船舶图像成像模块为CCD成像设备，安装在河岸的一侧，所述的CCD成像设备包括CCD相机或摄像机；在河岸的另一侧安装一个由彩色LED灯组成的点阵作为标定物；所述的现场图像远程发送模块将船舶图像成像模块成像得到的船舶图片发送到船舶图像接收模块；所述的船舶图像接收模块接收现场图像远程发送模块发送的图片；所述的环境信息检测模块包括雷达测距模块，检测出当前的背景标定物与船舶间的距离信息；所述的环境信息发送/接收模块将环境信息检测模块检测出当前的背景标定物与船舶间的距离信息发送到控制中心；所述的净空高度测量模块包括超声波探测设备，检测当前桥梁实际净空高度；所述的桥梁净空高度发送/接收模块将净空高度测量模块检测到的桥梁净空高度的数据发送到控制中心；所述的标定数据模块根据背景标定物体，运用数学模型，获取当前位置空间单位像素的物理尺寸；所述的AIS系统模块获取船舶运行中的位置信息，它用来向控制中心提供船舶航行过程中的位置数据；所述的无线发送/接收模块将控制中心得到的船舶实际高度的测量数据以及是否有桥船碰撞危险信息发送到无线手持执法终端；所述的无线手持执法终端模块为获取船舶发生碰撞桥梁的风险信息；所述的VTS控制中心整合来自成像模块的图片数据、环境检测模块的数据、船舶通航的位置数据，进行数据终端处理。

一种内河通航船舶高度检测系统的工作方法，包括以下步骤：

A、背景标定。首先在河岸的一侧固定安装一台CCD成像设备，安装好CCD成像设备后，由于安装中存在一些机械误差，导致CCD成像设备平面并不水平，这就要求对CCD成像设备进行初始化设置。当发生竖直方向偏移时，通过在CCD成像设备前放置好一个垂直于地面的角形标杆，在标杆的竖直方向和水平方向分别设定三个点，竖直方向的三个点记为H、P、Q，水平方向的三个点记为K、M、N，竖直方向的P点和水平方向的M点分别为水平线段HQ和竖直线段KN的中点，当CCD成像设备竖直方向有θ角度的旋转，通过图像处理计算HP与PQ不相等，则调整CCD成像设备竖直方向的角度，直至HP＝PQ，则CCD成像设备在竖直方向调平。同理，当发生水平方向偏移时，通过水平方向的三个点来调整CCD成像设备在水平方向的夹角，直至CCD成像设备在水平方向调平。当CCD成像设备各参数确定之后，记录各参数并将该状态作为CCD成像设备的初始状态，CCD成像设备复位时，检查图像中竖直方向的P点和水平方向的M点是否为中点，以确定CCD成像设备是否回到初始位置，如果未回到初始位置，则需要人工重新设置。

B、图像处理。由于需要测量船舶高度信息，采用竖直标定的方式，首先选取竖直方向的A、C两个标定点，设O为CCD成像设备坐标系的原点，并作辅助线OA、OC，设主光轴为OD，D点为主光轴与标定物的交点，并且交船舶最高点所在竖直平面于G点，F点为船舶最高点，连接OF并延长交标定物平面于B点，E点为标定物与河岸的交点。CCD成像设备安装时尽量将主光轴调至水平，CCD成像设备与船舶最高点F连线交标定物于B点。

设X、Y分别为CCD成像设备坐标系的横轴、纵轴，Z为CCD成像设备光轴方向且垂直于X、Y所在平面的坐标轴，(X₁,Y₁,Z₁)为标定物上A点在CCD成像设备坐标系的对应坐标，(X₂,Y₂,Z₂)为标定物上C点在CCD成像设备坐标系的对应坐标，假定实际光心在CCD成像设备坐标系中对应坐标为(X₃,Y₃,Z₃)，并近似为图像中心，船舶最高点F在标定物上的投影点其对应在CCD成像设备坐标系中的坐标为(X₄,Y₄,Z₄)。所述的光心为主光轴与CCD成像设备的成像平面的交点。

首先，设图像坐标系的横轴和纵轴分别为u和v，则CCD成像设备坐标系(X,Y,Z)和图像坐标系(u,v)的关系为：

u＝X/dx+u₀(1)

v＝Y/dy+v₀(2)

其中，u₀、v₀为CCD成像设备坐标原点在图像坐标系中的坐标，其数值以像素为单位，dx、dy为单位像素在x、y轴方向的物理尺寸。

将Y₁、Y₄分别代入式(2)并两两相减得

(Y₁-Y₄)/dy＝v₁-v₄；(3)

将Y₂、Y₄分别代入式(2)并两两相减得

(Y₄-Y₂)/dy＝v₄-v₂；(4)

由式(3)和(4)两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝(v₁-v₄)/(v₄-v₂)；

其次，v₁,v₂为两个标定点A和C在图像坐标系的纵坐标，通过识别标定点A、C获得。v₃为主光轴与标定物交点E对应在图像坐标系中的纵坐标，并将其近似为图像坐标系的中心。

第三，通过图像处理的方式识别船舶最高点，获取船舶在标定物上的投影点v₄。

C、高度计算。先连接CCD成像设备O与标定物上标定点A构成线段OA，再连接CCD成像设备O与标定物上标定点C构成线段OC，然后连接CCD成像设备O经船舶最高点F的延长线交标定物于B构成线段OB，线段OD为CCD成像设备主光轴，CCD成像设备在安装、校准并初始化后，主光轴OD基本水平。

根据CCD成像设备针孔成像原理，得到：

(Y₁-Y₄)dy/f＝AB/OD；

(Y₄-Y₂)dy/f＝BC/OD；

两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝AB/BC；

式中，f为CCD成像设备的焦距；

在竖直方向上，由于线段AC、CE和OD的长度已知，通过上式计算得到线段AB和BC的长度；由于CCD成像设备距地面的高度已知，通过计算得到线段BD的长度。在水平方向上，由于线段OG、线段GD的长度已知，利用平面几何关系求出线段GF的长度，进而求出通航船舶高度。

D、超高报警。船舶通过背景标定模块是一个动态过程，通过对多幅图片处理后得到的最大值作为船舶通航高度值，如果该高度值大于净空高度测量模块所允许最大值，此时，VTS控制中心发出超高警报信号，并向无线手持执法终端发送违章船舶信息。

E、通知超高船舶。当VTS控制中心内发出超高警报信号，接到报警信号的该桥区巡航执法人员及时通知超高船舶，采取相应措施。

与现有技术相比，本发明具有以下有益效果：

1、本发明以计算机视觉理论为基础，以内河通航船舶为应用背景，利用AIS设备，获得通航环境的位置信息，提出了一种测量内河通航船舶超高检测系统及构建方法，系统实现简单。

2、本发明通过摄像机标定的方法，充分利用标定物的空间信息并且采用图像处理算法，实现离船无损检测，不会对船体造成伤害，节省了人工上传的人力资源，自动化程度更高。

3、本发明通过坐标系转换标定法能够克服成像模块成像过程中的轻微抖动、倾斜等，补偿了成像误差，使船高测量更为精确。

4、本发明在成像模块中，能够调节焦距来实现远距离成像，适用性更强。

5、本发明的船舶成像模块固定在河岸一侧，安装、维修十分方便。

附图说明

本发明共有附图6张，其中：

图1为通航船舶高度测量的截面图。

图2为基于计算机图像视觉的图像坐标系说明。

图3为船舶经过标定物的成像位置示意图。

图4为校准CCD成像设备示意图。

图5为桥梁净空高度测量示意图

图6为整个系统的构建图。

图中：1、船舶图像成像模块，2、现场图像远程发送模块，3、船舶图像接收模块，4、环境信息检测模块，5、环境信息发送/接收模块，6、桥梁净空高度发送/接收模块，7、桥梁净空高度测量模块，8、标定数据模块，9、AIS系统模块，10、无线发送/接收模块，11、无线手持执法终端模块，12、VTS控制中心。

具体实施方式

下面结合附图，对本发明的步骤进行进一步的说明：如图6所示，一种内河通航船舶超高检测预警系统，包括船舶图像成像模块1、现场图像远程发送模块2、船舶图像接收模块3、VTS控制中心12、环境信息检测模块4、环境信息发送/接收模块5、桥梁净空高度发送/接收模块6、桥梁净空高度测量模块7、标定数据模块8、AIS系统模块9、无线发送/接收模块10和无线手持执法终端模块11；所述的船舶图像成像模块1为CCD成像设备，安装在河岸的一侧，所述的CCD成像设备包括CCD相机或摄像机；在河岸的一侧安装一个由彩色LED灯组成的点阵作为标定物，所述的现场图像远程发送模块2将船舶图像成像模块1成像得到的船舶图片发送到船舶图像接收模块3；所述的船舶图像接收模块3接收现场图像远程发送模块2发送的图片；所述的环境信息检测模块4包括雷达测距模块，检测出当前的背景标定物与船舶间的距离信息；所述的环境信息发送/接收模块5将环境信息检测模块4检测出当前的背景标定物与船舶间的距离信息发送到控制中心；所述的净空高度测量模块包括超声波探测设备，检测当前桥梁实际净空高度；所述的桥梁净空高度发送/接收模块6将净空高度测量模块检测到的桥梁净空高度的数据发送到控制中心；所述的标定数据模块8根据背景标定物体，运用数学模型，获取当前位置空间的变换矩阵；所述的AIS系统模块9获取船舶运行中的位置信息，它用来向控制中心提供船舶航行过程中的位置数据；所述的无线发送/接收模块10将控制中心得到的船舶实际高度的测量数据以及是否有桥船碰撞危险信息发送到无线手持执法终端；所述的无线手持执法终端模块11为获取船舶发生碰撞桥梁的风险信息；所述的VTS控制中心12整合来自成像模块的图片数据、环境检测模块的数据、船舶通航的位置数据，进行数据终端处理。

一种内河通航船舶高度检测系统的工作方法，包括以下步骤：

A、背景标定。首先在河岸的一侧固定安装一台CCD相机，安装好CCD相机后，由于安装中存在一些机械误差等，导致相机平面并不水平，这就要求对相机进行初始化设置。当发生竖直方向偏移时，能够通过在相机前放置好一个竖直标杆，在标杆上设定三个点，如图4所示，水平和竖直方向M和P分别为KN和HQ中点，当相机竖直方向有θ角度的旋转，通过图像处理计算HP与PQ不相等，调整相机竖直方向的角度，直至HP＝PQ，则相机在竖直方向调平。同理当发生水平方向偏移时，能够通过如图水平方向的三个点来调整相机在水平方向的夹角，直至相机在水平方向调平。当相机各参数确定之后，记录各参数并将该状态作为云台的初始位置，相机复位时，检查图像中水平、竖直方向的M、P点是否为中点，来确定CCD相机是否回到初始位置，如果未回到初始位置，需要人工重新设置。能够B、图像处理。由于需要测量船舶高度信息，能够采用竖直标定的方式，如图1，首先选取竖直方向的A、C两个标定点，并作辅助线OA、OC,图1中OD为主光轴，D点为主光轴与标定物的交点并且交船舶最高点所在竖直平面于G点，CCD相机安装时尽量将主光轴调至水平，相机与船舶最高点F连线交标定物于B点，E点为标定物与河岸的交点。如图2所示，O1为图像坐标系的原点，O为摄相机坐标系的原点，X、Y为相机的横轴、纵轴(均以单位为像素)，(X₁,Y₁,Z₁)为标定物上A点在摄相机坐标系的对应点坐标，(X₂,Y₂,Z₂)为标定物上C点在摄相机坐标系的对应点坐标，假定实际光心在摄像机坐标系中对应点坐标为(X₃,Y₃,Z₃)，在本文中近似为图像的中心，船舶最高点在标定物投影点在摄像机坐标系对应点坐标为(X₄,Y₄,Z₄)。

首先，由针孔摄像机模型，通过摄像机坐标系(X,Y,Z)和图像坐标系(u,v)的关系：

u＝X/dx+u₀(1)

v＝Y/dy+v₀(2)

其中，u₀、v₀为CCD成像设备坐标原点在图像坐标系中的坐标，其数值以像素为单位，dx、dy为单位像素在x、y轴方向的物理尺寸。

将Y₁、Y₄分别代入式(2)并两两相减得

(Y₁-Y₄)/dy＝v₁-v₄；(3)

将Y₂、Y₄分别代入式(2)并两两相减得

(Y₄-Y₂)/dy＝v₄-v₂；(4)

由式(3)和(4)两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝(v₁-v₄)/(v₄-v₂)；

其次，v₁,v₂为两个标定点A和C在图像坐标系的纵坐标，通过识别标定点A、C获得。v₃为主光轴与标定物交点E对应在图像坐标系中的纵坐标，并将其近似为图像坐标系的中心。

第三，通过图像处理的方式识别船舶最高点，获取船舶在标定物上的投影点v₄。

C、高度计算。如图1所示，连接CCD相机O与标定物A，连接CCD相机O与标定物C，连接CCD相机O与船舶最高点F，延长线交标定物于B，OD为CCD相机光轴，相机在安装、校准并初始化后，光轴基本水平。

由CCD相机针孔成像原理，可知：

(Y₁-Y₄)dy/f＝AB/OD；

(Y₄-Y₂)dy/f＝BC/OD；

两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝AB/BC；

由于AC的长度可知，那么AB、BC的长度均能够计算得到。同时，CE可知，CCD相机距地面的高度可知，那么BD能够计算得到。在水平方向上，OG、GD可知，利用平面几何关系能够求出GF，进而能够求出通航船舶高度。

D.当船舶图像成像模块的焦距发生变化时，重复步骤A，对背景标定物重新进行标定即可。

E.当船舶高度大于桥区净空高度测量模块允许最大高度时，发出超高报警，并向无线手持执法终端模块11发送超高信息，该桥区巡航人员实行相应的执法权力，进而避免桥船碰撞事故。

注：由于船舶通过标定物时是一个动态的过程，CCD相机以一定的频率对其进行拍摄多幅图片，在船舶图像成像模块1的焦距没发生变化的情况下，B‐D是一个不断重复的过程，最终船舶高度的值取为求得的最大值。

Claims (1)

1.一种内河通航船舶高度检测系统的工作方法，所述的系统包括船舶图像成像模块(1)、现场图像远程发送模块(2)、船舶图像接收模块(3)、VTS控制中心(12)、环境信息检测模块(4)、环境信息发送/接收模块(5)、桥梁净空高度发送/接收模块(6)、桥梁净空高度测量模块(7)、标定数据模块(8)、AIS系统模块(9)、无线发送/接收模块(10)和无线手持执法终端模块(11)；所述的船舶图像成像模块(1)为CCD成像设备，安装在河岸的一侧，所述的CCD成像设备包括CCD相机或摄像机；在河岸的另一侧安装一个由彩色LED灯组成的点阵作为标定物；所述的现场图像远程发送模块(2)将船舶图像成像模块(1)成像得到的船舶图片发送到船舶图像接收模块(3)；所述的船舶图像接收模块(3)接收现场图像远程发送模块(2)发送的图片；所述的环境信息检测模块(4)包括雷达测距模块，检测出当前的背景标定物与船舶间的距离信息；所述的环境信息发送/接收模块(5)将环境信息检测模块(4)检测出当前的背景标定物与船舶间的距离信息发送到控制中心；所述的桥梁净空高度测量模块(7)包括超声波探测设备，检测当前桥梁实际净空高度；所述的桥梁净空高度发送/接收模块(6)将净空高度测量模块检测到的桥梁净空高度的数据发送到控制中心；所述的标定数据模块(8)根据背景标定物体，运用数学模型，获取当前位置空间单位像素的物理尺寸；所述的AIS系统模块(9)获取船舶运行中的位置信息，它用来向控制中心提供船舶航行过程中的位置数据；所述的无线发送/接收模块(10)将控制中心得到的船舶实际高度的测量数据以及是否有桥船碰撞危险信息发送到无线手持执法终端；所述的无线手持执法终端模块(11)为获取船舶发生碰撞桥梁的风险信息；所述的VTS控制中心(12)整合来自成像模块的图片数据、环境检测模块的数据、船舶通航的位置数据，进行数据终端处理；

其特征在于：所述的工作方法包括以下步骤：

A、背景标定；首先在河岸的一侧固定安装一台CCD成像设备，安装好CCD成像设备后，由于安装中存在一些机械误差，导致CCD成像设备平面并不水平，这就要求对CCD成像设备进行初始化设置；当发生竖直方向偏移时，通过在CCD成像设备前放置好一个垂直于地面的角形标杆，在标杆的竖直方向和水平方向分别设定三个点，竖直方向的三个点记为H、P、Q，水平方向的三个点记为K、M、N，竖直方向的P点和水平方向的M点分别为水平线段HQ和竖直线段KN的中点，当CCD成像设备竖直方向有θ角度的旋转，通过图像处理计算HP与PQ不相等，则调整CCD成像设备竖直方向的角度，直至HP＝PQ，则CCD成像设备在竖直方向调平；同理，当发生水平方向偏移时，通过水平方向的三个点来调整CCD成像设备在水平方向的夹角，直至CCD成像设备在水平方向调平；当CCD成像设备各参数确定之后，记录各参数并将该状态作为CCD成像设备的初始状态，CCD成像设备复位时，检查图像中竖直方向的P点和水平方向的M点是否为中点，以确定CCD成像设备是否回到初始位置，如果未回到初始位置，则需要人工重新设置；

B、图像处理；由于需要测量船舶高度信息，采用竖直标定的方式，首先选取竖直方向的A、C两个标定点，设O为CCD成像设备坐标系的原点，并作辅助线OA、OC，设主光轴为OD，D点为主光轴与标定物的交点，并且交船舶最高点所在竖直平面于G点，F点为船舶最高点，连接OF并延长交标定物平面于B点，E点为标定物与河岸的交点；CCD成像设备安装时尽量将主光轴调至水平，CCD成像设备与船舶最高点F连线交标定物于B点；

设X、Y分别为CCD成像设备坐标系的横轴、纵轴，Z为CCD成像设备光轴方向且垂直于X、Y所在平面的坐标轴，(X₁,Y₁,Z₁)为标定物上A点在CCD成像设备坐标系的对应坐标，(X₂,Y₂,Z₂)为标定物上C点在CCD成像设备坐标系的对应坐标，假定实际光心在CCD成像设备坐标系中对应坐标为(X₃,Y₃,Z₃)，并近似为图像中心，船舶最高点F在标定物上的投影点其对应在CCD成像设备坐标系中的坐标为(X₄,Y₄,Z₄)；所述的光心为主光轴与CCD成像设备的成像平面的交点；

首先，设图像坐标系的横轴和纵轴分别为u和v，则CCD成像设备坐标系(X,Y,Z)和图像坐标系(u,v)的关系为：

u＝X/dx+u₀(1)

v＝Y/dy+v₀(2)

其中，u₀、v₀为CCD成像设备坐标原点在图像坐标系中的坐标，其数值以像素为单位，dx、dy为单位像素在x、y轴方向的物理尺寸；

将Y₁、Y₄分别代入式(2)并两两相减得

(Y₁-Y₄)/dy＝v₁-v₄；(3)

将Y₂、Y₄分别代入式(2)并两两相减得

(Y₄-Y₂)/dy＝v₄-v₂；(4)

由式(3)和(4)两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝(v₁-v₄)/(v₄-v₂)；

其次，v₁,v₂为两个标定点A和C在图像坐标系的纵坐标，通过识别标定点A、C获得；v₃为主光轴与标定物交点E对应在图像坐标系中的纵坐标，并将其近似为图像坐标系的中心；

第三，通过图像处理的方式识别船舶最高点，获取船舶在标定物上的投影点v₄；

C、高度计算；先连接CCD成像设备O与标定物上标定点A构成线段OA，再连接CCD成像设备O与标定物上标定点C构成线段OC，然后连接CCD成像设备O经船舶最高点F的延长线交标定物于B构成线段OB，线段OD为CCD成像设备主光轴，CCD成像设备在安装、校准并初始化后，主光轴OD基本水平；

根据CCD成像设备针孔成像原理，得到：

(Y₁-Y₄)dy/f＝AB/OD；

(Y₄-Y₂)dy/f＝BC/OD；

两式相除得：

(Y₁-Y₄)/(Y₄-Y₂)＝AB/BC；

式中，f为CCD成像设备的焦距；

在竖直方向上，由于线段AC、CE和OD的长度已知，通过上式计算得到线段AB和BC的长度；由于CCD成像设备距地面的高度已知，通过计算得到线段BD的长度；在水平方向上，由于线段OG、线段GD的长度已知，利用平面几何关系求出线段GF的长度，进而求出通航船舶高度；

D、超高报警；船舶通过背景标定模块是一个动态过程，通过对多幅图片处理后得到的最大值作为船舶通航高度值，如果该高度值大于桥梁净空高度测量模块(7)所允许最大值，此时，VTS控制中心(12)发出超高警报信号，并向无线手持执法终端发送违章船舶信息；

E、通知超高船舶；当VTS控制中心(12)内发出超高警报信号，接到报警信号的该桥区巡航执法人员及时通知超高船舶，采取相应措施。