CN110619653A - 基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法 - Google Patents

Abstract

本发明公开了基于人工智能的防止船舶与桥梁碰撞预警控制系统及犯法，包括软件监控单元、自动控制单元、步进电机驱动单元、油门线控制单元，其特征在于：所述软件监控单元用来对船舶船速和状态进行实时监控；所述自动控制单元用来接收监控单元发来的指定，并且驱动步进电机单元，返回状态信息；所述的步进电机控制单元用来接收自动控制单元发送的指令，驱动电机来控制油门线；所述的油门线控制单元接收来自步进电机驱动单元的指令，来控制发动机和油门进行船速自动控制。本发明能对经过桥梁区域的船舶实现船速自动增减功能。

Description

基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法

技术领域

本发明属于人工智能技术领域，具体涉及一种基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法。

背景技术

物体识别被广泛应用于当下的智能监控设备中，比如较为成熟的人脸识别、车牌识别等。但是相对于固定车道的车辆识别，航道上的船舶识别就较为复杂。其难点主要在于船舶航道不固定、船只外形差异大，背景干扰多（如水面的反光、岸上的植被）、检测范围宽（江面检测范围宽达200米以上）、不同航道环境不同，这就导致传统的图像检测算法很难对此给出一个普适的方法。基于人工智能的图像检测算法很好的克服了这一问题。

近年来，人工智能在图形图像领域有突出成果，随着R-CNN（region with CNNfeatures）的提出，其开始广泛应用于现下机器视觉系统，包括物体识别、自动分割、无人驾驶等领域。通过预先分类后选择性搜索并使用CNNs（大型卷积神经网络）提取特征，可以很好的检测不同尺度、不同长宽比的目标物体，解决了船只检测中船只外形差异大的难点。同时对于被遮挡的船只，或者雨雪天气导致的画面模糊也有极高的识别率。其中使用RPN神经网络（Region Proposal Network）来提取候选检测框作为CNNs的数据，可以大大提高处理速度。该方法称为Faster R-CNN。

另外，网络的深度很大程度上决定了模型的性能，更多的网络层数，为提取更复杂的特征模式创造了可能，从而使得模型更加优秀。但是，常见网络在加深后会出现网络退化问题，即随着深度增加网络准确度趋于饱和或退化。因而在模型中，使用ResNet（深度残差网络）替代常见的VGG网络，其通过残差学习解决了深度网络的退化问题在网络加深的同时确保了模型的准确率。基于ResNet68的Faster R-CNN，较常用的基于VGG16模型准确率更高，能更好地使用于不同外形大小的船只视频检测。

综上，对于不同航道的不同船只，使用专门训练后的Faster R-CNN模型对监控视频进行物体识别，相对于传统物体识别方法具有适用范围广、准确率高等优势，同时在极端情况（如雨、雪、远距离）下都有非常好的识别表现。即使对于一些特殊的监控点位，也只需要对模型特殊训练即可，而无需重新设计整体方案。在识别结果的基础上，使用追踪算法，得出每搜经过该监控点船只的速度和行驶方向等信息，并通过相机相对航道的位置、所摄照片中船只所在位置等综合信息，判断船只是否与桥梁有碰撞可能。通过对GPU算力的调度，使得多个模型可以同时进行计算，从而提高计算速度，以匹配船只平均运行速度，做到及时识别及时反馈。

发明内容

针对现有技术中存在的问题，本发明设计的目的是针对传统图形学方法难以对航道内船只相对桥梁位置检测的复杂情况提出普适高效算法的问题，提出一种基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法。本发明充分利用CNNs网络在特征提取上的优势，并辅以RPN神经网络提供候选区域以缩短计算时间，以ResNet68替换传统VGG16网络增加网络深度提高网络准确率，最后对于检测到的目标采用追踪算法获取船只速度、航行的方向等信息。

本发明通过以下技术方案加以实现：

一种基于人工智能防止船舶与桥梁碰撞预警控制系统，包括视频帧提取与转码模块、预训练的基于ResNet68的Faster R-CNN模型、船只运动位置安全计算模块和模型运算调度模块，所述视频帧提取与转码模块获取视频中的图像并转码供模型运算调度模块进行后续操作；所述预训练模型对单帧图像进行目标检测和分类，输出候选框位置、分类结果、置信分数；所述的船只运动位置安全计算模块对Faster R-CNN模型的检测结果进行进一步筛选并计算船只速度、运动方向、相对航道位置，利用激光对船舶进行超高检测，从而判断船只和桥梁是否有可能发生的碰撞；所述的模型运算调度模块分配各进程同步使用Faster R-CNN模型进行计算。

进一步的，所述视频帧提取与转码模块通过网络接受前端相机传输回的视频帧画面，调用GPU运算，快速将单帧图片由YUV转换成BMP格式。

进一步的，所述的预训练的基于ResNet68的Faster R-CNN模型，采用基于ResNet68的Faster R-CNN模型，使用人工标记后缩放大小为1024x600分辨率的河道船舶图像进行训练。

进一步的，所述的船只运动位置安全计算模块，通过比对上一帧检测结果及当前帧检测结果的置信值进一步筛选，并通过船只在照片上的位置得到船只相对航道位置，计算船只运动速度和方向，从而判断船只和桥梁是否有可能发生的碰撞。

进一步的，所述的模型运算调度模块，将Faster R-CNN模型分别运行于子进程当中，根据GPU当前空闲情况分配进程进行运算模型。

一种基于人工智能的防止船舶与桥梁碰撞预警控制方法，包括如下步骤：

1）前端监控设备获取的图像通过网络传输；

2）将所述图像转码成单帧图像；

3）选择子进程中预训练的基于ResNet68的Faster R-CNN模型进行检测识别；

4）将识别结果结合前一帧内容进一步筛选并给出船只运动特征数据，和船只相对航道位置，判断船只是否碰撞可能；

5）利用激光在指定高度进行测量，如果测量到数据，表示船舶超高，正常没有船舶的，激光检测出来的距离一般在200-1000米，有船舶超高时，测量出来的数据就是船舶离激光之间的距离；

6）根据检测出来的结果进行发送告警处理，告警包括但不限于声音告警。

本发明主要用于解决当前传统图形学算法对河道船舶视频中船只识别检测困难的问题，并具有移植简单、准确率高、适应极端天气情况、可检测航道宽度大的特点。由于本发明所述的技术中采用合理的GPU分配方法调度模型运算，大大提升了人工智能算法的速度，使得可以及时得出单帧视频的检测结果。基于上述原因，按照本发明所述系统，可以在基于Faster R-CNN模型的预测下，有效识别航道监控视频中的船只，并计算得出船只与桥梁是否有碰撞可能。

附图说明

图1为本发明流程图；

图2为残差网络的构建块示意图；

图3为ResNet68残差网络图。

具体实施方式

以下结合说明书附图对本发明做进一步详细说明，本发明的目的和效果将变得更加明白。

如图1所示，本发明的基于人工智能的防止船舶与桥梁碰撞预警控制系统和方法，采用的系统包括视频帧提取与转码模块、预训练的基于ResNet68的Faster R-CNN模型、船只运动位置安全计算模块和模型运算调度模块。前端监控设备获取的图像通过网络传输到所述的视频帧提取与转码模块，该视频帧提取与转码模块转码单帧图像后由模型运算，调度模块选择子进程中预训练的基于ResNet68的Faster R-CNN模型进行检测识别，并将结果反馈给船只运动位置安全计算模块结合前一帧内容进一步筛选并给出船只运动特征数据。

上述的视频帧提取与转码模块，包括从网络获取视频并抽出一帧，通过GPU将该帧由YUV转码为RGB，输入模型运算调度模块。

上述的模型运算调度模块接受到数据后查询当前子进程状况，若当前有空闲子进程则将该图片送模型进行检测，否则丢弃该帧。

上述的预训练的基于ResNet68的Faster R-CNN模型，使用人工标记后缩放大小为1024x600分辨率的河道船舶图像进行训练。

如图2所示，通过引入Resnet101深度残差学习框架解决了退化问题。形式上，明确地让这些层拟合残差映射，将期望的基础映射表示为H（x），将堆叠的非线性层拟合另一个映射F（x）:H(x)-x。原始映射重写为F(x)+x。公式F(x)+x通过带有快捷连接的前向神经网络来实现。快捷连接是跳过一层或更多层的连接，快捷连接简单地执行恒等映射，并将其输出添加到堆叠层的输出。

基于上述的ResNet的残差网络，当输入和输出具有相同的维度时，可以直接使用恒等快捷连接，当维度增加时，考虑两个选项：（1）快捷连接仍然执行恒等映射，额外填充零输入以增加维度。（2）方程中的投影连接用于匹配维度（由1x1卷积完成）。图3是构建的Resnet68残差网络图。

上述的船只运动位置安全计算模块通过对比当前帧与上一帧的检测情况进一步筛选检测结果和计算船只运动特征。对于船只应当在视野中1/4的位置第一次出现（驶入摄像区域）或者最后一次出现（驶离摄像区域），除此以外的船只记录为误判。通过判断先后两帧中船只的检测框的重叠情况及画面中船只的运动特征决定当前帧中的船只和上一帧的船只是否为同一船只。通过两帧中同一船只的相对距离，更新船只的行驶速度与方向。对于筛选得到的船只，通过其在照片上位置和相机对航道的位置，推算出船只相对于航道的位置，结合船只的行驶速度与方向从而给出船只与桥梁碰撞可能的结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于包括：

视频帧提取与转码模块：用于获取视频中的图像并转码供模型运算调度模块进行后续操作；

预训练模型：用于对单帧图像进行目标检测和分类，输出候选框位置、分类结果、置信分数；

船只运动位置安全计算模块：用于对预训练模型的检测结果进行进一步筛选并计算船只速度、运动方向、相对航道位置，从而判断船只和桥梁是否有可能发生的碰撞；

模型运算调度模块：用于分配各进程同步使用预训练模型进行计算。

2.如权利要求1所述的基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于所述视频帧提取与转码模块通过网络接收前端相机传输回的视频帧画面，调用GPU运算，快速将单帧图片由YUV转换成BMP格式。

3.如权利要求1所述的基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于所述预训练模型，采用基于ResNet68的Faster R-CNN模型，使用人工标记后缩放大小为1024x600分辨率的河道船舶图像进行训练。

4.如权利要求1所述的基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于所述船只运动位置安全计算模块，通过比对上一帧检测结果及当前帧检测结果的置信值进一步筛选，并通过船只在照片上的位置得到船只相对航道位置，计算船只运动速度和方向，从而判断船只和桥梁是否有可能发生的碰撞。

5.如权利要求1所述的基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于所述模型运算调度模块，将预训练模型分别运行于子进程当中，根据GPU当前空闲情况分配进程进行运算模型。

6.如权利要求1所述的基于人工智能的防止船舶与桥梁碰撞预警控制系统，其特征在于船舶超高检测采用激光进行。

7.基于人工智能的防止船舶与桥梁碰撞预警控制方法，其特征在于包括以下步骤：

1）前端监控设备获取的图像通过网络传输；

2）将所述图像转码成单帧图像；

3）选择子进程中预训练的基于ResNet68的Faster R-CNN模型进行检测识别；

4）将识别结果结合前一帧内容进一步筛选并给出船只运动特征数据，和船只相对航道位置，判断船只是否碰撞可能；

5）利用激光在指定高度进行测量，如果测量到数据，表示船舶超高，正常没有船舶的，激光检测出来的距离一般在200-1000米，有船舶超高时，测量出来的数据就是船舶离激光之间的距离；

6）根据检测出来的结果进行发送告警处理，告警包括但不限于声音告警。