CN108550281A - 一种基于视觉ar的船舶辅助驾驶系统与方法 - Google Patents

Abstract

本发明公开了一种基于视觉AR的船舶辅助驾驶系统与方法，该系统包括视频标定模块、船舶信息采集模块、船舶信息综合处理模块、辅助决策预警模块。本发明利用增强现实技术使视频画面中目标船舶信息更加具体显化，保证用户能够获得清晰直观的视觉信息。通过实时监测水面安全状况，获得增强现实的实景显示画面，能对水面船舶进行广泛而准确地实时监控，并对具有危险碰撞的预警和提供辅助驾驶决策信息，提高船舶驾驶的安全性。

Description

一种基于视觉AR的船舶辅助驾驶系统与方法

技术领域

本发明涉及智能交通技术领域，尤其涉及一种基于视觉AR的船舶辅助驾驶系统与方法。

背景技术

伴随着水路运输量的不断增长，水面船舶的数量日益增多，给船舶航行安全带来了严峻的考验。为保证船舶航行安全性，减少航运事故发生，在正常的水面交通管理基础上，我们需要为各船舶驾驶人提供合适的船舶辅助驾驶系统。通过提供更为全面准确的实时水面信息，并对潜在危险状况进行预警，更好地保证船舶航行安全。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于视觉AR的船舶辅助驾驶系统与方法。

本发明解决其技术问题所采用的技术方案是：一种基于视觉AR的船舶辅助驾驶系统，包括：

船舶信息采集模块，包括视频采集装置、AIS模块、GPS模块和雷达；

所述视频采集装置用于采集水面实时动态视频；

所述AIS模块和雷达模块用于采集水面其他船舶信息；

所述GPS用于采集本船位置和航速信息；

视频标定模块，用于根据采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

船舶信息综合处理模块，用于融合视频识别出的各目标船舶、AIS获取的对应的船舶信息和雷达获取的对应的船舶信息获得目标船舶位置信息，并将融合后的目标船舶位置信息进行大地坐标系转换，再将目标船舶信息叠加到视频图像中，将船舶位置信息匹配到视频图像的坐标点上；

辅助决策预警模块，用于判断视频画面中的动态目标船舶与本船是否有碰撞危险，并提供相应的辅助决策。

按上述方案，所述AIS模块获取的目标船舶信息包括：目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位；所述雷达模块获取的目标船舶信息包括：目标船舶与本船的相对距离和相对方位信息。

按上述方案，所述辅助决策预警模块包括：

危险判断模块，用于判断在当前航行状态下本船是否与视频图像中其他目标船舶有发生碰撞的危险；判断方法如下：根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态发生碰撞危险的可能性，然后根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记，在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号。

按上述方案，所述辅助决策预警模块还包括：辅助决策模块，用于向驾驶人提供当前航行状态下避免危险的可行性方案，以供驾驶人参考。

一种基于视觉AR的船舶辅助驾驶方法，包括以下步骤：

S1)采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

S2)获取目标船舶和本船的基本信息；所述基本信息包括：通过GPS获取本船的位置、航速信息和通过AIS获取水面其他船舶的经纬度、当前速度、航向、改变航向率、航向角、船号、吨位信息以及通过雷达获取的水面其他船舶与本船的相对距离和相对方位；

S3)将步骤S1)和S2)获取的目标船舶的信息融合处理，得到目标船舶位置信息，并对目标船舶位置信息进行大地坐标系转换，将融合信息与目标船舶对应匹配，叠加到视频图像中；

S4)根据当前水面船舶相对位置及航速信息，判断当前航行状态下的安全性，根据安全性评判结果对目标船舶进行相应标记，对危险的目标船舶进行示警，并提供给驾驶人可行的避险驾驶方案。

按上述方案，所述S3)具体为：融合视频识别的目标船舶、AIS获取的目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位，以及雷达获取的目标船舶与本船的相对距离和相对方位信息，融合处理后得到目标船舶信息一览表；将融合处理后的目标船舶位置信息进行大地坐标系转换，并将船舶位置信息匹配到视频图像的坐标点上，再将融合处理后的信息一览表叠加到视频图像中，在视频图像画面中对应目标船舶附近进行动态信息的显示。

按上述方案，所述的S4)具体为：

根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态的危险性；

根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记：在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号，以便双方沟通调整。

本发明产生的有益效果是：本发明充分利用了图像标定、图像网格化、图像处理、信息融合、信息匹配及GPS转换大地坐标系的技术，实时监测水面安全状况，获得增强现实的实景显示画面，能对水面船舶进行广泛而准确地实时监控，并对具有危险碰撞的预警和提供辅助驾驶决策信息，提高船舶驾驶的安全性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的视觉AR流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于视觉AR的船舶辅助驾驶方法，包括以下步骤：

S1)采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

S2)获取目标船舶和本船的基本信息；所述基本信息包括：通过GPS获取本船的位置、航速信息和通过AIS获取水面其他船舶的经纬度、当前速度、航向、改变航向率、航向角、船号、吨位信息以及通过雷达获取的水面其他船舶与本船的相对距离和相对方位；

S3)将步骤S1)和S2)获取的目标船舶的信息融合处理，得到目标船舶位置信息，并对目标船舶位置信息进行大地坐标系转换，将融合信息与目标船舶对应匹配，叠加到视频图像中；

如图2，步骤S3)具体为：融合视频识别的目标船舶、AIS获取的目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位，以及雷达获取的目标船舶与本船的相对距离和相对方位信息，融合处理后得到目标船舶信息一览表；将融合处理后的目标船舶位置信息进行大地坐标系转换，并将船舶位置信息匹配到视频图像的坐标点上，再将融合处理后的信息一览表叠加到视频图像中，在视频图像画面中对应目标船舶附近进行动态信息的显示。

S4)根据当前水面船舶相对位置及航速信息，判断当前航行状态下的安全性，根据安全性评判结果对目标船舶进行相应标记，对危险的目标船舶进行示警，并提供给驾驶人可行的避险驾驶方案。

步骤S4)具体为：

根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态的危险性；

根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记：在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号，以便双方沟通调整。

一种基于视觉AR的船舶辅助驾驶系统，包括：

船舶信息采集模块，包括视频采集装置、AIS模块、GPS模块和雷达；

所述视频采集装置用于采集水面实时动态视频；

所述AIS模块和雷达模块用于采集水面其他船舶信息；AIS模块获取的目标船舶信息包括：目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位；雷达模块获取的目标船舶信息包括：目标船舶与本船的相对距离和相对方位信息。

所述GPS用于采集本船位置和航速信息；

视频标定模块，用于根据采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

船舶信息综合处理模块，用于融合视频识别出的各目标船舶、AIS获取的对应的船舶信息和雷达获取的对应的船舶信息获得目标船舶位置信息，并将融合后的目标船舶位置信息进行大地坐标系转换，再将目标船舶信息叠加到视频图像中，将船舶位置信息匹配到视频图像的坐标点上；船舶信息综合处理模块还包括视觉AR模块，用于将融合处理后的信息一览表叠加到视频图像中，在视频图像画面中对应目标船舶附近进行动态信息的显示，提供增强现实的实景实时显示画面，给驾驶人以直观的视觉信息；

辅助决策预警模块，用于判断视频画面中的动态目标船舶与本船是否有碰撞危险，并提供相应的辅助决策。

辅助决策预警模块包括：

危险判断模块，用于判断在当前航行状态下本船是否与视频图像中其他目标船舶有发生碰撞的危险；判断方法如下：根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态发生碰撞危险的可能性，然后根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记，在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号。

辅助决策预警模块还包括：辅助决策模块，用于向驾驶人提供当前航行状态下避免危险的可行性方案，以供驾驶人参考。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于视觉AR的船舶辅助驾驶系统，其特征在于，包括：

船舶信息采集模块，包括视频采集装置、AIS模块、GPS模块和雷达；

所述视频采集装置用于采集水面实时动态视频；

所述AIS模块和雷达模块用于采集水面其他船舶信息；

所述GPS用于采集本船位置和航速信息；

视频标定模块，用于根据采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

船舶信息综合处理模块，用于融合视频识别出的各目标船舶、AIS获取的对应的船舶信息和雷达获取的对应的船舶信息获得目标船舶位置信息，并将融合后的目标船舶位置信息进行大地坐标系转换，再将目标船舶信息叠加到视频图像中，将船舶位置信息匹配到视频图像的坐标点上；

辅助决策预警模块，用于判断视频画面中的动态目标船舶与本船是否有碰撞危险，并提供相应的辅助决策。

2.根据权利要求1所述的基于视觉AR的船舶辅助驾驶系统，其特征在于，所述AIS模块获取的目标船舶信息包括：目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位；所述雷达模块获取的目标船舶信息包括：目标船舶与本船的相对距离和相对方位信息。

3.根据权利要求1所述的基于视觉AR的船舶辅助驾驶系统，其特征在于，所述辅助决策预警模块包括：

危险判断模块，用于判断在当前航行状态下本船是否与视频图像中其他目标船舶有发生碰撞的危险；判断方法如下：根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态发生碰撞危险的可能性，然后根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记，在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号。

4.根据权利要求1所述的基于视觉AR的船舶辅助驾驶系统，其特征在于，所述辅助决策预警模块还包括：辅助决策模块，用于向驾驶人提供当前航行状态下避免危险的可行性方案，以供驾驶人参考。

5.一种基于视觉AR的船舶辅助驾驶方法，包括以下步骤：

S1)采集的水面实时动态视频，识别图像中目标船舶，对视频进行标定和网格化处理，将视频图像的像素点转换为大地坐标系的坐标点；

S2)获取目标船舶和本船的基本信息；所述基本信息包括：通过GPS获取本船的位置、航速信息和通过AIS获取水面其他船舶的经纬度、当前速度、航向、改变航向率、航向角、船号、吨位信息以及通过雷达获取的水面其他船舶与本船的相对距离和相对方位；

S3)将步骤S1)和S2)获取的目标船舶的信息融合处理，得到目标船舶位置信息，并对目标船舶位置信息进行大地坐标系转换，将融合信息与目标船舶对应匹配，叠加到视频图像中；

S4)根据当前水面船舶相对位置及航速信息，判断当前航行状态下的安全性，根据安全性评判结果对目标船舶进行相应标记，对危险的目标船舶进行示警，并提供给驾驶人可行的避险驾驶方案。

6.根据权利要求5所述的基于视觉AR的船舶辅助驾驶方法，其特征在于，所述S3)具体为：融合视频识别的目标船舶、AIS获取的目标船舶的经纬度、当前速度、改变航向率、航向角、船号、吨位，以及雷达获取的目标船舶与本船的相对距离和相对方位信息，融合处理后得到目标船舶信息一览表；将融合处理后的目标船舶位置信息进行大地坐标系转换，并将船舶位置信息匹配到视频图像的坐标点上，再将融合处理后的信息一览表叠加到视频图像中，在视频图像画面中对应目标船舶附近进行动态信息的显示。

7.根据权利要求5所述的基于视觉AR的船舶辅助驾驶方法，其特征在于，所述的S4)具体为：

根据船舶信息综合处理模块中获得的数据信息，在大地坐标系下，由本船和其他目标船舶的坐标数据通过减法运算即可获得该坐标系下的船舶相对位置，结合大地坐标系下本船和目标船舶的速度，判断按照当前航行状态的危险性；根据碰撞危险的可能性，对视频图像中的目标船舶进行不同的标记：在当前航行状态下完全没有碰撞危险的标记为绿色，当航行状态变化的情况下可能发生碰撞危险的标记为黄色，在当前航行状态下有碰撞危险的标记为红色；同时，对标记为红色的目标船舶向驾驶人发出预警，并向目标船舶发出示警信号，以便双方沟通调整。