CN111524392B - 一种辅助智能船舶远程驾驶的综合系统 - Google Patents
一种辅助智能船舶远程驾驶的综合系统 Download PDFInfo
- Publication number
- CN111524392B CN111524392B CN202010322867.4A CN202010322867A CN111524392B CN 111524392 B CN111524392 B CN 111524392B CN 202010322867 A CN202010322867 A CN 202010322867A CN 111524392 B CN111524392 B CN 111524392B
- Authority
- CN
- China
- Prior art keywords
- ship
- data
- chart
- chart system
- remote driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003416 augmentation Effects 0.000 claims abstract description 34
- 230000010354 integration Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- QZXCCPZJCKEPSA-UHFFFAOYSA-N chlorfenac Chemical compound OC(=O)CC1=C(Cl)C=CC(Cl)=C1Cl QZXCCPZJCKEPSA-UHFFFAOYSA-N 0.000 claims 1
- LFULEKSKNZEWOE-UHFFFAOYSA-N propanil Chemical compound CCC(=O)NC1=CC=C(Cl)C(Cl)=C1 LFULEKSKNZEWOE-UHFFFAOYSA-N 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Ocean & Marine Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及辅助智能船舶远程驾驶领域，尤其涉及一种辅助智能船舶远程驾驶的综合系统，包括：船端集成模块，用于获取各传感器数据和视频数据；2D海图系统，用于从海图文件中读取原始海图数据，经处理后得到并展示海图数据；3D海图系统，用于根据海图数据结合各传感器数据来进行船舶与周围环境的建模；现实增强系统，用于将各传感器数据与视频数据融合为AR实景界面，通过AR实景界面来监控识别他船；岸基服务器，用于控制2D海图系统、3D海图系统以及现实增强系统根据实际所需进行切换。本发明把海图系统很好地将岸基与无人船结合来形成一个综合操控的导航仪，能在远程岸端实现导航和监控，从而实现了无人船舶的可视化航行。
Description
技术领域
本发明涉及辅助智能船舶远程驾驶领域，具体的说是涉及一种辅助智能船舶远程驾驶的综合系统。
背景技术
现有技术的电子海图系统并不能很好的将岸基与无人船结合起来，不能综合辅助无人船岸基远程驾驶，也不能结合第三方数据库信息来识别船舶信息，尤其是不能对本船周围其他船舶的船舶信息、相对位置、距离等有一个大局上的把握。同时工作人员在船舶的离靠泊等复杂情况下，无法实现可视化远程监控和操作。
并且现有的电子海图系统往往是为本船定制地，不能普遍性、通用性地用于其他船只。
发明内容
(一)要解决的技术问题
为了解决上述问题，提出一种辅助智能船舶远程驾驶的综合系统，旨在于解决如何在海图系统上集成当前船岸协同技术与现实增强技术，并通过对他船AIS数据读取转化为可视化界面动态跟踪，帮助远程岸基操控人员对无人船舶实时态势做出准确判断的问题。
(二)技术方案
为了达到上述的目的，本发明提供一种辅助智能船舶远程驾驶的综合系统，包括：
船端集成模块，用于对本船行驶数据以及周围环境数据进行采集，得到各传感器数据和视频数据；
2D海图系统，用于从海图文件中读取原始海图数据，经处理后得到并展示海图数据；
3D海图系统，用于根据所述海图数据结合所述各传感器数据来进行船舶与周围环境的建模；
现实增强系统，用于将所述各传感器数据与所述视频数据融合为AR实景界面，通过所述AR实景界面来监控识别他船；
岸基服务器，用于控制所述2D海图系统、所述3D海图系统以及所述现实增强系统根据实际所需进行自由切换。
优选地，所述2D海图系统对所述海图文件进行载入处理，并通过优化传输端口和加载线程来优化2D海图系统显示界面。
优选地，所述海图数据包括海岸数据、浮标数据以及本船数据；所述各传感器数据至少包括GPS数据、AIS数据、罗经数据、雷达数据以及气象数据。
优选地，所述3D海图系统根据所述海岸数据构建海岸模型；
所述3D海图系统根据所述浮标数据构建浮标模型；
所述3D海图系统根据所述本船数据结合所述GPS数据和罗经数据构建本船模型；
所述3D海图系统根据所述AIS数据构建他船模型；
将所述海岸模型、所述浮标模型、所述本船模型以及所述他船模型通过关联融合的方式来构建船舶以及船舶周围环境的场景。
优选地，在所述3D海图系统中，当本船距离他船或者海岸小于第一距离时，会以线段的方式标注出本船与他船或海岸的距离。
优选地，所述3D海图系统结合所述雷达数据以点段的形式来绘制本船周围的静态障碍物体。
优选地，所述3D海图系统还设有分屏界面，所述分屏界面中的内容可360°旋转视角，以用于在所述3D海图系统上同时展示旋转视角前后的视图。
优选地，所述现实增强系统通过图像识别技术来对他船进行识别监控。
优选地，所述船端集成模块包括：枪机摄像头、球机摄像头和全景相机，通过配置所述船端枪机摄像头、所述球机摄像头和所述全景相机位置和数量来实现双目测距。
优选地，在所述综合系统上通过所述岸基服务器的远程指令来操控所述球机摄像头360°旋转以及所述枪机摄像头、所述球机摄像头和所述全景相机的视角切换。
(三)有益效果
本发明的有益效果为：本发明将2D海图系统、3D海图系统以及现实增强系统整合起来，从2D、3D、现实增强三个层次辅助智能船舶远程驾驶，这三个层次之间功能互补，相辅相成，使操作人员能够更好地把握本船、其他船舶和周围海况，提高了航行的安全性。同时2D海图系统、3D海图系统以及现实增强系统可以根据实际需求自由切换，以提高辅助智能船舶远程驾驶的便利性以及安全性。
附图说明
图1为本发明提供的一种辅助智能船舶远程驾驶的综合系统的组成示意图；
图2为本发明提供的一种辅助智能船舶远程驾驶的综合系统的2D海图系统的部分界面；
图3为本发明提供的一种辅助智能船舶远程驾驶的综合系统的2D海图系统的完整界面；
图4为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统的完整界面；
图5为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统中界面距离示意图；
图6为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统中以点段方式显示障碍物的示意图；
图7为本发明提供的一种辅助智能船舶远程驾驶的综合系统的分屏界面；
图8为本发明提供的一种辅助智能船舶远程驾驶的综合系统的现实增强系统的界面图；
图9为本发明提供的一种辅助智能船舶远程驾驶的综合系统的现实增强系统中识别船信息的标注示意图；
图10为本发明提供的一种辅助智能船舶远程驾驶的综合系统的综合了雷达界面(上)和AIS界面(下)的现实增强系统界面；
图11为本发明提供的一种辅助智能船舶远程驾驶的综合系统的结构示意图；
图12为本发明提供的一种辅助智能船舶远程驾驶综合系统的现实增强系统的识别流程示意图。
【附图标记说明】
100：一种辅助智能船舶远程驾驶的综合系统；
110：船端集成模块；
120：2D海图系统；
130：3D海图系统；
140：现实增强系统；
150：岸基服务器。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作进一步详细描述。
图1为本发明提供的一种辅助智能船舶远程驾驶的综合系统的组成示意图，如图1所示，该综合系统包括：船端集成模块110，用于对本船行驶数据以及周围环境数据进行采集，得到各传感器数据和视频数据；2D海图系统120，用于从海图文件中读取原始海图数据，经处理后得到并展示海图数据；3D海图系统130，用于根据海图数据结合各传感器数据来进行船舶与周围环境的建模；现实增强系统140，用于将各传感器数据与视频数据融合为AR实景界面，通过AR实景界面来监控识别他船；岸基服务器150，用于控制2D海图系统120、3D海图系统130以及现实增强系统140根据实际所需进行自由切换。
本发明将2D海图系统120、3D海图系统130以及现实增强系统140整合起来，从2D、3D、现实增强三个层次辅助智能船舶远程驾驶，这三个层次之间功能互补，相辅相成，使操作人员能够更好地把握本船、其他船舶和周围海况，提高了航行的安全性。同时2D海图系统120、3D海图系统130以及现实增强系统140可以根据实际需求自由切换，以提高辅助智能船舶远程驾驶的便利性以及安全性。
接着，船端集成模块110包括GPS模块、AIS模块、电子罗经、雷达、测深仪、风向风速仪以及计程仪。且GPS模块、AIS模块、电子罗经、雷达、测深仪、风向风速仪、计程仪以及水下雷达以串口的方式相连。
如图2与图3所示，图2为本发明提供的一种辅助智能船舶远程驾驶的综合系统的2D海图系统的部分界面，图3为本发明提供的一种辅助智能船舶远程驾驶的综合系统的2D海图系统的完整界面。2D海图系统120包括：数据读取模块，用于从海图文件中读取原始海图数据；预处理模块，用于分析处理原始海图数据，删除冗余数据，得到海图数据；数据存储模块，用于将测试或航行过程中本船的轨迹、状况以及周围船舶、海况信息等进行存储，以便后期使用；显示模块，用于显示海图数据。数据读取模块预留出相应海图数据端口。预处理模块处理原始海图数据后，根据需要控制原始海图数据的显隐性(即显示所需要的数据，隐藏不需要的数据)，从而得到所需要的显示界面。值得一提地，2D海图系统120还可以叠加显示各传感器数据以及进行信息的标绘。本发明的2D海图系统120拥有当前市面上海图的基本功能，2D海图系统120主要实现了船舶信息查询，航线规划，航迹查询，距离测量等功能，同时可以将购买或自主开发的海图系统嵌入，具有极大的便利性。
而且，2D海图系统120对于接收的海图文件会进行载入处理，并通过优化传输端口和加载线程来优化2D海图系统120的显示界面。本发明将传输端口分为数据端口、控制端口和状态端口，通过分析各个传输端口传输的数据类型和数据量来合理规划传输端口的属性，提高了软件运行速率和数据传输速度。采用多线程的方式读取和处理海图数据，提高了运行效率和数据的准确性。
上述的海图数据包括海岸数据、浮标数据以及本船数据；各传感器数据至少包括GPS数据、AIS数据、罗经数据、雷达数据以及气象数据。气象数据包括天气、温度、气压、风向、风速、海浪以及能见度。
继而，3D海图系统130根据海岸数据构建海岸模型；3D海图系统130根据浮标数据构建浮标模型；3D海图系统130根据本船数据结合GPS数据和罗经数据构建本船模型；3D海图系统130根据AIS数据构建他船模型；将海岸模型、浮标模型、本船模型以及他船模型通过关联融合的方式来构建船舶以及船舶周围环境的场景。这些模型分为三个层次：(1)航标均采用精细的方式制作，并以点状要素形式表现；(2)桥梁、码头、船舶、沿岸标志型建筑物，保持几何样式和纹理特征即可；(3)陆上其他地物，只表示大致轮廓和几何形态，并以面状要素呈现。
如图4所示，图4为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统的完整界面。3D海图系统130主要通过读取海图数据以及解析船端集成模块110所回传的各传感器数据来进行船舶、陆地、障碍物等物体的建模和信息标绘。3D海图系统130主要显示了本船信息、他船信息、浮标数据以及本船与他船以及海岸的距离线。
进一步地，如图5所示，图5为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统中界面距离示意图。3D海图系统130会分析海图中的陆地位置数据、他船位置和本船位置，当本船距离他船或者海岸小于第一距离时，会以线段的方式标注出本船与他船或海岸的距离。第一距离的设置是根据船体大小和动力性能来设定，具体可以分为多种模式：如靠离泊状态时第一距离可以设定为几米到十几米，较佳的可设为为5米到15米；在海上航行时，为了防撞避碰可以设定为几十米到几百米，较佳的可设为为50米到300米。
进一步地，如图6所示，图6为本发明提供的一种辅助智能船舶远程驾驶的综合系统的3D海图系统中以点段方式显示障碍物的示意图。3D海图系统130结合雷达数据以点段的形式来绘制本船周围的静态障碍物体，这是为了更好地保障智能船舶的远程驾驶，避免视野盲区，且与其他监控手段进行相互补充。
更进一步地，如图7所示，图7为本发明提供的一种辅助智能船舶远程驾驶的综合系统的分屏界面。3D海图系统130还设置有分屏界面，在分屏界面中的内容可以360°旋转视角，以用于在3D海图系统130上同时展示旋转视角前后的视图，这样就能在3D海图系统130上可以多角度地观察船舶周围地情况。
而如图8所示，图8为本发明提供的一种辅助智能船舶远程驾驶的综合系统的现实增强系统的界面图。本发明通过现实增强系统140将各传感器数据与视频数据融合为AR实景界面。现实增强系统140具有的船舶检测识别、信息标注和3D系统他船建模后的信息标注的功能，可以让使用者实时把握周围船舶的航向、速度、距离等信息。
现实增强系统140通过AR实景界面来监控识别他船。现实增强系统140主要实现了物体识别检测、识别船舶的信息标定、所识别障碍物的双目测距、固态导航雷达、AIS对附近障碍物和船舶的实时标定，本船实时数据显示以及远程控制船端摄像头切换等功能。
如图9所示，图9为本发明提供的一种辅助智能船舶远程驾驶的综合系统的现实增强系统中识别船信息的标注示意图，具体地，现实增强系统140是通过图像识别技术来对他船进行识别监控。现实增强系统140通过图像处理算法识别他船用白框标识，当他船进入到警示范围内时用鲜艳红色框体突出标示他船并显示DCPA(英文全称Distance to ClosestPoint ofApproach，即最近会遇距离)，TCPA(英文全称Time for Closest PointofApproach，即最小会遇时间)，再通过调用AIS大数据库的开放API读取他船基本信息并显示。现实增强系统140采用图像识别技术的优异之处在于，可实时监控当前无人船可视范围内的情况，有助于协助岸基操控人员对无人船态势做出准确判断，提高无人船航行安全性。且图9所示的港口区域，港口的AR实景图显示了靠离泊的船舶、码头泊位以及周围环境，给工作人员真实且全面的船舶以及船舶周围的环境信息，使其能够在船舶离靠泊时能执行正确的操作。
船端集成模块110还包括：枪机摄像头、球机摄像头和全景相机，通过配置枪机摄像头、球机摄像头和全景相机位置和数量来实现双目测距。具体地，枪机摄像头、球机摄像头和全景相机的位置和数量的配置的影响因素为：船体的大小、构造、外形、摄像头的视角宽度以及各传感器数据。该双目测距法要比单目测距、经纬度测距等方式拥有更高的准确性。
在综合系统上通过岸基服务器150的远程指令来操控球机摄像头360°旋转以及枪机摄像头、球机摄像头和全景相机的视角切换。球机摄像头具有360°的旋转视角。现实增强系统140通过结合AIS数据和GPS数据计算他船相对于本船的角度和距离，且通过枪机摄像头、球机摄像头和全景相机中的一种或多种类型的摄像头来进行标定计算画面中船的准确相对角度和距离，从而将球机摄像头中的标定的他船进行信息标注(所标注的信息来自AIS数据库中的相应匹配船信息)。如图10所示，图10为本发明提供的一种辅助智能船舶远程驾驶的综合系统的综合了雷达界面(上)和AIS界面(下)的现实增强系统界面。右侧窗口为雷达窗口和AIS窗口，具体地，雷达窗口所使用的雷达为固态导航雷达，固态导航雷达将扫描到地动态物体的位置描绘在窗口上。AIS窗口是通过分析他船AIS数据中的经纬度信息和本船的GPS信息，以本船为中心，将附近船舶位置标绘出，雷达界面(上)和AIS界面(下)互为补充。
综上所述，如图11所示，图11为本发明提供的一种辅助智能船舶远程驾驶的综合系统的结构示意图。本发明包括船端集成模块110以及设置在岸基一侧的岸基服务器150、2D海图系统120以及3D海图系统130。其中，船端集成模块110包括GPS模块、AIS模块、电子罗经、雷达、测深仪、风向风速仪、计程仪、枪机摄像头、球机摄像头以及全景相机。
船端集成模块110与岸基服务器150通过Vdes(VHF Data Exchange System，甚高频数据交换系统)通讯模块、4G/5G网络以及卫星这三者之一进行通讯。
2D海图系统120用于显示本船的航行状态、周边船舶信息以及周边环境信息，周边环境信息包括海况以及水文信息，并且能实时更新目标船舶的航行状态以及周边船舶信息。同时还具备矢量分析海图整体数据、航线查询、航线规划以及数据记录与回放的功能，且自动保存船舶的航行记录并回放历史轨迹，可查询1-12个的无人船舶的航行轨迹，并在回放航行过程中动态监测数据。
3D海图系统130则通过对本船、他船以及周围环境建模来更加直观显示无人船靠离码头及近海区域的情况，为保障无人船在近海及复杂海况条件下的安全提供了有力支撑。
岸基服务器150接收并管理各传感器数据以及视频数据，同时岸基服务器150还监控各传感器的状态参数、2D海图系统120的运行参数以及3D海图系统130的运行参数，根据各传感器的状态参数、2D海图系统120的运行参数以及3D海图系统130的运行参数来判断无人船舶的航行状态和船端集成模块110的运行状态，若发现运行故障或航线偏离则发出报警信号，提示工作人员及时处理。
值得一提的是，本发明还为指令传输以及船端集成模块110进行了端口配置和端口优化，以便于数据的实时传输和防止数据之间的干扰。
而本发明利用现实增强系统140将视频数据生成虚拟场景并合并成实景视频，并通过图像识别技术来识别标记船只，同时调取AIS数据库中他船的基本信息。各传感器数据包括GPS数据、AIS数据、罗经、航向、航速、航程以及天气、温度、气压、风向、风速、海浪以及能见度。
如图12所示，图12为本发明提供的一种辅助智能船舶远程驾驶综合系统的现实增强系统的识别流程示意图。现实增强系统140从船端集成模块110中获取GPS数据、AIS数据、雷达数据、视频数据以及气象数据，对其中的AIS数据、雷达数据以及视频数据进行处理，并通过图像识别技术来监控识别他船以及抓取周边他船的位置，最终在岸基屏幕上显示。
因此，本发明是一种集成一体化的综合辅助系统，采取了简便、使用灵活、性价比高，同时又稳定可靠的方案，仅通过单一设备就能实现在岸端对无人船舶的定位导航。本发明集成了当前船岸协同技术与现实增强技术，增强了人机互动的功能，通过对他船AIS数据读取转化为AR实景界面来进行动态跟踪，极大的方便了工作人员在岸端对无人船舶做出准确的操作，提高了船舶的航行效率以及航行安全。
本发明把海图系统很好地将岸基与无人船结合起来，形成一个适用于远程综合操控的导航仪，不仅是硬件上一种简单集成，而是将物联网技术运用到无人船舶领域，形成专属无人船舶的远程导航系统。而且海图系统结合导航数据和气象数据在远程岸端实现导航监控等需求，从而实现了无人船舶的可视化的安全航行。同时本发明通过对他船AIS数据读取转化为可视化界面动态跟踪，帮助远程岸基操控人员对无人船舶实时态势做出准确判断，很好的解决了无人船舶航行驾驶安全的问题。
需要理解的是，以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。
Claims (5)
1.一种辅助智能船舶远程驾驶的综合系统，其特征在于，所述综合系统应用于无人船舶，所述综合系统包括：
船端集成模块，用于对本船行驶数据以及周围环境数据进行采集，得到各传感器数据和视频数据；
2D海图系统，用于从海图文件中读取原始海图数据，经处理后得到并展示海图数据；所述2D海图系统对所述海图文件进行载入处理，并通过优化传输端口和加载线程来优化2D海图系统显示界面；所述2D海图系统还可以叠加显示各传感器数据以及进行信息的标绘，同时可以将购买或自主开发的海图系统嵌入；
3D海图系统，用于根据所述海图数据结合所述各传感器数据来进行船舶与周围环境的建模；
所述3D海图系统结合所述各传感器数据中的雷达数据以点段的形式来绘制本船周围的静态障碍物体；所述海图数据包括海岸数据、浮标数据以及本船数据；所述各传感器数据至少包括GPS数据、AIS数据、罗经数据、雷达数据以及气象数据；所述3D海图系统根据所述海岸数据构建海岸模型；所述3D海图系统根据所述浮标数据构建浮标模型；所述3D海图系统根据所述本船数据结合所述GPS数据和罗经数据构建本船模型；所述3D海图系统根据所述AIS数据构建他船模型；将所述海岸模型、所述浮标模型、所述本船模型以及所述他船模型通过关联融合的方式来构建船舶以及船舶周围环境的场景；
现实增强系统，用于将所述各传感器数据与所述视频数据融合为AR实景界面，通过所述AR实景界面来监控识别他船；
所述现实增强系统通过图像识别技术来对他船进行识别监控；
所述现实增强系统通过图像处理算法识别他船用白框标识，当他船进入到警示范围内时用鲜艳红色框体突出标示他船并显示最近会遇距DCPA和最小会遇时间TCPA，再通过调用AIS大数据库的开放API读取他船基本信息并显示；
岸基服务器，用于控制所述2D海图系统、所述3D海图系统以及所述现实增强系统根据实际所需进行自由切换。
2.根据权利要求1所述的一种辅助智能船舶远程驾驶的综合系统，其特征在于，在所述3D海图系统中，当本船距离他船或者海岸小于第一距离时，会以线段的方式标注出本船与他船或海岸的距离。
3.根据权利要求1所述的一种辅助智能船舶远程驾驶的综合系统，其特征在于，所述3D海图系统还设有分屏界面，所述分屏界面中的内容可360°旋转视角，以用于在所述3D海图系统上同时展示旋转视角前后的视图。
4.根据权利要求1所述的一种辅助智能船舶远程驾驶的综合系统，其特征在于，所述船端集成模块包括：枪机摄像头、球机摄像头和全景相机，通过配置所述船端枪机摄像头、所述球机摄像头和所述全景相机位置和数量来实现双目测距。
5.根据权利要求4所述的一种辅助智能船舶远程驾驶的综合系统，其特征在于，在所述综合系统上通过所述岸基服务器的远程指令来操控所述球机摄像头360°旋转以及所述枪机摄像头、所述球机摄像头和所述全景相机的视角切换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010322867.4A CN111524392B (zh) | 2020-04-22 | 2020-04-22 | 一种辅助智能船舶远程驾驶的综合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010322867.4A CN111524392B (zh) | 2020-04-22 | 2020-04-22 | 一种辅助智能船舶远程驾驶的综合系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111524392A CN111524392A (zh) | 2020-08-11 |
| CN111524392B true CN111524392B (zh) | 2022-05-06 |
Family
ID=71903386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010322867.4A Active CN111524392B (zh) | 2020-04-22 | 2020-04-22 | 一种辅助智能船舶远程驾驶的综合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524392B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112869969B (zh) * | 2021-01-14 | 2023-01-17 | 安徽金百合医疗器械有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
| CN112907728B (zh) * | 2021-01-27 | 2023-04-11 | 北京邮电大学 | 基于摄像头和边缘计算的船舶场景还原和定位方法及系统 |
| CN113238556A (zh) * | 2021-05-14 | 2021-08-10 | 西北工业大学 | 一种基于虚拟现实的水面无人船控制系统及方法 |
| CN113487760B (zh) * | 2021-07-28 | 2023-07-21 | 大连海事大学 | 一种智能船舶的轮机系统 |
| CN113942623A (zh) * | 2021-09-18 | 2022-01-18 | 武汉理工大学 | 一种智慧航行平台和航行方法 |
| CN113851019A (zh) * | 2021-09-29 | 2021-12-28 | 北京中交通信科技有限公司 | 一种基于北斗定位的船舶碰撞预警方法及装置 |
| CN114115548A (zh) * | 2022-01-29 | 2022-03-01 | 亿海蓝（北京）数据技术股份公司 | 船舶信息显示方法及系统、电子设备、可读存储介质 |
| CN115830261A (zh) * | 2023-01-06 | 2023-03-21 | 交通运输部水运科学研究所 | 2d地图与3d孪生实景结合的航运监控方法及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103728826B (zh) * | 2013-12-16 | 2017-04-12 | 山东鲁信睿浩视觉技术有限公司 | 一种全自动切换投影立体成像器3d/2d放映模式的控制系统 |
| CN105241457A (zh) * | 2015-08-10 | 2016-01-13 | 武汉理工大学 | 一种用于船舶驾驶的三维辅助导航系统建立方法 |
| US9460616B1 (en) * | 2015-12-16 | 2016-10-04 | International Business Machines Corporation | Management of mobile objects and service platform for mobile objects |
| CN107015654A (zh) * | 2017-04-10 | 2017-08-04 | 深圳大学 | 基于增强现实的导航方法及装置 |
| CN108550281A (zh) * | 2018-04-13 | 2018-09-18 | 武汉理工大学 | 一种基于视觉ar的船舶辅助驾驶系统与方法 |
| CN109739238A (zh) * | 2019-01-16 | 2019-05-10 | 大连海事大学 | 一种船舶自动靠离泊系统及其工作方法 |
| CN110009731A (zh) * | 2019-04-09 | 2019-07-12 | 中船第九设计研究院工程有限公司 | 一种船舶辅助驾驶的三维场景构建方法 |
-
2020
- 2020-04-22 CN CN202010322867.4A patent/CN111524392B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111524392A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524392B (zh) | 一种辅助智能船舶远程驾驶的综合系统 | |
| US11328155B2 (en) | Augmented reality labels systems and methods | |
| US10942028B2 (en) | Video sensor fusion and model based virtual and augmented reality systems and methods | |
| US10908678B2 (en) | Video and image chart fusion systems and methods | |
| CN109084747B (zh) | 基于通用三维引擎的水上交通全景三维导航系统及方法 | |
| US20210206459A1 (en) | Video sensor fusion and model based virtual and augmented reality systems and methods | |
| US11892298B2 (en) | Navigational danger identification and feedback systems and methods | |
| US20220172464A1 (en) | Water non-water segmentation systems and methods | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| US20220392211A1 (en) | Water non-water segmentation systems and methods | |
| CN111625159B (zh) | 用于远程驾驶的人机交互操作界面显示方法、装置和终端 | |
| WO2021178603A1 (en) | Water non-water segmentation systems and methods | |
| CN115723919B (zh) | 一种船舶偏航的辅助航行方法及装置 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| CN114820997A (zh) | 一种无人船虚实融合多孪生智能感知增强方法 | |
| CN113110514A (zh) | 一种基于大数据的无人船航行避障系统及方法 | |
| Nomura et al. | Study of 3D measurement of ships using dense stereo vision: towards application in automatic berthing systems | |
| CN113780127A (zh) | 一种船舶定位与监控系统及方法 | |
| CN111258322A (zh) | 一种基于增强现实技术的船用驾驶辅助装置及方法 | |
| CN117542225A (zh) | 一种增强现实船舶辅助航行系统 | |
| KR20220128141A (ko) | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 | |
| CN113341947A (zh) | 一种基于船舶信息化平台的水上立体搜救系统 | |
| CN113942623A (zh) | 一种智慧航行平台和航行方法 | |
| CN115115777B (zh) | 一种基于slam技术的船舶进出港三维场景重建与展示系统 | |
| Zhang et al. | Situation display system of USV auxiliary navigation based on virtual and reality fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A comprehensive system for assisting intelligent ship remote driving Granted publication date: 20220506 Pledgee: Societe Generale Limited by Share Ltd. Qingdao branch Pledgor: NAVIGATION BRILLIANCE (QINGDAO) TECHNOLOGY Co.,Ltd. Registration number: Y2024370010101 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |