CN111625159A - 用于远程驾驶的人机交互操作界面显示方法、装置和终端 - Google Patents

用于远程驾驶的人机交互操作界面显示方法、装置和终端 Download PDF

Info

Publication number
CN111625159A
CN111625159A CN202010451769.0A CN202010451769A CN111625159A CN 111625159 A CN111625159 A CN 111625159A CN 202010451769 A CN202010451769 A CN 202010451769A CN 111625159 A CN111625159 A CN 111625159A
Authority
CN
China
Prior art keywords
interface
human
unmanned ship
view
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010451769.0A
Other languages
English (en)
Other versions
CN111625159B (zh
Inventor
王晓原
夏媛媛
姜雨函
杨顺利
张鹏元
董迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navigation Brilliance Qingdao Technology Co Ltd
Original Assignee
Navigation Brilliance Qingdao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navigation Brilliance Qingdao Technology Co Ltd filed Critical Navigation Brilliance Qingdao Technology Co Ltd
Priority to CN202010451769.0A priority Critical patent/CN111625159B/zh
Publication of CN111625159A publication Critical patent/CN111625159A/zh
Application granted granted Critical
Publication of CN111625159B publication Critical patent/CN111625159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本发明属于智能船舶技术领域,具体涉及一种用于远程驾驶的人机交互操作界面显示方法、装置和终端。该方法包括:生成显示模式操作界面,接收用户的第一操作指令;响应于所述第一操作指令,生成无人船航行监控界面;在所述无人船航行监控界面中生成切换操作窗口和状态操作窗口,通过状态操作窗口接收用户的第二操作指令;响应于所述第二操作指令,在所述监控界面中生成无人船运行状态提示信息;基于所述监控界面、所述切换操作窗口和所述无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。本发明方法能够直观显示船舶航行环境,并对他船运行状态进行可视化远程监控,从而远程岸基操控人员能对无人船舶实时态势做出准确判断。

Description

用于远程驾驶的人机交互操作界面显示方法、装置和终端
技术领域
本发明属于智能船舶技术领域,具体涉及一种用于远程驾驶的人机交互操作界面显示方法、装置和终端。
背景技术
海运船舶驾驶中使用各种现代化的导航设备和雷达设备,能够在很短的时间间隔内获取精确可靠的关于船位、船舶运动参数以及周围环境方面的信息。电子海图系统能够把本船的位置、所处的静态环境、周围的动态目标信息显示在一个屏幕上,使得船舶驾驶员能够迅速地获取所有这些信息,及时地做出操船决策。无人船远程驾驶基于电子海图系统,不能直观显示船舶航行环境,也不能对他船运行状态进行可视化远程监控,以致远程岸基操控人员无法对无人船舶实时态势做出准确判断。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足,本申请提出了一种用于远程驾驶的人机交互操作界面显示方法、装置和终端,解决了现有电子海图不能直观显示船舶航行环境,也不能对他船运行状态进行可视化远程监控,以致远程岸基操控人员无法对无人船舶实时态势做出准确判断的问题。
(二)技术方案
为达到上述目的,本发明采用如下技术方案:
第一方面,本发明实施例提供一种用于远程驾驶的人机交互操作界面显示方法,其特征在于,该方法包括:
生成显示模式操作界面,接收用户的第一操作指令;
响应于所述第一操作指令,生成无人船航行监控界面,所述无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
在所述无人船航行监控界面中生成切换操作窗口,所述切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
在所述无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
响应于所述第二操作指令,在所述监控界面中生成无人船运行状态提示信息;
基于所述监控界面、所述切换操作窗口和所述无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
可选地,所述2D视图,基于海图数据结合实时的本船和他船数据将本船与他船的信息、船舶周围海况信息进行显示。
可选地,所述3D视图,针对识别出的他船与本船的距离生成提示符。
可选地,所述AR监控视图,所述AR监控视图,基于AIS设备数据通过图像识别技术识别视频中他船并进行相应信息标绘,以及通过视觉增强技术提高低能见度天气条件下所呈现的视频画面的清晰度。
可选地,所述无人船运行状态提示信息通过GPS、AIS、罗经、计程仪、风向风速仪、测深仪、ARPA雷达中的一个或多个获取。
可选地,所述人机交互操作界面中还包括船舶到离港提醒信息。
可选地,所述人机交互操作界面中还包括天气、温度、气压、风向、风速、海浪、能见度中的一种或多种海洋气象信息。
第二方面,本发明实施例提供一种用于远程驾驶的人机交互操作界面显示装置,该装置包括:
第一指令接收模块,配置为生成显示模式操作界面,接收用户的第一操作指令;
监控界面生成模块,配置为响应于所述第一操作指令,生成无人船航行监控界面,所述无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
切换窗口生成模块,配置为在所述无人船航行监控界面中生成切换操作窗口,所述切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
第二指令接收模块,配置为在所述无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
状态提示生成模块,配置为响应于所述第二操作指令,在所述监控界面中生成无人船运行状态提示信息;
交互界面生成模块,配置为基于所述监控界面、所述切换操作窗口和所述无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
第三方面,本发明实施例提供一种终端设备,该终端设备包括上述的用于远程驾驶的人机交互操作界面显示装置。
(三)有益效果
本发明的有益效果是:本发明提出一种用于远程驾驶的人机交互操作界面显示方法,通过结合多种现实增强技术,可对他船信息数据处理转化为可视化界面动态跟踪;通过3D视图,可以更直观的为岸基人员显示当前船舶航行环境。无人船航行监控界面中生成切换操作窗口,并进行告警提示,可使岸基人员在远程操控无人船舶驾驶过程中更便捷获取告警信息,并深化了人机交互功能。基于本发明的显示装置和终端可使远程岸基操控人员对无人船舶实时态势做出准确判断,有效提高了无人船舶远程操控的安全性和可靠性。
附图说明
本申请借助于以下附图进行描述:
图1为本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法流程示意图;
图2a为本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法2D功能界面示例图;
图2b为本申请另一个实施例中的用于远程驾驶的人机交互操作界面显示方法2D功能界面示例图;
图3a为本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法3D功能界面单视角显示示例图;
图3b为本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法3D功能界面两视角显示示例图;
图4为本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法AR功能界面示例图;
图5为本申请再一个实施例中用于实现人机交互操作界面的无人船舶远程驾驶系统设计架构示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
针对现有电子海图不能直观显示船舶航行环境,也不能对他船运行状态进行可视化远程监控,以致远程岸基操控人员无法对无人船舶实时态势做出准确判断的问题,本发明实施例提出了一种用于远程驾驶的人机交互操作界面显示方法,通过无人船航行监控界面、切换操作窗口和无人船运行状态提示信息,能够对航行环境他船信息数据处理转化为可视化界面动态跟踪。其中,该用于远程驾驶的人机交互操作界面显示方法包括:
生成显示模式操作界面,接收用户的第一操作指令;
响应于第一操作指令,生成无人船航行监控界面,无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
在无人船航行监控界面中生成切换操作窗口,切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
在无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
响应于第二操作指令,在监控界面中生成无人船运行状态提示信息;
基于监控界面、切换操作窗口和无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
本发明方法把电子海图、视频监控、岸基操控结合起来,基于电子海图、船端导航数据、视频数据,同时利用3D显示技术和AR技术,在远程岸端,实现了无人船的远程监控,从而实现无人船舶的可视化的航行。通过用户指令来设置视图和运行状态信息的显示,方便不同应用场景时的使用需求,方便用户对无人船的操作,大大提高了无人船的行驶安全性,是一种适用于无人船远程综合操控的显示方法。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更清楚、透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本实施例的实施主体是无人船舶远程驾驶系统,该系统包括设置于岸基的岸基服务器系统和和设置于船端的客户端系统,客户端系统用于对本船行驶数据以及周围环境数据进行采集,得到各传感器数据和视频数据;岸基服务器系统包括:2D海图系统,用于从海图文件中读取原始海图数据,经处理后得到并展示海图数据;3D海图系统,用于根据海图数据结合各传感器数据来进行船舶与周围环境的建模;现实增强系统,用于将各传感器数据与视频数据融合为AR实景界面,通过AR实景界面来监控识别他船;控制系统,用于控制2D海图系统、3D海图系统以及现实增强系统根据实际所需进行切换。其中,岸基服务器系统可采用本实施例中描述的用于远程驾驶的人机交互操作界面显示方法。
图1为该实施例中的用于远程驾驶的人机交互操作界面显示方法流程示意图。下面结合图1对该实施例中各步骤进行展开详述。
如图1所示,该用于远程驾驶的人机交互操作界面显示方法流包括:
S10、生成显示模式操作界面,接收用户的第一操作指令。
本实施例中提供自定义模板,用户可直接使用该模板快捷的完成对无人船航行计划监控设计。
S20、响应于第一操作指令,生成无人船航行监控界面,无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种。
本实施例基于岸基服务器系统和船端客户端系统。船端客户端系统通过局域网下调用另一台主机的系统内核,该内核支持调用船舶识别检测算法,客户端系统还通过根据岸基服务器系统需求,将船端监控系统数据,AIS、GPS、罗经、雷达等船端设备数据发送到基站;岸基服务器系统解析数据并作处理后,将数据信息展示在无人船航行监控界面上。在监控界面中,可以同时显示多个视图进行多屏操作,从而直观显示他船信息,提高了岸基操控员的工作效率。
本实施例中,2D视图,基于海图数据结合实时的本船和他船数据将本船与他船的信息、船舶周围海况信息进行显示;3D视图,基于海图中的陆地及岛屿信息,结合实时的本船和他船数据信息,对陆地、岛屿、浮标、本船、他船等进行建模显示。
进一步地,3D视图针对识别出的本船与他船的距离生成提示符。例如,距离提示符可以是本船与他船之间的连线,在连线上标注距离。此外,3D视图中还可以以这种距离线的形式我船与陆地的距离。
进一步地,3D视图中可以设置浮标模型、他船模型、他船航行轨迹、搁浅区、指向罗盘等的显隐性;还可以通过不同高度视角对视图进行查看。
本实施例中,无需切换其他信息平台还可嵌入其他开源信息平台数据提供给岸基操控人员他船相关信息、例如AIS信息,AR监控视图基于AIS数据通过图像识别技术识别视频中他船基本信息,并在岸基屏幕上显示,从而监控船舶航行状态。可直接将平面电子海图通过算法绘制成3D海图,可更直观的为岸基人员显示当前船舶航行环境。
进一步地,在本申请的一个实施例中,AR监控视图通过视觉增强技术提高低能见度天气条件下所呈现的视频画面的清晰度。通过视觉增强技术可涵盖至少1海里的视程距离,包括在黑夜、大雾、暴雨等低能见度天气条件下保持所呈现的视频画面的清晰平稳。
该实施例提供的AR场景增强显示,可以通过球形360度高清摄像头捕捉当前无人船航行画面,通过神经网络算法对画面中出现的船舶进行识别并结合显示增强技术在可视终端显示他船航行信息,从而可帮助岸基运控人员实时监控当前无人船可视范围内的情况,更方便、快捷、直观的接收到当前航行状态,有助于协助岸基操控人员对无人船态势做出准确判断,提高无人船航行安全性
S30、在无人船航行监控界面中生成切换操作窗口,切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示。
自动接收船舶航行信息,并传递给岸基场景,岸基操控人员可以直接通过平台监控船舶航行状态。不同视图中可以根据不同的监控信息设备告警提示。当出现不同的告警提示时,在切换操作窗口中会出现提示信息,例如可以是按键颜色的改变,以便操控人员能够迅速的打开相应视图查看。
S40、在无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令。
S50、响应于第二操作指令,在监控界面中生成无人船运行状态提示信息。
在本实施例中,无人船运行状态提示信息可以是通过GPS、AIS、罗经、计程仪、风向风速仪、测深仪、ARPA雷达中的一个或多个获取的监控信息。
S60、基于监控界面、切换操作窗口和无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
在本申请的一个实施例中,人机交互操作界面中还包括船舶到离港提醒信息。
在本申请的一个实施例中,人机交互操作界面中还包括天气、温度、气压、风向、风速、海浪、能见度中的一种或多种海洋气象信息。
图2a和图2b示出了本申请一个实施例和另一个实施例中用于远程驾驶的人机交互操作界面显示方法2D功能界面。界面右侧显示我船信息、他船信息和他船相对于我船相应的信息;左上方为功能菜单栏;2D模式俯视图可显示当前目标无人船及周边海况。还可显示当前区域海图、海况、水文气象信息,并实时更新无人船航行状态及周边船舶信息。
图3a示出了本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法中的3D功能界面单视角显示视图,图3b示出了本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法中的3D功能界面两视角显示视图。用3D建模成技术对港口周边环境建模,可更直观显示无人船靠离泊码头及近海区域,为保障无人船在近海及复杂海况条件下的安全提供有力支撑。
图4示出了本申请一个实施例中的用于远程驾驶的人机交互操作界面显示方法AR功能界面。
电子海图系统具有AR实景监控识别他船功能。通过船端360°多角度可操控摄像头将实景图像进行高清采集后,AR通过图像处理算法识别它船用白框标识,当它船进入到警示范围内时用鲜艳红色框体(图中为灰色显示)突出标示它船并显示DCPA(英文全称Distance of Closest Point of Approach,即最近会遇距离)和TCPA(英文全称Time toClosest Point of Approach,即最小会遇时间)。再通过调用AIS大数据库的开放API读取它船基本信息并显示。
本申请提出的用于远程驾驶的人机交互操作界面显示方法实现了一种一体化的远程综合辅助系统界面,在综合远程视频监控、电子海图、AIS信息显示等功能的同时嵌入当前最新的船岸协同技术与现实增强技术,增强人机交互功能,通过跨平台整合多项远程辅助功能实现对他船信息数据处理转化为可视化界面动态跟踪,大大提高工作效率避免在多个平台切换,并帮助远程岸基操控人员对无人船舶实时态势做出准确判断,提高无人船舶航行驾驶安全。
请参阅图5,图5为本申请再一个实施例中用于实现人机交互操作界面的无人船舶远程驾驶系统设计架构示意图。该架构由硬件层、逻辑层和应用层构成。其中,硬件层可以是终端设备或服务器系统的硬件平台,逻辑层包括在硬件平台基础上的操作系统和嵌入式集成模块。其中,嵌入式集成模块可以包括:包括船舶识别检测模块、船端数据压缩发送模块、船端数据解压处理模块。
船舶识别检测模块用于船端客户端系统,船端客户端系统以嵌入式模块调用的方式调用船舶识别检测算法,降低了船舶客户端系统运行设备的设备要求,提高了识别检测效率。
船端数据压缩发送模块用于船端客户端系统,船端客户端系统以嵌入式模块调用的方式向岸基发送压缩处理的船端数据,提高了船端数据的实时性和稳定性。
船端数据解压处理模块用于岸基服务器系统,岸基服务器系统以嵌入式模块调用的方式接收处理船端远程回传的船端数据,提高数据解析的速率的同时,也提高了数据的实时性和稳定性。
应用层实现用于远程驾驶的人机交互操作界面显示方法,由用户界面、功能场景、图形库、界面组件、界面数据、3D模型绘制库、通用数据结构组成。功能场景是指分为2D、3D、AR三个界面从不同场景对船周边环境进行展示;图形库是加载无人船航行监控界面所需要的所有控件图标、底图等所需图像;界面组件是指2D、3D、AR三个界面中显示视频、数据或模型的组件集合;界面数据是指船端客户端系统远程回传回来的船端监控系统数据和船端设备数据在岸基服务器处理后的可视化数据集合;3D模型绘制库是航海界通用的船舶模型、陆地模型、建筑模型等无人船航行监控3D界面所需模型的模型库;通用数据结构是将船端客户端系统远程回传回来的船端监控系统数据和船端设备数据处理后,存为2D、3D、AR三个界面都可使用的通用数据,方便各个界面的使用。
第二方面,本申请还提供一种用于远程驾驶的人机交互操作界面显示装置,该装置包括:
第一指令接收模块,配置为生成显示模式操作界面,接收用户的第一操作指令;
监控界面生成模块,配置为响应于第一操作指令,生成无人船航行监控界面,无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
切换窗口生成模块,配置为在无人船航行监控界面中生成切换操作窗口,切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
第二指令接收模块,配置为在无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
状态提示生成模块,配置为响应于第二操作指令,在监控界面中生成无人船运行状态提示信息;
交互界面生成模块,配置为基于监控界面、切换操作窗口和无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
在该装置的一个实施例中,用来实现该实施例的计算机系统可以是终端设备或服务器。用来实现该实施例的计算机系统可以包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的用于远程驾驶的人机交互操作界面显示装置,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
第三方面,本申请还提供一种终端设备,该终端设备包括上述的用于远程驾驶的人机交互操作界面显示装置。
本申请中第三方面及其各种实现方式的描述,可以参考第一方面及其各种实现方式中的详细描述,此处不再展开描述。
本申请的终端设备是集成一体化的综合辅助系统,采用了简便、实用、使用灵活、性价比高,稳定可靠的方案,通过单一设备就可以实现在岸端对无人船舶的定位导航。其特点在于使用方便,安全可靠,在无人船远程操控中可以发挥极大的作用。该系统不仅是硬件上一种简单集成,而是将物联网技术运用到无人船舶领域,形成专属无人船舶的远程导航系统。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。

Claims (9)

1.一种用于远程驾驶的人机交互操作界面显示方法,其特征在于,该方法包括:
生成显示模式操作界面,接收用户的第一操作指令;
响应于所述第一操作指令,生成无人船航行监控界面,所述无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
在所述无人船航行监控界面中生成切换操作窗口,所述切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
在所述无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
响应于所述第二操作指令,在所述监控界面中生成无人船运行状态提示信息;
基于所述监控界面、所述切换操作窗口和所述无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
2.根据权利要求1所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述2D视图,基于海图数据结合实时的本船和他船数据将本船与他船的信息、船舶周围海况信息进行显示。
3.根据权利要求1所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述3D视图,针对识别出的他船与本船的距离生成提示符。
4.根据权利要求1所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述AR监控视图,基于AIS设备数据通过图像识别技术识别视频中他船并进行相应信息标绘,以及通过视觉增强技术提高低能见度天气条件下所呈现的视频画面的清晰度。
5.根据权利要求1所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述无人船运行状态提示信息通过GPS、AIS、罗经、计程仪、风向风速仪、测深仪、ARPA雷达中的一个或多个获取。
6.根据权利要求1-5中任一权利要求所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述人机交互操作界面中还包括船舶到离港提醒信息。
7.根据权利要求1-5中任一权利要求所述的用于远程驾驶的人机交互操作界面显示方法,其特征在于,所述人机交互操作界面中还包括天气、温度、气压、风向、风速、海浪、能见度中的一种或多种海洋气象信息。
8.一种用于远程驾驶的人机交互操作界面显示装置,其特征在于,该装置包括:
第一指令接收模块,配置为生成显示模式操作界面,接收用户的第一操作指令;
监控界面生成模块,配置为响应于所述第一操作指令,生成无人船航行监控界面,所述无人船航行监控界面中包括基于电子海图建立的2D视图、3D视图和AR监控视图中的一种或多种;
切换窗口生成模块,配置为在所述无人船航行监控界面中生成切换操作窗口,所述切换操作窗口中包括2D视图按键、3D视图按键和AR监控视图按键,每个按键可根据预设状态映射关系改变形状和/或颜色,以进行告警提示;
第二指令接收模块,配置为在所述无人船航行监控界面中生成状态操作窗口,接收用户的第二操作指令;
状态提示生成模块,配置为响应于所述第二操作指令,在所述监控界面中生成无人船运行状态提示信息;
交互界面生成模块,配置为基于所述监控界面、所述切换操作窗口和所述无人船运行状态提示信息生成并显示用于远程驾驶的人机交互操作界面。
9.一种终端设备,其特征在于,包括权利要求8所述的用于远程驾驶的人机交互操作界面显示装置。
CN202010451769.0A 2020-05-25 2020-05-25 用于远程驾驶的人机交互操作界面显示方法、装置和终端 Active CN111625159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010451769.0A CN111625159B (zh) 2020-05-25 2020-05-25 用于远程驾驶的人机交互操作界面显示方法、装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010451769.0A CN111625159B (zh) 2020-05-25 2020-05-25 用于远程驾驶的人机交互操作界面显示方法、装置和终端

Publications (2)

Publication Number Publication Date
CN111625159A true CN111625159A (zh) 2020-09-04
CN111625159B CN111625159B (zh) 2023-04-07

Family

ID=72259982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010451769.0A Active CN111625159B (zh) 2020-05-25 2020-05-25 用于远程驾驶的人机交互操作界面显示方法、装置和终端

Country Status (1)

Country Link
CN (1) CN111625159B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214264A (zh) * 2020-10-10 2021-01-12 交通运输部规划研究院 Ais交互操作处理方法及装置
CN114898595A (zh) * 2022-06-14 2022-08-12 泉州师范学院 一种船舶驾驶台通信集成设备
CN115185490A (zh) * 2022-06-20 2022-10-14 北京津发科技股份有限公司 人机交互方法、装置、设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286272A (zh) * 2008-05-04 2008-10-15 北京海兰信数据科技股份有限公司 船舶远程监控管理系统
CN107040583A (zh) * 2017-02-20 2017-08-11 中国船舶重工集团公司第七0七研究所 一种无人艇信息交互系统
CN107748561A (zh) * 2017-09-25 2018-03-02 华南理工大学 一种基于多传感参数的无人船局部避障系统及方法
CN208384827U (zh) * 2018-03-23 2019-01-15 青岛中邦智能技术有限公司 一种无人船航行风险报警系统
CN208621962U (zh) * 2018-09-04 2019-03-19 青岛中邦智能技术有限公司 一种分布式无人船监控系统
CN109634289A (zh) * 2019-01-24 2019-04-16 大连海事大学 一种无人船自主航行系统及其工作方法
WO2019093677A1 (ko) * 2017-11-09 2019-05-16 정진욱 3차원 기반의 전자해도 표시 시스템
CN109814139A (zh) * 2019-01-24 2019-05-28 上海孚实船舶科技有限公司 一种固定线路无人船作业方法
CN110517537A (zh) * 2019-07-29 2019-11-29 智慧航海(青岛)科技有限公司 一种无人船自主航行系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286272A (zh) * 2008-05-04 2008-10-15 北京海兰信数据科技股份有限公司 船舶远程监控管理系统
CN107040583A (zh) * 2017-02-20 2017-08-11 中国船舶重工集团公司第七0七研究所 一种无人艇信息交互系统
CN107748561A (zh) * 2017-09-25 2018-03-02 华南理工大学 一种基于多传感参数的无人船局部避障系统及方法
WO2019093677A1 (ko) * 2017-11-09 2019-05-16 정진욱 3차원 기반의 전자해도 표시 시스템
CN208384827U (zh) * 2018-03-23 2019-01-15 青岛中邦智能技术有限公司 一种无人船航行风险报警系统
CN208621962U (zh) * 2018-09-04 2019-03-19 青岛中邦智能技术有限公司 一种分布式无人船监控系统
CN109634289A (zh) * 2019-01-24 2019-04-16 大连海事大学 一种无人船自主航行系统及其工作方法
CN109814139A (zh) * 2019-01-24 2019-05-28 上海孚实船舶科技有限公司 一种固定线路无人船作业方法
CN110517537A (zh) * 2019-07-29 2019-11-29 智慧航海(青岛)科技有限公司 一种无人船自主航行系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214264A (zh) * 2020-10-10 2021-01-12 交通运输部规划研究院 Ais交互操作处理方法及装置
CN114898595A (zh) * 2022-06-14 2022-08-12 泉州师范学院 一种船舶驾驶台通信集成设备
CN114898595B (zh) * 2022-06-14 2024-03-01 泉州师范学院 一种船舶驾驶台通信集成设备
CN115185490A (zh) * 2022-06-20 2022-10-14 北京津发科技股份有限公司 人机交互方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111625159B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111625159B (zh) 用于远程驾驶的人机交互操作界面显示方法、装置和终端
CN111524392B (zh) 一种辅助智能船舶远程驾驶的综合系统
US20200278433A1 (en) Real-time monitoring of surroundings of marine vessel
US10334210B2 (en) Augmented video system providing enhanced situational awareness
CA2756912C (en) Methods and systems for augmented navigation
CN109084747A (zh) 基于通用三维引擎的水上交通全景三维导航系统及方法
US20160031536A1 (en) Black box system for leisure vessel
CN115723919B (zh) 一种船舶偏航的辅助航行方法及装置
KR102004455B1 (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
CN114820997A (zh) 一种无人船虚实融合多孪生智能感知增强方法
CN111258322B (zh) 一种基于增强现实技术的船用驾驶辅助装置及方法
CA2282064A1 (en) A system and method for use with a moveable platform
CN116309732A (zh) 一种基于数字孪生的船舶运动可视化方法
CA2279165A1 (en) A system and method for use with a moveable platform
Wisernig et al. Augmented reality visualization for sailboats (ARVS)
CN117542225A (zh) 一种增强现实船舶辅助航行系统
CN113450598B (zh) 基于红外视频的船舶辅助航行方法及系统
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN113341947A (zh) 一种基于船舶信息化平台的水上立体搜救系统
CN113942623A (zh) 一种智慧航行平台和航行方法
CN112212868A (zh) 一种电子海图综合信息集成显示装置及显示方法
TWI849522B (zh) 船舶航行顯示系統及船舶航行顯示方法
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
CN111462233B (zh) 一种船舶驾驶室的还原数据处理方法、系统和存储介质
CN118230601A (zh) 一种船桥信息综合显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant