CN110780745B - 一种基于语音识别的船舶控制人机交互系统 - Google Patents

一种基于语音识别的船舶控制人机交互系统 Download PDF

Info

Publication number
CN110780745B
CN110780745B CN201911120514.XA CN201911120514A CN110780745B CN 110780745 B CN110780745 B CN 110780745B CN 201911120514 A CN201911120514 A CN 201911120514A CN 110780745 B CN110780745 B CN 110780745B
Authority
CN
China
Prior art keywords
ship
module
voice
information
voice recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911120514.XA
Other languages
English (en)
Other versions
CN110780745A (zh
Inventor
韩玮
郭晓晔
骆福宇
谢杨柳
王千一
马向峰
王伟
梁旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSSC Systems Engineering Research Institute
Original Assignee
CSSC Systems Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSSC Systems Engineering Research Institute filed Critical CSSC Systems Engineering Research Institute
Priority to CN201911120514.XA priority Critical patent/CN110780745B/zh
Publication of CN110780745A publication Critical patent/CN110780745A/zh
Application granted granted Critical
Publication of CN110780745B publication Critical patent/CN110780745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B45/00—Arrangements or adaptations of signalling or lighting devices
    • B63B45/08—Arrangements or adaptations of signalling or lighting devices the devices being acoustic
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Ocean & Marine Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • Traffic Control Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及船舶控制领域，特别是涉及基于语音识别的船舶控制人机交互系统。本发明旨在提供一种基于语音识别的船舶控制人机交互系统，提高人机交互效率，减少操作环节，增强船舶操纵安全性和准确性。本发明的基于语音识别的船舶控制人机交互系统包含船舶运行状态监测模块和基于语音识别的船舶控制模块。船舶运行状态监测模块包括状态报告生成模块、关键信息筛选模块和语音播报模块。该检测模块能够收集并整理船上各类设备的实时运行状态，具有对运行状态信息的综合处理功能，能够生成船舶运行状态报告，并在报告中对各类信息的优先级和紧急程度进行分类。

Description

一种基于语音识别的船舶控制人机交互系统
技术领域
本发明涉及船舶控制领域，特别是涉及基于语音识别的船舶控制人机交互系统。
背景技术
随着智能技术的发展，在工业领域产生了大量的语音识别交互系统，形成了多种成熟可靠的技术。例如在汽车领域的车载语音交互系统，可以通过语音控制实现接听电话、控制安装在车辆中的电子设备(比如多媒体播放装置和空调)等功能。
目前在船舶控制领域，还是以人工操作为主，尚未出现基于语音识别的人机交互方法。由于水面环境经常变化，操纵人员需要同时处理大量的信息并控制船舶，对操纵人员经验的要求很高。此外，人工操作的准确性和安全性都有待提高，对船舶所处状态判断失误以及误操作的风险都比较大。通过开发基于语音识别的船舶控制人机交互方法，将解决上述难题。
发明内容
本发明解决的技术问题为：由于水面环境状态变化快，船舶搭载的设备众多，控制指令和操作流程复杂，船舶操纵人员需要同时处理大量信息并做出操纵决定。在船舶领域，传统的船舶控制方式效率较低，船舶操纵人员不能在第一时间掌握船舶关键状态信息，同时对于船舶进行的操纵容错率低，存在误操作的风险。
为解决上述技术问题，本发明旨在提供一种基于语音识别的船舶控制人机交互系统，提高人机交互效率，减少操作环节，增强船舶操纵安全性和准确性。本发明的基于语音识别的船舶控制人机交互系统包含船舶运行状态监测模块和基于语音识别的船舶控制模块。船舶运行状态监测模块包括状态报告生成模块、关键信息筛选模块和语音播报模块。该检测模块能够收集并整理船上各类设备的实时运行状态，具有对运行状态信息的综合处理功能，能够生成船舶运行状态报告，并在报告中对各类信息的优先级和紧急程度进行分类。具体方案如下：
一种基于语音识别的船舶控制人机交互系统，包括，船舶运行状态监测模块；所述船舶运行状态监测模块包含状态报告生成模块、关键信息筛选模块和语音播报模块；基于语音识别的船舶控制模块；所述基于语音识别的船舶控制模块包含语音识别模块、控制指令数据库和接口协议；所述状态报告生成模块通过船上的各类传感器，对船舶关键设备进行实时监测，监测模块将运行中的各类状态信息进行汇总，用于生成船舶状态报告；所述关键信息筛选模块根据协议规则，用于对所述状态报告进行分析筛选，根据报告中信息的优先级和紧急程度对信息进行分类；所述语音播报模块通过正常通信链路，将船舶运行状态监测模块自动生成的状态报告发送至控制台，用于将经过筛选的优先级和紧急程度高的关键信息，通过语音播报模块播放出来；所述基于语音识别的船舶控制模块能够识别操纵人员的语音指令将其转变为文本格式，分析提取出关键指令信息，根据所述控制指令数据库和接口协议将所述指令信息转化成各设备可辨别的执行命令进行发布，用于指令信息分配给船舶各设备进行相应操作。
状态报告生成模块通过船上的各类传感器，对船舶关键设备进行实时监测，检测模块将运行中的各类状态信息进行汇总，并生成船舶状态报告。该状态报告包含航速、主机功率、油耗等基本信息，也包含主要设备的运行状态等重要信息。
船舶正常航行时该状态报告保持稳定的更新频率，当船舶运行状态有重大更新时刻立刻进行更新。例如船舶由巡航速度加速为全速前进，此时将立刻进行状态报告的更新。
关键信息筛选模块根据协议规则，对状态报告进行分析筛选，根据报告中信息的优先级和紧急程度对信息进行分类。
利用正常通信链路，将船舶运行状态监测模块自动生成的状态报告发送至控制台。将经过筛选的优先级和紧急程度高的关键信息，通过语音播报模块播放出来，及时反馈给船舶操纵人员，提请操纵人员注意。
操纵人员也可以通过船舶控制模块下达语音指令，对船舶运行状态监测模块进行控制，或对监测模块提请注意的事项进行反馈。
例如操纵人员需要更多船舶运行的信息，可以通过语音对船舶下达提供更多状态报告的命令，这时关键信息筛选模块会将更多运行信息的优先级和紧急程度提高，控制台最终通过语音播报模块播报更多运行信息给操纵人员；或者船舶运行状态监测模块提请操纵人员注意某设备的异常状态，操纵人员成功处理了异常状态后可以通过语音指令将该结果反馈给监测模块，从而降低相关信息的紧急程度，避免语音播报模块反复播报提醒相同信息。
基于语音识别的船舶控制模块包括语音识别模块、控制指令数据库和接口协议。该控制模块具备语音识别能力和信息处理能力，能够识别操纵人员的语音指令，将其转变为文本格式，分析提取出关键指令信息，根据控制指令数据库和接口协议将指令信息分配给各设备进行相应操作。
其中，基于语音识别的船舶控制流程包括：
操作人员通过语音下达命令，控制台利用语音识别模块，将操纵人员的语音命令识别并转换为指令文本。
通过分析识别指令文本所包含的信息，根据控制命令数据库，将语音指令中所包含的关键控制指令文本提取出来，并转化为相应设备所需要执行的指令。例如操纵人员下达船舶由15节减速至10节的语音命令，语音识别模块结合控制命令数据库，将该语音指令转化为船舶主机降低功率的指令。
根据船舶各设备的接口协议，将指令文本转化成各设备可辨别的执行命令进行发布，控制各设备按照操纵人员的意图进行工作。
当设备根据语音命令进行了状态更改之后，利用船舶运行状态监测系统，及时更新船舶运行状态，并通过语音播报模块提示操纵人员船舶已经按照语音命令进行了操作，反馈语音命令的控制结果。
如果船舶状态仍未达到操纵人员预期的结果，操纵人员可以再次下达语音命令，重复上述流程，从而形成实现整个基于语音识别的船舶控制流程的闭环。
本技术方案得作用效果是：
基于语音识别的船舶控制人机交互方法通过对船舶运行状态进行监测并通语音播报实时提醒操作人员注意，以及基于语音识别的船舶控制模块，实现对重要信息的及时反馈，以及更为便捷精准的控制船舶运行，最终实现具有可操作性和准确性的船舶控制人机交互系统的效果。
附图说明
图1船舶控制人机交互系统功能模块图。
图2船舶运行状态监测流程图。
图3基于语音识别的船舶控制流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细论述。
此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
以下为基于语音识别的船舶控制人机交互方法的具体实例：
(1)船舶运行异常状态识别
在主机功率异常时，状态报告生成模块会立刻进行更新。通过关键信息筛选协议，将主机功率异常划分为紧急信息。语音播报模块会播报此刻主机状态监测信息，提示操纵人员需要注意主机功率异常，安排人员进行检查维修。从而避免操纵人员忽视了船舶异常状态，导致更严重事故的发生。
当船上人员解决了主机异常之后，操纵人员可以通过语音命令告知系统。监测模块判断主机信息确实恢复正常后，停止继续播报提示主机异常。如果主机状态仍存在异常情况，将继续提醒操纵人员注意相关情况。
(2)基于语音识别的船舶控制
举例来说，操纵人员通过语音发布将船速提高到十五节的命令，通过语音识别模块，将该语音转变为指令文本。根据控制命令数据库，分析该文本中的关键指令信息，得出主机需要提高功率并达到十五节航速的指令。根据船舶的接口协议，将该指令发布给主机。主机根据指令提高功率之后，船舶语音播报模块将航速反馈给操纵人员。如果船速没有达到预期，操纵人员再次下达语音指令，形成控制闭环。
本发明利用了目前具有成熟技术的语音识别系统，创新性的完成船舶状态报告转换为语音播报和语音命令识别转换为文本的双向过程，从而实现基于语音识别的船舶控制人机交互方法。
通过本发明的实现，可以保障船舶运行中，各类关键信息及时准确的提醒操作人员注意，同时操作人员可以利用语音简单高效的控制船舶，提高了船舶控制效率和操纵安全性。

Claims (1)

1.一种基于语音识别的船舶控制人机交互系统，包括：
船舶运行状态监测模块；所述船舶运行状态监测模块包含状态报告生成模块、关键信息筛选模块和语音播报模块；
基于语音识别的船舶控制模块；所述基于语音识别的船舶控制模块包含语音识别模块、控制指令数据库和接口协议；
其特征在于：
所述状态报告生成模块通过船上的各类传感器，对船舶关键设备进行实时监测，监测模块将运行中的各类状态信息进行汇总，用于生成船舶状态报告，其中，所述状态报告生成模块在船舶正常航行时，保持稳定的更新频率，当船舶运行状态有重大更新时，立刻进行更新；
所述关键信息筛选模块根据协议规则，用于对所述状态报告进行分析筛选，根据报告中信息的优先级和紧急程度对信息进行分类；
所述语音播报模块通过正常通信链路，将船舶运行状态监测模块自动生成的状态报告发送至控制台，用于将经过筛选的优先级和紧急程度高的关键信息，通过语音播报模块播放出来；
所述基于语音识别的船舶控制模块能够识别操纵人员的语音指令将其转变为文本格式，分析提取出关键指令信息，根据所述控制指令数据库和接口协议将所述指令信息转化成各设备可辨别的执行命令进行发布，用于指令信息分配给船舶各设备进行相应操作；
其中，所述基于语音识别的船舶控制模块能够基于语音命令控制所述关键信息筛选模块调整所述语音命令所对应操作的优先级和紧急程度，包括通过获取提供更多状态报告的命令，通过所述关键信息筛选模块将更多运行信息的优先级和紧急程度提高，以使控制台通过所述语音播报模块播报更多运行信息，或对监测模块提请注意的事项进行反馈，包括所述船舶运行状态监测模块提请操纵人员注意某设备的异常状态，在操纵人员成功处理了异常状态后并通过所述语音指令将结果反馈给所述监测模块后，降低相关信息的紧急程度。
CN201911120514.XA 2019-11-15 2019-11-15 一种基于语音识别的船舶控制人机交互系统 Active CN110780745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911120514.XA CN110780745B (zh) 2019-11-15 2019-11-15 一种基于语音识别的船舶控制人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911120514.XA CN110780745B (zh) 2019-11-15 2019-11-15 一种基于语音识别的船舶控制人机交互系统

Publications (2)

Publication Number Publication Date
CN110780745A CN110780745A (zh) 2020-02-11
CN110780745B true CN110780745B (zh) 2023-04-25

Family

ID=69391303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911120514.XA Active CN110780745B (zh) 2019-11-15 2019-11-15 一种基于语音识别的船舶控制人机交互系统

Country Status (1)

Country Link
CN (1) CN110780745B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111883114A (zh) * 2020-06-16 2020-11-03 武汉理工大学 一种船舶语音控制方法、系统、装置及存储介质
CN111931605B (zh) * 2020-07-23 2024-05-14 中核核电运行管理有限公司 一种核电厂高风险操作智能监护系统及方法
CN112086090A (zh) * 2020-09-14 2020-12-15 大连海事大学 一种船舶机电虚拟仿真系统的语音识别方法
CN114408115A (zh) * 2022-01-19 2022-04-29 中国人民解放军海军特色医学中心 一种便于人机交互的船舶用操作台
CN117351956A (zh) * 2023-12-05 2024-01-05 广州一链通互联网科技有限公司 货运轨迹生成及查询方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065723A (zh) * 2017-05-09 2017-08-18 武汉理工大学 基于能量流的船舶动力装置状态监控系统及监测方法
CN108241326A (zh) * 2018-02-24 2018-07-03 卢玉带 一种基于物联网的智能船舶系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018337A (ko) * 1999-08-19 2001-03-05 권상문 선박용 항해기록장치
US6687583B1 (en) * 1999-12-15 2004-02-03 Yacht Watchman International Vessel monitoring system
CN205302671U (zh) * 2016-01-20 2016-06-08 吕新立 船舶监控智能语音提醒系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065723A (zh) * 2017-05-09 2017-08-18 武汉理工大学 基于能量流的船舶动力装置状态监控系统及监测方法
CN108241326A (zh) * 2018-02-24 2018-07-03 卢玉带 一种基于物联网的智能船舶系统

Also Published As

Publication number Publication date
CN110780745A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110780745B (zh) 一种基于语音识别的船舶控制人机交互系统
CN101693447B (zh) 一种车辆状况监控装置
CN1222952C (zh) 报警管理系统
CN109544985A (zh) 用于交通工具的检测系统
CN104637555A (zh) 基于核电站机组智能监控方法和系统
CN109367578A (zh) 一种适用于itcs车载设备的人机交互系统及方法
CN111970155B (zh) 一种吊机设备故障状态智能预警系统
CN114049893A (zh) 一种基于空管语音识别的管制员违规操作监控与分析方法
CN111968267A (zh) 机载飞行安全实时监测和智能预警装置
CN109145438A (zh) 人机环三因素耦合作用下人机系统产生影响的分析方法
CN112435449A (zh) 一种全数字智能化渔业违规船舶识别排查系统及方法
CN104890684B (zh) 基于tcms的列车自动限速及限速解除方法
CN116719306A (zh) 自动驾驶车辆人机误用的预期功能安全危害分析方法
KR101578603B1 (ko) 발전설비용 서버의 사용자 인터페이스 통합 플랫폼 제어장치
CN112363520A (zh) 基于人工智能技术的飞机飞行辅助驾驶系统及控制方法
CN117972452B (zh) 基于s-127的海上船舶行为符合性识别方法、系统及电子介质
CN112835354B (zh) 一种内河船舶纵向速度控制方法及装置
CN203250153U (zh) 用于机车的智能人机交互装置
CN114666182B (zh) 一种汽车座舱系统交互信息仲裁的方法及系统
CN111552515B (zh) 一种无人车的遥控指令执行方法
CN211044512U (zh) 一种基于敏感词汇决策分析系统的公交车驾驶员行为安全预警系统及车辆
CN110341477A (zh) 一种基于仪表信息的车机交互系统
CN103365309A (zh) 河道节制闸运行监控系统
Telle et al. Railway system design in the light of human and machine unreliability
CN110065651B (zh) 一种音频辅助检查操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant