CN114408115A - 一种便于人机交互的船舶用操作台 - Google Patents

一种便于人机交互的船舶用操作台 Download PDF

Info

Publication number
CN114408115A
CN114408115A CN202210058189.4A CN202210058189A CN114408115A CN 114408115 A CN114408115 A CN 114408115A CN 202210058189 A CN202210058189 A CN 202210058189A CN 114408115 A CN114408115 A CN 114408115A
Authority
CN
China
Prior art keywords
ship
operator
voice
unit
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210058189.4A
Other languages
English (en)
Inventor
王川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Peoples Liberation Army Naval Characteristic Medical Center
Original Assignee
Chinese Peoples Liberation Army Naval Characteristic Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Peoples Liberation Army Naval Characteristic Medical Center filed Critical Chinese Peoples Liberation Army Naval Characteristic Medical Center
Priority to CN202210058189.4A priority Critical patent/CN114408115A/zh
Publication of CN114408115A publication Critical patent/CN114408115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及船舶控制相关领域，具体为一种便于人机交互的船舶用操作台，包括操作台体、操作计算机、摄像装置、播音装置、麦克风装置和船舶人机交互系统，本发明通过对船舶运行状态进行实时的检测查看，在发生数据异常或故障时，由通语音播报实时提醒操纵人员注意；通过设置语音交互模块，由人脸信息单元和语音识别单元相互结合，实现语音对船舶的控制，并且由识别显示播报单元对每条指令进行确认，保证操作的准确性，最终实现具有可操作性和准确性的船舶控制人机交互系统的效果。

Description

一种便于人机交互的船舶用操作台
技术领域
本发明涉及船舶控制相关领域，具体为一种便于人机交互的船舶用操作台。
背景技术
随着智能技术的发展，在工业领域产生了大量的语音识别交互系统，形成了多种成熟可靠的技术。例如在汽车领域的车载语音交互系统，可以通过语音控制实现接听电话、控制安装在车辆中的电子设备(比如多媒体播放装置和空调)等功能。
目前在船舶控制领域，还是以人工操作为主，尚未出现基于语音识别的人机交互方法。由于水面环境经常变化，操纵人员需要同时处理大量的信息并控制船舶，对操纵人员经验的要求很高。此外，人工操作的准确性和安全性都有待提高，对船舶所处状态判断失误以及误操作的风险都比较大。通过设计一种便于人机交互的船舶用操作台，将解决上述难题。
发明内容
本发明的目的在于提供一种便于人机交互的船舶用操作台，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种便于人机交互的船舶用操作台，包括操作台体、操作计算机、摄像装置、播音装置、麦克风装置和船舶人机交互系统，所述操作台体顶部设置有操作面板，所述操作面板表面中间安装有操作计算机，所述操作计算机侧边于操作面板表面安装有摄像装置，所述操作计算机另一侧边于操作面板表面分别设置有播音装置和麦克风装置，所述操作计算机内运行有船舶人机交互系统；
所述船舶人机交互系统包括船舶检测模块和语音交互模块，所述船舶检测模块内设置有船舶信息单元和语音播放单元，所述船舶信息单元通过船上的各类传感器在操作计算机屏幕实时显示船舶各项关键参数，所述语音播放单元通过播音装置对船舶不在正常范围内的参数数据进行播报，并发出警报，所述语音交互模块内设置有语音识别单元、人脸信息单元和识别显示播报单元，所述语音识别单元通过麦克风装置收集操纵人员语音，并将操纵人员的语音指令将其转变为文本格式，分析提取出关键指令信息，根据控制指令数据库和接口协议将所述指令信息转化成各设备可辨别的执行命令进行发布，用于指令信息分配给船舶各设备进行相应操作，所述人脸信息单元通过摄像装置收集操作面板前操纵人员脸部数据，用于提高语音识别的准确率同时增加整个操作台的安全性，所述识别显示播报单元通过播音装置播报和操作计算机显示屏显示操纵人员的语音指令内容。
优选的，所述船舶信息单元展示的船舶各项信息参数通过操纵人员对其优先级和紧急程度对信息进行分类，所述语音播放单元优先对优先级高和紧急程度高的信息数据进行播报，及时反馈给船舶操纵人员，提请操纵人员注意。
优选的，所述摄像装置内集成有距离传感器，所述摄像装置收集操作面板前操纵人员脸部数据，具体步骤为：
步骤S1、所述人脸信息单元控制摄像装置采集操纵人员第一图像，并由距离传感器检测操纵人员是否在摄像装置有效的识别距离内；
步骤S2将步骤S1中采集的第一图像中确定操纵人员脸朝向角度，比对标准人脸朝向角度，判定操纵人员脸朝向角度是否为有效角度，通过播音装置提醒操纵人员脸部转至标准人脸朝向角度，并判断操纵人员是否为工作人员；
步骤S3、所述摄像装置再次采集操纵人员第二图像，用于识别检测操纵人员脸部特征，并且判定是否在说话；
步骤S4、当判断操纵人员为工作人员，且正在说话，则保证麦克风装置处于开启状态。
优选的，所述识别显示播报单元在显示和播报完操纵人员的语音指令内容后，通过操作计算机或语音识别单元进行确认，在确认完成之后，执行该语音指令内容
优选的，所述船舶信息单元会储存执行语音交互模块指令前后船舶各项参数的数据
与现有技术相比，本发明的有益效果是：本发明通过对船舶运行状态进行实时的检测查看，在发生数据异常或故障时，由通语音播报实时提醒操纵人员注意；通过设置语音交互模块，由人脸信息单元和语音识别单元相互结合，实现语音对船舶的控制，并且由识别显示播报单元对每条指令进行确认，保证操作的准确性，最终实现具有可操作性和准确性的船舶控制人机交互系统的效果。
附图说明
图1为本发明的整体结构示意图；
图2为本发明的船舶人机交互系统结构示意图；
图3为本发明的船舶检测模块工作流程示意图；
图4为本发明的人脸信息单元工作流程示意图。
图中：1、操作台体；2、操作面板；3、操作计算机；4、摄像装置；5、播音装置；6、麦克风装置；7、船舶检测模块；8、语音交互模块；9、船舶信息单元；10、语音播放单元；11、语音识别单元；12、人脸信息单元；13、识别显示播报单元；14、船舶人机交互系统。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1-4，本发明提供一种技术方案：一种便于人机交互的船舶用操作台，包括操作台体1、操作计算机3、摄像装置4、播音装置5、麦克风装置6和船舶人机交互系统14，操作台体1顶部设置有操作面板2，操作面板2表面中间安装有操作计算机3，操作计算机3侧边于操作面板2表面安装有摄像装置4，操作计算机3另一侧边于操作面板2表面分别设置有播音装置5和麦克风装置6，操作计算机3内运行有船舶人机交互系统14；
船舶人机交互系统14包括船舶检测模块7和语音交互模块8，船舶检测模块7内设置有船舶信息单元9和语音播放单元10，船舶信息单元9通过船上的各类传感器在操作计算机3屏幕实时显示船舶各项关键参数，语音播放单元10通过播音装置5对船舶不在正常范围内的参数数据进行播报，并发出警报，语音交互模块8内设置有语音识别单元11、人脸信息单元12和识别显示播报单元13，语音识别单元11通过麦克风装置6收集操纵人员语音，并将操纵人员的语音指令将其转变为文本格式，分析提取出关键指令信息，根据控制指令数据库和接口协议将所述指令信息转化成各设备可辨别的执行命令进行发布，用于指令信息分配给船舶各设备进行相应操作，人脸信息单元12通过摄像装置4收集操作面板2前操纵人员脸部数据，用于提高语音识别的准确率同时增加整个操作台的安全性，识别显示播报单元13通过播音装置5播报和操作计算机3显示屏显示操纵人员的语音指令内容。
进一步的，船舶信息单元9展示的船舶各项信息参数通过操纵人员对其优先级和紧急程度对信息进行分类，语音播放单元10优先对优先级高和紧急程度高的信息数据进行播报，及时反馈给船舶操纵人员，提请操纵人员注意。
进一步的，摄像装置4内集成有距离传感器，摄像装置4收集操作面板2前操纵人员脸部数据，具体步骤为：
步骤S1、人脸信息单元12控制摄像装置4采集操纵人员第一图像，并由距离传感器检测操纵人员是否在摄像装置4有效的识别距离内；
步骤S2将步骤S1中采集的第一图像中确定操纵人员脸朝向角度，比对标准人脸朝向角度，判定操纵人员脸朝向角度是否为有效角度，通过播音装置5提醒操纵人员脸部转至标准人脸朝向角度，并判断操纵人员是否为工作人员；
步骤S3、摄像装置4再次采集操纵人员第二图像，用于识别检测操纵人员脸部特征，并且判定是否在说话；
步骤S4、当判断操纵人员为工作人员，且正在说话，则保证麦克风装置6处于开启状态。
进一步的，识别显示播报单元13在显示和播报完操纵人员的语音指令内容后，通过操作计算机3或语音识别单元11进行确认，在确认完成之后，执行该语音指令内容。
进一步的，船舶信息单元9会储存执行语音交互模块8指令前后船舶各项参数的数据。
本发明通过对船舶运行状态进行实时的检测查看，在发生数据异常或故障时，由通语音播报实时提醒操纵人员注意；通过设置语音交互模块8，由人脸信息单元12和语音识别单元11相互结合，实现语音对船舶的控制，并且由识别显示播报单元13对每条指令进行确认，保证操作的准确性，最终实现具有可操作性和准确性的船舶控制人机交互系统的效果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种便于人机交互的船舶用操作台，包括操作台体(1)、操作计算机(3)、摄像装置(4)、播音装置(5)、麦克风装置(6)和船舶人机交互系统(14)，其特征在于：所述操作台体(1)顶部设置有操作面板(2)，所述操作面板(2)表面中间安装有操作计算机(3)，所述操作计算机(3)侧边于操作面板(2)表面安装有摄像装置(4)，所述操作计算机(3)另一侧边于操作面板(2)表面分别设置有播音装置(5)和麦克风装置(6)，所述操作计算机(3)内运行有船舶人机交互系统(14)；
所述船舶人机交互系统(14)包括船舶检测模块(7)和语音交互模块(8)，所述船舶检测模块(7)内设置有船舶信息单元(9)和语音播放单元(10)，所述船舶信息单元(9)通过船上的各类传感器在操作计算机(3)屏幕实时显示船舶各项关键参数，所述语音播放单元(10)通过播音装置(5)对船舶不在正常范围内的参数数据进行播报，并发出警报，所述语音交互模块(8)内设置有语音识别单元(11)、人脸信息单元(12)和识别显示播报单元(13)，所述语音识别单元(11)通过麦克风装置(6)收集操纵人员语音，并将操纵人员的语音指令将其转变为文本格式，分析提取出关键指令信息，根据控制指令数据库和接口协议将所述指令信息转化成各设备可辨别的执行命令进行发布，用于指令信息分配给船舶各设备进行相应操作，所述人脸信息单元(12)通过摄像装置(4)收集操作面板(2)前操纵人员脸部数据，用于提高语音识别的准确率同时增加整个操作台的安全性，所述识别显示播报单元(13)通过播音装置(5)播报和操作计算机(3)显示屏显示操纵人员的语音指令内容。
2.根据权利要求1所述的一种便于人机交互的船舶用操作台，其特征在于：所述船舶信息单元(9)展示的船舶各项信息参数通过操纵人员对其优先级和紧急程度对信息进行分类，所述语音播放单元(10)优先对优先级高和紧急程度高的信息数据进行播报，及时反馈给船舶操纵人员，提请操纵人员注意。
3.根据权利要求1所述的一种便于人机交互的船舶用操作台，其特征在于：所述摄像装置(4)内集成有距离传感器，所述摄像装置(4)收集操作面板(2)前操纵人员脸部数据，具体步骤为：
步骤S1、所述人脸信息单元(12)控制摄像装置(4)采集操纵人员第一图像，并由距离传感器检测操纵人员是否在摄像装置(4)有效的识别距离内；
步骤S2将步骤S1中采集的第一图像中确定操纵人员脸朝向角度，比对标准人脸朝向角度，判定操纵人员脸朝向角度是否为有效角度，通过播音装置(5)提醒操纵人员脸部转至标准人脸朝向角度，并判断操纵人员是否为工作人员；
步骤S3、所述摄像装置(4)再次采集操纵人员第二图像，用于识别检测操纵人员脸部特征，并且判定是否在说话；
步骤S4、当判断操纵人员为工作人员，且正在说话，则保证麦克风装置(6)处于开启状态。
4.根据权利要求1所述的一种便于人机交互的船舶用操作台，其特征在于：所述识别显示播报单元(13)在显示和播报完操纵人员的语音指令内容后，通过操作计算机(3)或语音识别单元(11)进行确认，在确认完成之后，执行该语音指令内容。
5.根据权利要求1所述的一种便于人机交互的船舶用操作台，其特征在于：所述船舶信息单元(9)会储存执行语音交互模块(8)指令前后船舶各项参数的数据。
CN202210058189.4A 2022-01-19 2022-01-19 一种便于人机交互的船舶用操作台 Pending CN114408115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058189.4A CN114408115A (zh) 2022-01-19 2022-01-19 一种便于人机交互的船舶用操作台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058189.4A CN114408115A (zh) 2022-01-19 2022-01-19 一种便于人机交互的船舶用操作台

Publications (1)

Publication Number Publication Date
CN114408115A true CN114408115A (zh) 2022-04-29

Family

ID=81272906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058189.4A Pending CN114408115A (zh) 2022-01-19 2022-01-19 一种便于人机交互的船舶用操作台

Country Status (1)

Country Link
CN (1) CN114408115A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134668A (ko) * 2012-05-31 2013-12-10 한국해양과학기술원 Ｈｃｉ 기반 선박용 다기능 콘솔
CN110780745A (zh) * 2019-11-15 2020-02-11 中国船舶工业系统工程研究院 一种基于语音识别的船舶控制人机交互系统
CN111091824A (zh) * 2019-11-30 2020-05-01 华为技术有限公司 一种语音匹配方法及相关设备
CN111128178A (zh) * 2019-12-31 2020-05-08 上海赫千电子科技有限公司 一种基于面部表情分析的语音识别方法
CN112286364A (zh) * 2020-11-20 2021-01-29 苏州思必驰信息科技有限公司 人机交互方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134668A (ko) * 2012-05-31 2013-12-10 한국해양과학기술원 Ｈｃｉ 기반 선박용 다기능 콘솔
CN110780745A (zh) * 2019-11-15 2020-02-11 中国船舶工业系统工程研究院 一种基于语音识别的船舶控制人机交互系统
CN111091824A (zh) * 2019-11-30 2020-05-01 华为技术有限公司 一种语音匹配方法及相关设备
CN111128178A (zh) * 2019-12-31 2020-05-08 上海赫千电子科技有限公司 一种基于面部表情分析的语音识别方法
CN112286364A (zh) * 2020-11-20 2021-01-29 苏州思必驰信息科技有限公司 人机交互方法和装置

Similar Documents

Publication Publication Date Title
CN110780745B (zh) 一种基于语音识别的船舶控制人机交互系统
CN111199622A (zh) 一种大数据机房智能监控及调度的方法和系统
CN111439271A (zh) 基于语音控制的辅助驾驶方法及辅助驾驶设备
CN209493186U (zh) 一种电梯内电动车图像识别管控系统
CN105867179A (zh) 一种车载语音控制方法和装置、设备
CN102496246A (zh) 一种基于优先级和危险等级的告警处理与显示方法
CN108439115B (zh) 一种无机房电梯智能安全检修系统及其控制方法
CN109367578A (zh) 一种适用于itcs车载设备的人机交互系统及方法
CN113947828A (zh) 一种多功能汽车钥匙控制系统及方法
CN112071309A (zh) 网约车安全监测装置及系统
CN114408115A (zh) 一种便于人机交互的船舶用操作台
CN204537277U (zh) 口岸车辆智能查验系统
CN206115652U (zh) 一种疲劳驾驶智能报警系统
CN114332712A (zh) 基于人脸识别的隧道工作人员监测系统及方法
CN106891724B (zh) 汽车主控屏系统及方法
CN113593556A (zh) 一种车载语音操作系统人机互动方法及装置
WO2023246284A1 (zh) 一种风电机组厢式提升设备的安全检测方法、系统及装置
CN112700772A (zh) 基于硬件识别的智能语音系统及方法
CN115434602A (zh) 车门开启控制方法、装置、设备及存储介质
CN210793101U (zh) 智能车载终端、智能公交车辆及智能公交车辆管理系统
CN113093587A (zh) 智能加油站系统及适用于智能加油站系统的加油服务方法
CN107726576A (zh) 一种空调器及其定向送风控制方法
US20140121790A1 (en) Device and method for the gesture control of a screen in a control room
CN201408340Y (zh) 触摸式操作系统微型继电保护自动化测控装置
CN221809747U (zh) 一种车载语音功放自动优先级选择系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination