CN112185372A - 用于采掘装备远程控制的人机语音对讲平台 - Google Patents

用于采掘装备远程控制的人机语音对讲平台 Download PDF

Info

Publication number
CN112185372A
CN112185372A CN202010896726.3A CN202010896726A CN112185372A CN 112185372 A CN112185372 A CN 112185372A CN 202010896726 A CN202010896726 A CN 202010896726A CN 112185372 A CN112185372 A CN 112185372A
Authority
CN
China
Prior art keywords
information
voice
module
mining equipment
voice recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010896726.3A
Other languages
English (en)
Inventor
刘国鹏
靳明智
范柄尧
康永玲
范海峰
王光肇
胡文芳
许连丙
杨勇
郝亚明
杜春晖
李焕丽
呼守信
唐会成
曹建文
王希鹏
程凤霞
金雪琪
程俊强
姜铭
田克君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan Institute of China Coal Technology and Engineering Group
Shanxi Tiandi Coal Mining Machinery Co Ltd
Original Assignee
Taiyuan Institute of China Coal Technology and Engineering Group
Shanxi Tiandi Coal Mining Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan Institute of China Coal Technology and Engineering Group, Shanxi Tiandi Coal Mining Machinery Co Ltd filed Critical Taiyuan Institute of China Coal Technology and Engineering Group
Priority to CN202010896726.3A priority Critical patent/CN112185372A/zh
Publication of CN112185372A publication Critical patent/CN112185372A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提出了一种用于采掘装备远程控制的人机语音对讲平台，其中，平台通过远程操作设备的麦克风采集远程操作人员发出的语音信号后，声音采集模块获取麦克风采集的语音信号，语音识别模块对语音信号进行语音识别，以得到语音信息，并将语音信息发送至控制器，控制器响应于接收到的语音信息判断采掘装备的整机状态和传感器状态，并将判断结果通过通信模块发送至语音识别模块，语音识别模块根据判断结果生成回复信息后，语音输出模块将接收到的回复信息发送至音箱，以使音箱播放回复信息。由此，远程操作人员在控制采掘装备启动之前，通过语音交互的方式确定采掘装备的整机状态和传感器状态，从而提高了工作效率，降低了人工成本。

Description

用于采掘装备远程控制的人机语音对讲平台
技术领域
本发明涉及煤炭采掘装备的远程控制技术领域，尤其涉及一种用于采掘装备远程控制的人机语音对讲平台。
背景技术
煤炭是我国主要的一次消费能源，采掘作业是煤矿井下最重要、最危险的前端生产环节。目前国内主要大型煤矿的采掘装备都在朝着自动化、远程控制和工作面少人化的方向发展，因此采掘远程控制技术势必面临新一轮的技术升级。
采掘装备远程操作前，远程操作人员需对工作面环境和设备自身进行安全确认，为此需要增加或安排现场安全确认人员对采掘装备的设备和工作面环境进程检查，并将检查结果告知远程操作人员，存在工作效率低，人工成本高的缺点。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种用于采掘装备远程控制的人机语音对讲平台，以解决现有技术中采掘装备远程操作前，需要远程操作人员对工作面环境和设备自身进行现场安全确认，存在工作效率低，人工成本高的技术问题。
本发明实施例的提供了一种用于采掘装备远程控制的人机语音对讲平台，包括：
远程操作设备，其中，所述远程操作设备包括麦克风和音箱；所述麦克风用于采集远程操作人员发出的语音信号；
人机语音交互系统，其中，所述人机语音交互系统包括：声音采集模块、语音识别模块、通信模块和语音输出模块；
所述声音采集模块，与所述麦克风相连，用于获取所述麦克风采集的语音信号；
所述语音识别模块，与所述声音采集模块和所述通信模块相连，用于对所述语音信号进行语音识别，以得到语音信息，并将所述语音信息发送至所述通信模块；
控制器，与所述语音识别模块和所述通信模块相连，用于接收所述通信模块发送的语音信息，响应于所述语音信息判断采掘装备的整机状态和传感器状态，并将所述整机状态和所述传感器状态的判断结果通过所述通信模块发送至所述语音识别模块；
所述语音识别模块，还用于从所述控制器获取所述整机状态和所述传感器状态的判断结果，根据所述判断结果生成回复信息，并通过所述通信模块将所述回复信息发送至所述语音输出模块；
所述语音输出模块，与所述通信模块和所述音箱相连，用于将接收到的所述回复信息发送至所述音箱；
所述音箱，用于播放所述回复信息，其中，所述回复信息用于提示对所述采掘装备进行远程控制。
在本发明的一种可能的情况下，所述控制器，包括：
信息采集模块，用于采集所述采掘设备的整机状态信息和传感器信息；其中，所述采掘设备的整机状态信息包括整机工作电压、主回路工作信息、主回路停止信息、主回路过载信息、主回路过流信息、主回路三相不平衡信息和主回路断相信息；
所述传感器信息包括甲烷传感器信息、物位传感器信息、物位传感器信息和油位传感器信息；其中，所述甲烷传感器信息，是通过设置在所述采掘装备外表面的甲烷传感器，采集所述采掘装备的工作环境中的甲烷浓度得到；所述物位传感器信息，是通过设置在所述采掘装备上的物位传感器，采集所述采掘装备到工作面侧边的距离得到；所述油温传感器信息，是通过设置在所述采掘装备油箱上的油温传感器，采集所述油箱的温度得到；所述油位传感器信息，是通过设置在所述采掘装备油箱上的油位传感器，采集所述油箱的液位得到；
处理器，用于根据所述采掘设备的整机状态信息和传感器信息判断所述采掘设备的整机状态和传感器信息是否正常；
网络传输模块，用于从所述处理器获取所述整机状态和传感器状态的判断结果，将所述判断结果通过所述通信模块发送至所述语音识别模块。
在本发明的另一种可能的情况下，所述语音识别模块，还用于从所述控制器获取所述整机状态和所述传感器状态的判断结果，若所述判断结果指示所述整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息均处于正常范围内，则生成第一回复信息；所述第一回复信息用于提示所述采掘装备处于正常状态；
若所述判断结果指示所述整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息中至少一个未处于正常范围，则生成第二回复信息；其中，所述第二回复信息用于提示所述采掘装备未处于正常状态。
在本发明的另一种可能的情况下，
所述信息采集模块，还用于采集设置在所述采掘装备上的读卡器获取的佩戴标识卡的人员与所述采掘设备之间的距离信息；
所述处理器，还用于根据所述信息采集模块采集到的所述距离信息，判断人员接近预警状态是否正常；其中，若所述信息采集模块采集到的所述距离信息大于阈值距离，则确定人员接近预警状态正常；若所述信息采集模块采集到的所述距离信息小于所述阈值距离，则确定人员接近预警状态不正常；
所述网络传输模块，用于从所述处理器获取所述人员接近预警状态的判断结果，将所述判断结果通过所述通信模块发送至所述语音识别模块。
在本发明的另一种可能的情况下，所述语音识别模块，还用于对所述语音信号进行特征提取，得到语音特征，并将所述语音特征发送至所述通信模块；
所述通信模块，用于将所述语音特征上传至服务器，以接收所述服务器对所述语音特征进行语音识别得到的所述语音信息。
在本发明的另一种可能的情况下，所述语音识别模块，还用于对所述语音特征进行压缩，并将压缩后的语音特征发送至所述通信模块。
在本发明的另一种可能的情况下，所述语音识别模块，还用于对所述语音信号进行降噪处理。
在本发明的另一种可能的情况下，所述语音识别模块，还用于通过查询数据库，得到与所述判断结果对应的回复信息；其中，数据库中预先存储了各种判断结果与对应的回复信息之间的映射关系。
在本发明的另一种可能的情况下，所述语音识别模块，还用于将所述判断结果输入经过训练的匹配模型，以得到所述回复信息；其中所述匹配模型是预先根据各种判断结果和回复信息进行训练得到的，已经学习得到判断结果和回复信息之间的对应关系。
本发明实施例提供了一种用于采掘装备远程控制的人机语音对讲系统，所述系统包括：
采掘装备；
以及，上述所述的用于采掘装备远程控制的人机语音对讲平台。
上述申请中的一个实施例具有如下优点或有益效果：通过远程操作设备的麦克风采集远程操作人员发出的语音信号后，人机语音交互系统的声音采集模块获取麦克风采集的语音信号，语音识别模块对语音信号进行语音识别，以得到语音信息，并通过通信模块将语音信息发送至控制器，控制器响应于接收到的语音信息判断采掘装备的整机状态和传感器状态，并将判断结果通过通信模块发送至语音识别模块，语音识别模块根据判断结果生成回复信息后，通过通信模块将回复信息发送至语音输出模块，语音输出模块将接收到的回复信息发送至音箱，以使音箱播放回复信息。由此，远程操作人员在控制采掘装备启动之前，通过语音交互的方式确定采掘装备是否存在故障，避免了采掘装备远程启动前，需要远程操作人员对工作面环境和设备自身进行现场安全确认的现象，从而提高了工作效率，降低了人工成本。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1为本发明实施例提供的一种用于采掘装备远程控制的人机语音对讲平台的结构示意图；
图2为本发明实施例提供的另一种用于采掘装备远程控制的人机语音对讲平台的结构示意图；
图3为本发明实施例提供的一种用于采掘装备远程控制的人机语音对讲系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图1-图2描述本发明实施例的用于采掘装备远程控制的人机语音对讲平台。
如图1-图2所示，根据本发明实施例的用于采掘装备远程控制的人机语音对讲平台10，可以包括：远程操作设备11、人机语音交互系统12和控制器13。
其中，远程操作设备11可以包括麦克风111和音箱112。麦克风111用于采集远程操作人员发出的语音信号。
其中，语音信号，可以为对采掘设备启动前进行判断的语音信号，也可以为对采掘工作面环境进行检查的语音信号，也可以为对采掘装备的整机状态进行检查的语音信号，也可以为对采掘设备附近的人员情况进行确定的语音信息，等等，在此不做限定。
人机语音交互系统12，可以包括：声音采集模块121、语音识别模块122、通信模块123和语音输出模块124。
其中，声音采集模块121与麦克风111相连，用于获取麦克风111采集的语音信号。
语音识别模块122，与声音采集模块121和通信模块123相连，用于对语音信号进行语音识别，以得到语音信息，并将语音信息发送至通信模块123。
控制器13，与语音识别模块122和通信模块123相连，用于接收通信模块123发送的语音信息，响应于语音信息判断采掘装备的整机状态和传感器状态，并将整机状态和传感器状态的判断结果通过通信模块123发送至语音识别模块122。
语音识别模块122，还用于从控制器13获取整机状态和传感器状态的判断结果，根据判断结果生成回复信息，并通过通信模块123将回复信息发送至语音输出模块124。
其中，控制器13可以设置在采掘装备的整机机载设备中，以根据接收到的通信模块发送的语音信息，对采掘装备的状态进行判断。
作为一种示例，假设语音识别模块122对语音信号进行识别，得到的语音信息为“检查设备是否存在故障”，控制器13接收到通信模块123发送的语音信息后，响应于该语音信息判读采掘装备的整机状态和传感器状态，并将判断结果通过通信模块123发送至语音识别模块122，语音识别模块122接收到整机状态和传感器状态的判断结果后，根据判断结果生成回复信息。例如，若判断结果为整机状态和传感器状态均正常，则可以生成回复信息为“设备不存在故障”；若判断结果为整机状态和传感器状态有至少一个不正常时，则可以生成回复信息为“设备存在故障”。需要说明的是，控制器13还可以根据接收到的语音信息对工作人员与采掘工作面或采掘设备之间的距离进行判断，以将判断结果通过通信模块123发送至语音识别模块122。
语音输出模块124，与通信模块123和音箱112相连，用于将接收到的回复信息发送至音箱112。
音箱112，用于播放回复信息，其中，回复信息用于提示对采掘装备进行远程控制，以使得远程操作人员根据音箱112接收到的回复信息对采掘装备进行远程控制。
作为一种示例，假设音箱播放的回复信息为“设备能够远程启动”，则远程操作人员可以远程控制采掘装备启动。若音箱播放的回复信息为“设备不能远程启动”，则远程操作人员不可以远程控制采掘装备启动。
在本发明的一个实施例中，控制器13，还可以包括：信息采集模块131、处理器132和网络传输模块133。
其中，信息采集模块131，用于采集采掘设备的整机状态信息和传感器信息。
其中，采掘设备的整机状态信息可以包括整机工作电压、主回路工作信息、主回路停止信息、主回路过载信息、主回路过流信息、主回路三相不平衡信息和主回路断相信息。
传感器信息可以包括：甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息。其中，甲烷传感器信息，是通过设置在采掘装备外表面的甲烷传感器，采集采掘装备的工作环境中的甲烷浓度得到；物位传感器信息，是通过设置在采掘装备上的物位传感器，采集采掘装备到工作面侧边的距离得到；油温传感器信息，是通过设置在采掘装备油箱上的油温传感器，采集油箱的温度得到；油位传感器信息，是通过设置在采掘装备油箱上的油位传感器，采集油箱的液位得到。
处理器132，用于根据采掘设备的整机状态信息和传感器信息判断采掘设备的整机状态和传感器信息是否正常。
网络传输模块133，用于从处理器132获取整机状态和传感器状态的判断结果，将判断结果通过通信模块123发送至语音识别模块122。
语音识别模块122，还用于从控制器13获取整机状态和传感器状态的判断结果，若判断结果指示整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息均处于正常范围内，则生成第一回复信息。其中，第一回复信息用于提示采掘装备处于正常状态。
若判断结果指示整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息中至少一个未处于正常范围，则生成第二回复信息；其中，第二回复信息用于提示采掘装备未处于正常状态。
作为一种示例，假设语音识别模块122对语音信号进行语音识别，得到的语音信息为“检查设备是否存在故障”，控制器13通过通信模块123接收到语音信息后，控制信息采集模块131采集采掘设备的整机状态信息和传感器信息。其中，整机状态信息包括整机工作电压、主回路工作信息、主回路停止信息、主回路过载信息、主回路过流信息、主回路三相不平衡信息和主回路断相信息，传感器信息包括甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息。
处理器132根据信息采集模块131采集到的整机状态信息和传感器信息，判断采掘设备的整机状态和传感器信息是否正常，网络传输模块133从处理器132获取到对整机状态和传感器状态的判断结果后，将判断结果通过通信模块123发送至语音识别模块122。
语音识别模块122获取到整机状态和传感器状态的判断结果，若判断结果指示整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息均处于正常范围内，则可以生成“设备不存在故障”的第一回复信息。
若判断结果指示整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息中有至少一个未处于正常范围内，则可以生成“设备存在故障”的第二回复信息。
在本发明的一种实施例中，在采掘设备启动之前，不仅需要检查设备是否存在故障，还需要检查采掘装备和工作面附近是否有工作人员，具体的实现过程如下。
作为本发明实施例的一种可能的实现方式，信息采集模块131，还用于采集设置在采掘装备上的读卡器获取的佩戴标识卡的人员与采掘设备之间的距离信息。
可选地，可以采用超宽带(Ultra Wideband，简称UWB)定位技术，测量佩戴标识卡的人员与采掘设备之间的距离。
作为一种示例，设置在采掘装备的读卡器中可以设置有UWB测距模块，以通过UWB测距模块实时测量佩戴标识卡的人员与采掘设备之间的距离。
可选地，UWB测距模块可以采用超宽带(Ultra Wideband，简称UWB)定位技术的到达时间差(Time Difference of Arrival，简称TDOA)，或者，双向飞行时间法(two way-time of flight，简称TW-TOF)，测量佩戴标识卡的人员与采掘设备之间的距离。
作为一种示例，采用UWB定位技术的TDOA测距方法测量佩戴标识卡的人员与采掘设备之间的距离时，读卡器向工作人员佩戴的标识卡发送数据包并记录当前时间为T1，工作人员佩戴的标识卡在接收到读卡器发送的数据包后，象读卡器发送应答信息，记录读卡器接收到应答信息的时间为T2，计算时间差T＝T2-T1，进而，根据时间差和光速计算得到佩戴标识卡的人员与采掘设备之间的距离D＝c*T/2，其中，c为光速。
处理器132，还用于根据信息采集模块采集到的距离信息，判断人员接近预警状态是否正常。其中，若信息采集模块采集到的距离信息大于阈值距离，则确定人员接近预警状态正常；若信息采集模块采集到的距离信息小于阈值距离，则确定人员接近预警状态不正常。其中，阈值距离，为预先设定的采掘装备与人员之间的距离处于安全范围的最小值。
网络传输模块133，还用于从处理器132获取人员接近预警状态的判断结果，将判断结果通过通信模块123发送至语音识别模块122。作为本发明实施例的另一种可能的实现方式，信息采集模块131，还用于采集设置在采掘装备上的读卡器所读取的标识卡的卡信息；
处理器132，还用于若信息采集模块131采集到卡信息，则确定卡信息对应的佩戴标识卡的人员与采掘设备之间的距离大于阈值，进而，确定人员接近预警状态正常。其中，阈值是根据读卡器的读取范围的半径确定的。
若信息采集模块131未采集到卡信息，则确定卡信息对应的佩戴标识卡的人员与采掘设备之间的距离小于阈值，确定人员接近预警状态不正常。
网络传输模块133，还用于从处理器132获取人员接近预警状态的判断结果，将判断结果通过通信模块123发送至语音识别模块122。
语音识别模块122，还用于从控制器13获取采掘装备的整机状态和传感器状态的判断结果和人员接近预警状态的判断结果后，若整机状态和传感器状态的判断结果指示所述整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息均处于正常范围内，并且人员接近预警状态的判断结果指示卡信息对应的佩戴标识卡的人员与采掘设备之间的距离大于阈值，则生成“设备能够远程启动”的回复信息。否则，生成“设备不能远程启动”的回复信息。
在本发明的一个实施例中，语音识别模块122还用于对语音信号进行特征提取，得到语音特征，并将语音特征发送至通信模块123。
通信模块123，用于将语音特征上传至服务器，以接收服务器对语音特征进行语音识别得到的语音信息。
语音识别模块122，还用于对语音特征进行压缩处理，并将压缩后的语音特征发送至通信模块123。
可选地，语音识别模块122获取到语音信号后，对语音信号进行特征提取，以提取得到语音特征。
作为一种可能的实现方式，语音识别模块122可以直接将语音信号输入深度卷积神经网络的输入层，通过输入层对语音信号进行特征提取，以得到语音特征。
可选地，采用深度学习神经网络对语音信号进行特征提取的过程，也就是将语音信号中具有辨识性的成分提取出来，然后把其他的信息扔掉，例如，背景噪声，情绪等等。由此，提高了语音识别模块对语音信号进行语音识别的效率。
在一种可能的情况下，语音识别模块122在采用深度学习神经网络对语音信号进行特征提取，得到语音特征后，还可以对语音特征进行压缩处理，从而减少了对将语音特征提供至服务器的时间，也减少了对语音特征进行语音识别时的计算量。
可选地，语音识别模块122对语音信号进行特征提取，得到语音特征后，可以将语音特征输入语音识别模型，对语音信号进行语音识别，以得到语音信号对应的语音信息。本实施例中，语音识别模型，可以为采用大量训练样本预先训练得到的，已经学习得到了语音信号对应的语音特征与语音信号对应的语音信息之间的映射关系，因此，将语音信号输入语音识别模型后，能够准确识别出语音信号对应的语音信息。
在本发明的一个实施例中，语音识别模块122还用于对语音信号进行降噪处理。
可选地，语音识别模块122获取到语音信号后，可以对语音信号降噪处理，以提高后续对降噪后语音信号进行语音识别的准确性。
在实际场景下，麦克风111采集的远程操作人员发出的语音信号时，还可能接收到其他声源发出的、经过其他途径传递而到达的语音信号，从而导致声音采集模块121获取到的语音信号中存在混响。
由于混响会导致语音识别模块122对语音信号进行语音识别的性能显著下降，为了减少混响对语音识别的影响，可以对语音信号进行去混响处理。
在一种可能的情况下，语音识别模块122获取到语音信号后，可以对语音信号进行去混响处理。由此，通过对语音信号进行去混响处理，能够提高语音信号的清晰度，还有利于提高语音识别模块对语音信号进行识别性能。
在本发明的一个实施例中，语音识别模块122，还可以用于通过查询数据库，得到与判断结果对应的回复信息；其中，数据库中预先存储了各种判断结果与对应的回复信息之间的映射关系。
可选地，在语音识别模块122获取到控制器对采掘装备的整机状态的判断结果后，可以在数据库中查询得到与判断结果对应的回复信息。
在本发明的一个实施例中，语音识别模块122，还可以用于将判断结果输入经过训练的匹配模型，以得到与判断结果对应的回复信息。其中，匹配模型是预先根据各种判断结果和回复信息进行训练得到的，已经学习得到了判断结果与对应的回复信息之间的映射关系，因此，将判断结果输入匹配模型后，能够准确得到判断结果对应的回复信息。
本发明实施例的用于采掘装备远程控制的人机语音对讲平台，通过远程操作设备的麦克风采集远程操作人员发出的语音信号后，人机语音交互系统的声音采集模块获取麦克风采集的语音信号，语音识别模块对语音信号进行语音识别，以得到语音信息，并通过通信模块将语音信息发送至控制器，控制器响应于接收到的语音信息判断采掘装备的整机状态和传感器状态，并将判断结果通过通信模块发送至语音识别模块，语音识别模块根据判断结果生成回复信息后，通过通信模块将回复信息发送至语音输出模块，语音输出模块将接收到的回复信息发送至音箱，以使得音箱播放回复信息。由此，远程操作人员在控制采掘装备远程启动之前，通过语音交互的方式确定采掘装备是否存在故障，避免了采掘装备远程启动之前，需要远程操作人员对工作面环境和设备自身进行现场安全确认的现象，从而提高了工作效率，降低了人工成本。
为了实现上述实施例，本发明提供了一种用于采掘装备远程控制的人机语音对讲平台。
图3为本发明实施例提供的一种用于采掘装备远程控制的人机语音对讲系统的结构示意图。
如图3所示，该用于采掘装备远程控制的人机语音对讲系统20，可以包括：采掘设备21和用于采掘装备远程控制的人机语音对讲平台10。
其中，采掘设备21上可以设置有甲烷传感器、物位传感器、物位传感器和油位传感器。其中，甲烷传感器可以设置在采掘装备21的外表面，用于采集采掘装备31的工作环境中的甲烷浓度；物位传感器可以设置在采掘装备21上，用于采集采掘装备21到工作面侧边的距离；油温传感器可以设置在采掘装备21的油箱上，用于采集油箱的温度；油位传感器可以设置在采掘装备21的油箱上，用于采集油箱的液位。
用于采掘装备远程控制的人机语音对讲平台10的具体结构可以参考上述的介绍过程，在此不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于采掘装备远程控制的人机语音对讲平台，其特征在于，包括：
远程操作设备，其中，所述远程操作设备包括麦克风和音箱；所述麦克风用于采集远程操作人员发出的语音信号；
人机语音交互系统，其中，所述人机语音交互系统包括：声音采集模块、语音识别模块、通信模块和语音输出模块；
所述声音采集模块，与所述麦克风相连，用于获取所述麦克风采集的语音信号；
所述语音识别模块，与所述声音采集模块和所述通信模块相连，用于对所述语音信号进行语音识别，以得到语音信息，并将所述语音信息发送至所述通信模块；
控制器，与所述语音识别模块和所述通信模块相连，用于接收所述通信模块发送的所述语音信息，响应于所述语音信息判断采掘装备的整机状态和传感器状态，并将所述整机状态和所述传感器状态的判断结果通过所述通信模块发送至所述语音识别模块；
所述语音识别模块，还用于从所述控制器获取所述整机状态和所述传感器状态的判断结果，根据所述判断结果生成回复信息，并通过所述通信模块将所述回复信息发送至所述语音输出模块；
所述语音输出模块，与所述通信模块和所述音箱相连，用于将接收到的所述回复信息发送至所述音箱；
所述音箱，用于播放所述回复信息，其中，所述回复信息用于提示对所述采掘装备进行远程控制。
2.根据权利要求1所述的平台，其特征在于，所述控制器，包括：
信息采集模块，用于采集所述采掘设备的整机状态信息和传感器信息；其中，所述采掘设备的整机状态信息包括整机工作电压、主回路工作信息、主回路停止信息、主回路过载信息、主回路过流信息、主回路三相不平衡信息和主回路断相信息；
所述传感器信息包括甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息；其中，所述甲烷传感器信息，是通过设置在所述采掘装备外表面的甲烷传感器，采集所述采掘装备的工作环境中的甲烷浓度得到；所述物位传感器信息，是通过设置在所述采掘装备的上的物位传感器，采集所述采掘装备到工作面侧边的距离得到；所述油温传感器信息，是通过设置在所述采掘装备油箱上的油温传感器，采集所述油箱的温度得到；所述油位传感器信息，是通过设置在所述采掘装备油箱上的油位传感器，采集所述油箱的液位得到；
处理器，用于根据所述采掘设备的整机状态信息和传感器信息判断所述采掘设备的整机状态和传感器信息是否正常；
网络传输模块，用于从所述处理器获取所述整机状态和传感器状态的判断结果，将所述判断结果通过所述通信模块发送至所述语音识别模块。
3.根据权利要求2所述的平台，其特征在于，
所述语音识别模块，还用于从所述控制器获取所述整机状态和所述传感器状态的判断结果，若所述判断结果指示所述整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息均处于正常范围内，则生成第一回复信息；所述第一回复信息用于提示所述采掘装备处于正常状态；
若所述判断结果指示所述整机工作电压、主回路电流信息、甲烷传感器信息、物位传感器信息、油温传感器信息和油位传感器信息中至少一个未处于正常范围，则生成第二回复信息；其中，所述第二回复信息用于提示所述采掘装备未处于正常状态。
4.根据权利要求2所述的平台，其特征在于，
所述信息采集模块，还用于采集设置在所述采掘装备上的读卡器获取的佩戴标识卡的人员与所述采掘设备之间的距离信息；
所述处理器，还用于根据所述信息采集模块采集到的所述距离信息，判断人员接近预警状态是否正常；其中，若所述信息采集模块采集到的所述距离信息大于阈值距离，则确定人员接近预警状态正常；若所述信息采集模块采集到的所述距离信息小于所述阈值距离，则确定人员接近预警状态不正常；
所述网络传输模块，还用于从所述处理器获取所述人员接近预警状态的判断结果，将所述判断结果通过所述通信模块发送至所述语音识别模块。
5.根据权利要求1所述的平台，其特征在于，
所述语音识别模块，还用于对所述语音信号进行特征提取，得到语音特征，并将所述语音特征发送至所述通信模块；
所述通信模块，用于将所述语音特征上传至服务器，以接收所述服务器对所述语音特征进行语音识别得到的所述语音信息。
6.根据权利要求5所述的平台，其特征在于，
所述语音识别模块，还用于对所述语音特征进行压缩处理，并将压缩后的语音特征发送至所述通信模块。
7.根据权利要求1所述的平台，其特征在于，
所述语音识别模块，还用于对所述语音信号进行降噪处理。
8.根据权利要求1所述的平台，其特征在于，
所述语音识别模块，还用于通过查询数据库，得到与所述判断结果对应的回复信息；其中，数据库中预先存储了各种判断结果与对应的回复信息之间的映射关系。
9.根据权利要求1所述的平台，其特征在于，
所述语音识别模块，还用于将所述判断结果输入经过训练的匹配模型，以得到所述回复信息；其中，所述匹配模型是预先根据各种判断结果和回复信息进行训练得到的，已经学习得到判断结果和回复信息之间的映射关系。
10.一种用于采掘装备远程控制的人机语音对讲系统，其特征在于，所述系统包括：
采掘装备；
以及，如权利要求1-9任一项所述的用于采掘装备远程控制的人机语音对讲平台。
CN202010896726.3A 2020-08-31 2020-08-31 用于采掘装备远程控制的人机语音对讲平台 Pending CN112185372A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010896726.3A CN112185372A (zh) 2020-08-31 2020-08-31 用于采掘装备远程控制的人机语音对讲平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896726.3A CN112185372A (zh) 2020-08-31 2020-08-31 用于采掘装备远程控制的人机语音对讲平台

Publications (1)

Publication Number Publication Date
CN112185372A true CN112185372A (zh) 2021-01-05

Family

ID=73925098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896726.3A Pending CN112185372A (zh) 2020-08-31 2020-08-31 用于采掘装备远程控制的人机语音对讲平台

Country Status (1)

Country Link
CN (1) CN112185372A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101418688A (zh) * 2007-10-26 2009-04-29 三一重型装备有限公司 智能型全自动联合采煤系统
CN102945012A (zh) * 2012-10-22 2013-02-27 三一重工股份有限公司 混凝土泵车及监控系统、监控方法
CN106507244A (zh) * 2016-12-23 2017-03-15 深圳先进技术研究院 一种中控系统
CN107509124A (zh) * 2017-08-08 2017-12-22 中国神华能源股份有限公司 一种综采工作面集中控制系统
CN108447479A (zh) * 2018-02-02 2018-08-24 上海大学 嘈杂工况环境的机器人语音控制系统
CN109243454A (zh) * 2018-10-31 2019-01-18 天地科技股份有限公司上海分公司 采掘机械的控制系统及其控制方法
CN110381073A (zh) * 2019-07-26 2019-10-25 合肥金人科技有限公司 一种基于物联网技术的语音交互控制系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101418688A (zh) * 2007-10-26 2009-04-29 三一重型装备有限公司 智能型全自动联合采煤系统
CN102945012A (zh) * 2012-10-22 2013-02-27 三一重工股份有限公司 混凝土泵车及监控系统、监控方法
CN106507244A (zh) * 2016-12-23 2017-03-15 深圳先进技术研究院 一种中控系统
CN107509124A (zh) * 2017-08-08 2017-12-22 中国神华能源股份有限公司 一种综采工作面集中控制系统
CN108447479A (zh) * 2018-02-02 2018-08-24 上海大学 嘈杂工况环境的机器人语音控制系统
CN109243454A (zh) * 2018-10-31 2019-01-18 天地科技股份有限公司上海分公司 采掘机械的控制系统及其控制方法
CN110381073A (zh) * 2019-07-26 2019-10-25 合肥金人科技有限公司 一种基于物联网技术的语音交互控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统

Similar Documents

Publication Publication Date Title
JP6461246B2 (ja) インダストリアル・インターネットオペレーションシステムに基づく安全性の検査方法と装置
US9476761B2 (en) System for making available information which represents a vibration state for the operation of vibration-emitting machines, in particular construction machines
CN101255950A (zh) 输油集输系统计量与管道监控智能报警系统
JP6827379B2 (ja) 電力機器の保守支援装置、システムおよびプログラム
CN105472117A (zh) 监控电机运行状况的系统、移动电话机以及基于服务器的系统
CN113607271A (zh) 一种基于振动信号的gil缺陷在线监测系统及方法
CN102142257B (zh) 一种音频信号处理方法及装置
CN112185372A (zh) 用于采掘装备远程控制的人机语音对讲平台
JPWO2019230687A1 (ja) 打音検査端末、打音検査システムおよび打音検査データ登録方法
JPWO2017187499A1 (ja) エレベーター遠隔保守支援システム
CN102123177A (zh) 基于网络实现的旋转机械故障检测系统及其在线检测方法
US11422527B2 (en) Automatic inspection system
CN110043805B (zh) 一种基于网络服务器实现地下管道状况预警方法及装置
CN113483815A (zh) 一种基于工业大数据的机械故障监控系统
CN106153363A (zh) 一种基于声像监测的机械设备故障自动识别方法
CN102849555B (zh) 一种基于云计算的高精度地震管控的方法及系统
CN202075832U (zh) 房屋安全监控预警系统
CN115240691B (zh) 一种基于数据分析的变电站设备运行状态监测控制系统
CN105784401A (zh) 一种设备故障声频检测方法及其检测系统
CN105890740A (zh) 一种空调六维振动测试系统及其方法
CN110095668A (zh) 轨道电路扼流变压器工作信息实时在线监测系统、方法
CN114354758A (zh) 一种路基性能判断方法、装置、设备及可读存储介质
CN104991222A (zh) 计量自动化终端质量评价系统
CN112814890A (zh) 一种基于声纹和震动检测泵机故障的方法
CN205880556U (zh) 一种基于嵌入式的机械噪音以及振动监控检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination