CN117316151A - 一种基于语音控制的多端联动大屏控制系统及方法 - Google Patents

一种基于语音控制的多端联动大屏控制系统及方法 Download PDF

Info

Publication number
CN117316151A
CN117316151A CN202311242758.1A CN202311242758A CN117316151A CN 117316151 A CN117316151 A CN 117316151A CN 202311242758 A CN202311242758 A CN 202311242758A CN 117316151 A CN117316151 A CN 117316151A
Authority
CN
China
Prior art keywords
voice
display
terminal
control
large screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311242758.1A
Other languages
English (en)
Inventor
许勇昌
姜华
王梦佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shine Technology Co ltd
Original Assignee
Jiangsu Shine Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shine Technology Co ltd filed Critical Jiangsu Shine Technology Co ltd
Priority to CN202311242758.1A priority Critical patent/CN117316151A/zh
Publication of CN117316151A publication Critical patent/CN117316151A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于语音控制的多端联动大屏控制系统及方法，所述基于语音控制的多端联动大屏控制系统包括移动端、服务器和显示端，所述移动端通过服务器与显示端相连；所述移动端内设置有联动控制APP，所述联动控制APP将操作指令，通过接口的方式发送至服务器；所述服务器接收移动端发送的指令，进行指令解析，并将需要的操作结果，发送至显示端，控制显示端根据操作结果进行显示。本发明提供一种基于语音控制的多端联动大屏控制系统及方法，实现大屏显示的移动化控制，通过用户语音远程控制大屏的界面切换和跳转。

Description

一种基于语音控制的多端联动大屏控制系统及方法
技术领域
本发明涉及一种基于语音控制的多端联动大屏控制系统及方法。
背景技术
目前，在煤矿领域，信息中心或者展厅需要通过大屏来进行煤矿安全监控信息的展示。传统的大屏显示是通过监控电脑连接，通过监控电脑来控制大屏显示界面的切换和跳转。
但是，随着信息技术的发展，以及手机和平板等移动终端的普及，传统的大屏显示控制已无法满足企业多样化的需求。因此，如何通过移动终端来实现对大屏的显示控制，从而给观展人员带来更好的观展体验，是煤矿企业用户关注的问题。
发明内容
本发明所要解决的技术问题是，克服现有技术的不足，提供一种基于语音控制的多端联动大屏控制系统及方法，实现大屏显示的移动化控制，通过用户语音远程控制大屏的界面切换和跳转。
为了解决上述技术问题，本发明的技术方案是：
本发明一方面提供一种基于语音控制的多端联动大屏控制系统，它包括移动端、服务器和显示端，所述移动端通过服务器与显示端相连；
所述移动端内设置有联动控制APP，所述联动控制APP将操作指令，通过接口的方式发送至服务器；
所述服务器接收移动端发送的指令，进行指令解析，并将需要的操作结果，发送至显示端，控制显示端根据操作结果进行显示。
进一步，所述移动端包括手机和平板，所述联动控制APP分别安装在手机和平板内。
进一步，所述显示端包括监控电脑和大屏。
本发明另一方面提供一种基于语音控制的多端联动大屏控制系统的控制方法，它包括如下步骤：
步骤S1、在移动端的联动控制APP上进行用户登录；
步骤S2、用户向移动端发送语音命令，由联动控制APP将语音命令信号转换为文字命令信号，调用服务器接口将文字命令信号发送至服务器后台；
步骤S3、由服务器后台配置文字命令信号和显示端菜单的映射关系；
步骤S4、文字命令信号和显示端菜单的映射关系配置完成后，显示端根据映射关系进行语音命令对应的显示界面切换和跳转。
进一步，所述步骤S2中，由联动控制APP将语音命令信号转换为文字命令信号，具体包括如下步骤：
通过AudioRecord采集移动端的麦克风输入的语音命令信号，对语音命令信号进行降噪处理；
将采集到的语音命令信号送入DFSMN语音识别模型进行处理，DFSMN语音识别模型将语音命令信号转换为文字命令信号。
进一步，所述语音命令信号的降噪处理，具体包括如下步骤：
建立语音训练数据集，所述语音训练数据集包括环境噪声和纯净人声；
将语音训练数据集输入至深度神经网络，由深度神经网络训练出语音增强回归算法；
通过语音增强回归算法从环境噪声中分离出纯净人声。
进一步，所述步骤S3中，由服务器后台配置文字命令信号和显示端菜单的映射关系，具体包括如下步骤：
首先建立网页，将网页打开到显示端菜单；
将网页和服务器后台的数据处理服务进行websocket连接，然后将文字命令信号中的关键词与网页链接进行一对一绑定；
当服务器接收到某一关键词时，则对绑定的网页进行操作，显示端进行相应的显示界面跳转和切换。
采用了上述技术方案，本发明可以实现大屏显示的移动化控制，联动控制APP可以方便的安装在智能手机或平板电脑上，实现用户语音远程控制大屏的界面切换和跳转，可以完全替代PC电脑端控制。具有集中管控、同步显示、远程操作等多项功能。将用户从被动地、静态接受的展示状态中解放出来，能够帮助用户更好地融入展览环境，获得双向互动的交流体验。
附图说明
图1为本发明的基于语音控制的多端联动大屏控制系统的原理框图；
图2为本发明的基于语音控制的多端联动大屏控制系统的控制方法的流程图。
具体实施方式
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供一种基于语音控制的多端联动大屏控制系统，它包括移动端、服务器和显示端，移动端通过服务器与显示端相连。移动端包括手机和平板，联动控制APP分别安装在手机和平板内，显示端包括监控电脑和大屏。
移动端内设置有联动控制APP，用户可以向手机和平板发送语音命令，联动控制APP将操作指令，例如大屏显示页面的切换和跳转等指令通过接口的方式，发送至服务器。
服务器接收移动端发送的指令，进行相关的指令解析，并将需要的操作结果，发送至显示端，控制显示端根据操作结果进行语音命令中对应的操作，例如大屏显示页面的切换和跳转。
实施例二
如图2所示，本实施例提供一种基于语音控制的多端联动大屏控制系统的控制方法，它包括如下步骤：
步骤S1、在移动端的联动控制APP上进行用户登录。
步骤S2、用户向移动端发送语音命令，由联动控制APP将语音命令信号转换为文字命令信号，调用服务器接口将文字命令信号发送至服务器后台。其中，由联动控制APP将语音命令信号转换为文字命令信号，具体包括如下步骤：
首先，通过AudioRecord采集移动端的麦克风输入的语音命令信号，对语音命令信号进行降噪处理，降低环境噪声的干扰，从而提高语音识别的准确率。其中，语音命令信号的降噪处理，具体包括如下步骤：
建立语音训练数据集，语音训练数据集包括环境噪声和纯净人声；
将语音训练数据集输入至深度神经网络，由深度神经网络训练出语音增强回归算法；
通过语音增强回归算法从环境噪声中分离出纯净人声。具有更好的鲁棒性，可以覆盖更广的噪声场景，能够实时分离人声和环境噪声，在任何噪声环境下都能提取出清晰的人声，不受声源方向的限制。
然后，将采集到的语音命令信号送入DFSMN(深度分离卷积递归短时记忆网络)语音识别模型进行处理，DFSMN语音识别模型将语音命令信号转换为文字命令信号。
步骤S3、由服务器后台配置文字命令信号和显示端菜单的映射关系，具体包括如下步骤：
首先建立网页，将网页打开到显示端菜单；
将网页和服务器后台的数据处理服务进行websocket连接，然后将文字命令信号中的关键词与网页链接进行一对一绑定；
当服务器接收到某一关键词时，则对绑定的网页进行操作，显示端进行相应的显示界面跳转和切换。
步骤S4、文字命令信号和显示端菜单的映射关系配置完成后，显示端根据映射关系进行语音命令对应的显示界面切换和跳转。
例如：将“首页”与“/home”的路径做了绑定，当服务器收到移动端的“显示首页”语音命令时，服务器会发出映射好的路径“/home”给大屏，大屏进行响应的跳转，在大屏上显示首页界面。
例如：用户手持移动终端，向移动终端发送“打开瓦斯泵房监测界面”语音命令，识别到已绑定的“瓦斯泵房”关键词，则大屏跳转到瓦斯泵房监测界面。
例如：用户手持移动终端，向移动终端发送“打开水泵房监测界面”语音命令，识别到已绑定的“水泵房”关键词，则大屏跳转到水泵房监测界面。
例如：用户手持移动终端，向移动终端发送“打开皮带机头机尾监测界面”语音命令，识别到已绑定的“皮带机头机尾”关键词，则大屏跳转到皮带监测界面。
此外，如果用户A在监控电脑A上有打开到大屏，服务器会将大屏地址传输至监控电脑A做相应显示跳转，用户B在监控电脑B上打开的大屏显示界面则不受影响。
以上所述的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于语音控制的多端联动大屏控制系统，其特征在于：它包括移动端、服务器和显示端，所述移动端通过服务器与显示端相连；
所述移动端内设置有联动控制APP，所述联动控制APP将操作指令，通过接口的方式发送至服务器；
所述服务器接收移动端发送的指令，进行指令解析，并将需要的操作结果，发送至显示端，控制显示端根据操作结果进行显示。
2.根据权利要求1所述的基于语音控制的多端联动大屏控制系统，其特征在于：所述移动端包括手机和平板，所述联动控制APP分别安装在手机和平板内。
3.根据权利要求1所述的基于语音控制的多端联动大屏控制系统，其特征在于：所述显示端包括监控电脑和大屏。
4.一种如权利要求1～3中任一项所述的基于语音控制的多端联动大屏控制系统的控制方法，其特征在于，它包括如下步骤：
步骤S1、在移动端的联动控制APP上进行用户登录；
步骤S2、用户向移动端发送语音命令，由联动控制APP将语音命令信号转换为文字命令信号，调用服务器接口将文字命令信号发送至服务器后台；
步骤S3、由服务器后台配置文字命令信号和显示端菜单的映射关系；
步骤S4、文字命令信号和显示端菜单的映射关系配置完成后，显示端根据映射关系进行语音命令对应的显示界面切换和跳转。
5.根据权利要求4所述的控制方法，其特征在于，所述步骤S2中，由联动控制APP将语音命令信号转换为文字命令信号，具体包括如下步骤：
通过AudioRecord采集移动端的麦克风输入的语音命令信号，对语音命令信号进行降噪处理；
将采集到的语音命令信号送入DFSMN语音识别模型进行处理，DFSMN语音识别模型将语音命令信号转换为文字命令信号。
6.根据权利要求5所述的控制方法，其特征在于，所述语音命令信号的降噪处理，具体包括如下步骤：
建立语音训练数据集，所述语音训练数据集包括环境噪声和纯净人声；
将语音训练数据集输入至深度神经网络，由深度神经网络训练出语音增强回归算法；
通过语音增强回归算法从环境噪声中分离出纯净人声。
7.根据权利要求4所述的控制方法，其特征在于，所述步骤S3中，由服务器后台配置文字命令信号和显示端菜单的映射关系，具体包括如下步骤：
首先建立网页，将网页打开到显示端菜单；
将网页和服务器后台的数据处理服务进行websocket连接，然后将文字命令信号中的关键词与网页链接进行一对一绑定；
当服务器接收到某一关键词时，则对绑定的网页进行操作，显示端进行相应的显示界面跳转和切换。
CN202311242758.1A 2023-09-25 2023-09-25 一种基于语音控制的多端联动大屏控制系统及方法 Pending CN117316151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311242758.1A CN117316151A (zh) 2023-09-25 2023-09-25 一种基于语音控制的多端联动大屏控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311242758.1A CN117316151A (zh) 2023-09-25 2023-09-25 一种基于语音控制的多端联动大屏控制系统及方法

Publications (1)

Publication Number Publication Date
CN117316151A true CN117316151A (zh) 2023-12-29

Family

ID=89287799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311242758.1A Pending CN117316151A (zh) 2023-09-25 2023-09-25 一种基于语音控制的多端联动大屏控制系统及方法

Country Status (1)

Country Link
CN (1) CN117316151A (zh)

Similar Documents

Publication Publication Date Title
CN101599224B (zh) 一种演示系统以及移动终端和无线上网卡
CN108538291A (zh) 语音控制方法、终端设备、云端服务器及系统
KR102056330B1 (ko) 통역장치 및 그 방법
CN103760969A (zh) 移动终端及语音控制应用程序的方法
CN103000175A (zh) 一种语音识别的方法及移动终端
CN106375942A (zh) 一种数据信息的传输的方法以及装置
CN105224601B (zh) 一种提取时间信息的方法和装置
EP3422344B1 (en) Electronic device for performing operation corresponding to voice input
JP7017598B2 (ja) スマートデバイスのデータ処理方法、装置、機器及び記憶媒体
BR0005535A (pt) Método e sistema de operação de telefoneportátil por reconhecimento de voz
CN103186232A (zh) 语音键盘装置
CN105072246A (zh) 信息同步方法、装置及终端
CN104142778A (zh) 一种文本处理的方法、装置及移动终端
CN102830915A (zh) 语义输入控制系统及其方法
CN107172258A (zh) 一种保存联系人信息的方法、装置、终端及存储介质
CN108538289A (zh) 基于蓝牙实现语音遥控的方法、装置和终端设备
CN104167033A (zh) 基于手机、语音、短信控制的智能电子锁系统及控制方法
CN108228620A (zh) 一种词库更新方法及装置
AU2015100672A4 (en) Full-voice interaction system for mobile intelligent devices
CN103064828B (zh) 一种操作文本的方法及装置
CN108494970A (zh) 终端状态信息的处理方法、装置、存储介质及终端
CN103092509A (zh) 虚拟按键控制方法及电子装置
CN110944056A (zh) 交互方法、移动终端及可读存储介质
CN109068010A (zh) 语音内容记录方法与装置
CN109462782A (zh) 一种传真转对讲的通讯系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination