CN111710339A - 一种基于数据可视化展示技术的语音识别交互系统及方法 - Google Patents

Abstract

本发明涉及数据可视化领域，公开了一种基于数据可视化展示技术的语音识别交互系统及方法，包括声音采集模块、语音识别模块、交互控制模块和数据可视化展示模块，语音识别模块与声音采集模块相连；数据可视化展示模块和语音识别模块分别与交互控制模块相连；交互控制模块包括若干个操作器，操作器为语音播报语料操作器或数据可视化切换指令操作器。本发明结合了语音识别技术，通过对语音消息进行识别、并分析处理，解决了在数据可视化模块中需要双手遥控大屏幕的问题，并且能够及时地根据用户语音信息切换相关业务数据画面，能够自动地挖掘出可视化画面展示中涉及到的业务数据信息、并且及时地向用户进行反馈，操作方便快捷。

Description

一种基于数据可视化展示技术的语音识别交互系统及方法

技术领域

本发明涉及数据可视化领域，具体地涉及一种基于数据可视化展示技术的语音识别交互系统及方法。

背景技术

近二十年来，语音识别技术取得显著进步，开始从实验室走向市场，未来10年内，语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。同样，随着大数据产业的蓬勃发展，很多企业都开始应用数据可视化。把大量的历史数据、实时数据进行应用处理，形象化、抽象化，从数据中分析业务、决策和规划，让数据迭代推动企业的发展和进步。

在当前的数据可视化应用案例中，通常是使用拼接屏系统进行大屏高分辨率渲染，用户通过大屏幕的可视化展示画面进行业务场景的使用，如演示汇报、运营监控等。而现有的大屏幕的可视化展示画面往往需要双手遥控大屏幕，操作不便。

发明内容

本发明提供一种基于数据可视化展示技术的语音识别交互系统及方法，从而解决现有技术的上述问题。

第一方面，本发明提供了一种基于数据可视化展示技术的语音识别交互系统，包括声音采集模块、语音识别模块、交互控制模块和数据可视化展示模块，语音识别模块与声音采集模块相连；数据可视化展示模块和语音识别模块分别与交互控制模块相连；交互控制模块包括若干个操作器，操作器为语音播报语料操作器或数据可视化切换指令操作器；

声音采集模块，用于进行语音录制、并将语音录制后的用户语音信息发送至语音识别模块；

语音识别模块，用于将语音信息进行云平台或服务器的在线识别，并将识别结果发送至交互控制模块或声音采集模块；

交互控制模块，用于接收识别结果，根据识别结果向数据可视化展示模块发送控制指令；还用于对数据可视化展示模块发送的消息进行解析，并根据解析结果执行相应的操作器；

数据可视化展示模块，用于与交互控制模块进行信息交互、并显示相关数据可视化画面。

进一步的，声音采集模块包括上位机、全向阵列麦克风、状态指示灯和扬声器；上位机分别与全向阵列麦克风、状态指示灯和扬声器相连；全向阵列麦克风通过放大器与上位机相连。

进一步的，上位机还包括语音监听模块；语音监听模块，用于监听录制用户语音信息、在监听录制过程中进行超时判断、并将录制的用户语音信息发送至语音识别模块。

进一步的，上位机还包括存储模块和唤醒指令识别模块，存储模块存储有监听录制的用户语音信息以及唤醒指令；唤醒指令识别模块，用于将用户发出的语音指令与唤醒指令进行比较，从而唤醒语音监听模块。

本发明为了避免用户误操作(如多个用户正在谈话，可能会提及系统可识别的命令语句造成错误执行)增加了唤醒机制，类似手机的锁屏/解锁机制。用户在语音监听模块关闭状态下，通过声音采集模块说出语音指令，系统先判断进行语音监听模块是否开启，若是，则表明系统则已经处于激活状态，会将监听录制的用户语音信息发送至语音识别模块；若否，则进行唤醒指令识别，当识别成功，即启动语音监听模块，并进行语音输出提示以及状态灯光变化以提示用户；如果识别不到唤醒词，则不发送用户语音信息至语音识别模块。

进一步的，上位机还包括生物语音识别模块，存储模块还存储有用户的生物声音信号，生物语音识别模块用于将全向阵列麦克风采集到的语音输入信号与存储模块中存储的生物声音信号进行比较，从而唤醒语音监听模块。

本发明还设置了生物语音识别的方式，将用户的语音输入信号与存储模块中存储的生物声音信号进行比对，当比对成功后，则唤醒语音监听模块，本发明可以同时从词义(唤醒指令)和信号比对两个方面来判断是否唤醒语音监听模块，从而增强了整个系统的保密性，防止外部人员进行违法操作。

进一步的，声音采集模块还包括LMS(Least Mean Square)自适应滤波器降噪模块，LMS自适应滤波器降噪模块用于对语音输入信号或监听录制的用户语音信息进行降噪处理。

通过采用最小均方自适应滤波降噪模块对用户语音信息进行降噪处理，有利于对用户语音信息的识别，提高识别准确率。

进一步的，声音采集模块与语音识别模块通过有线或无线进行连接。

进一步的，数据可视化展示模块包括数据处理服务器、应用服务器和图像渲染服务器；数据处理服务器用于采集业务数据、对业务数据进行存储并预处理；应用服务器，用于其他服务器之间进行信息交互；图像渲染服务器，用于展示数据可视化结果；数据处理服务器与应用服务器连接，应用服务器与所述图像渲染服务器连接；应用服务器与交互控制模块连接。

第二方面，一种基于数据可视化展示技术的语音识别交互方法，包括如下步骤：

S1)利用声音采集模块采集用户发出的语音指令、判断是否已经开启语音监听模块，若是，则进入步骤S3)；若否，则判断语音指令是否是唤醒指令，若否，则重复本步骤；若是，则唤醒语音监听模块，进入步骤S2)；

S2)状态指示灯亮起白色状态灯光，扬声器提示语音监听模块已唤醒，进入步骤S3)；

S3)利用声音采集模块录制用户语音信息、将用户语音信息进行存储并发送至语音识别模块，利用语音识别模块判断是否识别到用户语音信息，若否，则状态指示灯亮起红色状态灯光，进入步骤S5)；若是，则进入步骤S4)；

S4)利用语音识别模块对用户语音信息进行在线识别，获取识别结果、并根据识别结果进行与识别结果相应的业务处理；

S5)设置语音录制超时时长，判断在语音录制超时时长内是否检测到有语音信息，若是，则返回步骤S3)；若否，则关闭语音监听模块。

进一步的，步骤S4)中，业务处理包括业务指令处理、多音集合选项处理、阈值预警信息提醒处理、条件追加处理或超出系统处理能力处理；

业务指令处理，用于当识别结果为业务指令信息时，语音识别模块将业务指令信息通过交互控制模块发送至数据可视化展示模块，数据可视化展示模块根据业务指令信息进行相关数据的可视化画面展示，利用扬声器播放与业务指令信息相关的语音提示；

多音集合选项处理，用于判断识别结果或用户语音信息是否存在多音集合选项，若否，则状态指示灯亮起红色状态灯光以提示用户；若是，则向用户提供与识别结果相关的多音集合，语音识别模块等待用户反馈并获取选项识别信息；根据选项识别信息判断是否有上文信息，若是，则将选项识别信息与上文信息进行匹配，生成新的业务指令信息，根据新的业务指令信息进行业务指令处理；

阈值预警信息提醒处理，用于在应用服务器中设置若干个与不同种类业务数据相关的数据阈值以及数据阈值条件，利用应用服务器监测可视化画面展示中涉及到的数据信息，当应用服务器监测可视化画面展示中涉及到的数据信息满足与数据信息相关的数据阈值条件时，应用服务器向交互控制模块发送业务数据阈值指令，交互控制模块对业务数据阈值指令进行解析，并执行与业务数据阈值指令相对应的操作器；

条件追加处理，用于利用语音识别模块对用户语音信息进行语义分析，并判断是否有上文信息，若是，则语音识别模块根据所述上文信息及用户语音信息重新生成指令发送至交互控制模块和/或声音采集模块；若否，则状态指示灯亮起红色状态灯光；

超出系统处理能力操作处理，用于当识别结果或业务处理过程中识别到的语音信息超出系统处理能力时，状态指示灯亮起红色状态灯光。

本发明的有益效果是：本发明在数据可视化系统中结合了语音识别技术，通过对语音消息进行识别、并分析处理，解决了在数据可视化模块中需要双手遥控大屏幕的问题，并且能够及时地根据用户语音信息切换相关业务数据画面，或者自动地挖掘出可视化画面展示中涉及到的业务数据信息、并且及时地向用户进行反馈，操作方便快捷。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的语音识别交互系统结构示意图。

图2为本发明实施例一提供的语音识别交互方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。

实施例一，本发明提供了一种基于数据可视化展示技术的语音识别交互系统，如图1所示，包括声音采集模块、语音识别模块、交互控制模块和数据可视化展示模块，声音采集模块与语音识别模块通过有线或无线进行连接；数据可视化展示模块和语音识别模块分别与交互控制模块相连；交互控制模块具有若干个操作器，操作器为语音播报语料操作器或数据可视化切换指令操作器；

声音采集模块，用于进行语音录制、并将语音录制后的用户语音信息发送至语音识别模块；

语音识别模块，用于将语音信息进行云平台或服务器的在线识别，并将识别结果发送至交互控制模块或声音采集模块；

交互控制模块，用于接收识别结果，根据识别结果向数据可视化展示模块发送控制指令；还用于对数据可视化展示模块发送的消息进行解析，并根据解析结果执行相应的操作器；

数据可视化展示模块，用于与交互控制模块进行信息交互、并显示相关数据可视化画面。

声音采集模块包括上位机、全向阵列麦克风、状态指示灯和扬声器；上位机分别与全向阵列麦克风、状态指示灯和扬声器相连；全向阵列麦克风通过放大器与上位机相连。

上位机还包括语音监听模块；语音监听模块，用于监听录制用户语音信息、在监听录制过程中进行超时判断、并将录制的用户语音信息发送至语音识别模块。

上位机还包括存储模块和唤醒指令识别模块，存储模块存储有监听录制的用户语音信息以及唤醒指令；唤醒指令识别模块，用于将用户发出的语音指令与唤醒指令进行比较，从而唤醒语音监听模块。

本发明为了避免用户误操作(如多个用户正在谈话，可能会提及系统可识别的命令语句造成错误执行)增加了唤醒机制。用户在语音监听模块关闭状态下，通过声音采集模块说出语音指令，系统先判断进行语音监听模块是否开启，若是，则表明系统则已经处于激活状态，会将监听录制的用户语音信息发送至语音识别模块；若否，则进行唤醒指令识别，当识别成功，即启动语音监听模块，并进行语音输出提示以及状态灯光变化以提示用户；如果识别不到唤醒词，则不发送用户语音信息至语音识别模块。

上位机还包括生物语音识别模块，存储模块还存储有用户的生物声音信号，生物语音识别模块用于将全向阵列麦克风采集到的语音输入信号与存储模块中存储的生物声音信号进行比较，从而唤醒语音监听模块。

本发明还设置了生物语音识别的方式，将用户的语音输入信号与存储模块中存储的生物声音信号进行比对，当比对成功后，则唤醒语音监听模块，本发明可以同时从词义(唤醒指令)和信号比对两个方面来判断是否唤醒语音监听模块，从而增强了整个系统的保密性，防止外部人员进行违法操作。

声音采集模块还包括LMS(Least Mean Square)自适应滤波器降噪模块，LMS自适应滤波器降噪模块用于对语音输入信号或监听录制的用户语音信息进行降噪处理。

通过采用最小均方自适应滤波降噪模块对用户语音信息进行降噪处理，有利于对用户语音信息的识别，提高识别准确率。

数据可视化展示模块包括大屏幕、数据处理服务器、应用服务器和图像渲染服务器；数据处理服务器用于采集业务数据、对业务数据进行存储并预处理；应用服务器，用于其他服务器之间进行信息交互；图像渲染服务器，用于展示数据可视化结果；数据处理服务器与应用服务器连接，应用服务器与所述图像渲染服务器连接；应用服务器与交互控制模块连接；图像渲染服务器与大屏幕连接。

应用服务器实质上是一个中间件服务器，用于其他服务器(即数据处理服务器、图像渲染服务器和交互控制模块)之间进行信息交互，应用服务器介于图像渲染服务器、数据处理服务器以及交互控制模块之间，建立了其他服务器之间数据信息的交流。

第二方面，本实施例一提供了一种基于数据可视化展示技术的语音识别交互方法，包括如下步骤：

S1)利用声音采集模块采集用户发出的语音指令、判断是否已经开启语音监听模块，若是，则进入步骤S3)；若否，则判断语音指令是否是唤醒指令，若否，则重复本步骤；若是，则唤醒语音监听模块，进入步骤S2)；

S2)状态指示灯亮起白色状态灯光，扬声器提示语音监听模块已唤醒，进入步骤S3)；

S3)利用声音采集模块录制用户语音信息、将用户语音信息进行存储并发送至语音识别模块，利用语音识别模块判断是否识别到用户语音信息，若否，则状态指示灯亮起红色状态灯光，进入步骤S5)；若是，则进入步骤S4)；

S4)利用语音识别模块对用户语音信息进行在线识别，获取识别结果、并根据识别结果进行与识别结果相应的业务处理；

S5)设置语音录制超时时长，判断在语音录制超时时长内是否检测到有语音信息，若是，则返回步骤S3)；若否，则关闭语音监听模块。

步骤S4)中，业务处理包括业务指令处理、多音集合选项处理、阈值预警信息提醒处理、条件追加处理或超出系统处理能力处理；

业务指令处理，用于当识别结果为业务指令信息时，语音识别模块将业务指令信息通过交互控制模块发送至数据可视化展示模块，数据可视化展示模块根据业务指令信息进行相关数据的可视化画面展示，利用扬声器播放与业务指令信息相关的语音提示；

多音集合选项处理，用于判断识别结果或用户语音信息是否存在多音集合选项，若否，则状态指示灯亮起红色状态灯光以提示用户；若是，则向用户提供与识别结果相关的多音集合，语音识别模块等待用户反馈并获取选项识别信息；根据选项识别信息判断是否有上文信息，若是，则将选项识别信息与上文信息进行匹配，生成新的业务指令信息，根据新的业务指令信息进行业务指令处理；

阈值预警信息提醒处理，用于在应用服务器中设置若干个与不同种类业务数据相关的数据阈值以及数据阈值条件(比如，业务数据为温度，温度阈值设为30摄氏度，数据阈值条件设为温度阈值大于30摄氏度)，利用应用服务器监测可视化画面展示中涉及到的数据信息，当应用服务器监测可视化画面展示中涉及到的数据信息满足与数据信息相关的数据阈值条件时，应用服务器向交互控制模块发送业务数据阈值指令，业务数据阈值指令包括数据阈值条件ID及当前业务数据阈值，交互控制模块对业务数据阈值指令进行解析，并执行与业务数据阈值指令相对应的操作器。

交互控制模块配置有业务数据语料操作器和数据可视化切换指令语料操作器，当应用服务器向交互控制模块发送业务数据阈值指令后，交互控制模块对业务数据阈值指令进行解析，并执行与业务数据阈值指令相对应的操作器。比如，业务数据语料操作器会将与业务数据相关的播报语料发送至声音采集模块，通过声音采集模块将与业务数据相关的播报语料进行播放。数据可视化切换指令语料操作器会先向用户发送询问信息(如“是否切换温度数据画面”)，在收到用户反馈确认信息后，数据可视化切换指令语料操作器再将数据可视化切换指令发送至数据可视化展示模块，通过数据可视化展示模块进行相应数据可视化展示。

条件追加处理，用于利用语音识别模块对用户语音信息进行语义分析，并判断是否有上文信息，若是，则语音识别模块根据所述上文信息及用户语音信息重新生成指令发送至交互控制模块和/或声音采集模块；若否，则状态指示灯亮起红色状态灯光；

超出系统处理能力操作处理，用于当识别结果或业务处理过程中识别到的语音信息超出系统处理能力时(比如识别到的语音信息无法匹配相应的业务指令信息)，状态指示灯亮起红色状态灯光。

本发明的有益效果是：本发明在数据可视化系统中结合了语音识别技术，通过对语音消息进行识别、并分析处理，解决了在数据可视化模块中需要双手遥控大屏幕的问题，并且能够及时地根据用户语音信息切换相关业务数据画面，或者自动地挖掘出可视化画面展示中涉及到的业务数据信息、并且及时地向用户进行反馈，操作方便快捷。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种基于数据可视化展示技术的语音识别交互系统，其特征在于，包括声音采集模块、语音识别模块、交互控制模块和数据可视化展示模块，所述语音识别模块与所述声音采集模块相连；所述数据可视化展示模块和所述语音识别模块分别与所述交互控制模块相连；所述交互控制模块包括若干个操作器，所述操作器为语音播报语料操作器或数据可视化切换指令操作器；

所述声音采集模块，用于进行语音录制、并将语音录制后的用户语音信息发送至所述语音识别模块；

所述语音识别模块，用于将语音信息进行云平台或服务器的在线识别，并将识别结果发送至所述交互控制模块或所述声音采集模块；

所述交互控制模块，用于接收识别结果，根据所述识别结果向所述数据可视化展示模块发送控制指令；还用于对所述数据可视化展示模块发送的消息进行解析，并根据解析结果执行相应的操作器；

所述数据可视化展示模块，用于与所述交互控制模块进行信息交互、并显示相关数据可视化画面。

2.根据权利要求1所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述声音采集模块包括上位机、全向阵列麦克风、状态指示灯和扬声器；所述上位机分别与所述全向阵列麦克风、所述状态指示灯和所述扬声器相连；所述全向阵列麦克风通过放大器与所述上位机相连。

3.根据权利要求1或2所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述上位机还包括语音监听模块；所述语音监听模块，用于监听录制用户语音信息、在监听录制过程中进行超时判断、并将录制的用户语音信息发送至所述语音识别模块。

4.根据权利要求3所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述上位机还包括存储模块和唤醒指令识别模块，所述存储模块存储有监听录制的用户语音信息以及唤醒指令；所述唤醒指令识别模块，用于将用户发出的语音指令与唤醒指令进行比较，从而唤醒语音监听模块。

5.根据权利要求4所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述上位机还包括生物语音识别模块，所述存储模块还存储有用户的生物声音信号，所述生物语音识别模块用于将所述全向阵列麦克风采集到的语音输入信号与所述存储模块中存储的生物声音信号进行比较，从而唤醒语音监听模块。

6.根据权利要求5所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述声音采集模块还包括LMS自适应滤波器降噪模块，所述LMS自适应滤波器降噪模块用于对语音输入信号或监听录制的用户语音信息进行降噪处理。

7.根据权利要求1或2所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述声音采集模块与所述语音识别模块通过有线或无线进行连接。

8.根据权利要求1所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，所述数据可视化展示模块包括数据处理服务器、应用服务器和图像渲染服务器；所述数据处理服务器用于采集业务数据、对所述业务数据进行存储并预处理；所述应用服务器，用于其他服务器之间进行信息交互；所述图像渲染服务器，用于展示数据可视化结果；所述数据处理服务器与所述应用服务器连接，所述应用服务器与所述图像渲染服务器连接；所述应用服务器与所述交互控制模块连接。

9.一种基于数据可视化展示技术的语音识别交互方法，适用于如权利要求1至8任一项所述的基于数据可视化展示技术的语音识别交互系统，其特征在于，包括如下步骤：

S1)利用声音采集模块采集用户发出的语音指令、判断是否已经开启语音监听模块，若是，则进入步骤S3)；若否，则判断所述语音指令是否是唤醒指令，若否，则重复本步骤；若是，则唤醒语音监听模块，进入步骤S2)；

S2)状态指示灯亮起白色状态灯光，扬声器提示语音监听模块已唤醒，进入步骤S3)；

S3)利用声音采集模块录制用户语音信息、将用户语音信息进行存储并发送至语音识别模块，利用所述语音识别模块判断是否识别到用户语音信息，若否，则状态指示灯亮起红色状态灯光，进入步骤S5)；若是，则进入步骤S4)；

S4)利用所述语音识别模块对所述用户语音信息进行在线识别，获取识别结果、并根据所述识别结果进行与所述识别结果相应的业务处理；

S5)设置语音录制超时时长，判断在语音录制超时时长内是否检测到有语音信息，若是，则返回步骤S3)；若否，则关闭语音监听模块。

10.根据权利要求9所述的基于数据可视化展示技术的语音识别交互方法，其特征在于，步骤S4)中，业务处理包括业务指令处理、多音集合选项处理、阈值预警信息提醒处理、条件追加处理或超出系统处理能力处理；

所述业务指令处理，用于当所述识别结果为业务指令信息时，所述语音识别模块将所述业务指令信息通过所述交互控制模块发送至数据可视化展示模块，所述数据可视化展示模块根据所述业务指令信息进行相关数据的可视化画面展示，利用扬声器播放与所述业务指令信息相关的语音提示；

所述多音集合选项处理，用于判断识别结果或用户语音信息是否存在多音集合选项，若否，则状态指示灯亮起红色状态灯光以提示用户；若是，则向用户提供与所述识别结果相关的多音集合，所述语音识别模块等待用户反馈并获取选项识别信息；根据选项识别信息判断是否有上文信息，若是，则将所述选项识别信息与所述上文信息进行匹配，生成新的业务指令信息，根据所述新的业务指令信息进行业务指令处理；

所述阈值预警信息提醒处理，用于在应用服务器中设置若干个与不同种类业务数据相关的数据阈值以及数据阈值条件，利用应用服务器监测可视化画面展示中涉及到的数据信息，当应用服务器监测可视化画面展示中涉及到的数据信息满足与所述数据信息相关的数据阈值条件时，应用服务器向交互控制模块发送业务数据阈值指令，交互控制模块对所述业务数据阈值指令进行解析，并执行与所述业务数据阈值指令相对应的操作器；

所述条件追加处理，用于利用语音识别模块对用户语音信息进行语义分析，并判断是否有上文信息，若是，则语音识别模块根据所述上文信息及用户语音信息重新生成指令发送至交互控制模块和/或声音采集模块；若否，则状态指示灯亮起红色状态灯光；

超出系统处理能力操作处理，用于当识别结果或业务处理过程中识别到的语音信息超出系统处理能力时，状态指示灯亮起红色状态灯光。

Images