CN111128193B - 语音交互方法、网络分析端及客户端 - Google Patents

语音交互方法、网络分析端及客户端 Download PDF

Info

Publication number
CN111128193B
CN111128193B CN201911381615.2A CN201911381615A CN111128193B CN 111128193 B CN111128193 B CN 111128193B CN 201911381615 A CN201911381615 A CN 201911381615A CN 111128193 B CN111128193 B CN 111128193B
Authority
CN
China
Prior art keywords
current network
related information
analysis result
network analysis
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911381615.2A
Other languages
English (en)
Other versions
CN111128193A (zh
Inventor
章晨
丁伟
梁正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201911381615.2A priority Critical patent/CN111128193B/zh
Publication of CN111128193A publication Critical patent/CN111128193A/zh
Application granted granted Critical
Publication of CN111128193B publication Critical patent/CN111128193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明实施例提供一种语音交互方法、网络分析端及客户端,其中方法包括:接收客户端发送的当前网络相关信息;当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;基于当前网络相关信息,确定当前网络分析结果;将当前网络分析结果返回至客户端,以供客户端将当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。本发明实施例提供的方法、网络分析端及客户端,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。

Description

语音交互方法、网络分析端及客户端
技术领域
本发明涉及人机交互技术领域,尤其涉及一种语音交互方法、网络分析端及客户端。
背景技术
随着人工智能技术的不断突破,人机交互技术,尤其是语音交互技术得到了迅速的发展。
当前在进行语音交互时,通常需要客户端将语音数据发送到提供语音交互服务的服务端,以供服务端基于语音数据返回对应的交互信息。为了保证语音数据传输的可靠性,通常客户端需要在语音数据传输之前通过固定设置的音频压缩算法对语音数据进行压缩。
然而,固定设置的音频压缩算法极大程度上限制了语音交互的实时性和准确性的提升。
发明内容
本发明实施例提供一种语音交互方法、网络分析端及客户端,用以解决现有的采用固定的音频压缩算法进行语音数据传输影响语音交互实时性和准确性的问题。
第一方面,本发明实施例提供一种语音交互方法,包括:
接收客户端发送的当前网络相关信息;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
基于所述当前网络相关信息,确定当前网络分析结果;
将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
优选地,所述基于所述当前网络相关信息,确定当前网络分析结果,具体包括:
基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果。
优选地,所述基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果,具体包括:
将所述当前网络相关信息与若干个预设关联规则进行匹配,确定所述当前网络相关信息所对应的预设关联规则;
将所述当前网络相关信息所对应的预设关联规则中包含的网络分析结果,作为所述当前网络分析结果;
其中,所述若干个预设关联规则是对历史网络相关信息及其对应的历史网络分析结果进行关联规则挖掘得到的,任一预设关联规则包含相关联的网络相关信息与网络分析结果。
优选地,所述基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果,具体包括:
若所述当前网络相关信息属于预先确定的若干个簇中的任一簇,则基于所述任一簇,确定所述当前网络分析结果;
其中,所述若干个簇是对每一历史网络相关信息进行聚类得到的。
优选地,所述基于所述当前网络相关信息,确定当前网络分析结果,具体包括:
确定所述当前网络相关信息的传输时间;
和/或,基于所述当前网络相关信息中的设备位置信息和设备姿态信息,确定所述客户端所处的交通设备;
基于所述传输时间和/或所述交通设备,确定所述当前网络分析结果。
第二方面,本发明实施例提供一种语音交互方法,包括:
确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;
将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
第三方面,本发明实施例提供一种网络分析端,包括:
相关信息接收单元,用于接收客户端发送的当前网络相关信息;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
网络分析单元,用于基于所述当前网络相关信息,确定当前网络分析结果;
结果返回单元,用于将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
第四方面,本发明实施例提供一种客户端,包括:
相关信息发送单元,用于确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
分析结果接收单元,用于接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;
语音交互单元,用于将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
第五方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行如第一方面或第二方面所提供的方法的步骤。
第六方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。
本发明实施例提供的一种语音交互方法、网络分析端及客户端,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的语音交互方法的流程示意图;
图2为本发明实施例提供的网络分析方法的流程示意图;
图3为本发明实施例提供的网络分析端的运行流程示意图;
图4为本发明另一实施例提供的语音交互方法的流程示意图;
图5为本发明又一实施例提供的语音交互方法的流程示意图;
图6为本发明再一实施例提供的语音交互方法的流程示意图;
图7为本发明实施例提供的网络分析端的结构示意图;
图8为本发明实施例提供的客户端的结构示意图;
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在语音交互时,为了保证语音数据传输的可靠性,通常客户端需要在语音数据传输之前通过固定设置的音频压缩算法对语音数据进行压缩。然而,固定的音频压缩算法并不能够适应客户端多样化的网络环境,例如在网络环境较优时,直接传输语音数据,无需压缩和解压缩,能够实现音质无损传输,提高交互效果,此时如果通过固定设置的音频压缩算法对语音数据进行压缩,则增加了压缩和解压缩的过程,会影响语音交互的实时性。
对此,本发明实施例提供了一种语音交互方法。图1为本发明实施例提供的语音交互方法的流程示意图,如图1所示,该方法的执行主体可以是网络分析端,用于分析客户端当前所处网络状态,该方法包括:
步骤110,接收客户端发送的当前网络相关信息;当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种。
具体地,当前网络相关信息即当前时刻客户端与网络状态相关的信息,与网络状态相关的信息可以是直接或者间接反映网络状态的信息。其中,设备位置信息用于表示客户端设备所处的位置或者客户端设备所处位置的具体状态,例如GPS定位信息,或者客户端设备所处位置的人流量大小;设备姿态信息用于表示客户端设备的姿态信息,例如客户端设备的速度、加速度等,可以通过客户端设备内置的陀螺仪等姿态传感器采集得到;设备网络状态信息用于表示客户端设备的网络状态,例如客户端设备的信号强度、上下行速率、网络类型等,又例如当前时刻客户端与语音交互服务端进行语音交互的延时信息等。
在语音交互执行时,首先客户端需要确定当前网络相关信息,并将当前网络相关信息发送至网络分析端。
步骤120,基于当前网络相关信息,确定当前网络分析结果。
具体地,当前网络分析结果是指当前时刻对客户端所处的网络状态进行分析得到的分析结果,当前网络分析结果可以是当前时刻客户端所处网络状态对应的得分,或者等级等,也可以是当前时刻客户端进行语音交互时适用的音频格式,本发明实施例对此不作具体限定。
网络分析端在接收到当前网络相关信息后,可以基于当前网络相关信息,确定当前网络分析结果。例如,基于预先设定的不同设备位置信息与网路分析结果之间的对应关系,确定当前网络相关信息中的设备位置信息所对应的网络分析结果作为当前网络分析结果;又例如,结合设备位置信息和设备姿态信息判断当前时刻客户端设备是否处于高速运行的汽车、火车等交通工具上,从而判断当前时刻客户端所处网络的优劣,进而得到当前网络分析结果;又例如,通过设备位置信息,判断当前时刻客户端设备是否处于人流量较大的场合,进而判断当前时刻客户端所处网络的优劣,进而得到当前网络分析结果;又例如,若客户端设备所处的设备位置信息无法获取,或其所处的位置为非常规位置时,可以通过设备网络状态信息衡量当前时刻客户端所处网络的优劣,进而得到当前网络分析结果。
考虑到场景的复杂性,基于当前网络相关信息中的不同参数确定出来的当前网络分析结果可能是不一样的,例如,结合设备位置信息和设备姿态信息确定当前时刻客户端设备处于高铁,由于高铁运行速度较快,信号可能不稳定,得到当前网络分析结果为网络不稳定,信号不佳;而在此情况下,通过设备位置信息,确定当前时刻客户端设备处于人流量较小的场合,进而得到当前网络分析结果为网络稳定信号较佳,为了解决这一问题,又一种实现方式中,基于当前网络相关信息,确定当前网络分析结果可以包括:基于当前网络相关信息中的不同参数分别确定用于反映当前网络状态的各网络分数;确定每一网络分数所基于的参数所属的预设参数类型,将所确定的预设参数类型对应的预设权重作为该网络分数对应的权重;用各网络分数对应的权重对所有网络分数进行加权平均,得到最终网络分数;将最终网络分数作为当前网络分析结果。或者,基于当前网络相关信息,确定当前网络分析结果还可以包括:基于当前网络相关信息中的不同参数,确定各参数分别对应的网络分析结果,若各参数分别对应的网络分析结果不同,则基于预先设定的各参数的优先级,选择优先级高的参数所对应的网络分析结果作为当前网络分析结果。
步骤130,将当前网络分析结果返回至客户端,以供客户端将当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
具体地,在客户端,预先针对不同的网络分析结果设置有对应的音频格式,以针对客户端的不同网络状态实现个性化音频压缩和传输,在保证语音数据传输可靠性的同时,尽量提升语音数据的数据质量和传输效率。此处,语音数据即用于进行语音交互的音频数据,语音数据可以是用户通过客户端设备录制的,预先设定的音频格式可以包括raw格式、speex格式、opus格式等。
网络分析端在确定当前网络分析结果之后,将当前网络分析结果返回至客户端。客户端在接收到当前网络分析结果之后,确定当前网络结果对应的音频格式,将用于语音交互的语音数据转换至对应的音频格式,并将对应音频格式下的语音数据发送至语音交互服务端,以使得语音交互服务端在接收到该音频格式下的语音数据后,基于语音数据完成语音交互。其中,语音交互具体可以是语音识别、人机会话等,本发明实施例对此不做具体限定。
需要说明的是,步骤130中发送的语音数据可以是一条语音或者是多条语音对应的数据,本发明实施例对此不作具体限定。
本发明实施例提供的方法,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。
基于上述实施例,预先设置有网络分析结果与音频格式之间的对应关系。例如,设置三种网络分析结果,分别为高、中、低三个等级,对应三种音频格式,分别为raw格式、speex格式、opus格式,其中raw格式即原始录制的音频格式,speex格式是针对语音的开源的音频压缩格式,基本保证在2G-4G场景下可用。Opus格式是一个完全开放的多功能的音频编解码格式,与speex相比,压缩比可以提升20%,在丢包率较高的弱网环境下,有较好的识别效果。本发明实施例中,网络分析结果为高时对应于raw格式,网络分析结果为中时对应于speex格式,网络分析结果为低时对应于opus格式。
基于上述任一实施例,步骤120具体包括:基于历史网络相关信息及其对应的历史网络分析结果,确定当前网络相关信息所对应的当前网络分析结果。
此处,历史网络相关信息即当前时刻之前客户端发送的网络相关信息,历史网络分析结果即对历史网络相关信息进行分析得到的网络分析结果,需要说明的是,历史网络分析结果可以是网络分析端通过自动化的网络状态分析得到的,也可以是由工作人员进行人工分析确定的,本发明实施例对此不做具体限定。
网络分析端在完成一次网络分析后,将当前次的网络相关信息及其对应的网络分析结果存储起来,作为历史网络相关信息和历史网络分析结果以供后续网络分析参考。
例如,通过分析大量历史网络相关信息中的设备位置信息以及对应的历史网络分析结果,可以在地图上划分不同网络分析结果所对应的地理区域,例如可以任一城市的地图划分为A、B、C三个区域,其中A、B、C三个区域对应的网络分析结果分别为一级、二级和三级,若当前网络相关信息中的设备位置信息落入区域B,则确定当前网络分析结果为二级。
基于上述任一实施例,步骤120具体包括:将当前网络相关信息与若干个预设关联规则进行匹配,确定当前网络相关信息所对应的预设关联规则;将当前网络相关信息所对应的预设关联规则中包含的网络分析结果,作为当前网络分析结果;其中,若干个预设关联规则是对历史网络相关信息及其对应的历史网络分析结果进行关联规则挖掘得到的,任一预设关联规则包含相关联的网络相关信息与网络分析结果。
具体地,预设关联规则即预先设定的网络相关信息与网络分析结果之间的关联规则,任一预设关联规则中包含相互关联的网络相关信息和网络分析结果。
网络分析端在接收到当前网络相关信息后,可以将当前网络相关信息与每一预设关联规则中的网络相关信息进行匹配,从而得到当前网络相关信息所对应的预设关联规则,此处当前网络相关信息所对应的预设关联规则即所包含的网络相关信息与当前网络信息匹配成功的预设关联规则。
在确定当前网络相关信息所对应的预设关联规则后,即可将该预设关联规则中包含的网络分析结果作为当前网络分析结果,从而实现网络状态分析。
其中,预设关联规则是通过关联规则挖掘得到的,关联规则挖掘可以是一种无监督的机器学习方法,通过历史网络相关信息及其对应的历史网络分析结果进行关联规则挖掘,即可得到若干个预设关联规则。此处,关联规则挖掘可以通过Apriori算法、FP-Tree算法、Eclat算法、灰色关联算法等实现,本发明实施例对此不作具体限定。
具体的,历史网络相关信息以及对应的历史网络分析结果的表示形式可以为<网络相关信息,网络分析结果>,例如<[location:XXX;speed:0m/s;EQPQ:100;DBM:fine,time:10/9 10:00],speex>,其中location为设备位置信息,speed为设备姿态信息中的速度,EQPQ为设备位置信息所对应的人流量信息,DBM为设备网络状态信息中的信号强度,time为当前时刻,speex为历史网络分析结果表征的音频格式。可以通过大量<网络相关信息,网络分析结果>格式的历史网络相关信息以及对应的历史网络分析结果,进行关联规则挖掘,从而得到预设关联规则。
本发明实施例提供的方法,通过关联规则挖掘确定网络相关信息与网络分析结果之间的关联规则,进而实现准确、可靠的网络状态分析。
基于上述任一实施例,步骤120具体包括:若当前网络相关信息属于预先确定的若干个簇中的任一簇,则基于该簇,确定当前网络分析结果;其中,若干个簇是对每一历史网络相关信息进行聚类得到的。
具体地,可以对每一历史网络相关信息进行聚类,从而得到若干个簇,每个簇中包含有若干个历史网络相关信息。针对于当前网络相关信息,判断是否存在与当前网络相关信息一致的历史网络相关信息,如果存在,则确定当前网络相关信息输入该历史网络相关信息所属的簇,可以将该簇对应的网络分析结果作为当前网络分析结果。此处,任意一个簇所对应的网络分析结果可以是根据该簇内每一历史网络相关信息所对应的历史网络分析结果确定的。
例如,基于每一历史网络相关信息中的设备位置信息,对每一历史网络相关信息进行聚类,若任意一个簇中的历史网络相关信息的发生时间多为夜间和周末的白天,则确定该簇中历史网络相关信息的设备位置信息即用户的住宅位置,通常住宅的网络状态较佳,由此确定该簇所对应的网络分析结果为优;若任意一个簇中的历史网络相关信息的发生时间多为工作日的白天,则确定该簇中历史网络相关信息的设备位置信息即用户的办公位置,通常办公位置的网络状态较佳,由此确定该簇所对应的网络分析结果为优。
基于上述任一实施例,图2为本发明实施例提供的网络分析方法的流程示意图,如图2所示,步骤120具体包括:
步骤121,确定当前网络相关信息的传输时间;
和/或,步骤122,基于当前网络相关信息中的设备位置信息和设备姿态信息,确定客户端所处的交通设备。
步骤123,基于传输时间和/或交通设备,确定当前网络分析结果。
具体地,当前网络相关信息的传输时间,可以通过网络分析端接收当前网络相关信息的时间和服务端发送当前相关信息的时间两者的时间差确定。此处,服务端发送当前相关信息的时间可以通过当前网络相关信息中的发送时间戳确定。
在得到传输时间后,可以通过传输时间的长短判断服务端当前的网络状态,传输时间越短,则网络状态越佳,传输时间越长,则网络状态越差,由此可以直接确定当前网络分析结果。
当前网络相关信息中包含有设备位置信息和设备姿态信息,通过设备位置信息可以定位客户端设备当前所处的位置,通过设备姿态信息可以确定客户端设备当前的运动速度,结合客户端设备当前所处的位置和运动速度,可以确定客户端当前所处的交通设备,例如,通过设备位置信息确定客户端设备当前处于铁路轨道附近,通过设备姿态信息确定客户端设备的移动速度在高铁移动速度范围内,则确定当前客户端所处的交通设备为高铁;又例如通过设备位置信息确定客户端设备当前处于铁路轨道附近,通过设备姿态信息确定客户端设备的移动速度在步行速度范围内,则确定当前客户端所处的交通设备为无。
在得到客户端所处的交通设备后,可以根据预先设定的交通设备与网络相关信息之间的关系,直接确定当前网络分析结果。
此外,还可以结合传输时间和交通设备,参考两者分别对应的网络分析结果,确定当前网络分析结果。
本发明实施例提供的方法,通过当前网络相关信息的传输时间和/或客户端所处的交通设备,确定当前网络分析结果,实现了简单、准确的网络状态分析。
基于上述任一实施例,图3为本发明实施例提供的网络分析端的运行流程示意图,如图3所示,网络分析端包括数据采集模块、智能分析模块、数据存储模块、数据发送模块、初始化模块和异常处理模块。
网络分析端在执行语音交互之前,需要进行初始化,初始化流程表示为带箭头的虚线,即初始化模块控制网络分析端内部的数据采集模块、智能分析模块、数据存储模块、数据发送模块和异常处理模块的管理和配置,从而实现各模块的接入和系统初始化。
网络分析端在执行语音交互时,需要分析并反馈当前网络分析结果,具体流程表示为带箭头的实线,首先数据采集模块接收客户端发送的当前网络相关信息,并将当前网络相关信息发送至智能分析模块,由智能分析模块基于当前网络相关信息,确定当前网络分析结果,并将当前网络分析结果发送至数据存储模块,由数据存储模块存储当前网络相关信息以及对应的当前网络分析结果,并将当前网络分析结果发送至数据发送模块,由数据发送模块将当前网络分析结果返回至客户端。
网络分析端的异常处理模块,用于在语音交互出现异常时,通过异常处理保证正常交互,具体流程体现为带箭头的点划线,网络分析端的各个模块需要发送心跳数据至异常处理模块,若异常处理模块检测到任一模块的心跳超时,则向对应模块发送重启命令,并发出告警信息,以便于网络分析端的监控系统能够及时发送问题并排查;若异常处理模块检测发现数据存储模块发生异常,则跳过本次数据存储,并发出告警信息,以便于网络分析端的监控系统能够及时发送问题并排查。
基于上述任一实施例,图4为本发明另一实施例提供的语音交互方法的流程示意图,如图4所示,该方法的执行主体为执行语音交互的客户端,该方法包括:
步骤410,确定当前网络相关信息,并将当前网络相关信息发送至网络分析端;当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种。
具体地,当前网络相关信息即当前时刻客户端与网络状态相关的信息,与网络状态相关的信息可以是直接或者间接反映网络状态的信息。其中,设备位置信息用于表示客户端设备所处的位置或者客户端设备所处位置的具体状态,例如GPS定位信息,或者客户端设备所处位置的人流量;设备姿态信息用于表示客户端设备的姿态信息,例如客户端设备的速度、加速度等,可以通过客户端设备内置的陀螺仪等姿态传感器采集得到;设备网络状态信息用于表示客户端设备的网络状态,例如客户端设备的信号强度、上下行速率、网络类型等,又例如当前时刻客户端与语音交互服务端进行语音交互的延时信息等。
在语音交互执行时,首先客户端需要确定当前网络相关信息,并将当前网络相关信息发送至网络分析端,以供网络分析端在接收到当前网络相关信息后,可以基于当前网络相关信息,确定当前网络分析结果,并将当前网络分析结果返回至客户端。
步骤420,接收网络分析端基于当前网络相关信息确定的当前网络分析结果。
具体地,当前网络分析结果是网络分析端基于当前网络相关信息确定的。例如,网络分析端可以基于预先设定的不同设备位置信息与网路分析结果之间的对应关系,确定当前网络相关信息中的设备位置信息所对应的网络分析结果作为当前网络分析结果;又例如,网络分析端可以结合设备位置信息和设备姿态信息判断当前时刻客户端设备是否处于高速运行的汽车、火车等交通工具上,从而判断当前时刻客户端所处网络的优劣,进而得到当前网络分析结果;又例如,网络分析端可以通过设备位置信息,判断当前时刻客户端设备是否处于人流量较大的场合,进而判断当前时刻客户端所处网络的优劣,进而得到当前网络分析结果;又例如,网络分析端可以通过设备网络状态信息衡量当前时刻客户端所处网络的优劣,进而得到当前网络分析结果。
步骤430,将当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
具体地,客户端预先针对不同的网络分析结果设置有对应的音频格式,以针对不同网络状态实现个性化音频压缩和传输,在保证语音数据传输可靠性的同时,尽量提升语音数据的数据质量和传输效率。此处,语音数据即用于进行语音交互的音频数据,语音数据可以是用户通过客户端设备录制的,预先设定的音频格式可以包括raw格式、speex格式、opus格式等。
客户端在接收到当前网络分析结果之后,确定当前网络结果对应的音频格式,将用于语音交互的语音数据转换至对应的音频格式,并将对应音频格式下的语音数据发送至语音交互服务端,以使得语音交互服务端在接收到该音频格式下的语音数据后,基于语音数据完成语音交互。其中,语音交互具体可以是语音识别、人机会话等,本发明实施例对此不做具体限定。
需要说明的是,步骤430中发送的语音数据可以是一条语音数据或者是多条语音数据,本发明实施例不对此作具体限定。
本发明实施例提供的方法,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。
基于上述任一实施例,图5为本发明又一实施例提供的语音交互方法的流程示意图,如图5所示,语音交互方法包括:
步骤510,客户端确定当前网络相关信息,并将当前网络相关信息发送至网络分析端。
步骤520,网络分析端将基于当前网络相关信息确定的当前网络分析结果返回至客户端。
步骤530,客户端通过音频压缩模块,将用于语音交互的语音数据压缩为当前网络分析结果所对应的音频格式,并将压缩后的语音数据发送至语音交互服务端的音频解压模块。
步骤540,语音交互服务端通过音频解压模块对接收到的语音数据进行解压缩,基于解压缩后的语音数据生成对应的语音交互结果,并将语音交互结果反馈至客户端,完成语音交互。
基于上述任一实施例,图6为本发明再一实施例提供的语音交互方法的流程示意图,如图6所示,该方法包括如下步骤:
首先,客户端采集当前网络相关信息,并将当前网络相关信息发送给网络分析端,网络分析端在接收到当前网络相关信息后,可以对客户端网络状态进行分析,得到当前网络分析结果并反馈给客户端。
客户端在接收到当前网络分析结果后,判断当前的语音交互是否为首次交互,如果是则在首次交互结束后,将首次交互的交互时延信息发送给网络分析端,以供网络分析端在此基础上对当前网络分析结果进行调整;如果不是,则直接基于当前网络分析结果所对应的音频格式,将语音数据传输至语音交互服务端,并接收语音交互服务端返回的语音交互结果。本发明实施例中的语音交互具体为语音识别。客户端基于语音交互结果判断任一帧语音数据是否识别成功,如果识别成功则获取该帧语音数据的识别结果,如果识别失败则结束会话,此外,客户端还需判断是否交互完成,如果交互完成则结束会话,如果交互未完成,则继续接收语音数据的识别结果。
在会话结束后,客户端释放相关资源。
基于上述任一实施例,图7为本发明实施例提供的网络分析端的结构示意图,如图7所示,网络分析端包括相关信息接收单元710、网络分析单元720和结果返回单元730;
其中,相关信息接收单元710用于接收客户端发送的当前网络相关信息;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
网络分析单元720用于基于所述当前网络相关信息,确定当前网络分析结果;
结果返回单元730用于将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
本发明实施例提供的网络分析端,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。
基于上述任一实施例,所述网络分析单元具体用于:
基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果。
基于上述任一实施例,所述网络分析单元具体用于:
将所述当前网络相关信息与若干个预设关联规则进行匹配,确定所述当前网络相关信息所对应的预设关联规则;
将所述当前网络相关信息所对应的预设关联规则中包含的网络分析结果,作为所述当前网络分析结果;
其中,所述若干个预设关联规则是对历史网络相关信息及其对应的历史网络分析结果进行关联规则挖掘得到的,任一预设关联规则包含相关联的网络相关信息与网络分析结果。
基于上述任一实施例,所述网络分析单元具体用于:
若所述当前网络相关信息属于预先确定的若干个簇中的任一簇,则基于所述任一簇,确定所述当前网络分析结果;
其中,所述若干个簇是对每一历史网络相关信息进行聚类得到的。
基于上述任一实施例,所述网络分析单元具体用于:
确定所述当前网络相关信息的传输时间;
和/或,基于所述当前网络相关信息中的设备位置信息和设备姿态信息,确定所述客户端所处的交通设备;
基于所述传输时间和/或所述交通设备,确定所述当前网络分析结果。
基于上述任一实施例,图8为本发明实施例提供的客户端的结构示意图,如图8所示,客户端包括相关信息发送单元810、分析结果接收单元820和语音交互单元830;
其中,相关信息发送单元810用于确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;
分析结果接收单元820用于接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;
语音交互单元830用于将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
本发明实施例提供的客户端,通过当前网络相关信息确定当前网络分析结果,进而基于当前网络分析结果对应的音频格式进行语音数据传输,使得语音数据的音频格式能够灵活适应各种网络状态,提高各种网络状态下语音交互的实时性和准确性。
图9为本发明实施例提供的电子设备的结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令,以执行如下方法:接收客户端发送的当前网络相关信息;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;基于所述当前网络相关信息,确定当前网络分析结果;将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
处理器910还可以调用存储器930中的逻辑指令,以执行如下方法:确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:接收客户端发送的当前网络相关信息;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;基于所述当前网络相关信息,确定当前网络分析结果;将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息包括设备位置信息、设备姿态信息和设备网络状态信息中的至少一种;接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种语音交互方法,其特征在于,包括:
接收客户端发送的当前网络相关信息;所述当前网络相关信息即当前时刻客户端与网络状态相关的信息,所述当前网络相关信息包括设备位置信息和设备姿态信息;
基于所述当前网络相关信息,确定当前网络分析结果;
将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互;
所述基于所述当前网络相关信息,确定当前网络分析结果,具体包括:
确定所述当前网络相关信息的传输时间;
基于所述当前网络相关信息中的设备位置信息和设备姿态信息,确定所述客户端所处的交通设备;
基于所述传输时间和所述交通设备,确定所述当前网络分析结果。
2.根据权利要求1所述的语音交互方法,其特征在于,所述基于所述当前网络相关信息,确定当前网络分析结果,具体包括:
基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果。
3.根据权利要求2所述的语音交互方法,其特征在于,所述基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果,具体包括:
将所述当前网络相关信息与若干个预设关联规则进行匹配,确定所述当前网络相关信息所对应的预设关联规则;
将所述当前网络相关信息所对应的预设关联规则中包含的网络分析结果,作为所述当前网络分析结果;
其中,所述若干个预设关联规则是对历史网络相关信息及其对应的历史网络分析结果进行关联规则挖掘得到的,任一预设关联规则包含相关联的网络相关信息与网络分析结果。
4.根据权利要求2所述的语音交互方法,其特征在于,所述基于历史网络相关信息及其对应的历史网络分析结果,确定所述当前网络相关信息所对应的当前网络分析结果,具体包括:
若所述当前网络相关信息属于预先确定的若干个簇中的任一簇,则基于所述任一簇,确定所述当前网络分析结果;
其中,所述若干个簇是对每一历史网络相关信息进行聚类得到的。
5.一种语音交互方法,其特征在于,包括:
确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息即当前时刻客户端与网络状态相关的信息,所述当前网络相关信息包括设备位置信息和设备姿态信息;
接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;
将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互;
所述当前网络分析结果是所述网络分析端基于所述当前网络相关信息的传输时间和所述客户端所处的交通设备确定的,所述交通设备是基于所述设备位置信息和设备姿态信息确定的。
6.一种网络分析端,其特征在于,包括:
相关信息接收单元,用于接收客户端发送的当前网络相关信息;所述当前网络相关信息即当前时刻客户端与网络状态相关的信息,所述当前网络相关信息包括设备位置信息和设备姿态信息;
网络分析单元,用于基于所述当前网络相关信息,确定当前网络分析结果;
结果返回单元,用于将所述当前网络分析结果返回至所述客户端,以供所述客户端将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互;
所述网络分析单元具体用于:
确定所述当前网络相关信息的传输时间;
基于所述当前网络相关信息中的设备位置信息和设备姿态信息,确定所述客户端所处的交通设备;
基于所述传输时间和所述交通设备,确定所述当前网络分析结果。
7.一种客户端,其特征在于,包括:
相关信息发送单元,用于确定当前网络相关信息,并将所述当前网络相关信息发送至网络分析端;所述当前网络相关信息即当前时刻客户端与网络状态相关的信息,所述当前网络相关信息包括设备位置信息和设备姿态信息;
分析结果接收单元,用于接收所述网络分析端基于所述当前网络相关信息确定的当前网络分析结果;
语音交互单元,用于将所述当前网络分析结果对应音频格式的语音数据发送至语音交互服务端,进行语音交互;
所述当前网络分析结果是所述网络分析端基于所述当前网络相关信息的传输时间和所述客户端所处的交通设备确定的,所述交通设备是基于所述设备位置信息和设备姿态信息确定的。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5中任一项所述的语音交互方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5中任一项所述的语音交互方法的步骤。
CN201911381615.2A 2019-12-27 2019-12-27 语音交互方法、网络分析端及客户端 Active CN111128193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911381615.2A CN111128193B (zh) 2019-12-27 2019-12-27 语音交互方法、网络分析端及客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911381615.2A CN111128193B (zh) 2019-12-27 2019-12-27 语音交互方法、网络分析端及客户端

Publications (2)

Publication Number Publication Date
CN111128193A CN111128193A (zh) 2020-05-08
CN111128193B true CN111128193B (zh) 2023-06-02

Family

ID=70504899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381615.2A Active CN111128193B (zh) 2019-12-27 2019-12-27 语音交互方法、网络分析端及客户端

Country Status (1)

Country Link
CN (1) CN111128193B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658454B (zh) * 2022-12-06 2023-09-29 深圳九鑫软件有限公司 应用于深度学习的电商信息处理方法及人工智能系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684516A (zh) * 2004-04-12 2005-10-19 庆熙大学校产学协力团 用于考虑终端能力来提供多媒体服务的方法、装置和介质
CN108540842A (zh) * 2018-04-18 2018-09-14 广州华多网络科技有限公司 音频播放设备、音频播放方法、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2461830C (en) * 2001-09-26 2009-09-22 Interact Devices System and method for communicating media signals
US20130033996A1 (en) * 2011-08-05 2013-02-07 Kee-Bong Song Electronic device with antenna switching capabilities
CN105122762B (zh) * 2013-04-17 2019-10-15 哈曼国际工业有限公司 车辆间数据通信系统
CN104320385A (zh) * 2014-10-10 2015-01-28 中麦通信网络有限公司 移动终端语音通信实现方法及装置
CN106231353B (zh) * 2016-07-22 2019-09-27 北京小米移动软件有限公司 VoIP通信方法及装置
CN108831434A (zh) * 2018-05-29 2018-11-16 尹绍华 语音交互系统及方法
CN109756911B (zh) * 2019-01-31 2020-11-27 腾讯科技(深圳)有限公司 网络质量预测方法、业务调整方法、相关设备及存储介质
CN110351014B (zh) * 2019-07-12 2022-10-21 平安普惠企业管理有限公司 数据处理方法、装置、计算机可读存储介质和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684516A (zh) * 2004-04-12 2005-10-19 庆熙大学校产学协力团 用于考虑终端能力来提供多媒体服务的方法、装置和介质
CN101282359A (zh) * 2004-04-12 2008-10-08 庆熙大学校产学协力团 用于考虑终端能力来提供多媒体服务的方法、装置和介质
CN108540842A (zh) * 2018-04-18 2018-09-14 广州华多网络科技有限公司 音频播放设备、音频播放方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李浩宇.智慧标识网络流适配机制的设计与实现.《中国优秀硕士学位论文全文数据库》.2017,全文. *

Also Published As

Publication number Publication date
CN111128193A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US10298768B2 (en) Voice agent forwarding
US9583102B2 (en) Method of controlling interactive system, method of controlling server, server, and interactive device
KR20180063090A (ko) 사용자 장비 및 미디어 스트리밍 네트워크 보조 노드
CN111611129B (zh) PaaS云平台的性能监控方法及装置
CN112346936A (zh) 应用故障根因定位方法及系统
CN111128193B (zh) 语音交互方法、网络分析端及客户端
CN106507024A (zh) 一种自适应码率调整方法及装置
CN107483997A (zh) 儿童锁控制系统及方法
CN111638948A (zh) 多通道高可用的大数据实时决策系统及决策方法
CN115955691A (zh) 5g专网感知评价方法、装置、电子设备及可读存储介质
CN113223558B (zh) 音频数据消音方法、装置、电子设备和存储介质
CN106341433A (zh) 一种服务系统、信号服务器和对讲服务器
CN107306199B (zh) 网元数据回放的方法和装置
CN113037918B (zh) Android客户端非入侵式变声方法
CN113225570B (zh) 基于全局虚拟数据视图的播放处理方法及相关设备
CN109714417B (zh) 基于用户行为的网络控制系统及方法
CN110691218B (zh) 音频数据传输方法、装置、电子设备及可读存储介质
CN113891386A (zh) 基站的隐性故障确定方法、装置、设备和可读存储介质
CN113873000A (zh) 通过无线终端传输车机系统日志的方法
US20200374069A1 (en) Transmitting terminal, transmitting method, information processing terminal, and information processing method
CN113259063B (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN114979207B (zh) 非可靠网络条件下数字化养殖的生产系统和通信方法
CN115393798B (zh) 预警方法、装置、电子设备及存储介质
CN113572899B (zh) 一种基于端边网云协同的防电话诈骗的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant