CN113270098B - 语音控制方法、车辆、云端和存储介质 - Google Patents

语音控制方法、车辆、云端和存储介质 Download PDF

Info

Publication number
CN113270098B
CN113270098B CN202110690389.7A CN202110690389A CN113270098B CN 113270098 B CN113270098 B CN 113270098B CN 202110690389 A CN202110690389 A CN 202110690389A CN 113270098 B CN113270098 B CN 113270098B
Authority
CN
China
Prior art keywords
vehicle
audio file
cloud
vehicle end
waiting time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110690389.7A
Other languages
English (en)
Other versions
CN113270098A (zh
Inventor
郭华鹏
张岩
李智豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN202110690389.7A priority Critical patent/CN113270098B/zh
Publication of CN113270098A publication Critical patent/CN113270098A/zh
Priority to EP21204103.2A priority patent/EP3923271A3/en
Application granted granted Critical
Publication of CN113270098B publication Critical patent/CN113270098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明公开一种语音控制方法、车辆、云端以及存储介质。语音控制方法，包括：车机端获取语音指令并上传至云端；云端处理语音指令以获取相应的回复音频文件，并根据车辆场景确定时延数据并发送时延数据至车机端；车机端进行网络预言，获得预言结果；车机端根据时延数据和预言结果确定等待时长；车机端在超过等待时长没有接收到云端发送的回复音频文件的完整数据时，执行回复音频文件的合成操作，并播放合成好的回复音频文件；车机端在不超过等待时长接收到云端发送的回复音频文件的完整数据时，播放回复音频文件。上述语音控制方法，根据时延数据和预言结果确定等待时长，保证了服务的灵活性，减少网络条件不佳情况下的离线率。

Description

语音控制方法、车辆、云端和存储介质
技术领域
本发明涉及语音技术领域，特别涉及一种语音控制方法、车辆、云端和存储介质。
背景技术
在相关技术中，车辆一般通过TTS(Text to Speech)技术实现人机对话。通常地，因在线合成的音频文件音质甜美，有情感，因此当车辆需要语音回复客户时，优先通过在线合成音频文件进行播报。
然而，在网络条件不佳的情况下，容易造成网络交互时间较长，从而容易导致车辆长时间收不到云端完整音频文件，此时，车辆会执行离线合成音频文件，但这会导致用户听到的降低音质的离线音频，影响用户体验。
发明内容
本发明的实施方式提供一种语音控制方法、车辆、云端和存储介质。
本发明实施方式的一种语音控制方法，包括：车机端获取语音指令并上传至云端；
所述云端处理所述语音指令以获取相应的回复音频文件，并根据车辆场景确定时延数据并发送所述时延数据至所述车机端，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整值的数据；
所述车机端进行网络预言，获得预言结果；
所述车机端根据所述时延数据和预言结果确定等待时长；
所述车机端在超过所述等待时长没有接收到所述云端发送的所述回复音频文件的完整数据时，执行所述回复音频文件的合成操作，并播放合成好的回复音频文件；
所述车机端在不超过所述等待时长接收到所述云端发送的所述回复音频文件的完整数据时，播放所述回复音频文件。
在某些实施方式中，根据车辆场景确定时延数据并发送所述时延数据至所述车机端包括：
所述云端处理所述语音指令以获取相应的请求文本数据；
在所述请求文本数据包括预设关键字时，所述云端确定所述车辆场景为非时间敏感场景，确定所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及第一调整值；
在所述请求文本数据不包括预设关键字时，所述云端确定所述车辆场景为时间敏感场景，确定所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整。
在某些实施方式中，根据车辆场景确定时延数据并发送所述时延数据至所述车机端包括：
所述云端根据车速确定所述车辆场景；
在所述车速小于预设阈值时，所述云端确定所述车辆场景为非时间敏感场景，确定所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及第二调整值；
在所述车速不小于预设阈值时，所述云端确定所述车辆场景为时间敏感场景，确定所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整。
在某些实施方式中，所述预言结果包括强网状态和弱网状态，根据所述时延数据和预言结果确定所述等待时长包括：
在所述强网状态时，所述车机端确定所述默认等待时长为所述等待时长；
在所述弱网状态且所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及调整值的数据时，所述车机端根据所述时延数据确定所述等待时长；
在所述弱网状态且所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整时，所述车机端确定所述默认等待时长为所述等待时长。
在某些实施方式中，所述语音控制方法包括：
所述云端处理所述语音指令以得到自然语言理解结果，并根据所述自然语言理解结果合成所述回复音频文件并发送开始合成标识至所述车机端，并在所述回复音频文件合成完成时发送合成完成标识至所述车机端；
所述车机端在接收到所述开始合成标识时，进行网络预言；
所述车机端在超过所述等待时长没有接收到所述合成完成标识时，确定没有接收到所述云端发送的所述回复音频文件的完整数据；
所述车机端在不超过所述等待时长接收到所述合成完成标识时，确定接收到所述云端发送的所述回复音频文件的完整数据。
在某些实施方式中，车机端进行网络预言，获得预言结果包括：
所述车机端通过业务心跳机制进行网络预言。
在某些实施方式中，所述车机端通过业务心跳机制进行网络预言包括：
所述车机端按照预设频率发送请求报文到所述云端；
在超过一定时长没收到所述云端发送响应报文时，所述车机端确定所述预言结果为弱网状态；
在不超过一定时长收到所述云端发送响应报文时，所述车机端确定所述预言结果为强网状态。
本发明实施方式的一种车辆，包括：车身，和；
车机端，安装在所述车身，所述车机端用于：
获取语音指令并上传至云端，以使得所述云端处理所述语音指令以获得相应的回复音频文件；
接收所述云端根据车辆场景确定的时延数据，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整的数据；
进行网络预言，获得预言结果；
根据时延数据和预言结果确定所述等待时长；
在超过所述等待时长没有接收到所述云端发送的所述回复音频文件的完整数据时，执行所述回复音频文件的合成操作，并播放合成好的回复音频文件；
在不超过所述等待时长接收到所述云端发送的所述回复音频文件的完整数据时，播放所述回复音频文件。
本发明实施方式的一种云端，云端用于：获取车机端上传的语音指令，并处理所述语音指令以获取相应的回复音频文件；
在接收所述语音指令时，根据车辆场景确定时延数据并发送时延数据至所述车机端，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整值的数据，以供所述车机端根据所述时延数据和所述车机端进行网络预言获得的预言结果确定等待时长。
本发明实施方式又提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现上述任一实施方式的语音控制方法的步骤。
上述语音控制方法、车辆、云端和计算机可读存储介质，云端根据车辆场景确定时延数据，车机端可根据时延数据和网络预言结果来确定云端发送的回复音频文件的等待时长，可以针对不同的车辆场景和网络状态提高车机端接收云端的时间容忍度，云端可对特定场景进行干预，保证了服务的灵活性，动态调整回复音频的响应时延，减少网络条件不佳情况下的离线率，提升了用户体验。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的语音控制方法的流程示意图；
图2是本发明实施方式的语音控制方法的模块示意图；
图3是本发明实施方式的语音控制方法的另一流程示意图；
图4是本发明实施方式的语音控制方法的又一流程示意图；
图5是本发明实施方式的语音控制方法的再一流程示意图；
图6是本发明实施方式的语音控制方法的再一流程示意图；
图7是本发明实施方式的语音控制方法的场景示意图；
图8是本发明实施方式的车辆的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1和图2，本发明实施方式提供的一种语音控制方法，包括：
步骤S10，车机端100获取语音指令并上传至云端200；
步骤S20，云端200处理语音指令以获取相应的回复音频文件，并根据车辆400场景确定时延数据并发送时延数据至车机端100，时延数据为车机端100是否需要对等待回复音频文件的默认等待时长进行调整以及调整值的数据；
步骤S40，车机端100进行网络预言，获得预言结果；
步骤S50，车机端100根据时延数据和预言结果确定等待时长；
步骤S60，车机端100在超过等待时长没有接收到云端200发送的回复音频文件的完整数据时，执行回复音频文件的合成操作，并播放合成好的回复音频文件；
步骤S70，车机端100在不超过等待时长接收到云端200发送的回复音频文件的完整数据时，播放回复音频文件。
上述语音控制方法，云端200根据车辆场景确定时延数据，车机端100可根据时延数据和预言结果来确定云端200发送的回复音频文件的等待时长，可以针对不同的车辆场景和网络状态提高车机端100接收云端200的时间容忍度，云端200可对特定场景进行干预，保证了服务的灵活性，动态调整回复音频的响应时延，减少网络条件不佳情况下的离线率，提升了用户体验。
具体地，相关技术中的语音控制方法，为车机端获取语音指令并上传至云端，云端处理语音指令以获取相应的回复音频文件，而云端获取相应的回复音频文件并发送至车机端需要一定时间，为了防止车机端等待云端发送的回复音频文件时间过长，影响用户体验，车机端设置默认等待时长，车机端在默认等待时长内接收到云端合成的回复音频文件，则播放该回复音频文件，若未接收到，则进行离线合成，播放离线合成的回复音频文件。然而，不同的车辆场景对车机端等待时长的要求不同，例如在用户询问当天天气状况、前方拥堵进行提醒等情况下，车机端接收云端的时间容忍度较高。
为方便理解，下面进行举例说明：在本发明一实施例中，用户问“今天天气如何”，车机端100获取语音指令“今天天气如何”并上传至云端200，云端200处理语音指令“今天天气如何”以获取相应的回复音频文件“今天天气挺暖和的”的时间为3000ms，车机端100的默认等待时长为2000ms，云端200在接收到语音指令“今天天气如何”时，根据车辆400场景确定时延数据为需要对默认等待时长2000ms进行调整以及调整值的数据为4000ms，车机端100根据时延数据和预言结果确定等待时长为4000ms，则车机端100可以在等待时长4000ms内接收到云端200发送的回复音频文件“今天天气挺暖和的”并播放“今天天气挺暖和的”。
具体地，在一个实施方式中，车机端100可以安装在车辆400上。车机端100可以是固定安装在车辆400上，车机端100也可以是可拆卸安装在车辆400上，在此不做具体限制。车辆400包括但不限于燃油汽车、增程式电动车、纯电动汽车、混合动力汽车、氢能源汽车等。
云端200可以与车机端100进行有线或无线连接，以实现数据和信号传输。无线连接的方式包括但不限于WIFI、移动通信网络等。移动通信网络可包括4G、5G、6G等移动通信方式。
在一个实施方式中，云端200可以对语音指令进行自然语言理解，再根据自然语言理解的结果提供与自然语言理解的结果相应的回复文本数据。在一个实施方式中，云端200可以包括TTS(Text To Speech)云端，TTS云端可为整车厂商的服务器，或其它服务器，该服务器包括但不限于用于处理回复话术及合成回复音频文件等。
在一个实施方式中，请参阅图2，车机端100可以包括交互模块102、语音助手模块104以及离线引擎模块106。
交互模块102可包括显示屏，显示屏用于显示图形用户界面，例如控制面板界面，导航界面，音乐界面等。显示屏可以是触摸显示屏，除显示与车机终端相关的图形用户界面外，还提供用户输入的方式。用户通过触摸触摸显示屏上的相关按键或输入相关手势来实现指令的输入。在一个实施方式中，显示屏可以包括车辆400的中控显示屏、仪表显示屏和副驾驶显示屏、主副驾驶座背面的娱乐大屏的至少一者。用户可以通过车辆400上的按键或语音输入相关指令，进入到想要的图形用户界面。显示屏也可显示回复音频文件的文本内容，而且，显示的词与语音播报时所说的词可同步出现。
语音助手模块104用于采集用户语音并生成语音指令及播报音频，例如，语音助手模块104可包括麦克风和扬声器，语音助手模块104通过麦克风采集到用户语音并生成语音指令，发送给交互模块102，上传至云端200，云端200对该语音指令进行自然语言理解处理，获取相应的操作指令及回复文本数据。语音助手模块104可利用扬声器播放回复音频文件。
离线引擎模块106用于在车机端100超过等待时长没有接收到云端200发送的回复音频文件的完整数据时，离线合成回复音频文件，以供语音助手模块104播放。
值得注意的是，可以先进行步骤S30，再进行步骤S40，也可以先进行步骤S40，再进行步骤S30，还可以步骤S30与步骤S40一同进行，步骤S30和步骤S40的顺序在此不做具体限定。
在某些实施方式中，请参阅图3，步骤S20包括：
步骤S31：云端200处理语音指令以获取相应的请求文本数据；
步骤S32：在请求文本数据包括预设关键字时，云端200确定车辆场景为非时间敏感场景，确定时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整及第一调整值；
步骤S33：在请求文本数据不包括预设关键字时，云端200确定车辆场景为时间敏感场景，确定时延数据为车机端100无需对等待回复音频文件的默认等待时长进行调整。
如此，云端200通过确定请求文本数据是否包括预设关键字，即可确定车辆场景为时间敏感场景或非时间敏感场景，从而根据车辆场景确定时延数据，为确定等待时长提供依据。
具体的，语音指令可以是具有用户指令内容的音频，云端200可以对语音指令进行自然语言理解，再根据自然语言理解的结果提供与自然语言理解的结果相应的回复文本数据。例如：在本发明一实施方式中，语音指令为具有用户“打开空调”指令内容的音频，云端200对该语音指令进行自然语言理解，得到自然语言理解的结果“打开空调”，再根据自然语言理解的结果“打开空调”提供与自然语言理解的结果“打开空调”相应的回复文本数据“好的，已为您打开”。云端200也可根据该指令，下发打开空调的操作指令至车机端100，使车机端100控制车辆400的空调打开。
预设关键字的类型有很多种，例如，在一个实施方式中，预设关键字为“缓慢路段”，则当回复文本数据中包含“即将进入行驶缓慢路段，请减速慢行”时，确定车辆场景为非时间敏感场景，从而确定时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整，调整的第一调整值为4000ms；又如，在一实施方式中，预设关键字包括“天气”“暖和”。则当回复文本数据中包含“今天天气挺暖和的”时，确定车辆场景为非时间敏感场景，从而确定时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整，调整的第一调整值为5000ms。
值得注意的是，非时间敏感场景可以包括很多种，例如用户询问天气时，非时间敏感场景可以包括天气非时间敏感场景；又如，前方拥堵时，非时间敏感场景可以包括拥堵非时间敏感场景。可以根据不同的预设关键字确定不同的非时间敏感场景，不同的非时间敏感场景可以对应不同的第一调整值；也可以根据不同的预设关键字设置确定不同的非时间敏感场景，但将不同的非时间敏感场景设置相同的第一调整值；还可以根据不同的预设关键字设置相同的非时间敏感场景，从而确定相同的第一调整值，在此不做具体限制。
预设关键字可以由厂家在出厂前设置，也可以由用户自行设定，还可以由厂家在出厂后更新、维修等方式设置，在此不做具体限制。
在一个例子中，云端200可包括中控云端，中控云端可为整车厂商的服务器，该服务器包括但不限于用于进行自然语言理解。
在某些实施方式中，请参阅图4，步骤S20包括：
步骤S35：云端200根据车速确定车辆场景；
步骤S36：在车速小于预设阈值时，云端200确定车辆场景为非时间敏感场景，确定时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整及第二调整值；
步骤S37：在车速不小于预设阈值时，云端200确定车辆场景为时间敏感场景，确定时延数据为车机端100无需对等待回复音频文件的默认等待时长进行调整。
如此，云端200根据车速确定车辆场景为非时间敏感场景或非时间敏感场景，从而根据车辆场景确定时延数据，为确定等待时长提供依据。
具体的，预设阈值可以为5km/h、6km/h、7km/h、8km/h、9km/h、10km、15km、20km/h、30km/h等数据，其可以根据仿真、经验值等方式获取，在此不做具体限定。
第二调整值的数据可以根据预设阈值的大小、厂家根据仿真、经验值等方式获取的数据、用户的喜好等进行设定，第二调整值可以由厂家设定，也可以由用户自行设定，还可以由维修人员进行设定，在此不做具体限制。
值得说明的是，当既有第一调整值又有第二调整值时，可以将第一调整值与第二调整值相加、相乘、求和后除以二、取两者最大值、取两者最小值等方式获得时延数据的调整值的数据；当仅有第一调整值，没有第二调整值时，将第一调整值设为时延数据的调整值的数据；当仅由第二调整值，没有第一调整值时，将第二调整值设为时延数据的调整值的数据；当第一调整值以及第二调整值都没有时，即车辆场景为非时间敏感场景，则时延数据为默认等待时长。
在某些实施方式中，请参阅图5，预言结果包括强网状态和弱网状态，步骤S50包括：
步骤S51：在强网状态时，车机端100确定默认等待时长为等待时长；
步骤S52：在弱网状态且时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整及调整值的数据时，车机端100根据时延数据确定等待时长；
步骤S53：在弱网状态且时延数据为车机端100无需对等待回复音频文件的默认等待时长进行调整时，车机端100确定默认等待时长为等待时长。
如此，车机端100能够根据预言结果是强网状态还是弱网状态，确定是根据时延数据确定等待时长还是确定默认等待时长为等待时长。
具体的，当预言结果为强网状态时，云端200将处理语音指令获取的相应的回复音频文件发送至车机端100的时间较短，车机端100通常能够在强网状态下，于默认等待时长内接收到云端200合成的回复音频文件；当预言结果为弱网状态时，云端200将处理语音指令获取的相应的回复音频发送至车机端100的时间较长且难以预测，因而在时延数据为车机端100需要对等待回复音频文件的默认等待时长进行调整及调整值的数据时，车机端100根据时延数据确定等待时长既能够增加使用云端200合成的回复音频文件的概率，又可以避免车机端100等待云端200合成的回复音频文件的时间过长造成的用户体验不佳；当预言结果为弱网状态且时延数据为车机端100无需对等待回复音频文件的默认等待时长进行调整时，即当前为弱网状态且当前并非对回复时间容忍度较高的情况，因而确定默认等待时长为等待时长，避免用户等待时间过久。
值得说明的是，因为预言结果为强网状态时，无需考虑时延数据，因而可以先判断预言结果，再判断时延数据；也可以先判断时延数据，再判断预言结果；还可以时延数据与预言结果一同判断。
在某些实施方式中，语音控制方法包括：
步骤S81：云端200处理语音指令以得到自然语言理解结果，并根据自然语言理解结果合成回复音频文件并发送开始合成标识至车机端100，并在回复音频文件合成完成时发送合成完成标识至车机端100；
步骤S83：车机端100在接收到开始合成标识时，进行网络预言；
步骤S85：车机端100在超过等待时长没有接收到合成完成标识时，确定没有接收到云端200发送的回复音频文件的完整数据；
步骤S87：车机端100在不超过等待时长接收到合成完成标识时，确定接收到云端200发送的回复音频文件的完整数据。
如此，车机端100能够根据开始合成标识，开始进行网络预言，使得网络预言的结果更贴近云端200合成以及回复音频文件传输时的网络状态，提高了网络预言与实际网络状态的贴合度此外，车机端还能够根据是否在等待时长内接收到合成完成标识，判断车机端100是否在等待时长内接收到回复音频文件的完整数据，从而为是否播放云端200合成的回复音频文件提供依据，以及为是否执行回复音频文件的合成操作并播放合成好的回复音频文件提供依据。
值得说明的是，步骤S20可以包括步骤S81，即云端200处理语音指令以获取相应的回复音频文件的过程可以包括，云端200处理语音指令以得到自然语言理解结果，根据自然语言理解结果合成回复音频文件并发送开始合成标识至车机端100，并在回复音频文件合成完成时发送合成完成标识至车机端100；步骤S40可以包括步骤S83，即车机端100进行网络预言的过程可以包括车机端100在接收到开始合成标识时，进行网络预言，步骤S60可以包括步骤S85，即车机端100在超过等待时长没有接收到合成完成标识时，确定没有接收到云端200发送的回复音频文件的完整数据，从而执行回复音频文件的合成操作；步骤S70可以包括步骤S87，即车机端100在不超过等待时长接收到合成完成标识时，确定接收到云端200发送的回复音频文件的完整数据，播放回复音频文件。
在某些实施方式中，步骤S40包括：
步骤S41：车机端100通过业务心跳机制进行网络预言。
如此，车机端100通过业务心跳机制进行网络预言，获得预言结果，为确定等待时长提供依据。
具体的，在某些实施方式中，请参阅图6，步骤S41包括：
步骤S411：车机端100按照预设频率发送请求报文到云端200；
步骤S413：在超过一定时长没收到云端200发送响应报文时，车机端100确定预言结果为弱网状态；
步骤S415：在不超过一定时长收到云端200发送响应报文时，车机端100确定预言结果为强网状态。
如此，车机端100按照预设频率发送请求报文至云端200，云端200接收到请求报文后再发送响应报文至车机端100，通过判断车机端100是否在一定时长内接收到响应报文，即如果未在一定时长内接收到响应报文，则说明车机端100发送请求报文至云端200或云端200发送响应报文至车机端100的过程因网络原因有延迟；如果在一定时长内车机端100接收到响应报文，则说明当前网络状态较好，车机端100发送请求报文至云端200以及云端200发送响应报文至车机端100的过程较为顺畅。
值得说明的是，一定时长的具体数据可以根据仿真、调查等方式获得，在此就不一一列举了。
请参图7，图7所示的是，本发明实施方式的语音控制方法的一个场景图。在图7中，车机端100包括语音助手模块104、交互模块102以及离线引擎模块106。云端200可以包括TTS(Text To Speech)云端TTS云端可为整车厂商的服务器，该服务器包括但不限于用于进行自然语言理解、处理请求文本数据及合成回复音频文件等。
语音助手模块104收到用户语音请求，根据用户语音请求获得语音指令并发送至交互模块102；
交互模块102获取语音指令并上传至TTS云端；
TTS云端经过自然语音理解处理，得到用户意愿，生成请求文本数据；
TTS云端处理语音指令以获取相应的回复音频文件，并判断请求文本数据中是否包括预设关键字，从而返回包括第一调整值的时延数据至交互模块102；
TTS云端判断车速是否小于预设阈值，从而返回包括第二调整值的时延数据至交互模块102；
语音助手模块104按照预设频率发送请求报文“Ping”至TTS云端，TTS云端接收到请求报文“Ping”后发送响应报文“Pong”至语音助手模块104，根据语音助手模块104是否在一定时长内收到TTS云端发送的响应报文“Pong”，进行网络预言，获得预言结果；
语音助手模块104根据时延数据和预言结果确定等待时长；
若在等待时长内拿到完整回复音频文件，则语音助手模块104播放TTS云端合成的回复音频文件；
若超过等待时长未拿到完整回复音频文件，则语音助手模块104通过离线引擎模块106离线合成回复音频文件并播放。
以上处理完本次流程结束，本发明实施方式根据车辆场景确定时延数据，从而根据时延数据以及预言结果确定等待时长，使得针对不同的车辆场景和网络状态提高车机端100接收云端200的时间容忍度，减少网络条件不佳情况下的离线率，提升了用户体验。
请参阅图8，本发明实施方式的一种车辆400，包括：
车身402，和；
车机端100，安装在车身402，车机端100用于：
获取语音指令并上传至云端200，以使得云端200处理语音指令以获得相应的回复音频文件；
接收云端200根据车辆400场景确定的时延数据，时延数据为车机端100是否需要对等待回复音频文件的默认等待时长进行调整以及调整的数据；
进行网络预言，获得预言结果；
根据时延数据和预言结果确定等待时长；
在超过等待时长没有接收到云端200发送的回复音频文件的完整数据时，执行回复音频文件的合成操作，并播放合成好的回复音频文件；
在不超过等待时长接收到云端200发送的回复音频文件的完整数据时，播放回复音频文件。
上述车辆400进行网络预言，获得预言结果，在接收云端200根据车辆400场景确定的时延数据后，根据时延数据和预言结果来确定云端200发送的回复音频文件的等待时长，可以针对不同的车辆场景和网络状态提高车机端100接收云端200的时间容忍度，车辆400可对特定场景进行干预，保证了服务的灵活性，动态调整回复音频的响应时延，减少网络条件不佳情况下的离线率，提升了用户体验。
本发明实施方式的一种云端200，云端200用于：
获取车机端100上传的语音指令，并处理语音指令以获取相应的回复音频文件，根据车辆场景确定时延数据并发送时延数据至车机端100，时延数据为车机端100是否需要对等待回复音频文件的默认等待时长进行调整以及调整值的数据，以供车机端100根据时延数据和车机端100进行网络预言获得的预言结果确定等待时长。
上述云端200根据车辆场景确定时延数据，以供车机端100根据时延数据以及车机端100进行网络预言获得的预言结果确定等待时长，可以针对不同的车辆场景和网络状态提高车机端100接收云端200的时间容忍度，云端200可对特定场景进行干预，保证了服务的灵活性，动态调整回复音频的响应时延，减少网络条件不佳情况下的离线率，提升了用户体验。
本发明实施方式提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时，实现上述任一实施方式的语音控制方法的步骤。
计算机可读存储介质可设在车辆400，也可设在云端服务器。车辆400能够与云端服务器进行通讯来获取到相应的程序。可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
需要说明的是，上述对语音控制方法的实施方式和有益效果的说明，也适应于本发明实施方式的车辆400、云端200和计算机可读介质，为避免冗余，在此不再详细展开。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种语音控制方法，其特征在于，包括：
车机端获取语音指令并上传至云端；
所述云端处理所述语音指令以获取相应的回复音频文件，并根据车辆场景确定时延数据并发送所述时延数据至所述车机端，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整值的数据；
所述车机端进行网络预言，获得预言结果，其中，所述车机端通过业务心跳机制进行网络预言，所述预言结果包括强网状态和弱网状态；
所述车机端根据所述时延数据和预言结果确定等待时长；
所述车机端在超过所述等待时长没有接收到所述云端发送的所述回复音频文件的完整数据时，执行所述回复音频文件的合成操作，并播放合成好的回复音频文件；
所述车机端在不超过所述等待时长接收到所述云端发送的所述回复音频文件的完整数据时，播放所述回复音频文件。
2.根据权利要求1所述的语音控制方法，其特征在于，根据车辆场景确定时延数据并发送所述时延数据至所述车机端包括：
所述云端处理所述语音指令以获取相应的请求文本数据；
在所述请求文本数据包括预设关键字时，所述云端确定所述车辆场景为非时间敏感场景，确定所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及第一调整值；
在所述请求文本数据不包括预设关键字时，所述云端确定所述车辆场景为时间敏感场景，确定所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整。
3.根据权利要求1所述的语音控制方法，其特征在于，根据车辆场景确定时延数据并发送所述时延数据至所述车机端包括：
所述云端根据车速确定所述车辆场景；
在所述车速小于预设阈值时，所述云端确定所述车辆场景为非时间敏感场景，确定所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及第二调整值；
在所述车速不小于预设阈值时，所述云端确定所述车辆场景为时间敏感场景，确定所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整。
4.根据权利要求1所述的语音控制方法，其特征在于，根据所述时延数据和预言结果确定所述等待时长包括：
在所述强网状态时，所述车机端确定所述默认等待时长为所述等待时长；
在所述弱网状态且所述时延数据为所述车机端需要对等待所述回复音频文件的默认等待时长进行调整及调整值的数据时，所述车机端根据所述时延数据确定所述等待时长；
在所述弱网状态且所述时延数据为所述车机端无需对等待所述回复音频文件的默认等待时长进行调整时，所述车机端确定所述默认等待时长为所述等待时长。
5.根据权利要求1所述的语音控制方法，其特征在于，所述语音控制方法包括：
所述云端处理所述语音指令以得到自然语言理解结果，并根据所述自然语言理解结果合成所述回复音频文件并发送开始合成标识至所述车机端，并在所述回复音频文件合成完成时发送合成完成标识至所述车机端；
所述车机端在接收到所述开始合成标识时，进行网络预言；
所述车机端在超过所述等待时长没有接收到所述合成完成标识时，确定没有接收到所述云端发送的所述回复音频文件的完整数据；
所述车机端在不超过所述等待时长接收到所述合成完成标识时，确定接收到所述云端发送的所述回复音频文件的完整数据。
6.根据权利要求1所述的语音控制方法，其特征在于，所述车机端通过业务心跳机制进行网络预言包括：
所述车机端按照预设频率发送请求报文到所述云端；
在超过一定时长没收到所述云端发送响应报文时，所述车机端确定所述预言结果为弱网状态；
在不超过一定时长收到所述云端发送响应报文时，所述车机端确定所述预言结果为强网状态。
7.一种车辆，其特征在于，包括：
车身，和；
车机端，安装在所述车身，所述车机端用于：
获取语音指令并上传至云端，以使得所述云端处理所述语音指令以获得相应的回复音频文件；
接收所述云端根据车辆场景确定的时延数据，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整值的数据；
进行网络预言，获得预言结果，其中，所述车机端通过业务心跳机制进行网络预言，所述预言结果包括强网状态和弱网状态；
根据时延数据和预言结果确定所述等待时长；
在超过所述等待时长没有接收到所述云端发送的所述回复音频文件的完整数据时，执行所述回复音频文件的合成操作，并播放合成好的回复音频文件；
在不超过所述等待时长接收到所述云端发送的所述回复音频文件的完整数据时，播放所述回复音频文件。
8.一种云端服务器，其特征在于，所述云端服务器用于：
获取车机端上传的语音指令，并处理所述语音指令以获取相应的回复音频文件，并根据车辆场景确定时延数据并发送时延数据至所述车机端，所述时延数据为所述车机端是否需要对等待所述回复音频文件的默认等待时长进行调整以及调整值的数据，以供所述车机端根据所述时延数据和所述车机端进行网络预言获得的预言结果确定等待时长，其中，所述车机端通过业务心跳机制进行网络预言，所述预言结果包括强网状态和弱网状态。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的语音控制方法的步骤。
CN202110690389.7A 2021-06-22 2021-06-22 语音控制方法、车辆、云端和存储介质 Active CN113270098B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110690389.7A CN113270098B (zh) 2021-06-22 2021-06-22 语音控制方法、车辆、云端和存储介质
EP21204103.2A EP3923271A3 (en) 2021-06-22 2021-10-22 Voice control method, vehicle, server and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110690389.7A CN113270098B (zh) 2021-06-22 2021-06-22 语音控制方法、车辆、云端和存储介质

Publications (2)

Publication Number Publication Date
CN113270098A CN113270098A (zh) 2021-08-17
CN113270098B true CN113270098B (zh) 2022-05-13

Family

ID=77235524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690389.7A Active CN113270098B (zh) 2021-06-22 2021-06-22 语音控制方法、车辆、云端和存储介质

Country Status (2)

Country Link
EP (1) EP3923271A3 (zh)
CN (1) CN113270098B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102931B (zh) * 2022-05-20 2023-12-19 阿里巴巴（中国）有限公司 自适应调整音频延迟的方法及电子设备
CN114980263B (zh) * 2022-07-13 2022-11-18 武汉慧联无限科技有限公司 控制终端的方法、装置、处理设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151004A (zh) * 2020-09-23 2020-12-29 大众问问(北京)信息科技有限公司 一种混合播报方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1695177B1 (en) * 2003-11-19 2013-10-02 Agero Connection Services, Inc. Wirelessly delivered owner s manual
US20120253823A1 (en) * 2004-09-10 2012-10-04 Thomas Barton Schalk Hybrid Dialog Speech Recognition for In-Vehicle Automated Interaction and In-Vehicle Interfaces Requiring Minimal Driver Processing
US20160070527A1 (en) * 2012-03-14 2016-03-10 Autoconnect Holdings Llc Network connected vehicle and associated controls
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
JP2017021125A (ja) * 2015-07-09 2017-01-26 ヤマハ株式会社 音声対話装置
CN107342080B (zh) * 2017-07-04 2020-07-24 厦门创客猫网络科技有限公司 一种会议现场同步速记的系统和方法
US11240313B2 (en) * 2018-12-05 2022-02-01 International Business Machines Corporation Contextually assigning user input to personal electronic devices
CN111669708A (zh) * 2019-03-07 2020-09-15 上海博泰悦臻网络技术服务有限公司 车辆、车机设备及其基于车联网紧急情况的应急导航方法
CN110444206A (zh) * 2019-07-31 2019-11-12 北京百度网讯科技有限公司 语音交互方法及装置、计算机设备与可读介质
CN112331198A (zh) * 2020-10-27 2021-02-05 深圳Tcl新技术有限公司 语音数据传输方法、物联网设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151004A (zh) * 2020-09-23 2020-12-29 大众问问(北京)信息科技有限公司 一种混合播报方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3923271A3 (en) 2022-05-11
CN113270098A (zh) 2021-08-17
EP3923271A2 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
CN113270098B (zh) 语音控制方法、车辆、云端和存储介质
JP2015082029A (ja) 疑似音生成装置および疑似音再生装置からなる疑似音提供システム
EP3958577A2 (en) Voice interaction method, voice interaction system, server and storage medium
CN114194128A (zh) 车辆的音量控制方法、车辆和存储介质
CN112735411A (zh) 控制方法、客户端、车辆、语音系统和存储介质
JP2014219617A (ja) 音声案内システム及び音声案内方法
JP6984420B2 (ja) 対話装置
CN107813761A (zh) 一种车辆通信方法、装置、设备及介质
CN108184193B (zh) 蓝牙播放终端的播放控制方法、蓝牙设备和计算机存储介质
CN117041858B (zh) 空间音频播放优化方法和装置
CN110723087A (zh) 车载电子设备及其人机交互方式自适应调整方法
WO2019114427A1 (zh) 车辆功能播报的方法、装置及车载智能控制器
CN115878070B (zh) 一种车载音频播放方法、装置、设备及存储介质
CN115662439A (zh) 语音处理方法、装置、终端设备以及存储介质
CN113778371B (zh) 针对车机系统实现多模块声音管理控制的系统、方法、装置、处理器及其计算机存储介质
CN112256947B (zh) 一种推荐信息的确定方法、装置、系统、设备及介质
CN109120681B (zh) 一种车载进程管理方法及装置
JP6976816B2 (ja) 処理実行装置及び処理実行方法
CN117116262A (zh) 一种车内声场播放控制方法及装置
WO2015111256A1 (ja) 音声調整システム、サーバ及び車載装置
CN113126949A (zh) 车机音量调节方法以及系统
CN117542343A (zh) 文本语音转换的方法和装置
CN117177132A (zh) 一种音频播放方法、系统、设备及存储介质
CN115881120A (zh) 处理用户语音请求的方法及相关装置
CN117202031A (zh) 音频播放方法、音频播放装置、车辆和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant