CN112489639A - 音频信号处理方法及装置、系统、电子设备、可读介质 - Google Patents

音频信号处理方法及装置、系统、电子设备、可读介质 Download PDF

Info

Publication number
CN112489639A
CN112489639A CN202011347361.5A CN202011347361A CN112489639A CN 112489639 A CN112489639 A CN 112489639A CN 202011347361 A CN202011347361 A CN 202011347361A CN 112489639 A CN112489639 A CN 112489639A
Authority
CN
China
Prior art keywords
intention
audio signal
confidence
result
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011347361.5A
Other languages
English (en)
Inventor
孙俊岭
高兵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011347361.5A priority Critical patent/CN112489639A/zh
Publication of CN112489639A publication Critical patent/CN112489639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种音频信号处理方法,涉及智能语音等人工智能技术领域。具体实现方案为:使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到音频信号的不同意图分类的置信度;将不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,置信度指定阈值小于置信度安全阈值;根据比对结果确定音频信号的真实意图,得到音频信号的意图识别结果。本申请还提供了一种音频信号处理装置、系统、电子设备、可读介质。根据该音频信号处理方法及装置、系统、电子设备、可读介质,可以提高语音交互成功率,提升音频交互体验。

Description

音频信号处理方法及装置、系统、电子设备、可读介质
技术领域
本申请涉及人工智能技术领域,尤其智能语音技术领域,具体涉及一种音频信号处理方法及装置、系统、电子设备、可读介质。
背景技术
随着计算机技术和人工智能技术的发展,通过语音控制并能够进行音频交互的设备和应用,得到越来越广泛的应用。在语音控制和音频交互过程中,通常是通过识别音频信号的文本内容并进行意图解析,从而确定音频信号所表达的意图,并提供对应的服务。
在此过程中,若意图解析失败,会导致语音交互成功率低,影响音频交互体验。
发明内容
提供了一种用于音频信号处理方法及装置、系统、电子设备、可读介质。
根据第一方面,提供了一种音频信号处理方法,包括:使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到音频信号的不同意图分类的置信度;将不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,置信度指定阈值小于置信度安全阈值;根据比对结果确定音频信号的真实意图,得到音频信号的意图识别结果。
根据第二方面,提供了一种音频信号处理装置,包括:意图预测模块,用于使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到音频信号的不同意图分类的置信度;比对确定模块,用于将不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,置信度指定阈值小于置信度安全阈值;意图识别模块,用于根据比对结果确定音频信号的真实意图,得到音频信号的意图识别结果。
根据第三方面,提供了一种音频信号处理系统,包括:集音设备,用于接收音频信号;音频信号处理设备,用于利用接收的音频信号,实现上述音频信号处理方法中任一种方法。。
根据第四方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行音频信号处理方法中任一项的方法。
根据第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行上述任意一种音频信号处理方法。
根据本申请实施例的音频信号处理方法及装置、系统、电子设备、可读介质,可以使用意图分类预测模型对指定的音频信号进行意图预测,得到该音频信号在不同意图分类下的置信度,选择所得到的置信度中的置信度最大值,并将该置信度最大值与置信度安全阈值和置信度指定阈值进行比对,从而根据比对结果确定音频信号的真实意图,通过上述音频信号处理方法,可以提高对指定音频信号进行意图解析的效率和成功率。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请实施例提供的应用场景示意图;
图2是本申请实施例提供的音频信号处理方法的流程图;
图3是本申请示例性实施例的音频信号处理系统的处理流程图;
图4是本申请实施例提供的音频信号处理装置的结构示意图;
图5是本申请实施例提供的音频信号处理系统的结构示意图;
图6是用来实现本申请实施例的音频信号处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下,本申请各实施例及实施例中的各特征可相互组合。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本申请。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
图1是本申请实施例提供的应用场景示意图。如图1所示,该应用场景可以包括声源10和音频信号处理系统20。
其中,音频信号处理系统20可以包括:集音设备21和音频信号处理设备22,集音设备21可以包括麦克风阵列。具体地,集音设备21在接收由声源10发出的音频信号之后,可以将音频信号发送至音频信号处理设备22,以供音频信号处理设备22对音频信号进行意图解析。
在一个实施例中,音频信号可以包括语音信号例如语音指令,也可以是通过机器播放的有含义的音频信号,只要该音频信号可以驱动音频信号处理设备22进行音频交互即可;声源10可以包括用户和/或能够播放有含义的音频信号的机器。
在一个实施例中,音频信号处理设备22可以包括智能音箱、智能车载操作系统、智能电池等可以进行音频交互的智能设备.
在一个实施例中,音频信号处理设备22可以用于执行本申请实施例中的音频信号处理方法,并可以将处理得到的音频信号的意图识别结果进行音频交互。
在一个实施例中,音频信号处理系统20可以运行于客户端设备,客户端设备是可以安装地图类应用、手机助手等需要使用进行音频信号处理从而进行意图识别和音频交互的终端设备。
在本申请实施例中,对接收的音频信号进行意图解析,得到音频信号的意图解析结果,将该意图解析结果作为用户请求(query)进行后续的音频交互流程。
在一些实施例中,音频信号处理设备22具备承接指令和处理语音指令的能力,但由于语音指令的意图解析失败,通常只能直接播报预设的语音作为兜底播报,导致音频交互解析和承接的成功率低,用户语音交互体验差。
图2是本申请实施例提供的音频信号处理方法的流程图。
第一方面,参照图1,本申请实施例提供一种音频信号处理方法,该方法可以包括如下步骤。
S110,使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到音频信号的不同意图分类的置信度。
S120,将不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,置信度指定阈值小于置信度安全阈值。
S130,根据比对结果确定音频信号的真实意图,得到音频信号的意图识别结果。
根据本申请实施例的音频信号处理方法,使用意图分类预测模型对指定的音频信号进行意图预测,得到该音频信号在不同意图分类下的置信度,选择所得到的置信度中的置信度最大值,并将该置信度最大值与置信度安全阈值和置信度指定阈值进行比对,从而根据比对结果确定音频信号的真实意图,通过上述音频信号处理方法,可以提高对指定音频信号进行意图解析的效率和成功率。
在一些实施例中,在步骤S110之前,该音频信号处理方法还包括:S11,获取被判定为意图解析失败的音频指令,将意图解析失败的音频指令作为指定的音频信号。
在该实施例中,本申请实施例的音频信号处理方法,可以对初步判定为意图解析失败、无法解析以及意图不明确的音频指令进行意图预测和意图解析,从而打捞一部分被判定为解析失败的意图,提升音频交互解析和语音指令承接的成功率。
在一些实施例中,在比对结果为置信度最大值大于或等于置信度指定阈值,且小于或等于置信度安全阈值的情况下,步骤S130具体可以包括如下步骤。
S21,获取置信度最大值对应的意图预测结果,作为第一意图预测结果,输出第一意图预测结果和预设的问询信息,问询信息用于确定第一意图预测结果是否为真实意图。
S22,接收针对问询信息的用户确认结果。
S23,在用户确认结果表示第一意图预测结果为用户真实意图的情况下,将第一意图预测结果作为音频信号的真实意图,得到音频信号的意图识别结果。
在该实施例中,当从分类结果的置信度中获取的最大置信度大于或等于指定阈值但小于或等于安全阈值,则选择置信度最高的分类结果,并把该分类结果作为即将澄清的意图返回到用于进行音频交互的终端设备,以根据该意图让用户进行意图确认,若是用户确认正确,则可以通过终端设备,在端上进行该意图的承接,进行意图解析和后续的音频交互处理,从而提高音频交互的解析成功率,提升用户语音交互体验。
在一些实施例中,在用户确认结果表示第一意图预测结果为用户真实意图的情况下,本申请实施例中音频信号处理方法还可以包括如下步骤。
S31,根据第一意图预测结果进行音频交互;S32,并将音频信号作为意图分类预测模型的训练数据的正样本。
在该实施例中,在用户确认结果表示第一意图预测结果为用户真实意图的情况下,将第一意图预测结果作为用户真实意图以进行意图解析和音频交互,从而可以实现提高音频交互的解析和承接的成功率。
在该实施例中,被用户确认为真实意图的意图预测结果所对应的音频信号,可以作为意图分类预测模型的训练数据的正样本,以在后续的意图分类预测模型训练中,为模型训练过程提供经用户确认的经验数据,提高模型训练的准确性。
在一些实施例中,若经用户确认,该第一意图预测结果非用户真实意图,本申请实施例中音频信号处理方法还可以包括如下步骤。
S41,播报预定语音内容;S42,将音频信号作为训练意图分类预测模型的负样本。
在该实施例中,若经用户确认,该第一意图预测结果非用户真实意图,则可以播报预定语音内容以进行兜底播放,并可以结束音频交互过程。
在该实施例中,被用户确认为非真实意图的意图预测结果所对应的音频信号,可以作为意图分类预测模型的训练数据的负样本,以在后续的意图分类预测模型训练中,为模型训练过程提供经用户确认的经验数据,提高模型训练的准确性。
在一些实施例中,在比对结果为置信度最大值大于置信度安全阈值的情况下,步骤S130具体可以包括:S51,将置信度最大值对应的意图预测结果作为音频信号的真实意图,得到音频信号的意图识别结果。
在该实施例中,若分类结果最大置信度大于安全阈值会直接产出意图结果,以进行后续的音频交互,经该音频信号处理过程得到的意图结果可靠程度较高,提升了语音交互结合和承接的成功率。
在本申请实施例中,置信度安全阈值的值越高,则表示根据置信度最大值对应的意图预测结果大于置信度安全阈值,则表示将置信度最大值对应的意图预测结果作为音频信号的真实意图的判定条件越严格,同时也表示将置信度最大值对应的意图预测结果作为音频信号的真实意图判定结果约准确。置信度安全阈值可以根据实际应用场景中的需要进行自定义设置,本申请实施例不做具体限定。
在一些实施例中,在比对结果为置信度最大值大于置信度安全阈值的情况下,本申请实施例中音频信号处理方法还可以包括如下步骤。
S61,将置信度最大值对应的意图预测结果作为第二意图预测结果,根据第二意图预测结果进行音频交互;S62,将音频信号作为意图分类预测模型的训练数据的正样本。
在该实施例中,根据分类结果最大置信度大于安全阈值会直接产出意图结果,若指定音频信号为预先获取的被判定为意图解析失败的音频指令,则可以成功对该意图解析失败的音频指令进行打捞和澄清,以进行后续的音频交互,提升了语音交互结合和承接的成功率。
在一些实施例中,在比对结果为置信度最大值小于置信度指定阈值的情况下,步骤S130具体可以包括:S71,确定音频信号的意图识别结果为意图解析失败。
在该实施例中,若分类结果最大置信度小于指定阈值,则判定意图解析失败并可以播报预定语音内容和结束当前语音交互,若初始被判定为意图解析失败的音频信号,经意图分类预测模型进行意图预测后,再次判定为意图解析失败,提高了解析结果的可靠程度。
在本申请实施例中,置信度指定阈值的值越低,则表示根据置信度最大值对应的意图预测结果小于置信度指定阈值,则进行意图解析失败的判定条件越严格,置信度指定阈值可以根据实际应用场景中的需要进行自定义设置,本申请实施例不做具体限定。
在一个实施例中,在比对结果为置信度最大值小于置信度指定阈值的情况下,本申请实施例中音频信号处理方法还可以包括:S81,播报预定语音内容;S82,将音频信号作为意图分类预测模型的训练数据的负样本。
在该实施例中,在比对结果为置信度最大值小于置信度指定阈值的情况下,确定意图解析失败,并可以通过预定语音内容完成兜底播报。
并且,将置信度最大值小于置信度指定阈值的意图预测结果所对应的音频信号,可以作为意图分类预测模型的训练数据的负样本,以在后续的意图分类预测模型训练中,为模型训练过程提供经用户确认的经验数据,提高模型训练的准确性。
在本申请实施例中,为进行兜底播报的预定语音内容,可以包括引导类的话术信息,具体可以根据实际应用场景进行设定,本申请实施例不做具体限定。
在一个实施例中,意图分类预测模型,是预先利用已标注出意图和词槽的语音指令,并使用多任务神经网络分类模型进行数据训练得到的模型。
在该实施例中,通过模型训练,可以提高意图分类预测模型处理音频信号的准确程度。在本申请实施例中,初始的意图分类预测模型可以是根据预先标注出意图和词槽的语音指令进行训练得到的模型,该语音指令至少可以在预定的语音交互系统中被判定为解析成功的音频信号。例如,路径导航、路线规划、地图兴趣点确定等应用场景中的语音指令。
在一个实施例中,可以基于预训练语言模型的多任务分类模型进行模型训练,训练得到的模型可以用于处理输入的音频信号,并输出该音频信号的不同意图分类的置信度。
作为示例,该多任务分类模型可以是长短期记忆网络(Long Short-Term Memory,LSTM)和条件随机场(Conditional Random Field,CRF)算法进行模型训练。
应理解,本申请实施例对意图分类预测模型的训练过程中使用的模型类型和使用的算法不做具体限定,在实际应用场景中,可以根据实际情况进行选择。
根据本申请实施例的音频信号处理方法,使用意图分类预测模型对指定的音频信号进行意图预测,得到该音频信号在不同意图分类下的置信度,选择所得到的置信度中的置信度最大值,并将该置信度最大值与置信度安全阈值和置信度指定阈值进行比对,从而根据比对结果确定音频信号的真实意图,对于初始判定为意图解析失败的音频信号,通过上述音频信号处理方法,可以使其中一部分解析失败的音频信号实现意图解析成功,从而对一部分意图解析失败的音频信号成功打捞并能够继续音频交互和需求承接,提高对指定音频信号进行意图解析的效率和成功率。
为了更好地理解本申请,下面结合图3,以音频信号为在预定的音频交互系统中被判定为意图解析失败的音频指令为例,描述本申请示例性实施例的音频信号处理方法。
图3示出本申请示例性实施例的音频信号处理系统的处理流程图。需要说明的是,图3中示出的意图分类预测模型进行意图预测时输出的置信度的取值,以及预设的置信度安全阈值和置信度指定阈值的取值仅仅是示意性的说明,不应理解为对本申请实施例限定。
如图3所示,音频信号处理系统可以包括预测模块210、澄清模块220和训练模块230。该音频信号处理系统中执行的音频信号处理方法可以包括如下步骤。
S301,在预测模块210中,使用意图分类预测模型(图3中简称为分类模型)对被判定为意图解析失败的音频指令进行意图预测,得到该语音指令的不同意图分类的置信度。
作为示例,若语音指令为:“退出地图应用关闭导航”,该语音指令的不同意图分类例如可以包括:“退出地图应用”、“退出地图应用,并关闭导航”、“关闭导航”和其他意图预测结果所对应的分类。
S302,选择不同意图分类的置信度中的置信度最大值,将置信度最大值与置信度安全阈值和置信度指定阈值进行比对。
在该步骤中,若比对结果为图3所示的情形1,则表示置信度最大值大于置信度安全阈值。
若比对结果为图3所示的情形2,则表示置信度最大值小于或等于置信度安全阈值,且置信度最大值大于或等于置信度指定阈值。
若比对结果为图3所示的情形3,则表示置信度最大值小于置信度指定阈值。
示例性地,在图3中,置信度安全阈值为0.9,置信度指定阈值为0.3,不同意图分类的置信度包括但不限于是:A1~A4。
若A1取值为0.93,A2取值为0.01,A3取值为0.02,A4取值为0.01,则置信度最大值A1(0.93)大于置信度安全阈值(0.9),判定比对结果为情形1。
若A1取值为0.81,A2取值为0.11,A3取值为0.02,A4取值为0.01,则置信度最大值A1(0.81)小于置信度安全阈值(0.9),但大于置信度指定阈值(0.3),判定比对结果为情形2。
若A1取值为0.21,A2取值为0.11,A3取值为0.02,A4取值为0.01,则置信度最大值A1(0.21)小于置信度指定阈值(0.3),判定比对结果为情形3。
情形1对应澄清模块220中的如下处理步骤S303-S304。
S303,将置信度最大值对应的意图解析结果(如下可以简称为是高置信意图)返回到客户端设备,并继续执行S304。
S304,按照预设的语音交互流程承接该意图解析结果对应的请求。
例如,使用预设的常规语音交互流程,来承接意图解析结果对应的请求。
通过上述步骤S301-S304,实现对初始判定为意图解析失败的音频信号进行意图澄清。
在本申请实施例中,还可以将情形1中的语音指令作为意图分类预测模型的训练数据的正样本。
情形2对应澄清模块220中的如下处理步骤S305-S310。
S305,将置信度最大值对应的意图解析结果返回到客户端设备,并通过语音交互开启问询,并继续执行S306。
在该步骤中,可以通过语音交互开启二轮问询,以用于引导用户确定第一意图预测结果是否为真实意图。
S306,根据接收到的用户确认结果,判断该置信度最大值对应的意图解析结果是否为真实意图。若是,则执行步骤S307-S308;若否,则执行步骤S309-S310。
在该步骤中,通过用户确认结果可以确定该置信度最大值对应的意图解析结果是否为真实意图,实现对对初始判定为意图解析失败的音频信号进行意图澄清。
S307,将置信度最大值对应的意图解析结果作为真实意图,按照预设的常规语音交互流程承接该意图解析结果对应的请求。
S308,将置信度最大值对应的意图解析结果作为被确认的真实意图,并将对应的音频信号,作为意图分类预测模型的训练数据的正样本。
S309,进行兜底播报,并结束当前交互流程。
在该步骤中,可以通过播报预定语音内容进行兜底播报。
S310,将置信度最大值对应的意图解析结果作为被确认的非真实意图,并将对应的音频信号,作为意图分类预测模型的训练数据的负样本。
情形3对应澄清模块220中的如下处理步骤S311-S312。
S311,在情形3中,确定语音解析失败,并执行步骤S312。
S312,语音承接引导类话术语音内容,并结束当前交互流程。
在该步骤中,通过播报引导类话术语音内容,作为对接收到音频指令的语音承接。
可将情形3中的语音指令作为意图分类预测模型的训练数据的负样本。
S313,根据音频信号处理方法中获得的正样本和负样本,对当前的意图分类预测模型进行训练,得到训练后的意图分类预测模型。
通过上述实施例的描述可知,本申请实施例的音频信号处理方法,对于初始判定为意图解析失败的音频信号进行意图预测和意图澄清,可以使其中一部分解析失败的音频信号实现意图解析成功,从而对一部分意图解析失败的音频信号成功打捞并能够继续音频交互和需求承接,提高对指定音频信号进行意图解析的效率和成功率。
并且,根据本申请实施例中音频信号处理方法,通过音频信号的意图识别结果将处理的音频信号作为被确认的经验数据,从而得到意图分类预测模型的训练数据,用于意图分类预测模型的训练,从而得到预测更加准确的意图分类预测模型。
图4是本申请实施例提供的音频信号处理装置的结构示意图。
第二方面,参照图4,本申请实施例提供一种音频信号处理装置400,并可以包括如下模块。
意图预测模块410,用于使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到音频信号的不同意图分类的置信度;
比对确定模块420,用于将不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,置信度指定阈值小于置信度安全阈值;
意图确定模块430,用于根据比对结果确定音频信号的真实意图,得到音频信号的意图识别结果。
在一些实施例中,音频指令获取模块,用于在使用预设的意图分类预测模型对指定的音频信号进行意图预测之前,获取被判定为意图解析失败的音频指令,将意图解析失败的音频指令作为指定的音频信号。
在一些实施例中,在比对结果为置信度最大值大于或等于置信度指定阈值,且小于或等于置信度安全阈值的情况下,意图确定模块430还用于:获取置信度最大值对应的意图预测结果,作为第一意图预测结果,输出第一意图预测结果和预设的问询信息,问询信息用于确定第一意图预测结果是否为真实意图;接收针对问询信息的用户确认结果;在用户确认结果表示第一意图预测结果为用户真实意图的情况下,将第一意图预测结果作为音频信号的真实意图,得到音频信号的意图识别结果。
在一些实施例中,音频信号处理模块还包括音频交互模块和训练数据获取模块。在用户确认结果表示第一意图预测结果为用户真实意图的情况下,音频交互模块,用于根据第一意图预测结果进行音频交互;训练数据获取模块,用于将音频信号作为意图分类预测模型的训练数据的正样本。
在一些实施例中,音频信号处理模块还包括:音频播报模块。在用户确认结果表示第一意图预测结果非用户真实意图的情况下,音频播报模块,用于播报预定语音内容;训练数据获取模块用于将音频信号作为训练意图分类预测模型的负样本。
在一些实施例中,在比对结果为置信度最大值大于置信度安全阈值的情况下,意图确定模块430用于将置信度最大值对应的意图预测结果作为音频信号的真实意图,得到音频信号的意图识别结果。
在一些实施例中,在比对结果为置信度最大值大于置信度安全阈值的情况下,音频交互模块,用于将置信度最大值对应的意图预测结果作为第二意图预测结果,根据第二意图预测结果进行音频交互;训练数据获取模块,用于将音频信号作为意图分类预测模型的训练数据的正样本。
在一些实施例中,在比对结果为置信度最大值小于置信度指定阈值的情况下,意图确定模块430用于确定音频信号的意图识别结果为意图解析失败。
在一些实施例中,在比对结果为置信度最大值小于置信度指定阈值的情况下,音频播报模块,用于播报预定语音内容;训练数据获取模块,用于将音频信号作为意图分类预测模型的训练数据的负样本。
在一些实施例中,意图分类预测模型,是预先利用已标注出意图和词槽的音频信号,并使用多任务神经网络分类模型进行数据训练得到的模型。
根据本申请实施例的音频信号处理方法,使用意图分类预测模型对指定的音频信号进行意图预测,得到该音频信号在不同意图分类下的置信度,选择所得到的置信度中的置信度最大值,并将该置信度最大值与置信度安全阈值和置信度指定阈值进行比对,从而根据比对结果确定音频信号的真实意图,通过上述音频信号处理方法,可以提高对指定音频信号进行意图解析的效率和成功率。
图5是本申请实施例提供的音频信号处理系统的结构示意图。在一个实施例中,该音频信号处理系统500,可以包括:集音设备510,用于接收音频信号;音频信号处理设备520,用于实现上述实施例中描述的任意一种音频信号处理方法。
需要明确的是,本申请并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的音频信号处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的音频信号处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的音频信号处理方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的音频信号处理方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的音频信号处理方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据音频信号处理方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至音频信号处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
音频信号处理方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与音频信号处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
在本公开实施例中,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、规划、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。服务器也可以是分布式系统的服务器,或结合了区块链的服务器,通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (14)

1.一种音频信号处理方法,其特征在于,包括:
使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到所述音频信号的不同意图分类的置信度;
将所述不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,所述置信度指定阈值小于所述置信度安全阈值;
根据所述比对结果确定所述音频信号的真实意图,得到所述音频信号的意图识别结果。
2.根据权利要求1所述的方法,其特征在于,在使用预设的意图分类预测模型对指定的音频信号进行意图预测之前,所述方法还包括:
获取被判定为意图解析失败的音频指令,将所述意图解析失败的音频指令作为所述指定的音频信号。
3.根据权利要求1所述的方法,其特征在于,在所述比对结果为所述置信度最大值大于或等于所述置信度指定阈值,且小于或等于所述置信度安全阈值的情况下,所述根据所述比对结果确定所述音频信号的真实意图,得到所述音频信号的意图识别结果,包括:
获取所述置信度最大值对应的意图预测结果,作为第一意图预测结果,输出所述第一意图预测结果和预设的问询信息,所述问询信息用于确定所述第一意图预测结果是否为真实意图;
接收针对所述问询信息的用户确认结果;
在所述用户确认结果表示所述第一意图预测结果为用户真实意图的情况下,将所述第一意图预测结果作为所述音频信号的真实意图,得到所述音频信号的意图识别结果。
4.根据权利要求3所述的方法,其特征在于,在所述用户确认结果表示所述第一意图预测结果为用户真实意图的情况下,所述方法还包括:
根据所述第一意图预测结果进行音频交互;
将所述音频信号作为所述意图分类预测模型的训练数据的正样本。
5.根据权利要求3所述的方法,其特征在于,在所述用户确认结果表示所述第一意图预测结果非用户真实意图的情况下,所述方法还包括:
播报预定语音内容;
将所述音频信号作为训练所述意图分类预测模型的负样本。
6.根据权利要求1所述的方法,其特征在于,在所述比对结果为所述置信度最大值大于所述置信度安全阈值的情况下,所述根据所述比对结果确定所述音频信号的真实意图,得到所述音频信号的意图识别结果,包括:
将所述置信度最大值对应的意图预测结果作为所述音频信号的真实意图,得到音频信号的意图识别结果。
7.根据权利要求6所述的方法,其特征在于,在所述比对结果为所述置信度最大值大于所述置信度安全阈值的情况下,所述方法还包括:
将所述置信度最大值对应的意图预测结果作为第二意图预测结果,根据所述第二意图预测结果进行音频交互;
将所述音频信号作为所述意图分类预测模型的训练数据的正样本。
8.根据权利要求1所述的方法,其特征在于,在所述比对结果为所述置信度最大值小于所述置信度指定阈值的情况下,所述根据所述比对结果确定所述音频信号的真实意图,得到所述音频信号的意图识别结果,包括:
确定所述音频信号的意图识别结果为意图解析失败。
9.根据权利要求8所述的方法,其特征在于,在所述比对结果为所述置信度最大值小于所述置信度指定阈值的情况下,所述方法还包括:
播报预定语音内容;
将所述音频信号作为所述意图分类预测模型的训练数据的负样本。
10.根据权利要求1所述的方法,其特征在于,
所述意图分类预测模型,是预先利用已标注出意图和词槽的音频信号,并使用多任务神经网络分类模型进行数据训练得到的模型。
11.一种音频信号处理装置,其特征在于,包括:
意图预测模块,用于使用预设的意图分类预测模型对指定的音频信号进行意图预测,得到所述音频信号的不同意图分类的置信度;
比对确定模块,用于将所述不同意图分类的置信度中的置信度最大值,与预设的置信度安全阈值和置信度指定阈值进行比对,得到比对结果,其中,所述置信度指定阈值小于所述置信度安全阈值;
意图识别模块,用于根据所述比对结果确定所述音频信号的真实意图,得到所述音频信号的意图识别结果。
12.一种音频信号处理系统,其特征在于,包括:
集音设备,用于接收音频信号;
音频信号处理设备,用于利用接收的所述音频信号,实现根据权利要求1-10任意一项所述的音频信号处理方法。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
CN202011347361.5A 2020-11-26 2020-11-26 音频信号处理方法及装置、系统、电子设备、可读介质 Pending CN112489639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011347361.5A CN112489639A (zh) 2020-11-26 2020-11-26 音频信号处理方法及装置、系统、电子设备、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011347361.5A CN112489639A (zh) 2020-11-26 2020-11-26 音频信号处理方法及装置、系统、电子设备、可读介质

Publications (1)

Publication Number Publication Date
CN112489639A true CN112489639A (zh) 2021-03-12

Family

ID=74935493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347361.5A Pending CN112489639A (zh) 2020-11-26 2020-11-26 音频信号处理方法及装置、系统、电子设备、可读介质

Country Status (1)

Country Link
CN (1) CN112489639A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836273A (zh) * 2021-11-23 2021-12-24 天津汇智星源信息技术有限公司 基于复杂语境的法律咨询方法及相关设备
CN117392983A (zh) * 2023-12-08 2024-01-12 四川霍尼尔电气技术有限公司 一种钻机智能语音交互控制系统及控制方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
US20140164312A1 (en) * 2012-12-11 2014-06-12 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
CN105070288A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 车载语音指令识别方法和装置
CN109785840A (zh) * 2019-03-05 2019-05-21 湖北亿咖通科技有限公司 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质
CN110187766A (zh) * 2019-05-31 2019-08-30 北京猎户星空科技有限公司 一种智能设备的控制方法、装置、设备及介质
CN110414005A (zh) * 2019-07-31 2019-11-05 深圳前海达闼云端智能科技有限公司 意图识别方法、电子设备及存储介质
CN110532355A (zh) * 2019-08-27 2019-12-03 华侨大学 一种基于多任务学习的意图与槽位联合识别方法
US20200043485A1 (en) * 2018-08-03 2020-02-06 International Business Machines Corporation Dynamic adjustment of response thresholds in a dialogue system
CN111081219A (zh) * 2020-01-19 2020-04-28 南京硅基智能科技有限公司 一种端到端的语音意图识别方法
CN111078846A (zh) * 2019-11-25 2020-04-28 青牛智胜(深圳)科技有限公司 一种基于业务场景的多轮对话体系构建方法及系统
CN111104498A (zh) * 2019-12-12 2020-05-05 华南理工大学 一种任务型对话系统中的语义理解方法
CN111143561A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 意图识别模型训练方法、装置及电子设备
CN111198937A (zh) * 2019-12-02 2020-05-26 泰康保险集团股份有限公司 对话生成及装置、计算机可读存储介质、电子设备
CN111242721A (zh) * 2019-12-30 2020-06-05 北京百度网讯科技有限公司 语音订餐方法、装置、电子设备及存储介质
CN111309915A (zh) * 2020-03-03 2020-06-19 爱驰汽车有限公司 联合学习的自然语言训练方法、系统、设备及存储介质
CN111341311A (zh) * 2020-02-21 2020-06-26 深圳前海微众银行股份有限公司 一种语音对话方法及装置
CN111680514A (zh) * 2019-02-25 2020-09-18 北京猎户星空科技有限公司 信息处理和模型训练方法、装置、设备及存储介质
CN111754981A (zh) * 2020-06-26 2020-10-09 清华大学 一种使用互为先验约束模型的命令词识别方法与系统
CN111767384A (zh) * 2020-07-08 2020-10-13 上海风秩科技有限公司 人机对话的处理方法、装置、设备及存储介质
CN111833849A (zh) * 2020-03-10 2020-10-27 北京嘀嘀无限科技发展有限公司 语音识别和语音模型训练的方法及存储介质和电子设备
CN111833872A (zh) * 2020-07-08 2020-10-27 北京声智科技有限公司 对电梯的语音控制方法、装置、设备、系统及介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
US20140164312A1 (en) * 2012-12-11 2014-06-12 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
CN105070288A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 车载语音指令识别方法和装置
US20200043485A1 (en) * 2018-08-03 2020-02-06 International Business Machines Corporation Dynamic adjustment of response thresholds in a dialogue system
CN111680514A (zh) * 2019-02-25 2020-09-18 北京猎户星空科技有限公司 信息处理和模型训练方法、装置、设备及存储介质
CN109785840A (zh) * 2019-03-05 2019-05-21 湖北亿咖通科技有限公司 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质
CN110187766A (zh) * 2019-05-31 2019-08-30 北京猎户星空科技有限公司 一种智能设备的控制方法、装置、设备及介质
CN110414005A (zh) * 2019-07-31 2019-11-05 深圳前海达闼云端智能科技有限公司 意图识别方法、电子设备及存储介质
CN110532355A (zh) * 2019-08-27 2019-12-03 华侨大学 一种基于多任务学习的意图与槽位联合识别方法
CN111078846A (zh) * 2019-11-25 2020-04-28 青牛智胜(深圳)科技有限公司 一种基于业务场景的多轮对话体系构建方法及系统
CN111198937A (zh) * 2019-12-02 2020-05-26 泰康保险集团股份有限公司 对话生成及装置、计算机可读存储介质、电子设备
CN111104498A (zh) * 2019-12-12 2020-05-05 华南理工大学 一种任务型对话系统中的语义理解方法
CN111143561A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 意图识别模型训练方法、装置及电子设备
CN111242721A (zh) * 2019-12-30 2020-06-05 北京百度网讯科技有限公司 语音订餐方法、装置、电子设备及存储介质
CN111081219A (zh) * 2020-01-19 2020-04-28 南京硅基智能科技有限公司 一种端到端的语音意图识别方法
CN111341311A (zh) * 2020-02-21 2020-06-26 深圳前海微众银行股份有限公司 一种语音对话方法及装置
CN111309915A (zh) * 2020-03-03 2020-06-19 爱驰汽车有限公司 联合学习的自然语言训练方法、系统、设备及存储介质
CN111833849A (zh) * 2020-03-10 2020-10-27 北京嘀嘀无限科技发展有限公司 语音识别和语音模型训练的方法及存储介质和电子设备
CN111754981A (zh) * 2020-06-26 2020-10-09 清华大学 一种使用互为先验约束模型的命令词识别方法与系统
CN111767384A (zh) * 2020-07-08 2020-10-13 上海风秩科技有限公司 人机对话的处理方法、装置、设备及存储介质
CN111833872A (zh) * 2020-07-08 2020-10-27 北京声智科技有限公司 对电梯的语音控制方法、装置、设备、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836273A (zh) * 2021-11-23 2021-12-24 天津汇智星源信息技术有限公司 基于复杂语境的法律咨询方法及相关设备
CN117392983A (zh) * 2023-12-08 2024-01-12 四川霍尼尔电气技术有限公司 一种钻机智能语音交互控制系统及控制方法
CN117392983B (zh) * 2023-12-08 2024-02-20 四川霍尼尔电气技术有限公司 一种钻机智能语音交互控制系统及控制方法

Similar Documents

Publication Publication Date Title
CN109003624B (zh) 情绪识别方法、装置、计算机设备及存储介质
CN108922564B (zh) 情绪识别方法、装置、计算机设备及存储介质
CN111639168A (zh) 一种多轮对话的处理方法、装置、电子设备及存储介质
KR20200106126A (ko) 대화 시스템에서의 의도 불분명 질의를 처리하는 방법 및 시스템
CN111105800B (zh) 语音交互处理方法、装置、设备和介质
CN111241245B (zh) 人机交互处理方法、装置及电子设备
CN110473537B (zh) 语音技能的控制方法、装置、设备及存储介质
JP7213943B2 (ja) 車載機器の音声処理方法、装置、機器及び記憶媒体
US20210248471A1 (en) Method and apparatus for creating dialogue, and storage medium
KR102490916B1 (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
CN111324727A (zh) 用户意图识别方法、装置、设备和可读存储介质
CN110705460A (zh) 图像类别识别方法及装置
CN112970059A (zh) 用于处理用户话语的电子装置及其控制方法
CN112489639A (zh) 音频信号处理方法及装置、系统、电子设备、可读介质
CN110543558B (zh) 问题匹配方法、装置、设备和介质
CN111782785A (zh) 自动问答方法、装置、设备以及存储介质
CN112133307A (zh) 人机交互方法、装置、电子设备及存储介质
CN112767916A (zh) 智能语音设备的语音交互方法、装置、设备、介质及产品
CN112163074A (zh) 用户意图识别方法、装置、可读存储介质及电子设备
CN112382291B (zh) 语音交互的处理方法、装置、电子设备及存储介质
CN112232089B (zh) 语义表示模型的预训练方法、设备和存储介质
EP3843090B1 (en) Method and apparatus for outputting analysis abnormality information in spoken language understanding
CN112270169B (zh) 对白角色预测方法、装置、电子设备及存储介质
CN112559715A (zh) 态度的识别方法、装置、设备及存储介质
CN112466295A (zh) 语言模型训练方法、应用方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination