CN109785840A - 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 - Google Patents
自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109785840A CN109785840A CN201910165627.5A CN201910165627A CN109785840A CN 109785840 A CN109785840 A CN 109785840A CN 201910165627 A CN201910165627 A CN 201910165627A CN 109785840 A CN109785840 A CN 109785840A
- Authority
- CN
- China
- Prior art keywords
- text information
- voice messaging
- semantic
- confidence level
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003058 natural language processing Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明提供了一种自然语言识别的方法、装置及车载多媒体主机,涉及人工智能技术领域,该方法应用于车载多媒体主机,该方法包括:接收用户的语音信息;对语音信息进行语音识别处理,以将语音信息转换为文本信息;对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度;若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。本发明能够有效提高自然语言识别的便捷性。
Description
技术领域
本发明涉及人工智能技术领域,尤其是涉及一种自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质。
背景技术
目前,语音助手普遍应用于汽车等交通运输业,但现有的汽车内智能语音助手中的自然语言处理(NLP)运行在云服务器,需要将用户的语音信息对应的文本信息从车载多媒体主机发送到云服务器,由云服务器理解语义再返回给车载多媒体主机,路径比较长,延迟比较大,影响用户体验。
发明内容
有鉴于此,本发明的目的在于提供一种自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质,能够有效提高自然语言识别的便捷性。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种自然语言识别的方法,该方法应用于车载多媒体主机,该方法包括:接收用户的语音信息;对语音信息进行语音识别处理,以将语音信息转换为文本信息;对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度;若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度步骤,包括:通过分类模型对文本信息垂直领域进行分类,以确定文本信息所属的目标领域类别的分类置信度;基于命名实体识别模型识别出的文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度;根据目标领域类别的分类置信度和命名实体分词的类型的置信度确定语音信息对应的第一语义意图的置信度。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,还包括:如果第一语义意图的置信度高于预设置信度阈值,根据第一语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作。如果第一语义意图的置信度低于预设置信度阈值,根据第二语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述方法还包括:在接收到车辆基于控制指令执行对应操作完成后反馈的执行结果信号后,根据执行结果信号生成表示执行结果的文字提示信息;通过文语转换处理将文字提示信息转换为语音提示信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息反馈的第二语义意图,包括:若判断出目标领域类别的分类置信度低于分类置信度阈值,则将文本信息发送至云服务器,并接受云服务器反馈的基于文本信息生成的第二语义意图;若判断出目标领域类别的分类置信度高于分类置信度阈值,且命名实体分词的类型的置信度低于命名实体分词置信度阈值,则将文本信息和文本信息所属的目标领域类别发送给云端服务器,并接受云服务器反馈的通过基于对文本信息的命名实体分词的类型和文本信息所属的目标领域类别生成的第二语义意图。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,云服务器上设置的命名实体识别模型可识别第一数量的命名实体类别;车载多媒体主机上设置的命名实体识别模型可识别第二数量的命名实体类别;第二数量的命名实体类别为第一数量的命名实体类别的子集。
第二方面,本发明实施例还提供一种自然语言识别的装置,该装置设置于车载多媒体主机侧,该装置包括:语音信息接收模块,用于接收用户的语音信息;语音识别处理模块,用于对语音信息进行语音识别处理,以将语音信息转换为文本信息;自然语言处理模块,用于对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度;语义意图接收模块,用于若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,上述自然语言处理模块用于:通过分类模型对文本信息垂直领域进行分类,以确定文本信息所属的目标领域类别的分类置信度;基于命名实体识别模型识别出的文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度;根据目标领域类别的分类置信度和命名实体分词的类型的置信度确定语音信息对应的第一语义意图的置信度。
第三方面,本发明实施例提供了一种车载多媒体主机,包括处理器和存储器;存储器上存储有程序,程序在被处理器运行时执行如第一方面至第一方面的第五种可能的实施方式任一项的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面至第一方面的第五种可能的实施方式任一项的方法的步骤。
本发明实施例提供了一种自然语言识别的方法、装置及车载多媒体主机,通过接收用户的语音信息,并对语音信息进行语音识别处理,以将语音信息转换为文本信息,从而对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度,若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。由于本发明主要通过车载多媒体主机进行自然语言识别,减少了文本信息发送到云服务器的路径延迟,能够有效提高自然语言识别的便捷性。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种自然语言识别的方法的流程图;
图2示出了本发明实施例所提供的另一种自然语言识别的方法的流程图;
图3示出了本发明实施例所提供的一种自然语言识别架构的示意图;
图4示出了本发明实施例所提供的一种自然语言识别的装置的流程图;
图5示出了本发明实施例所提供的一种车载多媒体的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前的自然语言识别通常由云服务器执行,需要将用户的语音信息对应的文本信息从车机端发送到云服务器,由云服务器理解语义再返回给端侧,路径比较长,延迟比较大,基于此,本发明实施例提供的一种自然语言识别的方法、装置及车载多媒体主机,能够有效提高自然语言识别的便捷性。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种自然语言识别的方法进行详细介绍。
参见图1所示的一种自然语言识别的方法的流程图,该方法应用于车载多媒体主机,该方法包括以下步骤:
步骤S102,接收用户的语音信息。
用户的语音信息包括用户的需求信息,如用户的语音信息是“请将空调温度调到20度”或“我要听刘德华的忘情水”等。用户的语音信息具体的可以是通过车载多媒体主机中的音频采集器或麦克风等进行采集。
步骤S104,对语音信息进行语音识别处理,以将语音信息转换为文本信息。
通过语音识别(ASR,Automatic Speech Recognition)处理将用户的语音信息转换为文本信息,语音识别技术可将语音信息转换成文本信息实现“声音”到“文字”的转换。具体的可以是预先分析出语音特征参数,制作语音特征参数对应的文本信息模板,并存放在语音特征参数库中;待识别的语音即用户的语音信息进行处理得到语音特征参数,将得到的语音特征参数与语音特征参数库中的语音模板中的语音特征参数进行比较,确定出最接近的语音特征参数对应的文本信息,作为识别结果。
步骤S106,对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度。
通过对文本信息进行垂直领域的分类和命名实体识别(NER,Named EntityRecognition),从而得到语音信息对应的第一语义意图的置信度。文本信息垂直领域的分类模型可使用卷积神经网络(CNN,Convolutional Neural Network)模型,比如文本卷积神经网络(TextCNN)模型,由于CNN模型需要大量浮点数矩阵的卷积计算,卷积计算的本质是乘加运算,比如一个N行M列的矩阵与一个M行K列的卷积核做卷积,计算量就是3层循环的浮点乘加,普通处理器做浮点数运算效率低,所以需要在车机端侧实现硬件加速,这个加速器可以在1个或几个时钟周期内实现一次矩阵的卷积,这样可以有效减少分类的时间。当然分类模型中不仅仅只有卷积,还有其他的运算也同样需要硬件加速,比如各种指数、对数激活函数。命名实体识别是指识别文本信息中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等,如通过基于神经网络的命名实体识别模型对文本信息进行命名实体识别,即识别文本信息中包含的命名实体分词的类型。
步骤S108,若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。
判断上述第一语义意图的置信度,若上述第一语义意图的置信度低于预设置信度阈值,则将上述文本信息发送到云服务器,接收云服务器反馈的基于文本信息的第二语义意图。
本发明实施例提供的上述自然语言识别的方法,通过接收用户的语音信息,并对语音信息进行语音识别处理,以将语音信息转换为文本信息,从而对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度,若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。由于本发明主要通过车载多媒体主机进行自然语言识别,减少了文本信息发送到云服务器的路径延迟,能够有效提高自然语言识别的便捷性。
为便于理解,以下给出基于本实施例提供的另一种自然语言识别的方法,参见图2所示的一种自然语言识别的方法的流程图,该方法包括以下步骤:
步骤S202,接收用户的语音信息。
步骤S204,对语音信息进行语音识别处理,以将语音信息转换为文本信息。
步骤S206,通过分类模型对文本信息垂直领域进行分类,以确定文本信息所属的目标领域类别的分类置信度。
垂直领域一般有多个,比如导航、音乐、新闻、股票、打电话和车控等,对于垂直领域具体包括的种类与分类模型预先进行训练时的文本样本和对文本样本的标注有关,在对分类模型进行训练时,可采用包括不同种类的垂直领域的文本样本进行训练获得训练好的分类模型,将待识别的文本信息输入已训练好的分类模型,可确定出该文本信息所属的目标领域类别的分类置信度。
步骤S208,基于命名实体识别模型识别出的文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度。
命名实体识别NER模型是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具,在自然语言处理技术走向实用化的过程中占有重要地位。一般来说,命名实体识别的任务就是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体,用户还可以按照自己应用增加特殊类型。
比如“我要听刘德华的忘情水”,NER模型能识别出“刘德华”是人名,“忘情水”是歌名,并且确定它们在句子中的起始结束位置。当然这些都是通过大量的标注语料(即用于训练的文本素材)训练后系统才能识别出来的,常用的NER模型实现有基于规则的、基于统计的以及基于神经网络的,比较典型的是LSTM神经网络加条件随机场模型。
步骤S210,根据目标领域类别的分类置信度和命名实体分词的类型的置信度确定语音信息对应的第一语义意图的置信度。
如果第一语义意图的置信度高于预设置信度阈值,根据第一语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作;如果第一语义意图的置信度低于预设置信度阈值,根据第二语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作。
步骤S212,判断目标领域类别的分类置信度是否低于分类置信度阈值;如果是,执行步骤S214;如果否,执行步骤S216。
步骤S214,将文本信息发送至云服务器,并接受云服务器反馈的基于文本信息生成的第二语义意图。
分类置信度阈值可以是预先设置的,判断目标领域类别的分类置信度是否低于分类置信度阈值,如果是,将文本信息发送至云服务器,并接受云服务器反馈的基于文本信息生成的第二语义意图。
云服务器上设置的命名实体识别模型可识别第一数量的命名实体类别;车载多媒体主机上设置的命名实体识别模型可识别第二数量的命名实体类别;第二数量的命名实体类别为第一数量的命名实体类别的子集。
步骤S216,判断命名实体分词的类型的置信度是否低于命名实体分词置信度阈值;如果是,执行步骤S218;如果否,执行步骤S220。
步骤S218,将文本信息和文本信息所属的目标领域类别发送给云端服务器,并接受云服务器反馈的通过基于对文本信息的命名实体分词的类型和文本信息所属的目标领域类别生成的第二语义意图。
命名实体分词置信度阈值也可以是预先设置的,判断命名实体分词的类型的置信度是否低于命名实体分词置信度阈值,若目标领域类别的分类置信度高于分类置信度阈值,且判断出命名实体分词的类型的置信度低于命名实体分词置信度阈值,则将文本信息和文本信息所属的目标领域类别发送给云端服务器,由云端服务器对接收的信息进行处理。
云服务器的自然语言处理保留全功能的实现,云服务器的神经网络模型都是全量数据训练出来的,比如TextCNN分类模型和BiLSTM-CRF命名实体识别模型。因为在车机侧,考虑到存储空间效率和执行效率,通常只支持部分功能,其中NER模型,只支持小型的数据集训练出来的模型,比如导航POI命名实体类别的数据全集超过1GB(1GB=1024*1024*1024个字节),而车载多媒体主机上的NER模型中存储的命名实体类别的数据只包含著名地名地点、著名商户,即上述第二数量的命名实体类别为第一数量的命名实体类别的子集。这样在车载多媒体主机侧存储的命名实体类别的数据量少,模型准确度就会下降,有的数据查不到,或者查询结果置信度太低,因此通过上述判断置信度确定由车载多媒体主机进行自然语言识别或由云服务器进行自然语言识别。如图3示意出了一种自然语言处理架构的示意图,图3中从分类到云服务器和从命名实体识别到云服务器的线条分别表示目标领域类别的分类置信度低于预设阀值和命名实体分词的类型的置信度低于预设阀值,车机即上述车载多媒体主机发送请求到云端即上述云服务器处理。如果目标领域类别的分类置信度比较低,则直接发送ASR的结果也就是文本信息到云端,让云端来做NLP处理;如果是命名实体分词的类型的置信度比较低,则可以发送文本数据,也可以带上本地分类结果,这样云端可以省略分类的动作,节约云端处理时间。本实施例中的分类置信度阀值和NER置信度阀值可以是用户预先设置的,比如0.6,低于这个值则说明本地处理不了,让云端来处理。
步骤S220,根据第一语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作。
步骤S222,根据第二语义意图生成对车辆的控制指令,以控制车辆执行语音信息对应的操作。
在接收到车辆基于控制指令执行对应操作完成后反馈的执行结果信号后,根据执行结果信号生成表示执行结果的文字提示信息;通过文语转换处理将文字提示信息转换为语音提示信息。如对“请将空调温度调到20度”的用户的语音信息进行自然语言识别并在调整空调温度后,反馈用户“已经帮您把空调调到20度,请问您还有什么需要帮助的?”,这是自然语言生成,即文字提示信息。一般各个领域预设不同的提示信息,比如调整空调温度后,反馈“已经帮您把空调调到20度,请问您还有什么需要帮助的?”,没有成功调整空调温度,则反馈“空调温度设置失败,请再说一次”。
本发明实施例提供的上述自然语言识别的方法,主要通过车载多媒体主机进行自然语言识别,减少了文本信息发送到云服务器的路径延迟,能够有效提高自然语言识别的便捷性。
对应于前述自然语言识别的方法,本发明实施例提供了一种自然语言识别的装置,参见图4示出的一种自然语言识别的装置的结构框图,该装置设置于车载多媒体主机侧,该装置包括以下模块:
语音信息接收模块402,用于接收用户的语音信息;
语音识别处理模块404,用于对语音信息进行语音识别处理,以将语音信息转换为文本信息;
自然语言处理模块406,用于对文本信息进行自然语言处理,得到语音信息对应的第一语义意图的置信度;
语义意图接收模块408,用于若判断出置信度低于预设置信度阈值,则接收云服务器反馈的基于文本信息的第二语义意图。
本发明实施例提供的上述自然语言识别的装置,主要通过车载多媒体主机进行自然语言识别,减少了文本信息发送到云服务器的路径延迟,能够有效提高自然语言识别的便捷性。
上述自然语言处理模块406进一步用于:通过分类模型对文本信息垂直领域进行分类,以确定文本信息所属的目标领域类别的分类置信度;基于命名实体识别模型识别出的文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度;根据目标领域类别的分类置信度和命名实体分词的类型的置信度确定语音信息对应的第一语义意图的置信度。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种车载多媒体主机,参见图5所示的一种车载多媒体主机的结构示意图,该车载多媒体主机包括:处理器50、存储器51、总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行前述实施例任一项的方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的自然语言识别的方法、装置及车载多媒体主机的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种自然语言识别的方法,其特征在于,应用于车载多媒体主机所述方法包括:
接收用户的语音信息;
对所述语音信息进行语音识别处理,以将所述语音信息转换为文本信息;
对所述文本信息进行自然语言处理,得到所述语音信息对应的第一语义意图的置信度;
若判断出所述置信度低于预设置信度阈值,则接收所述云服务器反馈的基于所述文本信息的第二语义意图。
2.根据权利要求1所述的方法,其特征在于,所述对所述文本信息进行自然语言处理,得到所述语音信息对应的第一语义意图的置信度步骤,包括:
通过分类模型对所述文本信息垂直领域进行分类,以确定所述文本信息所属的目标领域类别的分类置信度;
基于命名实体识别模型识别出的所述文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度;
根据所述目标领域类别的分类置信度和所述命名实体分词的类型的置信度确定所述语音信息对应的第一语义意图的置信度。
3.根据权利要求2所述的方法,其特征在于,还包括:
如果所述第一语义意图的置信度高于所述预设置信度阈值,根据所述第一语义意图生成对车辆的控制指令,以控制车辆执行所述语音信息对应的操作;
如果所述第一语义意图的置信度低于所述预设置信度阈值,根据所述第二语义意图生成对车辆的控制指令,以控制车辆执行所述语音信息对应的操作。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在接收到车辆基于控制指令执行对应操作完成后反馈的执行结果信号后,根据所述执行结果信号生成表示所述执行结果的文字提示信息;
通过文语转换处理将所述文字提示信息转换为语音提示信息。
5.根据权利要求2所述的方法,其特征在于,所述若判断出所述置信度低于预设置信度阈值,则接收所述云服务器反馈的基于所述文本信息反馈的第二语义意图的步骤,包括:
若判断出所述目标领域类别的分类置信度低于分类置信度阈值,则将所述文本信息发送至云服务器,并接受所述云服务器反馈的基于所述文本信息生成的第二语义意图;
若判断出所述目标领域类别的分类置信度高于分类置信度阈值,且所述命名实体分词的类型的置信度低于命名实体分词置信度阈值,则将所述文本信息和所述文本信息所属的目标领域类别发送给云端服务器,并接受所述云服务器反馈的通过基于对所述文本信息的命名实体分词的类型和所述文本信息所属的目标领域类别生成的第二语义意图。
6.根据权利要求2所述的方法,其特征在于,所述云服务器上设置的命名实体识别模型可识别第一数量的命名实体类别;所述车载多媒体主机上设置的命名实体识别模型可识别第二数量的命名实体类别;所述第二数量的命名实体类别为所述第一数量的命名实体类别的子集。
7.一种自然语言识别的装置,其特征在于,设置于车载多媒体主机侧,所述装置包括:
语音信息接收模块,用于接收用户的语音信息;
语音识别处理模块,用于对所述语音信息进行语音识别处理,以将所述语音信息转换为文本信息;
自然语言处理模块,用于对所述文本信息进行自然语言处理,得到所述语音信息对应的第一语义意图的置信度;
语义意图接收模块,用于若判断出所述置信度低于预设置信度阈值,则接收所述云服务器反馈的基于所述文本信息的第二语义意图。
8.根据权利要求7所述的装置,其特征在于,所述自然语言处理模块用于:
通过分类模型对所述文本信息垂直领域进行分类,以确定所述文本信息所属的目标领域类别的分类置信度;
基于命名实体识别模型识别出的所述文本信息中包含的命名实体分词的类型,确定命名实体分词的类型的置信度;
根据所述目标领域类别的分类置信度和所述命名实体分词的类型的置信度确定所述语音信息对应的第一语义意图的置信度。
9.一种车载多媒体主机,其特征在于,包括处理器和存储器;
所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910165627.5A CN109785840B (zh) | 2019-03-05 | 2019-03-05 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910165627.5A CN109785840B (zh) | 2019-03-05 | 2019-03-05 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109785840A true CN109785840A (zh) | 2019-05-21 |
CN109785840B CN109785840B (zh) | 2021-01-29 |
Family
ID=66486207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910165627.5A Active CN109785840B (zh) | 2019-03-05 | 2019-03-05 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785840B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415697A (zh) * | 2019-08-29 | 2019-11-05 | 的卢技术有限公司 | 一种基于深度学习的车载语音控制方法及其系统 |
CN110489550A (zh) * | 2019-07-16 | 2019-11-22 | 招联消费金融有限公司 | 基于组合神经网络的文本分类方法、装置和计算机设备 |
CN110619877A (zh) * | 2019-09-27 | 2019-12-27 | 安徽咪鼠科技有限公司 | 应用于激光笔的语音识别人机交互方法、装置、系统和存储介质 |
CN111223481A (zh) * | 2020-01-09 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 信息提取方法、装置、计算机可读存储介质及电子设备 |
CN111325037A (zh) * | 2020-03-05 | 2020-06-23 | 苏宁云计算有限公司 | 文本意图识别方法、装置、计算机设备和存储介质 |
CN111445908A (zh) * | 2020-03-23 | 2020-07-24 | 一汽奔腾轿车有限公司 | 一种人车语音交互系统 |
CN111460096A (zh) * | 2020-03-26 | 2020-07-28 | 北京金山安全软件有限公司 | 一种碎片文本的处理方法、装置及电子设备 |
CN111488446A (zh) * | 2020-04-14 | 2020-08-04 | 湖北亿咖通科技有限公司 | 车载语音对话方法、计算机存储介质及电子设备 |
CN111696548A (zh) * | 2020-05-13 | 2020-09-22 | 深圳追一科技有限公司 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
CN111767372A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 语音查询的解析方法、解析模型的训练方法、装置、设备 |
CN111968636A (zh) * | 2020-08-10 | 2020-11-20 | 湖北亿咖通科技有限公司 | 语音请求文本的处理方法及计算机存储介质 |
CN112489639A (zh) * | 2020-11-26 | 2021-03-12 | 北京百度网讯科技有限公司 | 音频信号处理方法及装置、系统、电子设备、可读介质 |
CN112612874A (zh) * | 2020-12-28 | 2021-04-06 | 恒大新能源汽车投资控股集团有限公司 | 一种数据处理方法、装置及电子设备 |
CN112651223A (zh) * | 2020-12-01 | 2021-04-13 | 浙江百应科技有限公司 | 一种基于ner和nlu的骚扰信息判断方法及系统 |
CN112735418A (zh) * | 2021-01-19 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种语音交互的处理方法、装置、终端及存储介质 |
CN112883178A (zh) * | 2021-02-18 | 2021-06-01 | Oppo广东移动通信有限公司 | 对话方法、装置、服务器及存储介质 |
CN112908319A (zh) * | 2019-12-04 | 2021-06-04 | 海信视像科技股份有限公司 | 一种处理信息交互的方法及设备 |
CN113539270A (zh) * | 2021-07-22 | 2021-10-22 | 阳光保险集团股份有限公司 | 一种位置识别方法、装置、电子设备和存储介质 |
CN113590831A (zh) * | 2021-09-30 | 2021-11-02 | 湖北亿咖通科技有限公司 | 自然语言处理方法、设备及存储介质 |
CN113590820A (zh) * | 2021-07-16 | 2021-11-02 | 杭州网易智企科技有限公司 | 一种文本处理方法、装置、介质和电子设备 |
CN113793597A (zh) * | 2021-09-15 | 2021-12-14 | 云知声智能科技股份有限公司 | 一种语音识别方法、装置、电子设备和存储介质 |
CN113838467A (zh) * | 2021-08-02 | 2021-12-24 | 北京百度网讯科技有限公司 | 语音处理方法、装置及电子设备 |
CN115394300A (zh) * | 2022-10-28 | 2022-11-25 | 广州小鹏汽车科技有限公司 | 语音交互方法、语音交互装置、车辆和可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003088080A1 (en) * | 2002-04-05 | 2003-10-23 | At & T Corp. | Method and system for detecting and extracting named entities from spontaneous communications |
US20110015928A1 (en) * | 2009-07-15 | 2011-01-20 | Microsoft Corporation | Combination and federation of local and remote speech recognition |
CN105551494A (zh) * | 2015-12-11 | 2016-05-04 | 奇瑞汽车股份有限公司 | 一种基于手机互联的车载语音识别系统及识别方法 |
CN105931644A (zh) * | 2016-04-15 | 2016-09-07 | 广东欧珀移动通信有限公司 | 一种语音识别方法及移动终端 |
CN106101789A (zh) * | 2016-07-06 | 2016-11-09 | 深圳Tcl数字技术有限公司 | 终端的语音交互方法及装置 |
CN106297782A (zh) * | 2016-07-28 | 2017-01-04 | 北京智能管家科技有限公司 | 一种人机交互方法及系统 |
CN106373377A (zh) * | 2016-09-14 | 2017-02-01 | 上海百芝龙网络科技有限公司 | 一种双向红外家电控制系统 |
CN107133259A (zh) * | 2017-03-22 | 2017-09-05 | 北京晓数聚传媒科技有限公司 | 一种搜索方法和装置 |
WO2017165040A1 (en) * | 2016-03-23 | 2017-09-28 | Amazon Technologies, Inc. | Fine-grained natural language understanding |
CN109065040A (zh) * | 2018-08-03 | 2018-12-21 | 北京奔流网络信息技术有限公司 | 一种语音信息处理方法以及智能电器 |
CN109190110A (zh) * | 2018-08-02 | 2019-01-11 | 厦门快商通信息技术有限公司 | 一种命名实体识别模型的训练方法、系统及电子设备 |
-
2019
- 2019-03-05 CN CN201910165627.5A patent/CN109785840B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003088080A1 (en) * | 2002-04-05 | 2003-10-23 | At & T Corp. | Method and system for detecting and extracting named entities from spontaneous communications |
US20110015928A1 (en) * | 2009-07-15 | 2011-01-20 | Microsoft Corporation | Combination and federation of local and remote speech recognition |
CN105551494A (zh) * | 2015-12-11 | 2016-05-04 | 奇瑞汽车股份有限公司 | 一种基于手机互联的车载语音识别系统及识别方法 |
WO2017165040A1 (en) * | 2016-03-23 | 2017-09-28 | Amazon Technologies, Inc. | Fine-grained natural language understanding |
CN105931644A (zh) * | 2016-04-15 | 2016-09-07 | 广东欧珀移动通信有限公司 | 一种语音识别方法及移动终端 |
CN106101789A (zh) * | 2016-07-06 | 2016-11-09 | 深圳Tcl数字技术有限公司 | 终端的语音交互方法及装置 |
CN106297782A (zh) * | 2016-07-28 | 2017-01-04 | 北京智能管家科技有限公司 | 一种人机交互方法及系统 |
CN106373377A (zh) * | 2016-09-14 | 2017-02-01 | 上海百芝龙网络科技有限公司 | 一种双向红外家电控制系统 |
CN107133259A (zh) * | 2017-03-22 | 2017-09-05 | 北京晓数聚传媒科技有限公司 | 一种搜索方法和装置 |
CN109190110A (zh) * | 2018-08-02 | 2019-01-11 | 厦门快商通信息技术有限公司 | 一种命名实体识别模型的训练方法、系统及电子设备 |
CN109065040A (zh) * | 2018-08-03 | 2018-12-21 | 北京奔流网络信息技术有限公司 | 一种语音信息处理方法以及智能电器 |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110489550A (zh) * | 2019-07-16 | 2019-11-22 | 招联消费金融有限公司 | 基于组合神经网络的文本分类方法、装置和计算机设备 |
CN110415697A (zh) * | 2019-08-29 | 2019-11-05 | 的卢技术有限公司 | 一种基于深度学习的车载语音控制方法及其系统 |
CN110619877A (zh) * | 2019-09-27 | 2019-12-27 | 安徽咪鼠科技有限公司 | 应用于激光笔的语音识别人机交互方法、装置、系统和存储介质 |
CN112908319A (zh) * | 2019-12-04 | 2021-06-04 | 海信视像科技股份有限公司 | 一种处理信息交互的方法及设备 |
CN111223481A (zh) * | 2020-01-09 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 信息提取方法、装置、计算机可读存储介质及电子设备 |
CN111223481B (zh) * | 2020-01-09 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 信息提取方法、装置、计算机可读存储介质及电子设备 |
CN111325037B (zh) * | 2020-03-05 | 2022-03-29 | 苏宁云计算有限公司 | 文本意图识别方法、装置、计算机设备和存储介质 |
CN111325037A (zh) * | 2020-03-05 | 2020-06-23 | 苏宁云计算有限公司 | 文本意图识别方法、装置、计算机设备和存储介质 |
CN111445908A (zh) * | 2020-03-23 | 2020-07-24 | 一汽奔腾轿车有限公司 | 一种人车语音交互系统 |
CN111460096A (zh) * | 2020-03-26 | 2020-07-28 | 北京金山安全软件有限公司 | 一种碎片文本的处理方法、装置及电子设备 |
CN111460096B (zh) * | 2020-03-26 | 2023-12-22 | 北京金山安全软件有限公司 | 一种碎片文本的处理方法、装置及电子设备 |
CN111488446A (zh) * | 2020-04-14 | 2020-08-04 | 湖北亿咖通科技有限公司 | 车载语音对话方法、计算机存储介质及电子设备 |
CN111488446B (zh) * | 2020-04-14 | 2021-10-15 | 湖北亿咖通科技有限公司 | 车载语音对话方法、计算机存储介质及电子设备 |
CN111696548A (zh) * | 2020-05-13 | 2020-09-22 | 深圳追一科技有限公司 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
CN111767372A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 语音查询的解析方法、解析模型的训练方法、装置、设备 |
CN111767372B (zh) * | 2020-06-30 | 2023-08-01 | 北京百度网讯科技有限公司 | 语音查询的解析方法、解析模型的训练方法、装置、设备 |
CN111968636A (zh) * | 2020-08-10 | 2020-11-20 | 湖北亿咖通科技有限公司 | 语音请求文本的处理方法及计算机存储介质 |
CN111968636B (zh) * | 2020-08-10 | 2021-11-12 | 湖北亿咖通科技有限公司 | 语音请求文本的处理方法及计算机存储介质 |
CN112489639A (zh) * | 2020-11-26 | 2021-03-12 | 北京百度网讯科技有限公司 | 音频信号处理方法及装置、系统、电子设备、可读介质 |
CN112651223A (zh) * | 2020-12-01 | 2021-04-13 | 浙江百应科技有限公司 | 一种基于ner和nlu的骚扰信息判断方法及系统 |
CN112651223B (zh) * | 2020-12-01 | 2023-03-24 | 浙江百应科技有限公司 | 一种基于ner和nlu的骚扰信息判断方法及系统 |
CN112612874A (zh) * | 2020-12-28 | 2021-04-06 | 恒大新能源汽车投资控股集团有限公司 | 一种数据处理方法、装置及电子设备 |
CN112735418A (zh) * | 2021-01-19 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种语音交互的处理方法、装置、终端及存储介质 |
CN112735418B (zh) * | 2021-01-19 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 一种语音交互的处理方法、装置、终端及存储介质 |
CN112883178B (zh) * | 2021-02-18 | 2024-03-29 | Oppo广东移动通信有限公司 | 对话方法、装置、服务器及存储介质 |
CN112883178A (zh) * | 2021-02-18 | 2021-06-01 | Oppo广东移动通信有限公司 | 对话方法、装置、服务器及存储介质 |
CN113590820A (zh) * | 2021-07-16 | 2021-11-02 | 杭州网易智企科技有限公司 | 一种文本处理方法、装置、介质和电子设备 |
CN113539270A (zh) * | 2021-07-22 | 2021-10-22 | 阳光保险集团股份有限公司 | 一种位置识别方法、装置、电子设备和存储介质 |
CN113838467A (zh) * | 2021-08-02 | 2021-12-24 | 北京百度网讯科技有限公司 | 语音处理方法、装置及电子设备 |
CN113838467B (zh) * | 2021-08-02 | 2023-11-14 | 北京百度网讯科技有限公司 | 语音处理方法、装置及电子设备 |
CN113793597A (zh) * | 2021-09-15 | 2021-12-14 | 云知声智能科技股份有限公司 | 一种语音识别方法、装置、电子设备和存储介质 |
CN113590831A (zh) * | 2021-09-30 | 2021-11-02 | 湖北亿咖通科技有限公司 | 自然语言处理方法、设备及存储介质 |
CN115394300A (zh) * | 2022-10-28 | 2022-11-25 | 广州小鹏汽车科技有限公司 | 语音交互方法、语音交互装置、车辆和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109785840B (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785840A (zh) | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 | |
US10991366B2 (en) | Method of processing dialogue query priority based on dialog act information dependent on number of empty slots of the query | |
CN110097085B (zh) | 歌词文本生成方法、训练方法、装置、服务器及存储介质 | |
CN106649825B (zh) | 语音交互系统及其创建方法和装置 | |
CN112100349A (zh) | 一种多轮对话方法、装置、电子设备及存储介质 | |
CN111191016A (zh) | 一种多轮对话处理方法、装置及计算设备 | |
CN111581375B (zh) | 对话意图类型识别方法、多轮对话方法、装置及计算设备 | |
CN108959247B (zh) | 一种数据处理方法、服务器及计算机可读介质 | |
CN112507704B (zh) | 多意图识别方法、装置、设备及存储介质 | |
CN107656996B (zh) | 基于人工智能的人机交互方法和装置 | |
CN111858843B (zh) | 一种文本分类方法及装置 | |
CN105095182A (zh) | 一种回复信息推荐方法及装置 | |
CN110415679A (zh) | 语音纠错方法、装置、设备和存储介质 | |
CN112364664B (zh) | 意图识别模型的训练及意图识别方法、装置、存储介质 | |
CN112349276A (zh) | 一种车载语音交互方法、装置及电子设备 | |
CN115080750B (zh) | 基于融合提示序列的弱监督文本分类方法、系统和装置 | |
CN112559687A (zh) | 问题识别及查询方法、装置、电子设备及存储介质 | |
CN112784580A (zh) | 基于事件抽取的金融数据分析方法及装置 | |
CN109753658B (zh) | 交互方法和装置 | |
CN115293794A (zh) | 一种基于智能规模识别的软件费用评估方法及系统 | |
CN116798053B (zh) | 图标生成方法及装置 | |
CN109739968A (zh) | 一种数据处理方法及装置 | |
CN116797195A (zh) | 工单处理方法、装置、计算机设备和计算机可读存储介质 | |
CN111552802A (zh) | 文本分类模型训练方法和装置 | |
CN111354354A (zh) | 一种基于语义识别的训练方法、训练装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220406 Address after: 430090 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: 430000 no.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |