CN113160802B - 语音处理方法、装置、设备及存储介质 - Google Patents
语音处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113160802B CN113160802B CN202110272524.6A CN202110272524A CN113160802B CN 113160802 B CN113160802 B CN 113160802B CN 202110272524 A CN202110272524 A CN 202110272524A CN 113160802 B CN113160802 B CN 113160802B
- Authority
- CN
- China
- Prior art keywords
- voice
- wake
- word
- speech
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 68
- 230000004044 response Effects 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 230000002618 waking effect Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种语音处理方法、装置、设备及存储介质,属于语音技术领域。本申请实施例中,在对语音进行唤醒识别时,单独针对该语音是否包含有唤醒词的相近词进行了判定,这样在语音中包含有与该唤醒词相近的相近词时,能够将该语音丢弃,也即是不执行唤醒操作,这样针对该语音是否包含有唤醒词的相近词进行了单独分析,分析更加全面,分析结果更为准确,能够避免因语音中包含有唤醒词的相近词而误唤醒的情况,能够有效提高唤醒准确率。
Description
技术领域
本申请涉及语音技术领域,特别涉及一种语音处理方法、装置、设备及存储介质。
背景技术
近年来,随着语音处理技术的不断发展,智能音箱、车载语音交互系统等智能语音交互系统不断普及,为了减少用户操作,提供了一种语音唤醒功能,通过对采集到的语音进行识别,确定是否为唤醒语音,进而能够实现对设备的语音唤醒。
目前,相关技术中,语音处理方法通常是:对语音进行特征提取,得到语音特征,将其输入唤醒识别模型中进行分类,确定该语音是否包含唤醒词。但是当接收到的语音中包含有与唤醒词比较相近的相近词时,通过唤醒识别模型也可能会确定该语音包含唤醒词,因而出现误唤醒情况。上述语音处理方法中,误唤醒情况经常发生,因而唤醒准确率比较差。
发明内容
本申请实施例提供了一种语音处理方法、装置、设备及存储介质,能够提高唤醒准确率。下面对本申请的技术方案进行介绍。
一方面,提供了一种语音处理方法,所述方法包括:
采集语音;
对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词;
响应于所述语音包含唤醒词的相近词,丢弃所述语音。
在一些实施例中,所述方法还包括:
对采集的语音进行唤醒识别,确定所述语音是否包含唤醒词;
所述响应于所述语音包含唤醒词的相近词,丢弃所述语音,包括:
响应于所述语音包含唤醒词且包含唤醒词的相近词,执行所述丢弃所述语音的步骤。
在一些实施例中,所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
响应于所述语音包含唤醒词,执行所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词的步骤。
在一些实施例中,所述方法还包括:
响应于所述语音包含唤醒词,但所述语音不包含唤醒词的相近词,唤醒目标设备。
在一些实施例中,所述方法还包括:
响应于所述语音不包含唤醒词,丢弃所述语音。
在一些实施例中,所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
对采集的所述语音进行特征提取,得到所述语音的语音特征;
基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,所述分类结果用于指示所述语音是否包含唤醒词的相近词。
在一些实施例中,所述方法还包括:
将所述语音特征输入第一唤醒识别模型中,由所述第一唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第一分类结果;其中,所述第一唤醒识别模型用于确定所述语音是否包含唤醒词;
所述基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,包括:
将所述语音特征输入第二唤醒识别模型中,由所述第二唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第二分类结果;其中,所述第二唤醒识别模型用于确定所述语音是否包含唤醒词的相近词。
在一些实施例中,所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
获取所述语音与唤醒词的相近词的语句状态序列之间的第一匹配程度;
响应于所述第一匹配程度大于或等于第一阈值,确定所述语音包含唤醒词的相近词;
响应于所述第一匹配程度小于第一阈值,确定语音不包含唤醒词的相近词。
一方面,提供了一种语音处理装置,所述装置包括:
采集模块,用于采集语音;
识别模块,用于对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词;
丢弃模块,用于响应于所述语音包含唤醒词的相近词,丢弃所述语音。
在一些实施例中,所述识别模块还用于对采集的语音进行唤醒识别,确定所述语音是否包含唤醒词;
所述响应于所述语音包含唤醒词的相近词,丢弃所述语音,包括:
响应于所述语音包含唤醒词且包含唤醒词的相近词,执行所述丢弃所述语音的步骤。
在一些实施例中,所述识别模块用于响应于所述语音包含唤醒词,执行所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词的步骤。
在一些实施例中,所述装置还包括:
唤醒模块,用于响应于所述语音包含唤醒词,但所述语音不包含唤醒词的相近词,唤醒目标设备。
在一些实施例中,所述丢弃模块还用于响应于所述语音不包含唤醒词,丢弃所述语音。
在一些实施例中,所述识别模块用于:
对采集的所述语音进行特征提取,得到所述语音的语音特征;
基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,所述分类结果用于指示所述语音是否包含唤醒词的相近词。
在一些实施例中,所述识别模块用于:
将所述语音特征输入第一唤醒识别模型中,由所述第一唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第一分类结果;其中,所述第一唤醒识别模型用于确定所述语音是否包含唤醒词;
所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
将所述语音特征输入第二唤醒识别模型中,由所述第二唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第二分类结果;其中,所述第二唤醒识别模型用于确定所述语音是否包含唤醒词的相近词。
在一些实施例中,所述识别模块用于:
获取所述语音与唤醒词的相近词的语句状态序列之间的第一匹配程度;
响应于所述第一匹配程度大于或等于第一阈值,确定所述语音包含唤醒词的相近词;
响应于所述第一匹配程度小于第一阈值,确定语音不包含唤醒词的相近词。
一方面,提供了一种电子设备,所述电子设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述唤醒语音确定方法的各种可选实现方式。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述语音处理方法的各种可选实现方式。
一个方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括一条或多条程序代码,所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码,所述一个或多个处理器执行所述一条或多条程序代码,使得电子设备能够执行上述任一种可能实施方式的语音处理方法。
本申请实施例中,在对语音进行唤醒识别时,单独针对该语音是否包含有唤醒词的相近词进行了判定,这样在语音中包含有与该唤醒词相近的相近词时,能够将该语音丢弃,也即是不执行唤醒操作,这样针对该语音是否包含有唤醒词的相近词进行了单独分析,分析更加全面,分析结果更为准确,能够避免因语音中包含有唤醒词的相近词而误唤醒的情况,能够有效提高唤醒准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种语音处理方法的实施环境的示意图;
图2是本申请实施例提供的一种语音处理方法的流程图;
图3是本申请实施例提供的一种语音处理方法的流程图;
图4是本申请实施例提供的一种语音处理装置的结构示意图;
图5是本申请实施例提供的一种电子设备的结构示意图;
图6是本申请实施例提供的一种终端的结构框图;
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如,在不脱离各种示例的范围的情况下,第一图像能够被称为第二图像,并且类似地,第二图像能够被称为第一图像。第一图像和第二图像都能够是图像,并且在某些情况下,能够是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上,例如,多个数据包是指两个或两个以上的数据包。
应理解,在本文中对各种示例的描述中所使用的术语只是为了描述特定示例,而并非旨在进行限制。如在对各种示例的描述和所附权利要求书中所使用的那样,单数形式“一个(“a”\“an”)”和“该”旨在也包括复数形式,除非上下文另外明确地指示。
还应理解,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”,是一种描述关联对象的关联关系,表示能够存在三种关系,例如,A和/或B,能够表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本申请中的字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,在本申请的各个实施例中,各个过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,根据A确定B并不意味着仅仅根据A确定B,还能够根据A和/或其它信息确定B。
还应理解,术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解,术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
下面对本申请的实施环境进行说明。
图1是本申请实施例提供的一种语音处理方法的实施环境的示意图。该实施环境包括终端101,或者该实施环境包括终端101和语音处理平台102。终端101通过无线网络或有线网络与语音处理平台102相连。
终端101能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准语音层面4)播放器,膝上型便携计算机,智能机器人,自助支付设备中的至少一种。终端101安装和运行有支持语音处理的应用程序,例如,该应用程序能够是系统应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。
示例性地,该终端101能够独立完成该工作,也能够通过语音处理平台102为其提供数据服务。本申请实施例对此不作限定。
语音处理平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。语音处理平台102用于为支持语音处理的应用程序提供后台服务。可选地,语音处理102承担主要处理工作,终端101承担次要处理工作;或者,语音处理平台102承担次要处理工作,终端101承担主要处理工作;或者,语音处理平台102或终端101分别能够单独承担处理工作。或者,语音处理平台102和终端101两者之间采用分布式计算架构进行协同计算。
可选地,该语音处理平台102包括至少一台服务器1021以及数据库1022,该数据库1022用于存储数据,在本申请实施例中,该数据库1022中能够存储有样本语音或唤醒识别模型,为至少一台服务器1021提供数据服务。
服务器能够是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
本领域技术人员能够知晓,上述终端101、服务器1021的数量能够更多或更少。比如上述终端101、服务器1021能够仅为一个,或者上述终端101、服务器1021为几十个或几百个,或者更多数量,本申请实施例对终端或服务器的数量和设备类型不加以限定。
图2是本申请实施例提供的一种语音处理方法的流程图,该方法应用于电子设备中,该电子设备为终端或服务器,参见图2,该方法包括以下步骤。
201、电子设备采集语音。
202、电子设备对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词。
203、电子设备响应于该语音包含唤醒词的相近词,丢弃该语音。
本申请实施例中,在对语音进行唤醒识别时,单独针对该语音是否包含有唤醒词的相近词进行了判定,这样在语音中包含有与该唤醒词相近的相近词时,能够将该语音丢弃,也即是不执行唤醒操作,这样针对该语音是否包含有唤醒词的相近词进行了单独分析,分析更加全面,分析结果更为准确,能够避免因语音中包含有唤醒词的相近词而误唤醒的情况,能够有效提高唤醒准确率。
在一些实施例中,该方法还包括:
对采集的语音进行唤醒识别,确定该语音是否包含唤醒词;
该响应于该语音包含唤醒词的相近词,丢弃该语音,包括:
响应于该语音包含唤醒词且包含唤醒词的相近词,执行该丢弃该语音的步骤。
在一些实施例中,该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词,包括:
响应于该语音包含唤醒词,执行该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词的步骤。
在一些实施例中,该方法还包括:
响应于该语音包含唤醒词,但该语音不包含唤醒词的相近词,唤醒目标设备。
在一些实施例中,该方法还包括:
响应于该语音不包含唤醒词,丢弃该语音。
在一些实施例中,该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词,包括:
对采集的该语音进行特征提取,得到该语音的语音特征;
基于该语音特征,对该语音进行分类,得到该语音的分类结果,该分类结果用于指示该语音是否包含唤醒词的相近词。
在一些实施例中,该方法还包括:
将该语音特征输入第一唤醒识别模型中,由该第一唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第一分类结果;其中,该第一唤醒识别模型用于确定该语音是否包含唤醒词;
该基于该语音特征,对该语音进行分类,得到该语音的分类结果,包括:
将该语音特征输入第二唤醒识别模型中,由该第二唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第二分类结果;其中,该第二唤醒识别模型用于确定该语音是否包含唤醒词的相近词。
在一些实施例中,该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词,包括:
获取该语音与唤醒词的相近词的语句状态序列之间的第一匹配程度;
响应于该第一匹配程度大于或等于第一阈值,确定该语音包含唤醒词的相近词;
响应于该第一匹配程度小于第一阈值,确定语音不包含唤醒词的相近词。
图3是本申请实施例提供的一种唤醒识别模型训练方法的流程图,参见图3,该方法包括以下步骤。
301、电子设备采集语音。
本申请实施例中,电子设备具有语音处理功能。电子设备可以采集语音,对采集到的语音进行处理,确定该语音是否为唤醒语音,以确定是否基于该语音执行唤醒操作。其中,唤醒语音是指用于唤醒设备的语音。对于唤醒语音,唤醒语音中包含有唤醒词,该唤醒词用于唤醒设备。因而,上述唤醒识别可以用于识别该语音中是否包含有唤醒词。
其中,该电子设备可以为终端或者服务器。本申请实施例对此不作限定。
在一些实施例中,该电子设备具有语音采集功能和语音唤醒功能,通过采集语音,对语音进行唤醒识别,来确定语音是否包含有唤醒词,进而确定是否唤醒设备。
在另一些实施例中,该电子设备可以具有语音采集功能,可以采集到语音后,自行对语音进行唤醒识别。该电子设备也可以采集到语音后,将其发送至其他电子设备,由其他电子设备对其进行唤醒识别,进而将识别结果反馈至该电子设备。
在另一些实施例中,该电子设备也可以不具有语音采集功能。该电子设备可以接收或下载其他电子设备采集的语音,对语音进行唤醒识别,进而基于识别结果进行分析,或者将识别结果反馈至该其他电子设备。
对应上述电子设备在语音处理方法中所执行的功能不同,相应地,该电子设备采集语音的方式可以包括以下几种方式,本申请实施例对此不作具体限定。
电子设备获取该语音的方式可以有多种,该获取过程可以包括下述方式一至方式三中的任一种。
方式一、电子设备通过自身采集功能,采集语音。
电子设备可以具有语音采集功能,电子设备可以直接采集声音,得到该语音。
方式二、电子设备接收语音采集设备采集的该语音。
电子设备可以通过网络或数据线与语音采集设备连接,获取由该语音采集设备采集的该语音,为该语音采集设备提供后台服务。该语音采集设备可以是任意种类的具有语音采集功能的设备,例如智能音箱、智能手机等,本申请实施例对此不进行限定。
方式三、电子设备可以从数据库中提取其他设备采集的语音。
在该方式三中,可以通过数据库来存储该语音,在电子设备需要对该语音进行处理时,再从该数据库中提取。
302、电子设备对语音进行特征提取,得到该语音的语音特征。
电子设备获取到语音后,能够对其进行特征提取,以语音特征作为后续处理分析的数据依据。该语音特征能够更突出语音的特点,进而能够得到更准确的处理结果。
在一些实施例中,考虑到语音的短时平稳性,电子设备可以逐帧提取特征,得到该语音中每个语音帧的语音特征,以此对每个语音帧进行分析。具体地,该步骤302中,电子设备可以对语音中每个语音帧进行特征提取,得到该每个语音帧的语音特征。
在一种可能实现方式中,对语音进行处理时,将其转换到频域进行计算,能够有效减少计算难度和计算速度,进而更有效地表征语音特征,提高唤醒识别的准确率。因而,电子设备可以对分帧后的语音片段进行傅里叶变换,得到语音的频谱,对频谱进行特征提取,得到语音特征。其中,该语音特征可以为FBank(FilterBank,滤波器组)特征,也可以为MFCC(Mel Frequency Cepstral Coefficent,梅尔倒谱系数)特征,本申请实施例对此不作限定。
303、电子设备将该语音特征输入第一唤醒识别模型中,由该第一唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第一分类结果;其中,该第一唤醒识别模型用于确定该语音是否包含唤醒词。
电子设备得到语音特征后,能够根据语音特征,来分析该语音是否为唤醒语音。其中,对于每个样本语音,确定该语音是否包含唤醒词的过程可以理解为分类过程,用于确定将该语音分类为唤醒语音,还是分类为非唤醒语音。也即是,该过程用于确定语音是否包含唤醒词。
在本申请实施例中,该语音是否包含唤醒词可以通过第一唤醒识别模型来确定。因而,电子设备可以将提取到的语音特征输入该第一唤醒识别模型中,由该第一唤醒识别模型对语音特征进行处理,确定该语音是否包含唤醒词。该第一唤醒识别模型输出的为第一分类结果,该第一分类结果用于指示该语音是否包含唤醒词,也即是确定该语音是否为唤醒语音。
在一些实施例中,该分类过程为确定该语音与唤醒词的语句状态序列之间的匹配程度的过程,具体地,电子设备可以获取该语音与唤醒词的语句状态序列之间的第二匹配程度,然后响应于该第二匹配程度大于或等于第二阈值,确定该第一分类结果指示该语音包含唤醒词。电子设备可以响应于该第二匹配程度小于第二阈值,确定该第一分类结果指示该语音不包含唤醒词。
其中,对于语句状态序列,语句状态序列可以包括唤醒词的语句状态序列,也可以包括唤醒词的相近词的语句状态序列,还可以包括除了相近词之外的其它非唤醒词的语句状态序列。语句状态序列是指多个语句状态组成的序列。该语句状态序列中包括多个语句状态,每个语句状态可以为唤醒词的语句状态或非唤醒词的语句状态。该语句状态可以是指有限状态转换器中进行状态转移的状态。
例如,唤醒词和非唤醒词可以分别包括多种语句状态。例如,针对唤醒词构建三个状态:0,1,2。假设非唤醒词可以包括非唤醒语音和非语音,针对非唤醒语音构建两个状态:3,4。针对非语音构建两种状态:5,6。这样能够得到包含7种状态的FST,通过该FST能够为语音的分类结果进行解码,即可确定出语音与唤醒词或非唤醒词的语句状态序列之间的匹配程度,该语句状态序列可以理解为FST中的对应路径,将唤醒词的语句状态序列对应路径称为唤醒路径,将非唤醒词的语句状态序列对应路径成为非唤醒路径,上述匹配程度则可以理解为语音与唤醒路径之间的匹配程度或与非唤醒路径之间的匹配程度。
可以理解地,对语音进行唤醒识别过程中,得到语音的分类结果后,能够将其解码确定出语音对应的语句状态序列,将其与唤醒词的语句状态序列或非唤醒词的语句状态序列进行对比,能够确定出匹配程度,进而能够根据匹配程度确定该语音是否包含有唤醒词或非唤醒词。
在一些实施例中,上述语句状态可以采用HMM(Hidden Markov Model,隐含马尔柯夫模型)的形式,上述建模过程也即是针对三种语音分别构建HMM的过程。该唤醒词和非唤醒词的HMM连接起来能够构建得到FST(Finite State Transducers,有限状态转换器)。
在一些实施例中,该语句状态序列中每种语句状态与多个连续的语音帧对应。也即是,语句状态序列中每种语句状态持续多个语音帧。这样多帧语音帧对应一个语句状态,语句状态是语句级别的,而不是帧级别的音素状态。例如,每种语句状态与三个连续的语音帧对应,每种语句状态持续三个语音帧。对于一个唤醒语音,其对应的语句状态序列可以为000111222。又例如,该语句状态序列中每种语句状态持续至少三个语音帧。
该每个语句状态序列包括的语句状态数量以及每种语句状态对应语音帧的数量均可以由相关技术人员根据需求进行设置,本申请实施例对此不作限定。
在一些实施例中,上述分类过程为:电子设备对该语音帧的语音特征进行分类,得到该每个语音帧与多种语句状态的匹配程度,然后电子设备可以根据该每个语音帧与多种语句状态的匹配程度,获取该语音与该多种语句状态序列的匹配程度。
通过分析语音与语句状态序列的匹配程度,能够衡量该语音更接近于唤醒语音还是非唤醒语音。如果语音更接近于唤醒语音,则该语音与唤醒词的语句状态序列的匹配程度更高。如果语音更接近于非唤醒语音,则该语音与非唤醒词的语句状态序列的匹配程度更高。
在一些实施例中,在分类时,电子设备能够分类得到每个语音帧对应的概率分布,基于概率分布解词图,进而得到语音与语句状态序列的匹配程度。具体地,电子设备可以对该每个语音帧的语音特征进行分类,得到该每个语音帧对应该多种语句状态的概率分布。然后电子设备可以根据该每个语音帧对应该多种语句状态的概率分布,以及包括该多种语句状态的词图,获取该语音与该多种语句状态序列对应路径的匹配程度。
在一种可能实现方式中,该电子设备根据概率分布和词图获取该语音与多种语句状态序列对应路径的匹配程度时,可以通过解码实现。具体地,电子设备可以将上述概率分布输出解码器中,由解码器根据该概率分布和词图进行解码,得到该语音与该多种语句状态序列对应路径的匹配程度。
对于解码,该解码过程可以为维特比解码过程,当然也可以采用其他解码方式,本申请实施例对此不限定。
对于匹配程度,该匹配程度可以为概率,例如,该概率可以为0-1之间的数值。该匹配程度也可以为得分,例如,该得分可以为0-100之间的数值,该匹配程度的形式可以由相关技术人员根据需求进行设置,本申请实施例对该匹配程度的具体形式不作限定。
以该匹配程度为得分为例,该电子设备在解码时,能够根据词图和概率分布进行解码,得到该语音的对应任一种语句状态序列的最佳路径,并得到该最佳路径的得分。比如,电子设备根据词图和概率分布,解码得到最佳的唤醒语音序列的路径。例如,以唤醒语音对应0,1,2三种状态为例,电子设备根据词图和概率分布,解码得到了该语音对应唤醒语音的最佳路径为:00000111222,并得到其对应的得分0.8。同理地,电子设备也可以解码得到对应非唤醒语音的最佳路径以及得分,在此不多做赘述。
304、电子设备将该语音特征输入第二唤醒识别模型中,由该第二唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第二分类结果;其中,该第二唤醒识别模型用于确定该语音是否包含唤醒词的相近词。针对第一分类结果和第二分类结果,电子设备执行步骤305、步骤306或步骤307中的一项。
该步骤304与上述步骤303中的分类过程同理,不同的是,上述步骤303中的第一唤醒识别模型用于确定语音是否包含唤醒词,而步骤304中的第二唤醒识别模型用于确定该语音是否包含唤醒词的相近词。也即是该第二唤醒识别模型用于确定该语音是否为唤醒语音的相近语音。其中,相近语音指的是包含与唤醒词相近的词的音频。也即是,针对唤醒词的相近词也专门训练了一个第二唤醒识别模型,并通过该第二唤醒识别模型专门针对该语音是否包含相近词进行了单独的确认分析。
同理的,步骤304中,电子设备可以获取该语音与唤醒词的相近词的语句状态序列之间的第一匹配程度,然后电子设备响应于该第一匹配程度大于或等于第一阈值,确定该第二分类结果指示该语音包含有相近词,也即是该语音是该相近语音。或者,电子设备响应于该第一匹配程度小于第一阈值,确定该第二分类结果指示该语音不包含唤醒词的相近词。
对于该第一阈值和第二阈值,可以由相关技术人员根据需求进行设置,该第一阈值和第二阈值可以相等,也可以不相等,例如,第一阈值为0.7,第二阈值为0.8,本申请实施例对此不作限定。
需要说明的是,该第二唤醒识别模型为第一唤醒识别模型的辅助模型,对于一个交互设备来说,一般只有一个唤醒词。而对于一个唤醒词,它的相近词也不会太多,一般在5个以下。为了压制相近词的误唤醒,可以在唤醒模型之外,多加几个辅助模型,每一个辅助模型对应一个相近词,因为每个辅助模型专门为了一个相近词训练,相近词唤醒路径得分计算较为准确。因而,对于一个唤醒词,通过辅助模型,对该唤醒词的相近词进行了单独的分析,这样不单纯依赖唤醒词的第一唤醒识别模型,而是结合有辅助模型,对相近词也进行了分析,能够有效避免语音包含相近词而唤醒目标设备导致的误唤醒情况。
在一些实施例中,第一唤醒识别模型的模型大小可以大于第二唤醒识别模型的模型大小。在另一些实施例中,第一唤醒识别模型的模型大小可以等于第二唤醒识别模型的模型大小。在另一些实施例中,第一唤醒识别模型的模型大小可以小于第二唤醒识别模型的模型大小。本申请实施例对此不作限定。通俗的讲,辅助模型可以做的较小,也可以做的较大,具体可以根据设备的处理能力来决定,当然,模型越大效果越好。
需要说明的是,步骤303和步骤304可以同时执行,也可以先执行步骤303再执行步骤304,或者先执行步骤304再执行步骤303,本申请实施例对此不作限定。
在一些实施例中,该电子设备可以先执行步骤303,得到第一分类结果,然后对第一分类结果进行分析,来确定是否执行步骤304。例如,电子设备可以响应于该第一分类结果指示该语音包含唤醒词,执行步骤304。而如果第一分类结果指示语音不包含唤醒词,则没必要再确定该语音是否包含相近词,因而,电子设备可以执行步骤307。这样能够避免一些不必要的计算,减少计算量,提高效率。也即是,电子设备可以响应于该语音不包含唤醒词,丢弃该语音。
上述步骤302和步骤304为对采集的该语音进行特征提取,得到该语音的语音特征;基于该语音特征,对该语音进行分类,得到该语音的分类结果的过程,该分类结果用于指示该语音是否包含唤醒词的相近词,同理地,步骤302和步骤303为对采集的该语音进行特征提取,得到该语音的语音特征;基于该语音特征,对该语音进行分类,得到该语音的分类结果的过程,只是得到的分类结果用于指示该语音是否包含唤醒词。也即是步骤302至步骤304为对采集的该语音进行唤醒识别的过程,该过程仅以唤醒识别基于唤醒识别模型实现为例进行了说明。
在另一些实施例中,上述唤醒识别也可以不基于唤醒识别模型实现,而是由电子设备基于唤醒识别脚本执行上述唤醒识别步骤,或者由电子设备基于唤醒识别算法来执行上述唤醒识别步骤,本申请实施例对此不作限定。
对于第一唤醒识别模型和第二唤醒识别模型,可以基于样本语音进行训练得到,该训练过程可以为:电子设备获取多个样本语音,该多个样本语音携带有目标分类结果。然后对改多个样本语音进行特征提取,得到语音特征,然后将提取的语音特征输入唤醒识别模型中,由唤醒识别模型基于语音特征对每个样本语音进行分类,得到每个样本语音的预测分类结果,然后基于每个样本语音的预测分类结果和目标分类结果,确定损失值,基于损失值对唤醒识别模型的模型参数进行更新,直至符合目标条件时停止,得到训练好的唤醒识别模型。
对于第一唤醒识别模型,该目标分类结果(也可以称为第一目标分类结果)用于指示样本语音是否包含唤醒词。对于第二唤醒识别模型,该目标分类结果(也可以称为第二目标分类结果)用于指示样本语音是否包含唤醒词的相近词。这样针对不同的唤醒识别模型,使用不同的训练目标进行训练即可。对于该目标条件,该目标条件可以为损失值收敛,或者迭代次数达到目标次数等,本申请实施例对此不作限定。
305、电子设备响应于该第一分类结果指示该语音包含唤醒词且该第二分类结果指示该语音不包含该唤醒词的相近词,唤醒目标设备。
电子设备针对该语音是否唤醒语音和相近语音均进行了分析,得到了相应的分类结果后,可以综合多个分类结果确定该语音是否为唤醒语音。也即是,电子设备针对该语音是否包含有唤醒词和相近词均进行了分析,然后综合分析结果,来确定该语音是否能够唤醒目标设备。
第一分类结果指示该语音包含唤醒词,说明基于第一唤醒识别模型能够确定该语音为唤醒语音。第二分类结果指示该语音不包含该唤醒词的相近词,进一步说明基于第二唤醒识别模型能够确定该语音为唤醒语音。这样根据两层保证,确定该语音为唤醒语音,还不是相近语音,确定的结果也就更加准确。
该步骤305为响应于该语音包含唤醒词,但该语音不包含唤醒词的相近词,唤醒目标设备的过程,在此仅以通过两个唤醒识别模型识别得到了分类结果为例进行说明。
在一些实施例中,该第二唤醒识别模型的数量为一个或多个。响应于该第二唤醒识别模型的数量为多个,该第二分类结果的数量为多个。针对多个第二分类结果,该步骤305中,则需要针对多个第二分类结果进行判断。具体地,电子设备响应于该第一分类结果指示该语音为唤醒语音且多个第二分类结果均指示该语音不包含该唤醒词的相近词,确定该语音为唤醒语音。例如,一个唤醒词可能有多个相近词,这样针对每个相近词均训练有一个模型,并进行一次分析0,能够保证确定结果更加全面,更加准确。
在一些实施例中,电子设备确定该语音为唤醒语音后,该唤醒语音用于唤醒目标设备,因而,电子设备还可以唤醒目标设备。该目标设备可以为该电子设备,也可以不是该电子设备。在一种可能实现方式中,该目标设备为该电子设备,电子设备可以采集到语音,然后对语音进行处理,确定该语音为唤醒语音,则唤醒自身,比如该电子设备可以亮屏。在另一种可能实现方式中,该目标设备不是该电子设备,该目标设备采集到语音后,能够由该电子设备为其分析是否为唤醒语音。如果是,则该电子设备可以唤醒该目标设备,例如,指示该目标设备亮屏等。
例如,在一个具体示例中,对于一个唤醒词,可以找到它的2个相近的唤醒词,然后每个唤醒词分别训练一个模型,唤醒词模型正常大小,保证唤醒率。相近词的两个模型可以训练的小一点,专门用唤醒词的相近词来训练,但是模型大小不需要太大。这样最后会产生三个模型(一个第一唤醒识别模型和两个第二唤醒识别模型)。在电子设备处理语音时,对于输入的语音特征,可以分别送入三个模型做前向计算,如果唤醒模型得分较高唤醒了,那么就要判断两个相近词的得分,如果两个相近词的得分不高,则可以认为是唤醒。相应的,如果两个相近词模型得分有任何一个比较大的话,那么就认为当前的这个词是唤醒词的相近词,认为这是一个误唤醒。这种情况可以参见步骤306。
306、电子设备响应于该第一分类结果指示该语音包含唤醒词,但该第二分类结果指示该语音包含该唤醒词的相近词,丢弃语音。
在上述第二唤醒识别模型的数量为多个,第二分类结果的数量为多个的实施例中,如果多个第二分类结果中有一个分类结果指示该语音为该唤醒语音的相近语音,则该语音均可能是相近语音,而不是唤醒语音,因而,电子设备可以确定该语音不是唤醒语音。也即是,电子设备响应于该第一分类结果指示该语音为唤醒语音,但该多个第二分类结果中任一第二分类结果指示该语音为该唤醒语音的相近语音,确定该语音不是唤醒语音。
307、电子设备响应于该第一分类结果指示该语音不包含唤醒词,丢弃语音。
如果第一分类结果指示该语音不是唤醒语音,那么该语音是否为相近语音,该语音也都不是唤醒语音,因而,电子设备可以不执行唤醒步骤。
该步骤307为响应于该语音不包含唤醒词,丢弃该语音的过程,在此仅以通过第一唤醒识别模型得到了第一分类结果为例进行说明。
本申请实施例中,针对唤醒语音与该唤醒语音相近的相近语音,分别通过不同的唤醒识别模型来确定,不同的唤醒识别模型分别用于确定该语音是否为唤醒语音或相近语音,综合多个唤醒识别模型针对该语音是否为唤醒语音和相近语音的分类结果,能够对语音进行更全面的分析,且该过程中针对该语音是否为相近语音进行了单独分析,分析结果更为准确,能够有效提高唤醒准确率。
上述所有可选技术方案,能够采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图4是本申请实施例提供的一种语音处理装置的结构示意图,参见图4,该装置包括:
采集模块401,用于采集语音;
识别模块402,用于对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词;
丢弃模块403,用于响应于该语音包含唤醒词的相近词,丢弃该语音。
在一些实施例中,该识别模块402还用于对采集的语音进行唤醒识别,确定该语音是否包含唤醒词;
该响应于该语音包含唤醒词的相近词,丢弃该语音,包括:
响应于该语音包含唤醒词且包含唤醒词的相近词,执行该丢弃该语音的步骤。
在一些实施例中,该识别模块402用于响应于该语音包含唤醒词,执行该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词的步骤。
在一些实施例中,该装置还包括:
唤醒模块,用于响应于该语音包含唤醒词,但该语音不包含唤醒词的相近词,唤醒目标设备。
在一些实施例中,该丢弃模块403还用于响应于该语音不包含唤醒词,丢弃该语音。
在一些实施例中,该识别模块402用于:
对采集的该语音进行特征提取,得到该语音的语音特征;
基于该语音特征,对该语音进行分类,得到该语音的分类结果,该分类结果用于指示该语音是否包含唤醒词的相近词。
在一些实施例中,该识别模块402用于:
将该语音特征输入第一唤醒识别模型中,由该第一唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第一分类结果;其中,该第一唤醒识别模型用于确定该语音是否包含唤醒词;
该对采集的该语音进行唤醒识别,确定该语音是否包含唤醒词的相近词,包括:
将该语音特征输入第二唤醒识别模型中,由该第二唤醒识别模型基于该语音特征对该语音进行分类,得到该语音的第二分类结果;其中,该第二唤醒识别模型用于确定该语音是否为唤醒语音的相近语音。
在一些实施例中,该识别模块402用于:
获取该语音与唤醒词的相近词的语句状态序列之间的第一匹配程度;
响应于该第一匹配程度大于或等于第一阈值,确定该语音包含唤醒词的相近词;
响应于该第一匹配程度小于第一阈值,确定语音不包含唤醒词的相近词。
需要说明的是:上述实施例提供的语音处理装置在语音处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,能够根据需要而将上述功能分配由不同的功能模块完成,即将语音处理装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的语音处理装置与语音处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是本申请实施例提供的一种电子设备的结构示意图,该电子设备500可因配置或性能不同而产生比较大的差异,能够包括一个或一个以上处理器(Central ProcessingUnits,CPU)501和一个或一个以上的存储器502,其中,该存储器502中存储有至少一条计算机程序,该至少一条计算机程序由该处理器501加载并执行以实现上述各个方法实施例提供的语音处理方法。该电子设备还能够包括其他用于实现设备功能的部件,例如,该电子设备还能够具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出。本申请实施例在此不做赘述。
上述方法实施例中的电子设备能够实现为终端。例如,图6是本申请实施例提供的一种终端的结构框图。该终端600可以是便携式移动终端,比如:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准语音层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准语音层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、6核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的语音处理方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、语音电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置在终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
语音电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,语音电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置在终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
上述方法实施例中的电子设备能够实现为服务器。例如,图7是本申请实施例提供的一种服务器的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,能够包括一个或一个以上处理器(Central Processing Units,CPU)701和一个或一个以上的存储器702,其中,该存储器702中存储有至少一条计算机程序,该至少一条计算机程序由该处理器701加载并执行以实现上述各个方法实施例提供的语音处理方法。当然,该服务器还能够具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出,该服务器还能够包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条计算机程序的存储器,上述至少一条计算机程序由可由处理器执行以完成上述实施例中的语音处理方法。例如,计算机可读存储介质能够是只读存储器(Read-Only Memory,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、只读光盘(Compact Disc Read-OnlyMemory,简称:CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或该计算机程序包括一条或多条程序代码,该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码,该一个或多个处理器执行该一条或多条程序代码,使得电子设备能够执行上述语音处理方法。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应理解,根据A确定B并不意味着仅仅根据A确定B,还能够根据A和/或其它信息确定B。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成,也能够通过程序来指令相关的硬件完成,该程序能够存储于一种计算机可读存储介质中,上述提到的存储介质能够是只读存储器,磁盘或光盘等。
以上描述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种语音处理方法,其特征在于,所述方法包括:
采集语音;
对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词;
响应于所述语音包含唤醒词的相近词,丢弃所述语音;
所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
对采集的所述语音进行特征提取,得到所述语音的语音特征;
基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,所述分类结果用于指示所述语音是否包含唤醒词的相近词;
将所述语音特征输入第一唤醒识别模型中,由所述第一唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第一分类结果;其中,所述第一唤醒识别模型用于确定所述语音是否包含唤醒词;
所述基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,包括:
将所述语音特征输入第二唤醒识别模型中,由所述第二唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第二分类结果;其中,所述第二唤醒识别模型用于确定所述语音是否包含唤醒词的相近词,所述第二唤醒识别模型是针对所述唤醒词的相近词训练的所述第一唤醒识别模型的辅助模型,用于对所述唤醒词的相近词进行单独分析,所述第二唤醒识别模型为多个,每个所述第二唤醒识别模型对应一个相近词;
其中,通过对所述分类结果进行解码确定所述语音对应的语句状态序列,与所述唤醒词的语句状态序列或所述相近词的语句状态序列进行对比,得到匹配程度,基于所述匹配程度确定所述语音是否包含所述唤醒词或所述相近词,所述语句状态序列是多个语句状态组成的序列,所述语句状态是有限状态转换器中进行状态转移的状态,所述匹配程度是通过将概率分布输入解码器,由解码器根据所述概率分布和词图进行解码得到所述语音与所述多种语句状态序列对应路径的匹配程度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对采集的语音进行唤醒识别,确定所述语音是否包含唤醒词;
所述响应于所述语音包含唤醒词的相近词,丢弃所述语音,包括:
响应于所述语音包含唤醒词且包含唤醒词的相近词,执行所述丢弃所述语音的步骤。
3.根据权利要求2所述的方法,其特征在于,所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,还包括:
响应于所述语音包含唤醒词,执行所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词的步骤。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述语音包含唤醒词,但所述语音不包含唤醒词的相近词,唤醒目标设备。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述语音不包含唤醒词,丢弃所述语音。
6.根据权利要求1所述的方法,其特征在于,所述对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词,包括:
获取所述语音与唤醒词的相近词的语句状态序列之间的第一匹配程度;
响应于所述第一匹配程度大于或等于第一阈值,确定所述语音包含唤醒词的相近词;
响应于所述第一匹配程度小于第一阈值,确定语音不包含唤醒词的相近词。
7.一种语音处理装置,其特征在于,所述装置包括:
采集模块,用于采集语音;
识别模块,用于对采集的所述语音进行唤醒识别,确定所述语音是否包含唤醒词的相近词;
丢弃模块,用于响应于所述语音包含唤醒词的相近词,丢弃所述语音;
所述识别模块,用于对采集的所述语音进行特征提取,得到所述语音的语音特征;基于所述语音特征,对所述语音进行分类,得到所述语音的分类结果,所述分类结果用于指示所述语音是否包含唤醒词的相近词;
所述识别模块,还用于将所述语音特征输入第一唤醒识别模型中,由所述第一唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第一分类结果;其中,所述第一唤醒识别模型用于确定所述语音是否包含唤醒词;
所述识别模块,还用于将所述语音特征输入第二唤醒识别模型中,由所述第二唤醒识别模型基于所述语音特征对所述语音进行分类,得到所述语音的第二分类结果;其中,所述第二唤醒识别模型用于确定所述语音是否包含唤醒词的相近词,所述第二唤醒识别模型是针对所述唤醒词的相近词训练的所述第一唤醒识别模型的辅助模型,用于对所述唤醒词的相近词进行单独分析,所述第二唤醒识别模型为多个,每个所述第二唤醒识别模型对应一个相近词;
其中,通过对所述分类结果进行解码确定所述语音对应的语句状态序列,与所述唤醒词的语句状态序列或所述相近词的语句状态序列进行对比,得到匹配程度,基于所述匹配程度确定所述语音是否包含所述唤醒词或所述相近词,所述语句状态序列是多个语句状态组成的序列,所述语句状态是有限状态转换器中进行状态转移的状态,所述匹配程度是通过将概率分布输入解码器,由解码器根据所述概率分布和词图进行解码得到所述语音与所述多种语句状态序列对应路径的匹配程度。
8.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的语音处理方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的语音处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110272524.6A CN113160802B (zh) | 2021-03-12 | 2021-03-12 | 语音处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110272524.6A CN113160802B (zh) | 2021-03-12 | 2021-03-12 | 语音处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160802A CN113160802A (zh) | 2021-07-23 |
CN113160802B true CN113160802B (zh) | 2023-09-26 |
Family
ID=76886965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110272524.6A Active CN113160802B (zh) | 2021-03-12 | 2021-03-12 | 语音处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160802B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611597A (zh) * | 2016-12-02 | 2017-05-03 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音唤醒方法和装置 |
CN106653022A (zh) * | 2016-12-29 | 2017-05-10 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音唤醒方法和装置 |
CN107134279A (zh) * | 2017-06-30 | 2017-09-05 | 百度在线网络技术(北京)有限公司 | 一种语音唤醒方法、装置、终端和存储介质 |
CN110428810A (zh) * | 2019-08-30 | 2019-11-08 | 北京声智科技有限公司 | 一种语音唤醒的识别方法、装置及电子设备 |
CN110808050A (zh) * | 2018-08-03 | 2020-02-18 | 蔚来汽车有限公司 | 语音识别方法及智能设备 |
WO2020040595A1 (ko) * | 2018-08-24 | 2020-02-27 | 삼성전자 주식회사 | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 |
CN111933112A (zh) * | 2020-09-21 | 2020-11-13 | 北京声智科技有限公司 | 唤醒语音确定方法、装置、设备及介质 |
CN112002320A (zh) * | 2020-08-10 | 2020-11-27 | 北京小米移动软件有限公司 | 语音唤醒方法、装置、电子设备和存储介质 |
CN112116908A (zh) * | 2020-11-18 | 2020-12-22 | 北京声智科技有限公司 | 唤醒音频确定方法、装置、设备及存储介质 |
CN112149606A (zh) * | 2020-10-02 | 2020-12-29 | 深圳市中安视达科技有限公司 | 医用手术显微镜智能控制方法、系统及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11282528B2 (en) * | 2017-08-14 | 2022-03-22 | Lenovo (Singapore) Pte. Ltd. | Digital assistant activation based on wake word association |
US11282500B2 (en) * | 2019-07-19 | 2022-03-22 | Cisco Technology, Inc. | Generating and training new wake words |
-
2021
- 2021-03-12 CN CN202110272524.6A patent/CN113160802B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611597A (zh) * | 2016-12-02 | 2017-05-03 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音唤醒方法和装置 |
CN106653022A (zh) * | 2016-12-29 | 2017-05-10 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音唤醒方法和装置 |
CN107134279A (zh) * | 2017-06-30 | 2017-09-05 | 百度在线网络技术(北京)有限公司 | 一种语音唤醒方法、装置、终端和存储介质 |
CN110808050A (zh) * | 2018-08-03 | 2020-02-18 | 蔚来汽车有限公司 | 语音识别方法及智能设备 |
WO2020040595A1 (ko) * | 2018-08-24 | 2020-02-27 | 삼성전자 주식회사 | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 |
CN110428810A (zh) * | 2019-08-30 | 2019-11-08 | 北京声智科技有限公司 | 一种语音唤醒的识别方法、装置及电子设备 |
CN112002320A (zh) * | 2020-08-10 | 2020-11-27 | 北京小米移动软件有限公司 | 语音唤醒方法、装置、电子设备和存储介质 |
CN111933112A (zh) * | 2020-09-21 | 2020-11-13 | 北京声智科技有限公司 | 唤醒语音确定方法、装置、设备及介质 |
CN112149606A (zh) * | 2020-10-02 | 2020-12-29 | 深圳市中安视达科技有限公司 | 医用手术显微镜智能控制方法、系统及可读存储介质 |
CN112116908A (zh) * | 2020-11-18 | 2020-12-22 | 北京声智科技有限公司 | 唤醒音频确定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113160802A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110379430B (zh) | 基于语音的动画显示方法、装置、计算机设备及存储介质 | |
CN111933112B (zh) | 唤醒语音确定方法、装置、设备及介质 | |
WO2021052306A1 (zh) | 声纹特征注册 | |
CN111105788B (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
CN111477225A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
CN114299933A (zh) | 语音识别模型训练方法、装置、设备、存储介质及产品 | |
CN111370025A (zh) | 音频识别方法、装置及计算机存储介质 | |
CN111613213B (zh) | 音频分类的方法、装置、设备以及存储介质 | |
CN111428079B (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
CN111681655A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
CN112614507B (zh) | 检测噪声的方法和装置 | |
CN113220590A (zh) | 语音交互应用的自动化测试方法、装置、设备及介质 | |
CN110337030B (zh) | 视频播放方法、装置、终端和计算机可读存储介质 | |
CN111341317B (zh) | 唤醒音频数据的评价方法、装置、电子设备及介质 | |
CN112116908B (zh) | 唤醒音频确定方法、装置、设备及存储介质 | |
CN113744736B (zh) | 命令词识别方法、装置、电子设备及存储介质 | |
CN113362836B (zh) | 训练声码器方法、终端及存储介质 | |
CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
CN113160802B (zh) | 语音处理方法、装置、设备及存储介质 | |
CN111028846B (zh) | 免唤醒词注册的方法和装置 | |
CN114333821A (zh) | 电梯控制方法、装置、电子设备、存储介质及产品 | |
CN113162837B (zh) | 语音消息的处理方法、装置、设备及存储介质 | |
CN111125424B (zh) | 提取歌曲核心歌词的方法、装置、设备及存储介质 | |
CN111063372B (zh) | 确定音高特征的方法、装置、设备及存储介质 | |
CN111681654A (zh) | 语音控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |