CN110600040B - 声纹特征注册方法、装置、计算机设备及存储介质 - Google Patents
声纹特征注册方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110600040B CN110600040B CN201910887744.2A CN201910887744A CN110600040B CN 110600040 B CN110600040 B CN 110600040B CN 201910887744 A CN201910887744 A CN 201910887744A CN 110600040 B CN110600040 B CN 110600040B
- Authority
- CN
- China
- Prior art keywords
- voice
- feature
- user
- cluster
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000013598 vector Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 239000012634 fragment Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 24
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012216 screening Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种声纹特征注册方法、装置、计算机设备及存储介质,属于计算机技术领域。方法包括:获取多条历史语音数据,多条历史语音数据包括第一类历史语音数据和第二类历史语音数据;获取多条历史语音数据对应的语音特征;对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;从至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,第一预设条件用于指示终端用户的语音数据所满足的条件;根据用户语音特征簇中的语音特征,生成终端用户的声纹特征。生成的声纹特征既能代表远处语音数据的特征,也能代表近处语音数据的特征,避免了远近声对识别的影响。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种声纹特征注册方法、装置、计算机设备及存储介质。
背景技术
随着语音处理技术的发展,越来越多的计算机设备用到了语音处理技术。用户可以通过语音数据控制设备执行相应地操作,例如,语音开锁、语音支付等。而用户在控制设备之前需要在设备上注册用户的声纹特征。之后,设备即可通过判断当前用户的语音特征与声纹特征是否匹配,确定是否允许当前用户控制该设备。
目前,进行声纹特征注册时,设备会向用户提供一个语句,用户需要清晰地对设备说出该语句,且重复说出该语句10次,设备根据接收到的10条语音数据,获取该10条语音数据对应的语音特征,根据该10个语音特征生成声纹特征。
发明内容
本发明实施例提供了一种声纹特征注册方法、装置、计算机设备及存储介质,能够解决相关技术中声纹注册效率较低的问题。该技术方案如下:
一方面,提供了一种声纹特征注册方法,该方法包括:
获取多条历史语音数据,所述多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,所述第二类历史语音数据的语音源与终端之间的距离大于所述第一类历史语音数据的语音源与所述终端之间的距离;
获取所述多条历史语音数据对应的语音特征;
对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;
从所述至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,所述第一预设条件用于指示终端用户的语音数据所满足的条件;
根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征。
在一种可能实现方式中,所述从所述至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,包括下述至少一个步骤:
从所述至少一个语音特征簇中选取满足数据来源条件的语音特征簇,作为所述用户语音特征簇,所述数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,所述语音特征簇的数据来源为所述语音特征簇中的语音特征对应的语音数据的来源;
从所述至少一个语音特征簇中选取满足时间分布条件的语音特征簇,作为所述用户语音特征簇,所述时间分布条件为用户语音特征簇的时间段数目大于其他语音特征簇的时间段数目,所述语音特征簇的时间段为所述语音特征簇中的语音特征对应的语音数据的生成时间所属的时间段。
在一种可能实现方式中,所述从所述至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,包括:
从所述至少一个语音特征簇中选取满足所述第一预设条件和第二预设条件的语音特征簇,作为所述用户语音特征簇;所述第二预设条件用于指示用户语音特征簇的属性所满足的条件。
在一种可能实现方式中,所述第一预设条件用于指示终端用户的语音数据的描述信息所满足的条件,所述获取多条历史语音数据对应的语音特征,包括:
对所述多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段;
建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系;
获取每个历史语音数据片段对应的语音特征。
在一种可能实现方式中,所述方法还包括:
如果基于所述第一类历史语音数据生成第一声纹特征,且基于所述第二类历史语音数据生成第二声纹特征,则建立所述第一声纹特征与所述终端的用户信息的关联关系和所述第二声纹特征与所述终端的用户信息的关联关系。
在一种可能实现方式中,在所述基于所述第一类历史语音数据生成第一声纹特征,且获取到所述第二类历史语音数据对应的语音特征之后,所述方法还包括:
将所述第二类历史语音数据对应的语音特征中,与所述第一声纹特征不匹配的语音特征丢弃。
在一种可能实现方式中,所述根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征,包括下述任一步骤:
将所述用户语音特征簇中的多个语音特征合并为一个语音特征,作为所述声纹特征;
从所述用户语音特征簇中选取一个语音特征,作为所述声纹特征,所述选取的语音特征与簇中心的距离小于所述用户语音特征簇中的其他语音特征与所述簇中心的距离;
根据所述用户语音特征簇中的语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为所述声纹特征。
一方面,提供了一种声纹特征注册装置,该装置包括:
第一划分模块,用于获取多条历史语音数据,所述多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,所述第二类历史语音数据的语音源与终端之间的距离大于所述第一类历史语音数据的语音源与所述终端之间的距离;
获取模块,用于获取所述多条历史语音数据对应的语音特征;
第二划分模块,用于对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;
选取模块,用于从所述至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,所述第一预设条件用于指示终端用户的语音数据所满足的条件;
生成模块,用于根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征。
在一种可能实现方式中,所述选取模块包括下述至少一个单元:
第一选取单元,用于从所述至少一个语音特征簇中选取满足数据来源条件的语音特征簇,作为所述用户语音特征簇,所述数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,所述语音特征簇的数据来源为所述语音特征簇中的语音特征对应的语音数据的来源;
第二选取单元,用于从所述至少一个语音特征簇中选取满足时间分布条件的语音特征簇,作为所述用户语音特征簇,所述时间分布条件为用户语音特征簇的时间段数目大于其他语音特征簇的时间段数目,所述语音特征簇的时间段为所述语音特征簇中的语音特征对应的语音数据的生成时间所属的时间段。
在一种可能实现方式中,所述选取模块,还用于从所述至少一个语音特征簇中选取满足所述第一预设条件和第二预设条件的语音特征簇,作为所述用户语音特征簇;所述第二预设条件用于指示用户语音特征簇的属性所满足的条件。
在一种可能实现方式中,所述第一预设条件用于指示终端用户的语音数据的描述信息所满足的条件,所述获取模块包括:
切分单元,用于对所述多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段;
关系建立单元,用于建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系;
获取单元,用于获取每个历史语音数据片段对应的语音特征。
在一种可能实现方式中,所述装置还包括:
关联关系建立模块,用于如果基于所述第一类历史语音数据生成第一声纹特征,且基于所述第二类历史语音数据生成第二声纹特征,则建立所述第一声纹特征与所述终端的用户信息的关联关系和所述第二声纹特征与所述终端的用户信息的关联关系。
在一种可能实现方式中,所述装置还包括:
匹配模块,用于将所述第二类历史语音数据对应的语音特征中,与所述第一声纹特征不匹配的语音特征丢弃。
在一种可能实现方式中,所述生成模块包括下述任一单元;
合并单元,用于将所述用户语音特征簇中的多个语音特征合并为一个语音特征,作为所述声纹特征;
选取单元,用于从所述用户语音特征簇中选取一个语音特征,作为所述声纹特征,所述选取的语音特征与簇中心的距离小于所述用户语音特征簇中的其他语音特征与所述簇中心的距离;
训练单元,用于根据所述用户语音特征簇中的语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为所述声纹特征。
一方面,提供了一种终端,所述终端包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述至少一条指令由所述一个或多个处理器加载并执行以实现如上述任一种可能实现方式所述的声纹特征注册方法所执行的操作。
一方面,提供了一种服务器,所述服务器包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述至少一条指令由所述一个或多个处理器加载并执行以实现如上述任一种可能实现方式所述的声纹特征注册方法所执行的操作。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上述任一种可能实现方式所述的声纹特征注册方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明实施例提供的声纹特征注册方法、装置、计算机设备及存储介质,通过获取多条历史语音数据对应的语音特征,并基于语音特征是否属于同一语音源对获取到的多个语音特征进行划分,得到至少一个语音特征簇;基于终端用户的语音数据所满足的条件,在至少一个语音特征簇中筛选出用户语音特征簇,并根据用户语音特征簇来生成终端用户的声纹特征,实现了自动获取用户的声纹特征,在进行声纹注册时,无需用户输入语音数据,简化了用户操作,加快了注册时间,提高了注册效率。并且,通过第一预设条件从至少一个语音特征簇中筛选出用户语音特征簇,保证了基于用户语音特征簇生成的声纹特征是终端用户的,避免了其他用户的声纹特征的干扰,确保了声纹注册的准确性。并且,考虑到了终端用户距离终端远近不一带来的声音差异,多条历史语音数据包括第一类(近处)历史语音数据和第二类(远处)历史语音数据,生成的声纹特征既能代表远处语音数据的特征,也能代表近处语音数据的特征,对用户输入的语音数据进行分析时,能够准确地识别用户是否为终端用户,避免了由于远近声音的差异导致识别失败的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实施环境的示意图;
图2是本发明实施例提供的一种声纹特征注册方法的流程图;
图3是本发明实施例提供的一种声纹注册方法的流程图;
图4是本发明实施例提供的一种预处理方法的流程图;
图5是本发明实施例提供的一种提取语音特征方法的流程图;
图6是本发明实施例提供的一种聚类方法的流程图;
图7是本发明实施例提供的一种筛选第二语音特征方法的流程图;
图8是本发明实施例提供的一种生成声纹特征方法的流程图;
图9是本发明实施例提供的一种声纹注册方法的流程图;
图10是本发明实施例提供的一种声纹注册装置的结构图;
图11是本发明实施例提供的一种声纹注册装置的结构图;
图12是本发明实施例提供的终端的结构示意图;
图13是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例可以应用于进行声纹特征注册的场景下,本发明在进行声纹特征注册时,会获取多条历史语音数据,从多条历史语音数据中提取出用户的声纹特征。本发明实施例提供的方法可以应用于计算机设备中,在一种可能实现方式中,计算机设备可以为手机、电脑、平板电脑等安装有应用的终端,终端用户在使用终端时可能会生成语音数据。终端可以保存用户在使用过程中生成的语音数据,作为历史语音数据,终端通过历史语音数据来提取终端用户的声纹特征。
在另一种可能实现方式中,计算机设备还可以是与终端上安装的应用相关的服务器。图1是本发明实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和服务器102。
该终端101可以为手机、电脑、平板电脑等安装有应用或者具有安装应用功能的终端,该服务器102可以是一台服务器,也可以是若干台服务器组成的服务器集群,或者是一个云计算服务中心。
终端101可以将历史语音数据上传至服务器102中,终端101可以在历史语音数据生成时上传,也可以在进行声纹注册时上传,还可以每隔预设时间上传一次,本发明实施例对历史语音数据的上传时机不做限定。服务器102根据终端101上传的历史语音数据提取终端用户的声纹特征。
图2是本发明实施例提供的一种声纹特征注册方法的流程图。参见图2,该实施例包括:
201、获取多条历史语音数据,该多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,该第二类历史语音数据的语音源与终端之间的距离大于该第一类历史语音数据的语音源与该终端之间的距离。
202、获取多条历史语音数据对应的语音特征。
203、对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征。
204、从该至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,该第一预设条件用于指示终端用户的语音数据所满足的条件。
205、根据该用户语音特征簇中的语音特征,生成该终端用户的声纹特征。
本发明实施例提供的声纹特征注册方法,通过获取多条历史语音数据对应的语音特征,并基于语音特征是否属于同一语音源对获取到的多个语音特征进行划分,得到至少一个语音特征簇;基于终端用户的语音数据所满足的条件,在至少一个语音特征簇中筛选出用户语音特征簇,并根据用户语音特征簇来生成终端用户的声纹特征,实现了自动获取用户的声纹特征,在进行声纹注册时,无需用户输入语音数据,简化了用户操作,加快了注册时间,提高了注册效率。并且,通过第一预设条件从至少一个语音特征簇中筛选出用户语音特征簇,保证了基于用户语音特征簇生成的声纹特征是终端用户的,避免了其他用户的声纹特征的干扰,确保了声纹注册的准确性。并且,考虑到了终端用户距离终端远近不一带来的声音差异,多条历史语音数据包括第一类(近处)历史语音数据和第二类(远处)历史语音数据,生成的声纹特征既能代表远处语音数据的特征,也能代表近处语音数据的特征,对用户输入的语音数据进行分析时,能够准确地识别用户是否为终端用户,避免了由于远近声音的差异导致识别失败的问题。
在一种可能实现方式中,从该至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,包括下述至少一个步骤:
从该至少一个语音特征簇中选取满足数据来源条件的语音特征簇,作为该用户语音特征簇,该数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,该语音特征簇的数据来源为该语音特征簇中的语音特征对应的语音数据的来源;
从该至少一个语音特征簇中选取满足时间分布条件的语音特征簇,作为该用户语音特征簇,该时间分布条件为用户语音特征簇的时间段数目大于其他语音特征簇的时间段数目,该语音特征簇的时间段为该语音特征簇中的语音特征对应的语音数据的生成时间所属的时间段。
在一种可能实现方式中,该从该至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,包括:
从该至少一个语音特征簇中选取满足该第一预设条件和第二预设条件的语音特征簇,作为该用户语音特征簇;该第二预设条件用于指示用户语音特征簇的属性所满足的条件。
在一种可能实现方式中,该第一预设条件用于指示终端用户的语音数据的描述信息所满足的条件,该获取多条历史语音数据对应的语音特征,包括:
对该多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段;
建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系;
获取每个历史语音数据片段对应的语音特征。
在一种可能实现方式中,该方法还包括:
如果基于该第一类历史语音数据生成第一声纹特征,且基于该第二类历史语音数据生成第二声纹特征,则建立该第一声纹特征与该终端的用户信息的关联关系和该第二声纹特征与该终端的用户信息的关联关系。
在一种可能实现方式中,在该基于该第一类历史语音数据生成第一声纹特征,且获取到该第二类历史语音数据对应的语音特征之后,该方法还包括:
将该第二类历史语音数据对应的语音特征中,与该第一声纹特征不匹配的语音特征丢弃。
在一种可能实现方式中,该根据该用户语音特征簇中的语音特征,生成该终端用户的声纹特征,包括下述任一步骤:
将该用户语音特征簇中的多个语音特征合并为一个语音特征,作为该声纹特征;
从该用户语音特征簇中选取一个语音特征,作为该声纹特征,该选取的语音特征与簇中心的距离小于该用户语音特征簇中的其他语音特征与该簇中心的距离;
根据该用户语音特征簇中的语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为该声纹特征。
在一种可能实现方式中,在该根据该用户语音特征簇中的语音特征,生成该终端用户的声纹特征之后,该方法还包括:
建立该声纹特征与该终端用户的用户信息之间的绑定关系。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图3是本发明实施例提供的一种声纹注册方法的流程图。参见图3,本实施例以执行主体为终端为例进行说明,该实施例包括:
301、当终端接收到声纹注册指令时,获取多条历史语音数据。
终端用户在使用终端时,可能会生成语音数据,终端可以将生成的语音数据保存在本地,作为历史语音数据。例如,该历史语音数据为终端用户使用即时通信应用向其他用户发送的语音消息,或者,终端用户通过电话联系其他用户时,生成的电话录音等。
在终端的任一应用中,当用户想要注册声纹特征时,可以通过点击操作、触摸操作或者滑动操作来触发声纹注册指令,本发明实施例对如何触发声纹注册指令不做限定,另外,本发明实施例对终端用户是在第三方应用中触发声纹注册指令,还是在系统应用中触发声纹注册指令不做限定。
当终端接收到声纹注册指令时,终端可以获取多条历史语音数据,该多条历史语音数据的来源可以不同。在一种可能实现方式中,历史语音数据的来源不同指示历史语音数据来源于不同的应用,终端可以获取多个应用的历史语音数据。当终端获取多个应用的历史语音数据时,获取到的历史语音数据中可能包括大量的终端用户的语音数据和少量的其他语音源的语音数据,如其他用户、外界环境中存在的噪音源等,对该历史语音数据进行分析,能够区分终端用户的语音数据和其他语音源的语音数据,还能够更加全面地获取到终端用户的声纹特征,使得注册结果更加准确。
在另一种可能实现方式中,历史语音数据的来源不同指示历史语音数据来源于不同的文件,终端可以获取一个应用的历史语音数据,该应用中可以包括多条历史语音数据,每条历史语音数据存储在不同的文件内。例如,在一个即时通信应用中获取终端用户发送的语音数据,这样,在保证了声纹特征的准确性的基础上,还能够减少获取的历史语音数据的数量,进而减少了终端的计算量,提高了注册速度。
需要说明的是,当历史语音数据的来源不同指示历史语音数据来源于不同的文件时,终端也可以获取多个应用的历史语音数据,本发明实施例对如何获取历史语音数据,以及获取哪些应用中的历史语音数据不做限定。在本发明实施例中,仅是以获取多条历史语音数据为例进行说明,获取多条历史语音数据可以更加全面地获取到终端用户的声纹特征,使得注册结果更加准确。在一些实施例中,还可以获取目标历史语音数据,该目标历史语音数据可以为终端用户发音较为清楚的语音数据,例如,终端用户在通过语音数据解锁终端时,终端获取终端用户的语音数据,将其作为历史语音数据,对该历史语音数据进行处理,得到终端用户的声纹特征,在保证声纹特征的准确性的基础上,能够快速地获取终端用户的声纹特征,减少了终端的计算量,加快了注册速度,提高了注册效率。
需要说明的是,本发明实施例所涉及的历史语音数据可以为经用户授权或者经过各方充分授权的数据。
302、终端将多条历史语音数据分为第一类历史语音数据和第二类历史语音数据,第二类历史语音数据的语音源与终端之间的距离大于第一类历史语音数据的语音源与终端之间的距离。
终端用户在输入语音数据时,距离终端远近不同,可能会带来声音差异,因此,可以将历史语音数据分为第一类(近处)历史语音数据和第二类(远处)历史语音数据,分别根据第一类历史语音数据和第二类历史语音数据,生成声纹特征。
终端用户在使用不同的应用时,可能因为该应用的特点,终端用户输入语音数据时与终端的距离不同。例如,当该历史语音数据的数据来源为电话录音时,由于终端用户在使用电话时,均是将电话放在耳边,此时,终端用户的嘴巴与终端的距离较近,该历史语音数据为第一类历史语音数据;当该历史语音数据的数据来源为智能交互应用时,终端用户通过智能交互应用向终端输入语音数据时,大部分情况下,终端用户会看着显示屏幕,此时,终端用户的嘴巴距离终端相对较远,该历史语音数据为第二类历史语音数据。
因此,步骤202的实现方式可以包括:终端根据多条历史语音数据的数据来源,分别确定该多条历史语音数据为第一类历史语音数据还是第二类历史语音数据,其中,数据来源用于指示获取该历史语音数据的方式。
另外,终端用户在向终端输入语音数据时,若终端用户距离终端较近,则终端接收到的语音数据的能量较大;若终端用户距离终端较远,则终端接收到的语音数据的能量较小。因此,终端可以根据多条历史语音数据中语音的能量大小,来确定该历史语音数据是第一类历史语音数据还是第二类历史语音数据。步骤302的实现方式还可以包括:当语音的能量小于目标能量阈值时,确定该历史语音数据为第二类历史语音数据;当语音的能量不小于目标能量阈值时,确定该历史语音数据为第一类历史语音数据。
需要说明的是,本发明实施例仅是以终端为例进行说明,在一些实施例中,可以由服务器将历史语音数据分为第一类历史语音数据和第二类历史语音数据。其中,服务器可以按照数据来源进行划分,该数据来源可以如终端实施例中所示指代不同的应用,该数据来源也可以指示终端类型,根据用户使用不同终端的习惯,将历史语音数据划分为第一类历史语音数据和第二类历史语音数据。例如,终端为手机时,由于终端用户使用手机时,会将手机握在手中,终端用户与手机的距离较近,因此手机收集的历史语音数据可以为第一类历史语音数据;当终端为车载终端时,车内空间较大,终端用户会在自己的位置上输入语音数据,与车载终端的距离较远,因此,车载终端收集的历史语音数据为第二类历史语音数据,本发明实施例对服务器如何划分第一类历史语音数据和第二类历史语音数据的具体形式不做限定。
303、终端获取第一类历史语音数据对应的多个第一语音特征和第二类历史语音数据对应的多个第二语音特征。
其中,第一类历史语音数据可以是一条语音数据,也可以是多条历史语音数据。当第一类历史语音数据为一条语音数据时,终端可以将该语音数据切分为多个语音片段,获取每个语音片段对应的语音特征;当第一类历史语音数据为多条语音数据时,终端可以获取每条语音数据对应的语音特征。
语音特征为语音数据的特征,每个用户发出的语音数据的语音特征不同,因此,可以基于语音特征来区分不同的用户。其中,语音特征可以为向量或者其他形式,本发明实施例对语音特征的具体形式不做限定。
终端获取第一语音特征与获取第二语音特征的方式类似,本发明实施例在对终端获取第一语音特征和第二语音特征的具体实现方式进行介绍时,以终端获取历史语音数据对应的语音特征为例进行说明,获取第一语音特征和第二语音特征的方式均与获取历史语音数据对应的语音特征的方式类似。
终端可以直接对获取的多条历史语音数据进行处理,得到多条历史语音数据对应的语音特征,其具体过程可以包括:将历史语音数据输入至语音特征提取模型,获取该语音特征提取模型输出的语音特征,该语音特征为该历史语音数据对应的语音特征,依次将多条历史语音数据输入至语音特征提取模型,获取到每条历史语音数据对应的语音特征。该语音特征提取模型可以为i-vector(identity-vector,身份向量)声学模型、x-vector(x向量)声学模型等任一能够提取语音特征向量的模型。
其中,语音特征提取模型可以通过样本训练得到,其训练过程可以为:准备大量的语音数据,根据这些语音数据的MFCC(Mel-Frequency Cepstrum Coefficients,梅尔频率倒谱系数)对这些语音数据进行标注,将标注后的语音数据输入至声学模型中进行训练,得到训练完成的语音特征提取模型。
另外,在一种可能实现方式中,终端还可以先对多条历史语音数据进行预处理,基于处理后的多条历史语音数据,获取多条历史语音数据对应的语音特征。即上述步骤303可以包括步骤3031和步骤3032。
3031、对多条历史语音数据进行预处理,得到处理后的多条历史语音数据。该预处理过程可以包括以下至少一个步骤:
(1)当历史语音数据为双声道语音数据时,将历史语音数据进行分离处理,得到左历史语音数据和右历史语音数据,其中,左历史语音数据和右历史语音数据均为单声道语音数据。
(2)对多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段。
其中,对多条历史语音数据进行切分的过程可以包括:移动包含固定帧数的窗口对单声道语音数据进行分帧,本发明实施例对切分的具体方式不做限定。
(3)对多条历史语音数据进行筛选,过滤掉无效历史语音数据,该无效历史语音数据可以为噪声数据、静音数据等。
(4)建立每个历史语音数据与该历史语音数据的描述信息的对应关系,该描述信息可以为历史语音数据的来源信息、生成时间信息等。在一种可能实现的方式中,建立每个历史语音数据与该历史语音数据的描述信息的对应关系的具体方式可以为:基于该历史语音数据的描述信息,为该历史语音数据进行编号。例如,当该历史语音数据来源于第一即时通信应用、且该历史语音数据的生成时间为2015年7月3号12点18分,该历史语音数据的编号可以为A201507031218。
其中,预处理过程可以包括上述任意一个或者多个步骤,本发明实施例对预处理的具体过程不做限定。在一种可能实现方式中,如图4所示,终端对多条历史语音数据进行预处理的过程包括上述4个步骤:当多条历史语音数据中包括双声道的历史语音数据时,将双声道的历史语音数据进行分离处理,得到两个单声道的历史语音数据,该两个单声道的历史语音数据为左历史语音数据和右历史语音数据。将多条单声道的历史语音数据进行切分,得到包含目标帧数的多个历史语音数据片段,对多个历史语音数据片段进行筛选,将无效历史语音数据片段丢弃。根据每个历史语音数据的描述信息,建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系。
3032、终端获取多条处理后的历史语音数据对应的语音特征。
以处理后的历史语音数据为通过上述4个步骤进行处理得到的历史语音数据片段为例进行说明,如图5所示,终端将多个历史语音数据片段输入至语音特征提取模型,获取该语音特征提取模型输出的历史语音数据片段对应的语音特征。
需要说明的是,终端在获取语音特征时,可以先获取第一类历史语音数据对应的第一语音特征,也可以先获取第二类历史语音数据对应的第二语音特征,本发明实施例对获取第一语音特征和第二语音特征的顺序不做限定。
304、终端对该多个第一语音特征进行划分,得到至少一个第一语音特征簇,每个第一语音特征簇包括属于同一语音源的语音特征。
终端会按照一定的分类条件,对获取到的多个第一语音特征进行划分,该分类条件可以是语音特征之间的相似性、语音特征对应的数据来源、语音特征对应的生成时间等,本发明实施例对分类条件不做限定。
在一种可能实现方式中,该分类条件为语音特征之间的相似性,终端对获取到的多个第一语音特征进行聚类,得到至少一个第一语音特征簇。
其中,终端对获取到的多个第一语音特征进行聚类的具体方式可以包括:如图6所示,随机选定K个中心,对每个中心点执行下述步骤:计算每个第一语音特征与该中心的距离,对于每个第一语音特征,通过该第一语音特征与中心点的距离,将这个第一语音特征分类到与其距离最短的中心点所在的第一语音特征簇中。对于每一个第一语音特征簇,获取该第一语音特征簇中所有第一语音特征的向量均值,将该向量均值作为该第一语音特征簇新的簇中心;基于新的簇中心,将与新的簇中心距离超过目标距离阈值的第一语音特征丢弃,得到新的第一语音特征簇,之后,重复执行基于新的第一语音特征簇,重新确定簇中心,将与新的簇中心距离超过目标距离阈值的第一语音特征丢弃的过程,直至簇中心不再变化或者重复次数达到目标次数。
其中,上述获取距离时可以采用的算法包括:概率线性鉴别分析(ProbabilisticLinear Discriminant Analysis,PLDA)得分算法、欧式距离算法、余弦距离算法等任一种能够计算相似度距离的算法。本发明实施例对计算相似度距离的方式不做限定。
需要说明的是,本发明实施例仅是以聚类为例对多个语音特征的划分进行说明,在一些实施例中,还可以通过其他划分标准对语音特征进行分类,本发明实施例对划分的具体标准不做限定。
需要说明的是,本发明实施例仅是以执行步骤302至步骤304为例,说明可以将多条历史语音数据划分为第一类语音数据和第二类语音数据,对第一类语音数据和第二类语音数据分别进行处理。而在另一实施例中,可以在步骤301执行之后,直接执行步骤303,不执行步骤302。也即,不对多条历史语音数据进行划分,将多条历史语音数据一同处理。
也即是,获取多条历史语音数据,该多条历史语音数据包括第一类历史语音数据和第二类历史语音数据;获取该多条历史语音数据对应的语音特征,获取到的语音特征中可以包括第一语音特征,还可以包括第二语音特征。此时,无论是第一语音特征还是第二语音特征,均可直接对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;从该至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,第一预设条件用于指示终端用户的语音数据所满足的条件;根据该用户语音特征簇中的语音特征,生成终端用户的声纹特征。
用户距离终端的远近不同,输入的语音数据属于同一个用户,但语音特征会存在差异,因此,在进行聚类时,采用不同的划分标准,可能会将第一语音特征和第二语音特征划分到同一个用户语音特征簇中,或者划分到不同的用户语音特征簇中。
在一种可能实现方式中,在获取到多条历史语音数据对应的语音特征后,采用较大的目标数量阈值,将多个语音特征进行聚类,可以得到至少一个语音特征簇,从而将用户的第一语音特征和第二语音特征聚类到一个用户语音特征簇中。因此,从该至少一个语音特征簇中选取满足第一预设条件的一个语音特征簇,作为用户语音特征簇,该用户语音特征簇中包括第一语音特征和第二语音特征,基于该用户语音特征簇中的至少两个语音特征,生成终端用户的声纹特征。
在另一种可能实现方式中,在获取到多条历史语音数据对应的语音特征后,采用较小的目标数量阈值,将多个语音特征进行聚类,可以得到至少两个语音特征簇,从而将用户的第一语音特征和第二语音特征聚类到不同的用户语音特征簇中,将远处语音数据的语音特征和近处语音数据的语音特征分离开来。因此,从该至少两个语音特征簇中选取满足第一预设条件的两个语音特征簇,作为第一用户语音特征簇和第二用户语音特征簇,该第一用户语音特征簇中包括至少一个第一语音特征,第二语音特征簇中包括至少一个第二语音特征,基于第一用户语音特征簇中的至少一个第一语音特征和第二用户语音特征簇中的至少一个第二语音特征,生成终端用户的声纹特征。
305、终端从至少一个第一语音特征簇中选取满足第一预设条件和第二预设条件的第一语音特征簇,作为第一用户语音特征簇。
其中,第一预设条件用于指示终端用户的语音数据所满足的条件。第二预设条件用于指示用户语音特征簇的属性所满足的条件。
其中,终端获取的多条历史语音数据中包括终端用户的语音数据,还可能包括其他用户的语音数据,例如,终端获取的多条历史语音数据为终端上的电话录音,该电话录音中不仅包括用户的语音数据,还包括与该用户进行通话的联系人的语音数据,并且,如果用户多次与该联系人进行通话,则多条历史语音数据中会包括较多的该联系人的语音数据,从而导致通过划分得到的至少一个语音特征簇中包括该联系人的语音特征簇。因此,需要对至少一个语音特征簇进行筛选,才能得到用户的语音数据对应的语音特征簇。
在对至少一个第一语音特征簇进行筛选时,可以先基于终端用户的语音特征簇的属性所满足的条件对至少一个语音特征簇进行筛选,再基于终端用户在终端上输入的语音数据所满足的条件对筛选后的至少一个第一语音特征簇进行二次筛选。即,终端先基于第二预设条件对至少一个第一语音特征簇进行筛选,再基于第一预设条件对至少一个第一语音特征簇进行筛选。这样,通过簇类的基本特征能够筛选掉一部分语音特征簇,再通过第一预设条件筛选时,可以减少计算量,提高注册速度。
其中,终端从至少一个第一语音特征簇中选取满足第二预设条件的至少一个第一语音特征簇的过程可以包括以下至少一个步骤:
(1)第一语音特征簇中的第一语音特征数目达到预设数目。
由于历史语音数据中可能除了包括用户的语音数据之外,还包括其他声音源的语音数据,但是由于其他声音源的语音数据数量较少,因此,其对应的语音特征的数量也较少。终端可以获取每个第一语音特征簇的语音特征数目,当任一第一语音特征簇的第一语音特征的数目小于预设数目时,将该第一语音特征簇丢弃。
(2)第一语音特征簇中的每个第一语音特征与第一语音特征簇的簇中心之间的距离之和小于预设距离。
若第一语音特征簇中的每个第一语音特征与第一语音特征簇的簇中心之间的距离之和大于或等于预设距离,则该第一语音特征簇中可能包括距离簇中心较远的第一语音特征,也即,该第一语音特征簇中的多个第一语音特征的相似度较低,聚类效果较差,因此,终端可以将该第一语音特征簇丢弃。
(3)第一语音特征簇的语音特征密度大于预设密度。
若第一语音特征簇的语音特征密度不大于预设密度,则说明该第一语音特征簇中的数量不够多,相似度也不够高,该第一语音特征簇的聚类效果较差。因此,终端可以将该第一语音特征簇丢弃。
需要说明的是,本发明实施例仅是以上述三个步骤对满足第二预设条件进行说明,在一些实施例中,满足第二预设条件还可以是语音特征簇中的每个语音特征的得分方差小于预设和值,本发明实施例对第二预设条件的具体内容不做限定。
其中,终端从筛选后的至少一个语音特征簇中选取满足第一预设条件的语音特征簇的过程可以包括以下至少一个步骤:
(1)从筛选后的至少一个第一语音特征簇中选取满足数据来源条件的第一语音特征簇,作为该第一用户语音特征簇,该数据来源条件为第一用户语音特征簇的数据来源数目大于其他第一语音特征簇的数据来源数目,该第一语音特征簇的数据来源为该第一语音特征簇中的第一语音特征对应的第一类语音数据的来源。
由于终端用户在使用终端的过程中,会在多个应用上生成语音数据,而终端可能也会获取到其他用户的语音数据,但是终端上的应用很难都获取到其他用户的语音数据。例如,终端用户在使用终端的过程中,在通过电话联系他人时,终端对通话内容进行录音,通过录音得到的语音数据中不仅包括终端用户的语音数据,还包括联系人的语音数据。另外,终端上还安装有即时通信应用,终端用户未通过该即时通信应用与该联系人联系,则该即时通信应用中不包括该联系人的语音数据。由此可知,终端用户会在终端的多个应用程序上产生语音数据,即终端用户的语音数据来源较广,而其他用户可能只在其中的某一个或者几个应用程序上生成语音数据,即其他用户的语音数据来源较少。因此,可以基于语音特征的数据来源对语音特征簇进行筛选。
终端在对历史语音数据进行预处理时,已经建立了历史语音数据与描述信息的对应关系或者历史语音数据片段与描述信息的对应关系,并且无论建立了哪种对应关系,都可以根据该对应关系确定该语音特征簇中语音特征对应的描述信息,该描述信息中包括数据来源。其中,确定第一语音特征对应的描述信息的过程可以包括:根据第一语音特征可以确定第一语音特征对应的第一类历史语音数据,获取该第一类历史语音数据对应的描述信息,该描述信息为该第一语音特征对应的描述信息。确定第一语音特征对应的描述信息的过程还可以包括:根据第一语音特征,确定该第一语音特征对应的第一类历史语音数据片段,获取该第一类历史语音数据片段对应的描述信息,该描述信息为第一语音特征对应的描述信息。
对于任一个第一语音特征簇,可以获取该第一语音特征簇中每个第一语音特征的描述信息,基于每个第一语音特征的描述信息,可以确定该第一语音特征簇中第一语音特征的数据来源数目。在一种可能实现方式中,基于第一类历史语音数据或者第一类历史语音数据片段的编号,确定第一语音特征簇中第一语音特征的数据来源数目。例如,对于编号中用于代表数据来源的数据段,统计多个数据段中出现的不同字符数目,该不同字符数目即为数据来源数目。
在获取每个第一语音特征簇的数据来源数目之后,将数据来源数目最大的第一语音特征簇作为第一用户语音特征簇,在一种可能实现方式中,根据每个第一语音特征簇的数据来源数目,按照从大到小的顺序,对至少一个第一语音特征簇进行排序,选取位于第一位的第一语音特征簇,作为第一用户语音特征簇。
(2)从筛选后的至少一个第一语音特征簇中选取满足时间分布条件的语音特征簇,作为该第一用户语音特征簇,该时间分布条件为第一用户语音特征簇的时间段数目大于其他第一语音特征簇的时间段数目,该第一语音特征簇的时间段为该第一语音特征簇中的第一语音特征对应的第一类语音数据的生成时间所属的时间段。
由于终端用户在使用终端的过程中,会在多个时刻生成语音数据,终端在获取历史语音数据中,可能会包括多个时刻生成的终端用户的语音数据,还包括某个时刻生成的其他用户的语音数据。例如,终端用户上午通过电话联系第一联系人,终端通过获取通话录音,获取到了终端用户的语音数据和第一联系人的语音数据。终端用户下午通过电话联系第二联系人,终端通过获取通话录音,获取到了终端用户的语音数据和第二联系人的语音数据。由此可知,终端获取的多条历史语音数据中终端用户的语音数据的生成时间段较多,其他用户的语音数据的生成时间段较少。
其中,确定语音特征簇的时间段数目的方式与上述确定语音特征簇的数据来源数目的方式类似,从至少一个第一语音特征簇中,筛选出时间段数目最多的第一语音特征簇的方式与筛选出数据来源数目最多的第一语音特征簇的方式类似,在此不再一一赘述。
另外,第一预设条件还可以包括多个条件,该多个条件中可以包括数据来源条件和时间分布条件,也可以包括其他条件。其中,获取第一用户语音特征簇采用加权平均的方法,该方法可以包括以下步骤:终端为每个条件分配了权重值,针对至少一个第一语音特征簇中的任一语音特征簇,获取每个条件下,第一语音特征簇对应的分值;根据每个条件的权重值,进行加权处理,得到该第一语音特征簇处理后的分值,按照处理后的分值从大到小的顺序,对至少一个第一语音特征簇进行排序,选取位于第一位的第一语音特征簇,作为第一用户语音特征簇。
以多个条件为数据来源条件和时间分布条件为例,对获取第一用户语音特征簇的过程进行说明,终端为数据来源条件分配有第一权重值,为时间分布条件分配有第二权重值;终端基于第一语音特征对应的第一类语音数据的来源,获取至少一个第一语音特征簇的第一分值,其中,第一语音特征簇的第一分值与该第一语音特征簇的数据来源数目呈正相关关系;终端基于第一语音特征对应的第一语音数据生成的时间所属的时间段,获取至少一个第一语音特征簇的第二分值,其中,第一语音特征簇的第二分值与第一语音特征簇的时间段数目呈正相关关系。获取第一分值与第一权重值的乘积、和第二分值与第二权重值的乘积之和,得到第一语音特征簇的分值,按照分值从大到小的顺序,对至少一个第一语音特征簇进行排序,选取位于第一位的第一语音特征簇,作为第一用户语音特征簇。
本实施例仅是以先根据第二预设条件对第一语音特征簇进行筛选,再根据第一预设条件对筛选后的第一语音特征簇进行筛选,在一些实施例中,还可以先根据第一预设条件进行筛选,再根据第二预设条件进行进一步地筛选,本发明实施例中对筛选条件的执行顺序不做限定。
另外,本发明实施例仅是以筛选条件包括第一预设条件和第二预设条件为了进行说明,在一些实施例中,该筛选条件还可以只包括第一预设条件或者第二预设条件,其中,基于第一预设条件或第二预设条件对至少一个语音特征簇筛选的过程与上述过程类似,在此不再一一赘述,本发明实施例对筛选条件不做限定。
306、终端根据第一用户语音特征簇中的第一语音特征,生成终端用户的第一声纹特征。
其中,声纹特征是能够确定唯一用户的特征,该声纹特征可以为向量形式、矩阵形式或者模型形式,本发明实施例对声纹特征的具体形式不做限定。
若该声纹特征为向量,步骤306的具体实现方式可以包括:终端将第一用户语音特征簇中的多个第一语音特征合并为一个第一语音特征,作为声纹特征,该多个第一语音特征可以为第一用户语音特征簇中的全部第一语音特征,也可以是第一用户语音特征簇中的部分第一语音特征。其中,若选取部分第一语音特征进行合并,则可以选择与簇中心的距离最近的目标数目的语音特征。
在将多个第一语音特征合并为一个语音特征的过程可以为:如图8所示,终端获取该多个第一语音特征的平均向量,将该平均向量作为第一声纹特征。另外,终端根据第一声纹特征对后续用户输入的语音数据进行识别分析时,第一声纹特征的向量长度与用户输入语音数据的特征向量长度不同时,可能会影响到识别分析的结果,因此,终端还可以将平均向量做向量长度归一化处理,在提取用户输入语音数据的特征向量后,也将该特征向量做向量长度归一化处理,这样可以避免向量长度不同对识别分析结果的影响。因此,终端可以将经过向量长度归一化处理的平均向量,作为第一声纹特征。
另外,终端还可以根据该多个第一语音特征,生成一个向量矩阵,该向量矩阵为第一声纹特征。
步骤306的具体实现方式还可以包括:终端从第一用户语音特征簇中选取一个第一语音特征,作为第一声纹特征,该选取的第一语音特征与簇中心的距离小于第一用户语音特征簇中的其他第一语音特征与簇中心的距离。
步骤306的具体实现方式还可以包括:终端根据第一用户语音特征簇中的第一语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为第一声纹特征。
307、基于第一声纹特征,终端从第二类历史语音数据对应的多个第二语音特征中筛选出终端用户的语音特征。
其中,第一类历史语音数据是终端用户距离终端较近时输入的语音数据,因此,第一类历史语音数据中包括的杂音较少,而第二类历史语音数据是终端用户距离终端较远时输入的语音数据,由于外界环境中存在多个语音源,终端在接收终端用户的语音数据时,还会接收到外界环境中其他语音源的语音数据,因此,第二类历史语音数据中包括的杂音较多。
其中,步骤307的实现方式可以包括以下步骤:终端将第二类历史语音数据对应的第二语音特征与第一声纹特征进行对比,当第二语音特征与第一声纹特征匹配时,该第二语音特征为终端用户的语音特征;当第二语音特征与第一声纹特征不匹配时,该第二语音特征为其他语音源的语音特征,将该第二语音特征丢弃。
在一种可能实现方式中,终端基于第一声纹特征,为多个第二语音特征进行打分,当第二语音特征的分值小于目标分值阈值时,将该第二语音特征丢弃。其中,第二语音特征与第一声纹特征的相似度越高,第二语音特征的分值越高。
其中,终端基于第一声纹特征,为第二类历史语音数据对应的第二语音特征进行打分的具体实现方式可以包括:终端将第一声纹特征和第二语音特征输入至PLDA得分模型中,通过该PLDA得分模型获取第二类历史语音数据对应的语音特征的分值。
如图7所示,通过训练样本来训练PLDA得分模型,将第一声纹特征和第二语音特征输入训练好的PLDA得分模型中,通过该PLDA得分模型获取该语音特征对应的分值,当分值高于目标阈值时,保留该第二语音特征;当分值低于或等于目标阈值时,丢弃该第二语音特征。
需要说明的是,上述步骤307为可选步骤,若执行步骤307,如图9所示,则终端基于第一声纹特征从多个第二语音特征中筛选出终端用户的语音特征,使得在后续基于第二语音特征获取第二声纹特征时,得到的第二声纹特征更加准确。若不执行步骤307,在获取到第二语音特征之后,直接将多个第二语音特征划分为至少一个第二语音特征簇。
308、终端对筛选出的终端用户的语音特征进行划分,得到至少一个第二语音特征簇,每个第二语音特征簇包括属于同一语音源的第二语音特征。
309、终端从至少一个第二语音特征簇中选取满足第一预设条件和第二预设条件的第二语音特征簇,作为第二用户语音特征簇。
310、终端根据第二用户语音特征簇中的第二语音特征,生成终端用户的第二声纹特征。
其中,步骤308至步骤310与步骤304至步骤306类似,在此不再一一赘述。
311、终端建立第一声纹特征与终端用户的用户信息之间的关联关系和第二声纹特征与终端用户的用户信息之间的关联关系。
其中,用户信息可以为用户的ID(identity,身份标识),例如,用户的终端账号、用户的身份证号等能够确定唯一用户的标识。终端建立第一声纹特征与终端用户的用户信息之间的关联关系的方式,和建立第二声纹特征与终端用户的用户信息之间的关联关系的方式类似。终端可以将声纹特征与终端用户的用户信息对应存储,其具体过程可以包括:终端将第一声纹特征与终端用户的用户信息对应存储,将第二声纹特征与终端用户的用户信息对应存储。
其中,步骤311可以为可选步骤,在另一实施例中,由于该注册过程是在终端上进行的,终端可以将注册生成的声纹特征保存在本地,在需要对用户输入的语音数据进行识别时,直接获取第一声纹特征和第二声纹特征,基于用户输入的语音数据,确定用户是否为终端用户。
需要说明的是,终端在获取第一声纹特征之后,即可建立第一声纹特征与终端用户的用户信息之间的关联关系,也可以在获取第二声纹特征之后,建立关联关系,本发明实施例对建立关联关系的时机不做限定。
需要说明的是,本发明实施例仅是以执行主体为终端为例进行说明,在一些实施例中,执行主体还可以为服务器,本发明实施例对执行主体的具体形式不做限定。当执行主体为服务器时,则需要建立声纹特征与终端用户的用户信息之间的关联关系。在一种可能实现方式中,服务器根据用户信息将声纹特征存储至声纹注册数据库中。
本发明实施例提供的声纹特征注册方法,通过获取多条历史语音数据对应的语音特征,并基于语音特征是否属于同一语音源对获取到的多个语音特征进行划分,得到至少一个语音特征簇;基于终端用户的语音数据所满足的条件,在至少一个语音特征簇中筛选出用户语音特征簇,并根据用户语音特征簇来生成终端用户的声纹特征,实现了自动获取用户的声纹特征,在进行声纹注册时,无需用户输入语音数据,简化了用户操作,加快了注册时间,提高了注册效率。并且,通过第一预设条件从至少一个语音特征簇中筛选出用户语音特征簇,保证了基于用户语音特征簇生成的声纹特征是终端用户的,避免了其他用户的声纹特征的干扰,确保了声纹注册的准确性。并且,考虑到了终端用户距离终端远近不一带来的声音差异,将多条历史语音数据划分为第一类(近处)历史语音数据和第二类(远处)历史语音数据,生成的声纹特征既能代表远处语音数据的特征,也能代表近处语音数据的特征,对用户输入的语音数据进行分析时,能够准确地识别用户是否为终端用户,避免了由于远近声音的差异导致识别失败的问题。
另外,在获取语音特征之前,会先对历史语音数据进行预处理,来去除无效数据,以便减少后续的计算量,并且,在通过第一预设条件对语音特征簇进行筛选之前,还可以先通过第二预设条件对语音特征簇进行简要筛选,以便减少通过第一预设条件进行筛选时的计算量,提高注册速度和注册效率。
图10是本发明实施例提供的一种声纹特征注册装置的结构图,参见图10,该装置包括:
第一划分模块1001,用于获取多条历史语音数据,该多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,该第二类历史语音数据的语音源与终端之间的距离大于该第一类历史语音数据的语音源与该终端之间的距离;
获取模块1002,用于获取该多条历史语音数据对应的语音特征;
第二划分模块1003,用于对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;
选取模块1004,用于从该至少一个语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,该第一预设条件用于指示终端用户的语音数据所满足的条件;
生成模块1005,用于根据该用户语音特征簇中的语音特征,生成该终端用户的声纹特征。
本发明实施例提供的声纹特征注册装置,通过获取多条历史语音数据对应的语音特征,并基于语音特征是否属于同一语音源对获取到的多个语音特征进行划分,得到至少一个语音特征簇;基于终端用户的语音数据所满足的条件,在至少一个语音特征簇中筛选出用户语音特征簇,并根据用户语音特征簇来生成终端用户的声纹特征,实现了自动获取用户的声纹特征,在进行声纹注册时,无需用户输入语音数据,简化了用户操作,加快了注册时间,提高了注册效率。并且,通过第一预设条件从至少一个语音特征簇中筛选出用户语音特征簇,保证了基于用户语音特征簇生成的声纹特征是终端用户的,避免了其他用户的声纹特征的干扰,确保了声纹注册的准确性。并且,考虑到了终端用户距离终端远近不一带来的声音差异,多条历史语音数据包括第一类(近处)历史语音数据和第二类(远处)历史语音数据,生成的声纹特征既能代表远处语音数据的特征,也能代表近处语音数据的特征,对用户输入的语音数据进行分析时,能够准确地识别用户是否为终端用户,避免了由于远近声音的差异导致识别失败的问题。
在一种可能实现方式中,该选取模块1004包括下述至少一个单元:
第一选取单元10041,用于从该至少一个语音特征簇中选取满足数据来源条件的语音特征簇,作为该用户语音特征簇,该数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,该语音特征簇的数据来源为该语音特征簇中的语音特征对应的语音数据的来源;
第二选取单元10042,用于从该至少一个语音特征簇中选取满足时间分布条件的语音特征簇,作为该用户语音特征簇,该时间分布条件为用户语音特征簇的时间段数目大于其他语音特征簇的时间段数目,该语音特征簇的时间段为该语音特征簇中的语音特征对应的语音数据的生成时间所属的时间段。
在一种可能实现方式中,该选取模块1004,还用于从该至少一个语音特征簇中选取满足该第一预设条件和第二预设条件的语音特征簇,作为该用户语音特征簇;该第二预设条件用于指示用户语音特征簇的属性所满足的条件。
在一种可能实现方式中,该第一预设条件用于指示终端用户的语音数据的描述信息所满足的条件,该获取模块1002包括:
切分单元10021,用于对该多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段;
关系建立单元10022,用于建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系;
获取单元10023,用于获取每个历史语音数据片段对应的语音特征。
在一种可能实现方式中,该装置还包括:
关联关系建立模块1006,用于如果基于该第一类历史语音数据生成第一声纹特征,且基于该第二类历史语音数据生成第二声纹特征,则建立该第一声纹特征与该终端的用户信息的关联关系和该第二声纹特征与该终端的用户信息的关联关系。
在一种可能实现方式中,该装置还包括:
匹配模块1007,用于将该第二类历史语音数据对应的语音特征中,与该第一声纹特征不匹配的语音特征丢弃。
在一种可能实现方式中,该生成模块包括下述任一单元;
合并单元10051,用于将该用户语音特征簇中的多个语音特征合并为一个语音特征,作为该声纹特征;
选取单元10052,用于从该用户语音特征簇中选取一个语音特征,作为该声纹特征,该选取的语音特征与簇中心的距离小于该用户语音特征簇中的其他语音特征与该簇中心的距离;
训练单元10053,用于根据该用户语音特征簇中的语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为该声纹特征。
需要说明的是:上述实施例提供的声纹特征注册装置在生成声纹特征时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的声纹特征注册的装置与声纹特征注册的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。该终端1200可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1200包括有:处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的声纹特征注册方法。
在一些实施例中,终端1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置终端1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1200的不同表面或呈折叠设计;在再一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于:加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号,控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度,陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时,可以检测用户对终端1200的握持信号,由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时,由处理器1201根据用户对触摸显示屏1205的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹,由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份,或者,由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1201授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时,指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器1215采集的环境光强度,控制触摸显示屏1205的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1205的显示亮度;当环境光强度较低时,调低触摸显示屏1205的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器1215采集的环境光强度,动态调整摄像头组件1206的拍摄参数。
接近传感器1216,也称距离传感器,通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中,当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时,由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态;当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时,由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图12中示出的结构并不构成对终端1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图13是本发明实施例提供的一种计算机设备的结构示意图,该计算机设备1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)1301和一个或一个以上的存储器1302,其中,该存储器1302中存储有至少一条指令,该至少一条指令由该处理器1301加载并执行以实现上述各个方法实施例提供的方法。当然,该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中资源领取方法。例如,该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种声纹特征注册方法,其特征在于,所述方法包括:
获取多条历史语音数据,所述多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,所述第二类历史语音数据的语音源与终端之间的距离大于所述第一类历史语音数据的语音源与所述终端之间的距离;
获取所述多条历史语音数据对应的语音特征;对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;
从所述至少一个语音特征簇中选取满足第二预设条件的语音特征簇,再从满足所述第二预设条件的语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,所述第二预设条件用于指示用户语音特征簇的簇属性所满足的条件,所述第一预设条件用于指示终端用户的语音数据所满足的条件;根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征;
所述从满足所述第二预设条件的语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,包括:从所述满足所述第二预设条件的语音特征簇中选取满足数据来源条件的语音特征簇,作为所述用户语音特征簇,所述数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,所述语音特征簇的数据来源指示所述语音特征簇中的语音特征对应的语音数据所属的应用;
所述根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征,包括:对所述用户语音特征簇中的语音特征进行处理,生成所述声纹特征,对所述声纹特征进行向量长度归一化处理,得到处理后的声纹特征。
2.根据权利要求1所述的方法,其特征在于,所述从所述满足所述第二预设条件的语音特征簇中选取满足数据来源条件的语音特征簇,作为所述用户语音特征簇,包括:
从所述满足所述第二预设条件的语音特征簇中选取满足所述数据来源条件和时间分布条件的语音特征簇,作为所述用户语音特征簇,所述时间分布条件为用户语音特征簇的时间段数目大于其他语音特征簇的时间段数目,所述语音特征簇的时间段为所述语音特征簇中的语音特征对应的语音数据的生成时间所属的时间段。
3.根据权利要求1所述的方法,其特征在于,所述第一预设条件用于指示终端用户的语音数据的描述信息所满足的条件,所述获取多条历史语音数据对应的语音特征,包括:
对所述多条历史语音数据进行切分,得到多个包含目标帧数的历史语音数据片段;
建立每个历史语音数据片段与所属的历史语音数据的描述信息的对应关系;
获取每个历史语音数据片段对应的语音特征。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果基于所述第一类历史语音数据生成第一声纹特征,且基于所述第二类历史语音数据生成第二声纹特征,则建立所述第一声纹特征与所述终端的用户信息的关联关系和所述第二声纹特征与所述终端的用户信息的关联关系。
5.根据权利要求4所述的方法,其特征在于,在所述基于所述第一类历史语音数据生成第一声纹特征,且获取到所述第二类历史语音数据对应的语音特征之后,所述方法还包括:
将所述第二类历史语音数据对应的语音特征中,与所述第一声纹特征不匹配的语音特征丢弃。
6.根据权利要求1所述的方法,其特征在于,所述根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征,包括下述任一步骤:
将所述用户语音特征簇中的多个语音特征合并为一个语音特征,作为所述声纹特征;
从所述用户语音特征簇中选取一个语音特征,作为所述声纹特征,所述选取的语音特征与簇中心的距离小于所述用户语音特征簇中的其他语音特征与所述簇中心的距离;
根据所述用户语音特征簇中的语音特征,训练用户声纹模型,将训练完成的用户声纹模型作为所述声纹特征。
7.一种声纹特征注册装置,其特征在于,所述装置包括:
第一划分模块,用于获取多条历史语音数据,所述多条历史语音数据包括第一类历史语音数据和第二类历史语音数据,所述第二类历史语音数据的语音源与终端之间的距离大于所述第一类历史语音数据的语音源与所述终端之间的距离;
获取模块,用于获取所述多条历史语音数据对应的语音特征;
第二划分模块,用于对获取到的多个语音特征进行划分,得到至少一个语音特征簇,每个语音特征簇包括属于同一语音源的语音特征;
选取模块,用于从所述至少一个语音特征簇中选取满足第二预设条件的语音特征簇,再从满足所述第二预设条件的语音特征簇中选取满足第一预设条件的语音特征簇,作为用户语音特征簇,所述第二预设条件用于指示用户语音特征簇的簇属性所满足的条件,所述第一预设条件用于指示终端用户的语音数据所满足的条件;
生成模块,用于根据所述用户语音特征簇中的语音特征,生成所述终端用户的声纹特征;
所述选取模块包括:第一选取单元,用于从所述满足所述第二预设条件的语音特征簇中选取满足数据来源条件的语音特征簇,作为所述用户语音特征簇,所述数据来源条件为用户语音特征簇的数据来源数目大于其他语音特征簇的数据来源数目,所述语音特征簇的数据来源指示所述语音特征簇中的语音特征对应的语音数据所属的应用;
所述生成模块,用于对所述用户语音特征簇中的语音特征进行处理,生成所述声纹特征,对所述声纹特征进行向量长度归一化处理,得到处理后的声纹特征。
8.一种终端,其特征在于,所述终端包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的声纹特征注册方法所执行的操作。
9.一种服务器,其特征在于,所述服务器包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的声纹特征注册方法所执行的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的声纹特征注册方法所执行的操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887744.2A CN110600040B (zh) | 2019-09-19 | 2019-09-19 | 声纹特征注册方法、装置、计算机设备及存储介质 |
PCT/CN2020/115256 WO2021052306A1 (zh) | 2019-09-19 | 2020-09-15 | 声纹特征注册 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887744.2A CN110600040B (zh) | 2019-09-19 | 2019-09-19 | 声纹特征注册方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110600040A CN110600040A (zh) | 2019-12-20 |
CN110600040B true CN110600040B (zh) | 2021-05-25 |
Family
ID=68861304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910887744.2A Active CN110600040B (zh) | 2019-09-19 | 2019-09-19 | 声纹特征注册方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110600040B (zh) |
WO (1) | WO2021052306A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110600040B (zh) * | 2019-09-19 | 2021-05-25 | 北京三快在线科技有限公司 | 声纹特征注册方法、装置、计算机设备及存储介质 |
CN112992152B (zh) * | 2021-04-22 | 2021-09-14 | 北京远鉴信息技术有限公司 | 一种单兵声纹识别系统、方法、存储介质及电子设备 |
CN115472167A (zh) * | 2022-08-17 | 2022-12-13 | 南京龙垣信息科技有限公司 | 基于大数据自监督的声纹识别模型训练方法、系统 |
CN115954007B (zh) * | 2023-03-14 | 2023-05-23 | 北京远鉴信息技术有限公司 | 一种声纹检测方法、装置、电子设备及存储介质 |
CN116612766B (zh) * | 2023-07-14 | 2023-11-17 | 北京中电慧声科技有限公司 | 具备声纹注册功能的会议系统及声纹注册方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978311A (zh) * | 2017-11-24 | 2018-05-01 | 腾讯科技(深圳)有限公司 | 一种语音数据处理方法、装置以及语音交互设备 |
CN108806696A (zh) * | 2018-05-08 | 2018-11-13 | 平安科技(深圳)有限公司 | 建立声纹模型的方法、装置、计算机设备和存储介质 |
CN109637547A (zh) * | 2019-01-29 | 2019-04-16 | 北京猎户星空科技有限公司 | 音频数据标注方法、装置、电子设备及存储介质 |
CN109841218A (zh) * | 2019-01-31 | 2019-06-04 | 北京声智科技有限公司 | 一种针对远场环境的声纹注册方法及装置 |
CN110086629A (zh) * | 2019-04-23 | 2019-08-02 | 厦门快商通信息咨询有限公司 | 一种多距离声纹认证方法、终端、服务器及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105450497A (zh) * | 2014-07-31 | 2016-03-30 | 国际商业机器公司 | 生成聚类模型以及基于该聚类模型进行聚类的方法和装置 |
US9875742B2 (en) * | 2015-01-26 | 2018-01-23 | Verint Systems Ltd. | Word-level blind diarization of recorded calls with arbitrary number of speakers |
CN105656756A (zh) * | 2015-12-28 | 2016-06-08 | 百度在线网络技术(北京)有限公司 | 好友推荐方法和装置 |
CN106057212B (zh) * | 2016-05-19 | 2019-04-30 | 华东交通大学 | 基于语音个性特征和模型自适应的驾驶疲劳检测方法 |
US10096321B2 (en) * | 2016-08-22 | 2018-10-09 | Intel Corporation | Reverberation compensation for far-field speaker recognition |
CN106782564B (zh) * | 2016-11-18 | 2018-09-11 | 百度在线网络技术(北京)有限公司 | 用于处理语音数据的方法和装置 |
CN109145145A (zh) * | 2017-06-16 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种数据更新方法、客户端及电子设备 |
CN108460081B (zh) * | 2018-01-12 | 2019-07-12 | 平安科技(深圳)有限公司 | 语音数据库创建方法、声纹注册方法、装置、设备及介质 |
CN110600040B (zh) * | 2019-09-19 | 2021-05-25 | 北京三快在线科技有限公司 | 声纹特征注册方法、装置、计算机设备及存储介质 |
-
2019
- 2019-09-19 CN CN201910887744.2A patent/CN110600040B/zh active Active
-
2020
- 2020-09-15 WO PCT/CN2020/115256 patent/WO2021052306A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978311A (zh) * | 2017-11-24 | 2018-05-01 | 腾讯科技(深圳)有限公司 | 一种语音数据处理方法、装置以及语音交互设备 |
CN108806696A (zh) * | 2018-05-08 | 2018-11-13 | 平安科技(深圳)有限公司 | 建立声纹模型的方法、装置、计算机设备和存储介质 |
CN109637547A (zh) * | 2019-01-29 | 2019-04-16 | 北京猎户星空科技有限公司 | 音频数据标注方法、装置、电子设备及存储介质 |
CN109841218A (zh) * | 2019-01-31 | 2019-06-04 | 北京声智科技有限公司 | 一种针对远场环境的声纹注册方法及装置 |
CN110086629A (zh) * | 2019-04-23 | 2019-08-02 | 厦门快商通信息咨询有限公司 | 一种多距离声纹认证方法、终端、服务器及存储介质 |
Non-Patent Citations (1)
Title |
---|
语音声纹密码验证技术研究;张涛涛;《中国优秀硕士学位论文全文数据库信息科技辑》;20160915(第09期);正文19-30页、图3.1-3.3 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021052306A1 (zh) | 2021-03-25 |
CN110600040A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110600040B (zh) | 声纹特征注册方法、装置、计算机设备及存储介质 | |
CN110660398B (zh) | 声纹特征更新方法、装置、计算机设备及存储介质 | |
CN111933112B (zh) | 唤醒语音确定方法、装置、设备及介质 | |
CN111696570B (zh) | 语音信号处理方法、装置、设备及存储介质 | |
CN110322760B (zh) | 语音数据生成方法、装置、终端及存储介质 | |
CN110956971B (zh) | 音频处理方法、装置、终端及存储介质 | |
CN111105788B (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
CN110798327B (zh) | 消息处理方法、设备及存储介质 | |
CN111445901A (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
CN111370025A (zh) | 音频识别方法、装置及计算机存储介质 | |
CN111462742A (zh) | 基于语音的文本显示方法、装置、电子设备及存储介质 | |
CN111613213B (zh) | 音频分类的方法、装置、设备以及存储介质 | |
CN112667844A (zh) | 检索音频的方法、装置、设备和存储介质 | |
CN113220590A (zh) | 语音交互应用的自动化测试方法、装置、设备及介质 | |
CN111341307A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN112116908B (zh) | 唤醒音频确定方法、装置、设备及存储介质 | |
CN114547429A (zh) | 数据推荐方法、装置、服务器及存储介质 | |
CN109829067B (zh) | 音频数据处理方法、装置、电子设备及存储介质 | |
CN111652624A (zh) | 购票处理方法、检票处理方法、装置、设备及存储介质 | |
CN113362836B (zh) | 训练声码器方法、终端及存储介质 | |
CN113744736B (zh) | 命令词识别方法、装置、电子设备及存储介质 | |
CN111028846B (zh) | 免唤醒词注册的方法和装置 | |
CN114385854A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
CN113160802B (zh) | 语音处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |