CN108630207A - 说话人确认方法和说话人确认设备 - Google Patents
说话人确认方法和说话人确认设备 Download PDFInfo
- Publication number
- CN108630207A CN108630207A CN201710179026.0A CN201710179026A CN108630207A CN 108630207 A CN108630207 A CN 108630207A CN 201710179026 A CN201710179026 A CN 201710179026A CN 108630207 A CN108630207 A CN 108630207A
- Authority
- CN
- China
- Prior art keywords
- template
- frequency domain
- text
- speaker
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012795 verification Methods 0.000 title abstract description 13
- 230000001419 dependent effect Effects 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000003780 insertion Methods 0.000 claims description 7
- 230000037431 insertion Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004166 bioassay Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种说话人确认方法和说话人确认设备。该说话人确认方法用于验证是否由特定说话人进行特定发言，该方法包括：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
Description
技术领域
本发明一般地涉及信息处理技术领域。具体而言，本发明涉及一种能够准确地验证是否由特定说话人进行特定发言的方法和设备。
背景技术
说话人确认技术的目的是验证说话人的身份，判断是否是之前注册的那位特定说话人。说话人确认主要依赖于说话人的语音特征，如语音生物测定。作为一个相关技术，说话人识别技术需要长时间的(如10秒到30秒)的音频来识别说话人是否是多个特定说话人之一。如果音频长度过短，例如少于10秒，则说话人识别的准确性将会显著降低，例如从不到5％的错误率升至约15％的错误率。因此，说话人识别技术需要输入音频的长度超过10秒。但是，对于说话人确认技术而言，为了验证说话人的身份而与说话人识别技术类似地要求说话人说话超过10秒显然是不合适的。
解决办法之一是引入特定的发言，形成文本依赖的说话人确认技术。这样，即使音频长度较短，说话人验证的准确性依然较高。另外，特定发言在某种程度上可以起到类似于密码的作用。
因此，文本依赖的说话人确认技术需要确定是否由特定说话人进行特定的发言。传统的技术，如动态时间规整(dynamic time warping，DTW)、连续隐马尔可夫模型(continuous density hidden Markov model，CDHMM)都存在不足，比如难以处理文本内容的时间序列信息等。这是因为传统的技术都将验证是否是特定说话人和验证是否是特定发言两者作为一个任务完成，将所有的信息混合在一起进行使用。具体地，传统的技术从输入帧中提取一个既包括说话人特征又包括文本信息的特征，用这一个特征验证说话人和发言两者，不能将两者分开。
因此，本发明旨在提出一种准确地进行文本依赖的说话人确认的方法和设备。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为了实现上述目的，根据本发明的一个方面，提供了一种验证是否由特定说话人进行特定发言的方法，该方法包括：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
根据本发明的另一个方面，提供了一种验证是否由特定说话人进行特定发言的设备，该设备包括：特定说话人判断装置，被配置为：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；模板串提取装置，被配置为：基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及特定发言判断装置，被配置为：将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明的实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中：
图1示出了根据本发明的实施例的验证是否由特定说话人进行特定发言的方法的流程图；
图2示出了从输入语音帧序列中提取模板串的第一种实现方式；
图3示出了从输入语音帧序列中提取模板串的第二种实现方式；
图4示出了从输入语音帧序列中提取模板串的第三种实现方式；
图5示出了步骤S3的一种实施方式；
图6示出了根据本发明的实施例的验证是否由特定说话人进行特定发言的设备的结构方框图。
图7示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
本发明的基本思想是将验证是否是特定说话人和验证是否进行特定发言分开处理。
下面将参照图1描述根据本发明的实施例的验证是否由特定说话人进行特定发言的方法的流程。
图1示出了根据本发明的实施例的验证是否由特定说话人进行特定发言的方法的流程图。如图1所示，该方法包括如下步骤：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话(步骤S1)；基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串(步骤S2)；以及将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言(步骤S3)。
在步骤S1中，从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话。
步骤S1中用到的说话人特征例如是声纹特征，与任何文本内容无关。去掉文本内容的原因是文本内容对提取说话人特征的任务而言是干扰。由于提取的说话人特征与文本内容无关，所以并不需要构成输入语音的语音帧的序列信息。
应理解，采用类似的手段，可以预先从特定说话人的语音中提取与任何文本内容无关的特定说话人特征并存储。
由于事先已提取并存储一个特定说话人的与任何文本内容无关的说话人特征，所以可以通过将本次提取的说话人特征与所存储的特定说话人特征进行比较，得到例如相似度，作为说话人评价得分；根据说话人评价得分与预定得分阈值的大小关系来确定是否是特定说话人在说话。
步骤S1可以使用传统的说话人识别系统实现，如i-vector系统或d-vector系统。应注意，上述系统在本发明中仅用于进行说话人识别。传统的说话人识别系统可以单独识别说话人，而不识别发言。
在步骤S2中，基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串。
在步骤S2中，提取的模板串体现了发言的内容。因此，需要输入语音中的帧序列的信息，如顺序信息、长度信息等。分别对每个帧计算频域数据。频域数据按帧存储，频域数据的顺序得以保留。
基于频域特征可以对输入语音帧序列按照文本内容进行划分。模板串包括多个模板，每个模板对应一种文本内容，相邻模板对应的文本内容不同。
图2示出了从输入语音帧序列中提取模板串的第一种实现方式。如图2所示，在步骤S21中，从输入语音帧序列中提取基频特征。
由于认为基频特征的极值是不同文本内容的边界，所以在步骤S22中，将基频特征的极值两侧的频域数据划分为对应不同文本内容。
进而，在步骤S23中，分别从对应于不同文本内容的频域数据中，提取模板。每个模板对应于一种文本内容，相邻的模板对应于不同的文本内容。多个模板构成模板串，体现发言的内容。
模板包括模板对应频域数据的均值、模板对应频域数据的长度、以及模板对应频域数据中的第一帧和最后一帧的频域特征值。一个模板对应于一个文本内容，对应于多个帧。每个帧对应于一段频域数据，对应于这段频域数据的一个均值。所以一个模板对应于多个均值构成的均值向量。
模板对应频域数据的长度可以用来区分发出同样声音时长度不同的情况。模板对应的频域数据的长度就是模板对应的帧数，也是均值向量中的均值数目。
模板对应频域数据中的第一帧和最后一帧的频域特征值可以用于区分发音的均值(向量)一致、长度一致但一个由高到低而另一个由低到高的情况。
由于模板包括上述三方面的数据，所以基于模板的比较能够有助于准确判断是否进行了特定发言。
图3示出了从输入语音帧序列中提取模板串的第二种实现方式。如图3所示，在步骤S31中，从输入语音帧序列中提取频谱特征或倒谱特征。
在步骤S32中，比较相邻语音帧在频谱特征或倒谱特征上的差异。频谱特征或倒谱特征的差异例如是梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)。
在步骤S33中，将差异超过差异阈值的语音帧划分为对应不同文本内容。
在步骤S34中，分别从对应于不同文本内容的频域数据中，提取模板。
举例来说，扫描窗口为连续五帧。如果根据差异阈值判断这五个语音帧之间的在频谱特征或倒谱特征上的差异较小，则将五个语音帧归为同一文本内容，继续滑动窗口例如两帧。如果差异较大，则在差异最大的相邻帧处将其两边的帧分为不同文本内容。
使用平滑算法来平滑帧差异，以免数值波动导致误判。
设帧差异为dfv，在一个示例中，
其中，n为扫描窗内的帧数，d|fi，fj|表示两个不同的帧fi、fj之间的特征差异，例如通过欧氏距离、马氏距离等计算。
差异阈值可以通过经标记的训练数据得到。
图4示出了从输入语音帧序列中提取模板串的第三种实现方式，也即上述两种实现方式的组合。如图4所示，在步骤S41中，从输入语音帧序列中提取基频特征；在步骤S42中，将基频特征的极值两侧的频域数据划分为对应不同文本内容。
在步骤S43中，从输入语音帧序列中提取频谱特征或倒谱特征；在步骤S44中，比较相邻语音帧在频谱特征或倒谱特征上的差异；在步骤S45中，将差异超过差异阈值的语音帧划分为对应不同文本内容。
在步骤S46中，分别从对应于不同文本内容的频域数据中，提取模板。
经过步骤S2，基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串。应理解，采用同样的手段，可以从预先提供的特定说话人进行特定发言的语音帧序列中基于该语音帧序列的频域特征提取特定说话人进行特定发言时的、特定说话人的特定内容模板串，并存储。特定说话人的特定内容模板串包括分别与特定发言中的彼此不同文本内容对应的多个模板。
在步骤S3中，将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
图5示出了步骤S3的一种实施方式。
在步骤S51中，利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异，作为所得到的模板串与所存储的特定说话人的特定内容模板串之间的相似度。
模板串m与模板串n之间的编辑距离EditDistance(m，n)(即相似度)例如可以表示为：
其中，In表示插入代价，wi表示插入代价的权重，Dm表示删除代价，wd表示删除代价的权重，Vm，n表示转换代价，wv表示转换代价的权重。
插入代价In等于插入模板对应频域数据的长度n乘以插入模板对应频域数据的均值
删除代价Dm等于删除模板对应频域数据的长度m乘以删除模板对应频域数据的均值
转换代价Vm，n与转换前模板对应频域数据的长度和转换后模板对应频域数据的长度之差|m-n|乘以转换前模板对应频域数据的均值向量和转换后模板对应频域数据的均值向量之间的差异有关。例如可以利用向量的余弦相似度计算。即，
作为一种优选的方案，还可以改进转换代价Vm，n。转换代价Vm，n还与转换前模板的第一帧对应频域数据的特征值(f1)和转换后模板的第一帧对应频域数据的特征值(f′1)之间的差异d|f1，f′1|有关。
作为一种优选的方案，还可以改进转换代价Vm，n。转换代价Vm，n还与转换前模板的最后一帧对应频域数据的特征值(fm)和转换后模板的最后一帧对应频域数据的特征值(f′n)之间的差异d|fm，f′n|有关。
作为一个示例，转换代价Vm，n如下计算：
其中，ωfirstFrame、ωlastFrame、ωvariance表示权重。
在步骤S52中，在相似度大于相似度阈值的情况下，确定为进行了特定发言；在相似度小于或等于相似度阈值的情况下，确定为未进行特定发言。
这样，在步骤S1中，确定了是否是特定说话人在说话。在步骤S3中，确定了是否进行了特定发言。
综合步骤S1和S3的判断结果，可以得到四种可能的结果：特定说话人进行了特定发言；特定说话人未进行特定发言；非特定说话人进行了特定发言；非特定说话人未进行特定发言。
在另一种实施例中，可以将步骤S1中的说话人评价得分Scorespeaker和步骤S3中的相似度Scoretext(等于EditDistance(m，n))进行加权求和，得到文本相关说话人得分FinalScore。
FinalScore＝ωspeakerScorespeaker+ωtextScoretext
其中，ωspeaker和ωtext代表说话人的权重和文本的权重。
可以将文本相关说话人得分FinalScore与预先指定的阈值作比较来判断是否由特定说话人进行了特定发言。
下面，将参照图6描述根据本发明的实施例的信息抽取设备。
图6示出了根据本发明的实施例的验证是否由特定说话人进行特定发言的设备的结构方框图。如图6所示，根据本发明的说话人确认设备600包括：特定说话人判断装置61，被配置为：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；模板串提取装置62，被配置为：基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及特定发言判断装置63，被配置为：将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
在一个实施例中，模板串提取装置62被进一步配置为：从输入语音帧序列中提取基频特征；将基频特征的极值两侧的频域数据划分为对应不同文本内容；分别从对应于不同文本内容的频域数据中，提取模板。
在一个实施例中，模板串提取装置62被进一步配置为：从输入语音帧序列中提取频谱特征或倒谱特征；比较相邻语音帧在频谱特征或倒谱特征上的差异；将差异超过差异阈值的语音帧划分为对应不同文本内容；分别从对应于不同文本内容的频域数据中，提取模板。
在一个实施例中，模板串提取装置62被进一步配置为：从输入语音帧序列中提取基频特征；将基频特征的极值两侧的频域数据划分为对应不同文本内容；从输入语音帧序列中提取频谱特征或倒谱特征；比较相邻语音帧在频谱特征或倒谱特征上的差异；将差异超过差异阈值的语音帧划分为对应不同文本内容；分别从对应于不同文本内容的频域数据中，提取模板。
在一个实施例中，模板包括模板对应频域数据的均值、模板对应频域数据的长度、以及模板对应频域数据中的第一帧和最后一帧的频域特征值。
在一个实施例中，所存储的特定说话人特征从预先提供的特定说话人的语音中提取且与任何文本内容无关。
在一个实施例中，所存储的特定说话人的特定内容模板串从预先提供的特定说话人进行特定发言的语音帧序列中基于该语音帧序列的频域特征提取，且包括分别与特定发言中的彼此不同文本内容对应的多个模板。
在一个实施例中，特定发言判断装置63被进一步配置为：利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异，作为所得到的模板串与所存储的特定说话人的特定内容模板串之间的相似度；在相似度大于相似度阈值的情况下，确定为进行了特定发言；在相似度小于或等于相似度阈值的情况下，确定为未进行特定发言。
在一个实施例中，插入代价等于插入模板对应频域数据的长度乘以插入模板对应频域数据的均值；删除代价等于删除模板对应频域数据的长度乘以删除模板对应频域数据的均值；转换代价与转换前后模板对应频域数据的长度之差乘以转换前后模板对应频域数据的均值之差有关。
在一个实施例中，转换代价还与转换前后模板的第一帧对应频域数据的特征值差异有关。
在一个实施例中，转换代价还与转换前后模板的最后一帧对应频域数据的特征值差异有关。
由于在根据本发明的说话人确认设备600中所包括的各个装置和单元中的处理分别与上面描述的说话人确认方法中所包括的各个步骤中的处理类似，因此为了简洁起见，在此省略这些装置和单元的详细描述。
此外，这里尚需指出的是，上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图7所示的通用计算机700)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
图7示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，还根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分709经由网络比如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明的实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种验证是否由特定说话人进行特定发言的方法，包括：
从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；
基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及
将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
2.如附记1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
3.如附记1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
4.如附记1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
5.如附记1-4中任一项所述的方法，其中，所述模板包括模板对应频域数据的均值、模板对应频域数据的长度、以及模板对应频域数据中的第一帧和最后一帧的频域特征值。
6.如附记1所述的方法，其中，所存储的特定说话人特征从预先提供的特定说话人的语音中提取且与任何文本内容无关。
7.如附记1所述的方法，其中，所存储的特定说话人的特定内容模板串从预先提供的特定说话人进行特定发言的语音帧序列中基于该语音帧序列的频域特征提取，且包括分别与特定发言中的彼此不同文本内容对应的多个模板。
8.如附记5所述的方法，其中，将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言包括：
利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异，作为所得到的模板串与所存储的特定说话人的特定内容模板串之间的相似度；
在相似度大于相似度阈值的情况下，确定为进行了特定发言；
在相似度小于或等于相似度阈值的情况下，确定为未进行特定发言。
9.如附记8所述的方法，其中，利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异包括：
插入代价等于插入模板对应频域数据的长度乘以插入模板对应频域数据的均值；
删除代价等于删除模板对应频域数据的长度乘以删除模板对应频域数据的均值；
转换代价与转换前后模板对应频域数据的长度之差乘以转换前后模板对应频域数据的均值之差有关。
10.如附记9所述的方法，其中，转换代价还与转换前后模板的第一帧和/或最后一帧对应频域数据的特征值差异有关。
11.一种验证是否由特定说话人进行特定发言的设备，包括：
特定说话人判断装置，被配置为：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；
模板串提取装置，被配置为：基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及
特定发言判断装置，被配置为：将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
12.如附记11所述的设备，其中，模板串提取装置被进一步配置为：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
13.如附记11所述的设备，其中，模板串提取装置被进一步配置为：
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
14.如附记11所述的设备，其中，模板串提取装置被进一步配置为：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
15.如附记11-14中任一项所述的设备，其中，所述模板包括模板对应频域数据的均值、模板对应频域数据的长度、以及模板对应频域数据中的第一帧和最后一帧的频域特征值。
16.如附记11所述的设备，其中，所存储的特定说话人特征从预先提供的特定说话人的语音中提取且与任何文本内容无关。
17.如附记11所述的设备，其中，所存储的特定说话人的特定内容模板串从预先提供的特定说话人进行特定发言的语音帧序列中基于该语音帧序列的频域特征提取，且包括分别与特定发言中的彼此不同文本内容对应的多个模板。
18.如附记15所述的设备，其中，特定发言判断装置被进一步配置为：
利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异，作为所得到的模板串与所存储的特定说话人的特定内容模板串之间的相似度；
在相似度大于相似度阈值的情况下，确定为进行了特定发言；
在相似度小于或等于相似度阈值的情况下，确定为未进行特定发言。
19.如附记18所述的设备，其中，
插入代价等于插入模板对应频域数据的长度乘以插入模板对应频域数据的均值；
删除代价等于删除模板对应频域数据的长度乘以删除模板对应频域数据的均值；
转换代价与转换前后模板对应频域数据的长度之差乘以转换前后模板对应频域数据的均值之差有关。
20.如附记19所述的设备，其中，转换代价还与转换前后模板的第一帧和/或最后一帧对应频域数据的特征值差异有关。
Claims (10)
1.一种验证是否由特定说话人进行特定发言的方法，包括：
从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；
基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及
将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
2.如权利要求1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
3.如权利要求1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
4.如权利要求1所述的方法，其中，所述基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与不同文本内容对应的多个模板构成的模板串包括：
从输入语音帧序列中提取基频特征；
将基频特征的极值两侧的频域数据划分为对应不同文本内容；
从输入语音帧序列中提取频谱特征或倒谱特征；
比较相邻语音帧在频谱特征或倒谱特征上的差异；
将差异超过差异阈值的语音帧划分为对应不同文本内容；
分别从对应于不同文本内容的频域数据中，提取模板。
5.如权利要求1-4中任一项所述的方法，其中，所述模板包括模板对应频域数据的均值、模板对应频域数据的长度、以及模板对应频域数据中的第一帧和最后一帧的频域特征值。
6.如权利要求1所述的方法，其中，所存储的特定说话人特征从预先提供的特定说话人的语音中提取且与任何文本内容无关。
7.如权利要求1所述的方法，其中，所存储的特定说话人的特定内容模板串从预先提供的特定说话人进行特定发言的语音帧序列中基于该语音帧序列的频域特征提取，且包括分别与特定发言中的彼此不同文本内容对应的多个模板。
8.如权利要求5所述的方法，其中，将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言包括：
利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异，作为所得到的模板串与所存储的特定说话人的特定内容模板串之间的相似度；
在相似度大于相似度阈值的情况下，确定为进行了特定发言；
在相似度小于或等于相似度阈值的情况下，确定为未进行特定发言。
9.如权利要求8所述的方法，其中，利用最小编辑距离来计算所得到的模板串与所存储的特定说话人的特定内容模板串之间的差异包括：
插入代价等于插入模板对应频域数据的长度乘以插入模板对应频域数据的均值；
删除代价等于删除模板对应频域数据的长度乘以删除模板对应频域数据的均值；
转换代价与转换前后模板对应频域数据的长度之差乘以转换前后模板对应频域数据的均值之差有关。
10.一种验证是否由特定说话人进行特定发言的设备，包括：
特定说话人判断装置，被配置为：从输入语音中提取与任何文本内容无关的说话人特征，并将所提取的说话人特征与所存储的特定说话人特征进行比较，以确定是否是特定说话人在说话；
模板串提取装置，被配置为：基于输入语音帧序列的频域特征，从输入语音帧序列中提取分别与彼此不同文本内容对应的多个模板构成的模板串；以及
特定发言判断装置，被配置为：将所得到的模板串与所存储的特定说话人的特定内容模板串进行比较，以确定是否进行了特定发言。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710179026.0A CN108630207B (zh) | 2017-03-23 | 2017-03-23 | 说话人确认方法和说话人确认设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710179026.0A CN108630207B (zh) | 2017-03-23 | 2017-03-23 | 说话人确认方法和说话人确认设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108630207A true CN108630207A (zh) | 2018-10-09 |
| CN108630207B CN108630207B (zh) | 2021-08-31 |
Family
ID=63706677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710179026.0A Active CN108630207B (zh) | 2017-03-23 | 2017-03-23 | 说话人确认方法和说话人确认设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108630207B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020154916A1 (zh) * | 2019-01-29 | 2020-08-06 | 深圳市欢太科技有限公司 | 视频字幕合成方法、装置、存储介质及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808567A (zh) * | 2006-01-26 | 2006-07-26 | 覃文华 | 验证真人在场状态的声纹认证设备和其认证方法 |
| CN1877697A (zh) * | 2006-07-25 | 2006-12-13 | 北京理工大学 | 一种基于分布式结构的说话人确认方法 |
| CN101124623A (zh) * | 2005-02-18 | 2008-02-13 | 富士通株式会社 | 语音认证系统 |
| JP2008146054A (ja) * | 2006-12-06 | 2008-06-26 | Korea Electronics Telecommun | 話者の音声特徴情報を利用した話者情報獲得システム及びその方法 |
| CN101436405A (zh) * | 2008-12-25 | 2009-05-20 | 北京中星微电子有限公司 | 说话人识别方法和系统 |
| CN101996628A (zh) * | 2009-08-21 | 2011-03-30 | 索尼株式会社 | 提取语音信号的韵律特征的方法和装置 |
| CN103871411A (zh) * | 2014-04-03 | 2014-06-18 | 北京邮电大学 | 一种基于线谱频率差值的文本无关的说话人鉴别装置 |
| CN103985384A (zh) * | 2014-05-28 | 2014-08-13 | 北京邮电大学 | 一种基于随机映射直方图模型的文本无关说话人鉴别装置 |
| CN104183239A (zh) * | 2014-07-25 | 2014-12-03 | 南京邮电大学 | 基于加权贝叶斯混合模型的与文本无关的说话人识别方法 |
| CN105355206A (zh) * | 2015-09-24 | 2016-02-24 | 深圳市车音网科技有限公司 | 一种声纹特征提取方法和电子设备 |
| US20160098993A1 (en) * | 2014-10-03 | 2016-04-07 | Nec Corporation | Speech processing apparatus, speech processing method and computer-readable medium |
-
2017
- 2017-03-23 CN CN201710179026.0A patent/CN108630207B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101124623A (zh) * | 2005-02-18 | 2008-02-13 | 富士通株式会社 | 语音认证系统 |
| CN1808567A (zh) * | 2006-01-26 | 2006-07-26 | 覃文华 | 验证真人在场状态的声纹认证设备和其认证方法 |
| CN1877697A (zh) * | 2006-07-25 | 2006-12-13 | 北京理工大学 | 一种基于分布式结构的说话人确认方法 |
| JP2008146054A (ja) * | 2006-12-06 | 2008-06-26 | Korea Electronics Telecommun | 話者の音声特徴情報を利用した話者情報獲得システム及びその方法 |
| CN101436405A (zh) * | 2008-12-25 | 2009-05-20 | 北京中星微电子有限公司 | 说话人识别方法和系统 |
| CN101996628A (zh) * | 2009-08-21 | 2011-03-30 | 索尼株式会社 | 提取语音信号的韵律特征的方法和装置 |
| CN103871411A (zh) * | 2014-04-03 | 2014-06-18 | 北京邮电大学 | 一种基于线谱频率差值的文本无关的说话人鉴别装置 |
| CN103985384A (zh) * | 2014-05-28 | 2014-08-13 | 北京邮电大学 | 一种基于随机映射直方图模型的文本无关说话人鉴别装置 |
| CN104183239A (zh) * | 2014-07-25 | 2014-12-03 | 南京邮电大学 | 基于加权贝叶斯混合模型的与文本无关的说话人识别方法 |
| US20160098993A1 (en) * | 2014-10-03 | 2016-04-07 | Nec Corporation | Speech processing apparatus, speech processing method and computer-readable medium |
| CN105355206A (zh) * | 2015-09-24 | 2016-02-24 | 深圳市车音网科技有限公司 | 一种声纹特征提取方法和电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020154916A1 (zh) * | 2019-01-29 | 2020-08-06 | 深圳市欢太科技有限公司 | 视频字幕合成方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108630207B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108288470B (zh) | 基于声纹的身份验证方法和装置 | |
| EP3109858B1 (en) | Voiceprint authentication method and apparatus | |
| EP1989701B1 (en) | Speaker authentication | |
| US8731928B2 (en) | Speaker adaptation of vocabulary for speech recognition | |
| DK2713367T3 (en) | Speech Recognition | |
| JP3630216B2 (ja) | 話者認証用確率的マッチング方法 | |
| CN104509065B (zh) | 使用说话能力作为人类交互证明 | |
| CN101465123B (zh) | 说话人认证的验证方法和装置以及说话人认证系统 | |
| US20070124145A1 (en) | Method and apparatus for estimating discriminating ability of a speech, method and apparatus for enrollment and evaluation of speaker authentication | |
| CN104217149A (zh) | 基于语音的生物认证方法及设备 | |
| Çetingül et al. | Multimodal speaker/speech recognition using lip motion, lip texture and audio | |
| EP2879130A1 (en) | Methods and systems for splitting a digital signal | |
| EP3989217B1 (en) | Method for detecting an audio adversarial attack with respect to a voice input processed by an automatic speech recognition system, corresponding device, computer program product and computer-readable carrier medium | |
| Hourri et al. | A novel scoring method based on distance calculation for similarity measurement in text-independent speaker verification | |
| US6519563B1 (en) | Background model design for flexible and portable speaker verification systems | |
| CN111613230A (zh) | 声纹验证方法、装置、设备及存储介质 | |
| EP2507794B1 (en) | Obfuscated speech synthesis | |
| Maghsoodi et al. | Speaker recognition with random digit strings using uncertainty normalized HMM-based i-vectors | |
| JP2009086581A (ja) | 音声認識の話者モデルを作成する装置およびプログラム | |
| JP2004294755A (ja) | 話者認証装置及び話者認証プログラム | |
| CN108630207A (zh) | 说话人确认方法和说话人确认设备 | |
| Minh et al. | The system for detecting Vietnamese mispronunciation | |
| CN109872721A (zh) | 语音认证方法、信息处理设备以及存储介质 | |
| Shah et al. | Novel metric learning for non-parallel voice conversion | |
| JP4244524B2 (ja) | 音声認証装置、音声認証方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |