CN100476950C - 比较发音进行安全控制的方法 - Google Patents

Abstract

一种通过对比发音的时间-频域表述而将当前的口头发音与预先录制的口头发音加以比较的安全保护方法，其利用多次重复发音来构成确定各人的重复性能的变化的基准，以及利用在注册发音与查证发音之间类似的差异形成对注册与查证发音之间变化的类似分析的基准。在一个实施例中，由每个查证发音搜索注册数据的集合，直到找到指示某一动作的特定匹配，或者找到指示放弃的匹配。在一个应用中，某人作为一个命令者被接受或拒绝，在另一个应用中，一个对应于一个口头发命令的选定的动作被接受。

Description

比较发音进行安全控制的方法

发明背景

发明领域

本发明一般涉及用于模拟或者比较人体特征(譬如指纹、声音模式以及视网膜模式)以便对个人加以区分的电子安全方法，更特别的是，它涉及一种用于模拟与比较发音来控制安全装置运行的安全方法及协议。

相关技术的说明：

下述技术详细说明了这一领域的当前状态。

Parra(帕拉)的美国专利5,313,556描述了一个(已知或未知)个人的、通过他的口鼻通道所发声音的某种声波特性数据来加以确定的独特性质。这些声音被转换为数字电气信号，并生成一个包括频率、振幅与时间采样三个方面的格式来产生构成人的声波特性数据的一个峰谷阵列。某位已知个人的相同格式的声波特性数据源或库具有某种相互关系，这种相互关系包括该已知个人的上述声波特性数据的上述峰谷与上述未知的被比较个人的上述峰谷的相对位置，而且在检测到或未检测到上述声波特性数据之间的某种相关时会提供一个应用信号。

Hair(海尔)等人的美国专利3,673,331描述一种在各具有多个终端的、互相分离的若干设备上完成的声音确认方法。多路传输的结构通过一个通信链接将这些终端互相连接到一个中央处理站。从这些终端发送的、模拟的声音复现信号被转换为数字信号。这些数字信号在该中央处理站内被变换到频域。将这些变换后信号的预定特征与需要确认的声音的、已被存储的预定特征加以比较。然后根据这些预定特征的比较结果将一个确认或未确认信号发送到该特定终端。

Waterbury(沃特伯里)的美国专利3,896,266描述了一个符合该发明的安全卡(可以是一张信用卡)，卡上录制了识别某位个人的数据以及该卡的授权持有人的不可伪造的特征，譬如声音特征。一个符合该发明的卡应用系统提供了将由这些数据所记录的特征与希望使用该卡的人的相应特征进行比较的装置，从而基本上消除了非授权的用卡可能性。

Murol(默罗尔)等人的美国专利4,833,713描述了一个声音或语音识别系统，该系统包括用于将声音转变为电气声音信号的一个麦克风、用于生成具有时间-频率分布格式的声音模式的一个频率分析器以及使该声音模式与注册的声音模式进行匹配的匹配单元。

Feix(菲克斯)等人的美国专利4,449,189描述了通过语音与面部识别的某种组合来识别人的一种方法与一台装置。某位被讯问人对一个麦克风发出一个关键词的声音信号在一个模式匹配器中与预先存储的已知个人发出该相同关键词的声音信号加以比较，从而获得一个第一相似性评分。同时，在该被讯问人发出该关键词的过程中出现关键事件时，用光学方式记录那个人口部区域的一幅瞬间图像，在该图像上投影一个网格模式，并与预先存储的、该相同已知个人的相应瞬间图像加以比较来获得一个第二相似性评分。

该现有技术讲述了时间域与频率域中声音信号的比较。但是，该现有技术没有讲到某种采用差分技术来对这些声音特性数据进行滤波的装置。本发明方法满足这些需要，并进一步提供下述概要中所述的相关优点。

发明内容

本发明讲述能达到下述目的方法中所具有的好处。

本发明是一种将当前的口头发音(utterance)与预先录制的(注册)口头发音加以比较的安全保护方法，它将当前发音的频域表示与预先录制的、该相同内容的多次重复发音相比较来构成一个比较基准。本方法不像传统方法那样在时域比较该发音，而是通过确定整个频域的多种单元的能量来进行比较，而且本方法不是集中注意一个人从一次试验到相隔几天、几周或更长时间后的下一次试验重复发音的能力，而是集中注意相同单词或短语的多次发音之间的差别的可变性。具体地讲，该方法在对企图打开一个安全设备(譬如一个入口锁)的、经过允许与未经允许的人员进行区分的一次尝试中，试图确定两个声音是否由相同的人声所形成。此外，该方法可以被用来确定该人正在给出什么命令，并从该相同个人发出的所有这类命令的库中挑出该选定的命令。

根据本发明，提供一种将一个口头查询发音与同一个人的几个口头注册发音加以比较以便确定安全操作的方法，该方法包括如下步骤：

A)准备注册数据，包括如下步骤：

a)生成口头注册发音的电气信号表示的一个快速傅立叶变换以便产生它的一个注册频域表示；

b)对N个频道中每一个频道取出该注册频域表示的M个注册采样以便构成一个M×N的注册矩阵E；

c)判定在该N个频道的至少Y个频道中，该M个注册采样中是否至少有X个采样具有选定的最小能量；

d)如果在步骤(c)中的判断为否定，则重复步骤(a)至(c)，而且在步骤(a)至(c)的选定次数的否定重复后终止；

e)如果在步骤(c)中的判断为肯定，则重复步骤(a)至(c)，直到构成选定数量的上述注册矩阵为止，记为Ei＝E1、E2、E3、…；

f)计算每个Ei之间的差值之和EDi，即ED1＝(E1-E2)+(E1-E3)+…、ED2＝(E2-E1)+(E2-E3)+…；

g)通过将每个采样在时间上向前与向后移动来逐对比较这些注册采样，以便获得一个最好的匹配；

h)计算一个注册范围ES，它等于EDi的最大与最小值的差；以及

i)在下述条件下认可该注册数据：

i.ES＜R1，而且

ii.EDi＜R2，其中R1与R2为选定的注册标准；

B)查证该注册数据，包括如下步骤：

a)生成口头查询发音的电气信号表示的一个快速傅立叶变换以便产生它的一个查询频域表示；

b)对N个频道中的每个频道取出该查询频域表示中的M个查证采样以便构成一个M×N的查询矩阵C；

c)判定在该N个频道的至少Y个频道中，该M个查询采样中是否至少有X个采样具有选定的最小能量；

d)如果在步骤(c)中的判断为否定，则重复步骤(a)至(c)，而且在步骤(a)至(c)的选定次数的否定重复后终止；

e)计算C与每个Ei之间的差值之和CDi，即CD1＝(C-E1)+(C-E2)、CD2＝(C-E2)+(C-E3)、CD3＝(C-E3)+(C-E4)、…；

f)通过将这些采样中的每一个在时间上向前与向后移动来逐对比较每一个查询采样以便获得最好的匹配；

g)计算一个查询范围CS，它等于CDi的最大与最小值之间的差；而且

h)在下述条件下认可该查询数据：

i.CS＜V1，而且

ii.CDi＜V2，其中V1与V2为选定的确认标准；

C)如果认可该口头查询发音就启动该安全操作。

本方法的发明具有一个重要的方面，即将一个当前口头发出的单词或短语与这类发音库中存储的相同发音加以区分或匹配。本方法的另一个方面是利用差分方法进行比较，从而在口头发音的区分与/或匹配中获得高精度的快速结果。本方法是一种非显而易见的、高效的、用来将很大的数据集合与查询进行极快速比较以便提供方便的程序，譬如说，在一扇由各自具有口头通行代码的大量个人使用的安全门前采用纯口头查询，已经证明，其中获准通过的迟延时间在几秒钟或更短的时间范围内。该方法还能达到对个人加以区分的极高水平，并同时对该人声音在语调、音质及音量中不时出现的正常改变与变化给予高水平的“宽容”。本方法的区分能力为军事以及工业应用提供了足够高的可信度，而且在居所使用、商业使用以及在消费电子设备与玩具中获得应用既不昂贵也很简单。本发明还有一个方面是在频域的一组频率范围内测试最低能量等级，以及测试超过选定能量等级基准的相应能量等级。根据下面为提供对本发明原理的理解所作的更为详细的说明，本发明的其他特点与优点将会变得十分明显。

具体实施方式

本发明提供了一种按部就班的方法，可用于将讲话人当前的一个口头发音(查询发音)与预先录制的口头发音(注册发音)加以比较以便确定该讲话人的有效性，即确定该查询发音是否由发出该注册发音的同一个人发出。如果有效性得以确认，那么就授权一项操作，譬如打开一把锁、拨打一个秘密电话号码、准予访问数据或服务等等。该方法包括按顺序执行的步骤。大体上这些步骤可以说明如下：首先，根据一个人或多个人的发音来准备一个注册数据，其次，用一个人或多个人的当前发音来查证该注册数据，最后，如果该查询发音被认为足够接近一个注册数据就执行该安全操作。在这种情况下，该查询人通报他/她的身份，使得该比较只在同一个人的查询发音与注册发音之间进行，即假定是该相同个人在查询。在本方法的另一种使用情况中，可以存储同一个人的一组不同发音来作为对几个单词或短语中每一个的注册发音。在这种情况下，当该查询人说出一个已注册发音后才进行查证，而且其目的是将该查询发音与该正确的注册单词或短语进行匹配。

准备注册数据包括采用一个麦克风或其他变送器将此后被称之为一个注册发音的口头发音转换为一个电气信号的各个步骤。这个模拟电气信号如同技术上熟知的那样被变换为数字格式，譬如通过模拟到数字的转换电路来进行变换。对这个电气信号的各段进行快速傅立叶变换可以产生该注册发音的许多频域模型。这些电气信号段的频域模型被按照符合人声平均音高区段的时间帧来进行处理，譬如说，每帧大约20ms数据。只含有很低能量或不含能量的帧会被忽略。这样会产生选定数量的这类模型，该数量可用变量M来表示，每个模型包含N个频道的向量数据点，从而构成一个M×N的采样注册矩阵Ei。

M与N被选定为其大小符合该用户所希望的安全等级需要的整数，较大的数提供对该结果的较高可信度。该矩阵提供单元值Mi-Ni，其中i代表一个整数，这些值由每个单元内的总能量来表示，即用一个数来表示。其次，该方法可以确定，在N个频道的至少Y(一个任意数)个通道中，M个采样中是否至少有X(另一个任意数)个采样具有选定的最低能量。如果没有，那么就重复该注册发音直到满足标准X与Y为止，或者，如果没有，那么在经过几次尝试后就终止该注册过程。这种情况通常只是在该讲话人在他的或她的讲话中不能提供足够的音量来产生该最小能量标准、或者在该输入不是人声因而缺少必要的谱成分时才会发生。

当该注册成功时，该过程就会被重复直到构成了并存储了选定数量的采样矩阵为止，这里用Ei来表示这些矩阵。我们将这些矩阵记为E1、E2、E3等等。为了满足成功注册个声音发音的需要，我们通常会需要至少三个这样的矩阵。

其次，该方法需要求得各对注册矩阵Ei之间的差值之和来确定一个差分矩阵EDi，它们彼此的关系为ED1＝(E1-E2)+(E1-E3)、ED2＝(E2-E1)，(E2-E3)等等。采用若干算法在时间域上对每个独立的帧与每个大致对应的帧在矩阵之间进行比较，并允许在时间上向前或向后跳过有限数量的帧以便获得最好的匹配。这样，我们就在构成该注册发音的过程中确定了该个别讲话人的与其他获得的发音不同的变化或可变性特征。

最后，根据每个矩阵Ei之间的差分EDi来计算最大注册范围ES，即ES＝(ED1-ED2)或(ED2-ED3)或(ED1-ED3)中的最大值，而且只有当ES＜R1、而且只有在至少一个或多个差分EDi小于R2时才认可该注册数据，这里R1是一个选定的被称为“注册范围”的第一注册标准，R2是一个选定的被称为“注册基准”的第二注册标准。这一步骤的第一部分对本方法的可实施性至为关键，因为R1限定了差分EDi之间的总变化必须小于R1标准，否则我们就必须认为对这个人而言，在该相同内容的重复讲话发音中的变化太小，所以在本方法中无法使用。这就向我们保证，从前获得的录音没有被用于注册，也就是说，我们可以保证这些矩阵的差至少有通常对一个人声所期望的那样大。在该相同的录音被用于任何两个注册采样时，我们会发现它们之间的可变化性要比由该人声所产生的小。这一步骤的第二部分对本方法的可实施性也很关键，因为对这个人而言，R2被用来判定在该相同内容的重复讲话发音中的变化太大，所以在本方法中无法使用。对现有技术而言，这很明显是一个新步骤，它对判断在一个时刻讲话的发音对于在另一个时刻讲话的相同发音之间的相关性以及判断它与该个人重复那个发音的一致性的相互关系非常关键。该EDi值与该注册采样矩阵一道被存储起来以备将来与查询发音进行比较。如果该采样数据被改变，那么在与查询发音进行比较之前就破坏了该数据的完整性，该Edi参考值就可以被用来拒绝接收该注册数据。

查证该注册数据首先包括用一个麦克风或其他变送器将一个口头查询发音变换为一个电气信号的各个步骤。这个电气信号像该注册程序一样被转换为数字格式。对这个电气信号的各部分进行快速傅立叶变换来产生该查询发音的许多频域表示。这些电气信号的频域模型按照符合该人声的平均音高区段的时间帧来进行处理，譬如说，每帧大约20ms数据。含有很低能量或者不含能量的帧被忽略。然后认可数量的帧，该数量仍用M来表示，每帧包含N个频道的向量数据点，以便构成该查询矩阵C的一个M×N的采样，而且判定在N个频道的至少Y个通道中，该M个采样中是否至少有X个采样具有选定的最小能量。

十分清楚，用于获得该查询矩阵的这些步骤与该注册程序的相应步骤完全一致。如果对最小能量的新近测试失败，那么就重复这些查询步骤，并在选定次数的重复之后终止该查询，这是因为一个冒名顶替者正在试图打开该系统，而且不应当让这样一个冒名顶替者未经授权就获得他/她操纵该系统所需要的尝试次数。

然后，对每一对矩阵Ei计算C与Ei的差值之和，从而得到C与每一对注册矩阵Ei之间的一个差CDi，它们彼此之间的关系为CD1＝(C-E1)+(C-E2)、D2＝(C-E2)_(C-E3)等等。采用若干算法将每一个独立的帧与其他矩阵的每个相应的时间帧加以比较，而且允许在时间上向前或向后跳过有限数量的帧，以便像对该注册程序所作的那样获得最好的匹配。对这一步骤可以采用熟知的动态时间扭曲技术。

最后，求出CDi值之间的最大差值的最大范围CS，即CS＝[(D1-D2)或(D2-D3)或(D3-D1)…]。这些步骤对应与该注册过程中的类似步骤。如果CS＜V1，而且C与每一对CEi之间的至少一个上述差分CDi小于V2，就认为C是一个有效查询，其中V1是一个选定的第一确认标准，而V2是一个选定的第二确认标准。V1及V2与该注册程序中的R1与R2起相应的作用，而且都被用于相同的目的。在符合这些标准时，该口头查询发音就被认可，并启动该必要的安全步骤。

我们已经描述了本方法用于只认为有一个查询人的应用场合。在这种情况下只需要完成一个注册。在这样一个系统中，它的目的是保证只有一个已注册的个人可以通过成功地向该方法提出查询而进入该系统。所有其他人，即冒名顶替者，不能成功地查证该方法，所以它们被该方法拒绝在所有安全系统之外。

很明显，若对每个用户完成一个注册，那么这样一个系统就可以在同一时间对多个用户使用该方法。在这种情况下，任何一位用户都要提出一次查询，而且对每个注册都执行该查询方法，直到实现了一次成功的查询、或者试验了所有注册都不成功为止。

同样也很明显，该系统可以被用于具有若干注册发音的单个用户，从而根据匹配情况作出若干不同的可能操作。一个示例是使用该系统来打开一扇门上的锁，然后打开房间的灯，再放出柔和的音乐，最后启动一台烹饪设备来准备正餐。这可以由一个单独的查询人发出一系列口头命令来完成，其中每个命令都在它与已注册的相应发音得以匹配后由伺服机构执行。

另外也很明显，每个数据集合可以包括某项特定操作的详细说明，从而使得在查询与注册之间获得某种特定匹配时，可以执行与对应于其他注册的其他操作不同的特定操作。

尽管本发明的描述一直参考了希望的实施例，但是那些熟悉该技术的人员应当清楚地理解，本发明并不限于此。相反，本发明的范围应当仅仅结合所附的权利要求来加以解释。

Claims (6)

1、一种将一个口头查询发音与同一个人的几个口头注册发音加以比较以便确定安全操作的方法，该方法包括如下步骤：

A)准备注册数据，包括如下步骤：

a)生成口头注册发音的电气信号表示的一个快速傅立叶变换以便产生它的一个注册频域表示；

b)对N个频道中每一个频道取出该注册频域表示的M个注册采样以便构成一个M×N的注册矩阵E；

c)判定在该N个频道的至少Y个频道中，该M个注册采样中是否至少有X个采样具有选定的最小能量；

d)如果在步骤(c)中的判断为否定，则重复步骤(a)至(c)，而且在步骤(a)至(c)的选定次数的否定重复后终止；

e)如果在步骤(c)中的判断为肯定，则重复步骤(a)至(c)，直到构成选定数量的上述注册矩阵为止，记为Ei＝E1、E2、E3、…；

f)计算每个Ei之间的差值之和EDi，即ED1＝(E1-E2)+(E1-E3)+…、ED2＝(E2-E1)+(E2-E3)+…；

g)通过将每个采样在时间上向前与向后移动来逐对比较这些注册采样，以便获得一个最好的匹配；

h)计算一个注册范围ES，它等于EDi的最大与最小值的差；以及

i)在下述条件下认可该注册数据：

i.ES＜R1，而且

ii.EDi＜R2，其中R1与R2为选定的注册标准；

B)查证该注册数据，包括如下步骤：

a)生成口头查询发音的电气信号表示的一个快速傅立叶变换以便产生它的一个查询频域表示；

b)对N个频道中的每个频道取出该查询频域表示中的M个查证采样以便构成一个M×N的查询矩阵C；

c)判定在该N个频道的至少Y个频道中，该M个查询采样中是否至少有X个采样具有选定的最小能量；

d)如果在步骤(c)中的判断为否定，则重复步骤(a)至(c)，而且在步骤(a)至(c)的选定次数的否定重复后终止；

e)计算C与每个Ei之间的差值之和CDi，即CD1＝(C-E1)+(C-E2)、CD2＝(C-E2)+(C-E3)、CD3＝(C-E3)+(C-E4)、…；

f)通过将这些采样中的每一个在时间上向前与向后移动来逐对比较每一个查询采样以便获得最好的匹配；

g)计算一个查询范围CS，它等于CDi的最大与最小值之间的差；而且

h)在下述条件下认可该查询数据：

i.CS＜V1，而且

ii.CDi＜V2，其中V1与V2为选定的确认标准；

C)如果认可该口头查询发音就启动该安全操作。

2、权利要求1的方法，它还包括对选定的个人多次重复步骤(A)(a)至步骤(A)(i)，从而产生若干个人注册数据集合。

3、权利要求2的方法，它还包括如下步骤，即逐对比较所述若干个人注册数据集合，而且在相应的注册范围彼此相差不超过选定的数量时去除上述注册数据集合中的每个新集合。

4、权利要求2的方法，它还包括如下步骤，即逐对比较所述若干个人注册数据集合，而且在相应的注册范围彼此相差超过选定的数量时去除上述注册数据集合中的每个新集合。

5、权利要求2的方法，其中所述个人注册数据集合中的每一个包括用来定义在成功的确认后进行特定安全操作的数据，并采取另外的步骤来完成上述特定安全操作，上述安全操作包括产生一个电气信号。

6、权利要求1的方法，它还包括为选定的操作多次重复步骤(A)(a)至步骤(A)(i)，从而产生若干操作注册数据集合。