CN110166424B - 面向物联网服务隐私保护声纹识别方法及系统、移动终端 - Google Patents

面向物联网服务隐私保护声纹识别方法及系统、移动终端 Download PDF

Info

Publication number
CN110166424B
CN110166424B CN201910267624.2A CN201910267624A CN110166424B CN 110166424 B CN110166424 B CN 110166424B CN 201910267624 A CN201910267624 A CN 201910267624A CN 110166424 B CN110166424 B CN 110166424B
Authority
CN
China
Prior art keywords
vector
user
matrix
client
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910267624.2A
Other languages
English (en)
Other versions
CN110166424A (zh
Inventor
朱辉
李祁
寇笑语
李晖
张紫铃
杨晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910267624.2A priority Critical patent/CN110166424B/zh
Publication of CN110166424A publication Critical patent/CN110166424A/zh
Application granted granted Critical
Publication of CN110166424B publication Critical patent/CN110166424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Abstract

本发明属于物联网信息安全技术领域，公开了一种面向物联网服务隐私保护声纹识别方法及系统、移动终端；模型训练端对公开的数据集进行通用背景模型的训练；客户端采集用户语音信息和身份信息，将已加密的特征向量和身份信息合并成注册用户模版发送给物联网终端设备；客户端采集用户语音信息和身份信息，采用认证i‑vector加密算法将特征向量加密，并将已加密的特征向量和身份信息合并成认证用户模版发送给物联网终端设备；物联网终端设备进行比较计算，得出识别结果并返回给客户端。本发明在不影响声纹识别效率的情况下实现了声纹识别中的用户数据隐私保护，可用于实际生活中物联网环境下为用户提供隐私高效的声纹登录认证系统。

Description

面向物联网服务隐私保护声纹识别方法及系统、移动终端
技术领域
本发明属于物联网信息安全技术领域，尤其涉及一种面向物联网服务隐私保护声纹识别方法及系统、移动终端。
背景技术
目前，最接近的现有技术：智能家居是在物联网的影响下家居环境物联化的体现。智能家居通过物联网技术将家中的各种设备(门禁系统、访问控制系统、音视频设备、照明系统、窗帘控制、空调控制、安防系统、网络家电等)连接到一起，提供家电控制、照明控制、窗帘控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。然而，由于大多数智能家居设备的CPU、内存容量、电池寿命等资源是受限的，研究人员在设计之初很少考虑智能家居中的安全性、隐私性问题，而且传统网络中的安全机制往往不适用于智能家居，使得智能家居在安全方面面临着严峻挑战。并且随着信息科技与人工智能的日益发展，基于生物特征的身份识别是现在及未身份识别的主要发展方向。声纹识别由于其低成本、非接触、可远程及易于实现等优势，在身份识别中的地位日益增加。然而，声纹识别系统存在很多安全威胁。尤其是：一旦攻击者获取了服务提供者存储在数据库中用户们的声纹模板数据，那么这些攻击者/服务提供者可以根据这些模板数据在其他声纹识别系统中进行威胁最大的欺骗攻击即生成对应的语音假冒用户通过各项声纹识别系统的检测。因此，考虑到隐私保护和识别效率的需求，实现一个面向物联网服务的隐私保护声纹识别系统是具有挑战性的。为了找出一种解决上述问题的方法，人们提出了一些解决方案，其中：现有技术一“基于人工智能的声纹认证方法及装置”公开了一种基于人工智能的声纹认证方法以及装置。这种方法具体是让用户阅读一段特定语音，并将用户语音分成N段。根据性别分类模型和N段语音确定用户的性别标签；以及根据性别标签和N段语音生成用户的注册声纹模型。通过先获取该用户的性别标签，之后根据该性别标签使用不同的模型以生成对应的注册声纹模型，使得在登录时提高了声纹密码作为认证手段的可用性，提高了声纹匹配的性能。但是该方法由于设计者考虑不周，存在声纹模型没有加密，用户数据隐私没有被保护的问题。一旦声纹模型被窃取，不但用户隐私会泄漏，攻击者还可以伪装成用户进行认证，会造成极大危害。
综上所述，现有技术存在的问题是：现有的声纹识别方法存在识别准确度与通信开销和时间开销无法兼顾，用户数据无加密；在应用中会造成用户隐私泄露，且容易被伪造声纹攻击以及认错率高或者通信开销大。
解决上述技术问题的难度：传统的声纹识别技术没有加密模块，一旦系统被攻击就容易泄露用户隐私，同时攻击者还可以伪装用户进行识别，使系统风险大大提高。而同态加密技术又会带较大的通信开销和计算时间，物联网终端设备的硬件条件无法支持如此巨大的开销。
解决上述技术问题的意义：需要为物联网环境下声纹识别找到新型高效隐私保护的加密方法，能够在不影响声纹识别效率和准确率的情况下，实现用户隐私数据的保护，即使数据被窃取也无法被利用。
发明内容
针对现有技术存在的问题，本发明提供了一种面向物联网服务隐私保护声纹识别方法及系统、移动终端。
本发明是这样实现的，一种面向物联网服务隐私保护声纹识别系统，所述面向物联网服务隐私保护声纹识别系统包括：
模型训练端，用于完成系统初始化，预先设置好计算中要用到的矩阵；
客户端，用于用户声纹数据和身份信息的采集，生成和保存加密所需的密钥，并在本地对声纹数据和身份信息进行安全加密，然后上传给服务端；
客户端进一步包括：
密钥管理模块，包括密钥生成子模块、可信存储模块；用于生成安全加密模块进行加密计算时所需的密钥，并将注册时生成的密钥存储在本地，在识别时提取出使用；
安全加密模块，包括注册加密子模块、识别加密子模块；用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给服务端；
用户信息采集模块，包括声纹数据采集子模块、身份信息采集子模块；用于采集用户的语音信息和身份信息，并生成声纹特征向量；
物联网终端设备，存储已加密的用户的注册声纹数据和身份信息数据，并且在用户申请登录识别时，接受已加密的用户的识别声纹数据和身份信息数据，然后进行对比计算，并将识别结果返回给客户端。
所述服务端进一步包括：
信息存储模块，包括加密向量存储子模块、身份信息存储子模块；用于存储客户端上传的已加密的声纹特征向量和用户身份信息，并在识别阶段提供用户注册时输入的声纹特征向量；
身份识别模块，包括识别信息计算子模块；用于在用户进行身份识别时，对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量，产生识别结果并发送给客户端。
所述服务端进一步包括：
系统初始化模块，包括背景模型生成子模块、变量空间生成子模块；用于完成系统初始化步骤，训练通用背景模型矩阵，训练总因子变量空间，然后发送给客户端；
数据处理模块，包括语音数据集预处理子模块、系数提取子模块；用于对语音数据进行滤波、降噪预处理和对预处理后的语音数据提取相应的梅尔倒谱系数MFCC矩阵；
Plda参数计算模块，包括线性判别矩阵生成子模块、概率线性判别参数生成子模块；用于训练线性判别矩阵LDA及概率线性判别PLDA参数。
本发明的另一目的在于提供一种执行所述面向物联网服务的隐私保护声纹识别系统的面向物联网服务的隐私保护声纹识别方法，所述面向物联网服务的隐私保护声纹识别方法包括：
步骤一，系统初始化，模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端；之后客户端选择隐私保护安全等级和初始化密钥；
步骤二，用户声纹注册步骤，客户端收集用户的身份信息以及语音的特征向量，然后随机生成密钥并发送给安全加密模块和可信存储模块，由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备；
步骤三，用户声纹识别步骤，客户端收集用户的语音特征向量并发送给安全模块，安全加密模块从可信存储模块提取密钥加密特征向量，然后上传给物联网终端设备；物联网终端设备根据注册数据计算识别结果，最后将结果发送给客户端。
进一步，所述面向物联网服务的隐私保护声纹识别方法具体包括：
步骤一，系统初始化；
(1)预处理语音数据集，服务提供商首先运行语音预处理算法进行滤波、降噪处理；
(2)提取梅尔倒谱系数；服务提供商根据现有的梅尔倒谱系数MFCC提取算法对预处理后的语音数据集提取相应的MFCC矩阵；
(3)训练通用背景模型，基于提取的MFCC矩阵集，服务提供商训练通用背景模型参数ubm＝w，μ，∑,其中，w为通用背景模型的权重，μ是模型的均值，∑为模型的方差；
(4)训练总因子变量空间，基于提取的MFCC矩阵，服务提供商从通用背景模型中训练总因子变量空间，并且将该子空间转化成矩阵T；
(5)训练线性判别矩阵LDA及概率线性判别PLDA参；服务提供商根据提取的MFCC矩阵集，按照下述公式及训练算法，计算出线性判别分析矩阵P与概率线性判别参数plda＝{Uk，Λ，Q}；其中Φ为UBM训练的结果矩阵；
∑tot＝ΦΦT+∑，
∑ac＝ΦΦT，
Figure BDA0002017340670000051
Figure BDA0002017340670000052
Figure BDA0002017340670000053
服务提供商将{P，ubm，T}发送给用户；
(6)选择隐私保护安全等级，用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级；当γ＝0，方案达到唯密文安全等级；当γ＝1，方案达到已知样本安全等级；当γ≥2时，达到选择明文安全等级；
(7)初始化密钥，客户端随机生成包含两个(n+γ)随机可逆矩阵M1，M2和一个(n+γ)阶随机向量H；
步骤二，用户声纹注册步骤：
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板we＝[we1，we2，…，wem]以及生成用户信息Ii；
(2)客户端将{we，Ii}发送给加密模块；
(3)加密模块按照注册阶段i-vector加密算法进行加密得到：{Ci，Ce}；
(4)客户端将密钥{M1，M2，H}存在可信域中，防止其他应用窥探；
(5)客户端将{Ii，Ci，Ce}上传给物联网终端设备；
步骤三，用户声纹识别步骤：
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板wa＝[wa1，wa2，…，wam]以及用户信息Ii；
(2)客户端将{wa，Ii}发送给加密模块；
(3)将可信域中的密钥{M1，M2，H}发送给加密模块；
(4)客户端随机生成γ维的向量r发送给加密模块；
(5)加密模块按照识别阶段i-vector加密算法进行加密得到：{CH，CM，Ca}；
(6)用户将{CH，CM，Ca}上传给物联网终端设备；
(7)物联网终端设备使用用户查询的{CH，CM，Ca}针对数据库中的每一个注册模板对使用下式计算：
Vi＝Ce+Ca+CM×Ci×CH；
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果；在为所有加密i-vector Ci计算所有Vi之后，物联网终端设备可以找到与wa具有最大相似度的{Ii，Ci，Ce}。
进一步，注册i-vector加密算法具体包括：
输入：i-vector向量we，LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure BDA0002017340670000061
(n+γ)维向量H；
输出：加密后的密文{Ci，Ce}
信道补偿：
Figure BDA0002017340670000062
Figure BDA0002017340670000063
Figure BDA0002017340670000064
将Te扩展成(n+γ)维向量
Figure BDA0002017340670000065
其第(n+1)，(n+2)，…，(n+γ)个元素均设为1；
向量对角化：
Figure BDA0002017340670000066
WD＝D×A,其中A是(n+γ)×(n+γ)阶矩阵，并且Ai×HT＝1，A＝[A1，A2，…，A(n+γ)]T
加密：Ci＝M1×WD×M2
返回Ci，Ce。
进一步，识别i-vector加密算法具体包括：
输入：i-vector向量wa，LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure BDA0002017340670000067
(n+γ)维向量H,γ维随机向量r；
输出：加密后的密文{CH，CM，Ca}
信道补偿：
Figure BDA0002017340670000068
Figure BDA0002017340670000071
计算类范数
Figure BDA0002017340670000072
Figure BDA0002017340670000073
将
Figure BDA0002017340670000074
扩展成(n+γ)维向量
Figure BDA0002017340670000075
其第(n+1)+(n+2)，…，(n+γ)个元素设为r1，r2，...，rγ；
Figure BDA0002017340670000076
加密：
Figure BDA0002017340670000077
返回{CH，CM，Ca}。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的移动终端。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的物联网终端设备。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的智能家居。
综上所述，本发明的优点及积极效果为：本发明实现了数据资源的隐私保护；在数据传输前对其加密，并且在数据处理过程中保持了加密状态，大大提高了数据的隐私性和安全性，防止物联网终端设备的数据泄露，并且将泄漏损失降到最低。本发明可以抵御多种网络攻击手段，例如可以抵御中间人攻击，恶意篡改，重放攻击等，大大增强了数据传输的安全性；采用TrustZone技术，保证了密钥在本地的安全，使攻击者的破坏更加难以实现。同时还将通信开销与算法空间复杂度降到最低，以满足物联网设备的硬件条件。
经测试从发出请求到收到回复的声纹识别服务的整体性能。考虑到向量维度n是影响方案最重要的因素，i-vector向量投射维度选取从150-350。本发明在安全性相当的基础上，整体性能也优于对比方案，时间开销只有对比方案的40％，且与未进行隐私保护的声纹识别方案相比，增加的时间开销可以忽略不计。在实际通信网络环境的测试中，使用最新安卓手机作为客户端进行测试，需要2，1s，完全不影响用户日常生活中的实际使用。
本发明实现了数据资源的隐私保护；在数据传输前对其加密，并且在数据处理过程中保持了加密状态，大大提高了数据的隐私性和安全性，防止物联网终端设备的数据泄露，并且将泄漏损失降到最低。
附图说明
图1是本发明实施例提供的面向物联网服务隐私保护声纹识别系统的结构示意图。
图2是本发明实施例提供的面向物联网服务隐私保护声纹识别方法流程图。
图3是本发明实施例提供的系统初始化流程图。
图4是本发明实施例提供的用户声纹注册流程图。
图5是本发明实施例提供的用户声纹识别流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有的声纹识别方法存在识别准确度与通信开销和时间开销无法兼顾，用户数据无加密；在应用中会造成用户隐私泄露，且容易被伪造声纹攻击以及认错率高或者通信开销大的问题。本发明在不影响声纹识别效率的情况下实现了声纹识别中的用户数据隐私保护，可用于实际生活中物联网环境下为用户提供隐私高效的声纹登录认证系统。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的面向物联网服务隐私保护声纹识别系统包括：
客户端，用于录入用户信息和语音并提取特征向量，并且将特征向量加密后发送给物联网终端设备。
物联网终端设备，用于保存用户信息和加密过的语音特征向量，并且在识别时计算特征向量的匹配程度，返回一个识别结果。
模型训练端，用于完成系统初始化，预先设置好计算中要用到的矩阵。
客户端进一步包括：
密钥管理模块，包括密钥生成子模块、可信存储子模块(TrustZone)；用于生成安全加密模块进行加密计算时所需的密钥，并将注册时生成的密钥存储在本地，在识别时提取出使用。
安全加密模块，包括注册加密子模块、识别加密子模块；用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给物联网终端设备。
用户信息采集模块，包括声纹数据采集子模块、身份信息采集子模块；用于采集用户的语音信息和身份信息，并生成声纹特征向量。
物联网终端设备进一步包括：
信息存储模块，包括加密向量存储子模块、身份信息存储子模块；用于存储客户端上传的已加密的声纹特征向量和用户身份信息，并在识别阶段提供用户注册时输入的声纹特征向量。
身份识别模块，包括识别信息计算子模块；用于在用户进行身份识别时，对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量，产生识别结果并发送给客户端。
模型训练端进一步包括：
数据处理模块，包括语音数据集预处理子模块、系数提取子模块；用于对语音数据进行滤波、降噪等预处理和对预处理后的语音数据提取相应的梅尔倒谱系数(MFCC)矩阵；
系统初始化模块，包括背景模型生成子模块、变量空间生成子模块；用于完成系统初始化步骤，基于提取的MFCC矩阵集训练通用背景模型矩阵，训练投影矩阵，扩展投影矩阵，然后发送给客户端；
Plda参数计算模块，包括线性判别矩阵生成子模块、概率线性判别参数生成子模块；用于训练线性判别矩阵(LDA)及概率线性判别(PLDA)参数。
面向物联网服务隐私保护声纹识别方法及系统、移动终端
如图2所示，本发明实施例提供的面向物联网服务的隐私保护声纹识别方法包括以下步骤：
S201：系统初始化，模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端；
S202：用户声纹注册步骤，客户端收集用户的身份信息以及语音的特征向量，然后随机生成密钥并发送给安全加密模块和可信存储模块(TrustZone)，由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备；
S203：用户声纹识别步骤，客户端收集用户的语音特征向量并发送给安全模块，安全模块从存储模块提取密钥加密特征向量，然后上传给物联网终端设备。物联网终端设备根据注册数据计算识别结果，最后将结果发送给客户端。
下面结合附图对本发明的应用原理作进一步的描述。
如图1所示，本发明实施例提供的面向物联网服务的隐私保护声纹识别系统包括客户端、物联网终端设备和模型训练端三个组成部分。其中：
客户端负责用户声纹数据和身份信息的采集，生成加密所需的密钥，并在本地对声纹数据和身份信息进行安全加密，然后上传给物联网终端设备。
模型训练端完成系统初始化，预先设置好计算中要用到的矩阵。
物联网终端设备存储已加密的用户的注册声纹数据和身份信息数据，并且在用户申请登录识别时，接受已加密的用户的识别声纹数据和身份信息数据，然后进行对比计算，并将识别结果返回给客户端。
客户端，包括：用户信息采集模块，密钥管理模块，安全加密模块。
该用户信息采集模块，用于采集用户的声纹信息和身份信息，并生成声纹特征向量we和身份信息Ii，然后将{we，Ii}发送给安全加密模块。
该密钥管理模块，用于随机生成密钥M1，M2和H并将密钥存储起，然后发送给安全加密模块。
该安全加密模块，用于在用户注册时，将用户的声纹特征向量we和身份信息Ii加密生成Ci，Ce，然后上传给物联网终端设备；在用户登录识别时，将用户的声纹特征向量wa和身份信息Ii加密生成CM，CH，Ca，然后上传给物联网终端设备。
物联网终端设备，包括：信息存储模块，身份识别模块。
该信息存储模块，用于存储用户在注册时客户端上传的已加密的声纹特征向量Ci，Ce和身份信息Ii，并在用户进行登录识别时提取出进行识别计算。
该身份识别模块，用于在用户申请登录识别操作时，对识别时输入的声纹特征向量CM，CH，Ca和注册时输入的声纹特征向量Ci，Ce进行比较计算，并将识别结果返回给客户端。
模型训练端，包括：数据处理模块，系统初始化模块，Plda参数计算模块
该数据处理模块，用于对语音数据进行滤波、降噪等预处理，并对预处理后的语音数据集提取相应的梅尔倒谱系数(MFCC)矩阵。
该系统初始化模块，用于基于提取的MFCC矩阵集训练通用背景模型参数ubm＝w，μ，∑和从通用背景模型中训练总因子变量空间，并且将该子空间转化成矩阵T。
该Plda参数计算模块，用于根据提取的MFCC矩阵集算出线性判别分析矩阵P与概率线性判别参数plda＝{Uk，Λ，Q}。其中Φ为UBM训练的结果矩阵。
如图3-图5所示，本发明面向物联网服务的隐私保护声纹识别方法，包括如下步骤：
步骤一，系统初始化。
(1)预处理语音数据集
服务提供商首先运行语音预处理算法进行滤波、降噪等处理。
(2)提取梅尔倒谱系数
服务提供商根据现有的梅尔倒谱系数(MFCC)提取算法对预处理后的语音数据集提取相应的MFCC矩阵。
(3)训练通用背景模型
基于提取的MFCC矩阵集，服务提供商训练通用背景模型参数ubm＝w，μ，∑,其中，w为通用背景模型的权重，μ是模型的均值，∑为模型的方差。
(4)训练总因子变量空间
基于提取的MFCC矩阵，服务提供商从通用背景模型中训练总因子变量空间，并且将该子空间转化成矩阵T。
(5)训练线性判别矩阵(LDA)及概率线性判别(PLDA)参数
服务提供商根据提取的MFCC矩阵集，按照下述公式及训练算法，计算出线性判别分析矩阵P与概率线性判别参数plda＝{Uk，Λ，Q}，其中Φ为UBM训练的结果矩阵。
∑tot＝ΦφT+∑，
∑ac＝ΦΦT，
Figure BDA0002017340670000121
Figure BDA0002017340670000122
Figure BDA0002017340670000123
最后，服务提供商将{P，ubm，T}发送给用户。
(6)选择隐私保护安全等级
用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级。当γ＝0，方案达到唯密文安全等级。当γ＝1，方案达到已知样本安全等级。当γ≥2时，达到选择明文安全等级。
(7)初始化密钥
客户端随机生成包含两个(n+γ)随机可逆矩阵M1，M2和一个(n+γ)阶随机向量H。
步骤二，用户声纹注册步骤。
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板we＝[we1，we2，…，wem]以及生成用户信息Ii。
(2)客户端将{we，Ii}发送给加密模块。
(3)加密模块按照注册阶段i-vector加密算法进行加密得到：{Ci，Ce}，加密算法具体如下:
(3，1)输入：i-vector向量we，LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure BDA0002017340670000131
(n+γ)维向量H；
(3，2)信道补偿：
Figure BDA0002017340670000132
(3，3)
Figure BDA0002017340670000133
(3，4)
Figure BDA0002017340670000134
(3，5)将Te扩展成(n+γ)维向量
Figure BDA0002017340670000135
其第(n+1)，(n+2)，…，(n+γ)个元素均设为1；
(3，6)向量对角化:
Figure BDA0002017340670000136
(3，7)WD＝D×A,其中A是(n+γ)×(n+γ)阶矩阵，并且Ai×HT＝1，A＝[A1，A2，，A(n+γ)]T；
(3，8)加密：Ci＝M1×WD×M2；
(3，9)输出:加密后的密文{Ci，Ce}；
(4)客户端将密钥{M1，M2，H}存在可信域中，防止其他应用窥探。
(5)客户端将{Ii，Ci，Ce}上传给物联网终端设备。
步骤三，用户声纹登录识别步骤。
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板wa＝[wa1，wa2，…，wam]以及用户信息Ii；
(2)客户端将{wa，Ii}发送给加密模块。
(3)将可信域中的密钥{M1，M2，H}发送给加密模块。
(4)客户端随机生成γ维的向量r发送给加密模块。
(5)加密模块按照识别阶段i-vector加密算法进行加密得到：{CH，CM，Ca}，加密算法具体如下：
(5，1)输入：i-vector向量wa，LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure BDA0002017340670000141
(n+γ)维向量H,γ维随机向量r；
(5，2)信道补偿：
Figure BDA0002017340670000142
(5，3)
Figure BDA0002017340670000143
(5，4)计算类范数
Figure BDA0002017340670000144
(5，5)
Figure BDA0002017340670000145
(5，6)将
Figure BDA0002017340670000146
扩展成(n+γ)维向量
Figure BDA0002017340670000147
其第(n+1)，(n+2)，…，(n+γ)个元素设为r1，r2，...，rγ；
(5，7)
Figure BDA0002017340670000148
(5，8)加密：
Figure BDA0002017340670000149
(5，9)输出:加密后的密文{CH，CM，Ca}；
(6)用户将{CH，CM，Ca}上传给物联网终端设备；
(7)物联网终端设备使用用户查询的{CH，CM，Ca}针对数据库中的每一个注册模板对使用下式计算：
Vi＝Ce+Ca+CM×Ci×CH，
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果。在为所有加密i-vector Ci计算所有Vi之后，物联网终端设备可以找到与wa具有最大相似度的{Ii，Ci，Ce}。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种面向物联网服务隐私保护声纹识别系统，其特征在于，所述面向物联网服务隐私保护声纹识别系统包括：
模型训练端，用于完成系统初始化，预先设置好计算中要用到的矩阵；
客户端，用于用户声纹数据和身份信息的采集，生成和保存加密所需的密钥，并在本地对声纹数据和身份信息进行安全加密，然后上传给服务端；
客户端进一步包括：
密钥管理模块，包括密钥生成子模块、可信存储模块；用于生成安全加密模块进行加密计算时所需的密钥，并将注册时生成的密钥存储在本地，在识别时提取出使用；
注册i-vector加密算法具体包括：
输入：i-vector向量we，LDA矩阵P，(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure FDA0003511436360000011
(n+γ)维向量H；
输出：加密后的密文{Ci，Ce}
信道补偿：
Figure FDA0003511436360000012
Figure FDA0003511436360000013
Figure FDA0003511436360000014
将Te扩展成(n+γ)维向量
Figure FDA0003511436360000015
其第(n+1)，(n+2)，…，(n+γ)个元素均设为1；
向量对角化：
Figure FDA0003511436360000016
WD＝D×A，其中A是(n+γ)×(n+γ)阶矩阵，并且Ai×HT＝1，A＝[A1，A2，…，A(n+γ)]T
加密：Ci＝M1×WD×M2
返回Ci，Ce；
安全加密模块，包括注册加密子模块、识别加密子模块；用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给服务端；
用户信息采集模块，包括声纹数据采集子模块、身份信息采集子模块；用于采集用户的语音信息和身份信息，并生成声纹特征向量；
物联网终端设备，存储已加密的用户的注册声纹数据和身份信息数据，并且在用户申请登录识别时，接受已加密的用户的识别声纹数据和身份信息数据，然后进行对比计算，并将识别结果返回给客户端；
所述服务端进一步包括：
信息存储模块，包括加密向量存储子模块、身份信息存储子模块；用于存储客户端上传的已加密的声纹特征向量和用户身份信息，并在识别阶段提供用户注册时输入的声纹特征向量；
身份识别模块，包括识别信息计算子模块；用于在用户进行身份识别时，对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量，产生识别结果并发送给客户端；
所述服务端进一步包括：
系统初始化模块，包括背景模型生成子模块、变量空间生成子模块；用于完成系统初始化步骤，训练通用背景模型矩阵，训练总因子变量空间，然后发送给客户端；
数据处理模块，包括语音数据集预处理子模块、系数提取子模块；用于对语音数据进行滤波、降噪预处理和对预处理后的语音数据提取相应的梅尔倒谱系数MFCC矩阵；
Plda参数计算模块，包括线性判别矩阵生成子模块、概率线性判别参数生成子模块；用于训练线性判别矩阵LDA及概率线性判别PLDA参数。
2.一种如权利要求1所述面向物联网服务的隐私保护声纹识别系统的面向物联网服务的隐私保护声纹识别方法，其特征在于，所述面向物联网服务的隐私保护声纹识别方法包括：
步骤一，系统初始化，模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端；之后客户端选择隐私保护安全等级和初始化密钥；
步骤二，用户声纹注册步骤，客户端收集用户的身份信息以及语音的特征向量，然后随机生成密钥并发送给安全加密模块和可信存储模块，由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备；
注册i-vector加密算法具体包括：
输入：i-vector向量we，LDA矩阵P，(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure FDA0003511436360000031
(n+γ)维向量H；
输出：加密后的密文{Ci，Ce}
信道补偿：
Figure FDA0003511436360000032
Figure FDA0003511436360000033
Figure FDA0003511436360000034
将Te扩展成(n+γ)维向量
Figure FDA0003511436360000035
其第(n+1)，(n+2)，…，(n+γ)个元素均设为1；
向量对角化：
Figure FDA0003511436360000036
WD＝D×A，其中A是(n+γ)×(n+γ)阶矩阵，并且Ai×HT＝1，A＝[A1，A2，…，A(n+γ)]T
加密：Ci＝M1×WD×M2
返回Ci，Ce；
步骤三，用户声纹识别步骤，客户端收集用户的语音特征向量并发送给安全模块，安全加密模块从可信存储模块提取密钥加密特征向量，然后上传给物联网终端设备；物联网终端设备根据注册数据计算识别结果，最后将结果发送给客户端。
3.如权利要求2所述的面向物联网服务的隐私保护声纹识别方法，其特征在于，所述面向物联网服务的隐私保护声纹识别方法具体包括：
步骤一，系统初始化；
(1)预处理语音数据集，服务提供商首先运行语音预处理算法进行滤波、降噪处理；
(2)提取梅尔倒谱系数；服务提供商根据现有的梅尔倒谱系数MFCC提取算法对预处理后的语音数据集提取相应的MFCC矩阵；
(3)训练通用背景模型，基于提取的MFCC矩阵集，服务提供商训练通用背景模型参数ubm＝w，μ，∑，其中，w为通用背景模型的权重，μ是模型的均值，Σ为模型的方差；
(4)训练总因子变量空间，基于提取的MFCC矩阵，服务提供商从通用背景模型中训练总因子变量空间，并且将总因子变量空间转化成矩阵T；
(5)训练线性判别矩阵LDA及概率线性判别PLDA参数；服务提供商根据提取的MFCC矩阵集，按照下述公式及训练算法，计算出线性判别分析矩阵P与概率线性判别参数plda＝{Uk，Λ，Q}；其中Φ为UBM训练的结果矩阵；
Σtot＝ΦΦT+Σ，
Σac＝ΦΦT，
Figure FDA0003511436360000041
Figure FDA0003511436360000042
Figure FDA0003511436360000043
服务提供商将{P，ubm，T}发送给用户；
(6)选择隐私保护安全等级，用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级；当γ＝0，方案达到唯密文安全等级；当γ＝1，方案达到已知样本安全等级；当γ≥2时，达到选择明文安全等级；
(7)初始化密钥，客户端随机生成包含两个(n+γ)随机可逆矩阵M1，M2和一个(n+γ)阶随机向量H；
步骤二，用户声纹注册步骤：
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板we＝[we1，we2，…，wem]以及生成用户信息Ii；
(2)客户端将{we，Ii}发送给加密模块；
(3)加密模块按照注册阶段i-vector加密算法进行加密得到：{Ci，Ce}；
(4)客户端将密钥{M1，M2，H}存在可信域中，防止其他应用窥探；
(5)客户端将{Ii，Ci，Ce}上传给物联网终端设备；
步骤三，用户声纹识别步骤：
(1)客户端根据i-vector提取算法使用{P，ubm，T}从自己的语音中提取i-vector声纹模板wa＝[wa1，wa2，…，wam]以及用户信息Ii；
(2)客户端将{wa，Ii}发送给加密模块；
(3)将可信域中的密钥{M1，M2，H}发送给加密模块；
(4)客户端随机生成γ维的向量r发送给加密模块；
(5)加密模块按照识别阶段i-vector加密算法进行加密得到：{CH，CM，Ca}；
(6)用户将{CH，CM，Ca}上传给物联网终端设备；
(7)物联网终端设备使用用户查询的{CH，CM，Ca}针对数据库中的每一个注册模板对使用下式计算：
Vi＝Ce+Ca+CM×Ci×CH；
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果；在为所有加密i-vector Ci计算所有Vi之后，物联网终端设备可以找到与wa具有最大相似度的{Ii，Ci，Ce}。
4.如权利要求2所述的面向物联网服务的隐私保护声纹识别方法，其特征在于，识别i-vector加密算法具体包括：
输入：i-vector向量wa，LDA矩阵P，(n+γ)×(n+γ)随机可逆矩阵M1，M2；UBM矩阵参数
Figure FDA0003511436360000051
(n+γ)维向量H，γ维随机向量r；
输出：加密后的密文{CH，CM，Ca}
信道补偿：
Figure FDA0003511436360000052
Figure FDA0003511436360000053
计算类范数
Figure FDA0003511436360000054
Figure FDA0003511436360000055
将
Figure FDA0003511436360000056
扩展成(n+γ)维向量
Figure FDA0003511436360000057
其第(n+1)，(n+2)，…，(n+γ)个元素设为r1，r2，...，rγ；
Figure FDA0003511436360000058
加密：
Figure FDA0003511436360000059
返回{CH，CM，Ca}。
CN201910267624.2A 2019-04-03 2019-04-03 面向物联网服务隐私保护声纹识别方法及系统、移动终端 Active CN110166424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910267624.2A CN110166424B (zh) 2019-04-03 2019-04-03 面向物联网服务隐私保护声纹识别方法及系统、移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910267624.2A CN110166424B (zh) 2019-04-03 2019-04-03 面向物联网服务隐私保护声纹识别方法及系统、移动终端

Publications (2)

Publication Number Publication Date
CN110166424A CN110166424A (zh) 2019-08-23
CN110166424B true CN110166424B (zh) 2022-03-25

Family

ID=67638464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267624.2A Active CN110166424B (zh) 2019-04-03 2019-04-03 面向物联网服务隐私保护声纹识别方法及系统、移动终端

Country Status (1)

Country Link
CN (1) CN110166424B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185395B (zh) * 2020-09-04 2021-04-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于差分隐私的联邦声纹识别方法
CN112733114B (zh) * 2021-01-14 2022-03-29 天津大学 一种面向智能家居的隐私保护人脸识别系统及方法
CN112820302B (zh) * 2021-01-28 2024-04-12 Oppo广东移动通信有限公司 声纹识别方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660413A (zh) * 2015-01-28 2015-05-27 中国科学院数据与通信保护研究教育中心 一种声纹口令认证方法和装置
CN106601258A (zh) * 2016-12-12 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于改进的lsda算法进行信道补偿的说话人识别方法
CN106685993A (zh) * 2017-02-17 2017-05-17 安徽金猫数字科技有限公司 一种基于语音识别的安全认证系统
CN107146601A (zh) * 2017-04-07 2017-09-08 南京邮电大学 一种用于说话人识别系统的后端i‑vector增强方法
CN108718240A (zh) * 2018-06-08 2018-10-30 浙江捷尚人工智能研究发展有限公司 基于全同态加密的认证方法、电子设备、存储介质及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019014425A1 (en) * 2017-07-13 2019-01-17 Pindrop Security, Inc. SAFE PARTY WITH SEVERAL PARTIES KNOWING NO VOICE IMPRESSIONS
US11410175B2 (en) * 2017-09-13 2022-08-09 Walrus Security, Inc. System and method for authentication with out-of-band user interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660413A (zh) * 2015-01-28 2015-05-27 中国科学院数据与通信保护研究教育中心 一种声纹口令认证方法和装置
CN106601258A (zh) * 2016-12-12 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于改进的lsda算法进行信道补偿的说话人识别方法
CN106685993A (zh) * 2017-02-17 2017-05-17 安徽金猫数字科技有限公司 一种基于语音识别的安全认证系统
CN107146601A (zh) * 2017-04-07 2017-09-08 南京邮电大学 一种用于说话人识别系统的后端i‑vector增强方法
CN108718240A (zh) * 2018-06-08 2018-10-30 浙江捷尚人工智能研究发展有限公司 基于全同态加密的认证方法、电子设备、存储介质及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
声纹特征模板保护方法研究;朱华虹;《中国优秀博士期刊论文信息科技辑》;20140615;正文"2.2"，"5.2" *

Also Published As

Publication number Publication date
CN110166424A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN109802942B (zh) 一种隐私保护的声纹认证方法
CN110166424B (zh) 面向物联网服务隐私保护声纹识别方法及系统、移动终端
JP6290508B2 (ja) 多因子の取消可能なバイオメトリックデータに基づく認証
Linnartz et al. New shielding functions to enhance privacy and prevent misuse of biometric templates
US8443201B2 (en) Biometric authentication system, enrollment terminal, authentication terminal and authentication server
CN112733114B (zh) 一种面向智能家居的隐私保护人脸识别系统及方法
CN108959933A (zh) 用于基于风险的认证的风险分析装置及方法
CN111241514B (zh) 一种基于人脸验证系统的安全人脸验证方法
JP2017531237A (ja) 多因子のキャンセル可能なバイオメトリックデータに基づく認証
KR102002903B1 (ko) 화자 인증 방법 및 음성인식 시스템
Bhattasali et al. A survey of security and privacy issues for biometrics based remote authentication in cloud
CN107395369B (zh) 面向移动互联网自带设备的认证方法、访问方法及系统
US11030292B2 (en) Authentication using sound based monitor detection
Wang et al. Electromagnetic radiation based continuous authentication in edge computing enabled internet of things
CN112491844A (zh) 一种基于可信执行环境的声纹及面部识别验证系统及方法
KR20210032088A (ko) 복수의 검증 서버들과 연동하여 생체 인증을 기초로 생성된 전자 서명 데이터의 검증을 수행하는 사용자 인증 서버 및 그 동작 방법
Zhu et al. QuickAuth: two-factor quick authentication based on ambient sound
Nagakrishnan et al. A robust cryptosystem to enhance the security in speech based person authentication
CN114996727A (zh) 基于掌纹掌静脉识别的生物特征隐私加密方法及系统
CN114547589A (zh) 保护隐私的用户注册、用户认证方法及装置
CN114090994A (zh) 一种基于区块链的人脸识别认证方法及系统
Pienaar et al. Smartphone: The key to your connected smart home
CN111131153B (zh) 基于5g云雾混构统一认证平台的生物身份信息认证方法
CN111275855A (zh) 一种门锁控制方法、装置、系统、电子设备及存储介质
CN114339751B (zh) 终端接入认证方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant