CN110166424A - 面向物联网服务隐私保护声纹识别方法及系统、移动终端 - Google Patents
面向物联网服务隐私保护声纹识别方法及系统、移动终端 Download PDFInfo
- Publication number
- CN110166424A CN110166424A CN201910267624.2A CN201910267624A CN110166424A CN 110166424 A CN110166424 A CN 110166424A CN 201910267624 A CN201910267624 A CN 201910267624A CN 110166424 A CN110166424 A CN 110166424A
- Authority
- CN
- China
- Prior art keywords
- internet
- vector
- user
- client
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000001755 vocal effect Effects 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000000605 extraction Methods 0.000 claims description 21
- 230000001149 cognitive effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 238000011946 reduction process Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013475 authorization Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明属于物联网信息安全技术领域,公开了一种面向物联网服务隐私保护声纹识别方法及系统、移动终端;模型训练端对公开的数据集进行通用背景模型的训练;客户端采集用户语音信息和身份信息,将已加密的特征向量和身份信息合并成注册用户模版发送给物联网终端设备;客户端采集用户语音信息和身份信息,采用认证i‑vector加密算法将特征向量加密,并将已加密的特征向量和身份信息合并成认证用户模版发送给物联网终端设备;物联网终端设备进行比较计算,得出识别结果并返回给客户端。本发明在不影响声纹识别效率的情况下实现了声纹识别中的用户数据隐私保护,可用于实际生活中物联网环境下为用户提供隐私高效的声纹登录认证系统。
Description
技术领域
本发明属于物联网信息安全技术领域,尤其涉及一种面向物联网服务隐私保护声纹识别方法及系统、移动终端。
背景技术
目前,最接近的现有技术:智能家居是在物联网的影响下家居环境物联化的体现。智能家居通过物联网技术将家中的各种设备(门禁系统、访问控制系统、音视频设备、照明系统、窗帘控制、空调控制、安防系统、网络家电等)连接到一起,提供家电控制、照明控制、窗帘控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。然而,由于大多数智能家居设备的CPU、内存容量、电池寿命等资源是受限的,研究人员在设计之初很少考虑智能家居中的安全性、隐私性问题,而且传统网络中的安全机制往往不适用于智能家居,使得智能家居在安全方面面临着严峻挑战。并且随着信息科技与人工智能的日益发展,基于生物特征的身份识别是现在及未身份识别的主要发展方向。声纹识别由于其低成本、非接触、可远程及易于实现等优势,在身份识别中的地位日益增加。然而,声纹识别系统存在很多安全威胁。尤其是:一旦攻击者获取了服务提供者存储在数据库中用户们的声纹模板数据,那么这些攻击者/服务提供者可以根据这些模板数据在其他声纹识别系统中进行威胁最大的欺骗攻击即生成对应的语音假冒用户通过各项声纹识别系统的检测。因此,考虑到隐私保护和识别效率的需求,实现一个面向物联网服务的隐私保护声纹识别系统是具有挑战性的。为了找出一种解决上述问题的方法,人们提出了一些解决方案,其中:现有技术一“基于人工智能的声纹认证方法及装置”公开了一种基于人工智能的声纹认证方法以及装置。这种方法具体是让用户阅读一段特定语音,并将用户语音分成N段。根据性别分类模型和N段语音确定用户的性别标签;以及根据性别标签和N段语音生成用户的注册声纹模型。通过先获取该用户的性别标签,之后根据该性别标签使用不同的模型以生成对应的注册声纹模型,使得在登录时提高了声纹密码作为认证手段的可用性,提高了声纹匹配的性能。但是该方法由于设计者考虑不周,存在声纹模型没有加密,用户数据隐私没有被保护的问题。一旦声纹模型被窃取,不但用户隐私会泄漏,攻击者还可以伪装成用户进行认证,会造成极大危害。
综上所述,现有技术存在的问题是:现有的声纹识别方法存在识别准确度与通信开销和时间开销无法兼顾,用户数据无加密;在应用中会造成用户隐私泄露,且容易被伪造声纹攻击以及认错率高或者通信开销大。
解决上述技术问题的难度:传统的声纹识别技术没有加密模块,一旦系统被攻击就容易泄露用户隐私,同时攻击者还可以伪装用户进行识别,使系统风险大大提高。而同态加密技术又会带较大的通信开销和计算时间,物联网终端设备的硬件条件无法支持如此巨大的开销。
解决上述技术问题的意义:需要为物联网环境下声纹识别找到新型高效隐私保护的加密方法,能够在不影响声纹识别效率和准确率的情况下,实现用户隐私数据的保护,即使数据被窃取也无法被利用。
发明内容
针对现有技术存在的问题,本发明提供了一种面向物联网服务隐私保护声纹识别方法及系统、移动终端。
本发明是这样实现的,一种面向物联网服务隐私保护声纹识别系统,所述面向物联网服务隐私保护声纹识别系统包括:
模型训练端,用于完成系统初始化,预先设置好计算中要用到的矩阵;
客户端,用于用户声纹数据和身份信息的采集,生成和保存加密所需的密钥,并在本地对声纹数据和身份信息进行安全加密,然后上传给服务端;
客户端进一步包括:
密钥管理模块,包括密钥生成子模块、可信存储模块;用于生成安全加密模块进行加密计算时所需的密钥,并将注册时生成的密钥存储在本地,在识别时提取出使用;
安全加密模块,包括注册加密子模块、识别加密子模块;用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给服务端;
用户信息采集模块,包括声纹数据采集子模块、身份信息采集子模块;用于采集用户的语音信息和身份信息,并生成声纹特征向量;
物联网终端设备,存储已加密的用户的注册声纹数据和身份信息数据,并且在用户申请登录识别时,接受已加密的用户的识别声纹数据和身份信息数据,然后进行对比计算,并将识别结果返回给客户端。
所述服务端进一步包括:
信息存储模块,包括加密向量存储子模块、身份信息存储子模块;用于存储客户端上传的已加密的声纹特征向量和用户身份信息,并在识别阶段提供用户注册时输入的声纹特征向量;
身份识别模块,包括识别信息计算子模块;用于在用户进行身份识别时,对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量,产生识别结果并发送给客户端。
所述服务端进一步包括:
系统初始化模块,包括背景模型生成子模块、变量空间生成子模块;用于完成系统初始化步骤,训练通用背景模型矩阵,训练总因子变量空间,然后发送给客户端;
数据处理模块,包括语音数据集预处理子模块、系数提取子模块;用于对语音数据进行滤波、降噪预处理和对预处理后的语音数据提取相应的梅尔倒谱系数MFCC矩阵;
Plda参数计算模块,包括线性判别矩阵生成子模块、概率线性判别参数生成子模块;用于训练线性判别矩阵LDA及概率线性判别PLDA参数。
本发明的另一目的在于提供一种执行所述面向物联网服务的隐私保护声纹识别系统的面向物联网服务的隐私保护声纹识别方法,所述面向物联网服务的隐私保护声纹识别方法包括:
步骤一,系统初始化,模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端;之后客户端选择隐私保护安全等级和初始化密钥;
步骤二,用户声纹注册步骤,客户端收集用户的身份信息以及语音的特征向量,然后随机生成密钥并发送给安全加密模块和可信存储模块,由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备;
步骤三,用户声纹识别步骤,客户端收集用户的语音特征向量并发送给安全模块,安全加密模块从可信存储模块提取密钥加密特征向量,然后上传给物联网终端设备;物联网终端设备根据注册数据计算识别结果,最后将结果发送给客户端。
进一步,所述面向物联网服务的隐私保护声纹识别方法具体包括:
步骤一,系统初始化;
(1)预处理语音数据集,服务提供商首先运行语音预处理算法进行滤波、降噪处理;
(2)提取梅尔倒谱系数;服务提供商根据现有的梅尔倒谱系数MFCC提取算法对预处理后的语音数据集提取相应的MFCC矩阵;
(3)训练通用背景模型,基于提取的MFCC矩阵集,服务提供商训练通用背景模型参数ubm=w,μ,∑,其中,w为通用背景模型的权重,μ是模型的均值,∑为模型的方差;
(4)训练总因子变量空间,基于提取的MFCC矩阵,服务提供商从通用背景模型中训练总因子变量空间,并且将该子空间转化成矩阵T;
(5)训练线性判别矩阵LDA及概率线性判别PLDA参;服务提供商根据提取的MFCC矩阵集,按照下述公式及训练算法,计算出线性判别分析矩阵P与概率线性判别参数plda={Uk,Λ,Q};其中Φ为UBM训练的结果矩阵;
∑tot=ΦΦT+∑,
∑ac=ΦΦT,
服务提供商将{P,ubm,T}发送给用户;
(6)选择隐私保护安全等级,用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级;当γ=0,方案达到唯密文安全等级;当γ=1,方案达到已知样本安全等级;当γ≥2时,达到选择明文安全等级;
(7)初始化密钥,客户端随机生成包含两个(n+γ)随机可逆矩阵M1,M2和一个(n+γ)阶随机向量H;
步骤二,用户声纹注册步骤:
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板we=[we1,we2,…,wem]以及生成用户信息Ii;
(2)客户端将{we,Ii}发送给加密模块;
(3)加密模块按照注册阶段i-vector加密算法进行加密得到:{Ci,Ce};
(4)客户端将密钥{M1,M2,H}存在可信域中,防止其他应用窥探;
(5)客户端将{Ii,Ci,Ce}上传给物联网终端设备;
步骤三,用户声纹识别步骤:
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板wa=[wa1,wa2,…,wam]以及用户信息Ii;
(2)客户端将{wa,Ii}发送给加密模块;
(3)将可信域中的密钥{M1,M2,H}发送给加密模块;
(4)客户端随机生成γ维的向量r发送给加密模块;
(5)加密模块按照识别阶段i-vector加密算法进行加密得到:{CH,CM,Ca};
(6)用户将{CH,CM,Ca}上传给物联网终端设备;
(7)物联网终端设备使用用户查询的{CH,CM,Ca}针对数据库中的每一个注册模板对使用下式计算:
Vi=Ce+Ca+CM×Ci×CH;
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果;在为所有加密i-vector Ci计算所有Vi之后,物联网终端设备可以找到与wa具有最大相似度的{Ii,Ci,Ce}。
进一步,注册i-vector加密算法具体包括:
输入:i-vector向量we,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H;
输出:加密后的密文{Ci,Ce}
信道补偿:
将Te扩展成(n+γ)维向量其第(n+1),(n+2),…,(n+γ)个元素均设为1;
向量对角化:
WD=D×A,其中A是(n+γ)×(n+γ)阶矩阵,并且Ai×HT=1,A=[A1,A2,…,A(n+γ)]T
加密:Ci=M1×WD×M2
返回Ci,Ce。
进一步,识别i-vector加密算法具体包括:
输入:i-vector向量wa,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H,γ维随机向量r;
输出:加密后的密文{CH,CM,Ca}
信道补偿:
计算类范数
将扩展成(n+γ)维向量其第(n+1)+(n+2),…,(n+γ)个元素设为r1,r2,...,rγ;
加密:
返回{CH,CM,Ca}。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的移动终端。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的物联网终端设备。
本发明的另一目的在于提供一种应用所述的面向物联网服务的隐私保护声纹识别方法的智能家居。
综上所述,本发明的优点及积极效果为:本发明实现了数据资源的隐私保护;在数据传输前对其加密,并且在数据处理过程中保持了加密状态,大大提高了数据的隐私性和安全性,防止物联网终端设备的数据泄露,并且将泄漏损失降到最低。本发明可以抵御多种网络攻击手段,例如可以抵御中间人攻击,恶意篡改,重放攻击等,大大增强了数据传输的安全性;采用TrustZone技术,保证了密钥在本地的安全,使攻击者的破坏更加难以实现。同时还将通信开销与算法空间复杂度降到最低,以满足物联网设备的硬件条件。
经测试从发出请求到收到回复的声纹识别服务的整体性能。考虑到向量维度n是影响方案最重要的因素,i-vector向量投射维度选取从150-350。本发明在安全性相当的基础上,整体性能也优于对比方案,时间开销只有对比方案的40%,且与未进行隐私保护的声纹识别方案相比,增加的时间开销可以忽略不计。在实际通信网络环境的测试中,使用最新安卓手机作为客户端进行测试,需要2,1s,完全不影响用户日常生活中的实际使用。
本发明实现了数据资源的隐私保护;在数据传输前对其加密,并且在数据处理过程中保持了加密状态,大大提高了数据的隐私性和安全性,防止物联网终端设备的数据泄露,并且将泄漏损失降到最低。
附图说明
图1是本发明实施例提供的面向物联网服务隐私保护声纹识别系统的结构示意图。
图2是本发明实施例提供的面向物联网服务隐私保护声纹识别方法流程图。
图3是本发明实施例提供的系统初始化流程图。
图4是本发明实施例提供的用户声纹注册流程图。
图5是本发明实施例提供的用户声纹识别流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有的声纹识别方法存在识别准确度与通信开销和时间开销无法兼顾,用户数据无加密;在应用中会造成用户隐私泄露,且容易被伪造声纹攻击以及认错率高或者通信开销大的问题。本发明在不影响声纹识别效率的情况下实现了声纹识别中的用户数据隐私保护,可用于实际生活中物联网环境下为用户提供隐私高效的声纹登录认证系统。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发明实施例提供的面向物联网服务隐私保护声纹识别系统包括:
客户端,用于录入用户信息和语音并提取特征向量,并且将特征向量加密后发送给物联网终端设备。
物联网终端设备,用于保存用户信息和加密过的语音特征向量,并且在识别时计算特征向量的匹配程度,返回一个识别结果。
模型训练端,用于完成系统初始化,预先设置好计算中要用到的矩阵。
客户端进一步包括:
密钥管理模块,包括密钥生成子模块、可信存储子模块(TrustZone);用于生成安全加密模块进行加密计算时所需的密钥,并将注册时生成的密钥存储在本地,在识别时提取出使用。
安全加密模块,包括注册加密子模块、识别加密子模块;用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给物联网终端设备。
用户信息采集模块,包括声纹数据采集子模块、身份信息采集子模块;用于采集用户的语音信息和身份信息,并生成声纹特征向量。
物联网终端设备进一步包括:
信息存储模块,包括加密向量存储子模块、身份信息存储子模块;用于存储客户端上传的已加密的声纹特征向量和用户身份信息,并在识别阶段提供用户注册时输入的声纹特征向量。
身份识别模块,包括识别信息计算子模块;用于在用户进行身份识别时,对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量,产生识别结果并发送给客户端。
模型训练端进一步包括:
数据处理模块,包括语音数据集预处理子模块、系数提取子模块;用于对语音数据进行滤波、降噪等预处理和对预处理后的语音数据提取相应的梅尔倒谱系数(MFCC)矩阵;
系统初始化模块,包括背景模型生成子模块、变量空间生成子模块;用于完成系统初始化步骤,基于提取的MFCC矩阵集训练通用背景模型矩阵,训练投影矩阵,扩展投影矩阵,然后发送给客户端;
Plda参数计算模块,包括线性判别矩阵生成子模块、概率线性判别参数生成子模块;用于训练线性判别矩阵(LDA)及概率线性判别(PLDA)参数。
面向物联网服务隐私保护声纹识别方法及系统、移动终端
如图2所示,本发明实施例提供的面向物联网服务的隐私保护声纹识别方法包括以下步骤:
S201:系统初始化,模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端;
S202:用户声纹注册步骤,客户端收集用户的身份信息以及语音的特征向量,然后随机生成密钥并发送给安全加密模块和可信存储模块(TrustZone),由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备;
S203:用户声纹识别步骤,客户端收集用户的语音特征向量并发送给安全模块,安全模块从存储模块提取密钥加密特征向量,然后上传给物联网终端设备。物联网终端设备根据注册数据计算识别结果,最后将结果发送给客户端。
下面结合附图对本发明的应用原理作进一步的描述。
如图1所示,本发明实施例提供的面向物联网服务的隐私保护声纹识别系统包括客户端、物联网终端设备和模型训练端三个组成部分。其中:
客户端负责用户声纹数据和身份信息的采集,生成加密所需的密钥,并在本地对声纹数据和身份信息进行安全加密,然后上传给物联网终端设备。
模型训练端完成系统初始化,预先设置好计算中要用到的矩阵。
物联网终端设备存储已加密的用户的注册声纹数据和身份信息数据,并且在用户申请登录识别时,接受已加密的用户的识别声纹数据和身份信息数据,然后进行对比计算,并将识别结果返回给客户端。
客户端,包括:用户信息采集模块,密钥管理模块,安全加密模块。
该用户信息采集模块,用于采集用户的声纹信息和身份信息,并生成声纹特征向量we和身份信息Ii,然后将{we,Ii}发送给安全加密模块。
该密钥管理模块,用于随机生成密钥M1,M2和H并将密钥存储起,然后发送给安全加密模块。
该安全加密模块,用于在用户注册时,将用户的声纹特征向量we和身份信息Ii加密生成Ci,Ce,然后上传给物联网终端设备;在用户登录识别时,将用户的声纹特征向量wa和身份信息Ii加密生成CM,CH,Ca,然后上传给物联网终端设备。
物联网终端设备,包括:信息存储模块,身份识别模块。
该信息存储模块,用于存储用户在注册时客户端上传的已加密的声纹特征向量Ci,Ce和身份信息Ii,并在用户进行登录识别时提取出进行识别计算。
该身份识别模块,用于在用户申请登录识别操作时,对识别时输入的声纹特征向量CM,CH,Ca和注册时输入的声纹特征向量Ci,Ce进行比较计算,并将识别结果返回给客户端。
模型训练端,包括:数据处理模块,系统初始化模块,Plda参数计算模块
该数据处理模块,用于对语音数据进行滤波、降噪等预处理,并对预处理后的语音数据集提取相应的梅尔倒谱系数(MFCC)矩阵。
该系统初始化模块,用于基于提取的MFCC矩阵集训练通用背景模型参数ubm=w,μ,∑和从通用背景模型中训练总因子变量空间,并且将该子空间转化成矩阵T。
该Plda参数计算模块,用于根据提取的MFCC矩阵集算出线性判别分析矩阵P与概率线性判别参数plda={Uk,Λ,Q}。其中Φ为UBM训练的结果矩阵。
如图3-图5所示,本发明面向物联网服务的隐私保护声纹识别方法,包括如下步骤:
步骤一,系统初始化。
(1)预处理语音数据集
服务提供商首先运行语音预处理算法进行滤波、降噪等处理。
(2)提取梅尔倒谱系数
服务提供商根据现有的梅尔倒谱系数(MFCC)提取算法对预处理后的语音数据集提取相应的MFCC矩阵。
(3)训练通用背景模型
基于提取的MFCC矩阵集,服务提供商训练通用背景模型参数ubm=w,μ,∑,其中,w为通用背景模型的权重,μ是模型的均值,∑为模型的方差。
(4)训练总因子变量空间
基于提取的MFCC矩阵,服务提供商从通用背景模型中训练总因子变量空间,并且将该子空间转化成矩阵T。
(5)训练线性判别矩阵(LDA)及概率线性判别(PLDA)参数
服务提供商根据提取的MFCC矩阵集,按照下述公式及训练算法,计算出线性判别分析矩阵P与概率线性判别参数plda={Uk,Λ,Q},其中Φ为UBM训练的结果矩阵。
∑tot=ΦφT+∑,
∑ac=ΦΦT,
最后,服务提供商将{P,ubm,T}发送给用户。
(6)选择隐私保护安全等级
用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级。当γ=0,方案达到唯密文安全等级。当γ=1,方案达到已知样本安全等级。当γ≥2时,达到选择明文安全等级。
(7)初始化密钥
客户端随机生成包含两个(n+γ)随机可逆矩阵M1,M2和一个(n+γ)阶随机向量H。
步骤二,用户声纹注册步骤。
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板we=[we1,we2,…,wem]以及生成用户信息Ii。
(2)客户端将{we,Ii}发送给加密模块。
(3)加密模块按照注册阶段i-vector加密算法进行加密得到:{Ci,Ce},加密算法具体如下:
(3,1)输入:i-vector向量we,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H;
(3,2)信道补偿:
(3,3)
(3,4)
(3,5)将Te扩展成(n+γ)维向量其第(n+1),(n+2),…,(n+γ)个元素均设为1;
(3,6)向量对角化:
(3,7)WD=D×A,其中A是(n+γ)×(n+γ)阶矩阵,并且Ai×HT=1,A=[A1,A2,,A(n+γ)]T;
(3,8)加密:Ci=M1×WD×M2;
(3,9)输出:加密后的密文{Ci,Ce};
(4)客户端将密钥{M1,M2,H}存在可信域中,防止其他应用窥探。
(5)客户端将{Ii,Ci,Ce}上传给物联网终端设备。
步骤三,用户声纹登录识别步骤。
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板wa=[wa1,wa2,…,wam]以及用户信息Ii;
(2)客户端将{wa,Ii}发送给加密模块。
(3)将可信域中的密钥{M1,M2,H}发送给加密模块。
(4)客户端随机生成γ维的向量r发送给加密模块。
(5)加密模块按照识别阶段i-vector加密算法进行加密得到:{CH,CM,Ca},加密算法具体如下:
(5,1)输入:i-vector向量wa,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H,γ维随机向量r;
(5,2)信道补偿:
(5,3)
(5,4)计算类范数
(5,5)
(5,6)将扩展成(n+γ)维向量其第(n+1),(n+2),…,(n+γ)个元素设为r1,r2,...,rγ;
(5,7)
(5,8)加密:
(5,9)输出:加密后的密文{CH,CM,Ca};
(6)用户将{CH,CM,Ca}上传给物联网终端设备;
(7)物联网终端设备使用用户查询的{CH,CM,Ca}针对数据库中的每一个注册模板对使用下式计算:
Vi=Ce+Ca+CM×Ci×CH,
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果。在为所有加密i-vector Ci计算所有Vi之后,物联网终端设备可以找到与wa具有最大相似度的{Ii,Ci,Ce}。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向物联网服务隐私保护声纹识别系统,其特征在于,所述面向物联网服务隐私保护声纹识别系统包括:
模型训练端,用于完成系统初始化,预先设置好计算中要用到的矩阵;
客户端,用于用户声纹数据和身份信息的采集,生成和保存加密所需的密钥,并在本地对声纹数据和身份信息进行安全加密,然后上传给服务端;
客户端进一步包括:
密钥管理模块,包括密钥生成子模块、可信存储模块;用于生成安全加密模块进行加密计算时所需的密钥,并将注册时生成的密钥存储在本地,在识别时提取出使用;
安全加密模块,包括注册加密子模块、识别加密子模块;用于分别在注册时和识别时对声纹特征向量和用户身份信息加密并发送给服务端;
用户信息采集模块,包括声纹数据采集子模块、身份信息采集子模块;用于采集用户的语音信息和身份信息,并生成声纹特征向量;
物联网终端设备,存储已加密的用户的注册声纹数据和身份信息数据,并且在用户申请登录识别时,接受已加密的用户的识别声纹数据和身份信息数据,然后进行对比计算,并将识别结果返回给客户端。
2.如权利要求1所述的面向物联网服务的隐私保护声纹识别系统,其特征在于,所述服务端进一步包括:
信息存储模块,包括加密向量存储子模块、身份信息存储子模块;用于存储客户端上传的已加密的声纹特征向量和用户身份信息,并在识别阶段提供用户注册时输入的声纹特征向量;
身份识别模块,包括识别信息计算子模块;用于在用户进行身份识别时,对比计算识别时输入的声纹特征向量和注册时输入的声纹特征向量,产生识别结果并发送给客户端。
3.如权利要求1所述的面向物联网服务的隐私保护声纹识别系统,其特征在于,所述服务端进一步包括:
系统初始化模块,包括背景模型生成子模块、变量空间生成子模块;用于完成系统初始化步骤,训练通用背景模型矩阵,训练总因子变量空间,然后发送给客户端;
数据处理模块,包括语音数据集预处理子模块、系数提取子模块;用于对语音数据进行滤波、降噪预处理和对预处理后的语音数据提取相应的梅尔倒谱系数MFCC矩阵;
Plda参数计算模块,包括线性判别矩阵生成子模块、概率线性判别参数生成子模块;用于训练线性判别矩阵LDA及概率线性判别PLDA参数。
4.一种执行权利要求1所述面向物联网服务的隐私保护声纹识别系统的面向物联网服务的隐私保护声纹识别方法,其特征在于,所述面向物联网服务的隐私保护声纹识别方法包括:
步骤一,系统初始化,模型训练端生成注册和识别阶段需要用到的矩阵并发送给客户端;之后客户端选择隐私保护安全等级和初始化密钥;
步骤二,用户声纹注册步骤,客户端收集用户的身份信息以及语音的特征向量,然后随机生成密钥并发送给安全加密模块和可信存储模块,由安全加密模块将身份信息以及特征向量加密后上传给物联网终端设备;
步骤三,用户声纹识别步骤,客户端收集用户的语音特征向量并发送给安全模块,安全加密模块从可信存储模块提取密钥加密特征向量,然后上传给物联网终端设备;物联网终端设备根据注册数据计算识别结果,最后将结果发送给客户端。
5.如权利要求4所述的面向物联网服务的隐私保护声纹识别方法,其特征在于,所述面向物联网服务的隐私保护声纹识别方法具体包括:
步骤一,系统初始化;
(1)预处理语音数据集,服务提供商首先运行语音预处理算法进行滤波、降噪处理;
(2)提取梅尔倒谱系数;服务提供商根据现有的梅尔倒谱系数MFCC提取算法对预处理后的语音数据集提取相应的MFCC矩阵;
(3)训练通用背景模型,基于提取的MFCC矩阵集,服务提供商训练通用背景模型参数ubm=w,μ,∑,其中,w为通用背景模型的权重,μ是模型的均值,∑为模型的方差;
(4)训练总因子变量空间,基于提取的MFCC矩阵,服务提供商从通用背景模型中训练总因子变量空间,并且将该子空间转化成矩阵T;
(5)训练线性判别矩阵LDA及概率线性判别PLDA参;服务提供商根据提取的MFCC矩阵集,按照下述公式及训练算法,计算出线性判别分析矩阵P与概率线性判别参数plda={Uk,Λ,Q};其中Φ为UBM训练的结果矩阵;
∑tot=ΦΦT+∑,
∑ac=ΦΦT,
服务提供商将{P,ubm,T}发送给用户;
(6)选择隐私保护安全等级,用户通过客户端设置隐私保护安全参数γ∈N选择隐私保护安全等级;当γ=0,方案达到唯密文安全等级;当γ=1,方案达到已知样本安全等级;当γ≥2时,达到选择明文安全等级;
(7)初始化密钥,客户端随机生成包含两个(n+γ)随机可逆矩阵M1,M2和一个(n+γ)阶随机向量H;
步骤二,用户声纹注册步骤:
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板we=[we1,we2,…,wem]以及生成用户信息Ii;
(2)客户端将{we,Ii}发送给加密模块;
(3)加密模块按照注册阶段i-vector加密算法进行加密得到:{Ci,Ce};
(4)客户端将密钥{M1,M2,H}存在可信域中,防止其他应用窥探;
(5)客户端将{Ii,Ci,Ce}上传给物联网终端设备;
步骤三,用户声纹识别步骤:
(1)客户端根据i-vector提取算法使用{P,ubm,T}从自己的语音中提取i-vector声纹模板wa=[wa1,wa2,…,wam]以及用户信息Ii;
(2)客户端将{wa,Ii}发送给加密模块;
(3)将可信域中的密钥{M1,M2,H}发送给加密模块;
(4)客户端随机生成γ维的向量r发送给加密模块;
(5)加密模块按照识别阶段i-vector加密算法进行加密得到:{CH,CM,Ca};
(6)用户将{CH,CM,Ca}上传给物联网终端设备;
(7)物联网终端设备使用用户查询的{CH,CM,Ca}针对数据库中的每一个注册模板对使用下式计算:
Vi=Ce+Ca+CM×Ci×CH;
(8)物联网终端设备选择结果集V中得分最高的那个作为匹配结果;在为所有加密i-vector Ci计算所有Vi之后,物联网终端设备可以找到与wa具有最大相似度的{Ii,Ci,Ce}。
6.如权利要求4所述的所述的面向物联网服务的隐私保护声纹识别方法,其特征在于,注册i-vector加密算法具体包括:
输入:i-vector向量we,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H;
输出:加密后的密文{Ci,Ce}
信道补偿:
将Te扩展成(n+γ)维向量其第(n+1),(n+2),…,(n+r)个元素均设为1;
向量对角化:
WD=D×A,其中A是(n+γ)×(n+r)阶矩阵,并且Ai×HT=1,A=[A1,A2,…,A(n+γ)]T
加密:Ci=M1×WD×M2
返回Ci,Ce。
7.如权利要求4所述的所述的面向物联网服务的隐私保护声纹识别方法,其特征在于,识别i-vector加密算法具体包括:
输入:i-vector向量wa,LDA矩阵P,(n+γ)×(n+γ)随机可逆矩阵M1,M2;UBM矩阵参数(n+γ)维向量H,γ维随机向量r;
输出:加密后的密文{CH,CM,Ca}
信道补偿:
计算类范数
将扩展成(n+γ)维向量其第(n+1),(n+2),…,(n+r)个元素设为r1,r2,...,rγ;
加密:
返回{CH,CM,Ca}。
8.一种应用权利要求4-7任意一项所述的面向物联网服务的隐私保护声纹识别方法的移动终端。
9.一种应用权利要求4-7任意一项所述的面向物联网服务的隐私保护声纹识别方法的物联网终端设备。
10.一种应用权利要求4-7任意一项所述的面向物联网服务的隐私保护声纹识别方法的智能家居。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910267624.2A CN110166424B (zh) | 2019-04-03 | 2019-04-03 | 面向物联网服务隐私保护声纹识别方法及系统、移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910267624.2A CN110166424B (zh) | 2019-04-03 | 2019-04-03 | 面向物联网服务隐私保护声纹识别方法及系统、移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110166424A true CN110166424A (zh) | 2019-08-23 |
CN110166424B CN110166424B (zh) | 2022-03-25 |
Family
ID=67638464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910267624.2A Active CN110166424B (zh) | 2019-04-03 | 2019-04-03 | 面向物联网服务隐私保护声纹识别方法及系统、移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110166424B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325322A (zh) * | 2020-02-12 | 2020-06-23 | 深圳壹账通智能科技有限公司 | 基于隐私保护的深度学习方法、系统、服务器及存储介质 |
CN112733114A (zh) * | 2021-01-14 | 2021-04-30 | 天津大学 | 一种面向智能家居的隐私保护人脸识别系统及方法 |
WO2022048143A1 (zh) * | 2020-09-04 | 2022-03-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于差分隐私的联邦声纹识别方法 |
CN114666097A (zh) * | 2022-02-25 | 2022-06-24 | 深圳极联信息技术股份有限公司 | 一种物联网设备的通信方法及系统 |
WO2022161025A1 (zh) * | 2021-01-28 | 2022-08-04 | Oppo广东移动通信有限公司 | 声纹识别方法、装置、电子设备和可读存储介质 |
CN118200905A (zh) * | 2024-03-15 | 2024-06-14 | 青岛网信信息科技有限公司 | 一种话费充值过程信息防泄露方法、介质及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104660413A (zh) * | 2015-01-28 | 2015-05-27 | 中国科学院数据与通信保护研究教育中心 | 一种声纹口令认证方法和装置 |
CN106601258A (zh) * | 2016-12-12 | 2017-04-26 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于改进的lsda算法进行信道补偿的说话人识别方法 |
CN106685993A (zh) * | 2017-02-17 | 2017-05-17 | 安徽金猫数字科技有限公司 | 一种基于语音识别的安全认证系统 |
CN107146601A (zh) * | 2017-04-07 | 2017-09-08 | 南京邮电大学 | 一种用于说话人识别系统的后端i‑vector增强方法 |
CN108718240A (zh) * | 2018-06-08 | 2018-10-30 | 浙江捷尚人工智能研究发展有限公司 | 基于全同态加密的认证方法、电子设备、存储介质及系统 |
US20190020482A1 (en) * | 2017-07-13 | 2019-01-17 | Pindrop Security, Inc. | Zero-knowledge multiparty secure sharing of voiceprints |
US20190080331A1 (en) * | 2017-09-13 | 2019-03-14 | Walrus Security, Inc. | System and method for authentication with out-of-band user interaction |
-
2019
- 2019-04-03 CN CN201910267624.2A patent/CN110166424B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104660413A (zh) * | 2015-01-28 | 2015-05-27 | 中国科学院数据与通信保护研究教育中心 | 一种声纹口令认证方法和装置 |
CN106601258A (zh) * | 2016-12-12 | 2017-04-26 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于改进的lsda算法进行信道补偿的说话人识别方法 |
CN106685993A (zh) * | 2017-02-17 | 2017-05-17 | 安徽金猫数字科技有限公司 | 一种基于语音识别的安全认证系统 |
CN107146601A (zh) * | 2017-04-07 | 2017-09-08 | 南京邮电大学 | 一种用于说话人识别系统的后端i‑vector增强方法 |
US20190020482A1 (en) * | 2017-07-13 | 2019-01-17 | Pindrop Security, Inc. | Zero-knowledge multiparty secure sharing of voiceprints |
US20190080331A1 (en) * | 2017-09-13 | 2019-03-14 | Walrus Security, Inc. | System and method for authentication with out-of-band user interaction |
CN108718240A (zh) * | 2018-06-08 | 2018-10-30 | 浙江捷尚人工智能研究发展有限公司 | 基于全同态加密的认证方法、电子设备、存储介质及系统 |
Non-Patent Citations (1)
Title |
---|
朱华虹: "声纹特征模板保护方法研究", 《中国优秀博士期刊论文信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325322A (zh) * | 2020-02-12 | 2020-06-23 | 深圳壹账通智能科技有限公司 | 基于隐私保护的深度学习方法、系统、服务器及存储介质 |
WO2022048143A1 (zh) * | 2020-09-04 | 2022-03-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于差分隐私的联邦声纹识别方法 |
CN112733114A (zh) * | 2021-01-14 | 2021-04-30 | 天津大学 | 一种面向智能家居的隐私保护人脸识别系统及方法 |
WO2022161025A1 (zh) * | 2021-01-28 | 2022-08-04 | Oppo广东移动通信有限公司 | 声纹识别方法、装置、电子设备和可读存储介质 |
CN114666097A (zh) * | 2022-02-25 | 2022-06-24 | 深圳极联信息技术股份有限公司 | 一种物联网设备的通信方法及系统 |
CN114666097B (zh) * | 2022-02-25 | 2024-05-28 | 深圳极联信息技术股份有限公司 | 一种物联网设备的通信方法及系统 |
CN118200905A (zh) * | 2024-03-15 | 2024-06-14 | 青岛网信信息科技有限公司 | 一种话费充值过程信息防泄露方法、介质及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110166424B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110166424A (zh) | 面向物联网服务隐私保护声纹识别方法及系统、移动终端 | |
Rui et al. | A survey on biometric authentication: Toward secure and privacy-preserving identification | |
CN109802942B (zh) | 一种隐私保护的声纹认证方法 | |
CN104834849B (zh) | 基于声纹识别和人脸识别的双因素身份认证方法及系统 | |
US10056084B2 (en) | Tamper-resistant element for use in speaker recognition | |
US6735695B1 (en) | Methods and apparatus for restricting access of a user using random partial biometrics | |
CN110457878A (zh) | 一种基于区块链的身份认证方法、装置及系统 | |
CN110677260B (zh) | 一种鉴权方法、装置、电子设备及存储介质 | |
KR102002903B1 (ko) | 화자 인증 방법 및 음성인식 시스템 | |
CN105069874A (zh) | 一种移动互联网声纹门禁系统及其实现方法 | |
Bhattasali et al. | A survey of security and privacy issues for biometrics based remote authentication in cloud | |
CN112733114B (zh) | 一种面向智能家居的隐私保护人脸识别系统及方法 | |
CN107395369B (zh) | 面向移动互联网自带设备的认证方法、访问方法及系统 | |
Ahmed et al. | A raspberry PI real-time identification system on face recognition | |
Ziyad et al. | Critical review of authentication mechanisms in cloud computing | |
Wang et al. | A novel template protection scheme for multibiometrics based on fuzzy commitment and chaotic system | |
CN114996727A (zh) | 基于掌纹掌静脉识别的生物特征隐私加密方法及系统 | |
Li et al. | Efficient and privacy-preserving speaker recognition for cybertwin-driven 6G | |
CN111131153B (zh) | 基于5g云雾混构统一认证平台的生物身份信息认证方法 | |
KR20010019772A (ko) | 음성비밀단어를 이용한 사용자 인증 시스템 및 방법 | |
Bhargav-Spantzel et al. | Biometrics-based identifiers for digital identity management | |
CN109450878A (zh) | 生物特征识别方法、装置以及系统 | |
Baaqeel et al. | Spoofing detection on adaptive authentication System‐A survey | |
Butt et al. | Privacy protection of biometric templates | |
Alsultan et al. | A comparative study of biometric authentication in cloud computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |