CN110675880B - 身份验证方法、装置和电子设备 - Google Patents
身份验证方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110675880B CN110675880B CN201911000640.1A CN201911000640A CN110675880B CN 110675880 B CN110675880 B CN 110675880B CN 201911000640 A CN201911000640 A CN 201911000640A CN 110675880 B CN110675880 B CN 110675880B
- Authority
- CN
- China
- Prior art keywords
- user
- environment
- identification data
- voiceprint
- identity authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012795 verification Methods 0.000 title claims description 29
- 230000005236 sound signal Effects 0.000 claims abstract description 127
- 230000007613 environmental effect Effects 0.000 claims abstract description 46
- 230000002996 emotional effect Effects 0.000 claims description 32
- 238000012790 confirmation Methods 0.000 claims 3
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000007123 defense Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001603 reducing effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
- H04L9/3231—Biological data, e.g. fingerprint, voice or retina
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Biodiversity & Conservation Biology (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Biomedical Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Lock And Its Accessories (AREA)
Abstract
本申请公开了一种身份验证方法、装置和电子设备,该方法包括:获取用户的声音信号;检测该声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;获取该用户关联的环境特征标识数据,该环境特征标识数据用于表征该用户所处的环境是否存在安全威胁;如该声音信号的声纹特征与该合法用户的声纹特征匹配,且基于该环境特征标识数据确定出该用户所处的环境不存在安全威胁,确认身份验证通过。本申请的方案可以提高身份验证的安全性和可靠性,有利于提高安全防护的可靠性。
Description
技术领域
本申请涉及安防技术领域,尤其涉及一种身份验证方法、装置和电子设备。
背景技术
身份验证是安防系统中一项较为常见的安全防护措施。如,在智能门锁系统中,在对用户的身份验证通过之后才会开启门锁;又如,在转账或者支付交易系统,需要在身份验证通过后才会响应用户请求的转账或者支付交易。
目前,安防系统的在身份验证方式仅仅是将提取到的人脸或者指纹等生物特征与预置的生物特征进行相似性比对,在相似性超过阈值的情况下,安防系统会确认身份验证通过,并执行与身份验证相关的解锁或者转账等操作。
然而,在用户被胁迫或者存在其他安全威胁的情况下,如果仅仅基于生物特征来进行身份验证并执行与身份验证相关的操作,则会使得安防系统的安全防护的可靠性过低,从而影响到用户的财产或者信息的安全性。
发明内容
有鉴于此,本申请提供了一种身份验证方法、装置和电子设备,以提高身份验证的安全性和可靠性,有利于提高安全防护的可靠性。
为实现上述目的,一方面,本申请提供了一种身份验证方法,包括:
获取用户的声音信号;
检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;
获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;
如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过。
在一种可能的情况中,所述获取所述用户关联的环境特征标识数据,包括:
在所述声音信号的声纹特征与所述合法用户的声纹特征匹配的情况下,获取所述用户关联的环境特征标识数据。
在又一种可能的情况中,所述获取所述用户关联的环境特征标识数据,包括:
识别所述声音信号所表达的用户情绪特征;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,包括:
识别出所述用户情绪特征不属于设定的危险情绪特征,所述危险情绪特征为用户在存在安全威胁的情况下所表现出的情绪特征。
优选的,所述获取所述用户关联的环境特征标识数据,还包括:
提取所述声音信号中包含的关键词;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,还包括:
确定出所述关键词属于设定的用于身份验证的第一类关键词,所述第一类关键词为在不存在安全威胁的情况下使用的关键词。
在又一种可能的情况中,所述获取所述用户关联的环境特征标识数据,包括:
获取待验证的指纹;
在所述指纹为所述合法用户的指纹的情况下,将所述指纹确定为所述用户关联的环境特征标识数据;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,包括:
识别出所述指纹属于所述合法用户的目标手指的指纹,所述目标手指的指纹为设定的在不存在安全威胁的情况下,用于身份验证所使用的指纹;其中,所述指纹属于合法用户的目标手指的指纹表征所述用户所处的环境不存在安全威胁。
在又一种可能的情况中,该方法还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,执行报警操作,获取所述用户所处环境的声音信号并存储。
在又一种可能的情况中,在所述确认身份验证通过之后,还包括:
按照第一操作方式,执行与所述身份验证关联的目标操作;
所述方法还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,按照第二操作方式,执行与所述身份验证关联的目标操作,其中,按照所述第二操作方式执行目标操作所需的时长多于按照所述第一操作方式执行目标操作所需的时长。
在又一种可能的情况中,该方法还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征不匹配,存储所述声音信号并向所述合法用户绑定的终端发送警报提示。
又一方面,本申请还提供了一种身份验证装置,包括:
声音获取单元,获取用户的声音信号;
声纹匹配单元,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;
环境数据获取单元,用于获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;
身份验证单元,用于如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过。
又一方面,本申请还提供了一种电子设备,包括:
数据接口,处理器和存储器;
其中,数据接口,用于获取用户的声音信号;
处理器,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过;
所述存储器,用于存储所述处理器执行以上操作所需的程序。
经由上述的技术方案可知,本申请在进行身份验证时,不仅需要获取用户的声音信号,还需要获取与该用户关联的环境特征标识数据。同时,只有依据声音信号的声纹特征确定出该声音信号来源于设定的合法用户,且,该环境特征标识数据表征出用户所处的环境不存在安全威胁,才会确认身份验证通过,从而才可能会触发安防系统执行与身份验证相关的操作,这样,有利于减少安防系统在用户被胁迫等存在安全威胁的情况下执行与身份验证相关的操作,进而提高了安全防护的可靠性,有利于降低财产以及信息的安全损失。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请的一种身份验证方法所适用的一种系统组成架构示意图;
图2示出了本申请的一种身份验证方法一个实施例的流程示意图;
图3示出了本申请一种身份验证方法又一个实施例的流程示意图;
图4示出了本申请的身份验证方法在一种应用场景中的流程示意图;
图5示出了本申请一种身份验证装置一个实施例的组成结构示意图;
图6示出了本申请一种电子设备的一种组成结构示意图。
具体实施方式
本申请的身份验证方法可以适用于任意的智能安防系统(也称为智能安全平台),智能安防系统可以是智能门锁系统,信息防护系统或者支付验证系统等等。
为了便于理解,先对本申请所适用的智能安防系统进行介绍。如图1所示,其示出了本申请一种智能安防系统的一种组成结构示意图。
由图1可以看出,该智能安防系统可以包括:智能防护设备101和通过网络与所述智能防护设备相连的至少一台服务器102。
在本申请实施例中,智能防护设备101包括:控制器、用于采集声音信号的声音采集模块以及用于与服务器建立数据通信连接的通讯模块。当然,该智能防护设备还可以包括指纹采集模块、图像采集模块等,还可以包括与安防相关其他模块,根据智能防护设备的不同,具体组成也会有所差别。
在本实施例中,智能防护设备101可以通过声音采集模块采集声音信号等用于身份验证的数据传输给服务器102。
相应的,服务器102可以基于该智能防护设备传输的数据检测智能防护设备侧的用户是否通过身份验证,并在确认身份验证通过之后,指示智能防护设备执行与身份验证通过所触发的相关操作。
举例说明,以智能安防系统为智能门锁系统为例,智能门锁系统的智能防护设备为智能门锁。智能门锁至少具备声音采集模块(如,麦克风等)、控制器和通讯模块等。当然,该智能门锁还具备与控制器相连的实现门锁打开或者关闭的电路器件或者可控机器部件。
智能门锁可以将待验证的声音信号传输给服务器,而服务器可以基于该声音信号检测是否满足打开智能门锁的条件,如果满足该条件,则可以向智能门锁的控制器返回控制指令,以指示智能门锁满足开锁条件。相应的,智能门锁的控制器可以控制相关部件的运转,以开启智能门锁。
对于金库防护以及其他需要设定门锁开启与关闭控制的智能防护设备,其原理类似,在此不再赘述。
又如,以智能安防系统为支付验证系统为例,支付验证系统的智能防护设备可以为安装有支付应用(或者支付验证应用等)的终端;而服务器可以为支付应用的服务器。在该种情况下,该终端可以具备麦克风等声音采集模块,同时,终端还可以具有处理器等实现控制功能的模块,以及射频模块等通讯模块等。在用户需要利用终端进行支付操作时,终端响应于用户的支付请求,可以获取用户的声音信号并发送给服务器。在服务器对声音信号验证通过之后,则会响应该支付请求,执行支付相关的处理,并通知给终端。
需要说明的是,以上是以智能安防系统有智能防护设备和服务器组成为例说明,在实际应用中,如果智能安防系统的智能防护设备具备声音信号等信息的验证与分析的能力,则也可以由智能防护设备来完成声音信号等相关信息的验证,从而无需设置服务器。
在本申请实施例中,为了提高安全防护的可靠性,减少用户在被胁迫的情况下财产损失或者信息泄露,本申请在身份验证的过程中不仅仅考虑了待验证的声音信号的声纹特征,还结合了用户所处的环境特征标识数据,以提高身份验证的可靠性,降低身份验证所可能存在的潜在风险。
下面结合流程图对本申请的身份验证方法进行介绍。
如图2所示,其示出了本申请一种身份验证方法一个实施例的流程示意图,本实施例的方法可以应用于前面提到的服务器,特别的,在智能防护系统仅仅包括智能防护设备的情况下,该方法也可以是应用于智能防护设备。
本实施例的方法可以包括:
S201,获取用户的声音信号。
其中,该声音信号为待验证的用户的声音信号。
如,智能防护设备可以将声音采集模块采集到的声音信号发送给服务器,从而使得服务器获取待验证的用户的声音信号。
又如,在智能防护设备上完成声音信号的验证的情况下,则智能防护设备可以获得声音采集模块采集到的用户的声音信号。
S202,检测该声音信号的声纹特征是否与设定的合法用户的声纹特征匹配。
其中,合法用户是指具有操作智能防护设备的权限的用户。其中,合法用户可以有一个或者多个。如,以智能门锁系统为例,合法用户可以为预先指定的具备开启智能门锁的至少一个用户。
相应的,设定的合法用户的声纹特征为预先设定的用于表征该合法用户身份的声纹特征。可以理解的是,声纹特征可以唯一标识一个用户。
其中,在获得待验证的声音信号之后,可以提取该声音信号的声纹特征,并将提取出的该声纹特征与预先设定的声纹特征进行比对,如果提取出的声纹特征与设定的声纹特征完全一致或者相似度超过设定阈值,则确认该声音信号的声纹特征与设定的声纹特征匹配。
可以理解的是,在合法用户有多个的情况下,设定的声纹特征也可以有多种,在该种情况下,可以验证从声音信号中提取出的声纹特征是否与设定的多种声纹特征中的至少一个声音特征匹配,如果是,则确认提取出的声纹特征与设定的声纹特征匹配。
可选的,在该步骤中,还可以检测该声音信号是否属于安全的声音信号,安全的声音信号是指不属于录制或者模拟出的声音信号,而是用户实时输入的声音信号。在确定声音信号为安全的声音信号的情况下,则可以检测提取的声纹特征是否与设定的合法用户的声纹特征匹配。
S203,获取该用户关联的环境特征标识数据。
其中,该环境特征标识数据用于表征用户所处的环境是否存在安全威胁,也就是说,该环境特征标识数据可以用于验证获得到的该声音信号所属的用户是否存在被胁迫或者威胁等安全风险。
其中,该环境特征标识数据可以从多个不同的方面来表现出来。
在一种可能的情况中,环境特征标识数据可以为声音信号中分析或者提取出的数据。
如,识别该声音信号所表达的用户情绪特征。该用户情绪特征用于表征该用户所处的环境是否存在安全威胁。可以理解的是,在用户的安全受到威胁的情况下,用户的声音信号会与用户平常发出的声音信号有所差别,在该种情况下,用户的声音信号会携带有较为紧张、焦虑等情绪特征,因此,可以将获得的声音信号中所携带的用户情绪特征作为环境特征标识数据。
又如,识别该声音信号所包含的关键词,该声音信号中包含的关键词可以作为该环境特征标识数据。其中,可以预先设定用于身份验证的第一类关键词和第二类关键词,其中,第一类关键词为不存在安全威胁的情况下使用的关键词;而第二类关键词为存在安全威胁的情况下使用的关键词。相应的,识别该声音信号所包含的关键词所属的类别,根据该关键词的类别可以分析出用户所处的环境是否存在安全威胁。
例如,对于智能门锁而言,可以设定用户所处的环境不存在安全威胁的情况下,打开门锁的关键词为“开锁”;而设定用户所处的环境存在安全威胁的情况下,打开门锁的关键词为“请开锁”,这样,通过声音信号中的包含的关键词可以表征出用户所处的环境是否存在安全威胁。
可选的,考虑到用户的心理素质较好的情况下,即使用户被胁迫的情况下,用户的声音信号所表达出的情绪特征也不会有明显波动,因此,可以将如上从声音信号中提取出的情绪特征和关键词综合起来分析该用户是否存在安全威胁。
在又一种可能的情况中,环境特征标识数据可以是发出该声音信号的用户提供的能够表征该用户所处环境是否存在安全威胁的数据。如,环境特征标识数据可以为用户的指纹,因此,该步骤可以为获取待验证的指纹,在该指纹为合法用户的指纹的情况下,将该指纹确定为环境特征标识数据。
其中,设定的合法用户的指纹包括第一类指纹和第二类指纹,第一类指纹为目标手指的指纹,该目标手指的指纹为设定的,在不存在安全威胁的情况下用于身份验证所使用的指纹。第二类指纹为不属于目标手指的指纹,如,目标手指为中指,而第二类指纹可以为用户的食指的指纹。相应的,第二类指纹可以为设定的,在存在安全威胁的情况下用于身份验证所使用的指纹。
可以理解的是,如果获取到的指纹不属于合法用户的指纹,那么根本就不可能通过后续的身份验证,也就没有必要分析该指纹所表征的该用户所处的环境是否安全。其中,在获取到的指纹不属于合法用户的指纹的情况下,则确认身份验证不通过,在该种情况下,则不会执行与身份验证通过相关的目标操作,关于身份验证不通过所涉及到的操作后续会进行介绍。在获取到的指纹为合法用户的指纹的情况下,则将该指纹作为环境特征标识数据,以便后续分析用户所处的环境是否存在安全威胁。
可以理解的是,在本申请实施例中该步骤S202和S203的先后顺序可以不限于图2所示,如S202和S203可以互换顺序或者是同时执行。可选的,可以在该声音信号的声纹特征与该合法用户的声纹特征匹配的情况下,获取该用户关联的环境特征标识数据。可以理解的是,如果声音信号的声纹特征与设定的声纹特征不匹配,则身份验证肯定不会通过,在该种情况下,则没有必要获取该环境特征标识数据,因此,在声音信号的声纹特征与设定的声纹特征匹配的情况下获取该环境特征标识数据,有利于避免减少分析数据所耗费的数据资源。
S204,如该声音信号的声纹特征与该合法用户的声纹特征匹配,且基于该环境特征标识数据确定出该用户所处的环境不存在安全威胁,确认身份验证通过。
由步骤S203的介绍可知,基于环境特征标识数据分析用户所处环境是否存在安全威胁的情况可以有多种,下面分情况介绍:
如,环境特征标识数据为声音信号中提取出的用户情绪特征时,如果分析出该用户情绪特征不属于设定的危险情绪特征,则确定用户所处的环境不存在安全威胁。其中,危险情绪特征为用户在存在安全威胁的情况下所表现出的情绪特征,如,紧张、害怕等情绪特征。
又如,环境特征标识数据为声音信号中提取出的关键词时,如果该关键词属于设定的用于身份验证的第一类关键词,即在不存在安全威胁的情况下使用的关键词,则确定用户所处的环境不存在安全威胁。
可以理解的是,在结合声音信号中提取出的用户情绪特征和关键词来分析用户所处环境是否存在安全威胁的情况下,只有用户情绪特征不属于危险情绪特征,且该关键词属于第一类关键词,则确定用户所处的环境不存在安全威胁。
又如,环境特征标识数据为获取到的合法用户的指纹的情况下,如果该指纹属于设定的合法用户的目标手指的指纹,即为设定的在不存在安全威胁的情况下用于身份验证所使用的指纹,则确定用户所处的环境不存在安全威胁。
当然,对于环境特征标识数据为其他可能情况,分析用户所述环境是否存在安全威胁也类似,在此不再赘述。
可以理解的是,本申请采用声纹特征来验证用户身份,有效利用的声纹特征可以唯一标识用户,且不易被伪造的特征,因此,如果他人采用模拟或者录制声音信号的方式,本申请也可以验证出声音信号不属于合法用户设定的声纹特征。同时,本申请结合了环境特征标识数据可以有效排除用户被胁迫情况下的身份验证,减少用户在用户被胁迫下完成身份验证,从而有利于减少财产损失和信息泄漏等情况,提高安防的可靠性。
可以理解的是,在确认出身份验证通过之后,可以执行与身份验证关联的目标操作。如,以智能门锁系统为例,服务器在确认用户身份验证通过之后,可以指示智能门锁设备开启智能门锁。又如,以支付系统为例,在服务器确认用户身份验证通过之后,可以完成支付交易操作。
可以理解的是,在用户所处的环境存在安全威胁的情况下,为了能够保证用户人身安全并尽可能的保留证据,本申请还可以执行:报警操作、获取用户所处环境的声音信号并存储等操作中的一种或者几种。
又一方面,在用户所处的环境存在安全威胁的情况下,为了降低用户的人身安全受到威胁的风险,本申请也可以触发与身份验证有关的目标操作,但是可以延缓目标操作或者延长目标操作所需的时间。
如图3所示,其示出了本申请一种身份验证方法又一个实施例的流程示意图,本实施例的方法可以包括:
S301,获取用户的声音信号。
S302,检测该声音信号的声纹特征是否与设定的合法用户的声纹特征匹配,如果是,则执行步骤S303,如果否,则执行步骤S309。
如果声音信号的声纹特征属于设定的某个合法用户的声纹特征,则可以进一步验证用户所处的环境是否存在安全威胁。反之,如果用户的声音信号的声纹特征不属于合法用户的声纹特征,则身份验证不通过,在该种情况下,还可以执行步骤S309,以及时通知合法用户。
S303,获取该用户关联的环境特征标识数据。
S304,基于该环境特征标识数据,分析用户所处的环境是否存在安全威胁,如果否,则执行S305;如果是,则执行S306。
以上步骤S301到S304可以参见前面实施例的相关介绍,在此不再赘述。
S305,确认身份验证通过,并按照第一操作方式,执行与身份验证关联的目标操作。
其中,该第一操作方式可以认为是身份验证通过后正常执行目标操作的操作方式。如,以支付验证为例,在确认身份验证通过后,可以按照正常的支付交易方式执行支付交易所需的相关操作。
可选的,在身份验证通过后,服务器还可以指示智能防护设备显示身份验证通过的信息;或者是智能防护设备确认身份验证通过后,输出身份验证通过的信息。
S306,确认属于危险环境下的身份验证通过,按照第二操作方式,执行与身份验证关联的目标操作,并执行步骤S307和S308。
如果声音信号中提取出的声纹特征与设定的声纹特征匹配,但是根据环境特征标识数据却分析出用户所处的环境存在安全威胁,那么则属于危险环境下的身份验证通过。在该种情况下,为了避免不执行目标操作而加大用户所受安全威胁的程度,可以按照不同于第一操作方式的第二操作方式执行与身份验证关联的目标操作,以减少用户人身受到伤害的可能。
其中,按照第二操作方式执行该目标操作所需的时长多于按照第一操作方式执行该目标操作所需的时长。也就是说,在确认用户所处环境存在威胁的情况下,为了避免对该用户造成安全威胁的其他人员察觉到异常,本申请仍然会执行与身份验证关联的目标操作,但是会通过延长该目标操作所需的时长,以为营救用户、降低财产损失以及取证等争取时间。
举例说明,以智能门锁这一应用场景为例,如果声音信号的声纹特征与设定的声纹特征匹配且分析出用户不存在安全威胁,则可以按照设定的正常开锁速率打开智能门锁。而如果分析出用户存在安全威胁,则可以按照设定的异常开锁速率打开智能门锁,其中,采用异常开锁速率打开智能门锁所需的时间长于采用正常开锁速率打开智能门锁所需的时间。
或者是,如果声音信号的声纹特征与设定的声纹特征匹配且分析出用户不存在安全威胁,则可以采用调用开锁程序,并利用开锁程序打开智能门锁。而如果分析出用户存在安全威胁,则可以输出开锁延缓提示,如,由于网络异常或者智能门锁可能存在故障,可能会导致开锁时间较长,且耐心等待。相应的,在输出开锁延缓提示之后,可以延迟设定时长再调用该开锁程序,以延长打开智能门锁所需的时长。
当然,在实际应用中,在确定出用户存在安全威胁的情况下,还可以通过提示用户重复进行身份验证等方式来延缓智能门锁的开启。
以上是以智能门锁为例说明,对于应用于其他场景,同样可以通过延缓调用执行目标操作的程序等方式来延长完成目标操作所需的总时长。
可选的,为了进一步减少用户人身受到功能的风险,在确认属于危险环境下的身份验证通过,本申请还可以控制智能防护设备显示出身份验证通过的信息,以避免对该用户造成安全威胁的其他人员察觉到异常。
S307,执行报警操作。
其中,报警操作可以为向警方等安全维护机构发送通知信息,该通知信息用于指示该用户存在安全威胁。如,触发拨打设定安全维护结构的电话号码,并依据设定的报警提示输出报警语音。
S308,获取该用户所处环境的声音信号并存储。
其中,该声音信号可以包括在确认出用户所处环境存在安全威胁的情况下,智能防护设备获取到的声音信号,以便后续作为证据。当然,也可以包括步骤S301中待验证的声音信号。
如,在服务器完成身份验证的情况下,服务器可以指示智能防护设备继续获取声音信号,服务器获取智能防护设备不断传输的声音信号,以得到该用户所处环境的声音信号并存储。
又如,在智能防护设备侧完成身份验证的情况下,智能防护设备可以控制声音采集模块不断采集声音信号,并存储声音采集模块采集到的声音信号。
需要说明的是,该S307和S308的执行顺序并不限于图3所示,可以互换二者顺序或者同时执行这两个步骤。另外,在本申请实施例是以在确认属于危险环境下的身份验证通过的情况下,同时执行S307和S308为例说明,在实际应用中,也可以仅仅执行该S307和S308中的一个步骤。
S309,如果该声音信号的声纹特征与合法用户的声纹特征不匹配,存储该声音信号并向该合法用户绑定的终端发送警报提示。
如声音信号的声纹特征与合法用户的声纹特征不匹配,则确认身份验证不通过,在该种情况下为了使得合法用户能够及时了解到他人可能设法通过智能安防系统的验证,还可以向合法用户绑定的终端发送短信、语音等警报提示。其中,该警报提示可以用于将存在非法验证行为的信息通知给该合法用户。
为了便于理解本申请的方案,下面结合一应用场景进行介绍。以本申请应用于智能门锁系统,并以身份验证过程由智能门锁的服务器侧执行为例说明。为了便于描述,以身份验证过程中的环境特征标识数据包括从声音信号中提取出的用户情绪特征和关键词为例说明。如图4所示,其示出了本申请一种身份验证方法应用于智能门锁系统这一场景的流程示意图,本实施例应用于可以包括如下步骤:
S401,智能门锁的服务器获取智能门锁设备发送的待验证的声音信号。
S402,提取该声音信号中的声纹特征,并检测提取出的声纹特征是否与设定的合法用户的声纹特征匹配,如果是,则执行S403;如果否,则执行S408;
S403,识别该声音信号所表达出的用户情绪特征。
如,对声音信号进行情绪分析,以提取出该声音信号中包含的用户情绪特征。
S404,获取该声音信号中所包含的关键词。
该步骤S403和S404可以互换执行顺序,也可以同时执行。
S405,检测是否该用户情绪特征不属于危险情绪特征且该关键词属于设定的第一类关键词,如果是,则执行S406;如果否,则执行S407。
其中,该第一类关键词为在不存在安全威胁的情况下使用的关键词。
可以理解的是,如果用户情绪特征不属于危险情绪特征,且,该从声音信号中提取出关键词也属于设定的第一类关键词,则确认用户身份验证通过,在本实施例是以这两个条件同时满足作为身份验证通过的条件,当然,在实际应用中,可以根据需要仅选择这两个条件中的一个。
相应的,如果“用户情绪特征不属于危险情绪特征”以及“该关键词属于设定的第一类关键词”这两个条件中至少有一个不满足,则说明用户所处的环境存在安全威胁。
S406,确认用户身份验证通过,控制智能门锁设备按照设定的正常开锁速度打开门锁。
S407,确定属于危险环境下的身份验证通过,控制智能门锁设备按照低于该设定的正常开锁速度的慢速开锁速度打开门锁,控制智能门锁设备采集用于作为证据的声音信号,向设定警报机构发送报警信息。
其中,慢速开锁速度打开门锁所需的时长会长于该正常开锁速度打开门锁所需的时长。而在以较慢的速度打开门锁的过程中,既可以避免被察觉出异常,又可以为取证,以及发送报警信息以营救用户争取了时间。
S408,获取智能门锁设备发送的用于作为证据的声音信号并存储。
S409,如果该声音信号的声纹特征与合法用户的声纹特征不匹配,存储该声音信号并向该合法用户绑定的终端发送警报提示。
需要说明的是,图4实施例是以应用于智能门锁系统为例说明,但是可以理解的是,如果图4实施例也适用于其他智能安防系统,不同之处仅仅在于与身份验证有关的目标操作可能会从打开门锁替换为其他操作而已。
对应本申请的身份验证方法,本申请还提供了一种身份验证装置。
如图5所示,其示出了本申请一种身份验证装置一个实施例的组成结构示意图,该装置可以包括
声音获取单元501,获取用户的声音信号;
声纹匹配单元502,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;
环境数据获取单元503,用于获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;
身份验证单元504,用于如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过。
可选的,所述环境数据获取单元具体为,用于在所述声音信号的声纹特征与所述合法用户的声纹特征匹配的情况下,获取所述用户关联的环境特征标识数据。
可选的,该装置还可以包括非法验证提示单元,用于如果所述声音信号的声纹特征与所述合法用户的声纹特征不匹配,存储所述声音信号并向所述合法用户绑定的终端发送警报提示。
在一种可能的实现方式中,所述环境数据获取单元,包括:
情绪识别单元,用于识别所述声音信号所表达的用户情绪特征;
所述身份验证单元具体为,用于如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且识别出所述用户情绪特征不属于设定的危险情绪特征,确认身份验证通过,所述危险情绪特征为用户在存在安全威胁的情况下所表现出的情绪特征。
可选的,所述环境数据获取单元,还包括:
关键词提取单元,用于提取所述声音信号中包含的关键词;
所述身份验证单元具体为,用于如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,所述用户情绪特征不属于设定的危险情绪特征,且所述关键词属于设定的用于身份验证的第一类关键词,确认身份验证通过,所述第一类关键词为在不存在安全威胁的情况下使用的关键词。
在又一种可能的实现方式中,所述环境数据获取单元,包括:
指纹获取单元,用于获取待验证的指纹;
环境数据确定单元,用于在所述指纹为所述合法用户的指纹的情况下,将所述指纹确定为所述用户关联的环境特征标识数据;
所述身份验证单元在基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁具体为,识别出所述指纹属于所述合法用户的目标手指的指纹,所述目标手指的指纹为所述设定的在不存在安全威胁的情况下,用于身份验证所使用的指纹。
在又一种可能的实现方式中,该装置还可以包括:
威胁处置单元,用于如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,执行报警操作,获取所述用户所处环境的声音信号并存储。
在以上任意一个装置的实施例中,该装置还可以包括:
第一操作单元,用于在身份验证单元确认身份验证通过之后,按照第一操作方式,执行与所述身份验证关联的目标操作;
第二操作单元,用于如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,按照第二操作方式,执行与所述身份验证关联的目标操作,其中,按照第二操作方式执行所述目标操作所需的时长多于按照第一操作方式执行所述目标操作所需的时长。
又一方面,本申请还提供了一种电子设备,该电子设备可以为用于身份验证的终端设备或者服务器。如,该电子设备可以为智能门锁系统中的智能门锁设备,或者智能门锁系统中用于控制智能门锁的服务器。
如图6所示,其示出了本申请一种电子设备的一种组成结构示意图。
由图6可以看出,该电子设备可以包括:数据接口601,处理器602和存储器603;
其中,数据接口601,用于获取用户的声音信号;
处理器602,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过;
所述存储器603,用于存储所述处理器执行以上操作所需的程序。
其中,该处理器所执行具体操作可以参见前面实施例中智能防护设备或者服务器侧所执行的操作。
当然,图6仅仅是电子设备的一种简单结构示意图,在实际应用中该电子设备还可以包括输入单元(如触摸屏等)、通信模块等等部件,本申请对此不加限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种身份验证方法,其特征在于,包括:
获取用户的声音信号;
检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;
获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;
如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过;
在所述确认身份验证通过之后,还包括:
按照第一操作方式,执行与所述身份验证关联的目标操作;
所述方法还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,按照第二操作方式,执行与所述身份验证关联的目标操作,其中,按照所述第二操作方式执行目标操作所需的时长多于按照所述第一操作方式执行目标操作所需的时长。
2.根据权利要求1所述的方法,其特征在于,所述获取所述用户关联的环境特征标识数据,包括:
在所述声音信号的声纹特征与所述合法用户的声纹特征匹配的情况下,获取所述用户关联的环境特征标识数据。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述用户关联的环境特征标识数据,包括:
识别所述声音信号所表达的用户情绪特征;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,包括:
识别出所述用户情绪特征不属于设定的危险情绪特征,所述危险情绪特征为用户在存在安全威胁的情况下所表现出的情绪特征。
4.根据权利要求3所述的方法,其特征在于,所述获取所述用户关联的环境特征标识数据,还包括:
提取所述声音信号中包含的关键词;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,还包括:
确定出所述关键词属于设定的用于身份验证的第一类关键词,所述第一类关键词为在不存在安全威胁的情况下使用的关键词。
5.根据权利要求1或2所述的方法,其特征在于,所述获取所述用户关联的环境特征标识数据,包括:
获取待验证的指纹;
在所述指纹为所述合法用户的指纹的情况下,将所述指纹确定为所述用户关联的环境特征标识数据;
所述基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,包括:
识别出所述指纹属于所述合法用户的目标手指的指纹,所述目标手指的指纹为设定的在不存在安全威胁的情况下,用于身份验证所使用的指纹;其中,所述指纹属于合法用户的目标手指的指纹表征所述用户所处的环境不存在安全威胁。
6.根据权利要求1所述的方法,其特征在于,还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,执行报警操作,获取所述用户所处环境的声音信号并存储。
7.根据权利要求1或6所述的方法,还包括:
如果所述声音信号的声纹特征与所述合法用户的声纹特征不匹配,存储所述声音信号并向所述合法用户绑定的终端发送警报提示。
8.一种身份验证装置,其特征在于,包括:
声音获取单元,获取用户的声音信号;
声纹匹配单元,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;
环境数据获取单元,用于获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;
身份验证单元,用于如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过;
在所述确认身份验证通过之后,还包括:
按照第一操作方式,执行与所述身份验证关联的目标操作;
如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,按照第二操作方式,执行与所述身份验证关联的目标操作,其中,按照所述第二操作方式执行目标操作所需的时长多于按照所述第一操作方式执行目标操作所需的时长。
9.一种电子设备,其特征在于,包括:
数据接口,处理器和存储器;
其中,数据接口,用于获取用户的声音信号;
处理器,用于检测所述声音信号的声纹特征是否与设定的合法用户的声纹特征匹配;获取所述用户关联的环境特征标识数据,所述环境特征标识数据用于表征所述用户所处的环境是否存在安全威胁;如所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境不存在安全威胁,确认身份验证通过;在所述确认身份验证通过之后,还包括:按照第一操作方式,执行与所述身份验证关联的目标操作;如果所述声音信号的声纹特征与所述合法用户的声纹特征匹配,且基于所述环境特征标识数据确定出所述用户所处的环境存在安全威胁,按照第二操作方式,执行与所述身份验证关联的目标操作,其中,按照所述第二操作方式执行目标操作所需的时长多于按照所述第一操作方式执行目标操作所需的时长;
所述存储器,用于存储所述处理器执行以上操作所需的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000640.1A CN110675880B (zh) | 2019-10-21 | 2019-10-21 | 身份验证方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000640.1A CN110675880B (zh) | 2019-10-21 | 2019-10-21 | 身份验证方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110675880A CN110675880A (zh) | 2020-01-10 |
CN110675880B true CN110675880B (zh) | 2021-01-05 |
Family
ID=69083224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911000640.1A Active CN110675880B (zh) | 2019-10-21 | 2019-10-21 | 身份验证方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110675880B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116092226A (zh) * | 2022-12-05 | 2023-05-09 | 北京声智科技有限公司 | 一种语音开锁方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104219050A (zh) * | 2014-08-08 | 2014-12-17 | 腾讯科技(深圳)有限公司 | 声纹验证方法、服务器、客户端及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8648692B2 (en) * | 1999-07-23 | 2014-02-11 | Seong Sang Investments Llc | Accessing an automobile with a transponder |
CN105873050A (zh) * | 2010-10-14 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 无线业务身份认证方法、服务器及系统 |
CN105404809B (zh) * | 2015-12-29 | 2018-09-07 | 宇龙计算机通信科技(深圳)有限公司 | 一种身份认证方法及用户终端 |
CN106503513A (zh) * | 2016-09-23 | 2017-03-15 | 北京小米移动软件有限公司 | 声纹识别方法及装置 |
CN107679379A (zh) * | 2017-04-18 | 2018-02-09 | 上海擎云物联网股份有限公司 | 一种声纹识别系统和识别方法 |
CN108806700A (zh) * | 2018-06-08 | 2018-11-13 | 英业达科技有限公司 | 通过声纹及语音密码判断身分的系统及方法 |
-
2019
- 2019-10-21 CN CN201911000640.1A patent/CN110675880B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104219050A (zh) * | 2014-08-08 | 2014-12-17 | 腾讯科技(深圳)有限公司 | 声纹验证方法、服务器、客户端及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110675880A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11689525B2 (en) | System and apparatus for biometric identification of a unique user and authorization of the unique user | |
CN107992739A (zh) | 用户验证方法、装置及系统 | |
US8079061B2 (en) | Authentication system managing method | |
JP5710748B2 (ja) | 生体認証システム | |
US11503021B2 (en) | Mobile enrollment using a known biometric | |
CN105261105A (zh) | 安全门禁方法 | |
CN105577633B (zh) | 一种验证方法及终端 | |
KR20180050968A (ko) | 온라인 시험 관리 방법 | |
CN110991249A (zh) | 人脸检测方法、装置、电子设备及介质 | |
CN112767586A (zh) | 通行检测方法及装置、电子设备及计算机可读存储介质 | |
CN110675880B (zh) | 身份验证方法、装置和电子设备 | |
CN111698215A (zh) | 基于生物特征识别的安全防控方法、装置和系统 | |
CN111462417A (zh) | 一种无人银行的多信息验证系统和多信息验证方法 | |
CN107978035B (zh) | 门禁控制方法及系统 | |
CN111080874B (zh) | 基于面部图像的金库安全门的控制方法和装置 | |
CN112334896B (zh) | 终端设备的解锁方法、设备和存储介质 | |
JP5524250B2 (ja) | 異常行動検知装置、監視システム、異常行動検知方法及びプログラム | |
CN111862428B (zh) | 一种门禁控制方法和设备 | |
CN112016896A (zh) | 操作状态监控方法、装置及存储介质 | |
CN110930550A (zh) | 车辆行驶的控制方法、系统、装置、存储介质和处理器 | |
FACT | MYTHS ABOUT | |
CN116828476A (zh) | 基于WiFi对用户异常行为的检测方法、云端、系统及介质 | |
CN113160473A (zh) | 一种核电厂的通行验证方法、系统、介质及电子设备 | |
CN116631102A (zh) | 智能锁的控制方法、装置、智能锁以及存储介质 | |
CN113112665A (zh) | 出入管理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |