CN107708525B - 使用神经及神经机械指纹来确定用户的健康改变 - Google Patents
使用神经及神经机械指纹来确定用户的健康改变 Download PDFInfo
- Publication number
- CN107708525B CN107708525B CN201680018319.4A CN201680018319A CN107708525B CN 107708525 B CN107708525 B CN 107708525B CN 201680018319 A CN201680018319 A CN 201680018319A CN 107708525 B CN107708525 B CN 107708525B
- Authority
- CN
- China
- Prior art keywords
- user
- micro
- nfp
- motion
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1101—Detecting tremor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6897—Computer input devices, e.g. mice or keyboards
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Neurosurgery (AREA)
- Psychology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Cardiology (AREA)
- Developmental Disabilities (AREA)
- Collating Specific Patterns (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
Abstract
根据一个实施例,揭示一种用于确定用户的健康的改变的方法。所述方法包含:在第一时间及日期感测用户的身体部分的多维运动以产生第一多维运动信号;响应于所述第一多维运动信号,产生第一神经机械指纹;响应于所述第一NFP,产生第一健康度量;在另一时间及日期感测所述用户的所述身体部分的多维运动以产生另一多维运动信号;响应于所述另一多维运动信号,产生另一神经机械指纹;响应于所述另一NFP,产生另一健康度量;及比较所述第一健康度量与所述另一健康度量以确定表示所述用户的健康退化的差。
Description
相关申请案的交叉参考
本专利合作条约(PCT)专利申请案主张由发明者马丁·紫紫(Martin Zizi)等人在2015年2月04日申请、标题为“使用神经机械指纹的本地用户认证(LOCAL USERAUTHENTICATION WITH NEURO-MECHANICAL FINGERPRINTS)”的第62/112,153号美国临时专利申请案及发明者马丁·紫紫(Martin Zizi)等人的标题为“使用神经及神经机械指纹来确定用户的健康改变(DETERMINING HEALTH CHANGE OF A USER WITH NEURO AND NEURO-MECHANICAL FINGERPRINTS)”的第15/013,764号非临时专利申请案的权益。
技术领域
本实施例大体上涉及用户的健康分析及诊断。
背景技术
经由因特网的广域网连接使许多电子装置(例如计算机及移动智能电话)与远程服务器及远程存储装置互连,使得可提供云端计算机服务。更多的电子装置随着无线电发射器/接收器添加到其而随时准备经由因特网互连。
由用户对一些电子装置及数据库的存取通常通过登录名称及口令进行。随着更多便携式电子装置被使用(例如膝上型计算机及移动智能电话),在高度移动运算环境中,人及装置的正确认证对确定经授权使用及降低有关数据误传的风险变得十分重要。举例来说,随着更多移动健康电子装置被引入,由移动健康装置捕获的健康数据的隐私变得十分重要。随着更多银行业务及付款是使用移动电子装置而进行,经授权使用变得十分重要。
通常由远程服务器执行对使用本地电子装置的用户的认证。由所述本地电子装置执行的软件应用程序通常保存所述用户的登录名称及口令以使电子装置及其软件应用程序更容易使用。保护所述用户的电子装置的本地存取已对在电子装置丢失或失窃时保护所述用户及他/她的登录名称及口令变得越来越重要。随着电子装置现在被用来进行如信用卡交易的付款的情况下,对用户的电子装置的本地存取的保护已变得甚至更重要。
现参考图1,说明各种已知的行为识别方法及解剖识别方法。行为识别方法与用户的行为或他/她的习惯有关。已知的解剖识别方法与用户的物理特征有关,例如指纹、眼睛虹膜扫描、静脉、面部扫描及DNA。
使用生物统计以更好地认证用户以便对移动电子装置提供更多保护。生物统计一直追求基于解剖的方法(即,物理特征,例如指纹、眼睛虹膜扫描、静脉、面部扫描、DNA等)及习惯(行为)方法(打字或敲键、手写签名、语音或语调变化)。举例来说,使用所述用户的解剖方面(例如指纹)以本地认证用户且限制对所述电子装置的存取。作为另一实例,可结合图像分析使用手形态或静脉位置以本地认证用户且限制对所述电子装置的存取。
也可使用用户的行为方面以更佳地认证用户以便对移动电子装置提供更多保护。行为方面涉及用户的独特习惯、品味及行为的个人档案。举例来说,用户签名的方式是可用来验证用户的身份的独特行为方面。
然而,用户识别的已知解剖及已知行为方面都并非万无一失。举例来说,用于比较的已知用户数据可从服务器失窃且在用户未知的情况下被使用。通常需要额外硬件以从用户捕获生物统计,这导致成本增加。在已知添加硬件的情况下,风险可增大,其中用户可被另一用户强迫来不情愿地捕获生物统计数据。行为方面可为略微侵入性的且引发隐私问题。通常,使用软件执行对行为方面的感测,其需要系统保持开启,从而消耗通常存储于可再充电电池中的能量。此外,使用行为方面的生物统计通常需要增加维护远程集中式数据库的费用。
发明内容
将具有用户的已知解剖及/或已知行为方面的生物统计用于识别具有一些缺点。
需要一种用户认证解决方案,所述用户认证解决方案是容易使用的、非集中式的,因此其可在本地使用;对掠夺者大致上是故障安全的、针对电池应用消耗低电力、且通过保护用户的数据来尊重用户的隐私使得其可容易被采用。
本文中所揭示的用户认证解决方案在非集中式移动环境中提供故障安全认证,同时保护用户的隐私及数据。本文中所揭示的用户认证解决方案采用不同形式的抗篡改生物统计。
本文中所揭示的用户认证解决方案可采用3D传感器及信号处理来捕获表示转译成明确定义的微运动的用户的神经肌肉微功能的信号(“微运动信号”)。接着使用信号处理算法及特征提取来捕获微运动信号中的唯一信号特征。可使用与用户的神经肌肉微运动相关联的这些唯一信号特征以唯一地识别用户,其有点类似于指纹。因此,与用户的神经肌肉微运动相关联的这些唯一信号特征在本文中被称为“神经机械指纹”(NFP)。神经机械指纹可在移动电子装置处(例如膝上型计算机或智能电话)或在其它类型的电子装置处用于本地用户认证。使用由传感器捕获且通过算法提取的用户的NFP,避免了剖析及存储用户的习惯或模式化行为。
通过本文中的附图及详细描述揭示采用传感器及信号处理算法来产生及再生经授权用户的神经机械指纹(NFP)的用户认证解决方案的实施例。
1.一种确定用户的健康的改变的方法,所述方法包括:a)在第一时间及日期感测用户的身体部分的多维运动以产生第一多维运动信号;b)响应于所述第一多维运动信号,产生第一神经机械指纹(NFP);c)响应于所述第一NFP,产生第一健康度量;d)在另一时间及日期感测所述用户的所述身体部分的多维运动以产生另一多维运动信号;e)响应于所述另一多维运动信号,产生另一神经机械指纹;f)响应于所述另一NFP,产生另一健康度量;及g)比较所述第一健康度量与所述另一健康度量以确定表示所述用户的健康的改变的差。2.根据技术方案1所述的方法,其进一步包括:存储与所述第一时间及日期相关联的所述第一健康度量;及存储与所述另一时间及日期相关联的所述另一健康度量。3.根据技术方案1所述的方法,其进一步包括:重复步骤d到g以继续确定表示所述用户的健康的所述改变的所述差。4.根据技术方案3所述的方法,其中所述第一健康度量与所述另一健康度量之间的所述差是正的,其指示健康改进。5.根据技术方案3所述的方法,其中所述第一健康度量与所述另一健康度量之间的所述差是负的,其指示健康退化。6.根据技术方案5所述的方法,其中所述健康退化是与饮酒相关联的类型;且所述用户的所述健康退化限制所述用户操作机器或运载工具的能力。7.根据技术方案1所述的方法,其中所述健康退化是所述用户的心率变异性。8.根据技术方案5所述的方法,其中所述健康退化是所述用户的神经变性疾病。9.根据技术方案8所述的方法,其中所述神经变性疾病是阿兹海默氏症或帕金森症。10.根据技术方案1所述的方法,其中在第一时间及日期本地感测所述用户的所述身体部分的所述多维运动以产生所述第一多维运动信号;经由通信系统将所述第一多维运动信号远端发射到服务器以存储所述第一多维运动信号并响应于其产生第一神经机械指纹(NFP)。11.根据技术方案1所述的方法,其中在所述第一时间及日期使用三维触摸传感器三维地感测所述用户的所述身体部分的所述多维运动以产生三维运动信号。12.根据技术方案1所述的方法,其中在所述第一时间及日期使用三维加速度计三维地感测所述用户的所述身体部分的所述多维运动以产生三维运动信号。
13.一种确定用户的健康的改变的方法,所述方法包括:在多个日期/时间使用多维传感器感测身体部分的多维运动;响应于所述感测,在所述多个日期/时间产生多个多维运动信号;响应于所述多个多维运动信号,针对所述多个相应日期/时间产生多个神经机械指纹;比较所述多个神经机械指纹中的至少两者以确定在至少两个日期/时间之间所述用户的健康的改变;及向所述用户报告所述健康改变。14.根据技术方案13所述的方法,其中所述比较分析随时间变化的所述多个神经机械指纹,且所述方法进一步包括:分析所述多个多维运动信号中的每一者中的频率分量以确定病理状态。15.根据技术方案13所述的方法,其进一步包括:在所述多个神经机械指纹中的每一者中搜索一或多个预定数据图案以确定病理状态。16.根据技术方案14所述的方法,其进一步包括:在所述多个神经机械指纹中的每一者中搜索一或多个预定数据图案以确定另一病理状态。17.根据技术方案13方法,其进一步包括:将所述多个多维运动信号存储到存储装置中以便进行后续处理。18.根据技术方案17所述的方法,其进一步包括:在所述多个多维运动信号中的每一者中搜索一或多个预定数据图案以确定病理状态。
19.一种用于分析用户的健康的系统,所述系统包括:健康诊断装置,其包含:多维传感器,其用来对用户的身体部分的多维运动进行取样并响应于其产生多维运动信号;及控制器,其耦合到所述多维传感器,所述控制器用来在不同日期及时间控制所述多维运动的所述取样及所述多维运动信号的所述产生;以及服务器,其与所述健康诊断装置通信,所述服务器包含:存储装置,其用来存储数据且提供对经存储数据的存取;及一或多个处理器,其耦合到所述存储装置,所述一或多个处理器执行指令以对所述一或多个处理器进行配置以便处理数据,包含存储于所述存储装置中的数据,其中所述存储装置在不同日期及时间存储多维运动信号及相应神经机械指纹以便供所述一或多个处理器处理,其中至少一个处理器通过指令配置以响应于所述多个多维运动信号针对所述多个相应日期/时间产生多个神经机械指纹;且其中至少一个处理器通过指令配置以比较所述多个神经机械指纹中的至少两者以确定在至少两个日期/时间之间所述用户的健康的改变。20.根据技术方案19所述的系统,其中至少一个处理器通过指令配置以分析所述多维运动信号中的每一者中的频率分量以确定病理状态。21.根据技术方案19所述的系统,其中至少一个处理器通过指令配置以在所述多个神经机械指纹中的每一者中搜索一或多个预定数据图案以确定病理状态。22.根据技术方案20所述的系统,其中至少一个处理器通过指令配置以在所述多个神经机械指纹中的每一者中搜索一或多个预定数据图案以确定另一病理状态。
附图说明
图1是说明各种行为及生理识别方法的背景图。
图2A到2D说明庞加莱(Poincare)相位散点图的实例,其展示从不同用户捕获的重力校正三维加速度计数据。
图3A是说明使用服务器及存储局域网的存储装置(云存储设备)以经由因特网进行用户的远程认证的图。
图3B是说明在本地电子装置处进行用户的本地认证的图。
图4是说明可结合NFP认证用来提供多因素认证的认证技术的图表。
图5是用来比较各种生物统计识别技术与NFP认证的图表。
图6是震颤类型以及相关联频率及条件的表格。
图7是电子装置的实例的功能框图,所述电子装置包含用来从用户捕获微运动信号的传感器及用来响应于所述微运动信号控制存取的NFP认证系统。
图8A到8C是具有用来从手指或从手感测微运动的不同传感器的NFP认证系统。
图9是用来展示大幅运动与微运动之间的差异的在用户的手处测量的加速度的波形图。
图10A是说明装置定向及世界定向的图。
图10B是说明用来将数据集中的3D数据样本从装置定向转换到世界定向的本征向量的使用的图。
图11A是用来滤除所要震颤的频率范围外的信号以捕获微运动信号的带通滤波器的功能框图。
图11B是用来实现图11A的带通滤波器的相同结果的高通滤波器及低通滤波器的功能框图。
图12A是用来过滤重力影响的重力高通滤波器的功能框图。
图12B是说明对数据集中的数据样本进行坐标转换以将重心移动到三个轴的原点以便消除重力影响的图。
图13A是来自3D加速度计的三维加速度数据信号的原始未经过滤样本集的波形图。
图13B是3D微运动信号在图13A中所展示的原始信号波形的预处理、带通滤波及重力补偿之后的波形图。
图14A是NFP认证控制器的功能框图。
图14B是图14A中所展示的NFP认证分类器的功能框图。
图15是由图14A中所展示的认证控制器进行的存取及重新校准控制的图表。
图16是与震颤相关联的微运动信号的功率谱密度的绘图。
图17A是通过对图13B中所展示的微运动波形执行CEPSTRUM分析产生的CEPSTRUM波形的绘图。
图17B是图17A中所展示的CEPSTRUM波形的绘图的部分的放大图。
图18A到18B说明基于两个不同用户的频率的对于单轴的不同NFP的实例。
图19A到19B说明基于两个不同用户的时间的对于单轴的不同NFP的实例。
图20说明可用作NFP分类器模型以从NFP及经授权用户校准参数确定匹配百分比的隐藏马尔可夫(Markov)模型。
图21说明用于使用神经及神经机械指纹分析用户的健康的过程的框图。
具体实施方式
在实施例的下文详细描述中,陈述众多特定细节以提供透彻理解。然而,所属领域的技术人员将显而易见的是,可在无这些特定细节的情况下实践实施例。在其它例子中,尚未详细地描述众所周知的法、程序、组件及电路以免不必要地使实施例的方面变得模糊。
实施例包含用于形成并利用神经机械指纹(NFP)来识别并认证用户的方法、设备及系统。
序论
某些用户运动是习惯性的或是用户的运动谱系(motion repertoire)的部分。用户给文件签名例如是用户随行为习惯形成的情境运动。通常分析的签名运动是用户使用书写工具所做的大幅运动或大幅度运动。举例来说,从签名的大运动,可例如使用眼睛确定书写者是左撇子还是右撇子。
虽然这些大运动可为有用的,但也存在用户在签名、做其它运动或仅在休息而不做运动时所做的微运动(极小运动)。这些微运动是神经衍生的或基于神经的且对于眼睛是不可见的。用户的这些微运动是归因于每个人的唯一神经肌肉解剖且也可在本文中被称为神经衍生的微运动。这些微运动也与从一个人的运动皮层直到他/她的手的运动控制过程有关。使用一或多个传感器、信号处理算法及/或滤波器,可捕获包含用户的神经衍生的微运动的电子信号(“运动信号”及“微运动信号”)。特别感兴趣的是表示用户在运动信号内的微运动的微运动电子信号。
用户的微运动与人体的神经系统中的脑或别处中的运动活动的皮层及皮层下控制有关。如同机械滤波器,一个人的特定肌肉骨骼解剖可影响用户的微运动且对包含用户的微运动的运动信号有贡献。从用户捕获的运动信号也可反映包含脑及存在于用户的人体中的本体感受器的本体感受控制回路的部分。
在针对表示用户的微运动的微运动信号适当地分析运动信号时,所得数据可产生可用作未写好的签名的唯一且稳定的生理识别符,更具体来说神经识别符。这些唯一识别符是用户的神经机械指纹。神经机械指纹在本文中也可被称为NeuroFingerPrint(NFP)。
可由各种电子传感器捕获用户的运动,包含用户的大幅运动及用户的微运动。举例来说,可使用电子触摸传感器或电子加速度计来捕获用户的大幅运动及微运动。由杰夫·克莱因(Geoff Klein)在2012年1月5日申请、以引用方式并入本文中的第13/823,107号美国专利申请案描述加速度计可如何用来在用户操作电子装置时悄悄地捕获所述用户的随时间变化的运动数据及产生可用来辨识用户的运动谱系。第13/823,107号美国专利申请案利用谱系或运动习惯。本文中所揭示的实施例既不建立运动谱系也不依赖于运动谱系。本文中所揭示的实施例提取与神经系统的质量控制机构有关的信号。第13/823,107号美国专利申请案忽视本文中所揭示的实施例感兴趣的所述用户的神经衍生的微运动。此外,在产生神经机械指纹中,大幅运动信号经抑制或经滤除以捕获微运动信号分量。在使用三维加速度计来捕获用户的微运动时,大幅运动信号需要从微运动信号数据滤除。在第13/823,107号美国专利申请案中也忽视归因于重力引起的向量。在使用三维加速度计时,在产生微运动信号中补偿或滤除重力。
现参考图2A到2D,展示针对四个不同用户的三维庞加莱相位散点图的实例。每一三维庞加莱相位散点图展示重力校正三维加速度计数据的图案200A到200D。
在相同时间周期内使用相同电子装置在用户用其手做大幅运动的情况下获得原始加速度计数据。所述电子装置具有用来捕获三维X、Y及Z中的原始加速度计数据的三维加速度计传感器。
对原始加速度计数据执行信号处理以过滤或抑制不想要的信号,校正重力且提取表示用户的手或手指的神经衍生的微运动的信号(微运动信号)。在对用户的取样时间周期内可将微运动信号的三维x(t)、y(t)、z(t)进一步处理成相位x(t)、y(t)、z(t)并以三维庞加莱相位散点图绘制。如果取样时间周期较短,那么可以数字形式将从用户的神经肌肉微运动的样本感测的微运动信号x(t)、y(t)、z(t)存储到存储装置中以表示神经机械指纹(NFP)。微运动信号的数字形式可在存储之前使用加密算法及加密密匙进行加密以便对其进行保护而使未经授权人员不可对其进行未经授权存取。
如可在图2A到2C中容易看出,从用户的神经衍生的运动产生的庞加莱相位散点图中的每一者中的图案200A到200D大致上是不同的。举例来说,每一图案200A到200D的质心202A到202D是不同的。对于每一用户来说,每一图案200A到200D的其它特性也不同。因此,神经衍生的运动的图案是每一用户独有的且可用来唯一地识别用户。
经产生庞加莱相位绘图中的唯一图案200A到200D及NFP通常是稳定的。因此,通常每当用户触摸或移动传感器时,唯一图案200A到200D及NFP可在取样时间周期内经重复地感测且接着使用算法与经初始校准NFP进行比较以认证用户的身份。然而,如果存在进展中的神经肌肉疾病,那么用户的唯一图案200A到200D是不太稳定的。如果情况如此,那么神经算法可经周期性地重新校准以补偿疾病进展。举例来说,患神经肌肉疾病的老年人可容易取决于关于对NFP的初始校准的漂移截频而每周重新校准神经算法。作为另一实例,正在使用运动改变药物进行治疗的用户也可周期性地重新校准NFP神经算法。对于多数用户来说,在初始校准之后重新校准NFP神经算法将是罕见的。
对微运动的运动信号的分析采用神经算法来获得用户的神经机械指纹(NFP)。因此,此神经算法在本文中可被称为NFP神经算法。
NFP神经算法
NFP神经算法不是使用神经网络训练、分类器或深度学习的算法。所述NFP神经算法是具体地收集、隔离并分析来自人类神经系统的信号及其与连接到神经系统的身体部分的互动的算法,例如肌肉系统、腺细胞及/或皮肤。对分析微运动信号感兴趣的活动包含源于我们的神经系统的运动控制、感官输入及与每一人的解剖及神经系统唯一有关的压力反应。
考虑例如移动他或她的手的用户。举例来说,运动算法可记录随时间变化的物理运动且分析其速度、距离、方向及力。神经算法在不使用脑扫描仪执行脑扫描的情况下从电子信号(例如包含微运动信号的运动信号)收集、隔离并分析与手运动有关的随时间变化的神经活动。
虽然可针对微运动使用电子加速度计分析身体部分的运动学运动,但可例如使用电子触摸传感器(例如触摸垫)来分析一或多个手指对所述触摸传感器的触摸。可使用所述触摸传感器来产生表示在手指触摸所述触摸传感器时随时间变化的微运动的微运动信号。触摸传感器可产生表示手指相对于所述触摸传感器的X及Y位置以及表示施加于所述触摸传感器的压力的Z位置的三维信号。微运动可被包含作为三维位置信号中的每一者的部分。使用触摸传感器,重力通常不是需要校正的因素。
通过专注于微运动信号而非大幅运动信号,触摸传感器可结合神经算法用来更佳地模仿机器中的人类认知接口。此可改进人机接口。举例来说,考虑丈夫与妻子之间或关系密切的人之间的人类认知接口。在丈夫触摸他妻子的手臂时,妻子常常可仅从那个触摸的感觉辨识是她丈夫在触摸她,这是因为她熟悉他的触摸。如果触摸感觉是独特的,那么人通常可仅从那个独特感觉辨识是什么在触摸他/她。
触摸辨识
使用触摸传感器来感测并捕获微运动且使用神经算法来分析NFP的技术在本文中可被称为触摸辨识。包含用来认证及/或识别用户的触摸辨识的系统在本文中可被称为触摸辨识系统。关于图1,使用NeuroFingerPrint的触摸辨识是生理用户识别符。触摸辨识不是解剖用户识别符。触摸辨识不是行为用户识别符。与为用户的固定属性的解剖识别方法相反,生理识别方法与用户的功能体有关。行为识别方法与用户的运动或他/她的习惯有关。
在用户认证中使用触摸传感器及神经算法具有固有优点。用于用户认证的用户接口可是直观的且如果根本无需任何训练,那么与仅具有最少训练的人类用户的自发行为有关。用户认证过程的用户体验可为顺畅的。用户无需执行除通常与用户电子装置的使用相关联的用户认证任务之外的任何特定用户认证任务。举例来说,在校准之后,用户仅需握持他/她的智能电话,例如来打电话,使得加速度计及神经算法执行用户认证过程。
可由触摸传感器及NFP神经算法非直观地捕获NeuroFingerPrint。NeuroFingerPrint可与其它用户运动隔离。因此,也可使用用来捕获敲键或按键的一或多触摸传感器来捕获用户的微运动且响应于其产生微运动信号及NeuroFingerPrint。举例来说,用户可仅需选择一或多个按钮(例如,拨电话号码以打电话、键入个人识别号码、选择功能按钮或电源按钮)使得下方的一或多个触摸传感器及神经算法执行用户认证过程。
举例来说,在用户体验无任何改变的情况下,可通过NeuroFingerPrint(NFP)神经算法产生NFP,同时键入用户的个人识别号码(PIN)。替代地,例如可通过NeuroFingerPrint(NFP)神经算法产生NFP,同时按下电源按钮或功能按钮(例如,主页按钮)。在此情况下,可将所述NeuroFingerPrint(NFP)用于用户认证而无需PIN号码。替代地,在用户接口改变较少或无用户接口改变的情况下,NeuroFingerPrint(NFP)可结合PIN号码使用以进行用户认证。
在用户接口改变较少或无改变的情况下,也可使用与小键盘或按钮相关联的一或多个触摸传感器以随着用户按下或选择所述小键盘或所述按钮的键捕获微运动并产生微运动信号。可使用支持NFP捕获的小键盘或按钮以控制进入及/或离开办公室、建筑物或其它不动产,例如住宅、企业、政府办公室或其它安全设施。
此外,可将与神经算法组合的触摸传感器有利地内建到物理电子钥匙中,接着可无线地使用所述物理电子钥匙以打开门,起动汽车引擎,或获得对服务器或其它信息技术系统的存取。
本地及远程用户认证
现参考图3A到3B。图3A说明用户的远程认证。图3B说明用户的本地认证。
触摸辨识促进在本地电子装置处进行用户的本地认证,例如图3B中所展示。NFP用户认证无需使用大远程数据库。NFP用户认证系统可自含于所述本地电子装置内,例如移动智能电话。如远程认证可能要求:用于用户认证的数据无需存储于存储区域网络的存储装置(“云端”)中且无需经由因特网从所述存储装置存取。如远程认证可能要求:用于用户认证的登录ID及口令无需经由因特网发送到服务器以认证用户。触摸辨识是非集中式的且可自含于所述本地电子装置内。
在远程认证用户的情况下,例如图3A中所展示,用户向因特网开放且可经受与其相关联的风险。在本地认证的情况下,例如图3B中所展示,用户可在用户认证期间与例如图3B中所展示的因特网隔绝以增加安全性。替代地,表示本地用户认证的令牌可由本地电子装置产生且从本地电子装置有线地及/或无线地发送到本地服务器或经由路由器、交换机及通信系统的因特网云端远端地发送到远程服务器,例如图3B中所展示。
虽然触摸辨识促进本地认证,但触摸辨识可容易与远程认证技术或另一本地认证技术组合以提供额外安全级别。
多因素认证及NeuroFingerPrint
现参考图4,用户认证系统可采用多个因素来认证用户。多因素认证组合两种或两种以上认证技术。以前,多因素认证不是用户友好的因此其被避免。用户友好的认证方法反之通常是优选的,但导致折衷保护性。
如本文中所提及,触摸辨识或使用加速度计的辨识可与远程认证技术或另一本地认证技术组合使得多因素认证是更用户友好的。
触摸辨识可与口令、个人识别号码、图案或用户知道或记住的其它事物组合。替代地,触摸辨识可与令牌、智能卡、移动令牌、OTP令牌或用户具有的某个其它用户认证装置组合。替代地,触摸辨识可与解剖或行为用户生物统计组合。举例来说,基于神经的触摸辨识可容易与指纹辨识组合以提供用户友好的多因素认证系统。
银行产业对在需要用户认证时避免对用户造成额外负担特别感兴趣。此外,银行产业对提供可靠用户认证且难以规避的高性能用户认证系统感兴趣。基于神经的触摸辨识可容易与对用户造成最小负担的其它认证技术组合。此外,本文中所揭示的基于神经的触摸辨识可大致上是可靠的且极难规避。
生物统计识别技术的比较
现参考图5,说明各种生物统计识别技术的比较矩阵的图表。使用相对等级来比较使用NFP的用户认证与其它生物统计用户识别技术。所述相对等级是基于七个分级准则。每一准则可针对每一生物统计识别技术被分级为高(H)、中等(M)或低(L)。从左到右,七个分级准则是持久性、可收集性、性能、可接受性、规避性、唯一性及通用性。出于以下原因,相比于其它生物统计识别技术,NFP使用评级较高。
NFP是高排名通用技术。将为用户的每个人具有可从中捕获NFP的唯一神经系统。
NFP是区分用户的高度唯一用户认证技术。NFP反映用户对用户身体的运动控制。运动控制与控制手中的肌肉张力的脑活动有关。即使双胞胎也将具有不同运动控制,这是因为其将经历不同生活体验且具有不同运动技能训练。举例来说,双胞胎将学会以不同方式骑自行车,从而学习将在不同NFP中反映出的对肌肉的不同运动控制。
NFP是相对较高度持久性或稳定技术,这是因为其与每一人的解剖有关。可影响NFP的稳定性的演进过程(例如神经疾病)是罕见的。甚至在那些罕见情况下,神经演进过程通常足够慢,使得可重新校准NFP用户认证系统。对于用户的左手及用户的右手来说,用于触摸辨识的NFP是不同的。然而,所述NFP是每一用户特定NFP。用户可对他/她使用哪只手/哪根手指来握持/触摸加速度计启用装置/触摸传感器启用装置保持一致。替代地,可使用NFP用户认证系统校准相同用户的多个NFP。在此情况下,任一只手或多根手指的触摸可认证电子装置的用户。
一些亲神经药物可改变经扫描NFP。然而,NFP用户认证系统可经重新校准以便补偿。在其它情况下,可使用归因于摄入酒精、药品或强效药物引起的经扫描NFP的改变来改进运载工具的安全性。
酒精可暂时改变经扫描NFP使得其不匹配经校准NFP。此可有利地用来禁止在酒精的影响下驾驶汽车或其它运载工具。举例来说,NFP触摸技术可在汽车钥匙或汽车起动按钮内实施。如果所述经扫描NFP不受酒精的影响,那么NFP触摸技术允许钥匙或起动按钮发动引擎以驾驶所述汽车。如果所述经扫描NFP受用户饮酒的影响,那么NFP触摸技术可禁止钥匙或起动按钮起动汽车引擎。
NFP相对较容易收集或捕获,这是因为加速度计在移动装置中已变得常见。使用时钟每微秒或约每微秒对加速度计值进行频繁地取样以捕获用户的微运动。此外,加速度计是相对较敏感的。加速度计通常可感测亚微级加速度使得例如其能够捕获用户的手的微运动。可使用各种三维加速度计来捕获用户的手的微运动。可使用各种触摸传感器来捕获微运动及类型(是电容式还是电阻式是不相关的)。
使用NFP的NFP认证的性能是高的。使用非最佳数学算法作为神经算法可实现介于93%与97%之间的辨识成功率。考虑时间及轨迹的变量的更适当且更准确的数学算法可实现更高辨识成功率以达到正确用户的100%辨识。在NFP认证系统无法辨识正确用户的情况下,可与NFP认证并行地使用替代用户认证系统,例如PIN。相比之下,多数生物统计(真实指纹或虹膜扫描除外)具有具较高失败率的低性能,所述失败率的范围可介于18%与20%之间,从而提供介于80%与82%之间的成功辨识率。
NFP技术应具有高度可接受性,这是因为其是用户友好的认证方法。NFP用户认证系统可为相当透明的或顺畅的。然而,可接受性也受如何设计并出售NFP用户认证系统连同如何通过适当安全措施及独立审计支持NFP用户认证系统的支配。
NFP难以规避,因此其具有高规避因素分级。在NFP认证系统驻留于电子装置中且不可用于因特网时,骇侵、电子欺骗或逆向工程几乎不可能获得存取。
最初,通过NFP用户认证系统针对用户在本地电子地产生校准NFP文件(用户校准参数)。所述校准NFP文件通常经加密并本地保存于电子装置上(例如,在与NFP认证控制器相关联的存储器中)且因此不可用于因特网。然而,在存储于别处时(例如存储区域网络中的存储装置或与认证服务器相关联的存储装置),所述校准NFP文件应经加密以提供更高安全性。
NFP用户认证不仅仅执行文件比较以授予存取。NFP必须从用户身体实时再生以获得存取。这避免了黑客通过针对信息使用代用误导输入或电子欺骗或网络钓鱼而使用失窃文件以获得对电子装置的存取及授权。为了规避服务级的NFP用户认证,黑客将必须在经授权用户正在存取需要认证或登录的服务时与所述用户同时并行地进行数据采集。为了规避装置级的NFP用户认证,黑客将必须模仿经授权用户的神经控制以获得NFP数据且接着将其键入到装置中以获得存取。黑客可从经授权用户的装置窃取经校准NFP值,但接着黑客将必须使用相同经校准NFP认证系统难以置信地将用户微运动输入再生到第二电子装置中。因此,具有NFP认证系统的电子装置可极难规避。具有NFP认证系统的移动电子装置可最终被信任为提供实时验证识别的用户的守门员(gatekeeper)。
仅在用户利用电子装置时,随后实时产生经扫描NFP,其中所述校准NFP仅调整计算。在无正确用户产生校准NFP文件的情况下,NFP认证系统拒绝对电子装置的本地存取。如果所述正确用户不是活体,那么NFP认证系统将拒绝存取,这是因为无法产生所述正确用户的微运动信号。因此,NFP认证技术的规避是困难的。相比之下,经典指纹具有高难度级规避,然而,甚至经典指纹可失窃且可经反向工程设计以登录到指纹认证系统中。
总而言之,与其它生物统计技术相比,如用于用户认证系统的生物统计的NFP技术排名较高。
隐私保护
移动电子装置正结合健康及健身应用而使用。在一些情况下,移动电子装置可用作到所连接医疗装置的用户接口。数个国家的规则及法律规范用户的医疗状况的隐私。因此,用户的医疗状况及医疗数据的保护已变得越来越重要。
可使用NFP认证系统来帮助保护可存储或输入到电子装置中的用户数据。可使用NFP认证系统来帮助遵守在数个国家生效的医疗数据法律及法规。
由于用户神经系统而从微运动产生的NFP数据可被视为一种形式的医疗数据。NFP认证系统可经实施以有效地保护在用于认证目的时存储于电子装置中或别处的经校准NFP数据。
微运动及震颤
NFP是响应于与一种类型或形式的震颤相关的微运动而产生。震颤是造成人体的一或多个部分中的振荡的无意识、有节奏的肌肉移动。震颤可能对肉眼是可见或不可见的。可见震颤多见于中年人及老年人。可见震颤有时被视为控制全身的一或多块肌肉或特定来说的区域(例如手及/或手指)的脑的部分中的失调。
多数震颤发生于手中。因此,可在握持具有加速度计的装置或通过手指触摸触摸垫传感器时感测具有微运动的震颤。
存在不同类型的震颤。最常见形式或类型的震颤发生于健康个人中。通常,健康个人不会注意此类型的震颤,这是因为运动太小且可在执行其它运动时发生。与一种类型的震颤相关的感兴趣微运动太小以致其对肉眼是不可见的。
震颤可在各种条件下(静止性、姿势性、运动性)激活且通常可被分类为静止性震颤、运动性震颤、姿势性震颤或运动性或意向性震颤。静止性震颤是在受影响身体部分不活跃但对抗重力时发生的震颤。运动性震颤是归因于自主肌肉激活引起的震颤,且包含众多震颤类型,包含姿势性震颤、运动性或意向性震颤及任务特定震颤。姿势性震颤与使身体部分对抗重力有关(如远离身体伸展臂)。运动性或意向性震颤与目标导向移动及非目标导向移动有关。运动性震颤的实例是将手指移动到一个人的鼻子的运动,通常用于检测在酒精的影响下驾驶的驾驶员。运动性震颤的另一实例是从桌子举起一杯水的运动。任务特定震颤在极特定运动期间发生,例如当使用钢笔或铅笔在纸上书写时。
震颤(无论对眼睛是否可见)被视为源于神经系统内的一些振荡神经元池、一些脑结构、一些感官反射机构及/或一些神经力学耦合及谐振。
虽然众多震颤已被描述为生理性(无任何疾病)或病理性的,但应认为震颤振幅对其分类不是极有用的。然而,对震颤频率感兴趣。震颤频率允许其以有用方式用来提取感兴趣信号且产生每一用户的唯一NFP。
图6说明各种震颤类型、其激活条件及归因于给定震颤类型的预期运动频率的表格。
众多病理状态(如帕金森症(3到7Hz)、小脑疾病(3到5Hz)、肌张力障碍(4到7Hz)、各种神经病(4到7Hz))使运动/信号为较低频率,例如7赫兹(Hz)及低于7赫兹的频率。由于病理状态并非常见于所有用户,所以这些频率的运动/信号不利于产生NFP且需要滤除。然而,本文中所揭示的部分实施例中用来具体地专注于使那些病理性信号作为用来记录、监测、遵循所述病症的方式以确定健康状况是健全还是退化。
其它震颤(例如生理性、原发性、直立性及增强生理性震颤)可在正常健康状况下发生。这些震颤本身不是病症。因此,所述震颤通常存在于总体人口中。对生理性震颤以及常见于所有用户的其它震颤是感兴趣的,这是因为其产生以介于3到30Hz或4到30Hz之间的范围内的频率的微运动。所述震颤可在肌肉用来对抗重力支撑身体部分时被激活。因此,将电子装置握持于一个人的手中以对抗重力支撑手及臂可产生可由加速度计感测的生理性震颤。使用手的手指触摸电子装置的触摸垫并对抗重力支撑其可产生可容易由手指触摸垫传感器感测的生理性震颤。
一些震颤可为影响用户的健康的退化病症或其它常见病症的结果。假设神经细胞对新陈代谢高度敏感,那么其它病症(如糖尿病、高血压病、心力衰竭、细菌或病毒感染及/或寄生虫病)可影响用户的微运动(呈神经机械指纹的常见数据图案或签名)或微运动信号。
运动性类型的原发性震颤可在用户必须键入PIN或登录ID以获得对装置或手机的存取时发生并被感测。原发性震颤的频率范围介于4到12Hz之间,其可减小到8到12Hz的频率范围以避免对归因于非常见病理状态的震颤的感测。
对于生理性震颤(或增强生理性震颤,同上具有较大振幅),不同体侧的相干性是低的。即,左体侧上的生理性震颤与右体侧上的生理性震颤是极不相干的。因此,预期用户的左手或左手指中的震颤将不同于右手或右手指中的震颤。因此,NFP认证系统将需要用户在将相同侧的手或手指用于认证时保持一致;或替代地,将使用多个经授权用户校准参数集(每一手一个经授权用户校准参数集或每一手指一个经授权用户校准参数集)来提取NFP。
具有感兴趣的较高频率的运动可被视为噪声。因此,需要滤除在原始运动信号中具有高于所要范围(例如,12Hz或30Hz)中的最大值的频率的信号。因此,从8Hz到12Hz及/或8Hz到30Hz的频率信号范围含有关于可用来产生NFP的微运动的有用信息。
由电子装置中的手指触摸垫传感器或由手持电子装置的加速度计捕获的原始信号可在其中具有数个不想要的信号频率。因此,可使用响应于滤除所要频率范围外的信号的一种类型的过滤以从原始电子信号获得微运动信号。替代地,可使用用于所要频率范围中的信号的隔离/提取构件以从原始电子信号获得微运动信号。举例来说,可使用有限脉冲响应带通滤波器(例如,8到30HZ的带通)以在由触摸垫或加速度计感测的原始电子信号中选择感兴趣的低信号频率范围。替代地,低通滤波器(例如,30Hz截频)及高通滤波器(例如,8Hz截频)或高通滤波器(例如,8Hz截频)及低通滤波器(例如,30Hz截频)可串联地组合以实现类似结果。
具有NFP认证的电子装置
现参考图7,说明具有NFP认证的电子装置700的功能框图。电子装置700可为例如智能蜂窝电话或需要访问控制的其它手持类型的便携式或移动电子装置。电子装置700包含一或多个三维(3D)传感器,所述一或多个3D传感器可用来捕获包含可用于NFP认证的原始3D微运动信号的原始3D电子信号。
电子装置700可包含耦合在一起的以下装置:处理器701、存储装置(SD)702、电源703(例如,可再充电电池)、按钮/垫704、小键盘705、三维(3D)加速度计706(任选地)、显示器装置707、一或多个无线电设备708及一或多个天线709。如果所述电子装置不具有三维(3D)加速度计706,那么按钮/垫704、小键盘705及显示器设备707中的一或多者是触敏的,因此其可用来捕获包含3D微运动信号的3D原始电子信号。
存储装置702优选地是非易失性类型的存储装置,其以非易失性方式存储数据、指令及(可能)其它信息(例如,用户校准参数),因此其在所述电子装置进入睡眠状态以节省电力或完全关闭时不会丢失。存储装置702存储用于NFP认证系统的软件应用程序指令712、NFP指令及(可能)NFP数据714(例如,经授权用户校准参数的校准NFP文件)以及用于用户的用户涂鸦垫数据716。NFP指令及NFP数据714出于安全原因而与用户涂鸦垫数据716及软件应用程序指令712分离以使其不可供所有用户存取。存储装置702耦合到处理器701使得数据及指令可由所述处理器读取且经执行以执行软件应用程序的功能。NFP指令及NFP数据714(如果有)是由所述处理器读取以执行NFP认证控制器模块且执行提供NFP认证所需的功能。
一或多个无线电设备708耦合到处理器701及一或多个天线709且耦合于处理器701与一或多个天线709之间。一或多个无线电设备708可经由无线网络无线地接收及发射数据。一或多个无线电设备708可包含用于局域无线(Wi-Fi)网络的Wi-Fi无线电设备、用于蜂窝电话网络的蜂窝无线电设备及用于蓝牙无线连接的蓝牙无线电设备。可由所述电子装置执行需要对远程服务器进行认证的软件应用程序。使用NFP认证系统以授予对所述电子装置自身的存取。然而,NFP认证系统也可供软件应用程序使用来验证或认证经授权用户的身份。
为了对电池再充电或提供替代电源,电源连接器及/或组合式电源/通信连接器(例如,通用串行总线连接器)722可被包含作为电子装置700的部分。连接器722可耦合到处理器701以进行数据通信且耦合到电源703以对电池再充电及/或对电子装置700提供替代电源。为了有线连接,电子装置700可进一步包含耦合到所述处理器的网络接口控制器及连接器724,例如以太网络控制器及端口连接器(例如,RJ-45)。
多数便携式或移动电子装置现包含3D加速度计706。传统上,已使用3D加速度计706来确定所述电子装置的定向。然而,也可使用3D加速度计706来捕获握持电子装置700的用户的手的微运动。在此情况下,3D加速度计数据是由加速度计706捕获、经取样、经预处理且接着提供到NFP认证控制器。
如果所述加速度计不可用于电子装置中,那么在包含X、Y及Z的三维中按钮/垫704及小键盘705中的一者或两者是触敏的以便用于NFP认证。Z轴是垂直于所述按钮及小键盘的轴并且压力可由手指施加以选择所述按钮或所述小键盘的键的潜在功能以便控制所述电子装置。按钮/垫704可为例如用来开启/关闭所述电子装置的电源按钮。按钮/垫704可为例如使所述电子装置进入“主页”或初始用户接口状态的主页按钮。
可使用触敏按钮/垫704及/或触敏小键盘705中的一者或两者来捕获可用于NFP认证的三维原始微运动信号。
如果显示器设备707是触敏显示器装置,那么可将小键盘705或按钮704显示于可从中捕获三维原始微运动信号的触敏显示器装置707上。
NFP认证控制器的部分(参见图8A到8C、14A中的NFP认证控制器810A到810C、810)可由处理器701执行从存储于存储装置702中的固件/软件712重新叫用的指令而形成。
现参考图7及8A,展示具有三维触敏按钮/垫704的NFP认证系统的部分的功能框图。所述NFP认证系统进一步包含耦合到三维触敏按钮/垫704的触摸传感器801的NFP认证控制器810A。
三维触敏按钮/垫704在最接近垫704的表面之处包含用来感测位置以及X、Y手指位置及手指压力Z的变化的3D触摸传感器801。三维触敏按钮/垫704通常包含用来产生发送到所述处理器的功能控制信号的功能按钮开关814。3D触摸传感器801产生包含在用户手指890处感测且由3D箭头850指示的微运动的原始三维位移信号。
在一些预处理之后,NFP认证控制器810A接收表示由触摸传感器801感测的微运动的数据样本且产生用户的NFP。通常将经授权用户校准参数的校准NFP文件存储于所述NFP认证控制器内的非易失性存储器或其它非易失性存储装置或者耦合到所述NFP认证控制器或经耦合与所述NFP认证控制器通信的非易失性存储器或其它非易失性存储装置中(例如,存储器702或服务器的存储装置)。响应于NFP及由经授权用户训练且与经授权用户相关联的经存储用户校准参数,NFP认证控制器810A对NFP进行分类且产生匹配百分比值。响应于所述匹配百分比值及预定可接受匹配百分比,NFP认证控制器810A可产生对正在触摸所述触摸传感器的经授权用户授予对电子装置的存取的存取授予信号1449。NFP认证控制器810A可为处理器(例如,处理器701)经配置(由硬件、软件或硬件及软件的组合)以执行的功能过程。
现参考图7及8B,展示具有三维触敏小键盘705的NFP认证系统的功能框图。触敏小键盘705包含3D触摸传感器801AA到801MN的M×N阵列的矩阵,所述3D触摸传感器801AA到801MN中的每一者可感测位置以及手指890的X、Y手指位置及手指压力Z的变更且产生原始微运动数据。每一垫可包含用来在由3D触摸传感器801AA到801MN捕获原始微运动传感器数据的同时产生多个功能控制信号的功能按钮开关814。
对来自3D触摸传感器801AA到801MN的M×N阵列的信号进行预处理及取样,其中经取样数据耦合到NFP认证控制器810B。在授予存取中,NFP认证控制器810B表现得类似于NFP认证控制器810A。然而,可训练NFP认证控制器810B以支持可预期来自3D触摸传感器801AA到801MN的M×N阵列的矩阵中的不同触摸传感器的稍微不同的信号。
因此,对于每一不同触摸传感器来说,经授权用户校准参数的校准NFP文件可不同。预期对于多个触摸传感器中的每一者的用户校准参数,经授权用户校准参数的校准NFP文件可较大。在较大校准NFP文件的情况下,存储所述文件的非易失性存储器或其它非易失性存储装置可稍大,具有稍大容量。类似地,耦合到所述NFP认证控制器或经耦合而与所述NFP认证控制器通信的非易失性存储器或其它非易失性存储装置(例如,存储器702或服务器的存储装置)可具有用来容纳来自一或多个用户的稍大NFP校准文件的较大存储区域及/或容量。NFP认证控制器810B可为处理器(例如,处理器701)经配置(由硬件、软件或硬件及软件的组合)以执行的功能过程。
现参考图7及8C,展示在电子装置700中具有三维加速度计706的NFP认证系统的功能框图。用户手899握持包含三维加速度计706的电子装置700。三维加速度计706耦合到NFP认证控制器810C。NFP认证控制器810C可为处理器(例如,处理器701)经配置(由硬件、软件或硬件及软件的组合)以执行的功能过程。
在将电子装置700稳定地握持于他/她的手899中时,由3D加速度计706感测在用户手899中且由3D箭头852指示的微运动。随着移动握持于所述用户手中的电子装置700以调整位置(例如从口袋到用户的耳朵),也由3D加速度计706感测除所述微运动之外的不合意微运动。如本文中进一步解释,将在所要信号中抑制、滤除或消除这些不合意微运动。
触摸传感器通常不同于3D加速度计。因此,经授权用户校准参数的校准NFP文件将可能不同。被产生为用来从所述3D加速度计滤除三维加速度计信号中的不想要的运动(例如,微运动)的数字滤波器的滤波器参数的一些校准数据可被包含为与用户相关联的NFP校准文件的部分。因此,3D加速度计的经授权用户校准参数的NFP校准文件可不同于触摸传感器的经授权用户校准参数的NFP校准文件。在任一种情况下,通常将经授权用户校准参数的NFP校准文件存储于所述NFP认证控制器内的非易失性存储器或其它非易失性存储装置或者耦合到所述NFP认证控制器或经耦合而所述NFP认证控制器通信的非易失性存储器或其它非易失性存储装置中(例如,存储器702或服务器的存储装置)。
由3D加速度计706产生的原始三维加速度计信号经预处理且经历归因于重力的补偿。将原始三维加速度计信号取样成数据集的数据样本使得可使用数字信号处理进行数字过滤且使用数字处理器(例如图7中所展示的处理器701)执行数字变换。加速度计数据的数据样本被耦合到NFP认证控制器810C中。
NFP认证控制器810C接收表示由加速度计706感测的微运动的数据样本且产生用户的NFP。响应于NFP及由经授权用户训练且与经授权用户相关联的经存储用户校准参数,NFP认证控制器810C对NFP进行分类且产生匹配百分比值。响应于所述匹配百分比值及预定可接受匹配百分比,NFP认证控制器810C可产生对正握持所述电子装置的经授权用户授予对电子装置的存取的存取授予信号1449。
虽然本文中已描述用来将三维微运动信号捕获为用来产生NFP的三维信号的三维传感器(例如,3D触摸传感器、3D加速度计或3D运动传感器),但所述传感器可为多维的以捕捕获具有至少二个维度的多维信号。举例来说,触摸敏感表面可捕获具有可用来从可变二维信号产生NFP的三维表示的电阻及电容的两个可变维度的可变阻抗。
信号处理
现暂时参考图14A,为了从由传感器捕获且由取样器(A到D转换器)取样的经取样微运动信号1450获得NFP 1460,由电子装置中的处理器执行数个信号处理步骤。由NFP认证系统810的信号处理及特征提取模块1401执行对经取样微运动信号1450中的每一维执行的信号处理步骤。由模块1401执行的这些一或多个信号处理算法在本文中通常可被称为NFP算法及方法。
通常,一序列事件经执行以获得用户的NFP且接着评估其真实性。
从3D加速度计或者一或多个触摸垫传感器(视情况而定)获得预定取样周期内的原始数据文件(沿X、Y及Z方向)。
在预定时间跨度(例如,5、10、20或30秒)内以预定取样频率对原始数据文件进行取样以捕获与所需进一步过滤兼容的感兴趣信号(例如,250Hz(在样本之间是4毫秒)、330Hz、200Hz或低到60Hz(30Hz感兴趣频率的两倍))。
对经取样信号执行信号处理以产生具有感兴趣的特定频率分量的微运动信号。使用具有介于7到8Hz、7到12Hz或8到30Hz之间的频率范围的带通滤波器过滤经取样信号。此频率范围的微运动信号对区别用户最有用。所述带通滤波器也可抑制可由传感器(例如加速度计)捕获的归因于自主或非自主移动的大振幅信号。如果加速度计被用作所述传感器,那么通过信号处理补偿或移除重力的影响。如果加速度计被用作所述传感器,那么通过信号处理使经取样信号位置不变或定向不变。微运动信号是可一致地用来提取特征值以用于用户之间的比较的位置不变的经取样信号。
对微运动信号执行额外信号处理以产生可从中提取的NFP的值的经信号处理的波形信号。选择其值将被提取来表示NFP的预定特征。可在执行额外信号处理之后从所述经信号处理的波形信号、每一微运动信号及/或从所述两者直接提取NFP的值。不管怎样,提取表示用户的唯一NFP的唯一值,所述唯一NFP将不同于由其它用户产生的其它NFP。
可在数个不同应用中使用用户的NFP。使用分类器(各种数据挖掘技术可被用作所述分类器)产生匹配结果值(例如,百分比)。使用产生经授权用户校准参数的初始NFP(校准NFP)训练/校准所述分类器使得实现校准匹配结果等级。此后,可在用户模式中结合所述经授权用户校准参数使用所述分类器。所述用户模式中的分类器产生匹配结果值以将用户认证为经授权用户或未经授权用户。响应于预定存取匹配等级,认证控制器可基于匹配结果值确定用户是否为经授权用户。
数个这些信号处理步骤在本文中作进一步详述。
信号取样
现参考图9,展示单轴(X、Y或Z)的手加速度信号随时间变化的手加速度波形900。手加速度波形900的部分901被放大为波形900T,如所展示。虽然模拟信号波形可被展示于图式中,但应理解,模拟信号波形可随时间变化经取样且由以离散周期性时间戳的一序列数字表示(“数字波形”)。虽然加速度计感测随时间变化的加速度,但如果传感器替代地感测随时间变化的位移,那么可通过二次区分随时间变化的位移信号而将所述位移转换成加速度。
在预定取样时间周期905内对每一轴的手加速度进行取样,例如,例如10、20或30秒时间跨度。取样频率经选择使得其与接续的过滤兼容。举例来说,取样频率可为250Hz(在样本之间是4毫秒)。替代地,取样频率可为例如330Hz或200Hz。由取样模/数转换器对模拟信号执行取样以在给定的预定取样时间周期期间的时间戳T1到TN内产生由数字表示的样本S1到SN。假设20秒取样时间周期及250Hz取样频率,那么在用于总计15k个样本的时间周期内,加速度数据集将包含3(3个轴)乘以5000个样本。
对不相关信号的信号正规化
NFP的产生是基于三维不相关信号。用来感测震颤的3D加速度计是由用户的手握持的电子装置的部分。如图10A中所展示,装置700及装置轴Xd、Yd、Zd可由所述用户的手以相对于世界W及世界轴Xw、Yw、Zw的不同定向握持。因此,来自装置轴Xd、Yd、Zd的3D加速度计的原始传感器数据是相关的。因此,来自装置轴Xd、Yd、Zd的3D加速度计的原始传感器数据取决于电子装置700的定向。使用主分量分析(PCA)执行信号正规化过程以使每一轴的3D加速度计数据是定向不变或旋转不变的且因此是不相关的。
在3D特征空间中分析在给定取样时间周期内来自装置轴Xd、Yd、Zd的3D加速度计的原始传感器数据的每一数据集。确定每一轴的三个本征向量及本征值。比较每一本征向量的本征值以确定识别最大本征向量的最大本征值。接着,使数据集的点旋转(在空间中变换点及其数据值)使得最大本征向量对准预定轴且沿预定轴。对于源自相同电子装置700的3D原始传感器数据的所有数据集来说,所述预定轴是恒定的。对于使用3D加速度计实施NSP算法的任何装置来说,所述预定轴甚至可为恒定的。所述预定轴可例如是Zw世界轴。沿所述预定轴对准,每一数据集的最大本征向量变换了原始传感器数据中的3D点的X、Y、Z分量使得其是不相关且旋转不变的。
举例来说,图10B说明加速度相对于本征向量1010A的3D点1011A。形成本征向量1010A(包含点1011A)的数据集在3D空间中旋转到与Zw世界轴对准的本征向量1010B。因此,点1011A及其X、Y、Z分量值在3D空间中变换到点1011B及其X’、Y’、Z’分量值。
信号抑制/提取/过滤
此NFP算法具体从与受或不受外围结构(例如,肌肉、骨骼、腺等)影响的大脑皮层、其皮层下部分、小脑、中枢神经系统的运动控制有关的经变换传感器数据信号提取震颤或微运动,且抑制经变换传感器数据信号的不想要的部分。
因此,希望从经变换手加速度信号产生或提取微运动信号。然而,经变换手加速度信号可在其内具有可经抑制、经移除或经滤除的数个不合意信号。举例来说,握持电子装置的手通常伴随大移动而移动,例如从人的口袋/钱袋或口袋移动所述电子装置使得小键盘是可存取的且显示器屏幕是可见的。
大加速度摆动902可归因于此类大移动而发生,如图9中所展示。在一些情况下,来自用户的大运动(微运动)的信号的这些大摆动可用作行为轮廓,例如在由杰夫·克莱因(Geoff Klein)于2012年1月5日申请、标题为“用于不易察觉的移动装置用户辨识的方法及系统(METHOD AND SYSTEM FOR UNOBTRUSIVE MOBILE DEVICE USER RECOGNITION)”的第13/823107号美国专利申请案中所描述。然而,由于这些大摆动与神经肌肉震颤相关联的微运动关系不大,所以在此情况下希望在信号处理及产生用户的唯一NFP期间抑制或移除这些大摆动。
可抑制例如归因于大摆动902引起的不想要的信号分量。所述大摆动可来自与用户所处的建筑物或结构有关的振动或来自所述用户在握持具有加速度传感器的电子装置时实际上执行的运动。
多数建筑物及结构是以3Hz与6Hz之间的频率谐振。因此,来自建筑物及结构的振动在合意频率范围外(例如,在8Hz到30Hz的范围外)且不可能使具有所述范围的合意信号谐振及污染所述合意信号。随后将滤除3Hz到6Hz的范围中的信号。
用户的大尺度运动(大幅运动)包含带着电子装置跳跃、带着电子装置移动一个人的臂、带着电子装置转向、散步、跑步、慢跑及带着电子装置的其它大身体移动。用户的大尺度运动(大幅运动)通常对产生NFP不利。NFP算法不是基于手或身体姿态,NFP也不是基于运动谱系/库。
用户的大尺度运动(大幅运动)形成例如图9中所展示的大尺度信号摆动902。用户的大尺度运动不可能在尝试于认证程序期间再生NFP时重复。用户的大尺度运动可在产生NFP中不利地使算法或计算偏斜。因此,来自大尺度运动的大尺度信号被部分抑制或通过针对所要频率范围执行的带通滤波从经获取数据滤除。在相对较长时间周期内,来自大尺度运动的大尺度信号是高度相关的。归因于神经系统的三维微运动是不密切相关的。因此,用来使三维信号不相关的后续信号处理将抑制来自大尺度运动的大尺度信号。
也可使用抑制/滤除来自所要信号、归因于用户的大尺度运动的大尺度信号的替代方式。电子信号可经分析且接着被分类/识别为从微运动的小信号振幅分出的小信号及大信号。分析可为在以下文献中描述的形式:由理查德J.波维内丽(Richard J.Povinelli)等人在2004年6月6日于《IEEE知识与数据工程期刊(IEEE Transactions on Knowledgeand Data Engineering)》第16卷发表的“使用重建相位空间的高斯混合模型的时间序列分类(Time Series Classification Using Gaussian Mixture Models of ReconstructedPhase Spaces)”。替代地,可通过使用如在附录中所附的文献中描述的BMFLC-Kalman滤波器对归因于自主运动的大信号进行分离:由卡雅拿C.维露(Kalyana C.Veluvolu)等人于《传感器(Sensors)》,2011,第11卷第3020到3036页发表的“从实时应用加速度计估计生理震颤(Estimation of Physiological Tremor from Accelerometers for Real-TimeApplications)”。
放大的手加速度波形900T更多是表示包含可从中产生感兴趣的微运动(微加速度)信号的震颤的加速度信号。波形900T具有感兴趣的频率范围外的数个频率分量。举例来说,信号中的感兴趣频率范围是从8Hz到12Hz及/或从8Hz到30Hz。这些频率范围与多数人应通常具有的已知震颤相关联。
现参考图11A,展示具有滤波器响应的带通滤波器(BPF),其中在所要频率范围的端处具有下截止(LC)频率及上截止(UC)频率。BPF是呈用来过滤数字信号的数字有限脉冲响应(FIR)带通滤波器的形式。此BPF将从由传感器捕获的原始电子信号滤除不合意频率信号分量以产生所要频率范围中的感兴趣的微运动加速度信号。可并行使用三个BPF,每一轴信号一个BPF。替代地,一个BPF可在每一轴之间是分时的。
现参考图11B,具有LC频率的数字高通滤波器(HPF)及具有UC频率的数字低通滤波器(LPF)可经串联地组合以在产生感兴趣的微运动加速度信号中实现类似于数字FIR带通滤波器的结果。替代地,具有UC频率的低通滤波器及具有LC频率的高通滤波器可经串联地组合以实现类似合成信号输出。
使用处理器对微运动信号执行额外信号处理以产生NFP。
对加速度计传感器的重力校正
希望移除重力对由加速度计捕获的三维加速度计数据的影响。正因如此,经产生NFP大致上独立于装置定向。专用三维触摸垫传感器可不受重力的影响。在此情况下,由触摸垫传感器在用户手指触摸其时捕获的三维数据无需遵循这些步骤。
重力加速度是常数。因此,预期重力对频谱的影响是接近零频率的固定向量。重力充当零频率DC分量,因此一个人将预期其将实现朝向低信号频率(低于1Hz)的泄漏。
现参考图12A,以低于1Hz(例如,0.25Hz)的截止频率的高通滤波器可用来补偿重力且改进使用NFP的辨识的准确度。具有重力效应的微运动信号被耦合到具有高通滤波器响应的重力高通滤波器(HPF)中,其中截止(CO)频率小于1Hz但大于0Hz。来自重力HPF的信号输出是无重力效应的微运动信号。
现参考图12B,用来消除重力影响的另一方式是变换每一数据集的3D加速度数据点(ADP1到ADPN)的坐标。首先确定在预定取样周期内3D加速度点(X、Y、Z信号)的经取样数据集的重心CG的XYZ坐标。接着,给定数据集中的3D加速度点的坐标经历平移变换使得重心在(X=0,Y=0,Z=0)坐标或轴原点处。在此情况下,整个数据集经历平移变换。
用来消除重力对加速度信号的影响的又一方式将是以分析方式针对在3D加速度计数据中引发的相移校正重力向量。可从原始3D加速度信号确定所述重力向量。接着,所述3D加速度计数据可沿响应于所述重力向量的一个方向减弱且沿所述重力向量的相反方向增强。
经过滤微运动波形
在进行过滤及抑制以移除不想要的信号且进行变换以补偿重力或关系之后,形成所要微运动信号。
现参考图13A,波形图展示归因于重力及定向差异而彼此偏移的原始加速度波形数据1301到1303的三个轴。图13B说明在抑制/移除/过滤来自经捕获加速度传感器数据的不想要的信号之后三个轴的加速度波形数据。图13B中的加速度波形数据表示微运动信号波形。如果使用3D触敏传感器而非3D加速度计,那么三个轴中的位移波形可为合成信号。虽然图13A到13B展示四秒的取样,但可使用更多或更少时间的取样周期。
存在对应于由3D加速度计感测的加速度的三个轴或由3D触摸垫传感器感测的位移的三个轴的微运动信号的三个轴。所述微运动信号的三个轴定义可绘制的三维点x(t)、y(t)、z(t)。可在取样时间周期内将用户的三维微运动信号x(t)、y(t)、z(t)进一步处理成相位(t)、y(t)、z(t)并绘制于例如图2A到2C中所展示的三维庞加莱相位散点图中。
不同用户的三维庞加莱相位散点图表明:微运动信号具有可用来识别并认证用户的唯一图案。可从庞加莱相位散点图获得每一用户的唯一图案。可从微运动自身的时间序列获得每一用户的另一唯一图案,而无需任何相位信息。然而,更容易的是,使用信号处理器及数字信号处理算法以从信号自身提取唯一图案。
NFP认证控制器
现参考图14A,展示NFP认证控制器810的框图。NFP认证控制器810包含信号处理及特征提取器模块1401(可分成两个单独模块)、NFP认证分类器模块1402及授权(认证)控制器模块1404。NFP认证控制器810可进一步包含用于例如由小键盘进行多因素认证的任选二次认证模块1406。可通过由处理器、硬接线电子电路或每一者的组合执行的软件/固件指令实施所述模块中的一或多者。
NFP认证控制器810可进一步包含:耦合到分类器1402的非易失性存储装置1453及用来存储数据(例如用户校准参数1466)的授权(认证)控制器模块1404;存取匹配(AM)等级1456A、强制性重新校准(MR)等级1456B、自主重新校准(VR)等级1456C(被统称为匹配百分比等级1456);及认证启用位(EN)1455。替代地,非易失性存储装置1453可在NFP认证控制器810外部,但作为安全独立的非易失性存储装置或更大非易失性存储装置的安全部分保持于电子装置内部。
NFP认证控制器810接收在每一取样周期内的每一数据集中的微运动数据样本1450的三维。将微运动数据样本1450耦合到信号处理及特征提取器模块1401中。信号处理及特征提取器模块1401对微运动数据样本1450执行信号处理及信号分析以针对相应三维(X、Y、Z)中的每一者提取多个经提取特征1460X、1460Y、1460Z。经提取特征1460X、1460Y、1460Z共同表示耦合到NFP认证分类器模块1402中的NeuroFingerPrint(NFP)1460。
NFP认证分类器模块1402接收NFP 1460(来自微运动数据样本1450的经提取特征),且产生匹配百分比(MP)信号输出1465。在用户模式中,将匹配百分比信号1465耦合到认证控制器1404中。在校准或训练模式中,匹配百分比信号1465供电子装置中的处理器使用以响应于对初始用户校准参数1466的选择评估匹配百分比信号1465。预期NFP认证分类器模块的训练/校准及初始用户校准参数1466的产生的持续时间介于5与10秒之间。预期在所述用户模式中,花费不足5秒来感测用户的身体部分中的运动及确定是授予还是拒绝所述存取。
在所述校准或训练模式中,经授权用户可产生用户校准参数1466的一或多个集使得NFP认证系统在不同条件下操作。举例来说,用户可能想要将电子装置握持于任一只手中且已被授予存取。在左手与右手之间或在不同手指之间,震颤将是不同的。用户可能想要将NFP认证系统校准到左手及右手两者或多根手指。此外,在一些情况下,一个以上用户将使用电子装置。在此情况下,多个人可为经授权用户且将需要进行并存储多次校准。因此,存储装置1453可存储相同经授权用户或不同经授权用户的用户校准参数的多个集。
认证启用位(EN)1455耦合到认证控制器1404中。认证启用位(EN)1455可用来在初始校准或训练模式之后启用认证控制器1404。在初始校准或训练模式之后,设置认证启用位(EN)1455且启用认证控制器1404。在所述初始校准或训练模式之后,不在所述用户模式或重新校准模式中复位认证启用位(EN)1455。除非擦除整个电子装置连同所述启用位,否则由启用位1455启用认证控制器1404以便增强安全性。
在所述用户模式中,匹配百分比信号1465供认证控制器1404使用以评估是否授予对电子装置及其软件应用程序的存取。评估匹配百分比信号1465与存取匹配等级1456A以产生存取授予(AG)信号1499。如果匹配百分比信号1465大于或等于存取匹配等级1456A,那么产生以逻辑等级的存取授予(AG)信号1499以发信号通知已授予存取。如果匹配百分比信号1465小于存取匹配等级1456A,那么不产生存取授予(AG)信号1499且不授予存取。存取授予(AG)信号1499耦合到处理器以便使得经授权用户能够控制并操作电子装置的功能。
如果使用所述任选二次认证模式,那么将二次匹配(SM)信号1468耦合到认证控制器1404中。在此情况下,认证控制器1404关于是否产生存取授予(AG)信号1499进一步评估二次匹配信号1468。认证控制器1404可使用AND逻辑以在产生所述存取授予信号之前要求满足两个条件。替代地,认证控制器1404可使用OR逻辑以在产生所述存取授予信号之前要求满足两个条件。
响应于来自处理器的非有源重新激活信号1470,认证控制器1404维持存取授予信号1499处于有源状态(只要用户使用电子装置)且避免睡眠状态或超时以进入受保护状态。如果发生所述睡眠状态或超时,那么由处理器对重新激活信号1470施以脉冲。响应于所述脉冲式重新激活信号,授权(认证)控制器模块1404撤销激活存取授予信号1499使得用户必须使用电子装置的NFP认证系统重新认证他自己/她自己以获得存取。
现参考图15,展示与沿X轴的匹配百分比信号1465相比的匹配百分比等级(MP)1456的图表。Y轴指示由认证控制器1404产生存取授予(AG)信号1499及是否对可疑用户授予存取。
在所述用户模式中,匹配百分比信号1465供认证控制器1404使用以评估是否授予对电子装置及其软件应用程序的存取。评估匹配百分比信号1465与存取匹配等级1456A。如果匹配百分比信号1465处于或高于存取匹配等级1456A,那么由认证控制器1404产生存取授予(AG)信号1499。如果匹配百分比信号1465低于存取匹配等级1456A,那么认证控制器1404不产生存取授予(AG)信号1499。
现参考图14A及15,认证控制器1404也可产生一或多个重新校准信号以在NFP认证分类器1402无法产生处于或高于存取匹配等级1456A的匹配百分比信号1465的等级之前,通知用户通过对于经授权用户再生用户校准参数1466来重新校准NFP认证系统。
在所述训练或校准模式中,由初始用户校准参数1466来训练/校准NFP认证分类器1402使得NFP认证分类器1402产生处于可为或接近100%(例如98%)的校准等级1457匹配百分比信号1465的等级。在训练之后,在所述用户模式中,由用户随时间变化产生的NFP可随着他/她的身体年龄、疾病或影响身体的生理状况的其它原因而变化。因此,匹配百分比信号1465可随时间流逝从校准等级1457减小。使用周期性重新校准来复位用户校准参数1466使得匹配百分比信号1465恢复到校准等级1457。取决于用户年龄、健康状况及身体的其它生理状况,用户通常可或多或少需要周期性重新校准。
在所述用户模式中,NFP认证分类器1402供认证控制器1404使用以评估是否需要重新校准。重新校准的确定是响应于强制性重新校准(MR)等级1456B及自主重新校准(VR)等级1456C。强制性重新校准(MR)等级1456B小于自主重新校准(VR)等级1456C及校准等级1457两者。自主重新校准(VR)等级1456C小于校准等级1457。
重新校准需要首先将用户验证为经授权用户,首先必须授权对电子装置的存取以进入所述用户模式并进行重新校准。如果所述装置被未经授权用户窃取,那么所述未经授权用户将不被授予存取来重新校准所述装置。
如果匹配百分比信号1465降到低于自主重新校准(VR)等级1456C,那么由认证控制器1404产生自主重新校准信号1471。在此情况下,电子装置通过其用户接口通知用户:他/她应暂停并花费一些时间来通过再生用户校准参数1466自主地重新校准NFP认证系统。预期多数用户将自主地选择重新校准NFP认证系统。然而,一些经授权用户将选择等待、忘记警告或完全忽视警告。
对于不自主地重新校准NFP认证系统的那些经授权用户,可迫使其经历强制性重新校准过程。如果匹配百分比信号1465进一步减小并降到低于强制性重新校准(MR)等级1456B,那么由认证控制器1404产生强制性重新校准信号1472。在此情况下,在经授权用户由NFP认证分类器1402被验证且由认证控制器1404被授予存取之后,电子装置立即进入重新校准模式,通过其用户接口通知用户通过继续适当地握持所述装置或适当地触摸按钮来准备并执行重新校准程序。进一步通知用户:NFP认证系统正执行重新校准并继续等待直到重新校准完成为止且随着再生用户校准参数1466以产生处于或高于校准等级1457的匹配百分比信号1465已成功地重新校准NFP认证系统。
如果一段时间不使用电子装置,那么匹配百分比信号1465有可能进一步减小并降到低于存取匹配(AM)等级1456A。在此情况下,经授权用户可被拒绝存取。因此,存取匹配(AM)等级1456A的值的选择是重要的使得经授权用户不容易被拒绝对电子装置的存取,而未经授权用户被拒绝存取。希望产生NFP信号1460,NFP信号1460是由模块1401产生并耦合到NFP认证分类器1402中,对用户的变化不太敏感(例如,老龄化、疾病)使得重新校准是不太频繁的。因此,希望选择模块1401的信号处理及特征提取算法使得在产生NFP中敏感度是低的且不太可能随时间改变。
以递增次序的匹配百分比等级(MP)1456的实例设置为:存取匹配(AM)等级1456A是85%,强制性重新校准(MR)等级1456B是90%,且自主重新校准(VR)等级1456C是95%。因此,由电子装置的用户接口通知用户在需要执行强制性重新校准之前执行自主重新校准。
在需要用户进行强制性重新校准的情况下,如果电子装置被积极地使用,那么应避免NFP认证系统拒绝对电子装置的存取。如果电子装置被搁置一段时间(例如,一或多年),那么可能需要用户将电子装置擦干净,重新初始化NFP认证系统,且例如从备份重载应用程序及/或数据。
现参考图14A到14B,展示用于NFP认证分类器1402的模型。根据一个实施例,所述模型是可呈线性的回归分析模型。在替代实施例中,用于NFP认证分类器1402的回归分析模型可为非线性的。在训练或校准模式期间,由信号处理及特征提取模块1401提取来自经授权用户的微运动信号的特征以产生校准NFP 1460,包含每一轴的校准NFP信息1460X、1460Y、1460Z。
将每一轴的校准NFP信息1460X、1460Y、1460Z置于单行NFP矩阵1452中。经授权用户校准参数1466的适当值是未知的。可随机地将用户校准参数1466的值设置到单列校准矩阵1454中。由处理器执行矩阵乘法以使单行NFP矩阵1452及单列校准矩阵1454相乘以获得匹配百分比值1465。
在校准/训练期间,处理器搜出将置于单列校准矩阵1454中以产生匹配百分比1465的预定值的用户校准参数1466。此预定值被称为校准等级1457。举例来说,校准等级1457可设置到90%。在此情况下,处理器搜出经授权用户校准参数1466的值使得在与NFP1460相乘时,从分类器输出的匹配百分比1465是90%或更大。
一旦经授权用户校准参数1466经设置并存储于电子装置中,NFP分类器1402就使用经授权用户校准参数1466以乘以从未知用户或经授权用户产生的后续经再生NFP。
如果一人员随后无法产生大致上类似于校准NFP的经再生NFP,那么在用户校准参数1466乘以不同经再生NFP时,由分类器1402产生的匹配百分比1465的值将为低。授权(认证)控制器模块1404可经设置使得匹配百分比1465的低值对产生显著不同的经再生NFP的未知人员拒绝存取。
如果一人员随后产生NFP(大致上类似于校准NFP的经再生NFP),那么在用户校准参数1466乘以所述经再生NFP时,由分类器1402产生的匹配百分比1465的值将为高。授权(认证)控制器模块1404可经设置使得高于存取匹配等级1456A的匹配百分比1465的高值授予对电子装置的存取。
用来产生NFP的信号处理及特征提取
现参考图13A,图中展示来自3D加速度计的三维加速度数据的原始未经过滤样本。对于电子装置的X、Y及Z轴,对于三维中的每一者捕获原始信号1301到1303。随着一些预处理、带通滤波及重力补偿,图13B中所展示的微运动信号波形1311到1313可分别由原始信号1301到1303形成。接着,可对微运动信号波形1311到1313执行进一步信号处理以针对加速度数据的给定样本形成NFP。存在用来从微运动信号产生NFP的各种方式。一旦经校准/经训练,电子装置中的NFP认证系统就使用产生所述NFP的一致方法。
三维微运动信号与存在于用户中的常见震颤相关。存在隐藏于微运动信号的时域中的图案,所述微运动信号因其起源于每一用户的神经肌肉机能而为他/她所独有。希望通过对微运动信号执行信号处理且接着从微运动信号提取特征以形成NFP来突出所述图案。接着可在训练或校准过程期间使用校准NFP来产生经授权用户校准参数。出于用户认证的目的,随后可使用所述经授权用户校准参数以对经再生NFP进行分类并区别已知的经授权用户与未知的未经授权用户。
然而,在可将NFP用于认证之前,使用所述NFP以通过产生经授权用户校准参数的集来训练或校准分类器的模型。随后,结合所述分类器模型使用经授权用户校准参数的此集以评估由传感器从未知人员捕获的未来NFP(经再生NFP)。可使用各种信号处理算法以从微运动信号提取数据作为NFP。
可使用逆谱分析检测隐藏于微运动信号中的图案,举例来说,例如图13B中所展示的微运动信号波形1311到1313。执行所述逆谱分析以便恢复与时间变化有关的未知信号分量。
一种类型的可用逆谱分析是倒谱分析。倒谱分析是用于检测频谱的周期性的工具。可使用所述倒谱分析来检测重复图案、其周期性及频率间隔。
通常,倒谱是进行信号的经估计频谱的对数的逆傅立叶变换(IFT)的结果。
如由以下方程式展示,信号的功率倒谱可被定义为信号的傅立叶变换的平方量值的对数的逆傅立叶变换的平方量值。
首先,使用快速傅立叶变换取得微运动信号(例如图13中所展示的微运动信号)的傅立叶频谱。数学上,此可通过使用以下方程式执行傅立叶变换而完成
其中ξ表示实频率(以赫兹为单位)值且独立变量x表示时间,为变换变量。使用可对信号进行数字取样的软件或数字电路,可使用由以下方程式表示的离散时间傅立叶变换(DFT)
对微运动信号的傅立叶变换的结果是谱密度(功率谱或傅立叶谱)。图16说明针对手处的震颤、随时间变化的加速度所呈现的谱密度的实例。应注意,生理震颤的预期峰值(P)信号分量是处于约10到12Hz的峰值频率(PF)。然而,在针对震颤的谱密度曲线中仍存在许多有用的隐藏图案(HP)信息。
谱密度(功率谱)是信号的分量频率的复合物。即,存在组合在一起以形成谱密度曲线的众多信号频率。希望有效地分出信号频率以展示图案。由所述谱密度说明的信号复合物是等效于构成信号的乘积的信号卷积。
取卷积的对数将所述谱密度有效地转成构成信号的总和而非乘积。此外,所述谱密度的对数(或所述谱密度的平方的对数)突出隐藏图案(HP)信息可存在于其中的谱密度曲线中的较低振幅频率分量。取所述谱密度的对数有效地使谱密度信号的大信号振幅压缩且使谱密度信号的较小振幅扩展。
然而,难以看见通过对数变换产生的信号波形的周期性及案。因此,对所述对数信号波形执行逆傅立叶变换(IFT)使得未知频率分量及隐藏图案是可见的。所述对数变换的逆傅立叶变换使微运动信号波形的谱密度中的复合信号的分量分离。
图17A到17B说明图13B中所展示的微运动波形所呈现的倒谱。此合成波形是在进行谱对数的逆傅立叶变换(IFT)之后产生。倒谱在所述合成波形中产生一系列经大致上分辨的未知信号分量。特征的图案的值可从所述合成波形中的每一轴(维)提取且用作用来识别用户的NFP。注意,图17A到17B中所展示的倒谱波形的水平轴是频率且不是时域中的时间度量。
通常,逆傅立叶变换是可针对函数g的变量值对所述函数g求积分的积分。在此情况下,逆傅立叶变换可由以下方程式表示:
为了恢复离散时间数据序列x[n],可使用逆离散傅立叶变换(IDFT)。
使用逆快速傅立叶变换(IFFT),方程式变为
其中由n=0到N-1对N个样本的序列f(n)编索引,且离散傅立叶变换(DFT)被定义为F(k),其中k=0到N-1。
图17A到17B说明三维倒谱波形信号1700的实例。波形信号1700是对微运动信号执行倒谱分析从而导致倒谱信号波形1701、1702、1703的结果,微运动信号的每一维具有一个倒谱信号波形。倒谱波形信号1700具有与其相关联且可容易用来识别用户的不同特征。举例来说,倒谱波形信号1700的前N个峰值可为用来从每一倒谱波形信号1700提取以识别用户的预定特征。所述峰值因其高变化而被选择,因此其是不同特征。对于每一用户,前N个峰值的倒频率及振幅的值可用作相应用户的NFP。N个峰值的倒频率及振幅的值可用作响应于经授权用户校准参数输入到分类器模型中以产生匹配百分比(MP)的NFP。
其它特征可经选择且从微运动信号的倒谱提取其值。其它信号处理可经执行使得微运动信号中的额外特征或图案变得显而易见且可用于产生NFP。对于NFP认证系统来说,使用哪些特征来提取值的一致性是关键所在。所述特征应是预定的。相同特征(例如,前N个峰值)应在校准/训练模式期间结合校准NFP使用且在用户模式中时形成来自新样本集的经再生NFP。
举例来说,在图17A中可看出,在每一轴上处于其相应倒频率(quefrequencies)(或倒频率(quefrencies))及振幅的前五个峰值P1、P2、P3、P4、P5(例如,从3个轴/3条曲线及5个峰值,总计3×5个振幅值)具有可用来不同地识别用户的大变化。前五个峰值P1、P2、P3、P4、P5的振幅及倒频率在从不同用户捕获时将明显不同。因此,可使用对于前五个峰值P1、P2、P3、P4、P5提取的振幅及倒频率来区别用户身份,举例来说例如图18A到18B中所展示。虽然在此实例中使用前五个峰值,但其不是对实施例的约束或限制,这是因为更少峰值、额外峰值或多个其它特征可经选择以形成NFP。
在前五个峰值P1、P2、P3、P4、P5是用来从倒谱信号波形提取值的预定特征的情况下,可对于具有微小变化的相同用户反复再生NFP。如果不同用户产生他/她的NFP,那么预定特征的经提取值将大幅变化。可使用经授权用户的NFP与不同用户的NFP之间的实质变化以对所述经授权用户授予存取且对所述不同用户拒绝存取。
从倒谱波形提取的前N个特征可用来再生NFP且供NFP认证分类器使用来对与经授权用户校准参数的匹配进行分类。选择倒谱中的较前特征(例如前N个(例如,N为3到5)峰值或其它系数)可减小取样周期,但仍表示信号的大部分变化。举例来说,这前N个系数可通过凭借PCA分析规划N个特征而扩展成128个经提取特征,且因此变为128个经提取特征的线性组合。
在5、10或20秒的取样周期内,从倒谱波形提取的值是预定特征的位置(倒频率)及其相应振幅。如果预定特征是例如前五个峰值,那么将每一轴的振幅及倒频率的值提取为NFP。此方法汇总取样周期内的时间。
可近实时分析倒谱,而非汇总所述取样周期内的时间。举例来说,在此情况下,可根据时间选择并绘制以一个倒频率的一个峰值。举例来说,可选择以图17A中的倒频率8的峰值P1。接着可根据时间绘制以倒频率8的每一轴振幅的3D坐标。以其它倒频率的其它特征可经进一步选择,因此存在N个频率(例如,128个‘倒频率’),因此可使用最近邻分析、线性或二次分析执行n空间分析,其中例如n是128。
然而,128个倒频率的分析是一种挑战。通过检查波形中的最大变化在何处,所述分析可变得更简单且缩减计算时间。可采用前3、5或10个倒频率(quefrequencies)(或倒频率(quefrencies))位置且在数据空间的3、5或10维中执行主分量分析(PCA)。接着,可例如对此受限数据空间执行最近邻分析以提取NFP值。
特征提取及产生NFP值的另一方式可在未根据时间对每个倒频率的数据点进行3D绘制的情况下完成。可将倒频率、振幅及时间当作向量的真坐标。N个倒频率可经选择以将振幅及时间绘制为维度。接着,可在任何给定时间针对经分辨频率绘制这些向量。这产生可经分析以提取NFP值的所述经提取特征的时间序列。
特征提取及产生NFP值的另一方式是在不同时间提取所述频率(倒频率)、振幅(如每秒50次提醒:在16与30+Hz之间,感兴趣且相关的原始信号是带通的)。在几秒内,产生可用作NFP的提取值的一系列数字。以不同时间点而非不同倒频率的值可经提取且用作NFP。
虽然本文中描述倒谱信号处理,但可对微运动信号使用其它信号处理算法使得其它图案出现于不同波形中。不同特征可从所述波形信号提取且用来定义用于NFP认证分类器的NFP。不同经提取特征可用作响应于经授权用户校准参数输入到模型中以产生匹配百分比(MP)的NFP。
现参考图18A到18B及19A到19B,展示不同用户的不同NFP的单轴的实例。可由两个或两个以上额外维度提供额外维度。
图18A到18B说明基于两个不同用户的倒频率的单轴的不同NFP的实例。在图18A到18B中的每一者中,五个经提取峰值P1到P5中的一或多者以不同倒频率F1到F5以不同振幅出现。因此,每一用户的NFP是不同的。图19A到19B说明基于两个不同用户的时间的单轴的不同NFP的实例。在图19A到19B中的每一者中,五个峰值P1到P5中的一或多者在不同时间T1到T5以不同振幅出现。因此,每一用户的NFP是不同的。
倒谱信号波形的前五个峰值是针对每一用户从每一用户的不同微运动信号提取的预定特征。前五个峰值的定位及振幅的值区别一个用户与另一用户,其类似于门钥匙中的齿及切口如何区别钥匙。经授权用户校准参数表现得有点像接合门钥匙中的齿及切口的锁的转臂(tumbler)。如果所述门钥匙中的齿及切口是错误的,那么所述门锁的转臂将不正确地接合而无法开锁。在一个以上维度(例如,3个轴)用于特征提取的情况下,NFP变得更独特。图14B说明在从微运动信号1460X、1460Y、1460Z提取以形成NFP 1460的特征的三维之外提取的特征的值的经添加维度AD 1460A。
虽然可使用3D加速度或3D位移值,但时间可为另一添加的维度。在一个时间点,3D值将具有一个振幅,而在另一时间点,其将具有另一振幅。
训练/校准
现参考图14B,NFP 1460中一或多个维度及用户校准参数(如果经训练)耦合到NFP认证分类器1402中。用于所述NFP认证分类器的算法是数据挖掘算法,例如线性回归算法、非线性回归算法、线性二次算法、二次方程式算法、最近邻分类器或k×N最近邻分类器。线性回归算法被展示为具有xM个元件或xM列的一个行矩阵1452与具有xM行的一个列矩阵1454相乘。一个行矩阵1452表示具有用于一或多个维度中的每一者的经提取特征的值的NFP 1460。一个列矩阵1454表示经授权用户校准参数1466。在此情况下,乘法提供匹配百分比的值。在训练/校准期间,用户校准参数1466经调整以将校准等级形成为匹配百分比(MP)输出1465。
NFP认证分类器1402在使用之前由经授权用户进行训练/校准。一旦初始训练/校准完成,未经授权用户就无法训练或重新校准分类器1402。在一或多个取样周期期间由加速度计捕获微运动信号,其中电子装置在用户的手中或用户按下触摸传感器。对加速度计的校准可伴随左手或右手或两只手发生。对触摸传感器的校准可伴随每一手的一或多根手指发生。
微运动信号是使用信号处理算法经处理且特征是从合成波形提取作为本文中被称为校准NFP的NFP校准样本。在训练/校准期间,使用NFP校准样本来查找与经授权用户相关联的经授权用户校准参数1466且训练/校准分类器以产生所要校准匹配百分比等级。在已产生并安全地存储经授权用户校准参数1466之后,出于安全原因而放弃校准NFP。由于不保存校准NFP,所以需要在用户模式中针对用户再生NFP(其被称为经再生NFP)以获得对电子装置的存取。在装置认证已经重新制定以锁定装置而不被存取之后,需要由经授权用户再生所述NFP。
经再生NFP是使用来自用户的神经力学微运动的另一样本且通过从存储装置重新叫用经存储的经授权用户校准参数而产生。接着出于认证目的而使用经再生NFP以获得对电子装置的存取。使用经再生NFP,经授权用户校准参数可能提供高匹配百分比使得可能再次授予对电子装置的存取。如同校准NFP被放弃,经再生NFP在暂时用来测量认证之后不被保存。随后出于安全原因而放弃经再生NFP,且产生下一经再生NFP并评估其与经授权用户校准参数的匹配百分比。如果经再生NFP被分类为具有大于或等于存取匹配等级的匹配百分比,那么授予对电子装置的存取。
取决于由分类器1402使用的算法,NFP认证分类器的训练可为线性的或不是线性的(即,非线性的)。
为了校准分类器1402,针对校准匹配百分比等级选择预定值。所述校准匹配百分比等级的预定值可为100%或更小。然而,所述校准匹配百分比等级的预定值应高于所要授予存取匹配(AM)等级。
鉴于NFP校准样本,电子装置中的处理器浏览用户校准参数的测试序列以便产生等于或大于所述校准匹配百分比等级的预定值的匹配百分比。在选择产生等于或大于所述校准匹配百分比等级的匹配百分比的初始用户校准参数之前,可要求用户通过继续握持所述装置或继续按下触敏按钮来产生额外微运动(表示NFP)。使用这些额外NFP来验证所述分类器是通过用户校准参数1466正确地训练/校准。
在校准之后,进行实验以确定在对经授权用户授权存取中的错误率。使用微运动信号的倒谱信号分析,具有加速度计传感器的手持电子装置中的经训练分类器在辨识经授权用户中具有7%的错误率。此时,经授权用户93%被正确地辨识。因此,存取匹配(AM)等级需要设置到低于93%(举例来说例如80%),使得所述经授权用户始终被授权存取电子装置。
在微运动信号的倒谱信号分析结合电子装置中的触敏小键盘使用时,错误结果似乎有所改进。在小样本大小的用户将其PIN号码输入于触敏小键盘上时,通过使用倒谱信号分析的方法来实现经授权用户的100%辨识率。不管怎样,存取匹配(AM)等级需要设置到低于100%(举例来说例如85%),使得所述经授权用户始终被授权存取电子装置。
倒谱信号处理及产生NFP的替代方式。
用于信号分类任务的许多现存时域方法是基于相当简单的潜在图案或模板的存在(先验已知或从数据得知)。然而,对于真实信号(如心脏、语音或电动机系统),此简单图案很少由于潜在过程的复杂度而存在。确实,基于频率的技术是基于谱图案的存在。从随机过程观点,对微运动信号使用的基于频率的信号处理技术将仅捕获系统的一阶特性及二阶特性。
本文中所描述的倒谱分析可从加速度计数据提取一些时间相关信息,但此方法仍与频率分散有关。由于在微运动信号中比普通频率存在更多信息,所以其它信号处理技术及特征提取方法可能能够改进NFP的强度使得其不太敏感且不太可能随时间改变。
替代地,例如可使用混沌分析来产生NFP。使用混沌学,可提取关于倒谱描述的模拟预定特征。然而,这些预定特征不是基于频率,但具有时间轨迹。用于使用混沌分析提取的实例特征是奇异吸引子的重心与其碎形维度及李亚普诺夫指数(Lyapunov exponent)。可使用若干秒内(例如,5、10、20秒)的数据扫描以从微运动信号获得这些特征的值。
使用混沌分析的另一实例是在无IFT的情况下使用从每一轴的谱的对数产生的波形信号。从所述对数波形信号,振幅及时间可被当作向量的真坐标且在任何给定时间针对N个(例如,N=128)经分辨频率进行绘制。重心、维数及李亚普诺夫指数可被提取为表示NFP的值的时间序列。
根据一个实施例,可产生NFP信号特征可从中提取并耦合到NFP认证分类器中的相位散点或庞加莱散点(例如参见图2A到2C中所展示的庞加莱散点200A到200D)。在相位散点或庞加莱散点的轨道中比倒谱波形的轨道存在更多信息。因此,有用的是,使用从经过滤微运动数据流产生的相位散点或庞加莱散点,针对NFP从所述相位散点或庞加莱散点提取传感器数据中的特征。
在又另一实施例中,将隐马尔可夫(Markov)模型分析用作信号处理模块以获得更多特征信息作为NFP以耦合到选定分类器中。马尔可夫模型是用来模型化随机改变系统的随机模型,其中未来状态仅取决于目前状态且不取决于其之前事件的序列。通常,将马尔可夫链(一或多种状态的状态空间)用作所述马尔可夫模型。从一种状态到另一种状态的转变是无记忆随机过程。下一种状态仅取决于当前状态且不取决于其之前事件的序列。隐马尔可夫模型是仅可部分地观察状态的马尔可夫链。
现参考图20,说明实施所述隐马尔可夫模型分析的状态机2000。使用状态机2000及隐马尔可夫模型以从微运动信号的经信号处理波形提取特征且执行用来授予或拒绝存取的分类(或认证用户)。
状态机2000包含状态2001到2004及来自经信号处理波形的经提取特征F1 2010A到Fn 2010N(例如,图2A到2D中所展示的庞加莱散点),其中N小于或等于10。状态2001是接受状态,状态2002是重新校准状态,状态2003是拒绝状态,且状态2004是复位/初始化状态。
存在可在状态机2000的状态2001到2004之间进行的状态转变。状态转变a1是从接受状态2001到重新校准状态2002。状态转变a2是从重新校准状态2002到拒绝状态2003。状态转变a3是从重新校准状态2002到接受状态2001。状态转变a4是从接受状态2001到拒绝状态2003。拒绝状态2003也可转变到复位/初始化状态2004。
从状态2001到2003到特征F1 2010A到Fn 2010N,存在输出概率。从接受状态2001到特征F1 2010A到Fn 2010N,存在输出概率Oa1到Oan。从重新校准状态2002到特征F12010A到Fn 2010N,存在输出概率Or1到Orn。从拒绝状态2003到特征F1 2010A到Fn 2010N,存在输出概率Od1到Odn。
使用隐马尔可夫模型,尝试在不了解正被分析的系统的内部细节的情况下得到正确答案。所述答案是状态2001到2003,其非常复杂且基于混沌输入。经提取的N个特征F12010A到Fn 2010N是唯一的可测量特征。所述特征可为多样的,例如重心或一系列李亚普诺夫指数、可从数据轨迹提取的任何参数,所述特征中的每一者与特定于三种状态2001到2003的优势率相关(例如,Oa1到Oan、Or1到Orn、Od1到Odn)。通过到第四状态2004的转变退出状态机2002。第四状态2004对应于系统重新初始化,例如完全复位。
在又另一实施例中,基于重构相位空间(RPS)使用新信号分类方法执行动力学系统信号分析。可将动力学不变量用作将在所述信号分析之后提取的特征。预期此方法可捕获更多信息,从而导致更好用户辨识。
使用方法
如图8A到8C中所展示,一个人握持电子装置或触摸一或多个触敏板以认证他自己/她自己。在取样周期的几秒内,电子装置中的3D传感器(定位于不同轴上的3个传感器)感测归因于用户身体的生理状况引起的用户的手或手指中的振动或微运动。所述3D传感器同时产生可经取样并转换成数字形式的三个电子信号。使用信号处理技术预处理并分析数字样本以针对刚刚手持电子装置或触摸触摸传感器的用户实时产生NFP。
响应于经授权用户校准参数,接着可使用所述NFP来评估握持或触摸电子装置的人员是否为经授权用户。响应于经授权用户校准参数,可将所述NFP用作用来对数据文件加密及解密的密钥。替代地,可使用有效NFP来认证文件是否由所述经授权用户签署、书写或创建。
可将用户校准参数存储于电子装置中的本地档案或本地存储装置中。替代地,可将用户校准参数存储于与服务器相关联的存储装置中的远程档案中或存储于因特网云端中的存储区域网络的存储装置中。在无活体经授权用户的手或手指的情况下,经授权用户校准参数是无用的。在经授权用户的手或手指不再生他/她的NFP的情况下,拒绝对电子装置的存取。
用于NFP认证的应用
可使用NFP认证系统来控制对电子装置的存取。也可使用NFP认证系统来控制对与所述电子装置相关联的功能及由所述电子装置执行的软件应用程序的存取。可使用NFP认证系统来控制对远程电子装置的存取(即,其中对本地装置实践感测以确定对远程电子装置的存取)。
可具有由NFP认证系统控制的存取的功能的实例包含但不限于登录、用户受保护存取、电子交易及需要明确认证的任何其它本地功能。
举例来说,用于NFP认证系统的安全应用包含计算机及软件登录、电子商务、电子银行业务及反诈骗应用。用于NFP认证系统的人类控制应用的实例包含住宅自动化(domotic)认证及保护(住宅安全系统)、汽车安全及对限制区的专业进出。用于NFP认证系统的医疗应用的实例包含对保健专业人士的诊断协助(神经肌肉a.o.)、对患者的治疗监测以及对存储医疗记录的数据库的患者及医生医疗认证(记录、数据路由、...)。用于NFP认证系统的健康及健全应用的实例包含保护用户的体质记录。用于NFP认证系统的游戏应用的实例包含用于虚拟现实游戏的安全特征及/或模拟器。
生物统计加密组合触摸辨识技术与实际数据存储。数据是使用NFP进行加密使得其是不可读取的,除非是数据的经授权用户/拥有者。后门进出是不可用的。然而,为可信人员的其它经授权用户也可使经授权用户校准参数产生,使得万一出现与原始用户/拥有者相关的问题那么其被授予进出。
可在某些应用中嵌入触摸辨识技术。举例来说,触摸辨识技术可用于进出控制面板使得在由人类手或人类手指触摸表面时,可响应于不使用钥匙(无钥匙)的用户NFP授予或拒绝对车辆、建筑物(例如,住宅或办公室)或区(例如,楼层)的进出。类似地,触摸辨识技术可用于握持于用户的手中或由手指触摸的无线遥控钥匙,使得可响应于不使用钥匙的用户NFP授予或拒绝进出。触摸辨识技术可与指纹认证组合。在此情况下,图像扫描仪及触敏板可一起用来同时捕获用户指纹及用户NFP两者以用于在授予或拒绝进出中进行多次认证。
使用额外信号处理算法,NFP的产生可经调适以监测用户的健康及健全以便进行健康修正。NFP再生的改变可减小指示用户健康的退化的匹配百分比。另一方面,在再生NFP时匹配百分比的增大可指示用户的健康及健全的改进。所述改变可用来发现及/或监测神经变性疾病(例如阿兹海默氏症、帕金森症)或用于疗效监测。所述改变可用来获得心率变异性的度量,可使用加速度计通过在用户握持装置时提取心脉的冲击波来测量压力及情绪状态的关联。所述改变可用作可用于例如视频游戏产业的虚拟现实眼镜及护目镜的生理安全特征。
如先前参考图6所论述,微运动及从所述微运动产生的微运动信号可指示数种病理状态。采用触摸技术/加速度计的医疗装置及控制器可专注于分析与这些病理状态相关联的选定频率以确定健康状况是健全还是退化。采用触摸技术的医疗装置也可监测NFP再生随时间变化的改变以检测侦测健康及健全改变。在两个或更多个时间周期之间NFP值的改变或漂移可用作用来监测用户的健康的方式。
NFP值的改变或漂移可使用一或多种不同分析方法而合格化及/或量化。一种合格化及/或量化偏移的方法将是区别意向性震颤与静止性震颤。另一此种方法将是频率或傅立叶分析。又一方法可使用基于混沌数学的分类器来改善诊断。又一方法将是在不同时间执行相同用户的比较,举例来说,例如在药物剂量之间或在具有药物与无药物之间。
此外,微运动及经产生微运动信号可在从身体的不同重要部分(例如,手、肢体、胸腔)及甚至身体的两个不同侧(例如,左臂及右臂)捕获时有所变化。身体震颤可在从身体的不同部分捕获时有所不同。监测胸腔的身体震颤可指示用户的甲状腺状况、发热状况或恶性高热状况。监测心脏附近的胸腔可实现心率变异性(HRV)的度量。
现参考图21,图中展示经耦合而与服务器2102通信的对医疗或健康诊断装置2100A到2100B。医疗或健康诊断装置2100A到2100B可定位于所述服务器本地,使用局域网(LAN)进行通信。替代地,医疗或健康诊断装置2100A到至2100B可定位于所述服务器远端且经由广域网(WAN)(例如网际网络因特网)与所述服务器通信。医疗或健康诊断装置2100A到2100B可由用户固持或触摸以对所述用户的微运动进行取样。替代地,医疗或健康诊断装置2100A到2100B可放置及/或束牢于用户身体的邻近部分处(例如,胸)以在其身体的不同区域及肢体处捕获用户的微运动以便执行不同诊断。医疗或健康诊断装置2100A到2100B可包含用户接口装置(例如,触摸显示器706、小键盘705、按钮704及/或音频扬声器/麦克风)且提供用户接口以指示用户如何将其用于各种类型的诊断测试。
医疗或健康诊断装置2100A到2100B对随时间变化(不同日期及时间)的用户的微运动进行取样,响应于其产生并存储微运动信号以用于诊断用户的健康的改变。使用日期及时间(日期/时间)戳记将经捕获微运动信号存储为随时间变化的数据DATAtn。可对经存储微运动信号DATAtn中的一或多者执行频率分析以检测某些病理状态。经存储数据DATAtn也可经分析以在每一时间戳记提取NFP。可执行时间分析以比较随日期/时间变化的NFP以便检测两个或两个以上NFP之间的改变。接着可产生说明随日期/时间变化的经存储微运动的频率分析及NFP的时间分析的报告。
医疗或健康诊断装置2100A包含控制器2110A及三维加速度计2111A,三维加速度计2111A用来在给定日期及时间对用户的微运动进行取样并响应于其产生三维信号。医疗或健康诊断装置2100A可与服务器或其它计算机有线地或无线地通信使得来自医疗或健康诊断装置2100A的三维信号可上到服务器2102。可针对微运动使用加速度计2111A分析用户的身体部分的运动性运动。
医疗或健康诊断装置2100B包含控制器2110B及至少二个维度的多维触摸传感器2111B,多维触摸传感器2111B用来在给定日期及时间对用户的微运动进行取样并响应于其产生多维(至少二维)微运动信号。医疗或健康诊断装置2100B可与服务器或其它计算机有线地或无线地通信使得多维信号可上载到服务器2102。
除一或多个处理器外,服务器2102还包含时钟2112及存储装置2114。时钟2112产生日期及时间戳记,所述日期及时间戳记可附于表示在给定时间及日期产生的多维微运动信号的数据。存储装置2114存储表示与用户/患者相关联的随时间变化捕获的多维微运动信号的多个数据DATAt1到DATAtn。
服务器2102可进一步包含分类器2104、比较器2106及报告产生器2108。分类器2104、比较器2106及报告产生器2108可为通过指令(以硬件、软件或硬件及软件的组合)配置的处理器(例如,图7中的处理器701)。
分类器2104可位经配置以执行NFP认证控制器的功能过程中的一或多者的处理器。分类器2104从存储于存储装置2114中的多个数据DATAt1到DATAtn产生NFP。即,经存储数据DATAtn经分析以在每一时间戳记提取NFPtn。
比较器2106比较不同日期/时间中的至少两个NFP(NFPi及NFPj)以检测两者之间的改变。如果随时间变化在其之间存在大于预定百分比的负差,那么其可指示用户的健康的退化。如果随时间变化在其之间存在大于预定百分比的正差,那么其可指示用户的健康的改进。所述预定百分比可响应于测量NFP的系统的错误容限(例如,5%)而设置。
报告产生器2108产生说明随日期/时间变化的经存储微运动的频率分析及NFP的时间分析的报告。如果检测到健康的修正,那么向用户报所述该改变。如果数字是在所述预定百分比内,那么向用户报告未检测到健康修正的指示。
虽然比较器2106分析随时间变化的多个神经机械指纹,但可由所述系统的装置及服务器执行额外分析。所述系统可进一步分析多个多维运动信号中的每一者中的频率分量以尝试根据频率确定病理状态。此外,所述系统可在多维运动信号及/或神经机械指纹中进一步搜索一或多个预定数据图案以确定病理状态是具有常见数据图案还是签名。
除诊断用户的健康外,也可使用NFP技术以通过对患者及医生的较好认证以及医疗记录加密来保护医疗记录。用户可认证他/她与保健系统(提供者、保险公司、医疗记录公司等)的交互。用户可以经加密格式将他/她的医疗记录安全地存储于云端中或存储于任何装置上,其中NFP是密钥。
NFP技术可用于在线服务。政府可提供在线服务(例如投票),且触摸技术可用来验证经授权用户的身份。学校及教育者可提供在线测试。触摸技术可用来验证网页或网站门户上的用户的身份(所述用户登录于所述网页或网站门户中)。举例来说,可容易使用NFP触摸技术识别例如参加在线测试的学生,即使所述学生是在学校参加测试。电子在线银行业务可变得更安全,其中银行能够使用触摸技术验证其顾客的身份。
NFP认证的优点
使用NFP进行触摸辨识存在数个优点。触摸辨识无需集中式数据库。由本地NFP用户认证系统本地控制及屏蔽对电子装置的存取。
NFP的额外优点是一人可被唯一地识别为电子装置的正确用户但保持匿名,从而提供强大的用户隐私保护。NFP是响应于由传感器产生的脑/神经系统相关信号而产生。接着,NFP可提供万无一失的唯一用户识别(即使双胞胎也具有不同肌力)。
触摸辨识采用神经算法以从相关联于手上的手指的微运动的微运动信号产生NFP。这避免了与行为生物统计相关联的背景有关谱系或运动谱系。触摸辨识是用户友好的且可提供无摩擦登录及认证。
神经算法可被开发成软件并添加到具有应用程序设计接口(API)或移动软件开发工具包的先前现有电子装置。可添加其作为系统登录的部分。
神经算法无需连续监测传感器。神经算法可处于睡眠状态直到电子装置从睡眠状态被唤醒或所述传感器感测到触摸为止。训练时间及识别是快速的(仅需几秒)。因此,神经算法可节省电力且智能地使用通常可用于移动装置电子设备的电池电力。
结论
在以软件实施时,实施例的元件本质上是可由一或多个处理器执行以执行及实施任务且提供功能的指令的代码段。举例来说,处理器(例如,图7中的处理器701)可由指令配置(以硬件、软件或硬件及软件的组合)以执行本文中所描述的NFP认证控制器的功能过程。程序指令或程序代码片段可存储于耦合到一或多个处理器或者至少与一或多个处理器通信的处理器可读媒体或存储装置中(例如,图7中的存储装置702)。所述处理器可读媒体可包含存储装置或可存储信息的任何媒体。处理器可读媒体的实例包含但不限于电子电路、半导体存储器装置、只读存储器(ROM)、快闪存储器、可擦除可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘或固态驱动。程序或代码段可例如在存储装置之间通过计算机网络(例如因特网、内部网络等)进行下载或传输。
虽然本说明书包含许多细节,但这些细节不应被解释为对本发明的范围或可能主张的内容的限制,相反,应被解释为特定于本发明的特定实施方案的特征的描述。也可在单个实施方案中组合实施在本发明中于单独实施方案的上下文中所描述的某些特征。相反地,也可在多个实施方案中单独地或以子组合实施在单个实施方案的上下文中所描述的各种特征。此外,尽管特征可在上文被描述为以某些组合起作用且甚至最初如此主张,但在一些情况下,来自所主张组合的一或多个特征可从所述组合删除,且所述所主张组合可涉及子组合或子组合的变化。
因此,虽然某些示范性实施例已作特别描述且被展示于附图中,但其不应被解释为受这些实施例的限制,而是相反,应根据所附权利要求书解释。
Claims (18)
1.一种监测用户数据的方法,所述方法包括:
通过具有能够感测神经肌肉微运动的传感器的手持大小装置,在第一时间周期上感测用户的身体部分的第一运动;
基于经感测的所述第一运动,在所述第一时间周期上由所述传感器产生具有预定取样周期内的预定取样频率的第一传感器数据,所述第一传感器数据包括重力分量;
通过抑制与来自所述第一传感器数据的所述用户的自主移动相关联的信号分量来产生第一微运动数据所述第一微运动数据包括在第一时间周期上的所述用户的频率信息;
对所述第一微运动数据给予时间戳,从而产生具有与所述第一时间周期相关联的第一时间戳的第一微运动数据;
通过处理与用户的神经肌肉功能相关联的至少一个预定可测量特征而从所述用户的所述第一微运动数据提取第一神经机械值,其中所述至少一个预定可测量特征具有清楚表示所述用户的数学性质,且其中所述数学性质仅包括下述各项中的一者:来自所述微运动数据的倒频谱波形的峰值幅度及峰值频率的值、来自所述微运动数据的庞加莱散点的轨道信息或来自所述微运动数据的混沌分析的奇异吸引子的重心及一系列李亚普诺夫指数;
在不同于所述第一时间周期的第二时间周期上感测所述用户的所述身体部分的第二运动;
基于所述经感测的第二运动,产生在所述第二时间周期上在所述传感器的所述预定取样周期内的所述预定取样频率处的第二传感器数据;
通过抑制与来自所述第二传感器数据的所述用户的自主移动相关联的信号分量来产生第二微运动数据,所述第二微运动数据包括在第二时间周期上的所述用户的频率信息;
对所述第二微运动数据给予时间戳,从而产生具有与所述第二时间周期相关联的第二时间戳的第二微运动数据;
通过处理与所述用户的所述神经肌肉功能相关联的所述至少一个预定可测量特征,而从所述用户的所述第二微运动数据提取第二神经机械值;
用电子电路来比较所述第一神经机械值和所述第二神经机械值以监测所述用户数据;及
基于以所述电子电路所执行的所述比较而产生包括所述第一神经机械值和所述第二神经机械值之间的差的报告。
2.根据权利要求1所述的方法,其中自所述第一微运动数据的所述第一神经机械值的所述提取包括使用信号处理算法;且其中所述信号处理算法仅包括下述各项中的一者:倒频谱分析、庞加莱散点、马尔可夫模型分析、混沌分析或基于重构相位空间(RPS)的动力学系统信号分析,感兴趣的所述第一微运动数据具有介于3到30赫兹(Hz)或4到30Hz的频率。
3.根据权利要求1所述的方法,其中所述比较确定在所述第一时间戳和所述第二时间戳之间的所述第一神经机械值和所述第二神经机械值之间的差,且所述方法进一步包括:重复地产生额外神经机械值且执行比较以支持判定随时间变化的所述额外神经机械值之间的差。
4.根据权利要求3所述的方法,其中所述比较指示在所述第一时间周期上的所述第一神经机械值和在所述第二时间周期上的所述第二神经机械值之间的差高于所述用户的匹配等级。
5.根据权利要求3所述的方法,其中所述比较指示在所述第一时间周期处的所述第一神经机械值和在所述第二时间周期处的所述第二神经机械值之间的差低于所述用户的匹配等级。
6.根据权利要求5所述的方法,其中所述报告进一步指示神经机械值之间的所述差是否超出匹配等级。
7.根据权利要求1所述的方法,其中所述用户的所述身体部分的所述第一运动包含使用肌肉以支持所述身体部分对抗重力。
8.根据权利要求1所述的方法,其中所述用户的所述身体部分的所述第一运动使用三维加速度计来加以感测以产生在所述第一时间周期上的三维传感器数据。
9.根据权利要求1所述的方法,其中所述用户的所述身体部分的所述第一运动经本机感测以产生第一运动信号,且所述方法进一步包括:通过通信系统将所述第一传感器数据远程传输至服务器;远程储存所述第一传感器数据;并远程产生所述第一神经机械值。
10.根据权利要求1所述的方法,其中所述差与饮酒相关联;且所述差限制所述用户操作机器或运载工具的能力。
11.根据权利要求1所述的方法,其中所述身体部分经定位接近于所述用户心脏以监测心率变异性。
12.根据权利要求1所述的方法,其进一步包括:确定震颤是否为静止性震颤以监测所述用户数据,其中通过识别所述身体部分不活跃但在对抗重力来确定所述静止性震颤。
13.根据权利要求1所述的方法,其中所述第一运动包含具有频率的震颤的多维运动,所述震颤包括一或多个震颤类型。
14.一种监测用户数据的方法,所述方法包括:
通过具有能够感测神经肌肉微运动的多维传感器的手持大小装置在第一多个时间周期上感测身体部分的多维运动;
响应于所述感测,在所述第一多个时间周期上通过所述传感器产生具有预定取样周期内的预定取样频率的多个多维传感器数据,其中所述多个多维传感器数据的每一传感器数据包括重力分量;
通过抑制与来自所述多个多维传感器数据的所述用户的自主移动相关联的信号分量来产生微运动数据,所述微运动数据包括在所述多个时间周期的每一者上的频率信息;
以与所述多个时间周期的一者相关联的时间戳而对每一微运动数据给予时间戳;
通过处理与用户的神经肌肉功能相关联的至少一个预定可测量特征而从所述微运动数据提取对于各个所述多个时间周期与所述用户相关联的多个神经机械值,其中所述至少一个预定可测量特征具有清楚表示所述用户的数学性质,且其中所述数学性质包括下述各项中的一者:来自所述微运动数据的倒频谱波形的峰值幅度及峰值频率的值、来自所述微运动数据的庞加莱散点的轨道信息或来自所述微运动数据的混沌分析的奇异吸引子的重心及一系列李亚普诺夫指数;
用电子电路来比较在两个时间周期之间的所述多个神经机械值的至少二者以监测所述用户数据;及
产生包括所述多个神经机械值的所述至少二者之间的差的报告。
15.根据权利要求14所述的方法,其中提取所述多个神经机械值仅包括下述一者:倒频谱分析、庞加莱散点、马尔可夫模型分析、混沌分析或基于重构相位空间(RPS)的动力学系统信号分析,其中二个神经机械值的之间的差超出匹配等级。
16.根据权利要求15所述的方法,其进一步包括:将所述多个多维传感器数据存至储存装置中以便进行后续处理。
17.一种监测用户数据的系统,所述系统包括:
具有多维传感器的手持大小装置,其经配置以取样用户的身体部分的多维神经肌肉微运动并做出响应以产生具有预定取样周期内的预定取样频率的第一传感器数据,经产生的所述第一传感器数据包括重力分量:
信号处理器,其经配置以通过抑制与来自所述传感器数据的所述用户的自主移动相关联的信号分量来处理所述第一传感器数据并输出第一微运动数据;
时间戳器,其经配置以对所述第一微运动数据提供时间戳;
存储装置,其经配置以存储所述第一微运动数据且提供对经存储数据的存取;及
一或多个处理器,其耦合到所述存储装置,所述一或多个处理器执行指令经配置以执行用于处理微运动数据的指令,其包括储存于所述存储装置中的微运动数据,其中基于所述微运动数据,至少一个处理器经配置以通过处理与用户的神经肌肉功能相关联的至少一个预定可测量特征而产生相应多个日期的多个神经机械值,其中所述至少一个预定可测量特征具有清楚表示所述用户的数学性质,其中所述数学性质包括下述各项中的一者:来自所述微运动数据的倒频谱波形的峰值幅度及峰值频率的值、来自所述微运动数据的庞加莱散点的轨道信息或来自所述微运动数据的混沌分析的奇异吸引子的重心及一系列李亚普诺夫指数,且其中至少一个处理器经配置以比较所述多个神经机械值的至少二者以监测所述用户数据。
18.根据权利要求17所述的系统,其中至少一个处理器进一步经配置以仅针对下述各项中的一者:倒频谱分析、庞加莱散点、马尔可夫模型分析、混沌分析或基于重构相位空间(RPS)的动力学系统信号分析,且其中二个神经机械值的之间的差超出匹配等级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239472.9A CN113974614A (zh) | 2015-02-04 | 2016-02-04 | 使用神经及神经机械指纹来确定用户的健康改变 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562112153P | 2015-02-04 | 2015-02-04 | |
US62/112,153 | 2015-02-04 | ||
US15/013,764 US10357210B2 (en) | 2015-02-04 | 2016-02-02 | Determining health change of a user with neuro and neuro-mechanical fingerprints |
US15/013,764 | 2016-02-02 | ||
PCT/US2016/016668 WO2016127011A1 (en) | 2015-02-04 | 2016-02-04 | Determining health change of a user with neuro and neuro-mechanical fingerprints |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111239472.9A Division CN113974614A (zh) | 2015-02-04 | 2016-02-04 | 使用神经及神经机械指纹来确定用户的健康改变 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107708525A CN107708525A (zh) | 2018-02-16 |
CN107708525B true CN107708525B (zh) | 2021-11-05 |
Family
ID=56552633
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680018319.4A Active CN107708525B (zh) | 2015-02-04 | 2016-02-04 | 使用神经及神经机械指纹来确定用户的健康改变 |
CN202111239472.9A Pending CN113974614A (zh) | 2015-02-04 | 2016-02-04 | 使用神经及神经机械指纹来确定用户的健康改变 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111239472.9A Pending CN113974614A (zh) | 2015-02-04 | 2016-02-04 | 使用神经及神经机械指纹来确定用户的健康改变 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10357210B2 (zh) |
EP (1) | EP3253281B1 (zh) |
CN (2) | CN107708525B (zh) |
TW (1) | TWI708205B (zh) |
WO (1) | WO2016127011A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160035247A1 (en) * | 2014-07-29 | 2016-02-04 | Ohio University | Visual feedback generation in tracing a pattern |
US9836896B2 (en) * | 2015-02-04 | 2017-12-05 | Proprius Technologies S.A.R.L | Keyless access control with neuro and neuro-mechanical fingerprints |
WO2018074371A1 (ja) * | 2016-10-21 | 2018-04-26 | シチズン時計株式会社 | 検出装置 |
CN109426713B (zh) * | 2017-08-28 | 2022-05-24 | 关楗股份有限公司 | 用于身份核实系统中的造假生物特征过滤装置 |
EP3755224A1 (en) * | 2018-02-23 | 2020-12-30 | Loma Linda University | Systems and methods for detection and correction of abnormal movements |
CN108647786B (zh) * | 2018-07-10 | 2021-11-30 | 电子科技大学 | 基于深度卷积对抗神经网络的旋转机械在线故障监测方法 |
GB2577135B (en) * | 2018-11-02 | 2020-12-02 | Head Instr Oy | Apparatus for and method of monitoring movement |
KR20200100481A (ko) * | 2019-02-18 | 2020-08-26 | 삼성전자주식회사 | 생체 정보를 인증하기 위한 전자 장치 및 그의 동작 방법 |
CN111339920A (zh) * | 2020-02-24 | 2020-06-26 | 上海眼控科技股份有限公司 | 加钞行为检测方法、装置、系统、存储介质及电子终端 |
US11410354B2 (en) * | 2020-02-25 | 2022-08-09 | Uih America, Inc. | System and method for motion signal recalibration |
EP3884863B1 (en) * | 2020-03-24 | 2022-07-27 | Tata Consultancy Services Limited | Method and system for tremor assessment using photoplethysmography (ppg) |
EP4142864A4 (en) * | 2020-04-30 | 2024-05-22 | Univ Texas | METHODS AND SYSTEMS FOR ANALYZING A CENTRAL NERVOUS SYSTEM BASED ON STRUCTURAL CHARACTERISTICS OF THE BRAINSTEM |
CN112043280A (zh) * | 2020-09-03 | 2020-12-08 | 南京邮电大学 | 基于智能手机步态识别的危险驾驶行为检测方法及系统 |
US11947648B2 (en) * | 2020-12-23 | 2024-04-02 | Proprius Technolgies S.A.R.L | Electronic device related to user identification, authentication, liveliness, encryption using biometrics technology and methods for operation thereof |
CN113729715A (zh) * | 2021-10-11 | 2021-12-03 | 山东大学 | 一种基于手指压力的帕金森病症智能诊断系统 |
US20230181060A1 (en) * | 2021-12-13 | 2023-06-15 | Koneksa Health Inc. | Measuring method and device |
CN115442493B (zh) * | 2022-08-12 | 2023-07-14 | 西北工业大学 | 一种基于庞加莱球基矢转换的非对称光学加密方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5573011A (en) * | 1994-04-08 | 1996-11-12 | Felsing; Gary W. | System for quantifying neurological function |
CN103315744A (zh) * | 2013-07-01 | 2013-09-25 | 中国科学院合肥物质科学研究院 | 一种手部震颤检测方法 |
CN203388861U (zh) * | 2013-08-08 | 2014-01-15 | 德州学院 | 帕金森病震颤记录仪 |
Family Cites Families (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3972038A (en) * | 1975-03-28 | 1976-07-27 | Nasa | Accelerometer telemetry system |
US5197489A (en) * | 1991-06-17 | 1993-03-30 | Precision Control Design, Inc. | Activity monitoring apparatus with configurable filters |
US5293879A (en) * | 1991-09-23 | 1994-03-15 | Vitatron Medical, B.V. | System an method for detecting tremors such as those which result from parkinson's disease |
AU6451698A (en) | 1997-03-06 | 1998-09-22 | Robert B. Howard | Wrist-pendant wireless optical keyboard |
US6806863B1 (en) | 1999-10-15 | 2004-10-19 | Harmonic Research, Inc. | Body-mounted selective control device |
US20020124176A1 (en) | 1998-12-14 | 2002-09-05 | Michael Epstein | Biometric identification mechanism that preserves the integrity of the biometric information |
WO2002005478A1 (en) | 2000-07-09 | 2002-01-17 | Black Gerald R | Network security system |
US7030860B1 (en) | 1999-10-08 | 2006-04-18 | Synaptics Incorporated | Flexible transparent touch sensing system for electronic devices |
US6721738B2 (en) | 2000-02-01 | 2004-04-13 | Gaveo Technology, Llc. | Motion password control system |
US6454706B1 (en) * | 2000-03-02 | 2002-09-24 | The Trustees Of Columbia University In The City Of New York | System and method for clinically assessing motor function |
JP3846844B2 (ja) | 2000-03-14 | 2006-11-15 | 株式会社東芝 | 身体装着型生活支援装置 |
US7558965B2 (en) | 2000-08-04 | 2009-07-07 | First Data Corporation | Entity authentication in electronic communications by providing verification status of device |
US20040069846A1 (en) | 2000-11-22 | 2004-04-15 | Francis Lambert | Method and apparatus for non-intrusive biometric capture |
NO316489B1 (no) | 2001-10-01 | 2004-01-26 | Genkey As | System, b¶rbar anordning og fremgangsmåte for digital autentisering, kryptering og signering ved generering av flyktige, men konsistente ogrepeterbare kryptonökler |
US6993659B2 (en) | 2002-04-23 | 2006-01-31 | Info Data, Inc. | Independent biometric identification system |
US6936016B2 (en) * | 2002-05-17 | 2005-08-30 | Bertec Corporation | Method for analysis of abnormal body tremors |
US20040151347A1 (en) | 2002-07-19 | 2004-08-05 | Helena Wisniewski | Face recognition system and method therefor |
CN1672357A (zh) | 2002-07-29 | 2005-09-21 | C-西格雷特有限公司 | 用于电生物身份识别的方法和装置 |
WO2006048701A2 (en) | 2004-11-08 | 2006-05-11 | Idesia Ltd. | Method and apparatus for electro-biometric indentity recognition |
US20060133651A1 (en) | 2002-12-31 | 2006-06-22 | Polcha Andrew J | Recoverable biometric identity system and method |
US7249263B2 (en) | 2003-07-25 | 2007-07-24 | International Business Machines Corporation | Method and system for user authentication and identification using behavioral and emotional association consistency |
US20050033200A1 (en) | 2003-08-05 | 2005-02-10 | Soehren Wayne A. | Human motion identification and measurement system and method |
US20050188213A1 (en) | 2004-02-23 | 2005-08-25 | Xiaoshu Xu | System for personal identity verification |
US8175345B2 (en) | 2004-04-16 | 2012-05-08 | Validity Sensors, Inc. | Unitized ergonomic two-dimensional fingerprint motion tracking device and method |
US20090240949A9 (en) | 2004-04-23 | 2009-09-24 | Kitchens Fred L | Identity authentication based on keystroke latencies using a genetic adaptive neural network |
EP2343699A1 (en) * | 2004-04-30 | 2011-07-13 | Hillcrest Laboratories, Inc. | Methods and devices for identifying users based on tremor |
JP4657668B2 (ja) | 2004-10-08 | 2011-03-23 | 富士通株式会社 | 生体認証方法及び生体認証装置 |
WO2006045223A1 (fr) | 2004-10-29 | 2006-05-04 | Chang-Ming Yang | Procede pour surveiller et analyser l'etat de sante et systeme correctif correspondant |
KR20060053812A (ko) | 2004-11-17 | 2006-05-22 | 삼성전자주식회사 | 생체신호를 이용한 생체 인식 장치 및 방법 |
US20090293112A1 (en) | 2004-12-03 | 2009-11-26 | Stephen James Moore | On-line generation and authentication of items |
IL165586A0 (en) | 2004-12-06 | 2006-01-15 | Daphna Palti Wasserman | Multivariate dynamic biometrics system |
US8702629B2 (en) * | 2005-03-17 | 2014-04-22 | Great Lakes Neuro Technologies Inc. | Movement disorder recovery system and method for continuous monitoring |
KR100718125B1 (ko) | 2005-03-25 | 2007-05-15 | 삼성전자주식회사 | 생체신호와 인공신경회로망을 이용한 생체인식 장치 및방법 |
US7539533B2 (en) | 2006-05-16 | 2009-05-26 | Bao Tran | Mesh network monitoring appliance |
US8169299B2 (en) | 2006-07-12 | 2012-05-01 | Onasset Intelligence, Inc. | Method and apparatus for neural activity identification |
EP1892674A1 (de) | 2006-08-23 | 2008-02-27 | Siemens Aktiengesellschaft | Gehirnmusterbasiertes Zugangskontrollsystem |
US20100090798A1 (en) | 2006-09-29 | 2010-04-15 | Koninklijke Philips Electronics N.V. | Template synthesis for ecg/ppg based biometrics |
US20080114271A1 (en) | 2006-11-13 | 2008-05-15 | David Rubenstein | Method of neuromuscular calibration |
US20080148393A1 (en) | 2006-12-15 | 2008-06-19 | Barry Myron Wendt | Neural authenticator and method |
US8674804B2 (en) | 2007-03-01 | 2014-03-18 | Deadman Technologies, Llc | Control of equipment using remote display |
US8821418B2 (en) * | 2007-05-02 | 2014-09-02 | Earlysense Ltd. | Monitoring, predicting and treating clinical episodes |
WO2008143941A1 (en) | 2007-05-15 | 2008-11-27 | Searete Llc | Computational user-health testing |
US8065529B2 (en) | 2007-05-21 | 2011-11-22 | Ut-Battelle, Llc | Methods for using a biometric parameter in the identification of persons |
US20080313707A1 (en) | 2007-06-18 | 2008-12-18 | Techporch, Inc. | Token-based system and method for secure authentication to a service provider |
CN101108125B (zh) * | 2007-08-02 | 2010-06-16 | 无锡微感科技有限公司 | 一种身体体征动态监测系统 |
US20090131233A1 (en) * | 2007-11-16 | 2009-05-21 | Seitzer James K | Exercise apparatus and method for exercising |
US20090320123A1 (en) | 2008-06-20 | 2009-12-24 | Motorola, Inc. | Method and apparatus for user recognition employing motion passwords |
US20100056878A1 (en) * | 2008-08-28 | 2010-03-04 | Partin Dale L | Indirectly coupled personal monitor for obtaining at least one physiological parameter of a subject |
CN201290676Y (zh) * | 2008-11-21 | 2009-08-19 | 中国人民解放军第三军医大学野战外科研究所 | 一种帕金森病震颤行为连续定量记录装置 |
GB2465782B (en) | 2008-11-28 | 2016-04-13 | Univ Nottingham Trent | Biometric identity verification |
US8920345B2 (en) * | 2008-12-07 | 2014-12-30 | Apdm, Inc. | System and apparatus for continuous monitoring of movement disorders |
US9659423B2 (en) | 2008-12-15 | 2017-05-23 | Proteus Digital Health, Inc. | Personal authentication apparatus system and method |
JP5177075B2 (ja) | 2009-02-12 | 2013-04-03 | ソニー株式会社 | 動作認識装置、動作認識方法、プログラム |
US20120019356A1 (en) | 2009-04-29 | 2012-01-26 | Eric Gagneraud | Fingerprint scanner |
CN101558996B (zh) * | 2009-05-15 | 2010-11-10 | 天津大学 | 基于人体运动结构正投影三维重建的步态识别方法 |
CN101612044A (zh) * | 2009-08-04 | 2009-12-30 | 中国科学院合肥物质科学研究院 | 穿戴式人体手臂震颤检测装置及其信号处理方法 |
CN101612043B (zh) * | 2009-08-04 | 2011-03-02 | 中国科学院合肥物质科学研究院 | 穿戴型人体手臂震颤检测与抑制机器人及其震颤抑制方法 |
EP2487646A4 (en) | 2009-10-05 | 2015-04-01 | Fujitsu Ltd | DEVICE FOR PROCESSING BIOINFORMATION, METHOD FOR PROCESSING BIOINFORMATION PROCESSING METHOD AND COMPUTER PROGRAM FOR PROCESSING BIOINFORMATION |
CN101695445B (zh) * | 2009-10-29 | 2011-11-23 | 浙江大学 | 一种基于加速度传感器的步态身份识别方法 |
KR101081369B1 (ko) | 2010-01-26 | 2011-11-08 | 중앙대학교 산학협력단 | 생체신호의 특징 추출 장치 및 방법 |
WO2011133799A1 (en) * | 2010-04-21 | 2011-10-27 | Northwestern University | Medical evaluation system and method using sensors in mobile devices |
CN102821681B (zh) | 2010-04-28 | 2015-02-18 | 松下电器产业株式会社 | 脑电波测量装置、电噪声的推定方法 |
EP2458524B1 (en) | 2010-11-25 | 2018-08-15 | Deutsche Telekom AG | Identifying a user of a mobile electronic device |
US8938787B2 (en) | 2010-11-29 | 2015-01-20 | Biocatch Ltd. | System, device, and method of detecting identity of a user of a mobile electronic device |
WO2012093393A1 (en) | 2011-01-07 | 2012-07-12 | Seal Mobile Id Ltd | Method and system for unobtrusive mobile device user recognition |
US20130173926A1 (en) | 2011-08-03 | 2013-07-04 | Olea Systems, Inc. | Method, Apparatus and Applications for Biometric Identification, Authentication, Man-to-Machine Communications and Sensor Data Processing |
CN102499691A (zh) * | 2011-10-28 | 2012-06-20 | 中国人民解放军第四军医大学 | 一种手持式神经功能评价仪 |
WO2013086564A1 (en) * | 2011-12-12 | 2013-06-20 | Medvet Science Pty Ltd | Method and apparatus for detecting the onset of hypoglycaemia |
US8752146B1 (en) | 2012-03-29 | 2014-06-10 | Emc Corporation | Providing authentication codes which include token codes and biometric factors |
US8959358B2 (en) | 2012-05-08 | 2015-02-17 | Qualcomm Incorporated | User-based identification system for social networks |
US20130307670A1 (en) | 2012-05-15 | 2013-11-21 | Jonathan E. Ramaci | Biometric authentication system |
US20130338539A1 (en) * | 2012-06-14 | 2013-12-19 | International Business Machines Corporation | Software program for monitoring a hand tremor of an end-user via a computer mouse input device |
US9268405B2 (en) * | 2012-06-15 | 2016-02-23 | International Business Machines Corporation | Adaptive gesture-based method, system and computer program product for preventing and rehabilitating an injury |
WO2014043239A2 (en) * | 2012-09-11 | 2014-03-20 | The Cleveland Clinic Foundation | Evaluation of movement disorders |
US20140171834A1 (en) * | 2012-10-20 | 2014-06-19 | Elizabethtown College | Electronic-Movement Analysis Tool for Motor Control Rehabilitation and Method of Using the Same |
US11194368B2 (en) | 2012-12-10 | 2021-12-07 | Adobe Inc. | Accelerometer-based biometric data |
US9223459B2 (en) | 2013-01-25 | 2015-12-29 | University Of Washington Through Its Center For Commercialization | Using neural signals to drive touch screen devices |
JP5642210B2 (ja) | 2013-02-04 | 2014-12-17 | インテル コーポレイション | 電子バイオメトリック識別認識のための方法及び装置 |
US20140228701A1 (en) | 2013-02-11 | 2014-08-14 | University Of Washington Through Its Center For Commercialization | Brain-Computer Interface Anonymizer |
US20140281568A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Using Biometrics to Generate Encryption Keys |
US20160103487A1 (en) | 2013-03-15 | 2016-04-14 | Glen J. Anderson | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals |
CN104127187B (zh) * | 2014-08-05 | 2017-04-05 | 戴厚德 | 用于帕金森病人主要症状定量检测的可穿戴系统 |
US9311464B2 (en) | 2014-08-19 | 2016-04-12 | Airwatch, Llc | Authentication via accelerometer |
WO2016094375A1 (en) | 2014-12-08 | 2016-06-16 | Rutgers, The State University Of New Jersey | Methods for measuring physiologically relevant motion |
-
2016
- 2016-02-02 US US15/013,764 patent/US10357210B2/en active Active
- 2016-02-04 EP EP16747308.1A patent/EP3253281B1/en active Active
- 2016-02-04 WO PCT/US2016/016668 patent/WO2016127011A1/en active Application Filing
- 2016-02-04 CN CN201680018319.4A patent/CN107708525B/zh active Active
- 2016-02-04 TW TW105103826A patent/TWI708205B/zh active
- 2016-02-04 CN CN202111239472.9A patent/CN113974614A/zh active Pending
-
2019
- 2019-06-10 US US16/436,891 patent/US11617546B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5573011A (en) * | 1994-04-08 | 1996-11-12 | Felsing; Gary W. | System for quantifying neurological function |
CN103315744A (zh) * | 2013-07-01 | 2013-09-25 | 中国科学院合肥物质科学研究院 | 一种手部震颤检测方法 |
CN203388861U (zh) * | 2013-08-08 | 2014-01-15 | 德州学院 | 帕金森病震颤记录仪 |
Also Published As
Publication number | Publication date |
---|---|
EP3253281A4 (en) | 2018-09-26 |
TW201643805A (zh) | 2016-12-16 |
US20160220151A1 (en) | 2016-08-04 |
WO2016127011A1 (en) | 2016-08-11 |
EP3253281B1 (en) | 2020-08-12 |
TWI708205B (zh) | 2020-10-21 |
US11617546B2 (en) | 2023-04-04 |
CN113974614A (zh) | 2022-01-28 |
CN107708525A (zh) | 2018-02-16 |
US10357210B2 (en) | 2019-07-23 |
EP3253281A1 (en) | 2017-12-13 |
US20200100732A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107710713B (zh) | 使用神经及神经机械指纹的数据加密/解密 | |
CN107708546B (zh) | 使用神经及神经机械指纹的本地用户认证 | |
CN107708525B (zh) | 使用神经及神经机械指纹来确定用户的健康改变 | |
CN107683106B (zh) | 使用神经及神经机械指纹的无钥匙进出控制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |