CN116830124A - 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法 - Google Patents

具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法 Download PDF

Info

Publication number
CN116830124A
CN116830124A CN202180071953.5A CN202180071953A CN116830124A CN 116830124 A CN116830124 A CN 116830124A CN 202180071953 A CN202180071953 A CN 202180071953A CN 116830124 A CN116830124 A CN 116830124A
Authority
CN
China
Prior art keywords
user
predetermined
activity
independent static
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180071953.5A
Other languages
English (en)
Inventor
M·济济
L·斯托克
K·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allen Deere Mobile Co
Original Assignee
Allen Deere Mobile Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allen Deere Mobile Co filed Critical Allen Deere Mobile Co
Priority claimed from PCT/US2021/048120 external-priority patent/WO2022047272A2/en
Publication of CN116830124A publication Critical patent/CN116830124A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

根据一个实施方式,公开了一种用于生成反映用户的一个或更多个生理状况的结果的方法。该方法包括以下步骤:生成与多个预定约束相关联的多个受约束数据集,所述多个预定约束与多个预定生理状况相联系;基于多个预定生理状况来构建多个独立静态模型,其中,各个独立静态模型与特定约束相联系;将所述多个独立静态模型安装到装置中,该装置包括用于执行指令的处理器以及用于收集与所述多个独立静态模型相联系的传感器数据的传感器;基于从用户感测到的传感器数据,由用户经由用户界面执行所述多个独立静态模型中的一个或更多个独立静态模型;以及经由与所述多个独立静态模型中的所述一个或更多个独立静态模型的执行相关联的用户界面来向用户提供一个或更多个结果(推断),其中,所述一个或更多个结果反映用户的一个或更多个生理状况。

Description

具有使用数据分析的用于包括对吸电子烟和点火启动进行年 龄分段的上下文情境的静态人工智能模型的电子装置及其操 作方法
相关申请
本专利申请要求发明人Martin Zizi等人于2021年1月17日提交的题为ELECTRONIC DEVICES WITH AN ARTIFICIAL INTELLIGENCE STATIC MODEL FORCONTEXTUAL SITUATIONS,INCLUDING AGE BLOCKING FOR VAPING AND IGNITIION START,USING DATA ANALYSIS AND METHODS FOR OPERATION OF SAME的美国临时专利申请No.63/138,519的权益;并且还要求发明人Martin Zizi等人于2020年8月29日提交的题为“ELECTRONIC DEVICES WITH AN ARTIFICIAL INTELLIGENCE STATIC MODEL FORCONTEXTUAL SITUATIONS USING DATA ANALYSIS AND METHODS FOR OPERATION OF SAME”的美国临时专利申请No.63/072,099的权益;这两者通过引用并入于此。
技术领域
本公开总体上涉及使用数据分析的用于上下文情境(contextual situation)的静态人工智能(AI)模型。
附图说明
图1是生物特征模态(biometric modality)的分类图表。
图2是用于人工智能的情境静态模型的总体流程处理的框图。
图3是人类身体部位的各种类型的运动分类的示例的表。
图4是例示并入了用于人工智能的情境静态模型的电子装置的操作环境(系统)的框图。
图5是在图4所示的系统中使用的电子装置的更详细的框图。
图6是特征处理系统的功能框图。
图7是提供人工智能的静态模型操作的流程图。
图8是静态模型处理系统的功能框图。
图9是用于提供人工智能的情境静态模型的示例感测结构(第四维感测拉伸材料)。
图10是用于提供人工智能的情境静态模型的传感器的功能框图。
图11是单个轴(X、Y或Z)的来自身体部位的所感测到的加速度信号的加速度波形随时间的曲线图。
图12是用于通过电子装置的输入数据处理程序(Handler)来收集移动信号数据的流程图。
图13是具有用于提供具有低功耗的人工智能的情境静态模型的电子装置的睡眠模式操作的流程图。
图14是具有用于提供利用多处理器的安全核心进行安全数据分析的情境静态模型的电子装置的安全模式操作的流程图。
图15是上下文情境特征提取器的框图。
图16是可以与情境静态模型一起使用的、传感器数据随时间的各种类型/格式的图表。
图17是图15的上下文情境特征提取器的预处理操作的流程图。
图18是单轴加速度计随时间系列的数据样本的曲线图。
图19是用于生成特征向量集的特征提取操作的流程图。
图20是表示提供随时间的时间序列分析的各种特征向量的特征向量集的示例表。
图21是指示可以被用于获得多个不同生理状态的特征向量集的各种特征向量的表。
图22是示出用于识别区别于人类信号的非人类(例如,机器人(bot)、动物)信号的发散特征分布的曲线图表。
图23A是用于熵特征分析的信号数据的时间系列的第一曲线图的图表。
图23B是用于图23A的熵特征分析的信号数据的时间系列的第二曲线图的图表。
图24是身体运动数据的低平均频带和高平均频带的一对陀螺仪X轴数据曲线图的图表,以确定人工智能的静态模型的血糖上下文的血糖水平。
图25是可以被用于利用人工智能的静态模型来检测人类用户的各种生理状态的数据集的表。
图26是可用于利用人工智能的静态模型检测人类用户的各种物理特性的数据集的表。
图27是图8所示的静态模型分析器的功能框图。
图28是静态模型分析器用于获得数据集中的时间系列数据的训练模式操作的流程图。
图29是与图7所示的最后步骤相关联的静态AI模型的操作(推断)模式的流程图。
图30是用于静态AI模型的软件实现的静态AI模型框架的功能框图。
图31是示出其中可以使用静态AI模型的各种装置类型的图,包括软件、现场可编程门阵列FPGA以及定制的专用集成电路(ASIC)。
图32是电子装置的静态模型处理系统,该静态模型处理系统可以被用于检测上下文情境的各种状态,诸如活动性(liveliness)生理状态、年龄、或性别。
图33是客户端(例如,智能手机)与服务器之间的用于使用由静态AI模型确定的活动性生理状态来创建与服务器相关联的新用户账户的流程图。
图34是客户端(例如,智能手机)与服务器之间的用于使用由静态AI模型结合其它认证参数确定的活动性生理状态来从服务器访问个人健康记录的流程图。
图35A例示了使用静态人工智能模型来使年龄分段(age-blocking)(家长控制)的实现通过/失败(pass/fail)的流程图。
图35B示出了年龄分段的客户端服务器实现以及在客户端和服务器各自中的处理。
图36例示了用于控制车辆点火或启动的基于神经信息的人工智能的基于年龄的应用的流程图。
图37是例示用于提供针对尼古丁滥用的副作用保护的附加AI的流程图。
图38A是基于神经学的AI技术可以被嵌入手机或任何硬件(HW)/软件(SW)芯片上系统(SoC)装置以形成家长控制装置的实现形式的图。
图38B例示了具有芯片上系统和用于提供年龄分段的人工智能的电子烟雾化器(vaporizer)。
图39例示了从神经标记(neural-tagging)数据中提取的三个不同特征的3-D向量空间的标绘图。
具体实施方式
在本公开的实施方式的下列详细描述中,阐述了许多具体细节和各种示例,以便提供详尽的理解。然而,本领域的普通技术人员将清楚和明白的是,可以在没有这些具体细节的情况下实践这些实施方式,并且还可以在本公开的范围内对这些实施方式进行许多改变或修改。在某些情况下,没有详细描述公知的方法、过程、组件、功能、电路以及公知的或常规的细节,以免不必要地模糊本公开的实施方式的各方面。
本文所使用的术语、词语以及表达仅用于描述本公开的实施方式的目的,而不旨在限制本公开的范围。除非另有定义,否则本文所使用的包括技术和科学术语的所有术语在上下文中可以具有本领域普通技术人员通常能够理解的相同或类似的含义。在一些情况下,即使在本公开中定义了术语,其也不能被解释为排除或限制本公开的实施方式的范围。
根据本公开的实施方式可以被实现为设备、方法、服务器-客户端设备和/或方法、设备和/或方法的协作、芯片组、计算机程序或其任何组合。因此,实施方式可以采取完全硬件实施方式(包括芯片组)、完全软件实施方式(包括固件、任何类型的软件等)或者组合软件和硬件的实施方式的形式。软件和硬件方面在本文中一般都可以被称为“模块”、“单元”、“组件”、“块”、“部件”、“构件”、“系统”、“子系统”等。而且,实施方式可以采取以任何有形表达介质(包括计算机文件)具体实施的计算机程序产品的形式,该有形表达介质具有在该介质中具体实施的计算机可用程序代码。
可以理解,术语“一个实施方式”、“实施方式”、“一个示例”或“示例”可以是指结合本公开的实施方式或示例描述的特定特征、结构或特性。因此,本文所使用的这些术语的出现不一定全部涉及相同的实施方式或示例。另外,特定特征、结构或特性可以在一个或更多个实施方式或示例中以任何合适的组合和/或子组合来组合。
可以理解,除非上下文另外明确指示,否则单数形式可以包括复数形式。例如,“传感器”可以指的是一个或更多个传感器。
可以理解,尽管在一些情况下,本文中使用术语“第一”、“第二”等来描述各种要素,但是这些要素不受这些术语的限制。这些术语可以用于区分一个要素与另一要素,并且可以与要素的顺序或重要性无关。例如,第一传感器可以被称为第二传感器,类似地,第二传感器可以被称为第一传感器。第一传感器和第二传感器都是传感器,但它们可以不是同一传感器。
可以理解,本文所使用的术语“和/或”可以覆盖任何一个或更多个相关列举条目及其所有可能组合。例如,“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A或B中的一个或更多个”、“A和B中的一个或更多个”、“A和/或B”、“A和/或B中的至少一个”、或者“A和/或B中的一个或更多个”可以全部表示“包括至少一个A”、“包括至少一个B、、或者或“包括至少一个A和至少一个B两者”。
可以理解,本文所使用的术语“具有”、“可以具有”、“包括”、“可以包括”、“包含”或“可以包含”表示存在要素、特征、步骤、操作、功能、数值、古遗址组件、构件或其组合,但不排除存在或添加一个或更多个其它要素、特征、步骤、操作、功能、数值、或者组件、构件或其组合。例如,包括要素列表的方法或设备可以不必限于仅包括那些要素,而是可以包括未明确列出的其它要素。
可以理解,当第一要素“连接至”、“联接至”或“联接着”第二要素时,第一要素可以直接“连接至”、直接“联接至”或直接“联接着”第二要素,或者至少一个或更多个其它要素可以插入在第一要素与第二要素之间。另一方面,可以理解,当第一要素“直接连接”或“直接联接”至第二要素时,在第一要素与第二要素之间未插入另一要素。
在本公开中,描述了各种类型的电子装置的实施方式以及与用户标识、认证和数据加密相关的关联操作。当电子装置可以获取关于用户的上下文情境的信息时,可以开发各种有用类型的应用。关于用户的上下文情境的信息也可以从各种源收集。所述源可以包括但不限于,传感器数据、互联网上的用户数据、数据集等。基于情境意识(situationalawareness)的可能应用之一可以是关于通过AI技术对来自人体的信号进行数据分析。人体是众所周知的复杂系统之一,它是由可以彼此相互作用的许多组件组成的。它在分子水平和功能水平上都具有固有的丰富和接近无限的变化,但是它在其最广泛的意义上也是信息密集和丰富的。几乎任何人类上下文情境(例如,生理状态)也可以通过人体的各种器官之间的复杂相互作用来观察。当出现受这些上下文情境(例如,生理状态)影响的神经肌肉紧张度(neuro-muscular tone)时,通过适当地分析由各种类型的传感器从用户身体部位收集的神经肌肉紧张度信号,可以很好地解释来自人体的某一类型的这些状态。当这些结果可以被用在电子装置中时,大量有用的应用是可能的,例如,向用户提供关于他们的生理状态的视觉信息、改进当前生物特征应用的功能、保护具有更高安全级别的个人信息、或者回答简单的二元问题,比如性别、年龄等。
在一些实施方式中,电子装置可以是手持型的便携式装置、智能手机、平板计算机、移动手机、电话、电子书阅读器、导航装置、台式计算机、膝上型计算机、工作站计算机、服务器计算机、单板计算机、摄像机、可携式摄像机、电子笔、无线通信设备、接入点(AP)、无人机、投影仪、电子板、照片复印机、手表、眼镜、头戴式装置、无线头戴式耳机/耳机、电子服装、各种类型的可穿戴装置、电视机、DVD播放器、音频播放器、数字多媒体播放器、电子相框、机顶盒、TV盒、游戏机、遥控器、银行ATM、支付系统装置(包括POS、读卡器)、冰箱、烤箱、微波炉、空气调节器、真空吸尘器、洗衣机、洗碗机、空气清洁器、家庭自动化控制装置、智能家居装置、各种类型的家用电器、安全控制装置、电子锁/解锁装置(包括门钥匙或门锁)、电子签名接收装置、各种类型的安全系统装置、血压测量装置、血糖监测装置、心率监测装置、体温测量装置、磁共振成像图像、计算机断层摄影装置、磁共振血管造影装置、各种便携式医疗测量装置、各种类型的医疗装置、水表、电表、气表、无线电波计、恒温器、不同种类的测量装置、AI装置、AI扬声器、AI机器人、各种类型IoT装置等。
电子装置可以是一个或更多个前述装置的组合或一部分。在一些实施方式中,电子装置可以是家具、建筑物、结构或机器(包括车辆、小汽车、飞机或轮船)的一部分或者一种类型的嵌入式板、芯片组、计算机文件、或一些类型的传感器。本公开的电子装置不限于前述装置,并且可以是随着技术发展进步的电子装置的新形式。
图1示出了改编自“UNAR J A,SENG W C,ABBASI A.A review of biometrictechnology along with trends and prospects.Pattern Recognition,2014,47(8):2673-2688”的生物特征模态的分类。与人类特征相关的测量和计算通常被称为“生物特征”。尽管当在生理状态应用中使用生物特征时,使用这些传统方法可以有各种应用和多个优点,但是已知的生物特征在一些方面不可能提供高度鲁棒的安全解决方案。本文所公开的使用人体的与神经肌肉紧张度感测相关的上下文情境(例如,生理状态)的AI静态模型的生理生物特征解决方案可以为生理状态应用(包括活动性、标识、认证、或加密等)提供更好的改进的、有效的、坚实的并提高的解决方案。图1还例示了神经肌肉紧张度感测技术相对于生物特征的其余部分的位置。与该领域的其余部分相反,神经肌肉紧张度感测技术是活的生理信号,从来不是相同的,但仍允许被识别。
它与大脑的功能性MRI扫描、EEG(脑电图)、ECG(心电图)、EMG(肌电图)、来自心跳或外部/内部电极的EKG(心电图)一起属于新类别。
行为生物特征方法与用户做什么或他/她的习惯相联系。已知的解剖生物特征方法与用户的物理特征(指纹、虹膜扫描、静脉、面部扫描以及DNA)相联系。某些用户运动是习惯性的或者是用户运动清单(repertoire)的部分。例如,签署文档的用户是用户以行为习惯发展的上下文运动。对已签署的签名的通常分析的运动是用户利用书写工具做出的宏运动或大规模运动。这些动作中的大多数是自愿移动,因为它们是根据用户的意识或意图的运动。例如,根据已签署的签名的大的运动,可以以人眼来确定书写者是左利手还是右利手。
虽然这些大的运动可能是有用的,但是也存在用户在签署时做出的微运动(非常小的运动),做出其它运动、或只是静止而未做出运动。这些微运动可以包含神经衍生的、基于神经的、或者神经肌肉紧张度,并且眼睛看不到。因此,它属于非自愿移动而不是用户的意识或意图。用户的这些微运动是由于各人的独特的神经肌肉解剖结构,并且在本文中也可以包括被称为神经衍生微运动或神经肌肉紧张度的非常重要的信号。这些微运动信号还与从个体的运动皮层(motor cortex)到他/她的手的运动控制过程(motor controlprocess)相联系。利用一个或更多个传感器、信号处理算法、和/或滤波器,可以捕获包括用户的神经衍生微运动的电子信号(“运动信号”和“微运动信号”)。在运动信号内特别受关注的是表示用户的微运动的微运动电子信号。
因此,当针对表示用户微运动的微运动信号适当地分析运动信号时,最后所得到的数据可以产生用户的表示活动性、血糖水平、应激激素水平、药物的存在、标识符等的稳定生理状态。当生理状态被解释或处理为非书面(unwritten)签名时,针对从用户的神经肌肉紧张度导出的唯一标识符的这些生理状态是用户的神经机械指纹。神经机械指纹在本文中也可以被称为神经指纹(NFP)或神经纹(NP)。
用户的微运动与大脑或者或人体神经系统中别的地方的运动活动的皮层和皮层下控制相联系。类似于机械滤波器,个体的特定肌肉骨骼解剖结构可以影响用户的微运动并贡献包括用户的微运动的运动信号。由此贡献的信号是由神经信号造成的肌肉的移动信号,其可以被称为神经肌肉紧张度。从用户捕获的运动信号还可以反映本体感受(proprioceptive)控制循环的部分,该本体感受控制循环包括大脑和存在于用户身体中的本体感受器。通过关注微运动信号而非宏运动信号,可以将电子装置与神经算法一起使用,以更好地仿真机器中的人类认知界面。这可以改进人机界面。例如,考虑丈夫与妻子或亲人之间的人类认知界面。当丈夫通过手臂触摸他的妻子时,妻子经常可以根据该触摸的感觉而识别出她的丈夫正触摸她,这是因为她熟悉他的触摸。如果触摸感觉是独特的,那么人们通常可以根据该独特感觉而识别出正触摸他/她的是什么。
神经肌肉紧张度信号是响应于与抖颤(tremor)类型或形式相关的微运动而提取的。抖颤是在人体的一个或更多个部分中引起振荡的无意的节律性肌肉移动。抖颤可以是肉眼可见或不可见的。可见的抖颤在中老年人中更常见。可见的抖颤有时被认为是大脑中的控制整个身体或特定区域(诸如手和/或手指)中的一个或更多个肌肉的部分中的失调(disorder)。
大多数抖颤发生在手上。因此,当握住具有加速度计的装置或者通过手指接触触摸板传感器时,可以感测到具有微运动的抖颤。
存在不同类型的抖颤。抖颤的最常见形式或类型发生在健康个体中。很多时候,健康的个体没有注意到这种类型的抖颤,因为这种运动非常小,并且可能是在执行其它运动时发生的。与抖颤类型相联系的关注微运动非常小,以至于肉眼看不到它们。
抖颤可以在各种条件(静息性(resting)、姿势性、运动性)下激活,并且通常可以被分类为静息性抖颤、动作性抖颤、姿势性抖颤、或者运动性或意图性抖颤。静息性抖颤是当受影响的身体部位不活动但支撑重量时发生的抖颤。动作性抖颤是由于自愿肌肉激活而引起的一种抖颤,并且包括许多抖颤类型,包括姿势性抖颤、运动性或意图性抖颤以及任务特定抖颤。姿势性抖颤被联系至支撑重量的身体部位(就像使手臂远离身体伸出那样)。运动性或意图性抖颤与目标定向和非目标定向的移动两者相联系。运动性抖颤的一个示例是将手指移动到鼻子的运动,通常被用于检测在酒精影响下驾驶的驾驶员。运动性抖颤的另一示例是从桌子上拿起一杯水的运动。任务特定的抖颤发生在非常特定的运动期间,诸如当用钢笔或铅笔在纸上书写时。
抖颤,无论眼睛是否可见,都被认为起源于神经系统内的一些振荡神经元池、一些脑结构、一些感觉反射机制、和/或一些神经机械联接和共振。
虽然许多抖颤已经被描述为生理性的(没有任何疾病)或病理性的,但是公认抖颤的振幅在其分类中可能不是非常有用。然而,与包括从用户获得的神经肌肉紧张度的非自愿信号相关联的抖颤频率以及其它类型的不变特征可能是所关注的。抖颤频率以及其它类型的不变特征允许将它们以有用的方式用于提取关注信号。
许多病理性状况(比如帕金森病(3Hz至7Hz)、小脑疾病(3Hz至5Hz)、张力障碍(4Hz至7Hz)、各种神经病(4Hz至7Hz))将运动/信号贡献给较低频率,诸如7赫兹(Hz)及以下的频率。因为病理性状况对于所有用户不是共同的,所以这些运动/信号的频率对于提取神经肌肉紧张度信号是无用的,并且希望滤除。然而,将本文所公开的实施方式中的一些实施方式用于具体专注于那些病理信号,作为记录、监测、跟踪所述病理以确定健康状态或退化的方式。
其它的抖颤(诸如生理性抖颤、特发性(Essential)抖颤、直立性抖颤以及增强的生理性抖颤)可能在正常健康状况下发生。这些抖颤本身不是病理。因此,它们通常作为整体存在于群体中。生理性抖颤以及所有用户共有的其它抖颤是所关注的,这是因为它们以处于3Hz到30Hz或者4Hz到30Hz之间的范围内的频率来产生微运动。当使用肌肉支撑身体部位重量时,所述抖颤可以被激活。因此,将电子装置握在人的手中以支撑手和臂的重量可以产生能够由加速度计感测的生理性抖颤。用手指接触电子装置的触摸板并且支撑其重量可以产生能够由手指触摸板传感器容易地感测的生理性抖颤。
当用户必须输入PIN或者登录ID以获访问装置或手机时,会发生并感测到运动型的特发性抖颤。特发性抖颤的频率范围可以介于4Hz到12Hz之间,这可以减小到8Hz到12Hz的频率范围,以避免感测由不常见的病理性状况引起的抖颤。
对于生理性抖颤(或者增强的生理性抖颤,具有较大振幅的生理性抖颤),不同的身体侧的一致性较低。即,身体左侧的生理性抖颤与身体右侧的生理性抖颤不是非常一致。因此,期望左手或左手手指的抖颤将不同于用户右手或右手手指的抖颤。因此,上下文情境(例如,生理状态)的AI静态模型系统将要求用户在使用同一侧的手或手指进行认证时保持一致;或者另选地,多个经授权用户校准参数集,每只手一个参数集或者每个手指一个参数集将被用于提取神经肌肉紧张度信号。
神经肌肉接点(Neuro-muscular junction)信号包含比仅仅用户特定的不变量(invariant)多得多的信息。它们还包含可以跨多个用户测量的情境特定的信息。然后,可以根据在情境受约束的状况下获得的原始数据来分析和建模这样的信息。参见图2,其示出了情境静态模型的总体处理流程。
在那些情境特定的状况下,具有较高关注频率的那些运动可能被本领域其他人员认为是噪声。因此,具有任一低频率(例如,12Hz或30Hz)但还处于较高谐波(高达1500Hz或4000Hz)的信号可以是相关的,因为它们包含所需的信息。
所提及的这种静态模型可以被用作对一般生物特征领域的改进,或者被独立地用于情境意识。
由电子装置中的手指触摸板传感器或者由手持式电子装置的加速度计捕获的原始信号可以在其中具有多个不想要的信号频率。因此,可以将具有对滤出希望频率范围之外的信号的响应的滤波类型用于从原始电子信号获得微运动信号。另选地,可以将用于希望频率范围内的信号的隔离/提取装置用于从原始电子信号获得微运动信号。例如,可以使用有限脉冲响应带通滤波器(例如,8Hz到30Hz的通带)来选择由触摸板或加速度计感测的原始电子信号中的关注低信号频率范围。另选地,可以将低通滤波器(例如,30Hz截止)和高通滤波器(例如,8Hz截止)或者高通滤波器(例如,8Hz截止)和低通滤波器(例如,30Hz截止)串联组合以实现类似的结果。
图3示出了根据一些实施方式的各种类型的运动分类的一个示例。该示例性分类表提供了对应当考虑和测量什么类型的特征以从用户的所获取的运动信号中进行提取或过滤从而获得与神经肌肉紧张度信号相关的特征数据的更好理解。
图4是例示根据一些实施方式的示例性操作环境400的电子装置的框图。
电子装置401可以包括:处理单元410、传感器420、输入/输出接口430、显示器440、静态模型加速器450、存储器460、电源系统470、通信接口480等。电子装置401、402、403、404、405可以彼此通信并且通过网络406或通信接口480进行连接。
应意识到,这仅仅是本公开的一些实施方式的示例。电子装置401、402、403、404、405可以包括比图4所示更多或更少的组件,可以将两个或更多组件组合在一起,或者可以将组件的某一部分在图4中以不同方式混合在一起。图4所示的各种组件可以以硬件、软件、或者硬件和软件的组合来实现。
处理单元410可以包括至少一个中央处理单元,并且中央处理单元可以包括至少一个处理核心。处理单元410还可以包括协处理器、通信处理器、数字信号处理核心、图形处理核心、低功率传感器控制处理器、专用控制器等中的至少一个或更多个。另外,可以包括各种分级的内部易失性和非易失性存储器以执行诸如初始引导过程、用于与外部电子装置通信的操作、用于从外部电子装置下载初始引导或加载器相关程序的操作、中断操作、用于在程序的运行时操作中提高电子装置的性能的操作等的功能。处理单元可以从存储器、通信模块或外部源加载程序指令,对指令进行解码,执行操作或数据处理,根据经解码的指令存储结果,或对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。术语处理单元通常可以被本领域普通技术人员称为处理器、应用处理器(AP)、中央处理单元(CPU)、MCU(微控制器单元)、控制器等。
传感器420可以感测或测量电子装置的状态或物理量并将其转换成电信号。传感器420可以包括:光学传感器、RGB传感器、IR传感器、UV传感器、指纹传感器、接近传感器、罗盘、加速度计传感器、陀螺仪传感器、气压计、握持传感器、磁性传感器、虹膜传感器、GSR(皮肤电反应)传感器、EEG(脑电图)传感器、ECG(心电图)传感器、EMG(肌电图)传感器、EKG(心电图)传感器、外部/内部电极等。传感器420可以从用户身体的一部分收集信号(例如,运动信号、神经肌肉紧张度等),并将它们发送至包括处理单元410或静态模型加速器450的电子装置401的至少一个组件,然后,可以对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
输入/输出接口430可以包括输入接口和输出接口。输入接口以包括信号和/或指令的输入的形式从用户或电子装置401的外部装置接收输入,并将该输入传送至电子装置的组件。输出接口通过电子装置401的组件向用户传送输出信号。例如,输入/输出接口可以包括:输入按钮、LED、振动马达、各种串行接口(例如,USB(通用串行总线)、UART(通用异步接收器/发送器)、HDMI(高清晰度多媒体接口)、MHL(移动高清晰度链路)、IrDA(红外数据关联)等)等等。
显示器440可以向用户显示诸如图像、文本、或视频的各种内容。显示器440可以是液晶显示器(LCD)、有机发光二极管(OLED)显示器、全息图输出装置等。显示器440可以包括显示驱动器IC(DDI)或显示面板。显示驱动器IC可以将与从处理单元410接收到的图像信息相对应的图像驱动信号发送至显示面板,可以根据预定帧速率来显示该图像。显示驱动器IC可以以IC类型来实现,并且可以包括诸如能够存储图像信息的视频存储器、图像处理单元、显示定时控制器、多路复用器等的组件。显示器440可以包括诸如触摸识别面板、电子笔输入面板、指纹传感器,压力传感器等的输入装置,或者诸如触觉反馈组件的输出装置。根据电子装置401的规格,显示器440可以不被选择性地包括或者可以包括采用非常简单的形状因子的至少一个发光二极管。显示器440可以显示用户接触用户身体的一部分的位置、描述收集信号(例如,运动信号、神经肌肉紧张度等)的获取开始状态、处理状态、或完成状态的状态指示符,并且通过这样做,使得电子装置对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
存储器460可以包括易失性存储器462(例如,DRAM(动态RAM)、SRAM(静态RAM)、SDRAM(同步动态RAM))和非易失性存储器464(例如,NOR闪存、NAND闪存、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、HDD(硬盘驱动器)、SSD(固态驱动器)、SD(安全数字)卡存储器、微型SD卡存储器、MMC(多媒体卡))中的至少一个。可以将引导加载器、操作系统491、通信功能库492、装置驱动程序493、上下文情境的静态模型库494、应用495、或用户数据496中的至少一个或更多个存储在非易失性存储器464中。当电子装置被供电时,易失性存储器462开始工作。处理单元410可以将被存储在非易失性存储器中的程序或数据加载到易失性存储器462中。通过在电子装置的操作期间与处理单元410对接,易失性存储器462可以起到电子装置中的主存储器的作用。
电源系统470可以用于向电子装置401供应电力、控制并管理电力。电源系统可以包括:PMIC(电力管理集成电路)、电池472、充电IC、燃料表等。电源系统可以接收AC或DC电力作为电源。电源系统470可以提供有线和无线充电功能以对电池472充入需供应的电力。
无线通信接口480例如可以包括:蜂窝通信、Wi-Fi通信、蓝牙、GPS、RFID、NFC、等,并且还可以包括用于无线通信的RF电路单元。RF电路单元可以包括:RF收发器、PAM(功率放大器模块)、频率滤波器、LNA(低噪声放大器)、天线等。
图5是根据一些实施方式的示例性电子装置的框图。电子装置500可以包括:处理单元501、摄像机550、输入/输出接口553、触觉反馈控制器554、显示器555、近场通信556、外部存储器插槽557、传感器570、存储器590、电源系统558、时钟源561、音频电路562、SIM卡563、无线通信处理器564、RF电路565、神经纹(NP)加速器566等。
应意识到,电子装置仅仅是本公开的实施方式的一个示例。电子装置可选地可以具有比所示出的更多或更少的组件、可选地可以组合两个或更多个组件、或者可选地可以具有所述组件的不同布置或配置。图5所示的各种组件可以以硬件、软件、或者硬件和软件两者的组合来实现。
处理单元501可以包括至少一个中央处理单元502,并且中央处理单元可以包括至少一个处理核心。处理单元501还可以包括协处理器、通信处理器、数字信号处理核心、图形处理核心、低功率传感器控制处理器、专用控制器等中的至少一个或更多个。可以将处理单元501实现为包括采用半导体芯片形式的各种组件的SoC(芯片上系统)。在一个实施方式中,处理单元501可以包括:图形处理单元(GPU)520、数字信号处理器(DSP)521、中断控制器522、摄像机接口523、时钟控制器524、显示接口525、传感器核心526、位置控制器527、安全加速器528、多媒体接口529、存储器控制器530、外围接口531、通信/连通性532、内部存储器540等。另外,可以包括各种分级的内部易失性和非易失性存储器以执行诸如初始引导过程、用于与外部电子装置通信的操作、用于从外部电子装置下载初始引导或加载器相关程序的操作、中断操作、或者用于在程序的运行时操作中提高电子装置的性能的操作等的功能。处理单元可以从存储器590、通信/连通性532、或者无线通信处理器564加载程序指令、可以对指令进行解码、执行操作或数据处理、根据所解码的指令存储结果、或者对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。术语处理单元通常可以被本领域普通技术人员称为处理器、应用处理器(AP)、中央处理单元(CPU)、微控制器单元(MCU)、控制器等。
中央处理单元502可以包括至少一个处理器核心504、505、506。中央处理单元502可以包括:具有相对低功耗的处理器核心、具有高功耗的高性能处理器核心、以及包括多个核心的至少一个或更多个核心集群,例如第一集群503或第二集群514。该结构是被用于通过考虑多核心环境中的计算量和所消耗电流来动态地分配核心从而改善电子装置的性能和功耗增益的技术。处理器核心可以配备有用于增强安全性的技术。ARM处理器(众所周知的移动处理器之一)已经在其被称为TRUSTZONE的处理器上实现了这种类型的安全技术。例如,第一核心504(其可以是一个物理处理器核心)能够以正常模式507和安全模式508两者来操作。根据该模式,处理器的寄存器和中断处理机制可以进行单独操作,以使允许对需要安全性的资源(例如,外围装置或存储器区域)的访问仅以安全模式进行访问。监测模式513可以启用正常模式507与安全模式508之间的模式切换。在正常模式507下,该模式可以通过某个指令或中断切换成安全模式508。以正常模式507执行的应用和以安全模式508执行的应用彼此之间是隔离的,以使它们不会影响在相应模式下执行的应用,由此允许在安全模式508下执行需要高可靠性的应用,从而,可以增强系统的可靠性。可以通过在安全模式508下,在执行包括用户的生理状态的上下文情境的静态模型处理方面执行所述操作中的一部分来提高安全性。
摄像机550可以包括用于获取图像的透镜、光学传感器、图像信号处理器(ISP)等,并且可以获取静止图像和移动图像。并且摄像机550可以包括多个摄像机(例如,第一摄像机551、第二摄像机552),以提供与增强的摄像机功能相关联的各种功能。
输入/输出接口553可以包括输入接口和输出接口。输入接口以包括信号和/或指令的输入的形式从用户或电子装置500的外部装置接收输入,并将该输入传送至电子装置的组件。输出接口通过电子装置500的组件向用户传送输出信号。例如,输入/输出接口可以包括:输入按钮、LED、振动马达、各种串行接口(例如,通用串行总线(USB)、通用异步接收器/发送器(UART)、高清晰度多媒体接口(HDMI)、移动高清晰度链路(MHL)、红外数据关联(IrDA))、或者其它已知接口。
触觉反馈控制器554可以包括通常被称为致动器的振动马达,以便为用户提供通过触觉感觉来感受某种感觉的能力。
显示器(触敏显示器)555可以向用户显示诸如图像、文本以及视频的各种内容。显示器555可以是液晶显示器(LCD)、有机发光二极管(OLED)显示器、全息图输出装置等。显示器555可以包括显示驱动器IC(DDI)或显示面板。显示驱动器IC可以将与从处理单元501接收到的图像信息相对应的图像驱动信号发送至显示面板,可以根据预定帧速率来显示该图像。显示驱动器IC可以以IC类型来实现,并且可以包括诸如能够存储图像信息的视频存储器、图像处理单元、显示定时控制器、多路复用器等的组件。显示器555可以包括诸如触摸识别面板、电子笔输入面板、指纹传感器,压力传感器等的输入装置,或者诸如触觉反馈组件的输出装置。根据电子装置500的规格,显示器555可以不被选择性地包括或者可以包括采用非常简单的形状因子的至少一个发光二极管。显示器555可以显示用户接触用户身体的一部分的位置、描述收集运动信号的获取开始状态、处理状态、或完成状态的状态指示符,并且通过这样做,使得电子装置对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
近场无线通信556可以在无线通信系统中实现,以便执行与附近的其它电子装置的通信,诸如近场通信(NFC)、射频标识(RFID)、MST(磁安全传输)等。
外部存储器插槽557可以包括能够安装存储器卡(例如,SD卡、微型SD卡等)的接口,以便扩展电子装置500的存储空间。
电源系统558可以用于向电子装置500供应电力、控制并管理电力。电源系统可以包括:PMIC(电力管理集成电路)、电池559、充电IC 560、燃料表等。电源系统可以接收AC或DC电力作为电源。电源系统558可以提供有线和无线充电功能以对电池559充入需供应的电力。
时钟源561可以包括用作电子装置500的操作的基准的系统时钟振荡器以及用于发送和接收RF信号的频率振荡器中的至少一个。
音频电路562可以包括:音频输入单元(例如,麦克风)、音频输出单元(接收器、扬声器等)和/或执行音频信号与电信号之间的转换的编解码器,从而提供用户与电子装置之间的接口。可以通过音频输入单元获得音频信号,音频信号可以被转换成模拟电信号,然后可以被采样或数字化以发送至电子装置500中的另一组件(例如,处理单元)以执行音频信号处理。从电子装置500中的其它组件发送的数字音频数据可以被转换成模拟电信号以通过音频输出单元产生音频信号。
SIM卡563是实现用于在蜂窝通信中标识用户的用户标识模块的IC卡。在大多数情况下,SIM卡被安装于电子装置510所提供的插槽中,并且可以根据电子装置的类型,以联接至电子装置的嵌入式SIM的形式来实现。各个SIM卡可以具有其自己的唯一号码,并且该唯一号码可以包括固定号码ICCI(集成电路标识符)和IMSI(国际移动用户标识)信息,该信息从一个用户线到另一用户线是变化的。
无线通信处理器564例如可以包括:蜂窝通信、Wi-Fi通信、蓝牙、GPS等。通过无线通信处理器564,可以在网络上与至少一个或更多个其它电子装置(包括服务器)协作来执行包括用户的生理状态的上下文情境的静态模型处理。
RF电路565可以包括:收发器、PAM(功率放大器模块)、频率滤波器、LNA(低噪声放大器)、天线等。可以与无线通信处理器和处理单元交换控制信息和用户数据,以在无线环境中通过射频执行发送和接收。
可以将静态模型加速器566用于增加执行对从用户身体的一部分获得的信号进行处理的计算的速度,或者通过执行为执行包括用户的生理状态的上下文情境的静态模型处理所需的计算或计算的某些部分来增加整个系统的性能,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
传感器570可以感测或测量电子装置的状态、物理量等并将其转换成电信号。传感器570可以包括:罗盘571、光学传感器572、指纹传感器573、接近传感器574、陀螺仪传感器575、RGB传感器576、气压计578、UV传感器579、握持传感器580、磁性传感器581、加速度计582、虹膜传感器583等。传感器570可以从用户身体的部分收集运动信号,并将它们发送至包括处理单元501、生理状态加速器566的电子装置500的至少一个组件,并且可以对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
存储器590可以包括易失性存储器591(例如,DRAM(动态RAM)、SRAM(静态RAM)、SDRAM(同步动态RAM))和非易失性存储器592(例如,NOR闪存、NAND闪存、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、HDD(硬盘驱动器)、SSD(固态驱动器)、SD(安全数字)卡存储器、微型SD卡存储器、MMC(多媒体卡))中的至少一个。可以将引导加载器、操作系统593、通信功能库594、装置驱动程序595、上下文情境的静态模型库596、应用597、或用户数据598中的至少一个或更多个存储在非易失性存储器592中。当电子装置被供电时,易失性存储器591开始工作。处理单元501可以将被存储在非易失性存储器中的程序或数据加载到易失性存储器591中。通过在电子装置的操作期间与处理单元501对接,易失性存储器591可以起到电子装置中的主存储器的作用。
电子装置500可以经由传感器570从用户身体的所述部分获取信号,并将所获取的信号提供给处理单元501、静态模型加速器566和/或存储器590中的至少一个,通过这些组件之间的交互,可以对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。包括用户的生理状态的上下文情境的静态模型处理可以由电子装置500独立地执行并且可以在网络上与至少一个或更多个其它电子装置协作来执行。
特征处理系统
图6描绘了特征处理系统600的实施方式的框图。特征处理系统600可以执行包括用户的生理状态的上下文情境的静态模型处理。特征处理系统600可以在图5中的电子装置500或图4中的电子装置401中实现,并且可以使用附加的硬件组件或软件模块。特征处理系统600可以被配置为与本文所描述的图6的各个功能的各种实施方式的至少一个或更多个示例相结合。特征处理系统600可以包括:输入数据处理程序602、特征提取器604、特征分析器606以及特征应用框架608。特征处理系统600可以以硬件实现、以软件实现、或者以硬件和软件的组合来实现。
在一些实施方式中,输入数据处理程序602可以包括各种类型的传感器,包括:加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、脑电图(EGE)、心电图(ECG)、肌电图(EMG)、皮肤电反应(GSR)等。可以从摄像机获得图像信息数据,并且可以以计算机文件的形式收集和处理数据。特征提取器604从输入数据处理程序602接收某些数据,执行预处理以去除不需要的信号或者执行用于处理效率的特定处理,以及执行表示所观察到的数据的特性的数字特征数据的提取。特征分析器606基于由特征提取器604提取的特性特征数据来分析特征数据。当分析特征数据时,可以使用从特征提取器获取的特征数据,可以分析已经通过其它路径收集的采用计算机文件形式的数据,并且可以分析这些数据的组合。特征分析器606可以导出与所分析的特征数据相关联的信息并存储该导出的信息。通过使用与先前存储的特征数据相关联的信息,可以导出新输入特征数据的分析结果。特征应用框架608可以利用特征分析器606的结果信息,来执行使用该结果信息的标识、认证、活动性、加密或功能。
静态模型操作的示例
上下文情境之一可以是用户的生理状态。可以从加速度计和陀螺仪数据导出的用户的生理测量结果:
-血糖水平
-雌激素水平
-应激激素水平
-药物的存在:酒精、尼古丁、咖啡因、THC、CBD、处方药等
-睡眠剥夺
-人神经肌肉抖颤或运动的存在
-不存在人神经肌肉抖颤或运动
可以提供显示上述每种“生理状态”如何影响神经肌肉抖颤的科学文献。在加速度计和陀螺仪数据中显现的这些生理状态包含某些频率分量(重复的、非重复的、混乱的、和/或正弦的模式),它们可使用预处理和特征提取方法来量化。
包括用户的生理状态的上下文情境的该静态模型可以驻留在电子装置401或电子装置500中,例如驻留在任何嵌入式系统、医疗装置、web应用等中。该模型是这样的意义上是静态的,即,它不需要与外部训练数据的任何交互来有效地起作用或改善其检测。静态模型量化生理状态是否存在、特定生理状态存在的概率、或者或生理状态存在的程度。这些静态模型通过不聚集除初始训练集以外的数据来尊重用户隐私。
图7是电子装置401或电子装置500上的用户的上下文情境(例如,生理状态)的静态模型操作的流程图的示例。电子装置401、500可以加载包括用户的上下文情境(例如,生理状态)的约束集的静态模型操作模式的信息;根据静态模型操作模式来配置静态模型参数集;在预定采样时段内以预定采样频率,从用户的身体的身体部位收集包含神经肌肉紧张度的传感器信号数据;根据传感器数据来抑制与用户的自愿移动相关联的信号分量;基于静态模型操作模式,根据与自愿移动相关联的经传感器数据抑制的信号分量,来生成关于用户的上下文情境(例如,生理状态)的数学表示的数据集;基于数学表示的数据集,来构造包含多个特征向量集的特征向量表;根据静态模型操作模式,使用特征向量表来执行静态模型;以及基于静态模型的执行结果来生成关于上下文情境(例如,生理状态)的报告信息。
在一些实施方式中,上下文情境(例如,生理状态)的约束集可以是血糖水平、雌激素水平、应激激素水平、药物(酒精、尼古丁、咖啡因、THC、CBD、处方药等)的存在、睡眠剥夺、人神经肌肉抖颤或运动的存在、不存在人神经肌肉抖颤或运动等等。可以将包括用户的生理状态的约束集的静态模型操作模式的信息存储在存储器460、590中,或者在图7的操作之前通过通信从服务器计算机下载。在一些实施方式中,用户可以为静态模型操作选择上下文情境(例如,生理状态)的约束集中的至少一个,或者应用程序可以根据应用程序的目的自动选择上下文情境(例如,生理状态)的约束集。
上下文情境的静态模型处理系统
图8描绘了静态模型处理系统800的实施方式的框图。在一些实施方式中,静态模型处理系统800可以在图5中的电子装置500或图4中的电子装置401中实现,并且可以使用附加的硬件组件或软件模块。图6的特征处理系统600还可以以诸如图8的处理生理状态的静态模型处理系统800的形式来实现。可以将静态模型处理系统800配置为与本文所描述的各种实施方式的至少一个或更多个示例相结合。静态模型处理系统800可以包括:输入数据处理程序802、上下文情境特征提取器804、静态模型分析器806以及静态模型应用框架808。静态模型处理系统800可以以硬件实现、以软件实现、或者以硬件和软件的组合来实现。静态模型处理系统800可以是采用在图4的电子装置401或图5的电子装置500中执行的软件的形式。静态模型处理系统800的一些组件可以采用与专用硬件加速器相关联的软件的形式,在电子装置401或电子装置500中实现。
在一些实施方式中,输入数据处理程序802可以从各种类型的传感器收集数据,包括:加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、脑电图(EEG)、心电图(ECG)、肌电图(EMG)、心电图(EKG)、外部/内部电极、皮肤电反应(GSR)、电磁感测(EMS)等。可以从摄像机获得图像信息数据,并且可以以计算机文件的形式收集和处理数据。上下文情境特征提取器804从输入数据处理程序802接收某些数据,执行预处理以去除不需要的信号或者执行用于处理效率的特定处理,以及执行表示所观察到的数据的特性的数字特征数据的提取。静态模型分析器806基于由上下文情境特征提取器804提取的特性特征数据来分析特征数据。当分析特征数据时,可以使用从上下文情境特征提取器获取的特征数据,可以分析已经通过其它路径收集的采用计算机文件形式的数据,并且可以分析这些数据的组合。静态模型分析器806可以导出与所分析的特征数据相关联的信息并存储该导出的信息。通过使用与先前存储的特征数据相关联的信息,可以导出新输入特征数据的分析结果。静态模型应用框架808可以利用静态模型分析器806的结果信息,来对包括用户的生理状态的上下文情境执行静态模型处理,该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等。
(1)输入数据处理程序802
在一些实施方式中,输入数据处理程序802可以从各种类型的传感器收集数据,包括:加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、脑电图(EEG)、心电图(ECG)、肌电图(EMG)、心电图(EKG)、外部/内部电极、皮肤电反应(GSR)、电磁感测(EMS)等。可以从摄像机获得图像信息数据,并且可以以计算机文件的形式收集和处理数据。
在一些实施方式中,输入数据处理程序802可以从用户身体的身体部位收集可以由电子装置500的传感器获得的移动信号数据。传感器可以包括能够检测用户的移动或振动的传感器。例如,传感器可以包括:罗盘571、陀螺仪传感器575、加速度传感器582、地磁传感器、摄像机550、光学传感器、触敏显示器555的触摸传感器、脑电图(EEG)、心电图(ECG)、肌电图(EMG)、心电图(EKG)、外部/内部电极、皮肤电反应(GSR)、电磁感测(EMS)或其组合。
传感器可以感测在用户身体的与电子装置接触的一部分中产生的运动、振动、与神经肌肉衍生信号相关联的移动等。可以在传感器中以模拟电信号的形式感测与神经肌肉衍生信号相关联的移动或微移动。例如,在使用MEMS技术制造的传感器的情况下,可以使用诸如电容感测、压电感测、压阻感测或热感测的方法,将由与用户身体的一部分接触而产生的移动力改变的物理量测量为电模拟信号。
图9示出了电子装置401或电子装置500上的传感器中的感测结构的示例。加速度或角速度实际上测量被施加在物质上的力,并且通过从物质外部施加的力来间接测量加速度或角速度。因此,将由神经衍生机制而造成的肌肉的微运动或微移动作为施加至电子装置的力来发送,并且所测得的力可以以加速度或角速度的形式被间接地进行计算。从附接有传感器的电子装置的外部施加外力,并且图9的移动板(MASS)移动,并且由于感测结构中的电极的距离改变而发生电容的变化。将改变的电容转换成模拟电压的形式,并且将模拟电压信号经由放大器施加至A/D转换器的输入端。多个感测结构可以使得能够测量加速度和角速度的多个轴的值,并且可以将这些值用于更复杂的应用。所测得的电模拟信号可以在A/D转换器中以预定义采样频率进行采样达预定时段(例如,3秒钟、5秒钟、10秒钟、20秒钟、30秒钟等)。
图10示出了电子装置401或电子装置500上的传感器的框图。传感器1010可以包括:加速度感测结构1012、陀螺仪感测结构1014、温度传感器1016、EMS 1017、A/D转换器1018、信号调节1020、串行接口1022、中断控制器1024、FIFO 1026、寄存器1028、存储器1030、处理器1032、外部传感器接口1034以及系统总线1036。
加速度感测结构1012可以包括多个感测结构以测量多个轴的加速度。在加速度感测结构中测得的加速度可以是采用模拟电压形式的模拟输出,并且可以通过A/D转换器将其转换成数字数据。来自加速度感测结构1012的所测得的加速度可能向因包括感测结构的材料的特性而造成的温度变化漂移。可以借助于温度传感器1016来补偿感测值中的漂移。信号调节1020可以包括信号处理所需的信号处理滤波器以改善信号质量。处理器1032可以控制信号处理滤波器的配置。可以将所测得的加速度值通过信号调节1020存储在寄存器1023中。根据预定义配置,被存储在寄存器1023中的加速度值可以以±2g、±4g、±8g、±16g的范围来进行记录。
陀螺仪感测结构1014可以包括多个感测结构以测量多个轴的旋转。在陀螺仪感测结构1014中测得的旋转可以是采用模拟电压形式的模拟输出,并且可以通过A/D转换器将其转换成数字数据。来自陀螺仪感测结构1014的所测得的旋转可能向因包括感测结构的材料的特性而造成的温度变化漂移。可以借助于温度传感器1016来补偿感测值中的漂移。信号调节1020可以包括信号处理所需的信号处理滤波器以改善信号质量。处理器1032可以控制信号处理滤波器的配置。可以将所测得的旋转值通过信号调节920存储在寄存器1023中。根据预定义配置,被存储在寄存器1023中的旋转值可以以±125度/秒钟、±250度/秒钟、±500度/秒钟、±1000度/秒钟、±2000度/秒钟的范围来进行记录。
通过在传感器1010中实现FIFO 1026结构,主处理器1040不需要不断地监测传感器数据,从而减少了电子装置的电流消耗。主处理器1040可以是电子装置401的处理单元410和电子装置500的处理单元501。由传感器感测的数据可以通过串行接口1022递送至主处理器1040。串行接口1022还允许主处理器1040设定传感器的控制寄存器。串行接口1022可以包括SPI、I2C等。中断控制器1024可以配置被连接至主处理器1040的外部中断引脚,中断锁存和清除方法,并且将中断触发信号发送至主处理器1040。当传感器数据准备好时,或者当数据以FIFO准备好由主处理器1040读取时,可以触发中断信号。另外,当通过外部传感器接口1034连接附加传感器以降低整个电子装置系统的功耗时,即使当主处理器1040从外部前驱站(predecessor)读取数据时,也可以触发中断。为了降低电子装置的功耗,主处理器1040可以进入睡眠模式,并且如果没有从被连接至传感器1010的外部传感器1060准备数据,则主处理器1040可以仍持续保持在睡眠模式。当传感器数据准备好时,传感器1010还可以通过经由传感器的中断唤醒主处理器并启用主处理器1040的必要数据处理,来充当传感器核心或传感器集线器。
参照图11,是随时间示出的单个轴(X、Y、或Z)的手加速度信号的手加速度波形1100的曲线图。手加速度波形1100的部分1101被放大为波形1100T,如图所示。虽然可以在附图中示出模拟信号波形,但是应理解,模拟信号波形可以随时间进行采样,并且由离散周期性时间戳处的数字式数字(digital number)序列(“数字波形”)来表示。虽然加速度计随时间感测加速度,但是如果改为传感器随时间感测位移,则可以通过将位移信号与时间进行两次微分来将其转换成加速度。
在预定采样时段(举例来说,如5秒钟、10秒钟、20秒钟或30秒钟的时间跨度)1105内对各个轴的手加速度进行采样。选择采样频率以使其与随后的滤波兼容。例如,采样频率可以是250Hz(样本之间4毫秒)。另选地,采样频率例如可以是330Hz或200Hz。可以由采样模数转换器对模拟信号执行采样,以在给定的预定采样时段期间,在时间戳T1至TN上生成由数字式数字表示的样本S1至SN。假设20秒钟采样时段和250Hz的采样频率,对于总共15k个样本,加速度的数据集将包括在该时段内的3(3个轴)乘以5000个样本。
在一些实施方式中,由于可以主要在3Hz到30Hz的范围内观察到人的固有神经肌肉紧张度,因此,输入数据处理程序(hander)802的采样频率例如可以是60Hz、200Hz、250Hz、330Hz、400Hz等,该采样频率大于30Hz频率的两倍。输入数据处理程序802的所收集的数据可以进一步执行去除噪声或改善信号质量的操作以改善信号质量。由预定义采样频率采样的模拟值可以通过A/D转换器1018中的量化处理转换成数字信号。在量化处理中,可以根据预定义比特率来执行量化。当执行量化时,可以以恒定的量化宽度来执行线性量化,并且可以使用根据特定范围内的预定义值扩展或压缩量化宽度的非线性量化来获得用于应用的高质量信噪比。
图12是在电子装置401或电子装置500上收集输入数据处理程序802的移动信号数据的流程图的示例。电子装置可以在预定采样时段内以预定采样频率,从用户的身体的身体部位收集包含神经肌肉紧张度的传感器信号数据;将从包括质量板的感测结构测得的模拟电压值转换成数字值;借助于温度传感器1016补偿因温度而漂移的数字值;将多个数字值存储到FIFO 1026中;以及在FIFO数据准备好传送时,生成中断信号给主处理器1040。
图13是电子装置401或电子装置500上的静态模型处理系统800的睡眠模式操作的流程图的示例。在一些实施方式中,当电子装置401、500被实现为便携式装置时,功耗可能成为重要的问题。电子装置401、500可以在睡眠模式下操作。当电子装置在睡眠模式下操作时,可以应用各种方法,诸如关闭电子装置401、500中的一些组件的功率、切换成低功率模式、降低用于最小功率消耗的操作时钟的频率等。当处理单元501进入睡眠模式时,可以提高功耗效率。然而,由于延迟可以根据用户和睡眠模式下的电磁的相互响应而发生,因此,可以将诸如传感器核心526的协处理器包括在处理单元内部或电子装置中。即使当处理单元501进入睡眠模式时,传感器核心526也可以连续地观察来自传感器570的信号检测。当传感器核心526确定需要处理单元501的处理时,传感器核心526可以向处理单元501产生中断信号并且处理单元501退出睡眠模式。这时,可以再次向进入睡眠模式的组件中的一些组件供电,并且处理单元501退出低功率模式并改变操作时钟的频率以在快时钟下操作,以便从睡眠模式唤醒。
图14是电子装置401或电子装置500上的静态模型处理系统800的安全模式操作的流程图的示例。上下文情境的静态模型处理可以被认为是操作所需的安全性。在这种情况下,可以通过将处理单元501中的第一核心404切换成安全模式508,来操作处理来自传感器的数据收集的操作。由传感器或传感器核心526经由总线或中断发送的信号可以被发送给监测模式513,以将第一核心504切换成安全模式508。当第一核心504的执行模式切换成安全模式时,用于安全性的执行环境与正常执行环境隔离运行。进入安全模式508的核心可以访问或控制仅可由处于安全执行环境的安全操作系统访问的电子装置的系统资源。
在一些实施方式中,输入数据处理程序802可以标识来自用户的数据收集模式。例如,数据获取模式可以包括用于学习的数据获取模式和用于推断的数据获取模式。在用于推断的获取模式下,用于训练的信号获取可以同时执行,以改进先前训练的模型的性能。当收集数据时,可以将UI相关组件显示在电子装置屏幕上,以坐姿、站姿、行走姿势等收集数据。另外,可以显示UI相关组件,以使用户可以通过区分活动状态来输入,诸如用户是在跑步、骑自行车、还是乘坐汽车。在另一实施方式中,可以对所收集的数据进行分析,以确定用户的姿势或活动状态从而处理对应信息。
在一些实施方式中,在对包括用户的生理状态(该生理状态可以是活动性、血糖水平、应激激素水平、药物的存在、标识符等)的上下文情境执行静态模型处理方面,电子装置401、500可以通过将这种功能指派给高性能处理器核心集群来执行。例如,如果第一集群503是高性能核心集群,则可以指派第一集群503。
(2)上下文情境特征提取器804
图15示出了上下文情境特征提取器1500的框图。上下文情境特征提取器1500可以包括:预处理处理程序1510、信号滤波处理程序1512和特征提取处理程序1514。
在一些实施方式中,可以将上下文情境特征提取器804配置为图15的上下文情境特征提取器1500。上下文情境特征提取器804、1500可以从输入数据处理程序802获得诸如第一传感器数据1502和第二传感器数据1504的数字数据(numerical data)。如果从加速度传感器或陀螺仪传感器接收输入数据,则可以如图16所示收集该数字数据。图16是本文可以使用的各种类型的传感器数据和格式的示例。
可以将多维传感器数据称为原始数据。可以对原始数据执行诸如预处理、滤波等的信号处理,以在下一步骤中实现最优性能。
图17是电子装置401或电子装置500上的上下文情境特征提取器804、1500的预处理操作的流程图的示例。
在一些实施方式中,可以根据所收集的信号的使用来确定用于执行预处理的方法。例如,可以将所收集的信号用于认证、姿势估计以及活动信息估计。预处理方法可以根据用途不同地进行处理并且部分重叠。预处理处理程序1010可以检查以下输入数据:
-传感器误差(尖峰、饱和、平坦信号)
-用户错误(摇动、挤压手机)
-静态数据(没有包含“人类”信号的动态范围)。
预处理处理程序1010可以通过确定输入数据的质量或者确定它是错误的(例如,在期望的数据范围之外)来处理该输入数据。
可以根据输入数据的质量来执行输入状态机操作。
当确定输入数据的质量非常低时,可以再次执行收集输入数据的操作,或者可以生成需要用户执行附加操作以便收集更多输入数据的用户界面。在预处理过程中,在信号获取开始时从运动传感器获得的约1秒钟到2秒钟的信号中可以包括用户的大量宏运动信号,并且可以受到电子装置的摇动的很大影响。结果,可以在信号获取开始时或者在获取完成之前立即以一定间隔丢弃信号。
在一些实施方式中,预处理处理程序1510可以对输入数据执行重采样过程或插值。重采样功能可以将均匀或非均匀数据转换成新的固定速率数据。从传感器导出的以高硬件抽象级进行采样并且经受许多变化的输入数据取决于由某一公司制造的硬件组件或者传感器组件上的采样配置。结果,来自传感器的以原始数据格式写入的输入数据可以被非均匀地采样。在进一步分析之前,可以通过预处理处理程序1510的重采样过程将输入数据校正到新的均匀速率。重采样过程可以通过线性或三次插值来校正非均匀样本中的小偏差,并在样本之间提供恒定的时间。例如,重采样过程可以使用三次“样条”来校正采样率的偏差。
示例软件代码之一可以如下写成。
[Ax,T]=resample(Axyz(:,1),time,'spline');
[Ay,T]=resample(Axyz(:,2),time,'spline');
[Az,T]=resample(Axyz(:,3),time,'spline');。
在一些实施方式中,信号滤波处理程序1512可以对输入数据执行以下滤波处理。
-多种带通滤波器
-减少极低频率下的重力效应和行为效应
-专注于处于信号谐波中的宽范围信息
信号滤波处理程序1512可以执行滤波以从所收集的信号中去除不必要的信号,从而进行微运动数据提取。不必要的信号例如可以包括:噪声、宏运动信号、因重力而造成的失真等。由于当电子装置被充电时在所收集的信号中经常会产生功率噪声,因此,可以考虑到因功率噪声而造成的特性来对信号进行滤波。源自神经或者由于基于人的神经的固有神经肌肉解剖结构的神经肌肉微运动的频率可以主要在3Hz到30Hz的范围内观察到。可以通过使用信号处理算法从所收集的输入运动数据中提取处于3Hz到30Hz或者4Hz到30Hz范围内的信号。根据要去除的不需要的信号的特性,可以改变信号处理算法的带通滤波器的截止频率。例如,在一个实施方式中,可以提取处于4Hz到30Hz范围内的信号,而在另一实施方式中,可以提取处于8Hz到30Hz范围内的信号。在另一实施方式中,可以提取处于4Hz到12Hz或者8Hz到12Hz范围内的信号。
信号滤波处理程序1512可以使用信号处理,该信号处理分析输入数据,然后将输入数据分类/标识为小信号和大信号,这些小信号和大信号是从微运动的小信号振幅中分离出来的。信号滤波处理程序1512可以从所收集的输入数据中抑制/滤波宏运动(用户身体的大移动、手臂的大移动或者行走、跑步、慢跑、手势等)。示例分析可以是RichardJ.Povinelli等人在“Time Series Classification Using Gaussian Mixture Models ofReconstructed Phase Spaces”,IEEE Transactions on Knowledge and DataEngineering,Vol.16,No.6,June 2004中描述的形式。另选地,可以通过使用如KalyanaC.Veluvolu等人在“Estimation of Physiological Tremor from Accelerometers forReal-Time Applications”,Sensors 2011,vol.11,pages 3020-3036中描述的BMFLC-Kalman滤波器,来对因自愿运动而造成的大信号进行分离。
在一些实施方式中,特征提取处理程序1514可以根据静态模型操作模式,从所提取的神经肌肉微运动数据中提取唯一特征。图18示出了单轴加速度计数据样本的时间系列的示例,其示出了基于所提取的神经肌肉微小运动数据的中心轴的交叉,该提取的神经肌肉微小运动数据是由预处理处理程序1510和信号滤波处理程序(hander)1512来生成和处理的。这些交叉可以是生理状态的指示,并且使用数学函数(诸如Barlow特征)来进行测量。Barlow特征通常用于EEG脑电图分析。Barlow特征是可以测量生理状态的存在的数百个潜在特征的一个示例。通过取沿着时间系列陀螺仪或加速度计数据的轴的离散差的平均值的绝对值,可以量化所测得的神经肌肉抖颤越过中心原点线(central line of origin)的全局趋势。可以单独地、或者与任何数量的其它特征和预处理技术组合地,将该测量结果用于训练静态机器学习模型。
在一些实施方式中,信号数据或者所提取的特征数据的比例可以根据电子装置的类型和结构、传感器组件的变化、信号的采样频率、用户与电子装置之间的接触类型等而不同。例如,信号数据或第一特征数据可以在1到10的标度上进行测量,而第二特征数据可以在1到1000的标度上进行测量。在这种情况下,可以对信号数据或特征数据执行标准化。换句话说,通过以数据为中心使得标准偏差为1并且平均值为0,可以将信号数据或特征数据制成正态分布。下面示出了用于标准化的简单数学表达式。
其中,μx是特定特征数据的样本均值,以及σx是标准偏差。
在一些实施方式中,可以根据静态模型分析器的处理组件的需要来执行归一化而不是标准化,并且可以使用归一化和标准化两者。另外,可以对传感器数据执行归一化或标准化,可以对特征数据执行归一化或标准化,或者可以对传感器数据或特征数据的全部或部分执行归一化或标准化。根据传感器数据或特征数据的特性,可以跳过归一化或标准化过程。
在一些实施方式中,可能需要减少大量数据的数量以提高系统的总体性能。初始步骤可以包括从所测得的数据的均值中减去各个数据值的步骤,以使其经验均值为零,并且数据的各个方差等于1。在该初始步骤之后,基于数据之间的相关性,可以找到高维数据中最大方差的方向,并且可以通过将数据投影到具有与原始尺寸相同或更小尺寸的新子空间中来减少数据的数量。简单的过程可以是对n维数据进行标准化,创建协方差矩阵,将其分解成特征向量和特征值,并且选择对应于最大特征值的特征向量来生成投影矩阵。在创建投影矩阵之后,为了减少n维数据的维数,可以对信号数据或特征数据执行通过投影矩阵的变换。上述这些处理可以将一组提取的与神经肌肉紧张度相关联的数据集转换成一组具有线性不相关特性的数据。
图19是电子装置500或电子装置401上的上下文情境特征提取器804的特征提取操作的流程图的示例。
在一些实施方式中,对于经预处理的数据,可以获得以下值或者来自一些处理的输出数据并且被用作特征向量。在一个实施方式中,对经预处理的数据,可以获得以下值,并且这些值可以被直接使用、被部分修改、或者它们的某一组合,以便用作特征向量。
●数学最大值、最小值、中值、差值
●统计均值、方差、标准方差、能量、熵
●相关性、过零率
●频域分析中的DC分量、谱峰、谱质心、谱带、谱能量、谱熵
●小波变换的小波系数
●多种类型的特征,以集中提取(focus extract)生理相关信息
●Hurst、熵、处于效率降低采样的Lyapunov散度、Hjorth、Barlow、EEMD、……
●上面通常用于ECG和EEG分析的特征
●具有特征的滤波器的组合影响
在一些实施方式中,可以从不同的人收集微运动数据并在实验室中进行分析。通过收集和分析来自诸如年龄、性别、地区、身体体格等的各种来源的数据,我们可以选择特征之间具有低相关性的特征。
图20示出了根据一些实施方式的特征向量集的示例。基于对图3所示的各种类型的运动分类特征的分析,也可以在实验室中选择这些特征。可以根据所收集的信号的用途来不同地配置特征向量集。例如,被用于认证的一组特征和用于姿势估计或活动信息估计的一组特征可以部分重叠,但是可以被不同地配置。
图21示出了根据一些实施方式的用于生理状态的特征向量集的示例。基于对实验室中各种类型的实验结果的分析,也可以在实验室中选择特征。可以根据生理状态不同地配置特征向量集。被用于各个生理状态的一组特征或特征的权重值可以进行部分重叠或不同地配置。
图21中的上述特征向量示范了根据一些实施方式的具有对应生理状态的复选标记(checkmark)的相关特征。针对活动性确定,包含高信息的特征可以是Barlow活动。该特征能够向机器学习算法提供关于静态模型分析器806中的时间系列加速度计或陀螺仪读数的过零点总和的信息。当与影响诸如Barlow活动的特征的值的许多机械地或非人类生成的信号相比时,神经肌肉信号具有不太一致的过零点和较大量值的过零点。该定量特征值可以贡献用于帮助通过机器学习分类器进行活动性确定的信息。
包含用于帮助对血糖水平进行分类确定的信息的特征的单独示例可以是平均频带功率。平均频带功率特征包含关于时间系列信号的某些频带中包含的功率的信息。该特征在基于受用户血糖水平影响的某些频带中可以更高或更低。该特征的值可以在静态模型分析器806中,由机器学习算法用于确定低血糖的存在或者低血糖的生理状态存在的程度。
当利用静态模型分析器806中的机器学习算法确定应激激素的存在或者应激激素存在的程度时,组合使用多种特征可能是有用的。在机器学习算法的训练中可以使用更多的特征,来帮助区分神经肌肉信号中应激激素的存在与应激激素可能升高的生理状态,诸如低血糖或睡眠剥夺。被包含在平均频带功率特征、LD度量、基于熵的特征、以及Barlow活动和移动性中的信息可以对机器学习算法进行训练,以更准确地识别应激激素的存在,并且提供来自也可能存在应激激素的其它生理状态(比如低血糖)的唯一确定。
图22示出了作为本公开中的示例之一的可以区分人类与非人类的发散特征分布。该图示出了横跨9个人计算出的一个特征的分布,以及从加速度计数据计算出的来自非人类(静态)记录的同一特征的分布。将加速度计数据过滤到10赫兹与15赫兹之间的频率,其处于人类生理神经肌肉紧张度的频谱中。该分布示出了所述特征的值如何横跨每人大约100个记录改变,并且可以容易地将非人类信号与人类信号区分开。该特征可以与根据同一信号计算出的其它特征相组合,以进一步区分人类信号与非人类信号。特征的选择或组合可以在生理状态的类型上改变。清楚地描述生理状态的特征或它们的组合可以在实验室中的适当实验之后加以确定,并且这些实验结果可以被直接或间接地存储在所述装置上,作为静态模型操作模式的约束集。约束集也可以通过网络下载或者更新到所述装置中。
在一些实施方式中,可以应用熵特征分析,以便对用户的生理状态执行静态模型处理,所述生理状态包括活动性、血糖水平、应激激素水平、药物的存在、标识符等。熵是被用于预测或测量上述生理状态中的一个或更多个生理状态的候选特征类。它是被用于量化时间系列传感器数据样本的可预测性或信息内容的非线性特征。Kolmogorov、近似、Shannon以及样本熵都是被用于量化诸如加速度计或陀螺仪数据的时间系列样本的复杂性的不同方法。被用于量化生理状态的熵特征的一个实现涉及将时间系列数据样本分成“N”个等长节段。然后对各个节段执行的计算基于实验导出的距离度量阈值将各个节段的相似性或距离与所有其它节段进行比较。各个节段接收与节段总数中多少个节段相似的得分,并且计算各个比例的对数的平均值。然后对长度增加的节段进行相同的计算。该熵值量化了信号是如何重复的。生理信号(诸如神经肌肉抖颤和运动)包含非线性的、非重复的以及复杂的模式,这些模式是跨时间来表示它们自己的。机械地产生的时间系列信号、或者来自非生物系统的信号,将具有比受人类生理影响的信号更低的熵值。已知睡眠剥夺会影响神经肌肉抖颤,并且其程度可使用熵分析来进行量化。
图23示出熵特征分析的时间系列信号。在图23中,左侧的时间系列信号具有比右侧的时间系列信号低的熵。使用所描述的这种特征,可以在被用于训练机器学习静态模型的N维特征子空间中量化和表示生理状态。可以将该静态机器学习模型用于确定上述生理状态中的任一生理状态的存在或不存在,和/或上述状态中的任一状态存在于时间系列传感器数据样本中的程度或概率。
在一些实施方式中,可以应用特征分析,以便对用户的生理状态执行静态模型处理,所述生理状态包括活动性、血糖水平、应激激素水平、药物的存在、标识符等。频率分析是被用于测量或预测上述生理状态中的一个或更多个生理状态的特征类。属于该类的特征的一个示例是平均频带功率特征。可以将平均频带功率特征用于确定诸如低血糖的生理状态的存在。例如,当存在低血糖时,存在的信号的振幅可以在加速度计或陀螺仪时间系列数据中增加。这种振幅的增加很可能存在于与人体生理相关的特定频带中,并且可以利用平均频带功率特征来进行测量。
图24示出了陀螺仪x轴低平均频带功率原始信号的曲线图。上面的图示出了橙色信号(可以表示低血糖的生理状态的信号)如何不同于没有低血糖的信号。在低血糖的生理状态下,特定频带中的平均频带功率将更高。
图25示出了根据生理状态的数据集的示例,图26分别示出了根据所关注的生理特征的数据集的示例。可以在实验室中确定根据生理状态或生理特征的数据集,并且还可以通过网络在电子装置401、500中更新这些数据集。在开始静态模型处理之前或者当静态模型处理开始时,电子装置401、500可以根据应用利用上述数据集中的至少一个数据集来配置静态模型处理系统800。
(3)静态模型分析器806
图27是根据一个实施方式的静态模型分析器806、2700的框图。静态模型分析器806、2700可以包括:分类器引擎2740、训练接口2710、静态模型运行接口2720以及调谐接口2730。分类器引擎2740可以包括:训练引擎2741、静态模型运行引擎2742、调谐引擎2743以及分类器内核2744。
图28是电子装置401或电子装置500上的静态模型分析器806、2700的训练模式操作的流程图的示例。
静态模型分析器806、2700可以在实验室中以训练模式进行操作,以根据生理状态构建静态模型参数。电子装置401、500可以在实验室中进入该训练模式,以构建用于生理状态的静态模型的将来使用的一些参数。在一些实施方式中,构建一些静态模型参数可以不在用户装置上执行,而是也可以在一些实验室电子装置上执行。在大多数情况下,除了更新或修改静态模型的参数之外,用户的电子装置401、500不一定需要进入训练模式。可以将图26或图27用于构建一些静态模型参数。
当以训练模式操作时,可以收集由上下文情境特征提取器804、1500提取的经授权用户的特征数据2750。所收集的特征数据可以通过训练接口2701传送至分类器引擎2740的训练引擎2741以进行处理。在这种情况下,用户的特征数据2750可以由各种数据处理算法或机器学习算法通过训练引擎2741和分类器内核2744的协作操作来进行处理,以确定静态模型的参数。
为了提高静态模型的准确度或性能,可以将所提取的特征数据划分并处理成用户的特征数据2750、验证特征数据2752以及测试特征数据2754。可以将用户的特征数据2750用于训练以确定静态模型的参数。可以将证实特征数据2752用于在评估静态模型以选择最优模型之前在训练模式期间改进模型的性能或准确度。例如,可以将证实特征数据2752用于在训练模式期间调谐学习速率或者执行证实同时评估模型的性能。可以将测试特征数据2754用于评估最终模型,而不是用于选择模型。噪声特征数据2758可以是通过噪声收集处理生成的特征数据的类型。例如,噪声特征数据2758可以从在这样的环境中收集的信号中提取,即,在该环境中存在除了与神经肌肉紧张度相关联的微运动以外的其它大量分量,诸如在电子装置周围存在大的移动或大的振动。景观特征数据2758可以是从不同的人收集的特征数据和在实验室中执行的特征提取。可以将所提取的景观特征数据以一些集合存储在电子装置的存储装置中,并且用于提高静态模型的性能。
图29是电子装置401或电子装置500上的静态模型分析器806、2700的静态模型运行模式操作的流程图的示例。
静态模型分析器806、2700可以在静态模型运行(ruining)模式下操作。在电子装置401、500以静态模型运行模式操作之前,该电子装置401、500已经以训练模式进行了操作,以使已经配置了用于用户的生理状态的特征数据集的模型的参数。当已经生成关于静态模型的信息时,分类器2740的静态模型运行引擎2742可以通过用于用户的新特征数据2750的静态模型接口2720来与分类器内核2744协作地操作。基于先前生成的静态模型,分类器内核2744可以对最近提取的特征数据执行操作,以生成先前经授权用户的生理状态的数字程度(numerical degree)。
(4)静态模型应用框架808
图30示出了根据一个实施方式的静态模型应用框架808的框图。在一些实施方式中,静态模型应用框架808可以提供用于使用静态模型分析器806的输出来启用各种应用。静态模型应用框架808可以包括用于对包括用户的生理状态的上下文情境执行静态模型处理的输出状态机。静态模型应用框架808可以提供关于用户的生理状态的应用编程接口(API),该生理状态包括活动性、血糖水平、应激激素水平、药物的存在、标识符等。
在一些实施方式中,静态模型应用框架808可以使用用户的与包括该用户的生理状态的上下文情境相关联的所提取的特征数据。可以由上下文情境特征提取器804获取用户的特征数据,并且可以将它们存储在电子装置的安全存储装置中。为了实现个人生物特征信息的更高级别的安全性,静态模型应用框架808可以临时使用与用户的生理状态相关联的特征数据,然后在使用这些特征数据之后丢弃它们。
图31示出了情境静态模型的装置类型的示例。静态模型可以以硬件实现、以软件实现、或者以硬件和软件的组合来实现。静态模型可以采用在微控制器中执行的软件库的形式。静态模型的一些组件可以在SoC内部以加速器的形式来实现。静态模型也可以如图31中那样以独立芯片组(或ASIC)的形式完全实现,但是静态模型的实现形式不限于当前示例。
静态模型处理系统用于活动性的应用示例
对网站和装置的欺诈性访问是网络世界中的安装问题。黑客、网络罪犯甚至民族国家(nation state)不断推动寻找脆弱性以利用财政、政治以及其它收益的网络。这些罪犯通过破解云中的存储库;通过利用计算机机器人、以及通过使用伪造的登录凭证,来获得对私人/机密账户的访问。越来越多执行AI(人工智能)的出现增加了额外的威胁:这将阻碍已经访问某人的全数字并认证踪迹的所有“已知”的AI机器人,从而以数字方式假冒该同一人。处置机器人和伪造尝试以损害安全位置的一种方法是增加登录凭证和认证技术。可以加强认证努力的一种方式是通过将认证请求与辅助认证输入(多因素认证)相联接,和/或通过添加“活动性”凭证来证实认证请求是由有生命的请求者作出的而不是由机器人或伪造的无生命数据作出的。诸如CAPTCHA等的当前“活动性”确定技术的目标是确定人是否正在参与在线交易而不是垃圾邮件。CAPTCHA在在线世界中普遍使用,并且当请求访问网站时,在桌面计算中经常被看到。所提出的是一种利用“活动性”指示符来补充任何认证方法的方法,该活动性指示符验证采用许多认证方法中的任一认证方法的用户是生理上有活动的、有生命/有呼吸的个体。下面描述的方法给出了有生命的人(而不是机器人或AI)正在提供认证信息的证明。个体的标识可以是认证方法的功能。这是重要的,因为这意味着与准确度必须高于95%(并且希望更接近100%)的认证技术不同,证明活动性的方法的目标实际上是二元的:有生命的或无生命的?
这在许多情境下是有价值的。该新颖方法可以在用户完成表单(form)时使用可以从手持式移动装置中普遍存在的嵌入式传感器被动地收集的数据,而不需要用户方面的附加动作。
当在移动装置上请求访问网站时,可以在后台收集来自该装置的传感器数据。在加速度计、陀螺仪、以及其它传感器数据流中,与装置的接触和交互将是明显的。传感器数据的一个分量与由身体的本体感受系统产生的神经肌肉紧张度相关联,其中大脑持续地与周围神经进行通信,以评定身体在环境中的位置。也可以使用其它生理生物特征参数(即,ECG、EEG、HVR、心音等),来提供活动性指示符,然而,这些参数将需要额外的硬件来收集这些信号。提取神经肌肉数据是一种不可见的处理,只要用户握着手机,该过处理就容易从由手机正收集的加速度计数据中进行收集。可以远程地或者在所述装置上处理该数据以确定人是否存在。可以将神经网络或者其它机器学习方法用于确定存在的信号是否是唯一的人。如果该结果是肯定的,则用户将继续提交该表单,或获得对站点的访问,而无需任何附加信息。如果该结果是否定的,则可以使用传统的CAPTCHA或OTP作为第二级认证请求,或者可以请求用户再次握住装置。
一种替代实现使用上述方法与外部验证的组合,其中,用户经由文本或手机呼叫来接收提示并且被告知将其装置握在手中,同时从其装置收集传感器数据。
赞成:
■完全新颖的方法没有现有的规避方法
■无需用户额外努力
■针对移动网站上的改进的用户体验而独特地设计
■预期机器学习的轨迹,其中,生物特征可能是确定人是否出现在不会易受黑客攻击的数字交易中的唯一可行方法。
反对:
■未探索的领域
■在台式机背景下,加速度计必须被添加至鼠标器或触摸板接口以提供微运动数据。
■装置硬件变化
■客户很可能需要额外的API。
图32描绘了根据一些实施方式的用于电子装置401或电子装置500上的活动性生理状态的静态模型处理系统的示例。电子装置可以在感测3211步骤中,由输入数据处理程序802感测来自电子装置外部的信号,例如,来自用户身体的身体部位的移动信号数据。电子装置可以在预处理3212步骤中,由上下文情境特征提取器804对从输入数据处理程序802收集的信号执行预处理,例如,抑制与用户的自愿移动相关联的信号分量、噪声、传感器误差、重力、电子功率噪声以及其它噪声相关信号,并且生成与神经肌肉紧张度相关联的数据集。电子装置可以在特征提取3213步骤中,由上下文情境特征提取器804从经预处理的信号中执行特征提取,例如,通过生成关于用户的上下文情境(例如,活动性状态)的数学表示的数据集来提取特征向量集。电子装置可以在学习3214步骤中,由静态模型分析器806通过计算静态模型的参数并且评估各个静态模型,来使用特征向量集来执行训练操作。电子装置可以在预测3215步骤中,由静态模型分析器806通过配置用于各个预定静态模型的模型参数集并且生成先前经授权用户的匹配水平的数字程度,来执行静态模型运行操作。电子装置可以在决定3216步骤中,由通过静态模型应用框架808响应于生理状态的数字程度,来确定用户对电子装置的访问。
图33是用于电子装置401或电子装置500上的活动性的静态模型操作的流程图的示例。电子装置401,500可以将静态模型操作模式配置为用户的活动性约束;加载包括用户的上下文情境(例如,生理状态)的约束集的静态模型操作模式的信息;根据静态模型操作模式来配置静态模型参数集;在预定采样时段内以预定采样频率,从用户的身体的身体部位收集包含神经肌肉紧张度的传感器信号数据;根据传感器数据来抑制与用户的自愿移动相关联的信号分量;基于静态模型操作模式,根据与自愿移动相关联的经传感器数据抑制的信号分量,来生成关于用户的上下文情境(例如,生理状态)的数学表示的数据集;基于数学表示的数据集,来构造包含多个特征向量集的特征向量表;根据静态模型操作模式,使用特征向量表来执行静态模型;以及基于静态模型的执行结果来生成关于活动性的上下文情境(例如,生理状态)的报告信息。
图34A描绘了使用活动性生理状态创建新帐户操作的示例。当用户希望在移动网站或移动应用上创建新帐户时,用户的电子装置可以发送请求消息以访问提供创建新帐户的界面的网站,服务器侧的电子装置可以基于用户的电子装置的请求来发送提供用于创建新帐户的用户界面的web文档。基于用户通过web文档的输入,用户的电子装置和服务器侧的电子装置可以交换信息以继续创建帐户过程。用户进入他们想要创建账户的网站,并且立即通过处理活动性生理状态的静态模型,装置上的传感器开始收集背景中的信息[由网站启动]。当用户填入所需的信息以创建帐户时,传感器被动地收集具有或不具有用户知识的信息。当用户完成所有字段并提交信息以创建帐户时,将根据被动收集的数据进行活动性确定。这种活动性确定将决定在被动收集的数据中是否存在人的生理信号。在这种使用情况下,被动收集的数据来自用户的移动装置中的加速度计、陀螺仪以及磁力计。可以从该传感器数据中检测心冲击(Ballistocardiograph)(心跳)以及肢体中的神经肌肉紧张度。如果信号被确定为包含这些生理信号,则用户将被确定为有生命的并且是人,从而被允许在网站或应用上创建帐户。
图34B描绘了使用活动性生理状态访问个人健康记录的示例。当用户希望访问包含其个人健康记录的数据库时,用户的电子装置可以发送请求消息以访问提供包含个人健康记录的数据库的界面的网站,然后服务器侧的电子装置可以基于用户的电子装置的请求来发送提供用于访问个人健康记录的用户界面的web文档。基于用户通过web文档的输入,用户的电子装置和服务器侧的电子装置可以交换信息以继续得登录过程。当输入其已建立的登录凭证时,将执行活动性确定,以确保人通过处理活动性生理状态的静态模型来执行该动作。在提交其登录凭证之后,但在获得对其健康记录的访问之前,可以请求用户使用其想要访问健康记录的装置上的心率传感器。如果从心率传感器收集到的信号被确定为包含人的生理信号,则将计算从该传感器收集到的信息,并且活动性确定将允许用户访问他们的健康记录。
任何认证技术(尤其是基于图像的方法将受益于自动执行的活动性验证)当用户正在试图访问网站或装置时对该用户是不可见的。作为示例,用户想要访问他们的在线银行web门户,并且在他们打开应用并继续提供用户名和密码-或者将他们的手指放在指纹传感器上时,手机同时进行捕获由该手机中的加速度计连续收集到的神经机械微运动数据,并且连同认证输入一起提供活动性验证。
对活动性生理状态进行静态模型处理可以与另一抽象认证参数(即,密码,PIN码、OTP等)或者与另一基于行为的“活动性”参数(即,CAPTCHA挑战、运动清单、语音命令、滑动模式(swipe pattern)等)联接。用于静态模型的认证样本可以是多个基于图像的物理特征或者其它认证技术中的任一者,以使包括:指纹、手印、虹膜扫描、面部识别、面部静脉等。
静态模型处理可以通过以下方式自动地满足活动性评定:通过组合表示任何数量的生理功能的信号(经由常规模态在认证请求期间从用户接收到的信息);通过对生理数据进行采样,同时使用另一认证模态(即,密码/PIN输入、语音命令、面部识别、手印分析、虹膜扫描、行为清单等)获取认证样本;通过对生理数据进行评定以确定其是否与已知生理功能一致;或者通过随后转发存在生理过程的确定以满足要与正被收集的认证样本组合的活动性评定。
利用年龄分段来防止未成年人驾驶和吸电子烟(vaping)
神经分接接口和平台允许捕获源自神经系统并由神经肌肉接点中继的信号。那些信号本质上是电子的,但是可以使用配备有微机电系统(MEMS)传感器的装置通过该信号对肌肉细胞的微机械作用而容易地捕获。这样的装置将包括:智能手机、平板电脑以及任何芯片上系统(SoC)系统。源自神经系统的信号在整个人体中普遍存在,并且只要在人体与装置之间存在接触,就可以使用配备有适当传感器的装置在几乎任何地方获取。如果配备有SoC和MEMS,那么这种装置将包括电子烟系统。
假定人工智能(AI)代码可以是完全无云的,它允许公司构建可以使用非常便宜的电子芯片(例如像微控制器一样)来训练的产品,或者嵌入可以回答/推断一些定义明确的问题的经完全训练的AI代码。
由于其报道的对神经肌肉功能的影响而可能明显的一些问题是年龄以及一些神经肌肉接点影响者,例如像尼古丁。已知心率变异性(HRV)(反映自主神经系统平衡)在人类的18岁或18岁左右显示截止。已知神经肌肉接点处的神经传输依赖于尼古丁受体。
以前为年龄分段(或家长控制)应用形成了概念证明(POC)。年龄分段应用的AI代码使用智能手机进行数据捕获和推断。实现(AI代码)的信号处理和数据提取技术不是基于经典的“统计大数据AI”。根据代码版本和实现,这种POC可以具有介于87%到94%之间的有效性(准确度)。94%的有效性(准确性)对于基于人神经系统的年龄分段(或家长控制)AI代码最可能是该技术的绝对限制,这是因为在神经肌肉接点的水平上很可能存在与年龄相关的信息内容的限制。
虽然这种年龄段应用可以形成一类新的电子烟装置的基础,但是这类电子烟装置将显著地减少未成年人吸电子烟及其所有潜在的不良健康影响,而且还减少其法律和留下烙印(branding)的后果。然而,优选获得更有效且更准确的技术,接近“99%”的有效性/准确度。为此,我们可以使用不同数据类型的融合以使更准确。个体、非个人可识别信息(PII)标记可以被用于在销售点检查购买者的年龄,诸如结帐登记器(Register)、信用卡机、具有近场通信的无线非接触式支付终端、或者其它销售点终端。
图35A例示了使用静态人工智能模型来使年龄分段(家长控制)的实现通过/失败的流程图。如果购买者/用户未成年,则他被阻止(无法)购买或销售。如果购买者成年(大于相等),则不阻止(通过)购买或销售。
存在生理标记物的问题可以容易地通过从同龄组的志愿者收集的受约束数据集来解决。该约束可以是激素状态、性别、肌肉僵硬、年龄等。这种约束是生理状况(condition)。具有这样的数据,可以训练AI模型并且可以构建推断引擎以解决该生理状况。可以将程序代码和框架用于在诸如微控制器或芯片上系统(SoC)的芯片组上部署经预训练的AI。
在这个实现中,可以将推断结果用于基于年龄限制,相对于任何家长控制系统在任何SW或HW决定点上控制电子烟装置中的点火开关。它是通过/失败模型。
将经预训练的AI(上下文相关生理数据集,这里上下文=年龄)嵌入电子烟装置中的SoC内部。SoC是具有允许进行数据捕获、提取相关信息(特征函数)的处理以及推断的适当传感器的便宜芯片组。可以将推断步骤的结果用于通过/失败实现或者通过/检查(pass/check)实现。
在通过/失败中,将推断结果用于控制所述装置的点火开关。AI的准确度可以在某一较高水平(比如94%至95%)上提高,并且虽然这是比实际存在的任何其它家长控制更好的方式,但是它为某些误报(false positive)和漏报(false negative)留下了空间。
希望达到接近完美的解决方案-能够达到99%的准确度。由于没有数学,并且没有AI代码能够一直自己达到这个目的,因此,使用附加的AI代码来允许将二次推断(称为标签(TAG))融合在一起,并且在系统中以使得以尽可能高的信任度使违规行为极不可能发生的方式来实现。这实现了通过/检查系统而不是通过/失败系统。
图35B示出了年龄分段的客户端服务器实现以及在客户端和服务器各自中的处理。该处理在可信任销售人员的监督下利用在任何装置的销售点执行的2次检查。应理解,某些形式的控制是根据禁止向未成年人销售电子烟的法律法规来实施的。截止年龄可以根据情况在18岁、21岁或26岁之间改变,但是所融合的数据实现保持相同,而对于各个不同的年龄限制具有模型的自适应推断。
这意味着电子烟装置(或任何其它装置)是以锁定状态(经由其固件)装运的,并且在所述销售完成时将必须利用基于神经信号的年龄分段人工智能来进行解锁/激活。在销售点(POS)处,
基于神经系统的年龄分段解决方案将手动年龄验证(购物(carting))与标签组合,该标签是用户特定的但不能导致用户识别-维护用户的隐私。在任何时候,装置都不收集任何PII。数据库中消费者的标识(ID)与标签之间的链接可以进行也可以不进行。这样的链接对于工作解决方案不是必需的。
这结合销售点(POS)处的一些动作来使用该技术的两个应用。这使得符合各个国家特定的最终法律(或法规)要求。
在POS处,具有2个步骤
-购物/ID检查。根据要求(18岁、21岁、26岁),验证购买者的ID并将其存储在卖方数据库中。
-标记。特定装置(serial#)完全不起作用,而是需要在销售之后激活。
-在卖方监督下以3个步骤的过程进行标记
○步骤1-购买者单手握住装置持续30秒钟至60秒钟的时段。
○步骤2-在该步骤之后,SoC提取标签(小于1秒钟)。
(标签=3个数字向量)
○步骤3-当标签完成时-启用装置的功能。
标签是降级的推断,其提取几个适当选择的特征,诸如三个特征。这种标签是3个数字向量加上一些其它参数。这些参数反映了将来的用户,但是它们自己不能允许识别所述用户。这是由于与那特征相联系的标准偏差,但是也与那些特征本身的性质(即,他们的生理和使用特定信息内容)相联系。
但是这个标签可以极好地用作检查和决定点机制,以提高年龄段技术的全局准确度。标签使得所述装置相当个人化,而不违反GDPR。
通过将年龄段与标签的使用相结合,在POS处进行控制,并且在滥用的情况下增加摩擦(friction),可以实现具有非常高准确度的任何电子烟装置(或者任何装置或家长控制系统)的无云、无摩擦的AI实现的基于年龄的控制,由此减轻监管和留下烙印的风险。
图36例示了基于神经信息的人工智能的基于年龄的应用的另一应用。图2示出了用于车辆的受年龄控制的点火控制功能的工作流程。以这种方式,年龄限制以下的儿童将不能启动车辆来操作它。
该解决方案可以在具有或不具有2个微型LED的情况下实现,该微型LED可以报告2个不同推断(红色/绿色)的结果。该解决方案要求卖方具有与装置的固件交互的方式,这理想地经由所述装置与被提供给POS终端的某一其它装置之间的连接来实现。
在ID检查和购物之后,装置开关“打开”
>用户将装置握在手中
>获取的NON-PII神经数据
>激活年龄段和标记代码并给出结果(2个LED)。
>根据各个引擎的单独通过/失败,可以获得>4种情形。
四种情况可以发生如下:
A.年龄(+)通过-标签通过(+)=>装置SoC允许进行点火。
年龄高于法定限制的情况就是如此,并且标签落入适当的参数内。因此,用户成年并且落在他/她应当所处的范围内。
B.年龄(-)失败-标签通过(+)=>装置SoC允许进行点火但要计数
-如果这种情形重复[MAX 3X],则装置SoC锁定。
-转到POS进行检查-卖方验证年龄是否合法,如果重复确认(第4次),则年龄严格性降低。这将处理漏报情况。即,如果用户确实成年,那么该年龄段仍然会偶尔失效。卖方(经由连接)将用户的特殊适配放入装置固件中。
C.年龄(-)失败-标签失败(-)=>装置SoC锁定持续x分钟(例如,x=3分钟)
-在x分钟后,如果是重复的结果,则装置SoC永久地锁定。
-然后,该装置只能在POS处通过该POS的合法拥有者按照数据库重新激活。
这将处理滥用的使用,就像所述装置由成人购买并被提供给未成年人使用。显然,这个人太年轻,而且装置标签也远离这个人。
D.年龄(+)通过-标签失败(-)=>装置SoC允许进行点火并且计数
-如果情形本身重复3X,则装置SoC锁定。这将处理误报情况。
-当另一成人用户(非购买者)使用该装置时情况也是如此。它将只允许该3X(当然,这可以根据某些商业需要来修改)。
-在最大次数之后,必须转到POS进行解锁。
原则:
-经由标记实现装置个性化,
-在POS处检查,以及
-使用“惩罚性”摩擦。
标记可在90%有效(其不允许识别,但最大重叠(参见图5)为7%至8%),当与在90%有效的年龄分段组合时,当两个过程融合并一起使用时的累积错误率为1%或低于1%,诸如可以希望解锁车辆的点火。
图37是提供用于提供针对尼古丁滥用的副作用保护的附加AI的流程图。
利用电子烟装置内部SoC的能力,可以针对负面的副作用,来监测某些药物/产品/药剂对神经肌肉接点的影响。
尼古丁是可以被监测的药物的一种明显选择,从而可能定位和留下烙印的电子烟技术来作为帮助戒烟的方式。这样的影响当然需要上下文特定的数据集,该数据集是要必须被收集的(在各种尼古丁剂量下2,000个用户),以便训练该附加的静态AI模型,其目的是在几个尼古丁使用阈值下推断尼古丁。这是电子烟技术的安全特征,其仅允许在安全水平(或某些限定的尼古丁水平)下点火。这是经软件驱动的开关。
该装置可以配备有第三静态AI模型,该第三静态AI模型预先训练有神经肌肉一般剂量反应曲线。推断可以在电子烟装置使用期间以规则的时间间隔触发,或者可以被用作点火的附加条件(这将作为产品选择)。
现在,参照图38A,可以将基于神经学的AI技术嵌入手机或者任何HW/SW SoC装置中,以形成家长控制装置。
图38B例示了具有芯片上系统和用于提供年龄分段的人工智能的电子烟雾化器(vaporizer)。
图39例示了表示经融合的数据的气泡三维图,所述经融合的数据之一是通过标记来提高准确度并减少误差的标签。将三个数字作为向量被组合到用户的单个气泡标绘图中。所标绘的各个气泡表示不同的人,对于该人,3个数字(来自3个不同的AI函数)被提取30至60次并融合在一起。将重复的测试一起平均,并且表示为图39中的3-D空间中的点。圆(气泡)的直径表示对用户的测试的一些统计分散(SD和其它)。
计算这些重复所需的数据是在30秒钟到60秒钟的时段期间在POS终端取得的,在此期间要求购买者单手握住装置。提取和平均的计算时间约为20毫秒(msec),然后,将该向量存储在装置存储器上(或者可以经由连接输出至用户DB)。
图39例示了建立在从神经标记数据中提取的3个不同关键特征上的3-D向量空间。各个点(气泡)表示来自同一个体的数据的30至60次扫描的平均值。这些平均值被表示在球体的中心,该球体的半径是标准偏差(SD)。利用移动手机收集来自560个不同用户的数据(图形不完整,一些用户超出了轴刻度范围)。任2个个体之间的气泡的累积重叠区域小于11%。
结论
当以软件实现时,实施方式的要素实质上是可以由一个或更多个处理器执行以执行和实行任务并提供功能的指令的代码段。该程序或代码段可以被存储在处理器可读介质或存储装置中,该处理器可读介质或存储装置联接至所述一个或更多个处理器或至少与所述一个或更多个处理器通信。该处理器可读介质可以包括可以存储信息的任何介质或存储装置。处理器可读介质的示例包括但不限于,电子电路、半导体存储器装置、只读存储器(ROM)、闪速存储器、可擦除可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘、或固态驱动器。该程序或代码段可以例如通过诸如互联网、内联网等的计算机网络在存储装置之间下载或传输。
虽然本说明书包括许多具体细节,但是这些不应被解释为对本公开的范围或可以要求保护的范围的限制,而相反应被解释为对本公开的特定实现所特有的特征的描述。本说明书中在单独的实现的背景下描述的某些特征还可以在单个实现中组合实现。相反地,在单个实现的背景下描述的各种特征还可以单独地或者以子组合在多个实现中实现。此外,尽管上面将特征描述为以某些组合起作用,甚至同样一开始就要求加以保护,但是来自要求保护的组合的一个或更多个特征在某些情况下可以从该组合除去,并且该要求保护的组合可以被指向子组合或子组合的变型例。
因此,虽然在附图中特别地描述和示出了某些示例性实施方式,但是它们不应被解释为受这些实施方式的限制,而是根据所附的权利要求来解释。

Claims (53)

1.一种方法,所述方法包括以下步骤:
生成与多个预定约束相关联的多个受约束数据集,所述多个预定约束与多个预定生理状况相联系;
基于多个预定生理状况来构建多个独立静态模型,其中,各个独立静态模型与特定约束相联系;
将所述多个独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述多个独立静态模型相联系的传感器数据的传感器;
基于从用户感测到的所述传感器数据,由所述用户经由用户界面执行所述多个独立静态模型中的一个或更多个独立静态模型;以及
经由与所述多个独立静态模型中的所述一个或更多个独立静态模型的执行相关联的所述用户界面,来向所述用户提供一个或更多个结果(推断),其中,所述一个或更多个结果反映所述用户的一个或更多个生理状况。
2.根据权利要求1所述的方法,所述方法还包括以下步骤:
直到与所述用户的下一执行会话,才终止所述多个独立静态模型中的所述一个或更多个独立静态模型的执行。
3.一种方法,所述方法包括以下步骤:
生成与预定约束相关联的受约束数据集,所述预定约束与预定生理状况相联系;
基于所述预定生理状况来构建独立静态模型,其中,各个独立静态模型与特定约束相联系;
将所述多个独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述多个独立静态模型相联系的传感器数据的传感器;
基于从用户感测到的所述传感器数据,由所述用户经由用户界面执行所述多个独立静态模型中的一个或更多个独立静态模型;以及
经由与所述多个独立静态模型中的所述一个或更多个独立静态模型的执行相关联的所述用户界面,来向所述用户提供一个或更多个结果(推断),其中,所述一个或更多个结果反映所述用户的一个或更多个生理状况。
4.根据权利要求3所述的方法,所述方法还包括以下步骤:
直到与所述用户的下一执行会话,才终止所述多个独立静态模型中的所述一个或更多个独立静态模型的执行。
5.根据权利要求3所述的方法,其中,所述预定生理状况/状态是所述用户的年龄,并且所述受约束数据集与所述用户的年龄范围相关联。
6.根据权利要求3所述的方法,其中,所述预定生理特征状态是所述用户的年龄,并且所述受约束数据集与所述用户的年龄截止/边界状况相关联。
7.根据权利要求3所述的方法,其中,所述受约束数据集与所述用户的性别相关联。
8.根据权利要求3所述的方法,其中,所述受约束数据集与所述用户的注意力状态(醒着/睡眠/疲乏)相关联。
9.根据权利要求3所述的方法,其中,所述受约束数据集与女性用户的排卵状态相关联。
10.根据权利要求3所述的方法,其中,所述受约束数据集与女性用户的妊娠状态相关联。
11.根据权利要求3所述的方法,其中,所述受约束数据集与所述用户的(参见图25)相关联。
12.根据权利要求3所述的方法,其中,所述受约束数据集与所述用户的右利手或左利手相关联。
13.根据权利要求3所述的方法,其中,所述受约束数据集与所述用户的活动性特征相关联,以区别于机器人或机器。
14.一种方法,所述方法包括以下步骤:
确定(形成)与多个预定约束相关联的多个受约束数据集,所述多个预定约束与多个预定生理状况相联系;
基于所述多个受约束数据集和所述多个预定生理状况来形成多个独立静态模型,其中,各个独立静态模型与特定约束相联系;以及
将所述多个独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述多个独立静态模型相联系的传感器数据的传感器。
15.根据权利要求14所述的方法,所述方法还包括以下步骤:
在所述安装之前,
基于所述多个预定生理状况,从传感器数据生成数学表示的多个数据集;
对于所述多个独立静态模型中的各个独立静态模型,使用所述多个数据集来执行训练操作;以及
确定所述多个独立静态模型(预定预测模型)中的各个独立静态模型的模型参数集。
16.根据权利要求15所述的方法,所述方法还包括以下步骤:
在预定采样时段内以预定采样频率,从用户身体的身体部位收集包含神经肌肉紧张度的传感器数据;以及
根据所述传感器数据来抑制与所述用户的一个或更多个自愿移动相关联的信号分量。
17.根据权利要求15所述的方法,所述方法还包括以下步骤:
基于所述多个数据集的所述数学表示,来将所述多个数据集划分成用户特征向量集、证实特征向量集以及测试特征向量集;以及
使用所述证实特征向量集对所述多个独立静态模型中的各个独立静态模型进行评估,以证实所述多个独立静态模型中的各个独立静态模型;以及
使用所述测试特征向量集对所述多个独立静态模型中的各个独立静态模型进行测试,以确定所述多个独立静态模型中的各个独立静态模型的准确度。
18.根据权利要求15所述的方法,其中,所述数学表示是使用Barlow活动特征、Barlow移动性特征以及Barlow复杂性特征中的至少一个而形成的特征。
19.根据权利要求15所述的方法,所述方法还包括以下步骤:
在执行所述训练之前,
接收景观(其他用户-全局用户)特征向量集和噪声特征向量集;
其中,所述训练是使用所述景观特征向量集和所述噪声特征向量集来执行的。
20.一种方法,所述方法包括以下步骤:
生成与多个预定约束相关联的多个受约束数据集,所述多个预定约束与多个预定生理状况相联系;
基于多个预定生理状况,接收包括模型结构和模型参数的多个独立静态模型,其中,各个独立静态模型与特定约束相联系;
利用处理器以及联接至所述处理器的用于从用户收集传感器数据的传感器,基于从所述用户感测到的所述传感器数据,经由用户界面执行所述多个独立静态模型中的一个或更多个独立静态模型;以及
经由与所述多个独立静态模型中的所述一个或更多个独立静态模型的执行相关联的所述用户界面,来向所述用户提供一个或更多个结果(推断),其中,所述一个或更多个结果反映所述用户的一个或更多个生理状况。
21.根据权利要求20所述的方法,所述方法还包括以下步骤:
基于所述多个预定生理状况,从所述传感器数据生成数学表示的多个数据集。
22.根据权利要求21所述的方法,所述方法还包括以下步骤:
在预定采样时段内以预定采样频率,从用户身体的身体部位收集包含神经肌肉紧张度的传感器数据;以及
根据所述传感器数据来抑制与所述用户的一个或更多个自愿移动相关联的信号分量。
23.根据权利要求21所述的方法,其中,
所述数学表示是使用Barlow活动特征、Barlow移动性特征以及Barlow复杂性特征中的至少一个而形成的特征。
24.根据权利要求21所述的方法,所述方法还包括以下步骤:
更新(调谐)所述多个独立静态模型的所述模型参数。
25.根据权利要求24所述的方法,所述方法还包括以下步骤:
在所述更新之前,确定针对所述多个独立静态模型中的一个或更多个独立静态模型是否需要进行模型参数的更新。
26.根据权利要求24所述的方法,其中,所述更新包括:
接收景观特征向量集和噪声特征向量集;
其中,所述更新是使用所述景观特征向量集和所述噪声特征向量集来执行的。
27.一种用于确定用户的活动性的方法,所述方法包括以下步骤:
确定与预定活动性约束相关联的受约束数据集,所述预定活动性约束与活动性生理状况相联系;
基于所述预定活动性生理状况来形成独立静态模型,其中,所述独立静态模型与所述预定活动性约束相联系;
将所述独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述独立静态模型相联系的传感器数据的传感器;
基于从用户感测到的所述传感器数据,由所述用户经由用户界面执行所述独立静态模型;以及
经由与所述独立静态模型的执行相关联的所述用户界面,来向所述用户提供结果(推断),其中,所述结果反映所述用户的所述活动性生理状况。
28.根据权利要求27所述的方法,所述方法还包括以下步骤:
直到与所述用户的下一执行会话,才终止所述独立静态模型的执行。
29.一种方法,所述方法包括以下步骤:
确定(形成)与预定活动性约束相关联的受约束数据集,所述预定活动性约束与活动性生理状况相联系;
基于所述受约束数据集以及所述预定活动性生理状况来形成独立静态模型,其中,所述独立静态模型与所述预定活动性约束相联系;以及
将所述独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述独立静态模型相联系的传感器数据的传感器。
30.根据权利要求29所述的方法,所述方法还包括以下步骤:
在所述安装之前,
基于所述预定生理状况来从传感器数据生成数学表示的多个数据集;
对于所述独立静态模型中的各个独立静态模型,使用所述多个数据集来执行训练操作;以及
确定所述独立静态模型(预定预测模型)的模型参数集。
31.根据权利要求30所述的方法,所述方法还包括以下步骤:
在预定采样时段内以预定采样频率,从用户身体的身体部位收集包含神经肌肉紧张度的传感器数据;以及
根据所述传感器数据来抑制与所述用户的一个或更多个自愿移动相关联的信号分量。
32.根据权利要求30所述的方法,所述方法还包括以下步骤:
基于所述多个数据集的所述数学表示,来将所述多个数据集划分成用户特征向量集、证实特征向量集以及测试特征向量集;以及
使用所述证实特征向量集对所述独立静态模型进行评估,以证实所述独立静态模型;以及
使用所述测试特征向量集对所述独立静态模型进行测试,以确定所述独立静态模型的准确度。
33.根据权利要求30所述的方法,其中,所述数学表示是使用Barlow活动特征、Barlow移动性特征以及Barlow复杂性特征中的至少一个而形成的特征。
34.根据权利要求30所述的方法,所述方法还包括以下步骤:
在执行所述训练之前,
接收景观(其他用户-全局用户)特征向量集和噪声特征向量集;
其中,所述训练是使用所述景观特征向量集和所述噪声特征向量集来执行的。
35.一种方法,所述方法包括以下步骤:
生成与预定活动性约束相关联的受约束数据集,所述预定活动性约束与预定活动性生理状况相联系;
基于所述预定活动性生理状况,接收包括模型结构和模型参数的独立静态模型,其中,所述独立静态模型与所述预定活动性约束相联系;
利用处理器以及联接至所述处理器的用于从用户收集传感器数据的传感器,来基于从所述用户感测到的所述传感器数据,经由用户界面执行所述独立静态模型;以及
经由与所述独立静态模型的执行相关联的所述用户界面,来向所述用户提供结果(推断),其中,所述结果反映所述用户的所述活动性生理状况。
36.根据权利要求35所述的方法,所述方法还包括以下步骤:
基于所述多个预定生理状况,从所述传感器数据生成数学表示的多个数据集。
37.根据权利要求36所述的方法,所述方法还包括以下步骤:
在预定采样时段内以预定采样频率,从用户身体的身体部位收集包含神经肌肉紧张度的传感器数据;以及
根据所述传感器数据来抑制与所述用户的一个或更多个自愿移动相关联的信号分量。
38.根据权利要求36所述的方法,其中,所述数学表示是使用Barlow活动特征、Barlow移动性特征以及Barlow复杂性特征中的至少一个而形成的特征。
39.根据权利要求36所述的方法,所述方法还包括以下步骤:
更新(调谐)所述独立静态模型的所述模型参数。
40.根据权利要求39所述的方法,所述方法还包括以下步骤:
在所述更新之前,确定针对所述独立静态模型是否需要进行模型参数的更新。
41.根据权利要求39所述的方法,其中,所述更新包括:
接收景观(其他用户-全局用户)特征向量集和噪声特征向量集;
其中,所述更新(调谐)步骤是使用所述景观特征向量集和所述噪声特征向量集来执行的。
42.根据权利要求41所述的方法,所述方法还包括以下步骤:
在所述更新之前,确定针对所述独立静态模型是否需要进行模型参数的更新。
43.一种用于创建用户账户的方法,所述方法包括以下步骤:
发送用于访问网站的请求消息;
接收提供用于创建与所述网站相关联的新账户的用户界面的web文档;
通过所述用户界面向所述网站发送认证信息(登录ID/密码);
基于所述预定活动性生理状况和所述认证信息,来执行包括模型结构和模型参数的独立静态模型,以确定用户的活动性,其中,所述独立静态模型与所述预定活动性约束相联系;
向所述网站发送所述用户的活动性确定的结果;以及
基于所述活动性确定,接收与所述网站相关联的所述新帐户的所述创建的结果。
44.一种用于创建用户账户的方法,所述方法包括以下步骤:
接收用于访问由服务器系统提供的网站的请求消息;
发送具有用于创建与所述网站相关联的新账户的用户界面的web文档;
通过所述用户界面接收针对所述网站的认证信息(登录ID/密码);
接收所述网站针对用户的活动性确定的结果,所述活动性确定是基于所述预定活动性生理状况和所接收到的认证信息由包括模型结构和模型参数的独立静态模型来执行的,其中,所述独立静态模型与活动的所述预定活动性约束相联系;以及
基于所述活动性确定,发送与所述网站相关联的所述新帐户的所述创建的结果。
45.一种用于访问个人记录的方法,所述方法包括以下步骤:
发送用于访问网站的请求消息;
接收提供用于访问与所述网站相关联的个人记录的用户界面的web文档;
通过所述用户界面向所述网站发送认证信息(登录ID/密码);
基于所述预定活动性生理状况以及所述认证信息,来执行包括模型结构和模型参数的独立静态模型,以确定用户的活动性,其中,所述独立静态模型与所述预定活动性约束相联系;
向所述网站发送所述用户的所述活动性确定的结果;以及
基于所述活动性确定,接收对与所述网站相关联的所述个人记录的访问。
46.一种用于访问个人记录的方法,所述方法包括以下步骤:
接收用于访问由服务器系统提供的网站的请求消息;
发送具有用于访问与所述网站相关联的个人记录的用户界面的web文档;
通过所述用户界面接收针对所述网站的认证信息(登录ID/密码);
接收所述网站针对用户的活动性确定的结果,所述活动性确定是基于所述预定活动性生理状况和所接收到的认证信息由包括模型结构和模型参数的独立静态模型来执行的,其中,所述独立静态模型与活动的所述预定活动性约束相联系;以及
基于所述活动性确定,授权对与所述网站相关联的所述个人记录的访问。
47.根据权利要求46所述的用于访问个人记录的方法,其中,
所述个人记录是个人健康记录。
48.一种用于访问个人记录的电子装置,所述电子装置包括:
处理器;
显示器,所述显示器联接至所述处理器;
一个或更多个运动传感器,所述一个或更多个运动传感器联接至所述处理器,所述一个或更多个运动传感器能够感测生理状况;
电源电路,所述电源电路联接至所述处理器;
无线收发器,所述无线收发器联接至所述处理器;
存储器,所述存储器联接至所述处理器;以及
非暂时性计算机程序产品,所述非暂时性计算机程序产品包括存储在所述存储器中的指令,其中,所述指令配置所述处理器以执行以下功能:
发送用于访问网站的请求消息;
接收提供用于访问与所述网站相关联的个人记录的用户界面的web文档;
通过所述用户界面向所述网站发送认证信息(登录ID/密码);
基于所述预定活动性生理状况以及所述认证信息,来执行包括模型结构和模型参数的独立静态模型,以确定用户的活动性,其中,所述独立静态模型与所述预定活动性约束相联系;
向所述网站发送所述用户的所述活动性确定的结果;并且
基于所述活动性确定,接收对与所述网站相关联的所述个人记录的访问。
49.根据权利要求48所述的电子装置,其中,所述认证信息包括登录标识(ID)和密码。
50.一种用于授权或拒绝对个人记录的访问的服务器,所述服务器包括:
处理器;
电源电路,所述电源电路联接至所述处理器;
存储器,所述存储器联接至所述处理器;以及
非暂时性计算机程序产品,所述非暂时性计算机程序产品包括存储在所述存储器中的指令,其中,所述指令配置所述处理器以执行以下功能:
接收用于访问由服务器系统提供的网站的请求消息;
发送具有用于访问与所述网站相关联的个人记录的用户界面的web文档;
通过所述用户界面接收针对所述网站的认证信息(登录ID/密码);
接收所述网站针对用户的活动性确定的结果,所述活动性确定是基于所述预定活动性生理状况和所接收到的认证信息由包括模型结构和模型参数的独立静态模型来执行的,其中,所述独立静态模型与活动的所述预定活动性约束相联系;并且
基于所述活动性确定,授权对与所述网站相关联的所述个人记录的访问。
51.一种方法,所述方法包括以下步骤:
生成与预定约束相关联的受约束数据集,所述预定约束与预定机器状况/状态相联系;
基于所述预定机器状况/状态来构建独立静态模型,其中,各个独立静态模型与特定约束相联系;
将所述多个独立静态模型安装到装置中,所述装置包括用于执行指令的处理器以及用于收集与所述多个独立静态模型相联系的传感器数据的传感器;
基于从用户感测到的所述传感器数据,由所述用户经由用户界面执行所述多个独立静态模型中的一个或更多个独立静态模型;以及
经由与所述多个独立静态模型中的所述一个或更多个独立静态模型的执行相关联的所述用户界面,来向所述用户提供一个或更多个结果(推断),其中,所述一个或更多个结果反映所述用户的一个或更多个生理状况。
52.一种方法,所述方法包括以下步骤:
提供包括用户的上下文情境的约束集的静态模型;
根据静态模型操作模式来配置静态模型参数集;
在预定采样时段内以预定采样频率,从所述用户的身体的身体部位收集包含神经肌肉紧张度的传感器信号数据;
根据所述传感器数据来抑制与所述用户的自愿移动相关联的信号分量;
基于所述静态模型操作模式,根据与所述自愿移动相关联的经传感器数据抑制的信号分量,来生成关于所述用户的所述上下文情境的数学表示的数据集;
基于所述数学表示的数据集,来构造包含多个特征向量集的特征向量表;
根据所述静态模型操作模式,使用所述特征向量表来执行所述静态模型;以及
基于所述静态模型的执行结果来生成关于所述上下文情境的报告信息。
53.根据权利要求52所述的方法,其中,所述静态模型是以数字文件来提供的。
CN202180071953.5A 2020-08-29 2021-08-28 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法 Pending CN116830124A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US63/072,099 2020-08-29
US202163138519P 2021-01-17 2021-01-17
US63/138,519 2021-01-17
PCT/US2021/048120 WO2022047272A2 (en) 2020-08-29 2021-08-28 Electronic devices with a static artificial intelligence model for contextual situations, including age blocking for vaping and ignition start, using data analysis and operating methods thereof

Publications (1)

Publication Number Publication Date
CN116830124A true CN116830124A (zh) 2023-09-29

Family

ID=88139642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180071953.5A Pending CN116830124A (zh) 2020-08-29 2021-08-28 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法

Country Status (1)

Country Link
CN (1) CN116830124A (zh)

Similar Documents

Publication Publication Date Title
Liang et al. Behavioral biometrics for continuous authentication in the internet-of-things era: An artificial intelligence perspective
Abuhamad et al. AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors
TWI757230B (zh) 保護資料之方法及形成安全通信通道之方法
TWI726864B (zh) 本機鑑認經授權使用者及對電子裝置之控制存取之方法、使用者鑑認之方法、電子裝置、生理鑑認控制器、產生使用者之唯一生理識別之方法及登入至系統或應用程式中之方法
TWI708205B (zh) 用於監測使用者之神經變性疾病、飲酒和心率變異性之方法、系統及電子裝置
TWI774080B (zh) 使用神經及神經力學指紋之無鑰匙進出控制
Dahia et al. Continuous authentication using biometrics: An advanced review
Xu et al. KEH-Gait: Using kinetic energy harvesting for gait-based user authentication systems
JP2019524204A (ja) 複数のセンサを有する衣服によるバイオメトリクス識別
WO2022047272A2 (en) Electronic devices with a static artificial intelligence model for contextual situations, including age blocking for vaping and ignition start, using data analysis and operating methods thereof
Buriro Behavioral biometrics for smartphone user authentication
Al-Naffakh et al. Continuous user authentication using smartwatch motion sensor data
Cabra et al. Mechanisms of Authentication toward Habitude Pattern Lock and ECG: An overview.
Vhaduri et al. Bag of on-phone ANNs to secure IoT objects using wearable and smartphone biometrics
Vhaduri et al. mWIoTAuth: Multi-wearable data-driven implicit IoT authentication
CN116830124A (zh) 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法
US11947648B2 (en) Electronic device related to user identification, authentication, liveliness, encryption using biometrics technology and methods for operation thereof
Cornelius Usable security for wireless body-area networks
EP4150493A1 (en) Electronic devices related to physiological certificate using biometrics technology and methods for operation thereof
Alzahrani et al. A User Authentication Approach Based on Human Activity Recognition Method Using CNN and RNN Models
Sturgess Authentication in systems with limited input capabilities
Al-Naffakh Activity-Based User Authentication Using Smartwatches
Anderson Sensing via signal analysis, analytics, and cyberbiometric patterns
Li Empowering Security and Privacy-Preserving Interactions for Smart Device Users
Al-Obaidi Transparent Authentication Utilising Gait Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination