CN111315278A - 用于基于屏幕的交互的自适应接口 - Google Patents

用于基于屏幕的交互的自适应接口 Download PDF

Info

Publication number
CN111315278A
CN111315278A CN201880064462.6A CN201880064462A CN111315278A CN 111315278 A CN111315278 A CN 111315278A CN 201880064462 A CN201880064462 A CN 201880064462A CN 111315278 A CN111315278 A CN 111315278A
Authority
CN
China
Prior art keywords
user
data
changes
adaptive interface
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880064462.6A
Other languages
English (en)
Other versions
CN111315278B (zh
Inventor
汉内斯·本特菲尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Han NeisiBentefeierdun
Original Assignee
Han NeisiBentefeierdun
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Han NeisiBentefeierdun filed Critical Han NeisiBentefeierdun
Publication of CN111315278A publication Critical patent/CN111315278A/zh
Application granted granted Critical
Publication of CN111315278B publication Critical patent/CN111315278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明描述了一种基于用户数据来定制输出的系统和方法。基于用户数据来定制输出的一个示例方法可以开始于通过至少一个传感器来捕获用户数据。所述方法可以通过至少一个计算资源来持续分析从所述至少一个传感器接收的用户数据。所述方法还可以包括通过自适应接口,使用基于用户数据分析的至少一种机器学习技术来持续地定制输出数据。定制的输出数据可以用于引起个性化的改变。

Description

用于基于屏幕的交互的自适应接口
相关申请的交叉引用
依照35U.S.C119(e),本专利申请涉及并要求2017年8月4日提交的题为“用于基于屏幕的交互的自适应接口”的美国临时专利申请No.62/605,179的优先权,和2017年8月7日提交的题为“具有机器学习和生物反馈(用于基于屏幕和/或音频的交互)的自适应接口。机器学习处理传感器数据,并输出基于动态屏幕和音频的交互,例如,图形用户接口(GUI),计算机生成图像(CGI),视觉和/或音频环境,以及用户体验设计(UX)。使用基于来自传感器的输入的机器学习,屏幕和/或音频工作环境和交互被修改并适应来自用户的数据”的美国临时专利申请No.62/541,899的优先权。这些相关临时申请的公开内容出于所有目的以引用的方式并入本文中,这些主题不与本文不一致或限制本文。
技术领域
本公开一般地涉及数据处理,更具体地,涉及基于用户的生物数据在与用户相关联的电子设备上定制输出数据。
背景技术
通常,人们在具有不同照明条件的许多环境中(例如在白天的室内、在人造光的室内、在晴天的室外、在阴天的室外等),使用数字设备(例如智能电话、平板电脑和膝上型电脑)。数字设备可以被配置成自动调整显示器参数以适应环境条件和用户当前正在观看的内容。换句话说,数字设备可以具有“自适应显示器”的特征,可以使得数字设备能够根据用户对数字设备的当前使用来自动调整显示器的颜色范围、对比度和清晰度。数字设备可以感测环境条件,确定用户正在观看的内容的类型,确定用户正在使用的特定应用,并且分析所有收集的数据以选择用于优化用户的观看体验的参数。
此外,根据科学研究,发现暴露于可见光谱的蓝光对眼疲劳有作用从而对人的健康具有影响。还确定蓝光在调节人的身体的睡眠/觉醒周期中是重要的。智能电话、计算机、膝上型计算机和其它数字设备的显示屏是蓝光的大量来源。因此,一些传统的数字设备被配置为通过在夜间或在以户选择的时间间隔激活蓝光滤波来调整显示器的颜色范围,以减少屏幕发射的蓝光的量。
然而,尽管数字设备的显示器可以基于数字设备收集的特定环境参数和数字设备的当前设置来调整,但是传统的数字设备在调整显示器的参数时不分析用户的当前生理状态。因此,数字设备的调整后的参数可能与用户的生理参数无关。
发明内容
本部分内容是为了以简化的形式介绍将在以下说明书中进一步描述的一些概念。本部分不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的保护范围。
本发明提供了用于基于用户数据来定制输出的计算机实施的系统和方法。在一些示例实施例中,用于基于用户数据来定制输出的机器学习系统可以包括至少一个传感器,至少一个计算资源和自适应接口。所述至少一个传感器可以被配置为捕获用户数据。所述至少一个计算资源可以被配置为分析从所述至少一个传感器接收的用户数据。自适应接口可以被配置为基于对用户数据的分析,使用至少一种机器学习技术持续地定制输出数据。定制的输出数据可以用于引起个性化的改变。
在一些示例实施例中,基于用户数据来定制输出的方法可以开始于通过至少一个传感器来捕获用户数据。该方法可以通过至少一个计算资源来持续地分析从该至少一个传感器接收的用户数据。该方法还可以包括通过自适应接口,使用基于对用户数据的分析的至少一种机器学习技术,来连续地定制输出数据。定制的输出数据可以用于引起个性化的改变。
其它目的、优点和新特性将部分地在以下本公开的说明书部分中阐述,并且部分地对于本领域技术人员在他阅读本说明书和附图后将变得明显,或者也可以通过对示例实施例的生产或操作来学习到。这些概念的目的和优点可以通过在所附权利要求书中特别指出的方法、手段及其结合来实现和获得。
附图说明
在所附的附图中以示例的方式而不是限制的方式示出了实施例,其中相同的附图标记表示类似的元素,并且其中:
图1示出了根据一些实施例的基于用户数据来定制输出的系统和方法可以在其中实施的环境。
图2是示出根据某些实施例的用于基于用户数据来定制输出的机器学习系统的各个模块的框图。
图3是示出根据一些示例性实施例的用于基于用户数据来定制输出的方法的流程图。
图4示出了根据一些示例性实施例的用于基于用户数据来定制输出的系统和方法可以在其中实现的另一示例性环境。
图5示出了根据一些示例性实施例的用于基于用户数据来定制输出的系统和方法可以在其中实现的另一环境。
图6是示出根据一些示例性实施例的由用于基于用户数据来定制输出的机器学习系统的组件执行的操作的示意图。
图7是示出根据一些示例性实施例的由自适应接口执行以基于用户数据在用户设备上来订制输出的操作的示意图。
图8是示出根据一些示例性实施例的基于用户数据来定制用户设备的输出数据的流程图。
图9是示出根据示例性实施例的基于用户的生物数据在用户设备上定制输出数据的示意图。
图10是示出根据示例性实施例的使用机器学习处理,来处理来自传感器的数据的示意图。
图11是示出根据示例性实施例的基于用户数据来持续定制输出的流程图。
图12是示出根据示例性实施例的由自适应接口执行的使用机器学习技术来连续地定制输出的操作的示意图。
图13是示出根据示例性实施例的由自适应接口执行的使用机器学习技术连续定制输出数据的操作的示意图。
图14是示出根据示例性实施例的基于与用户的呼吸或心率相关的数据来持续个性化用户设备上的亮度级别的框图。
图15是示出根据示例性实施例的基于与用户的呼吸或心率相关的数据来持续个性化用户设备上的音量水平的框图。
图16是示出根据示例性实施例的基于与用户的呼吸或心率相关的数据来持续个性化用户设备上的气味水平的框图。
图17是示出根据示例实施例的由基于用户数据来定制输出的机器学习系统所定制的移动设备的用户接口的示意图。
图18是示出根据示例实施例的由基于用户数据来定制输出的机器学习系统所定制的耳机的输出数据的示意图。
图19是示出根据示例实施例的由基于用户数据来定制输出的机器学习系统所定制的人造嗅觉设备的输出数据的示意图。
图20是示出根据示例性实施例的基于由用户设备的数字相机捕获的用户数据来定制用户设备的输出的示意图。
图21是示出根据示例实施例的由自适应接口捕获的用户数据的分析的示意图。
图22是示出根据示例实施例的由自适应接口持续适配的输出数据的示意图。
图23是示出根据示例性实施例的基于用户数据来定制输出的方法的流程图。
图24示出了根据示例实施例的计算系统,可用于实施基于用户数据来定制输出的方法。
具体实施方式
下面的说明书参考了附图,这些附图形成了说明书的一部分。附图示出了根据示例性实施例的图示。这些示例性实施例,本文中也称为“示例”的实施方案被充分描述以使得本领域技术人员能够实现本主题。实施例可以结合起来,可以利用其它实施例,或者可以在不脱离所要求保护的范围的情况下进行结构、逻辑和电气上的改变。因此,以下说明书不应被认为是限制性的,并且保护范围由所附权利要求及其等同来限定。
本公开提供了基于用户数据来定制输出的方法和系统。基于本公开的用户数据来定制输出的系统可以持续地定制由与用户关联的数字设备所提供的输出,以引起用户的生物参数的个性化改变。具体地,该系统可以收集用户数据,例如用户或其他用户的生物数据,用户或其他用户的历史数据、环境数据等。生物数据可以包括与用户的物理参数相关的数据,例如心率、体温、血液氧化水平、血液中药品的存在、血糖水平等。用户数据可以由如下传感器收集:附着在用户上的传感器收集,例如心率监测器;位于用户附近的传感器,例如热成像照相机和数字照相机;嵌入用户的数字设备的传感器等等。该系统可以分析所收集的用户数据。
该系统包括自适应接口单元,在本文中也称为自适应接口,其使用分析的结果来连续地在用户的数字设备(在本文中也称为用户设备)上定制输出数据。自适应接口应用机器学习技术来处理所收集的用户数据的分析结果,并选择改变用户设备上的图形输出和/或音频输出,以引起用户的生物数据的改变。具体而言,自适应接口可以持续地分析用户的生物数据(例如心率)与用户在使用数字设备时所经历的图形和音频之间的关系。用户的生物数据和在用户设备上提供给用户的输出数据之间的相关性的持续分析结果,可以以与用户相关联的历史数据的形式存储在数据库中。另外,可以将多个用户的生物数据与所述多个用户的数字设备上的输出数据之间的相关性数据存储在数据库中(例如,以与所述多个用户相关联的历史数据的形式)。
因此,自适应接口可以基于对所收集的用户数据的分析来确定用户在当前时刻具有增加的心率,并且调整数字设备的接口上的输出数据以引起用户的心率的降低。例如,自适应接口可以基于历史数据确定了用户的心率通常响应于音频输出的音量和视频输出的亮度的变化而变化。基于这样的确定,自适应接口可以减小音频输出的音量并且减小用户设备的显示器的亮度,以引起用户的心率的降低。
因此,自适应接口可以涉及生物自适应技术,并且可以基于用户的生物参数来调整用户设备的输出。如果用户的生物参数不对应于预定的范围或值,则可以调整用户设备的输出来引起用户生物参数的改变。
图1示出了根据一些实施例的环境100,在环境100中可以实施基于用户数据来定制输出的系统和方法。环境100可以包括前端101和后端103。前端101可以包括传感器106和与用户102相关联的用户设备104。后端103可以包括用于基于用户数据来定制输出的机器学习系统200(也称为系统200)、服务器108、显示为网络110(例如,因特网或计算云)的数据网络、以及数据库112。用户设备104、系统200、服务器108、传感器106和数据库112可以通过网络110连接。
用户102可以与用户设备104相关联。用户设备104可以包括智能电话114、膝上型计算机116、耳机118、视网膜植入物120、人工嗅觉设备122等。在示例性实施例中,人工嗅觉设备122可以包括作为用户102的电子鼻来工作的电子系统。
网络110可以包括计算云、因特网或能够在设备之间传送数据的任何其它网络。合适的网络可以包括例如本地内联网、公司数据网络、数据中心网络、家庭数据网络、个人区域网、局域网(LAN)、广域网(WAN)、城域网、虚拟专用网、存储区域网、帧中继连接、高级智能网络连接、同步光网络连接、数字T1,T3,E1或E3线、数字数据服务连接、数字用户线连接、以太网连接、综合业务数字网络线、模拟调制解调器连接(诸如V.90,V.34或V.34bis的拨号端口)、电缆调制解调器、异步传输模式连接、光纤分布式数据接口或铜分布式数据接口连接,或者它们中的一个或多个的连接。此外,通信还可以包括到各种无线网络中的任何一个的链路,包括无线应用协议、通用分组无线电服务、全球移动通信系统、码分多址或时分多址、蜂窝电话网络、全球定位系统、蜂窝数字分组数据、迅捷移动、有限双工寻呼网络、蓝牙无线电或基于IEEE 802.11的射频网络。数据网络可以进一步包括:推荐标准232(RS-232)串行连接、IEEE-1394(火线)连接、光纤信道连接、IrDA(红外)端口、小型计算机系统接口连接、通用串行总线(USB)连接或其它有线或无线、数字或模拟接口或连接,或与它们中的一个或多个的连接,网状网或
Figure BDA0002436291610000051
网络。
传感器106可以附着到用户102的任何身体部分。或者,传感器106可以位于用户102附近。在另一示例实施例中,传感器106可以集成到用户设备104中。传感器106可以包括生物传感器(例如,心率监测器),热成像照相机,呼吸传感器,雷达传感器等。传感器106可收集用户数据124并将所收集的用户数据124提供给用户设备104。用户设备104可以向系统200提供用户数据124。
系统200可以运行在用户设备104上或计算云中。系统200可以访问由用户设备104再生成的输出数据(例如图形和音频)。系统200可以包括计算资源204和自适应接口206。系统200的计算资源204可以分析用户数据124。自适应接口206可以将机器学习技术126应用到分析的结果,以定制用户设备104的输出数据,从而引起用户102的生物数据的改变。在一个示例实施例中,自适应接口206可以包括传感器、机器学习算法、处理单元和计算资源的组合。自适应接口206可以驻留在用户设备104中,或远离用户设备,例如驻留在计算云中。
自适应接口206还可以将使用机器学习算法来处理用户数据而获得的数据发送到服务器108,以更新在用户设备104上运行的应用程序的数据。服务器108可以包括至少一个控制器和/或至少一个处理器。在一个替代实现中,服务器108可以包括在用户设备104上运行的应用程序或软件。服务器108可以使用与多个单独用户相关联的数据来更新和改进与应用程序相关联的代码。然后,服务器108可以经由网络110将与应用程序相关联的更新后的输出数据发送到自适应接口106,以便进一步显示在用户设备104上。
图2是示出根据某些实施例的基于用户数据来定制输出的机器学习系统200的各个模块的框图。系统200可以包括至少一个被示为传感器202的传感器,至少一个被示为计算资源204的计算资源,被示为自适应接口206的自适应接口单元,以及可选地数据库208。数据库208可以包括由计算资源204和自适应接口206执行的计算机可读指令。在示例性实施例中,计算资源204和自适应接口206中的每一个都可以实现为一个或多个处理器。处理器可以包括可编程处理器,例如微控制器、中央处理单元(CPU)等。在其它实施例中,处理器可以包括:专用集成电路或可编程逻辑阵列(例如场可编程门阵列),其被设计成实现由系统200执行的功能。在各种实施例中,系统200可以安装在用户设备上,或者可以作为驻留在云存储器中的云服务来提供。
传感器202可以固定到用户上,集成到用户设备中,或位于用户附近。传感器202可以包括以下中的至少一个:热成像照相机,数字照相机,呼吸传感器,深度传感器,雷达传感器,陀螺仪等。在一个示例性实施例中,传感器202可以包括生物传感器。传感器202可以被配置为捕获用户数据。用户数据可以包括以下的至少一个:用户的生物数据,多个用户的生物数据,用户的历史数据,多个用户的历史数据,环境数据等。生物数据可以包括以下的至少一个:呼吸速率、心率、心率变化、脑电图、心电图、肌电图、皮肤电活动、肌音信号、触觉交互、运动、手势、瞳孔运动、生物分析物、生物构造、微生物、使用者皮肤颜色、血糖水平、血液氧合、血压等。环境数据可以与以下至少一个相关联:光、热、运动、湿气、压力等。
计算资源204可以被配置为分析从传感器202接收的用户数据。计算资源204可以包括以下中的至少一个:应用编程接口(API),服务器,云计算资源,数据库,网络,区块链等。在一个示例实施例中,可以实现为与用户相关联的用户设备的至少一个计算资源可以包括以下之一:智能电话,平板计算机,小键盘计算机,膝上型计算机,台式计算机,增强现实设备,虚拟现实设备,混合现实设备,视网膜植入物,人工嗅觉设备,耳机,音频输出设备等。在另一示例实施例中,计算资源204可以包括CPU、图形处理单元(GPU)和神经处理单元(NPU)中的一个。
自适应接口206可以被配置为基于对用户数据的分析,使用至少一种机器学习技术持续地定制用户设备的输出数据。所述至少一种机器学习技术可包括以下的一种或多种:人工神经网络,卷积神经网络,贝叶斯神经网络,监督机器学习算法,半监督机器学习算法,无监督机器学习算法,强化学习,深度学习等等。
定制的输出数据可以用于引起个性化的改变。个性化改变可以包括用户的生物数据的改变。用户数据中的个性化改变可以包括以下至少一个:感知时间的改变,呼吸速率的改变,呼吸速率的改变,心率的改变,心率变化的改变,触觉交互的改变,脑电信号的改变,心电图信号的改变、肌电信号的改变、肌音信号的变化、皮肤电活动信号的变化、运动的变化、手势的变化、瞳孔运动的变化、生物构造的变化、微生物的变化、使用者皮肤颜色的变化、血糖水平的变化、血液氧合的变化、血压的变化、生物分析物的变化、压力水平的变化等。
定制的输出数据可以与用户的用户设备相关联,例如智能电话,膝上型计算机,视网膜植入物等。定制的输出数据可以包括音频输出和/或图形输出。
图3是示出根据一些示例性实施例的基于用户数据来定制输出的方法300的流程图。在某些实施例中,操作可以被组合,并行执行,或者以不同的顺序执行。方法300还可以包括比所示的那些操作更多或更少的操作。方法300可以由处理逻辑来执行,该处理逻辑可以包括硬件(例如,决策逻辑,专用逻辑,可编程逻辑和微码),软件(诸如在通用计算机系统或专用机器上运行的软件),或两者的组合。
方法300可以在操作302开始,通过至少一个传感器捕获用户数据。传感器可以被配置成实时地(例如,当用户醒来和睡觉时)连续地捕获用户数据,在用户使用用户设备期间捕获用户数据,或者在预定时间捕获用户数据。所述至少一个传感器可以包括热成像照相机,数字照相机,呼吸传感器,深度传感器,雷达传感器,陀螺仪,热成像照相机等。在示例性实施例中,所述至少一个传感器可以包括用于分析由用户发射的电子信号的设备。方法300还可以包括通过用于分析电子信号的设备来提取如下中的一个:用户的生理参数和与用户相关联的活动。
方法300可以在操作304继续,由至少一个计算资源分析从至少一个传感器接收的用户数据。在操作306,方法300还可以包括由自适应接口基于对用户数据的分析,使用至少一种机器学习技术持续地定制输出数据。定制的输出数据可以用于引起个性化的改变。个性化改变可以包括用户的生物参数的改变。在示例实施例中,输出数据的持续定制可以包括以下至少一个:改变颜色,播放音频感知的刺激,提供触觉反馈,改变字体,改变字体的形状,改变亮度,改变对比度,改变照度(例如,改变光的光照度的值),改变温暖,改变饱和度,改变渐变,改变阴影,改变锐度,改变结构,生成计算机图像,改变音调,改变低音,改变音量,改变声音的音调,改变高音,改变平衡,改变GUI,改变UX等。
方法300可选地包括操作308,在该操作处,至少一个计算资源可以将与多个用户相关联的其他用户数据汇集为联合用户数据。在可选操作310处,所述至少一个计算资源可使用协作机器学习来分析所述联合用户数据。方法300还可以包括,由至少一个计算资源基于在可选操作312处对联合用户数据的分析结果,来针对各个用户适配至少一种机器学习技术。在示例实施例中,方法300还可以包括,由自适应接口基于用户与自适应接口的交互,来持续地适配出媒体输出。
图4示出了根据示例实施例的另一示例环境400,在其中可以实现用于基于用户数据来定制输出的系统和方法。环境400包括客户侧(示为前端101)和后端103。前端101可以包括传感器106和用户设备104。后端103可以包括系统200、机器学习技术126和区块链402。系统200可以包括与用户设备104通信的API 404、自适应接口206和计算资源204。用户设备104可以包括智能电话114,膝上型电脑116,耳机118,视网膜植入物120和人工嗅觉设备122,以及平板计算机,小键盘计算机,台式计算机,增强现实设备,虚拟现实设备,混合现实设备,音频输出设备等。
传感器106可以检测用户102的生物数据。尽管在图4中示出了两个传感器106,但是可以是任意数量的传感器(例如一个、两个或更多个)附着到用户102,集成到用户设备104,或位于用户102附近。在示例性实施例中,传感器106可以检测用户102的每分钟呼吸次数。在其它示例性实施例中,传感器106可以检测用户102的任何其它生物活动,例如心率,心率变化,脑电图,肌电图,肌音信号等。在另一示例实施例中,传感器106可以是分析由用户102发射的电子信号(即,由用户102的身体发射的频率)的设备,并且将所分析的电子信号描述为用户102的生物测定参数或活动。在示例性实施例中,传感器106可以是热成像照相机。自适应接口206可以使用机器学习技术126的深度学习算法来基于由热成像相机收集的数据来分析用户102的心率和呼吸速率。
传感器106可以用作无源传感器或有源传感器。当作为无源传感器时,传感器106可以感测由用户102发射的数据,例如发射的热波长。热波长可以由自适应接口206使用机器学习技术126的深度学习算法来分析,以确定用户102的呼吸模式或心率。当作为有源传感器时,传感器106可朝着用户102发送并接收回超声波或雷达波。从用户102的身体反射时接收到的波可以被传感器106分析以检测用户102的生理状态。
API(应用程序编程接口)404可以包括用于从服务器(例如图1所示的服务器108)接收数据的表属性状态传递(REST)API,OAPI,一组子例程定义,协议和工具。API 404可以基于从自适应接口206接收的数据在用户设备104上提供图形和音频。API 404可以与以下中的一个或多个相关联:基于web的系统,操作系统,数据库系统,计算机硬件等。
自适应接口206可以应用机器学习技术126,包括人工神经网络,卷积神经网络,贝叶斯神经网络或其它机器学习技术,以实现自适应接口206的自动特征学习、机器学习推断过程和深度学习训练。自适应接口206可以从传感器106,用户设备104,API 404,计算资源204和网络110接收数据。在示例实施例中,计算资源204可以被实现为用户设备104的组件。在此实施例中,自适应接口206可与用户设备104通信并将数据传送到用户设备104以用于数据处理,以使用用户设备104中的处理单元(例如GPU和CPU),且可以应用预测建模和机器学习过程。
由自适应接口206应用的机器学习技术126可以包括监督机器学习,半监督机器学习,无监督机器学习,联合机器学习,协作机器学习等。自适应接口206中的监督机器学习基于具有标记数据的训练数据集,该训练数据集已经安装在自适应接口206中和/或从API404和/或网络110发送过来。对于自适应接口206中的监督机器学习,数据被标记并且算法用来预测来自输入数据(即用户数据124)的输出。
自适应接口206中的半监督学习使用大量的用户数据124,用户设备104和/或API404的数据,并且通过使用监督和非监督机器学习技术的混合,仅使用一些预先安装的数据和/或来自网络110的数据。
对于自适应接口122中的无监督机器学习,所有数据都是未标记的,并且算法学习从用户数据124、用户设备104和/或API 404的数据来继承结构。
对于联合机器学习和协同机器学习,自适应接口206协同学习共享预测模型,同时将所有训练数据保持在用户设备104和传感器106上,从而将进行机器学习的能力与需要将数据存储在网络110中进行分离。这超出了对局部模型的使用,局部模型通过将模型训练带入计算设备来对计算设备进行预测。用户设备104下载当前模型,通过从与用户102和用户设备104的交互相关的用户数据124,以及从传感器106接收的用户数据124进行学习,经由自适应接口206来改进所述当前模型,然后将变化总结为小的集中更新。使用加密的通信,仅将对模型的更新发送到云,其中该更新立即与其他用户更新进行平均,以改进共享模型。所有的训练数据保留在用户设备104和自适应接口206上,并且云中不存储单独的更新。对于联邦和协作机器学习设置,数据以非常不均匀的方式分布在数百万个设备上。此外,这些设备具有显著更高的延迟时间和更低的吞吐量连接,并且仅间歇地可用于训练。
在所有机器学习模型中,来自传感器106的用户数据可以被传送到网络110中,所述用户数据与用户102的生物参数和用户与用户设备104的交互相关,但是所述用户数据也可以作为个性化和定制的数据集保留在自适应接口206和用户设备104中。
自适应接口206学习API程序、数据结构、对象类、变量和编程的规范,以及计算资源204、网络110、用户设备104和传感器106的规范。自适应接口206处理用户和运行在用户设备104上的应用程序的交互有关的数据,例如来自用户设备104的图形和音频,以及来自传感器106的用户数据124(例如生物数据)。当用户102与用户设备104交互时,自适应接口206了解用户102的生物测定数据和活动数据如何实时改变。自适应接口206使用机器学习技术126动态地定制来自API 404的输出数据,并将定制的输出数据发送回API 404。API404实时地向用户设备104发送适配后的和定制的输出数据。自适应接口206还可以通过接收用户102的生物数据和/或用户102与用户设备104的交互相关数据来随时间收集与用户102相关联的数据,并且使用深度学习技术或其他经过训练的学习技术来分析所收集的数据。可以对自适应接口206的分析结果和用户102的生物数据进行处理,并将其应用于API404的输出数据以及应用于用户设备104中的输出数据,以定制在用户设备104上向用户102提供的图形和音频。
自适应接口206可以基于用户102的生物数据定制输出数据(例如,用户102对用户设备104中的图形和音频的更快的感知时间)。自适应接口206还可以基于对用户102的生物数据进行的检测和分析,将图形和音频定制为用户102的生理状态。例如,可以由传感器106感测心率,并且自适应接口206可以定制用户设备104上的图形和音频,以在用户与用户设备104交互时实时降低或增加用户102的心率。
如果传感器106是呼吸传感器,则自适应接口206可以采用热成像和机器学习技术来调整和定制图形和音频,以引起更慢或更长的吸入和呼气。
自适应接口206还可以将机器学习的数据发送到网络110。网络110可以将数据发送到服务器108以更新在用户设备104上运行的应用程序的数据。服务器108可以用与多个单独用户相关联的数据,来更新和改进与应用程序相关联的代码。然后,服务器108可以经由网络110将更新的输出数据发送到自适应接口106。
自适应接口206还可以与代码存储网络(例如区块链402或云计算(未示出))交互,代码存储网络可以作为图1所示的服务器108的替代实现。自适应接口206可将机器学习的数据发送到区块链402以进一步处理。
除了API的益处(例如可伸缩性,异构互操作性,独立于客户和服务器以及授权客户的演化),自适应接口206还可以通过用户102的用户数据124增加用户设备104中的输出数据的定制和自适应。自适应接口206的定制和自适应能够实现用户与应用程序状态(图形,UX,GUI和音频)交互时更快的处理速度,如同在用户设备104上一样。自适应接口206还可以通过用户设备104中的自适应和定制的输出数据来增加压力减小程度和个人生物数据的改变。自适应接口206还可以经由定制和自适应信息处理来提高自适应接口206、API 404和用户102之间的网络速度。自适应接口206可以使用不同类型的机器学习技术来实现更智能的模型,更低的延迟时间和更低的功耗,以潜在地确保当用户102的数据驻留在用户设备104上和自适应接口206中时的隐私性。该方法具有另一直接益处:除了向网络110提供对共享模型和定制的输出数据的更新之外,用户设备104上的改进和更新的输出数据还可以被立即实时地使用,以基于用户102使用用户设备104的方式来提供个性化的用户体验。自适应接口206还可以用基于输出数据生成的API来替换API 404。自适应接口206可以将API中采用的所有编程任务和步骤特征化,并且通过连接传感器、用户设备和网络来替换所述API以定制和改进应用程序、性能和体验。
图5示出了根据一些实施例的环境500,在其中可以实现基于用户数据来定制输出的系统和方法。系统200可以与区块链402通信,并向区块链402提供用户数据124。区块链402可以与开发者社区502通信,并且可以向开发者社区502提供用户数据124的分析结果。开发者社区502可使用对用户数据124的分析来开发其他机器学习模型,所述机器学习模型用于由区块链402处理用户数据124。
图6是示意图600,示出了根据示例实施例的由基于用户数据来定制输出的机器学习系统的组件执行的操作。用户设备104可以向用户102显示图形和播放音频。用户设备104可以包括用户接口602、处理单元604、NPU(神经处理单元)606和显示单元608。用于基于用户数据来定制输出的机器学习系统200的自适应接口206可以相对于用户设备104位于远程(例如,在计算云中)。在示例实施例中,NPU 606可以不是用户设备104的组件,而是可以相对于用户设备104位于远程(例如,在计算云中)。
用户102可以感知由用户设备104经由用户接口602、UX、CGI、公共网关接口、工作环境(例如,社会媒体平台),提供的视觉数据和/或音频数据形式的输出,以及其它形式的图形,和可能的音频文件或音频感知频率。在示例性实施例中,用户设备104的屏幕可以显示视觉感知的刺激,例如当用户设备104使用视网膜植入技术时。用户设备104可以被配置为计算和处理单元的形式,并且还可以被配置为提供视觉刺激并播放音频感知的刺激。
用户102可以与用户设备104交互。交互可以以任何方式进行,例如,通过改变用户设备104上的视觉或音频(例如,通过与用户设备104进行触觉交互),通过视觉或听觉感知在用户设备104上运行的应用。用户102可以通过用手指按压在用户设备104的用户接口602上显示的按钮来与用户设备104交互。在另一示例实施例中,可以跟踪用户102的瞳孔移动或用户102的其他形式的交互。
传感器106可以固定到用户102,或者可以位于用户102附近,并且可以感测与用户102的物理参数有关的数据,并且将该数据转换为电信号。感测到的数据可以被认为是来自用户102的输入。所述输入可以包括:光、热、运动、湿气、压力或可由传感器106感测的用户102的身体的任何其它物理参数。检测用户102的物理参数的变化的传感器106可以是生物传感器,该生物传感器被配置为检测在用户102体内/身体上存在的生物分析物(诸如生物分子,生物构造或微生物)的存在性或浓度。生物传感器形式的传感器106可以包括三个部分:识别分析物并产生信号的部件、信号转换器和读取装置。传感器106可以提供信号形式的输出,该信号可以被电子地发送到自适应接口206以用于读取和进一步处理。
传感器106还可以是被配置成检测用户102的物理参数(例如用户102的皮肤的颜色)的变化的照相机。可使用机器学习算法(例如,使用NPU 606或自适应接口206)来分析图像,以评估用户102的生物参数(例如,用户102的心率)的变化。一些类型的传感器106可能需要使用自适应接口206、NPU 606和/或处理单元604中的学习算法和机器学习技术。传感器106还可以被配置成热成像照相机形式,以检测用户102的压力水平、呼吸速率、心率、血氧水平和其它生物学参数。自适应接口206可以使用机器学习算法和神经网络来分析热图像并检测用户102的压力水平、呼吸速率、心率、血氧水平和其它参数。
用户设备104可以与传感器106通信以获得用户102与用户设备104的交互时间。如上所述,一些类型的传感器106可以使用用户设备104中的处理单元604来应用机器学习技术并进行分析。传感器106检测的用户的生物参数、检测时间、以及与用户和用户设备104交互相关的数据可以由传感器106和用户设备104发送到自适应接口206。
自适应接口206可以基于从传感器106和/或用户设备104接收的数据来定制由用户接口602显示的数据。自适应接口206可以使用用户设备104的处理单元606,例如用户设备104的CPU、GPU和/或NPU。自适应接口206可以使用不同类型的机器学习技术(例如监督机器学习,半监督机器学习,无监督机器学习,联邦和/或协作机器学习),以基于从传感器106接收的生物数据和来自用户设备104的关于用户交互的数据,为用户102定制用户设备104的输出数据(例如图形和音频)。
自适应接口206可以向用户接口602发送适配后的和定制的输出数据。用户接口602可以在用户设备104的屏幕上显示适配后的和定制的数据。
用户设备104可以使用显示单元608以定制格式来显示输出数据,所述定制格式由自适应接口206提供。用户设备104的输出数据的定制周期实时重复,因此持续收集的用户数据和关于用户与用户设备104的交互的数据被用于通过自适应接口206来更新用户设备的图形和音频。通过使用自适应接口206的机器学习对用户数据进行分析以适配输出数据,以便引起用户102的生物参数的改变,所述对用户数据分析可以导致用户数据的更快的处理以及给使用用户设备140的用户102的定制用户体验。
随着每晶体管速度和能量效率减小的改进,需要从传统方法中彻底脱离,以继续改进通用处理器的性能和能量效率。一种这样的脱离是近似计算,其中计算中的误差是可接受的,并且放宽了近似理想精度的传统鲁棒数字抽象。能量-效率计算的传统技术展示了一种设计空间,所述设计空间由两个维度(性能和能量)定义并且通常为了一个牺牲另一个。通用近似计算探讨了第三个维度-误差,并牺牲准确性以获得能量和性能。从小误差中获得大量收益的技术已经被证明是难以实现的。本公开描述了一种使用基于机器学习的变换来加速近似容忍程序的方法。核心思想是训练一种学习模型,学习代码近似领域(可生成不精确但可接受的结果的代码)如何表现,并且用所学习的模型的有效计算来代替原始代码区域。神经网络被用于学习代码行为和接近所述代码行为。可以使用Parrot算法变换,其利用简单的程序员注释("可近似的")来将代码区域从冯·诺依曼模型变换到神经模型。在学习阶段之后,编译器通过调用低功率加速器(被称为NPU)来替换原始代码。NPU紧密地耦合到处理器,以便即使在代码的小部分区域被变换时也允许有利的加速。与执行原始代码相比,将近似代码区域加载到NPU更快且更节能。对于一组不同的应用,NPU加速使得整个应用速度提升了高达2.3倍,且能量节省平均高达3倍,平均质量损失至多为9.6%。NPU形成了一类新的加速器并且表明,当在通用计算中放宽了传统的近似理想精度的抽象,在性能和效率上都可以获得显著的增益。广泛理解的是,能量效率现在从根本上限制了微处理器的性能增益。
图7是示出根据示例性实施例的由自适应接口执行以基于用户数据来定制用户设备上的输出的操作的示意图700。用户102可以通过查看显示在用户设备104的用户接口716上的图形702以及收听由用户设备104产生的音频704来与用户设备104交互。传感器106可以在用户102与用户设备104的交互期间持续地感测用户数据124。
用户设备104可以将与当前在用户接口716上显示给用户的输出数据相关的数据提供给自适应接口206。此外,传感器106可以向用户设备104提供检测到的用户数据124,并且用户设备104可以分析检测到的用户数据124并向自适应接口206提供分析结果。
自适应接口206可以使用机器学习技术126来处理与当前在用户接口716上向用户显示的输出数据和所分析的用户数据124相关的数据。基于该处理,自适应接口206可以持续地定制用户设备104的输出数据,并且向用户设备104的API 404提供定制的输出数据706。在接收到定制的输出数据706时,API 404可以在用户设备104的显示器上向用户102提供定制的输出数据706。
定制的输出数据706可以包括以下中的一个或多个:适配的微服务708,适配的图像文件710(例如,JPEG,JPG,GIF,PNG和其它格式),适配的音频文件712(例如,WAV,MP3,WMA和其它格式),适配的文件714(例如,HTM,HTML,JSP,AXPX,PHPH,XML,CSHTML,JS和其他格式)等。
图8是示出根据一些示例性实施例的基于用户数据来定制用户设备的输出的流程图800。在步骤802,用户设备可以从与该用户设备相关联的API接收编程数据。在步骤804,用户设备可以通过在用户设备的显示器上显示图形以及使用用户设备的扬声器播放音频来向用户提供接收到的编程数据。用户可以例如通过查看显示在用户设备上的图形以及收听用户设备播放的音频来与用户设备交互,如步骤806所示。用户数据(例如用户的生物数据)可以由传感器持续地感测,如步骤808所示。此外,在步骤810,用户设备可以与传感器通信,以获得用户与用户设备交互的时间。交互时间可用于确定用户数据在每个时刻对用户与用户设备的交互的关联性。
在步骤812,用户设备和传感器可以向自适应接口发送用户数据和关于用户交互的数据。在步骤814,自适应接口可以通过使用机器学习技术来定制用户设备的API的输出数据。具体地说,自适应接口可以分析用户数据并选择要对API的输出数据进行的改变,以引起用户数据的改变。例如,自适应接口可以分析用户的血压,确定用户压力超过预定值,检查与用户压力对于用户设备上提供给用户的可视和音频数据的相关性有关的历史数据,以及定制可视和音频数据以引起用户血压的降低。
在步骤816,自适应接口可以向用户设备的API发送定制的输出数据。另外,自适应接口可以将定制的输出数据存储到数据库中作为历史数据。历史数据可用于进一步定制输出数据。在步骤818,API可以向用户设备提供定制的输出数据。在步骤820,用户设备可以使用显示单元来显示定制的输出数据。
图9是示出根据示例性实施例的基于用户的生物数据在用户设备上定制输出数据的示意图900。用户102的呼吸可由生物传感器902(例如呼吸传感器)持续地监测。由生物传感器902收集的用户数据可以作为来自生物传感器902的输入904提供给用户设备104。用户设备104可以将来自生物传感器902的输入904提供给计算资源。计算资源可以分析来自生物传感器902的输入904。在示例性实施例中,所述分析可以包括确定呼吸深度906和呼吸频率908。在一个实施方案中,计算资源可以将分析的结果提供给自适应接口。此外,用户设备104还可以向自适应接口提供,与在生物传感器902收集用户数据时由用户102观看的输出910相关的数据。在用户设备104上提供给用户102的输出910可以包括使用用户设备104显示给用户102的图形912(例如背景、字体、GUI元素、CGI、UX等)。
自适应接口可以处理:分析的结果,用户102观看的输出910,先前针对用户102和/或多个用户收集的,用户102和/或多个用户的生物数据与在用户设备104上观看的输出910的相关性有关的历史数据。自适应接口可以使用机器学习技术来执行处理922。基于所述处理,自适应接口可以定制输出910以引起用户数据的改变(例如,引起用户102的更深的吸入)。自适应接口可以向用户设备104提供定制的输出914。在用户设备104上提供给用户102的定制输出914可以包括:使用用户设备104显示给用户102的定制图形916(例如定制背景、字体、GUI元素、CGI、UX等)。
生物传感器902可以继续监视用户数据,并收集监视到的数据提供给计算资源。计算资源可以分析来自生物传感器902的输入904。在示例实施例中,所述分析可以包括确定用户在查看定制的输出914之后具有的呼吸深度918和呼吸频率920。
自适应接口持续地分析由生物传感器902持续收集的用户数据和提供给用户102的定制输出914。自适应接口可以持续应用机器学习技术924来用于分析。基于所述分析924和实时的机器学习处理922,可以持续地修改在用户设备104的用户接口上提供给用户102的图形928的元素,以改进用户102的呼吸,如框926所示。用户102的呼吸深度930和呼吸频率932可以由自适应接口持续地分析,以便进一步修改用户设备102的输出。
图10是示出根据示例性实施例的使用机器学习技术处理来自传感器的数据的示意图1000。传感器(例如呼吸传感器)可以提供检测到的数据作为自适应接口的输入。自适应接口可以使用机器学习算法在机器学习环境中处理来自传感器的输入。自适应接口可以持续地获知用户对使用用户设备向用户提供定制的视频和音频输出数据的响应。用户响应可以包括通过用户查看定制的视频和音频输出数据而激发的用户的生物参数的改变。生物参数可以包括由传感器感测的平均呼吸力1004和由传感器在向用户提供定制的视觉和音频输出数据时进一步感测的平均呼吸力1006和1008。
图11是示出根据示例性实施例的基于用户数据来连续定制输出的流程图1100。与用户的生物参数和用户与用户设备的交互有关的数据可以是用户生物数据和交互1102的形式,由传感器和用户设备持续捕获。所捕获的生物性数据(也称为生物数据)和与交互1102相关的数据可以作为输入1104被提供给自适应接口206。在步骤1106,自适应接口206可以检测用户生物数据和交互1102,并发送输出1108,其作为由用户设备显示的数据。用户设备的显示单元可以处理从自适应接口206接收的数据,并在用户设备上提供输出,如框1110所示。可以通过显示视觉数据、播放音频数据、提供触觉反馈等来提供输出。
如框图1112,1114,1116和1118所示,传感器和用户设备可以持续地提供其他的用户生物数据和关于交互的数据。自适应接口206可以应用机器学习技术来定制用户设备的输出,并将定制的输出发送到用户设备,如框图1120,1122,1124和1126所示。用户设备的显示单元可以处理从自适应接口206接收的定制数据,并在用户设备上提供更新的数据,如框图1128,1130,1132,1134和1136所示。
图12是示出根据示例性实施例的由自适应接口执行的使用机器学习技术来连续定制输出数据的操作的示意图1200。自适应接口可以持续地从用户设备接收输入1202。输入1202可以包括由传感器感测的用户数据以及在用户设备的显示器上向用户提供数据(例如,图形)的时间。在框1204,基于输入1202,自适应接口可以确定在显示器上提供数据时用户具有哪些用户数据。例如,当用户读取关于显示在用户设备上的网页的绿色字体的信息时,自适应接口可以确定用户的血压。自适应接口可以应用机器学习技术和神经网络1206来确定用户数据是否需要根据预定标准改变(例如,在当前时刻用户的血压是否高于预定值)。自适应接口还可以应用机器学习技术和神经网络1206来确定要应用到用户设备的输出数据的特定改变1208,以引起用户数据的改变(例如,引起用户血压的降低)。自适应接口可以向用户设备发送要显示的改变的数据。用户设备的显示单元可以处理并显示改变的数据,作为用户设备的输出1210。
自适应接口可以继续从用户设备接收输入1202。具体地,自适应接口可以接收由传感器感测的用户数据以及在用户设备的显示器上向用户提供改变的数据的时间。基于输入1202,自适应接口可以确定在显示器上提供改变的数据时用户具有哪些用户数据,如框1212所示。自适应接口可以确定用户数据是否仍然需要改变(例如,如果用户的血压仍然高于预定值)。如果用户数据仍然需要改变,则在框1214处,自适应接口可以确定,需要对向用户显示的数据进行哪些调整。自适应接口可以向用户设备发送要显示的调整后的数据。用户设备的显示单元可以处理并显示调整后的数据,作为用户设备的输出1210。
在提供调整后的数据时,自适应接口可继续从用户设备接收输入1202。具体地,自适应接口可以接收由传感器感测的用户数据以及在用户设备的显示器上向用户提供调整后的数据的时间。基于输入1202,自适应接口可以确定在显示器上提供调整后的数据时用户具有哪些用户数据,如框1216所示。在框1218处,自适应接口可以确定要向用户显示的数据的调整是否会导致个性化的变化(即用户生物参数的变化)。自适应接口可以执行要显示给用户的数据的连续调整,如框1220所示。自适应接口可以持续地将调整后的数据作为输出1210提供给用户设备。
图13是示出根据示例性实施例的由自适应接口执行的使用机器学习技术持续地定制输出数据的操作的示意图1300。自适应接口可以持续地从用户设备接收输入1302。输入1302可以包括由传感器感测的用户数据以及在用户设备的显示器上向用户提供数据(例如,以图形的形式输出数据)的时间。基于输入1302,在框1304,自适应接口可以确定在显示器上提供数据时用户具有哪些用户数据。自适应接口可以应用机器学习技术和神经网络1306来确定用户数据是否需要根据预定标准而改变。自适应接口还可以应用机器学习技术和神经网络1306来确定要应用到用户设备的输出数据(例如,图形,音频或嗅觉数据)的特定改变1308,以引起用户数据的改变。自适应接口可以发送要在前端(即,在用户设备的显示器上)显示的改变的数据。用户设备的显示单元可以处理改变的数据,并将其作为用户设备的输出1310显示。
自适应接口可以从用户设备接收其他的输入1312。输入1312可以包括由传感器感测的改变的用户数据以及在用户设备的显示器上向用户提供改变的数据的时间。基于输入1312,自适应接口可以确定输出数据的改变是导致用户数据的个性化的改变还是期望的改变,如框1314所示。具体地,自适应接口可以确定,用户数据为了响应于向用户提供改变的输出数据以何种方式改变。自适应接口可以进一步应用机器学习技术和神经网络1316,以确定将被应用于用户设备的改变的输出数据的调整1318,从而引起用户数据的进一步改变。自适应接口可以发送要在前端(即,在用户设备的显示器上)显示的调整后的数据。用户设备的显示单元可以处理调整后的数据,并将其作为用户设备的输出1310显示。
图14是示出根据示例实施例的基于与用户的呼吸或心率相关的数据的用户设备上的亮度级别的持续个性化的框图1400。可以基于呼吸肌肉运动、皮肤的热变化、腹部或胸部的运动、心率等来确定呼吸。输入1402可以被持续地提供给自适应接口206。自适应接口206可以处理输入1402并提供用于在用户设备上显示的输出1404。
具体地,用户数据1406可以作为输入1402被提供给自适应接口206。用户数据1406可以包括,当用户与具有特定亮度级别的用户设备交互时,与用户的呼吸或心率有关的数据。用户数据1406还可以包括用户与用户设备的特定亮度级别交互的时间或感知用户设备的特定亮度级别的时间。在框1408处,自适应接口206可以确定用户在用户设备具有特定亮度级别(例如,用户在用户设备的亮度级别为5时用户具有什么呼吸和心率)的特定时间具有哪些用户数据,如框1410所示。
在框1412,自适应接口206可以在从1到10的标度上改变亮度级别,以引起用户的心率的呼吸的改变。基于用户或多个用户的历史数据,可以使用机器学习技术来确定是否需要改变亮度级别以及改变到什么值。在将用户设备的亮度级别1414从1设置到10时,自适应接口206可以接收其他的用户输入数据1416。其他的用户数据1416可以包括,与用户和具有从1到10的亮度级别1414的用户设备交互时用户的呼吸或心率相关的数据。用户数据1406还可以包括,用户与用户设备的从1到10的亮度级别1414的交互时间或感知时间。
在框1418,当用户设备具有亮度级别1414(例如,当用户设备的亮度级别1414从1到10时用户具有什么呼吸和心率)时,自适应接口206可以确定用户在特定时间具有哪些用户数据。在框1420,自适应接口206可以选择调整的,即个性化的亮度级别值,以例如减慢用户的呼吸或心率。可以在用户设备上设置由自适应接口206选择的个性化亮度级别1422(例如,3-4)。
在设置用户设备的个性化亮度级别1422时,自适应接口206可以接收连续检测到的用户数据1424。在框1426,当用户设备具有个性化亮度级别1422时,自适应接口206可以确定用户在特定时间具有哪些用户数据。在框1428,自适应接口206可以执行亮度级别的连续个人化,以引起用户数据的个人化改变,例如用户的呼吸或心率。
图15是示出根据示例性实施例的基于与用户的呼吸或心率相关的数据对用户设备上的音量级别进行连续个性化的框图1500。输入1502可以被连续地提供给自适应接口206。自适应接口206可以处理输入1502并提供用于在用户设备上显示的输出1504。
具体地,用户数据1506可以被提供给自适应接口206。用户数据1506可以包括在用户与具有特定音量水平的用户设备交互时与用户的呼吸或心率相关的数据。用户数据1506还可以包括用户与之交互或交互的时间。感知用户设备的特定音量级别。在框1508处,自适应接口206可以确定用户在用户设备具有特定音量级别(例如,用户在用户设备的音量级别为5时具有什么呼吸和心率)的特定时间具有哪些用户数据,如框1510所示。
在框1512,自适应接口206可以在从1到10的标度上改变音量级别,以引起用户的心率的呼吸的改变。基于用户或多个用户的历史数据,可以使用机器学习技术来确定是否需要改变音量级别以及改变到什么值。在将用户设备的音量级别1514设置为1到10时,自适应接口206可以接收其他的用户输入数据1516。其他的用户数据1516可以包括在用户与具有1到10的音量级别1514的用户设备交互时,与用户的呼吸或心率相关的数据。用户数据1506还可以包括用户与用户设备的音量级别1514交互或感知音量级别1514从用户设备的1到10的时间。
在框1518处,自适应接口206可以确定当用户设备具有音量级别1514时,用户在特定时间具有哪些用户数据(例如,当用户设备的音量级别1514从1到10时,用户处于什么呼吸和心率)。在框1520处,自适应接口206可以选择音量级别的调整值,以例如减慢用户的呼吸或心率。可以在用户设备上设置由自适应接口206选择的个性化音量级别1522(例如,3-4)。
在设置用户设备的个性化音量级别1522时,自适应接口206可以接收连续检测到的用户数据1524。在框1526,当用户设备具有个性化音量级别1522时,自适应接口206可以确定用户在特定时间具有哪些用户数据。自适应的在框1528,接口206可以执行音量级别的连续个人化,以引起用户数据的个人化改变,例如用户的呼吸或心率。
图16是示出根据示例性实施例的基于与用户的呼吸或心率相关的数据,在用户设备上的气味级别的持续个性化的框图1600。输入1602可以被持续地提供给自适应接口206。自适应接口206可以处理输入1602并提供用于在用户设备上显示的输出1604。用户设备可以包括如图1所示的人工嗅觉设备122。
用户数据1606可以被提供给自适应接口206。用户数据1606可以包括在用户与具有特定音量级别的用户设备交互时,与用户的呼吸或心率相关的数据。用户数据1606还可以包括用户与用户设备的特定气味级别交互或感知用户设备的特定气味级别的时间。在框1608,自适应接口206可以确定当用户设备具有特定的气味级别(例如,当用户设备的气味剂级别是5时用户具有什么呼吸和心率)时,用户在特定时间具有哪些用户数据,如框1610所示。
在框1612,自适应接口206可以在从1到10的标度上改变气味剂水平,以引起用户的心率的呼吸的改变。基于用户或多个用户的历史数据,可以使用机器学习技术来确定是否需要改变气味级别以及改变到什么值。在将用户设备的气味级别1614设置为1到10时,自适应接口206可以接收进一步的用户输入数据1616。其他的用户数据1616可以包括在用户与具有从1到10的气味剂级别1614的用户设备交互时与用户的呼吸或心率相关的数据。用户数据1616还可以包括,用户与用户设备的从1到10的气味级别1614交互或感知的时间。
在框1618处,自适应接口206可以确定当用户设备具有气味级别1614的特定时间时,用户具有哪些用户数据(例如,当用户设备的气味级别1614从1到10时,用户具有什么呼吸和心率)。在框1620处,自适应接口206可以选择气味级别的个人化值(例如用于减慢用户的呼吸或心率)。可以在用户设备上设置由自适应接口206选择的个性化气味级别1622(例如,3-4)。
设置了用户设备的个性化气味级别1622,自适应接口206可以接收连续检测到的用户数据1624。在框1626,自适应接口206可以确定当用户设备具有个性化气味级别1622的特点时间时,用户具有哪些用户数据。在框1628处,自适应接口206可以执行气味级别的持续个性化,以引起用户数据的个性化改变(例如用户的呼吸或心率)。
图17是示出根据示例实施例的由机器学习系统定制的用于基于用户数据来定制输出的移动设备的用户接口的示意图1700。具体地,图17示出了基于由传感器106感测的用户数据124来定制用户设备104上的图形输出。用户接口1702可以在用户设备104的屏幕上显示输出数据1704。用于基于用户数据来定制输出的机器学习系统200的自适应接口206可以定制输出数据1704并将定制的输出数据1706发送到用户接口1702。用户接口1702可以显示用户设备104的屏幕上的定制数据1706。定制的输出数据1706可以包括改变的字体,改变的颜色,改变的亮度,改变的对比度等。
在进一步定制输出数据时,自适应接口206可以向用户接口1702发送进一步定制的输出数据1708。用户接口1702可以在用户设备104的屏幕上显示进一步定制的数据1708。定制的输出数据1708可以包括改变的字体,改变的颜色,改变的亮度,改变的对比度,改变的背景等。
自适应接口206可以持续地定制输出数据,并将进一步定制的输出数据1710提供给用户接口1702。用户接口1702可以在用户设备104的屏幕上显示进一步定制的数据1710。
图18是示出根据示例实施例的由机器学习系统定制的基于用户数据来定制输出的用户设备的输出数据的示意图1800。具体地,图18示出了基于由传感器106感测的用户102的用户数据124来定制耳机118上的音频输出。输出数据(例如声音的音调1802和音量1804)可以被提供给耳机118。用于基于用户数据来定制输出的机器学习系统200的自适应接口206可以定制音调1802和音量1804,并将与定制的音调1806和定制的音量1808相关联的数据发送到耳机118。耳机118可以再现具有定制音调1806和定制音量1808的音频输出。
在基于用户数据124进一步定制音频输出时,自适应接口206可以向耳机118发送进一步定制的音调1810和进一步定制的音量1812。耳机118可以再现具有进一步定制的音调1810和进一步定制的音量1812的音频输出。
自适应接口206可以连续地定制音频输出,并向耳机118提供进一步定制的音调1814和进一步定制的音量1816。耳机118可以向用户102再现进一步定制的音调1814和进一步定制的音量1816。
图19是示出根据示例实施例的由机器学习系统定制的基于用户数据来定制输出的用户设备的输出数据的示意图1900。具体地,图19示出了基于由传感器106感测的用户102的用户数据124来定制人工嗅觉设备120上的嗅觉数据。可以通过人工嗅觉设备120向用户102提供输出数据,诸如具有从非常令人愉快(例如,如由元素1906所示的玫瑰)到非常令人不快(例如,如由元素1908所示的臭鼬)范围内的令人愉快的感觉轴1904的单元1902。用于基于用户数据来定制输出的机器学习系统200的自适应接口206可以定制感知轴1904的单元1902,并将定制单元1910发送到人工嗅觉设备120。人工嗅觉设备120可以根据定制单元1910设置嗅觉数据。
在基于用户数据124进一步定制嗅觉数据时,自适应接口206可以将感知轴1904的进一步定制单元1912发送到人工嗅觉设备120。人工嗅觉设备120可以根据定制单元1912设置嗅觉数据。
自适应接口206可以持续定制嗅觉数据,并将感知轴1904的其他定制单元1914提供给人工嗅觉设备120。人工嗅觉设备120可以根据定制单元1914设置嗅觉数据。
图20是示出根据示例实施例的基于由用户设备的数字相机捕获的用户数据来定制用户设备的输出的示意图2000。用户设备可以包括智能电话。显示为照相机2002的数字照相机可以设置在离用户102的距离2004处。照相机2002可以被配置为捕获用户数据的距离2004可以高达几米或任何其它距离,这取决于照相机2002的参数和环境条件。
在一个示例性实施例中,照相机2002可以从电荷耦合器件、互补金属氧化物半导体图像传感器或任何其它类型的图像传感器中选择。用户设备的照相机2002可以用作非接触和非侵入设备来测量用户数据。用户数据可以包括呼吸速率、脉搏率、血容量脉冲等。照相机2002可用于捕获用户102的图像。照相机2002捕获的用户数据可以由系统200的自适应接口206处理。该处理可以使用CPU,GPU和/或NPU来执行。由照相机2002捕获的用户数据可以是自适应接口206的输入,并且可以如下数据一起处理,关于显示给用户的可视时间的数据、在捕获用户数据时提供给用户的音频、以及关于记录用户数据的时间的数据。
在一个示例性实施例中,可以使用照相机2002同时感测呼吸速率,心率和血容量脉冲。具体地,照相机2002可以捕获用户的图像2006。在捕获时,可以在图像2006上检测用户202的皮肤2008的一部分。在检测到皮肤的图像时,可以选择感兴趣区域2010,如步骤2012所示。在选择感兴趣区域2012之后,可以测量感兴趣区域2012在短时间内的平均图像亮度的变化。选择面部的感兴趣区域2012可用于获得血液循环特征并获得原始血容量脉冲信号。感兴趣区域的选择可以影响随后的心率检测步骤。首先,感兴趣区域的选择可以直接影响跟踪,因为通常应用的跟踪方法使用所捕获的感兴趣区域的第一帧。其次,所选择的感兴趣区域被认为是心脏信息的来源。感兴趣区域内的像素值可用于基于强度的方法,而感兴趣区域内的特征点位置可用于基于运动的方法。
用户102的皮肤的一部分的时间推移图像可以被连续地捕获,并且可以测量感兴趣区域2010的平均亮度的变化持续一段时间,例如持续30秒。亮度数据可以通过使用一阶导数,2Hz的低通滤波器和六阶自回归频谱分析的一系列内插操作来处理。
远程光体积描记术可用于通过照相机来非接触地监测血容量脉冲。血液比周围组织吸收更多的光,且血液量的变化影响光透射和反射,如箭头2034所示。这导致人皮肤中的细微颜色变化,这对于人的眼睛是不可见的,但是可以由照相机记录。可以应用各种光学模型来提取由脉冲引起的颜色变化的强度。
假设人心跳频率在0.4和4Hz之间,可以以每秒8帧(fps)的帧速率捕获心率信号。在15和30fps之间的帧速率对于心率检测是足够的。通过直接应用降噪算法和光学建模方法来执行心率的估计。或者,可以使用将多维面部视频数据映射到一维空间的流形学习方法来揭示心率信号。血红蛋白和氧合血红蛋白具有在绿色范围内吸收和在红色范围内吸收的能力。然而,所有三个颜色通道(红,绿和蓝)包含光体积描记图(PPG)信息。红绿蓝(RGB)滤色器2036可用于从所捕获的感兴趣图像2010中提取红帧2014,绿帧2016和蓝帧2018。可以基于所捕获的红帧2014,绿帧2016和蓝帧2018来确定红色信号2020,绿色信号2022和蓝色信号2024。
图21是示出根据示例性实施例的由自适应接口对所捕获的用户数据进行分析的示意图2100。可以使用基于强度的方法2106,2108,2110来处理由照相机捕获的PPG信号。可以分析归一化的颜色强度(RGB颜色)。使用自回归光谱分析,可以在大约0.3和1.2Hz处检测到两个清晰的峰值。峰值对应于呼吸速率和心率。频率为0.3Hz的峰值2102对应于呼吸频率,频率为1.2Hz的峰值2104对应于心率。绿色信道提供最强的信噪比。因此,绿色通道可用于提取心率。
回到图20,在检测到红色信号2020,绿色信号2022和蓝色信号2024时,可以在步骤2026确定平均RGB信号。可以在步骤2028执行平均RGB信号的信号去趋势。在步骤2030,处理后的信号可以被归一化。可以在步骤2030执行归一化信号的滤波。
再次参考图21,对所捕获的用户数据的分析可以进一步包括捕获在用户设备上显示给用户的数据的亮度级别,对比度级,饱和度级和亮丽度级别。用户感知具有持续变化的亮度等级、对比度等级、饱和度级别和亮丽度级别的用户设备上所显示的视觉。自适应接口可以接收如下形式的输入:显示亮度、对比度、饱和度和亮丽度的程度或级别的时间,以及从照相机检测的用户数据来分析心率和呼吸速率的时间。如图对比度/21所示,输入是亮度级别2112,对比度级2114,饱和度级别2116和亮丽度级别2118,它们可以被映射到时间,并且可以被映射到时间和分析心率和呼吸速率的值2120,2122,2124。
自适应接口可以使用神经处理单元来执行连续处理2126,来用于预测由传感器(照相机)捕获的数据集的建模和视觉调整。在自适应接口中,可以使用深度学习技术来处理数据集的输入。深度学习技术可以将特定的和不同的机器学习技术应用到数据集,以学习如何处理数据集并使得用户设备上的视觉调整适应于支持较慢的心率和呼吸速率。机器学习技术可以是监督的,半监督的和无监督的。自适应接口可以分析视觉调节与心率和呼吸速率之间的相关性,处理数据集并创建预测模型以使视觉调节实时和连续个性化地适应于对用户个性化的较慢心率和较慢呼吸速率的期望结果。对于输入,自适应接口可以识别可预测结果的视觉调整的特征,以预测心率和呼吸速率。自适应接口可以使用分类、回归、聚类、卷积神经网络和其它机器学习技术,基于这些技术来分析数据集并且预测定制的输出数据以最快地降低和减慢用户的心率和呼吸速率。由自适应接口执行的概率和预测建模可以自适应地学习如何使得用户设备的视觉调整能够适应于具有变化心率和呼吸频率的用户。随着自适应接口识别视觉调节的数据集中的模式、心率和呼吸速率,自适应接口可以从观察中学习。当暴露于更多的观察时,可以提高自适应接口的预测性能。
在一个示例实施例中,由自适应接口执行的分析可以包括步骤2126,在步骤2126可以进行信号提取。信号提取可以包括对感兴趣区域的检测、定义和跟踪、原始信号提取,以获得原始信号。可以基于信号提取来选择视觉调整。视觉调整可以包括对亮丽度级别,饱和度级,对比度级,亮度级别的调整。基于视觉调整,可以确定显示光谱并将其应用于用户设备的显示器。
分析还可以包括步骤2128,在步骤2128,可以通过对信号应用滤波和降维来进行信号估计,以获得RGB信号。此外,可以使用频率分析和峰值检测来估计心率和呼吸速率。
分析可以进一步包括步骤2130,在步骤2130可以执行自适应建模。自适应建模可以包括深度学习技术,用于基于心率和呼吸速率来自适应视觉的机器学习技术,使用回归、聚类、特征选择和卷积神经网络的模型学习。
该分析还可以包括步骤2132,在该步骤中可以执行实施。具体地,可以提供用于用户设备的输出数据,可以执行模型测试,可以实时和持续地使得亮丽度、饱和度、对比度和亮度级别适应于心率和呼吸速率。可以持续地应用机器学习和其它技术。
图22是示出根据示例实施例的由自适应接口连续地适配的输出数据的示意图2200。自适应接口206可以将分析的、自适应的和定制的输出数据发送到CPU或GPU,用于处理个性化数据集。可以向用户102呈现用户接口2202,2204,2206,2208,2210,用户接口2202,2204,2206,2208,2210可以被连续地实时地个性化。用户接口2202,2204,2206,2208,2210可以具有变化的亮度,对比度,饱和度和亮丽度级别。用户设备104还可以向自适应接口提供与处理速度有关的数据。因此,自适应接口可以学习如何改进数据处理以进行更快的处理,从而针对较慢心率和呼吸速率可以更快和更有效地处理视觉调整。
自适应接口可以从网络和数据库接收关于分析和处理数据集的方法的更新。所述更新可以基于关于哪些视觉支持减慢心率和呼吸速率的科学研究和测试。更新还可以包括关于与如何分析心率和呼吸速率以及"较慢的"心率以及呼吸速率意味着什么所相关的数据。自适应接口的焦点可以是提供更慢、更平静和更深的心率和呼吸速率。基于科学和其它数据,可以随时间改变较慢、平静和较深的心率和呼吸速率的定义,并且可以从网络来更新自适应接口,以集成这些改变并将输入数据的处理适配于所述更新。由多个用户中的每一个使用的每个自适应接口可以向数据库提供与数据集相关的和数据处理有关的数据,因此机器学习技术可以使用来自与多个用户相关联的多个自适应接口的数据来改善对用户的心率和呼吸速率的视觉调整。可以将与从多个自适应接口和用户学习的数据有关的更新提供给每个自适应接口。
自适应接口可用于分析和评估哪些视觉调整的数据集(即输出数据),以及个性化在用户设备上显示给用户的视觉,以个性化心率和呼吸速率的期望变化。心率或呼吸速率可以被定制为低于平均和/或第一次检测的心率和呼吸速率。自适应接口可以持续地分析用户数据以及用户与用户设备和视觉的交互,并且可以持续地学习以利用视觉调整来定制视觉,以进一步改变用户的心率和呼吸速率。
图23是示出根据示例性实施例的基于用户数据来定制输出的方法的流程图2300。自适应接口可以持续地处理用户数据,如操作2302所示。在操作2304,自适应接口可以确定用户的心率和呼吸速率是否减慢。如果心率和呼吸速率不减慢,则该方法可以继续进行操作2306,在操作2306,自适应接口可以使用在用户设备上显示给用户的数据的亮度级别、对比度级别、饱和度级别和亮丽度级别的调整,来改变用户设备上的视觉(即,输出数据)。
在操作2308,可以在用户设备上处理和向用户提供与改变的视觉有关的数据。在操作2310,自适应接口可以再次确定用户的心率和呼吸速率是否减慢。如果心率和呼吸速率减慢,则自适应接口可以执行操作2312,在该操作中,可以处理与亮度级别、对比度级别、饱和度级别和亮丽度级别的视觉调节有关的数据。在操作2314,自适应接口可以继续用户数据的处理。
如果在操作2310确定心率和呼吸频率不减慢,则在操作2316,自适应接口可以采用其它机器学习技术来执行对视觉的进一步自适应。
返回到操作2304,如果确定心率和呼吸速率减慢,则在操作2316,自适应接口可以确定视觉的调整趋势是否支持较慢的心率和呼吸速率。如果视觉调节的趋势支持较慢的心率和呼吸速率,自适应接口可以继续操作2308。如果调整视像的趋势不支持较慢的心率和呼吸速率,则自适应接口可以执行操作2318,在该操作2318,自适应接口可以搜索可以支持较慢的心率和较慢的呼吸速率的视觉调整。一旦选择了视觉的调整,自适应接口可以继续操作2312。
图24示出了可用于实现这里描述的实施例的示例性计算系统2400。图24的示例性计算系统2400可以包括一个或多个处理器2410和存储器2420。存储器2420可以部分地存储由一个或多个处理器2410执行的指令和数据。当示例性计算系统2400在操作中时,存储器2420可以存储可执行代码。图24的示例性计算系统2400还可以包括大容量存储器2430,便携式存储器2440,一个或多个输出设备2450,一个或多个输入设备2460,网络接口2470以及一个或多个外围设备2480。
图24所示的部件被描述为通过单个总线2490连接。部件可以通过一个或多个数据传输装置连接。一个或多个处理器2410和存储器2420可以经由本地微处理器总线连接,并且,大容量存储器2430,一个或多个外围设备2480,便携式存储器2440和网络接口2470可以经由一个或多个输入/输出总线连接。
可以用磁盘驱动器或光盘驱动器实现的大容量存储器2430是非易失性存储设备,用于存储由磁盘或光盘驱动器使用的数据和指令,磁盘或光盘驱动器又可以由一个或多个处理器2410使用。大容量存储器2430可以存储用于实施这里描述的实施例的系统软件,以将该软件加载到存储器2420中。
便携式存储器2440可以与诸如光盘(CD)或数字视频盘(DVD)之类的便携式非易失性存储介质结合操作,以向图24的计算系统2400输入数据和代码和从图24的计算系统2400输出数据和代码。用于实现这里描述的实施例的系统软件可以被存储在这样的便携式介质上,并经由便携式存储器2440输入到计算系统2400。
一个或多个输入设备2460提供用户接口的一部分。一个或多个输入设备2460可以包括用于输入字母数字和其它信息的字母数字小键盘(诸如键盘),或者诸如鼠标、跟踪球、指示笔或光标方向键的定点设备。此外,如图24所示的计算系统2400包括一个或多个输出设备2450。合适的一个或多个输出设备2450包括扬声器,打印机,网络接口和监视器。
网络接口2470可用于经由一个或多个通信网络与外部设备、外部计算设备、服务器和联网系统进行通信,所述通信网络例如为一个或多个有线、无线或光网络的通信网络,包括:例如因特网、内联网、LAN、WAN、蜂窝电话网络(例如全球移动通信系统网络,分组交换通信网络、电路交换通信网络)、蓝牙无线电和基于IEEE 802.11的射频网络。网络接口2470可以是网络接口卡(诸如以太网卡),光收发器,射频收发器,或任何其它类型的能够发送和接收信息的设备。这种网络接口的其它示例可以包括移动计算设备中的蓝牙、3G、4G和无线,以及USB。
一个或多个外围设备2480可以包括任何类型的计算机支持设备以向计算系统添加附加功能。一个或多个外围设备2480可以包括调制解调器或路由器。
包含在图24的示例性计算系统2400中的组件是通常在计算系统中找到的那些组件,这些计算系统适用于本文描述的实施例,并且旨在代表本领域公知的这种计算机组件的广泛种类。因此,图24的示例性计算系统2400可以是个人计算机,手持计算设备,电话,移动计算设备,工作站,服务器,小型计算机,大型计算机或任何其它计算设备。计算机还可以包括不同的总线配置,联网平台,多处理器平台等。可以使用各种操作系统(OS),包括UNIX,Linux,Windows,Macintosh OS,Palm OS和其它合适的操作系统。
上述功能中的一些可以由存储在存储介质(例如,计算机可读介质)上的指令组成。指令可以由处理器检索和执行。存储介质的一些实例是存储器设备,磁带,磁盘等。所述指令在由处理器执行时是可操作的,以指导处理器根据示例性实施例来操作。本领域技术人员熟悉这些指令,处理器和存储介质。
值得注意的是,适于执行这里描述的处理的任何硬件平台都适于与示例性实施例一起使用。这里使用的术语“计算机可读存储介质”和“计算机可读存储媒体”是指参与向CPU提供指令以供执行的任何介质。这种介质可以采用多种形式,包括但不限于非易失性介质,易失性介质和传输介质。非易失性介质包括例如光盘或磁盘,例如固定磁盘。易失性介质包括动态存储器,例如RAM。传输介质包括同轴电缆、铜线和光纤,其他的包括线缆(包括总线的一个实施例)。传输介质还可以采取声波或光波的形式,例如在射频和红外数据通信期间生成的那些。计算机可读介质的常见形式包括,例如,软盘,柔性盘,硬盘,磁带,任何其它磁性介质,CD只读存储器(ROM)盘,DVD,任何其它光学介质,具有标记或孔图案的任何其它物理介质,RAM,PROM,EPROM,EEPROM,FLASHEPROM,任何其它存储器芯片或盒,盘,或计算机可以从其中读取的任何其它介质。
各种形式的计算机可读媒体可携带装载到CPU以供运行的一个或一个以上指令的一个或一个以上序列。总线将数据传输送到系统RAM,CPU从系统RAM取回并执行指令。由系统RAM接收的指令可选地由CPU在执行之前或之后存储在固定磁盘上。
致此,本发明描述了基于用户数据来定制输出的机器学习系统和方法。尽管已经参考特定的示例性实施例描述了实施方式,但是显然,可以对这些示例性实施例进行各种修改和改变,而不脱离本申请的更广泛的精神和范围。因此,说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于基于用户数据来定制输出的机器学习系统,所述系统包括:
至少一个传感器,被配置为捕获所述用户数据;
至少一个计算资源,被配置为分析从所述至少一个传感器接收的所述用户数据;和
一自适应接口,被配置为基于对所述用户数据的分析使用至少一种机器学习技术来持续地定制输出数据,定制的输出数据旨在引起个性化改变。
2.如权利要求1所述的系统,其特征在于,所述用户数据包括以下中的至少一个:用户的生物数据,多个用户的生物数据,用户的历史数据,多个用户的历史数据以及环境数据。
3.如权利要求2所述的系统,其特征在于,所述个性化改变包括所述生物数据的改变。
4.如权利要求2所述的系统,其特征在于,所述生物数据包括以下各项中的至少一项:呼吸速率、心率、心率变化、脑电图、心电图、肌电图、皮肤电活动、肌音信号、触觉交互、运动、手势、瞳孔运动、生物分析物、生物构造、微生物、使用者皮肤颜色、血糖水平、血液氧合和血压。
5.如权利要求2所述的系统,其特征在于,所述环境数据与如下至少一个相关联:光、热、运动、湿气和压力。
6.如权利要求1所述的系统,其特征在于,所述至少一个传感器包括生物传感器。
7.如权利要求1所述的系统,其特征在于,所述定制的输出数据包括音频输出和图形输出中的至少一个。
8.如权利要求1所述的系统,其特征在于,所述至少一个计算资源包括以下中的至少一个:应用程序编程接口、服务器、云计算资源、数据库、网络和区块链。
9.如权利要求1所述的系统,其特征在于,所述至少一个计算资源包括以下之一:智能电话、商用平板计算机、平板计算机、膝上型计算机、台式计算机、增强现实设备、虚拟现实设备、混合现实设备、视网膜植入物、人工嗅觉设备、头戴式耳机和音频输出装置。
10.如权利要求1所述的系统,其特征在于,所述至少一个计算资源包括中央处理单元,图形处理单元和神经处理单元中的一个。
11.如权利要求1所述的系统,其特征在于,所述至少一个传感器附着在用户身上。
12.如权利要求1所述的系统,其特征在于,所述至少一个传感器包括以下中的至少一个:热成像照相机、数字照相机、呼吸传感器、深度传感器、雷达传感器和陀螺仪。
13.如权利要求1所述的系统,其特征在于,所述至少一种机器学习技术包括以下的一个或多个:人工神经网络、卷积神经网络、贝叶斯神经网络、监督机器学习算法、半监督机器学习算法、无监督机器学习算法和强化学习。
14.如权利要求1所述的系统,其特征在于,所述用户数据中的所述个性化改变包括以下至少一个:感知时间的改变,呼吸速率的改变,呼吸频率的改变,心率的改变,心率变化的改变,触觉交互的改变,脑电信号的改变,心电图信号的改变,肌电信号的改变,机械肌电信号的改变,皮肤电活动的改变,运动的改变,手势的改变,瞳孔运动的改变,生物构造的改变,微生物的改变,用户皮肤颜色的改变,血糖水平的改变,血液氧合的改变,血压的改变,生物分析物的改变和应激水平的改变。
15.一种基于用户数据来定制输出的方法,其特征在于,所述方法包括:
由至少一个传感器来捕获用户数据;
由至少一个计算资源分析从所述至少一个传感器接收的所述用户数据;和
由自适应接口使用至少一种基于对所述用户数据的分析的机器学习技术,来持续地定制输出数据,定制的输出数据旨在引起个性化改变。
16.根据权利要求15所述的方法,其特征在于,进一步包括:
由所述至少一个计算资源将与多个用户相关联的另外的用户数据汇聚为联合用户数据;
由所述至少一个计算资源使用协同机器学习来分析所述联合用户数据;和
由所述至少一个计算资源,基于对所述联合用户数据的分析结果,来针对个体用户适配至少一中机器学习技术。
17.如权利要求15所述的方法,其特征在于,还包括:通过自适应接口,基于用户与自适应接口的交互,持续地适配媒体输出。
18.根据权利要求15所述的方法,其特征在于,所述至少一个传感器包括用于分析由用户发射的电子信号的设备,其中所述方法还包括由所述设备提取如下中的一个:所述用户的生理参数和与所述用户相关联的活动。
19.如权利要求15所述的方法,其特征在于,持续定制所述输出数据包括以下至少一个:改变颜色,播放音频感知的刺激,提供触觉反馈,改变字体,改变所述字体的形状,改变亮度,改变对比度,改变照度,改变温暖,改变饱和度,改变淡化,改变阴影,改变锐度,改变结构,生成计算机图像,改变低音,改变音量,改变声音的音调,改变高音,改变平衡,改变图形用户接口以及改变用户体验设计。
20.一种基于用户数据来定制输出的机器学习系统,其特征在于,所述系统包括:
至少一个传感器,被配置为捕获所述用户数据;
至少一种计算资源,被配置为:
分析从所述至少一个传感器接收的用户数据;将与多个用户相关联的其他用户数据汇聚为联合用户数据;使用协同机器学习来分析所述联合用户数据;以及
基于对所述联合用户数据的分析结果,为个体用户适配至少一种机器学习技术;和自适应接口,被配置为:
基于对所述用户数据的分析,使用至少一种机器学习技术持续地定制输出数据,所述定制的输出数据旨在引起个性化改变;和
基于用户与所述自适应接口的交互持续地适配媒体输出。
CN201880064462.6A 2017-08-04 2018-08-02 用于基于屏幕的交互的自适应接口 Active CN111315278B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762605179P 2017-08-04 2017-08-04
US62/605,179 2017-08-04
US201762541899P 2017-08-07 2017-08-07
US62/541,899 2017-08-07
PCT/US2018/044997 WO2019028247A1 (en) 2017-08-04 2018-08-02 ADAPTIVE INTERFACE FOR SCREEN-BASED INTERACTIONS

Publications (2)

Publication Number Publication Date
CN111315278A true CN111315278A (zh) 2020-06-19
CN111315278B CN111315278B (zh) 2023-04-07

Family

ID=65230211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064462.6A Active CN111315278B (zh) 2017-08-04 2018-08-02 用于基于屏幕的交互的自适应接口

Country Status (4)

Country Link
US (1) US10423893B2 (zh)
EP (1) EP3661415A4 (zh)
CN (1) CN111315278B (zh)
WO (1) WO2019028247A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010784B2 (en) 2017-01-31 2021-05-18 Walmart Apollo, Llc Systems and methods for search query refinement
US11609964B2 (en) 2017-01-31 2023-03-21 Walmart Apollo, Llc Whole page personalization with cyclic dependencies
US10554779B2 (en) 2017-01-31 2020-02-04 Walmart Apollo, Llc Systems and methods for webpage personalization
US10366133B2 (en) 2017-01-31 2019-07-30 Walmart Apollo, Llc Systems and methods for whole page personalization
US11245726B1 (en) * 2018-04-04 2022-02-08 NortonLifeLock Inc. Systems and methods for customizing security alert reports
WO2020003910A1 (ja) * 2018-06-28 2020-01-02 株式会社村上開明堂 心拍検出装置、心拍検出方法及びプログラム
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
US10949224B2 (en) * 2019-01-29 2021-03-16 Walmart Apollo Llc Systems and methods for altering a GUI in response to in-session inferences
US11443380B2 (en) * 2020-02-20 2022-09-13 Mark Cummings System and method of providing and recording personalized context-specific advice in the form of an artificial intelligence view of a hierarchical portfolio
GB2594328B (en) * 2020-04-24 2024-04-10 Novosound Ltd Secure ultrasound system
US11416369B1 (en) 2020-12-18 2022-08-16 Express Scripts Strategic Development, Inc. Machine learning models for automated anomaly detection for application infrastructure components
US11537495B2 (en) 2021-01-31 2022-12-27 Walmart Apollo, Llc Systems and methods for altering a graphical user interface
US20220366323A1 (en) * 2021-05-11 2022-11-17 International Business Machines Corporation Intelligent system for personalized workspace evolution
US20230380793A1 (en) * 2022-05-27 2023-11-30 Samsung Electronics Co., Ltd. System and method for deep audio spectral processing for respiration rate and depth estimation using smart earbuds
CN116682543B (zh) * 2023-08-03 2023-11-10 山东大学齐鲁医院 一种区域康复信息的共享方法及系统
CN116738371B (zh) * 2023-08-14 2023-10-24 广东信聚丰科技股份有限公司 基于人工智能的用户学习画像构建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100160744A1 (en) * 2007-06-04 2010-06-24 Electronics And Telecommunications Research Institute Biological signal sensor apparatus, wireless sensor network, and user interface system using biological signal sensor apparatus
US20140099614A1 (en) * 2012-10-08 2014-04-10 Lark Technologies, Inc. Method for delivering behavior change directives to a user
CN105453128A (zh) * 2013-05-30 2016-03-30 阿特拉斯维拉伯斯公司 便携式计算设备以及对从其捕捉的个人数据的分析

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158368A1 (en) * 2000-06-16 2013-06-20 Bodymedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
US9597014B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. GPS accuracy refinement using external sensors
EP3063686A2 (en) * 2013-10-31 2016-09-07 Dexcom, Inc. Adaptive interface for continuous monitoring devices
US10504020B2 (en) * 2014-06-10 2019-12-10 Sightline Innovation Inc. System and method for applying a deep learning neural network to data obtained from one or more sensors
US20180070840A1 (en) * 2015-03-19 2018-03-15 Koninklijke Philips N.V. Wearable devices with two stage of use
US20170300186A1 (en) * 2016-04-18 2017-10-19 Peter Kuhar Systems and methods for health management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100160744A1 (en) * 2007-06-04 2010-06-24 Electronics And Telecommunications Research Institute Biological signal sensor apparatus, wireless sensor network, and user interface system using biological signal sensor apparatus
US20140099614A1 (en) * 2012-10-08 2014-04-10 Lark Technologies, Inc. Method for delivering behavior change directives to a user
CN105453128A (zh) * 2013-05-30 2016-03-30 阿特拉斯维拉伯斯公司 便携式计算设备以及对从其捕捉的个人数据的分析

Also Published As

Publication number Publication date
US20190042981A1 (en) 2019-02-07
WO2019028247A1 (en) 2019-02-07
US10423893B2 (en) 2019-09-24
CN111315278B (zh) 2023-04-07
EP3661415A1 (en) 2020-06-10
EP3661415A4 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
CN111315278B (zh) 用于基于屏幕的交互的自适应接口
US11561806B2 (en) Adaptive interface for screen-based interactions
US10854103B2 (en) Modular wearable device for conveying affective state
JP7152950B2 (ja) 眠気開始検出
US10291977B2 (en) Method and system for collecting and processing bioelectrical and audio signals
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
WO2018042799A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20140285326A1 (en) Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20230259208A1 (en) Interactive electronic content delivery in coordination with rapid decoding of brain activity
US11638104B2 (en) Ear-worn electronic device incorporating motor brain-computer interface
KR20150106954A (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
CN112005311A (zh) 用于基于睡眠架构模型向用户递送感官刺激的系统和方法
WO2021061699A1 (en) Adaptive interface for screen-based interactions
CN104203101A (zh) 背景刺激的选择
WO2018222589A1 (en) System and method for treating disorders with a virtual reality system
CN113053492B (zh) 基于用户背景和情绪的自适应虚拟现实干预系统及方法
US20240145065A1 (en) Apparatuses, systems, and methods for a real time bioadaptive stimulus environment
US20240203577A1 (en) Method of providing health information using electronic device and the electronic device
CN111430006A (zh) 情感调节方法、装置、计算机设备和存储介质
CN117796821A (zh) 神经反馈干预方法、装置及系统
KR20240059539A (ko) 생체 정보를 이용한 인공지능 기반의 체중 관리 서비스 제공 방법 및 장치
CN117694892A (zh) 情绪健康状态分析方法和电子设备
JP2003334252A (ja) ヒーリング・コンピュータ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant