CN110546608A - 人工智能认知阈值 - Google Patents

人工智能认知阈值 Download PDF

Info

Publication number
CN110546608A
CN110546608A CN201880027315.1A CN201880027315A CN110546608A CN 110546608 A CN110546608 A CN 110546608A CN 201880027315 A CN201880027315 A CN 201880027315A CN 110546608 A CN110546608 A CN 110546608A
Authority
CN
China
Prior art keywords
user
learning
application
learning model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027315.1A
Other languages
English (en)
Other versions
CN110546608B (zh
Inventor
N·T·奥索蒂奥
A·L·莫尔登
M·D·里姆
M·R·克罗斯林-韦勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110546608A publication Critical patent/CN110546608A/zh
Application granted granted Critical
Publication of CN110546608B publication Critical patent/CN110546608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示性实施例公开了用于动态调整应用的用户界面和/或行为来适应连续且无干扰的学习的机制。随着用户对应用的熟练度增加,可以减少学习线索和对应用的其他改变。当用户失去熟练度时,可以增加学习线索和其他改变。用户情绪状态和对学习的开放度也可以用于实时增加和/或减少学习线索和改变。系统创建考虑例如学习风格、用户类型等的用户特性的多个学习模型,并且使用所收集的数据来找到最佳匹配。所选择的学习模型可以针对单个用户而被进一步定制。还可以基于用户交互和其他数据来调节模型。所收集的数据也可以用于调整基础学习模型。

Description

人工智能认知阈值
技术领域
本申请总体上涉及人工智能和机器学习领域。更具体地,本文的公开内容应用机器学习来标识针对用户的学习模型,并且基于学习模型和用户交互来调整应用的操作。
背景技术
当前的应用使用总体上固定的与用户交互的机制来创建。在许多情况下,公司利用设计专家、焦点组和其他测试方法来创建和设计用户界面(UI),该用户界面试图为用户提供一致、简单的方式来与应用交互且访问其功能性。取决于用户,这可能使得用户需要较长或较短的学习曲线,以变得熟练地理解如何使用UI来访问期望的功能性。在许多情况下,用户仅学习关于特定应用的、足以实际执行他们期望的任务的功能,并且程序可能比用户所使用的有能力得多。许多用户要么不知道、要么无法访问程序所提供的所有能力。
随着用户熟练度增加,UI倾向于保持相对静态,但是一些应用允许用户例如通过重新布置UI元素、添加和/或移除UI元素等来定制用户界面。但是,应用操作的基本方式保持静态。
正是在该上下文中出现了本实施例。
附图说明
图1图示了应用随时间的变化的示例。
图2图示了用户随时间的变化的示例。
图3图示了根据本公开的各方面的用于通过经定制的学习模型来使应用动态适应的示例架构。
图4图示了根据本公开的各方面的用于通过经定制的学习模型来使应用动态适应的示例架构。
图5图示了表示性分层用户界面。
图6图示了适用于实现本文所公开的系统和其他方面或适用于执行本文所公开的方法的表示性机器架构。
具体实施方式
以下描述包括例示说明性实施例的说明性系统、方法、用户界面、技术、指令序列和计算机器程序产品。在以下描述中,出于解释的目的,阐述了许多具体细节来提供对本发明主题的各种实施例的理解。然而,对于本领域技术人员显而易见的是,可以在没有这些具体细节的情况下实践本发明主题的实施例。通常,未详细示出公知的指令实例、协议、结构和技术。
概述
本公开的实施例针对当用户对应用的熟练度增加或减少时发生的问题。在本公开的上下文中,应用可以是在诸如移动设备、平板设备、膝上型计算机、台式计算机、虚拟现实系统、增强现实系统等设备上运行的应用。附加地,应用还将用于指代专用设备,例如,导航(例如,GPS)设备、电器、数字助理等。这些专用设备中的许多设备具有可以受益于本文的公开内容的用户操作和/或与用户交互的用户界面和/或机制。所有这些在本公开中将被称为应用。
本公开描述了包括动态地调整应用的操作以根据用户调整的人工智能(AI)算法/技能的系统、方法等。在一方面,这可以调整应用来考虑增加和/或减少的熟练度。这允许应用以无缝且流畅的方式根据用户动态地调整,并且得到在用户和应用之间的更自然的交互。
在另一方面,AI算法可以调整应用的操作来提高用户的熟练度和/或以这样的方式来教导用户:用户基于用户和AI拟人化之间的交互、对话和上下文来学习流畅且精细的体验。本质上,用户可以通过在他们不知道他们正在学习的情况下正在学习的方式被教导。
作为第一组示例,许多公司正在进入快速开发周期,其中在web上分布的应用的更新版本在一年中被发布多次。如果UI方面和/或功能性随这些发布而变化,则用户对应用的熟练度可能随每个发布降低。在这种情况下,应用可以改变UI和/或行为,以帮助用户更熟练地操作新发布。类似地,在用户的熟练度随给定应用增加的情况下,应用可以改变UI和/或行为来利用用户增加的熟练度。
其他因素也影响用户与给定应用的交互。例如,用户的情绪状态可能影响用户可能偏好如何与应用交互。因此,当用户感到压力和/或烦躁时,用户可能偏好以流线型方式与应用交互,而没有应用“挡道”或“试图教导任何东西”。因此,用户可能偏好具有最少混乱和/或最少交互的公知环境。当标识如何修改应用以及如何与用户交互时,本公开可以考虑用户的情绪状态。
系统可以从各种各样的源收集信息,包括一个或多个用户简档、来自搜索系统的信息(过去的搜索、用户偏好、用户兴趣等)、传感器(心率、血压、运动、环境等)、来自应用的用户交互数据、用户交互历史等。系统然后可以标识洞察,例如,情绪洞察和/或其他洞察。基于一些或所有这些信息,系统可以标识针对用户的学习模型。学习模型可以基于针对该数据导出的特定用户学习简档。
系统使用学习模型以及其他信息来标识应当进行的UI和/或应用的行为的变化。UI变化可以包括数据层、学习线索等。行为调整可以改变应用起作用的方式、何时呈现某些用户界面元素以及各种各样的其他变化。在用户更熟练的场景中,可以使用户界面和/或行为流线型化,以消除不必要的交互。在用户不太熟练的场景中,可以调整用户界面,以使得用户从其当前的熟练度级别到更高的熟练度级别。在给定用户的当前情绪状态、智力状态等的情况下,可以使用针对用户的学习模型和个体学习阈值来创建与用户的学习风格和能力匹配的环境来学习。
在学习模型用于调整应用的UI和/或行为之后,从用户与系统的交互中收集的信息可以用于微调节针对用户的学习模型,以及对形成用户的学习模型的基础的一般学习模型进行调整。例如,如果学习模型基于所收集的数据确定用户将接受用以帮助用户提高熟练度的学习模式,并且相应地设置UI和/或行为,则系统可以监测来自用户的、关于用户如何响应调整的显式和/或隐式反馈。然后使用该反馈来进行进一步调整,以微调节用户体验并且对(多个)底层学习模型进行调整。作为示例,如果学习模型确定用户接受学习并且相应地设置UI和/或行为。随后,学习模型通过监测用户的生物特征、用户与应用交互的方式以及其他这样的数据来确定用户没有很好地响应UI和/或行为。基于该确定,系统更改UI和/或行为来调整当前的用户体验。附加的,系统可以确定应当调整底层学习模型,使得在将来,学习模型对于原始输入将不同地表现。
描述
图1图示了应用随时间的变化的示例100。在该示例中,在时间T1处,存在应用104的第一变体。这可以是应用104的一个版本。用户102与应用104交互,并且随时间提高对应用的熟练度。在之后的日期时间T2处,应用被更新和/或改变为第二变体106。这可以是应用104的不同版本。用户102对应用106的新版本的熟练度由于UI、或行为或两者的不同而下降。
如下文所解释的,系统可以收集和/或使用各种信息来标识针对用户的学习模型。一旦选择了学习模型,该学习模型就可以监测、收集和/或使用信息来修改新版本106的UI和/或行为。例如,通过对诸如任务停留时间、寻找如何执行任务所花费的时间等的信息与用户对先前版本104的类似信息进行比较,学习模型可以确认用户对新版本106的熟练度。此外,情绪状态信息(下文解释)和其他信息也可以用于标识用户当前可能对帮助用户达到更高的熟练度级别的接受度。基于该信息,系统可以标识是否以及如何修改应用的UI和/或行为。
作为表示性示例,考虑作为服务而被提供的应用,其中服务提供方定期更新应用,例如,可能在服务提供方经常使用的短开发周期中发生。有时这样的应用通过本地客户端(例如,web浏览器或专用服务客户端)来访问,并且有时这样的应用可以在本地下载和执行。有时使用组合。在该示例中,当服务提供方从先前版本104移动到当前版本106时,对应用的用户界面和行为都进行改变。
继续该示例,系统标识针对用户的学习模型,该学习模型与用户的特定学习风格(下面讨论)和用户的情况匹配。例如,如果用户是信息工作者并且具有视觉学习风格,则系统可以基于用户简档信息、先前收集的信息等,标识针对用户的最佳匹配的可用学习模型。此外,假设系统从过去的用户体验中还知道用户倾向于不喜欢尝试新事物,并且通常在从应用的一个版本升级到另一版本之前等待尽可能长的时间。学习模型可以利用视觉学习者和不喜欢经改变的应用的组合来确认用户会偏好在熟悉的环境中工作。
假设用户的情绪状态向学习模型指示用户可能对从先前版本104到当前版本106的转换的帮助是开放的。在这种情况下,学习模型可以设置针对用户的学习阈值,这包括标识针对用户的适当的学习线索和其他交互式帮助(因为用户是视觉学习者)。如下所述,这些学习线索和交互式帮助可以被渲染为应用用户界面之上的一个或多个层。附加地或备选地,如果底层应用是学习模型感知的,则系统可以与应用直接交互来改变其UI。
经修改的UI被呈现给用户,并且系统如前所述地监测用户和用户交互。例如,系统可以收集/监测以下中的一个或多个:
·任务停留时间(即,用户花费多长时间尝试执行任务);
·命令搜索行为(即,用户花费多长时间查找控制/命令来执行任务、针对命令勾选的菜单数等);
·帮助系统搜索(即,用户搜索帮助来显示如何完成任务的次数、这些搜索的内容等);
·生物特征数据(心率、体温、血压等);
·系统交互数据(用户多重地敲击键盘、交互的快速性、触摸的力、声音交互的音调、单词选择等);以及
·其他类似信息。
通过收集、监测和/或访问这样的信息,系统可以标识所呈现的学习线索和UI变化在帮助用户102与新版本106交互方面有多成功。如果系统标识即使其他数据指示用户102对新版本106比起对旧版本104没那么熟练,用户也保持冷静,则系统可以断定用户对已进行的变化满意,并且可以继续这些变化和/或对这些变化进行微调节来尝试变得更有帮助。微调节可以包括将学习阈值设置为以下级别:提供甚至更多信息来引导用户达到新的熟练度级别。
在另一方面,如果系统检测到用户正变得越来越沮丧、生气或以其他方式确认学习阈值与用户102的愿望不兼容,则系统可以调整学习阈值。例如,系统可以在一个或多个层上渲染看起来更像先前版本104用户界面的用户界面,以将用户置于更熟悉的环境中。
在通过一个或多个层改变UI的情况下,系统可以充当应用和用户之间的中介。换言之,可以拦截用户交互并将其转换为由底层应用(即,新版本106)接受的交互。例如,如果命令在新版本106中已经从一个位置移动到另一位置,则层可以将命令渲染在先前版本104的(多个)位置中,并且当用户与经改变的UI交互时,向底层应用发出适当的事件。
在行为改变的情况下,系统可以渲染来自先前版本104的适当的UI,并且当用户与经渲染的先前版本UI交互时,收集所需的信息,然后将命令和/或用户102进行的交互转换为底层新版本106所预期的那些命令和/或交互。因此,学习模型和系统可以不仅根据用户而被特制,还可以根据版本(即,104和106)之间的特定变化而被特制,使得系统知道如何将针对经修改的UI的用户交互转换为将允许新版本106完成用户所期望的任务的交互。本领域技术人员可以创建映射应用的不同版本的UI和/或行为所需的转换和/或映射,并且系统然后可以如所描述地利用转换和/或映射来渲染UI并且转换用户交互。
附加于或代替如所描述的调整UI和/或转换用户交互,学习模型可以调整应用的行为。在一些情况下,应用可以是学习模型感知的,或以其他方式展现允许应用接收关于应当如何调整应用的行为来适应变化的用户熟练度和/或用户愿望的信息的功能性。在一些情况下,应用可以基于来自用户的输入和/或如前所述的其他数据来调整其自身的行为。当应用调整其自身的行为时,它可以并入学习模型或学习模型的各方面。在其他情况下,应用可以从单独的学习模型接收输入。在又一些其他情况下,可以使用其组合。
因此,学习模型和学习阈值可以根据用户的变化的心境、愿望等来动态地调整,以修改应用的UI和/或行为。
如果服务提供方和/或公司发布了又一变化,例如,应用变体3108,则学习模型不仅可以考虑对先前版本(即,应用变体2 106)的熟练度,还可以考虑对更先前版本(即,应用变体1 104)的熟练度。因此,学习模型可以被配置为考虑跨应用的多个版本的可变长度历史和/或多个熟练度级别。
图2图示了用户随时间的变化的示例200。在该示例中,用户的熟练度随时间变化,而应用的变体保持不变。因此,在时间T1处,用户可能具有对应用204的低级别的熟练度,该熟练度在时间T2处提高并且在时间T3处再次提高。随着用户的熟练度提高,学习模型可以调整学习阈值来修改应用UI和/或行为,以考虑熟练度的变化。
除了熟练度级别的变化之外,系统还可以考虑用户的情绪状态和环境因素。
作为应用根据用户(熟练度级别的变化、情绪状态和/或环境因素)来调整的一个表示性示例,考虑发出全球定位系统(GPS)指向(例如,通过转弯指向进行转弯)的应用。通常,GPS单元、GPS应用和/或数字助理(均涵盖在本申请的限定下)在用户需要时向用户发出简单的指向。出于该示例的目的,所有这些将被称为“GPS”。例如,当GPS检测到用户正在接近转角时,GPS可以发出“在100码处的下一街道左转”的指向。当用户到达转角时,GPS可以发出“现在向左转”的指向。这些指向易于遵循,但是他们没有将指向放置在更大的上下文中,或帮助用户标识和/或记忆地标来帮助他们学习路线。因此,如果路线复杂并且用户依赖于通过转弯指向的GPS转弯,则即使重复路线,用户也不可能学习路线。因此,用户变得对所有行程都依赖于GPS。
作为一种轻微的变型,用户通常知道他们经常行驶的地方周围的区域,不太熟悉不太经常行驶的区域。因此,当行驶穿过熟悉和不熟悉的地域的路线时,取决于熟悉度级别,对于熟悉的地域,GPS指向不必要地详细,并且对于不熟悉的地域,GPS指向可能是适当的或者也可能是过度或不充分详细的。
学习模型可以诸如通过评估以下来帮助评定对区域的熟悉度级别:用户的过去行驶位置;行驶到某个位置、区域的频率等;用户经过地标、位置等的频率;以及其他类似的数据。用户请求到某个位置的指向有多频繁也可以指示熟悉度级别。在该上下文中,低级别的熟悉度可能意味着用户将偏好更详细的指向,而高级别的熟悉度可能意味着用户将仅需要到位置、地标等的总体指向。此外,将熟悉度级别与地区、区域、位置、地标等相关联可以允许学习模型将指向放置在帮助用户学习不熟悉的地区的上下文中,而不是在所有情况下都简单地给出相同级别的详细指向。
继续示例,假设用户熟悉路线开始的本地区域,但不太熟悉路线终止的精确位置和周围地区。学习模型和/或GPS(取决于特定实现)可以从总体导航指向开始:“前往I90并且朝向西雅图向西”。对于熟悉其本地地区的用户,该指向足以让用户在正确的方向前进并朝向不太熟悉的地区。附加地或备选地,GPS可以将指向放置在较大的上下文中,以帮助教导用户路线。例如:
“为了到达Key Arena,我们将在I90上朝向西雅图向西行驶,
然后并入北I5上。然后我们将在西雅图的主街道之一(例如,
Mercer或Denny)上转弯。一旦我们接近您需要转弯的地方,我
会给您更详细的指令”。
一路上,GPS可以添加细节和/或调出可视地标,地标在白天和夜间可能是不同的,如果用户根据记忆前进,则可能注意到或使用地标。例如,GPS可以让用户知道“下一街道将是Denny Way”或“Denny Way将带您通过Space Needle”。如果GPS检测到用户感到沮丧或没有很好地响应,则可以调整学习级别。例如,如果用户偏好系统不那么健谈(由于愤怒、沮丧、汽车中的对话或其他因素),则可以调整学习级别,以根据需要给出更少的上下文洞察和更详细的指令。系统可以监测用户生物特征,以计量用户对学习线索的反应。系统还可以监测环境传感器来检测例如与汽车中的其他人的用户对话,并且回拨学习线索以不中断用户对话。
作为示例的变型,用户可以利用用户所期望的目的地的指示来启动GPS。然后,GPS可以监测用户的方向并保持无声(不发出详细的命令),除非GPS确定用户未处于到达目的地的轨迹上,此时GPS可以介入并引导用户回到路线上。因此,GPS确认熟练度级别,并且如果熟练度级别足够高,则系统监测用户并且仅在GPS预测不成功结果(即,用户偏离路线,或如果用户继续在其所在的路线上,则到达期望目的地会很麻烦)时,提供帮助和/或指导。
GPS系统基于各种因素来计算路线,例如,将使得用户最快到达目的地、避免不期望的特征(通常由设置指定并且可以包括诸如收费公路、高速公路等的特征)的路线,绕过拥堵、施工或其他不期望事件/条件的路线等。为了确定何时介入,GPS可以基于这样的特征来计算路线,并且然后通知用户偏离该路线的影响。例如,如果用户继续沿当前路线将遇到拥堵,则GPS可以通知用户这样的事件。
类似地,GPS可以在将使得用户能够到达目的地的背景下重新计算路线,并且基于标准(例如,到目的地的时间、行驶的道路类型、诸如拥堵/施工的不期望事件/条件、不期望特征等)对每条路线进行评分,并且在当前预测的路线(即,给定当前位置、过去的行驶路线等,用户最可能采取的路线)分数越过阈值时提供帮助。因此,针对给定路线的每个标准可以被给予从低值到高值范围的对应分数并且合计所计算的分数。分数合计可以被计算为个体标准分数的和、加权和。根据需要,可以执行诸如合计分数的归一化的其他操作。然后可以将该总分数与阈值进行比较,并且当分数超过(或降低到低于,这取决于分数如何被设置)阈值时,系统可以介入来提供帮助、通知用户继续该路线的后果等。
附加地或备选地,GPS可以监测一路上的特定事物并提供帮助。例如,确保用户处于正确的车道中,或者如果用户似乎没有进行所需的车道改变或者减速以转弯,则使其知道即将到来的街道。作为进一步变型,GPS可以监测用户对区域的注意力分散级别和/或熟练度级别(即,熟悉度级别),并且当用户可能注意力分散或不足够熟悉以注意到校正、车道改变、转弯时,需要介入。例如,如果用户正在与乘客对话或者不熟悉某个区域。
作为另一方面,应用(例如,GPS)可以基于用户所陈述的或推断的偏好和/或学习模式来特制UI和/或行为。如下所述,一些用户是空间和/或视觉学习者。其他用户是听觉/口语学习者。还有一些用户是观察且做学习者或其他学习风格。当用户具有停工时间(例如,陷入拥堵中)时,可以以适当的方式加强学习。例如,应用可以使用适当的格式(听觉、触摸屏等)的问题/回答来加强学习。频率和/或定时也可以由用户指定和/或基于如本文所描述的输入数据隐式地确定。
所有这些也可以由用户的情绪状态来调整,例如当用户由于他们目前的情绪状态而烦恼时,不问问题或者不过于健谈。
这些是学习模型可以设置不引人注意地帮助用户学习的学习级别的方式的示例。这些也是如何调整系统来考虑用户对应用和应用之外的其他方面的熟悉度和/或熟练度、但影响系统如何与用户交互的示例。
在以上示例中,本公开的实施例的若干方面是显而易见的。例如,当系统检测到一定级别的熟练度时,它可以提供不同级别的协助。因此,一旦系统确定用户已达到任务的熟练度级别(包括遵循路线或对某个区域的熟悉度),系统就可以监测用户的行为、情绪状态、熟练度、完成期望任务的进度等,并且在看起来有用和/或及时的时候提供帮助。虽然上面的示例使用GPS作为示例应用,但该原则适用于任何应用。因此,例如当用户对给定任务(创建报告、格式化文档、润色照片或任何其他类型的任务)变得更熟练时,系统可以调整用户界面或行为或两者来适应熟练度的变化。
显而易见的另一方面是系统可以根据不同的学习风格来调整。因此,对于主要是视觉学习者的人,系统可以呈现视觉学习线索。对于主要是听觉学习者的人,系统可以呈现可听学习线索等。
图3图示了根据本公开的各方面的用于通过定制的学习模型来使应用动态适应的示例架构300。系统从各种源收集数据。因此,在一些实施例中,系统从简档信息302、搜索历史和其他这样的信息304、传感器信息306和应用308信息中的一个或多个来收集信息。这些信息可以由数据收集过程310收集,数据收集过程310可以是集中式的或分布在各种源之中。数据收集过程310可以将信息放置到一个或多个数据存储库312中。附加地或备选地,数据源可以将它们的信息存储在它们自身的数据存储库中,并且系统可以访问在个体数据存储库中的信息。
简档信息302可以包括用户提供的任何信息。这可以包括一些更常规的简档信息,例如,姓名、职业、联系信息等。该信息还可以包括专门涉及学习模型和学习算法的信息。例如,系统可以向用户提供学习算法的通知以及修改应用的UI和/或行为的能力,并且获得用户的同意来利用用户的信息提供学习体验。作为另一示例,系统可以请求参数,例如,用户偏好具有哪种学习风格(视觉、听觉、口语、物理等)。系统还可以允许用户打开和关闭各种特征或方面,例如,提供某些类型的用户覆盖、设置多久系统自身插入一次、设置针对参数的阈值(例如,学习系统何时进行调整)、提供信息等。系统可以允许用户自指定特定环境中的熟练度级别,以及用于调节学习系统和学习算法对用户如何表现的许多其他类似参数。
搜索历史和其他类似数据304可以提供关于用户兴趣、习惯的信息和其他信息,这些信息对于学习模型关于如何呈现事物、用于呈现信息的隐喻等进行调整是有用的。以下示例示出了在一些实施例中如何使用该信息。
传感器数据306包括关于用户和/或用户的环境的信息。例如,生物特征数据(例如,心率、呼吸率、血压等)、眼跟踪、语句或单词速度、单词选择(例如,指示特定心境的单词(命令式或询问式、短单词或长单词))、敲击键和/或所接收的触摸手势的力、输入定时、语音音量、声音变化和其他这样的信息可以提供关于用户在给定时刻和/或上下文中的情绪状态、身体状态和/或认知能力的信息,以对应用提供的指令/服务起作用。诸如声音、温度、照明等的环境传感器还可以提供关于用户情绪状态、身体状态、认知能力和/或用户环境(例如,用户是否可以专心于系统交互、由于与另一个体对话而具有一定级别的注意力分散等)的信息。
应用308数据可以提供关于用户如何与应用交互的信息。因此,诸如应用的命中率(用户多久使用应用一次)、流失率(触摸/使用应用中的UI的多少以及触摸/使用之间的时间)、花在任务上的时间、帮助多久被搜索一次的信息以及其他这样的数据提供关于对应用的熟悉度、对如何在应用中/使用应用完成任务的熟悉度、用户的情绪状态等的信息。
所有这些数据可以经由一个或多个数据存储库312而可用于系统。可以通过数据收集器310或通过访问底层数据存储库中与个体数据(302、304、306、308)相关联的数据或其组合,将数据放置在一个或多个数据存储库312上。
如模型选择过程318中所图示的,数据用于选择学习模型。学习模型可以存储在相同的数据存储库312或不同的数据存储库中。所收集的数据允许系统标识用户的特性,并且基于这些特性来选择针对用户的学习模型。使用机器学习过程来开发学习模型。可用于导出学习模型的表示性机器学习过程包括但不限于:支持向量机(SVM)技术、卷积神经网络、深度神经网络、决策树过程、k最近邻过程、核密度估计、K均值聚类、期望最大化等。机器学习过程将针对用户收集的数据(例如,诸如上述信息中的一些或全部)作为输入,并基于输入数据产生将给出学习阈值的模型。在本公开的上下文中,学习阈值是告知系统在应用上调整的内容以及调整应用的程度的参数。学习阈值例如可以是通过自身或与其他信息组合时来指示调整应用的内容和程度的、从最小值到最大值的数。
可以利用基本训练数据集来建立学习模型,并且通过如下所述的模型调节过程314来随时间调节学习模型。
模型选择过程318利用用户的特性来取回针对个体的最佳匹配。为了执行该匹配,系统可以从所收集的关于用户的数据中提取限定学习模型的特性子集。在一个实施例中,子集包括以下中的一个或多个:1)学习风格;2)用户角色;以及3)应用;4)其他特性。
当选择学习模型时可以利用学习风格。存在用于用户的学习风格的若干不同的框架。这些不同的框架将学习风格分解为不同的类别。并非所有框架中的所有学习风格都能够在数字学习模型中容易呈现。因此,所选择的框架可以反映可以通过修改应用的UI和/或行为来适应的学习风格类型。在表示性示例中,使用以下学习风格中的一个或多个:视觉/空间、听力/听觉、口语/语言、物理/动觉、逻辑/数学、社交/人际和/或孤独/自我风格。包括哪些风格可以取决于系统的类型。例如,利用虚拟现实或增强现实系统的应用可能比利用其中系统受限于声音/听觉输入和输出的免提设备(例如,在车辆中)的应用更适合于物理/动觉学习风格。因此,在一些实施例中,所选择的学习风格可以基于用户偏好的层级而不是用户的单个选择。
用户角色是在选择学习模型时可以利用的另一特性。用户角色与以下中的一个或多个有关:用户执行的工作类型、用户所在的行业类型、用户执行的任务类型等。因此,用户可能是学生或大学生或大学的工程学候选者等。用户可以是信息工作者、银行业的信息工作者、簿记员等。用户可以是游戏玩家、特定游戏的玩家、休闲玩家等。可以提供许多其他示例,但是这些示例足以说明用户角色的原则。如在这些示例中所见,用户角色可以是宽泛的或狭窄的、可以是较详细的或不那么详细的、并且可以与用户特性和/或用户正在执行的任务相关联。可以创建用户角色的分类,使得可以利用用户特性和/或用户正在执行的任务来取回经标准化的用户角色,经标准化的用户角色然后可以用作模型选择过程中的输入。
所使用的应用可以链接到特定的学习模型。因此,可以根据如何调整应用来特制学习模型。如本文所述,学习模型感知的应用可以以与不是学习模型感知的应用不同的方式而被调整。
模型选择过程318使用的特性子集可以用于选择针对用户的最接近的匹配。在表示性示例中,匹配过程可以将特性向量作为输入并使用向量来匹配学习模型。在表示性示例中,可以利用诸如的搜索平台来将特性子集与学习模型相匹配。
除了学习模型之外,模型选择过程318或另一过程可用于取回能够定制学习模型的信息。例如,生产率和/或娱乐数据可以被取回,其将例如在本文的示例中呈现的定制学习模型。
学习模型320基于被存储在数据存储库312中的所收集的数据中的一些或全部来设置学习阈值。如前所述,学习模型可以利用学习类型、先前接触(例如,对该用户的先前体验)、用户情绪状态和/或其他数据中的一个或多个来标识学习阈值,该学习阈值可以被转换为针对应用308的UI和/或行为变化。还可以通过如何呈现事物、用来呈现信息的隐喻等来定制针对用户的学习模型。
学习阈值用于通过应用调整过程322来调整应用的UI和/或行为。在一个方面,如本文所述,可以通过在层中渲染UI并添加、改变和/或移除应用的不同UI方面来调整UI。以下结合图5更详细地描述该过程。当渲染UI时,可以将不同的学习线索放置在UI中,并且因此不同的学习线索可以是经调整的UI和/或行为的一部分。附加地或备选地,如在本公开中所讨论的,用户与经调整的UI的交互可以被转换为应用期望接收来完成给定任务的输入。如何实现这点(即,通过转换行为、通过直接调整应用的行为、或两者)取决于应用的功能性以及它是否是学习模型感知的或以其他方式允许外部输入来调整应用的行为。
当用户与应用(例如,学习线索、经修改的UI、经修改的行为等)交互时,用户交互以及其他数据可以用于动态调整应用的UI和/或行为(包括无缝地增加和/或减少学习线索)。以下结合图4更详细地讨论该过程。
用户交互还可以用于例如通过模型调节过程314来调节整体模型。模型调节过程314是调整学习模型来更完全地匹配用户预期、增强用户体验等的过程。例如,在先前呈现的GPS示例中,给予用户什么类型的线索(即,GPS是否指出地标、GPS更“健谈”或更“安静”等)可以基于被选择来匹配如上所述的用户特性的学习模型。然而,如果操作与用户期望不匹配,则用户交互可以指示需要对模型进行调整来使得GPS的操作符合用户所想要的。例如,如果用户使GPS静音,则非常好地指示GPS对于用户来说太“健谈”。因此,可以记录描述用户、环境等的当前数据,并且调整学习模型来使得GPS的操作更符合用户所想要的。可以沿一个或多个维度(例如,按照每个用户、每个用户类型、每个产品等)来捕获这些调整或“调节”。因此,模型调节过程314还可以从其他用户316接收信息。以这种方式,可以捕获描述用户类型、产品等的模式,并且该模式将通过以下方式来帮助调节学习模型:使得学习模型以(多个)用户更期望的方式来表现。
调节模型是调整模型的训练。所使用的模型具有输入集(例如,当前数据)和期望输出(例如,对应用的UI和/或行为的不同调整)。因此,可以利用针对模型的训练过程来调整模型并使其更符合用户期望的内容。
图4图示了根据本公开的各方面的用于通过经定制的学习模型来使应用动态适应的示例架构400。该架构400具有与图3的架构共同的若干区域。图4和图3之间的类似方面可以以与图3中所描述的相同/相似的方式进行操作。然而,图4的架构400更侧重于从所收集的数据导出的洞察以及学习模型可以如何使用该洞察来动态调整应用408的UI和/或行为。
在图4的实施例中,系统收集数据,诸如简档数据402、搜索数据404、传感器数据406和/或应用408数据。数据可以与上面结合图3的实施例描述的数据相同。
简档信息402可以包括用户提供的任何信息。这可以包括一些更常规的简档信息,例如,姓名、职业、联系信息等。该信息还可以包括专门涉及学习模型和学习算法的信息。例如,系统可以向用户提供学习算法的通知以及修改应用的UI和/或行为的能力,并且获得用户的同意来利用用户的信息提供学习体验。作为另一示例,系统可以请求参数,例如,用户偏好具有哪个学习风格(视觉、听觉、口语、物理等)。系统还可以允许用户打开和关闭各种特征或方面,例如,提供某些类型的用户覆盖、设置多久系统自身插入一次、设置针对参数的阈值(例如,学习系统何时进行调整)、提供信息等。系统可以允许用户自指定在特定环境中的熟练度级别,以及用于调节学习系统和学习算法对用户如何表现的许多其他类似参数。
搜索历史和其他类似数据404可以提供关于用户兴趣、习惯的信息和其他信息,这些信息对于学习模型关于如何呈现事物、用于呈现信息的隐喻等进行调整是有用的。以下示例示出了在一些实施例中如何使用该信息。
传感器数据406包括关于用户和/或用户的环境的信息。例如,生物特征数据(例如,心率、呼吸率、血压)、眼跟踪、语句速度、单词选择、敲击键和/或所接收的触摸手势的力、输入定时和其他这样的信息可以提供关于用户的情绪状态的信息。诸如声音、温度、照明等的环境传感器还可以提供关于用户情绪状态以及用户环境(例如,用户是否可以专心于系统交互、由于与另一个体对话而具有一定级别的注意力分散等)的信息。
应用408数据可以提供关于用户如何与应用交互的信息。因此,诸如应用的命中率(用户多久使用应用一次)、流失率(触摸/使用应用中的UI的多少以及触摸/使用之间的时间)、花在任务上的时间、帮助多久被搜索一次的信息以及其他这样的数据提供关于对应用的熟悉度、对如何在应用中/使用应用完成任务的熟悉度、用户的情绪状态等的信息。
所有这些数据可以经由一个或多个数据存储库412而可用于系统。可以通过数据收集器410或通过访问底层数据存储库中与个体数据(402、404、406、408)相关联的数据或其组合,将数据放置在一个或多个数据存储库412上。
模型选择过程418可以以与上面结合模型过程318描述的相同方式操作,并且这里不需要重复细节。总之,所收集的数据的子集(即,一些或全部)用于选择作为针对用户的最接近的匹配的学习模型。
如本文所述,学习模型420可以利用所收集的数据的子集和/或从所收集的数据的子集导出的洞察来定制或调整对于用户的学习模型。如本文所述,该定制可以包括初始定制(即,当针对用户选择和使用学习模型时)以及基于所收集的数据和/或洞察的持续定制。
学习模型420如前所述导出学习阈值,并使用阈值模型来调整应用408的UI和/或行为。这样的调整可以从调整过程422发生,或者学习模型可以直接调整应用408。在系统对用户界面的层进行渲染和/或执行用户输入/交互的转换或以其他方式充当用户和应用之间的中介的情况下,应用调整过程422也可以提供该功能性。因此,调整过程422表示实现对UI和/或行为的调整的机制。如本文所述,这可以包括:如果应用是学习模型感知的或者以其他方式展现实现所标识的调整的功能性,则直接对应用408进行调整。如果应用408不是学习模型感知的或者如果应用408未展现适当的功能性,则如在本公开中所描述的,经由对UI中的一个或多个层进行渲染和/或通过在分层UI上的用户交互和应用408的交互之间执行转换来进行调整。
当用户与应用408交互时,收集数据并且信息可以用于动态调节学习模型,这可以引起对应用408UI和/或行为的进一步调整。该调节由模型调节过程424执行。模型调节可以基于所收集的数据的任何组合、基于从所收集的数据导出的情绪洞察414、基于从所收集的数据导出的其他洞察416或其任何组合。以下是图示执行该调节的实施例的不同方面的表示性示例。
如上文所提及的,通过监测用户与应用的交互、用户的情绪状态、其他导出的洞察和/或其任何组合,模型调节过程424可以确定学习模型在递送用户所期望的用户体验方面有多成功。使用上面的GPS示例,如果系统检测到用户因为GPS帮助太多或者没有足够帮助而上升的烦乱,则模型调节过程424可以调整学习模型,使得学习阈值适当地增大或减小。通过情绪洞察过程414从所收集的数据导出用户的情绪状态。在2016年10月12日提交的、名称为“Extracting an Emotional State from Device data”的美国专利申请号15/291,305中公开了用作导出用户的情绪状态的情绪洞察过程414的合适方法。
其他洞察过程416基于所收集的数据导出其他洞察。其他洞察过程416可以包括:使用从所收集的数据导出期望洞察的机器学习过程创建的机器学习模型,或使用多个机器学习过程创建的多个机器学习模型,每个机器学习过程被设计为从所收集的数据导出一个或多个期望洞察。这样的洞察可以包括例如当前学习线索和其他调整有多成功。例如,如上所述,所收集的数据可以包括诸如应用的命中率(用户多久使用应用一次)、流失率(触摸/利用应用中的UI的多少以及触摸/利用之间的时间)、花在任务上的时间、帮助多久被搜索一次的信息以及其他这样的数据,这些数据提供关于对应用的熟悉度、对如何在应用中/使用应用完成任务的熟悉度等的信息。该信息可以通过机器学习模型而被使用,以标识UI和/或行为调整是否以期望的方式帮助用户、导出用户对应用的熟悉度级别、用户正在执行的任务等。这些洞察可以帮助模型调节过程424调节学习模型420。
作为表示性示例,假设用户非常熟悉应用408的先前版本并使用应用408的先前版本来执行任务。系统根据与用户的先前接触知道这点。然后,如结合图1所述,应用408的新版本被发布,并且用户现在正尝试使用应用的新版本来执行任务。
基于用户的情绪状态或诸如用户指示她想要帮助的其他信息,系统标识用户可能对调整到应用的新版本方面的帮助是开放的。因此,基于用户对帮助是开放的、用户的情绪状态、所导出的对应用408的新版本的熟悉度级别(例如,由其他洞察过程416导出)和/或其他数据和/或洞察来选择学习模型420。
学习模型420设置适当的学习阈值,以在应用408的新版本的UI之上渲染学习线索。系统然后监测用户的交互,并且基于情绪状态、命中率、流失率、花在任务上的时间、帮助搜索和/或其他所导出的洞察来标识现有的学习线索确实以预期的方式帮助用户。
随着系统继续监测用户交互、所收集的数据和/或所导出的洞察,学习模型420确定用户可能不再需要学习线索的子集并且用户对应用408的新版本的熟悉度已增加。学习模型420以允许移除用户不再需要的特定学习线索的方式改变学习阈值。
系统继续监测用户和用户的交互。基于上升的挫折,学习模型420确定因为已移除了学习线索,用户正挣扎于任务。因此,学习模型420再次调整学习阈值来将学习线索添加回界面。
以这种方式,学习模型动态且无缝地调整应用408的UI和/或行为,以不仅帮助用户学习应用408的新版本而且还帮助用户完成期望的任务。
当学习模型调整学习阈值但得到的调整与用户的期望不匹配时,学习模型与用户的需求和/或期望不匹配。在那种情况下,模型调节过程424将识别模型不是根据用户的满意度调整事物,并且对模型进行调节,使得其更好地匹配用户的预期和期望。例如,在先前示例中,如果模型改变学习阈值,并且模型调节过程424确定用户的情绪状态仍然受挫,则模型调节过程424可以评估模型并进行调整。
图5图示了表示性分层用户界面500。该图表示例如应用调整过程(322、422)可以如何渲染学习线索等作为UI调整的一部分。在该示例中,应用UI具有窗口/视口502以及在窗口502内渲染的一个或多个区域。在该示例中,存在报头或控制区域508以及可以渲染内容的区域504。控制区域508具有一个或多个控件510、512,并且内容区域504具有内容506。可以使用一个或多个层来创建该UI。在该示例中,UI被示出为单个层。
系统可以在一个或多个覆盖层上渲染学习线索和其他UI元素。尽管可能涉及多个层,但这些层将被称为覆盖层。虚线区域518图示了底层UI层,并且不一定由系统重新渲染。
覆盖层可以包含学习线索以及被渲染为覆盖在底层UI上的其他信息。学习线索可以结合底层UI来工作,并且例如提供附加信息。这些附加信息可以包括标注、帮助文本、注释等,其可以与底层UI元素相关联,并且可以在底层UI元素附近渲染或者以其他方式与底层UI元素相关联。作为表示性示例,覆盖层具有与底层UI(内容)元素506相关联的信息元素514。当两者被一起渲染时,信息元素514连接到底层内容元素506或与底层内容元素506相关联。
如前所述,在一些情况下,底层UI元素可以被覆盖的UI元素“替换”。在这样的情况下,覆盖的UI元素可以隐藏底层元素,使得当用户观看时,覆盖的元素是UI的一部分并且不能看到底层元素。附加地或备选地,当用户与覆盖的UI元素交互时,系统可以拦截交互并进行所需的任何调整,然后将交互传递给应用,就好像交互来自(多个)底层UI元素一样。如上所述,本领域技术人员可以进行映射并知道如何进行拦截。如前所述,映射和/或拦截在系统调整UI和/或行为以模仿应用的先前版本或以其他方式改变应用的操作的场景中是有用的。因此,在图5中,UI元素516覆盖并有效地替换底层UI元素510。
示例机器架构和机器可读介质
图6图示了适用于实现系统等或适用于执行本文所公开的方法的表示性机器架构。图6的机器被示出为适合于实现上述概念的独立设备。对于上述服务器方面,可以使用在数据中心中操作的多个这样的机器、云架构的一部分等。在服务器方面,并未使用所有示出的功能和设备。例如,虽然用户用来与服务器和/或云架构交互的系统、设备等可以具有屏幕、触摸屏输入等,但是服务器通常不具有屏幕、触摸屏、相机等,并且通常通过具有适当输入和输出方面的连接系统与用户交互。因此,以下的架构应当被视为涵盖多个类型的设备和机器,并且根据其形状和目的(例如,服务器很少具有相机,而可穿戴设备很少包括磁盘),在任何特定设备或机器中可以存在或不存在各个方面。然而,图6的示例说明适合于允许本领域技术人员利用硬件和软件的适当组合、利用对所示实施例中所使用的特定设备、机器等进行适当的修改来确定如何实现先前描述的实施例。
虽然仅图示了单个机器,但术语“机器”还应被视为包括单独或联合执行指令集(或多个指令集)以执行本文所讨论的方法中的任一个或多个方法的任何机器集合。
机器600的示例包括经由链路608彼此通信的至少一个处理器602(例如,中央处理单元(CPU)、图形处理单元(GPU)、高级处理单元(APU)等和/或其组合)、一个或多个存储器(例如,主存储器604、静态存储器606或其他类型的存储器)。链路608可以是总线或其他类型的连接信道。机器600可以包括其他可选方面,例如,包括任何类型的显示器的图形显示单元610。机器600还可以包括其他可选方面,例如,字母数字输入设备612(例如,键盘、触摸屏等)、用户界面(UI)导航设备614(例如,鼠标、轨迹球、触摸设备等)、存储单元616(例如,磁盘驱动或(多个)其他存储设备)、信号生成设备618(例如,扬声器)、(多个)传感器621(例如,全球定位传感器、(多个)加速度计、(多个)麦克风、(多个)相机等)、输出控制器628(例如,与一个或多个其他设备连接和/或通信的有线或无线连接,例如通用串行总线(USB)、近场通信(NFC)、红外(IR)、串行/并行总线等)以及连接到一个或多个网络626和/或通过一个或多个网络626进行通信的网络接口设备620(例如,有线和/或无线)。
作为另一表示性示例,考虑个体Jeromy,Jeromy处于孤独症谱之中但倾向于低功能端。他的孤独症特性包括:
·对于他人显而易见的奇怪行为、礼节和手势;
·由于任何方式的日常变化而容易生气或表现出侵略性;
·痴迷于梦工厂动画公司制作的电影《功夫熊猫》;
·无法记住人或事物的名称;以及
·在课堂学习环境中有困难。
Bill和Kathy正准备去工作。Bill在一家软件开发公司全职工作,并且Kathy在当地学区担任代课老师的兼职工作。在他们俩都工作的日子里,患有孤独症的儿子Jeromy参加了特殊需求中心。在这个特殊的早晨,准备让Jeromy出发时,他们注意到Jeromy比平时更烦躁和困难。他们感到今天对于Jeromy可能是艰难的一天。
Jeromy的学校具有虚拟或增强现实系统(以下称为AR系统),AR系统是学习模型感知的,并且如本文所述的学习模型系统在服务器和AR系统的组合上执行。
Jeromy和全班正在进行分享的重要性的课程。但是,班上其他孩子极其喧闹,这打扰了Jeromy的常规学习惯例。Jeromy反应不佳并且表现出强烈的身体反应(攻击、自残行为等),从而触发病症发作。
Jeromy的智能手表将包括心率和手臂移动的数据发送到系统学习系统。环境中的传感器测量周围环境噪声级别并且将该数据也发送到学习系统。如先前所描述的,系统提取针对Jeromy的情绪状态模型。得到的情绪状态向量指示Jeromy正在经历负面病症发作,并且包括有关周围环境声级的上下文数据。情绪状态、数据等也可以例如通过网络与教师共享。
护理人员/教师识别出Jeromy的行为模式,并且可以利用学习系统来减轻Jeromy的行为。基于Jeromy的简档,系统知道他是视觉学习者。Jeromy的父母还授权了使用Jeromy的观看习惯,并且因此系统知道Jeromy喜欢《功夫熊猫》。基于Jeromy的视觉学习风格、所收集的数据、所导出的情绪状态以及其他这样的信息,系统选择适当的学习模型。教师启动了被设计为缓解Jeromy的行为且讲授关于共享的课程的应用。基于Jeromy对《功夫熊猫》的喜好,系统设置了学习阈值,该学习阈值定制应用以利用《功夫熊猫》中的角色来讲授课程。
通过AR系统,应用向Jeromy展示来自《功夫熊猫》电影的角色的增强表示,以将他的注意力从周围的活动集中到正在被讲授的课程上。课程继续使用定制,以通过不易察觉且渐进的交互来讲授共享经验的概念,使得Jeromy可能甚至未意识到他正在被教导。学习算法基于课程期间Jeromy的反应和响应来调整应用的UI和/或行为。
可执行指令和机器存储介质
各种存储器(即,604、606和/或(多个)处理器602的存储器)和/或存储单元616可以存储体现本文所述的方法或功能中的任一个或多个或由其实现的一个或多个指令集和数据结构(例如,软件)624。这些指令在由(多个)处理器602执行时使得各种操作实现所公开的实施例。
如本文中所使用的,术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物,并且可以在本公开中互换使用。术语指代存储可执行指令和/或数据的单个或多个存储设备和/或介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。因此应将术语理解为包括但不限于:固态存储器以及光和磁介质,其包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的特定示例包括非易失性存储器,举例来说,包括半导体存储器设备、例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,例如,内部硬盘和可移除磁盘;磁光盘以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”特别排除了由载波、调制数据信号组成的介质和其他这样的介质,这些介质中的至少一些包含在下面所讨论的术语“信号介质”中。
信号介质
术语“信号介质”应被认为包括任何形式的调制数据信号、载波等。术语“调制数据信号”是指使其一个或多个特性以将信息编码到信号中的方式被设置或被改变的信号。
计算机可读介质
术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物,并且在本公开中可以互换使用。该术语被限定为包括机器存储介质和信号介质。因此,该术语包括存储设备/介质和载波/调制数据信号。
示例实施例
示例1.一种用于修改应用的用户界面或行为的方法,包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;(318、320、418、420)
基于数据集(312、412),使用学习模型(320、420)来导出学习阈值,该学习阈值设置要被包括在应用中的学习线索的级别;
基于学习阈值来改变应用的用户界面、行为或两者,以将学习线索并入应用中;(322、422)
监测用户与应用的交互;(310、410)以及
基于用户的交互,使用学习模型来改变学习阈值(322、422)。
示例2.根据示例1的方法,其中学习模型与用户的学习风格相匹配,并且其中对用户界面、行为或两者进行的改变考虑用户的学习风格。
示例3.根据示例1的方法,其中对用户界面进行的改变被渲染在用户界面的单独层中。
示例4.根据示例1、2或3的方法,其中对用户界面进行的改变包括以下中的至少一个:
被渲染为覆盖底层用户界面的学习线索;以及
隐藏底层用户界面元素的用户界面元素。
示例5.根据示例1的方法,还包括:
导出针对用户的情绪状态;并且
其中调整学习阈值考虑用户的情绪状态。
示例6.根据示例1的方法,其中数据集包括以下中的一个或多个:
用户简档数据;
搜索历史数据;
传感器数据,其指示用户的特性、用户的环境、设备或其任何组合;
应用数据,其包括以下中的一个或多个:应用的命中率、流失率、花在任务上的时间以及帮助多久被搜索一次;以及
用户的情绪状态。
示例7.根据示例1的方法,其中应用是GPS应用,并且学习阈值基于用户对GPS应用的当前位置周围的区域的熟悉度而被调整。
示例8.根据示例7的方法,其中学习阈值设置以下中的至少一个:
与被给予用户的指向相关联的详细级别;
被给予用户的指向的频率;以及
被给予用户的指向的类型。
示例9.根据示例1的方法,还包括基于用户信息来定制学习模型。
示例10.一种用于设置与应用相关联的学习级别的系统,包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;(318、320、418、420)
基于数据集(312、412),使用学习模型(320、420)来导出学习阈值,该学习阈值设置要被包括在应用中的学习线索的级别;
基于学习阈值来改变应用的用户界面、行为或两者,以将学习线索并入应用中;(322、422)
监测用户与应用的交互;(310、410)以及
基于用户的交互,使用学习模型来改变学习阈值(322、422)。
示例11.根据示例10的系统,其中学习模型与用户的学习风格相匹配,并且其中对用户界面、行为或两者进行的改变考虑用户的学习风格。
示例12.根据示例10的系统,其中对用户界面进行的改变被渲染在用户界面的单独层中。
示例13.根据示例10的系统,其中对用户界面进行的改变包括以下中的至少一个:
被渲染为覆盖底层用户界面的学习线索;以及
隐藏底层用户界面元素的用户界面元素。
示例14.根据示例10的系统,还包括:
导出针对用户的情绪状态;并且
其中调整学习阈值考虑用户的情绪状态。
示例15.根据示例10的系统,其中数据集包括以下中的一个或多个:
用户简档数据;
搜索历史数据;
传感器数据,其指示用户的特性、用户的环境、设备或其任何组合;
应用数据,其包括以下中的一个或多个:应用的命中率、流失率、花在任务上的时间以及帮助多久被搜索一次;以及
用户的情绪状态。
示例16.根据示例10的系统,其中应用是GPS应用,并且学习阈值基于用户对GPS应用的当前位置周围的区域的熟悉度而被调整。
示例17.根据示例16的系统,其中学习阈值设置以下中的至少一个:
与被给予用户的指向相关联的详细级别;
被给予用户的指向的频率;以及
被给予用户的指向的类型。
示例18.根据示例10、11、12、13、14、15、16或17的系统,还包括基于用户信息来定制学习模型。
示例19.一种包括可执行指令的计算机存储介质,该可执行指令在由机器的处理器执行时,使机器执行操作,该操作包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;(318、320、418、420)
基于数据集(312、412),使用学习模型(320、420)来导出学习阈值,该学习阈值设置要被包括在应用中的学习线索的级别;
基于学习阈值来改变应用的用户界面、行为或两者,以将学习线索并入应用中;(322、422)
监测用户与应用的交互;(310、410)以及
基于用户的交互,使用学习模型来改变学习阈值(322、422)。
示例20,根据示例19的介质,还包括:基于用户的交互以及基于多个其他用户的交互来调节学习模型。
示例21.一种用于修改应用的用户界面或行为的方法,包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;(318、320、418、420)
基于数据集(312、412),使用学习模型(320、420)来导出学习阈值,该学习阈值设置要被包括在应用中的学习线索的级别;
基于学习阈值来改变应用的用户界面、行为或两者,以将学习线索并入应用中;(322、422)
监测用户与应用的交互;(310、410)以及
基于用户的交互,使用学习模型来改变学习阈值(322、422)。
示例22.根据示例21的方法,其中学习模型与用户的学习风格相匹配,并且其中对用户界面、行为或两者进行的改变考虑用户的学习风格。
示例23.根据示例22的方法,其中用户的学习风格包括以下中的一个或多个:
视觉/空间;
听力/听觉;
口语/语言;
物理/动觉、
逻辑/数学、
社交/人际;以及
孤独/自我。
示例24.根据示例21、22或23的方法,其中对用户界面进行的改变被渲染在用户界面的单独层中。
示例25.根据示例21、22、23或24的方法,其中对用户界面进行的改变包括以下中的至少一个:
被渲染为覆盖底层用户界面的学习线索;以及
隐藏底层用户界面元素的用户界面元素。
示例26.根据示例21、22、23、24或25的方法,还包括:
导出针对用户的情绪状态;并且
其中调整学习阈值考虑用户的情绪状态。
示例27.根据示例21、22、23、24、25或26的方法,其中数据集包括以下中的一个或多个:
用户简档数据;
搜索历史数据;
传感器数据,其指示用户的特性、用户的环境、设备或其任何组合;
应用数据,其包括以下中的一个或多个:应用的命中率、流失率、花在任务上的时间以及帮助多久被搜索一次;以及
用户的情绪状态。
示例28.根据示例21、22、23、24、25、26或27的方法,其中应用是GPS应用,并且学习阈值基于用户对GPS应用的当前位置周围的区域的熟悉度而被调整。
示例29.根据示例28的方法,其中学习阈值设置以下中的至少一个:
与被给予用户的指向相关联的详细级别;
被给予用户的指向的频率;以及
被给予用户的指向的类型。
示例30.根据示例21、22、23、24、25、26、27、28或29的方法,还包括基于用户信息来定制学习模型。
示例31.根据示例21、22、23、24、25、26、27、28、29或30的方法,还包括基于用户的交互以及基于多个其他用户的交互来调节学习模型。
示例32.根据示例21、22、23、24、25、26、27、28、29、30或31的方法,其中学习阈值基于环境传感器是否检测到用户正在与另一个体交互。
示例33.根据示例21、22、23、24、25、26、27、28、29、30、31或32的方法,其中学习阈值基于用户的注意力分散级别。
示例34.一种装置,包括执行如任何前述示例中的方法的部件。
示例35.一种包括机器可读指令的机器可读存储装置,该机器可读指令在被执行时,用以实现如任何前述示例中的方法或装置。
结论
鉴于可以应用本发明的原理和前述示例的许多可能的实施例,应当认识到,本文描述的示例仅是示例性的,而不应当被视为限制本发明的范围。因此,本文所描述的发明涵盖了可以落入所附权利要求及其等同物的范围内的所有这样的实施例。

Claims (15)

1.一种用于修改应用的用户界面或行为的方法,包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;
基于数据集,使用所述学习模型来导出学习阈值,所述学习阈值设置要被包括在应用中的学习线索的级别;
基于所述学习阈值来改变所述应用的用户界面、行为或两者,以将学习线索并入所述应用中;
监测所述用户与所述应用的交互;以及
基于所述用户的交互,使用所述学习模型来改变所述学习阈值。
2.根据权利要求1所述的方法,其中所述学习模型与所述用户的学习风格相匹配,并且其中对所述用户界面、所述行为或两者进行的所述改变考虑所述用户的所述学习风格。
3.根据权利要求1所述的方法,其中对所述用户界面进行的所述改变被渲染在所述用户界面的单独层中。
4.根据权利要求1、2或3所述的方法,其中对所述用户界面进行的所述改变包括以下中的至少一个:
被渲染为覆盖底层用户界面的学习线索;以及
隐藏底层用户界面元素的用户界面元素。
5.根据权利要求1所述的方法,还包括:
导出针对所述用户的情绪状态;并且
其中调整所述学习阈值考虑所述用户的所述情绪状态。
6.根据权利要求1所述的方法,其中所述数据集包括以下中的一个或多个:
用户简档数据;
搜索历史数据;
传感器数据,所述传感器数据指示所述用户的特性、所述用户的环境、设备或其任何组合;
应用数据,所述应用数据包括以下中的一个或多个:所述应用的命中率、流失率、花在任务上的时间以及帮助多久被搜索一次;以及
所述用户的情绪状态。
7.根据权利要求1所述的方法,其中所述应用是GPS应用,并且所述学习阈值基于所述用户对所述GPS应用的当前位置周围的区域的熟悉度而被调整。
8.根据权利要求7所述的方法,其中所述学习阈值设置以下中的至少一个:
与被给予所述用户的指向相关联的详细级别;
被给予所述用户的指向的频率;以及
被给予所述用户的指向的类型。
9.根据权利要求1所述的方法,还包括基于用户信息来定制所述学习模型。
10.一种用于设置与应用相关联的学习级别的系统,包括:
选择由机器学习算法创建的学习模型,所选择的学习模型与用户的特性集相匹配;
基于数据集,使用所述学习模型来导出学习阈值,所述学习阈值设置要被包括在应用中的学习线索的级别;
基于所述学习阈值来改变所述应用的用户界面、行为或两者,以将学习线索并入所述应用中;
监测所述用户与所述应用的交互;以及
基于所述用户的交互,使用所述学习模型来改变所述学习阈值。
11.根据权利要求10所述的系统,其中所述学习模型与所述用户的学习风格相匹配,并且其中对所述用户界面、所述行为或两者进行的所述改变考虑所述用户的所述学习风格。
12.根据权利要求10所述的系统,其中对所述用户界面进行的所述改变被渲染在所述用户界面的单独层中。
13.根据权利要求10所述的系统,其中对所述用户界面进行的所述改变包括以下中的至少一个:
被渲染为覆盖底层用户界面的学习线索;以及
隐藏底层用户界面元素的用户界面元素。
14.根据权利要求10所述的系统,还包括:
导出针对所述用户的情绪状态;并且
其中调整所述学习阈值考虑所述用户的所述情绪状态。
15.根据权利要求10所述的系统,其中所述数据集包括以下中的一个或多个:
用户简档数据;
搜索历史数据;
传感器数据,所述传感器数据指示所述用户的特性、所述用户的环境、设备或其任何组合;
应用数据,所述应用数据包括以下中的一个或多个:所述应用的命中率、流失率、花在任务上的时间以及帮助多久被搜索一次;以及
所述用户的情绪状态。
CN201880027315.1A 2017-04-28 2018-04-19 人工智能认知阈值 Active CN110546608B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/582,062 2017-04-28
US15/582,062 US10776715B2 (en) 2017-04-28 2017-04-28 Artificial intelligent cognition threshold
PCT/US2018/028216 WO2018200292A1 (en) 2017-04-28 2018-04-19 Artificial intelligent cognition threshold

Publications (2)

Publication Number Publication Date
CN110546608A true CN110546608A (zh) 2019-12-06
CN110546608B CN110546608B (zh) 2022-09-23

Family

ID=62116626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027315.1A Active CN110546608B (zh) 2017-04-28 2018-04-19 人工智能认知阈值

Country Status (4)

Country Link
US (1) US10776715B2 (zh)
EP (1) EP3616053B1 (zh)
CN (1) CN110546608B (zh)
WO (1) WO2018200292A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782952A (zh) * 2020-06-30 2020-10-16 联想(北京)有限公司 一种信息处理方法和信息处理装置
CN112686118A (zh) * 2020-12-24 2021-04-20 昆明理工大学 一种基于自适应界面调整用户情绪的交互模型
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
CN115489402A (zh) * 2022-09-27 2022-12-20 上汽通用五菱汽车股份有限公司 车辆座舱调整方法、装置、电子设备及可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019133689A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
WO2019133706A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for learning preferences in dialogue personalization
WO2019133694A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
US10783711B2 (en) * 2018-02-07 2020-09-22 International Business Machines Corporation Switching realities for better task efficiency
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
CN111290903B (zh) * 2018-11-21 2023-04-25 中国移动通信集团内蒙古有限公司 基于用户行为和机器学习的软件系统监控方法及装置
US11385884B2 (en) * 2019-04-29 2022-07-12 Harman International Industries, Incorporated Assessing cognitive reaction to over-the-air updates
US10929110B2 (en) * 2019-06-15 2021-02-23 International Business Machines Corporation AI-assisted UX design evaluation
US11425220B2 (en) * 2019-10-08 2022-08-23 Magic Leap, Inc. Methods, systems, and computer program products for implementing cross-platform mixed-reality applications with a scripting framework
US11768700B2 (en) * 2020-04-02 2023-09-26 Citrix Systems, Inc. Contextual application switch based on user behaviors
US11630680B2 (en) * 2020-10-28 2023-04-18 International Business Machines Corporation Modifying user interface layout based on user focus
EP4361772A1 (en) * 2022-10-31 2024-05-01 Koninklijke Philips N.V. Detection of efficient use of device features

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130159228A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
US20140372344A1 (en) * 2013-06-13 2014-12-18 InsideSales.com, Inc. Adaptive User Interfaces
CN106357927A (zh) * 2016-10-31 2017-01-25 维沃移动通信有限公司 一种播放控制方法及移动终端
CN106445349A (zh) * 2016-10-18 2017-02-22 珠海格力电器股份有限公司 一种调整移动终端系统参数的方法、装置和电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6039575A (en) 1996-10-24 2000-03-21 National Education Corporation Interactive learning system with pretest
US6842877B2 (en) * 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6606480B1 (en) 2000-11-02 2003-08-12 National Education Training Group, Inc. Automated system and method for creating an individualized learning program
US6978115B2 (en) 2001-03-29 2005-12-20 Pointecast Corporation Method and system for training in an adaptive manner
US7174510B2 (en) 2001-10-20 2007-02-06 Hal Christopher Salter Interactive game providing instruction in musical notation and in learning an instrument
US7052277B2 (en) 2001-12-14 2006-05-30 Kellman A.C.T. Services, Inc. System and method for adaptive learning
US20070190503A1 (en) 2003-09-22 2007-08-16 Yeramyan A Pontish Z Method of mind mapping utilizing meta-cognitive learning
US7620894B1 (en) * 2003-10-08 2009-11-17 Apple Inc. Automatic, dynamic user interface configuration
US9165280B2 (en) 2005-02-22 2015-10-20 International Business Machines Corporation Predictive user modeling in user interface design
US8843853B1 (en) * 2006-12-05 2014-09-23 At&T Mobility Ii Llc Home screen user interface for electronic device display
US20100190143A1 (en) 2009-01-28 2010-07-29 Time To Know Ltd. Adaptive teaching and learning utilizing smart digital learning objects
US8732662B1 (en) * 2010-07-21 2014-05-20 Symantec Corporation Adaptive user interface and application features based on user experience level
US8806444B1 (en) 2011-04-07 2014-08-12 Intuit Inc. Modifying software based on tracked activities
US20140101611A1 (en) * 2012-10-08 2014-04-10 Vringo Lab, Inc. Mobile Device And Method For Using The Mobile Device
US9631930B2 (en) * 2013-03-15 2017-04-25 Apple Inc. Warning for frequently traveled trips based on traffic
US9448962B2 (en) * 2013-08-09 2016-09-20 Facebook, Inc. User experience/user interface based on interaction history
CN103793796A (zh) 2014-03-04 2014-05-14 北京科技大学 一种基于认知机理的教学系统
EP4138062A1 (en) 2015-03-26 2023-02-22 Schaefgen, Matthew, Pollard Cognitive training utilizing interaction simulations targeting stimulation of key cognitive functions
US11210583B2 (en) * 2016-07-20 2021-12-28 Apple Inc. Using proxies to enable on-device machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130159228A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
US20140372344A1 (en) * 2013-06-13 2014-12-18 InsideSales.com, Inc. Adaptive User Interfaces
CN106445349A (zh) * 2016-10-18 2017-02-22 珠海格力电器股份有限公司 一种调整移动终端系统参数的方法、装置和电子设备
CN106357927A (zh) * 2016-10-31 2017-01-25 维沃移动通信有限公司 一种播放控制方法及移动终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
CN111782952A (zh) * 2020-06-30 2020-10-16 联想(北京)有限公司 一种信息处理方法和信息处理装置
CN112686118A (zh) * 2020-12-24 2021-04-20 昆明理工大学 一种基于自适应界面调整用户情绪的交互模型
CN115489402A (zh) * 2022-09-27 2022-12-20 上汽通用五菱汽车股份有限公司 车辆座舱调整方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN110546608B (zh) 2022-09-23
US20180314980A1 (en) 2018-11-01
US10776715B2 (en) 2020-09-15
WO2018200292A1 (en) 2018-11-01
EP3616053A1 (en) 2020-03-04
EP3616053B1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
CN110546608B (zh) 人工智能认知阈值
US11593984B2 (en) Using text for avatar animation
KR102229644B1 (ko) 사용자 활동 바로가기 제안
US11636438B1 (en) Generating smart reminders by assistant systems
US11481832B2 (en) Electronic apparatus and method for summarizing content thereof
US11651002B2 (en) Method for providing intelligent service, intelligent service system and intelligent terminal based on artificial intelligence
CN112189229B (zh) 针对计算机化个人助手的技能发现
EP2610724B1 (en) A system and method for online user assistance
EP3701521B1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
EP3756185B1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US12039109B2 (en) System and method of determining input characters based on swipe input
KR20200036084A (ko) 애플리케이션의 번역 정보를 제공하는 디바이스 및 방법
KR20170016399A (ko) 향상된 음성 인식을 돕기 위한 시각적 컨텐츠의 변형
US20230418571A1 (en) Sketch Based Hyper-Personalization of User Interfaces
KR102629772B1 (ko) 전자 장치 및 이의 컨텐츠 요약 방법
US11188158B2 (en) System and method of determining input characters based on swipe input
KR20220040997A (ko) 전자 장치 및 그 제어 방법
KR102565198B1 (ko) 사용자 맞춤형 대화를 수행하는 디지털 휴먼 제공 방법 및 시스템
US12079292B1 (en) Proactive query and content suggestion with generative model generated question and answer
US20240311577A1 (en) Personalized multi-response dialog generated using a large language model
US20240071378A1 (en) Authoring context aware policies through natural language and demonstrations
Wu et al. A Generative Approach for Proactive Assistance Forecasting in Intelligent Tutoring Environments
CN116975251A (zh) 语言学习的内容展示方法、装置、计算机设备和存储介质
CN118136011A (zh) 车辆语音交互方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant