CN111819628B - 数字个人助理 - Google Patents
数字个人助理 Download PDFInfo
- Publication number
- CN111819628B CN111819628B CN201980017171.6A CN201980017171A CN111819628B CN 111819628 B CN111819628 B CN 111819628B CN 201980017171 A CN201980017171 A CN 201980017171A CN 111819628 B CN111819628 B CN 111819628B
- Authority
- CN
- China
- Prior art keywords
- user
- audio
- cluster
- users
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24575—Query processing with adaptation to user needs using context
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Analytical Chemistry (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Neurosurgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种用于向用户提供信息的系统。所述系统包括与多个用户装置通信的远程数据库。所述远程数据库包括多个媒体片段及一集群引擎,所述集群引擎用于基于至少一用户相关参数对所述多个用户装置中的多个用户进行集群,并且从所述多个媒体片段中识别出与一集群的多个用户最相关的多个媒体片段的一子集。
Description
相关申请
本申请主张2018年2月6日提交的美国临时专利申请第62/626,728号的优先权,其内容通过引用整体并入本文。
技术领域
本发明涉及一种用于向用户提供如回馈信息的系统,更具体地,涉及一种系统,所述系统基于用户集群(user clustering)来标记媒体片段,并且基于与用户活动有关的参数将所选的媒体片段组合成用户可播放的媒体文件。
背景技术
想要强化锻炼好处的人经常会向私人教练寻求指导和动力。私人教练可以提供宝贵的专业知识及支持,并且可以帮助人克服在达到健身目标的过程中遇到的情绪及生理障碍。
但是,对于许多人而言,私人教练并不是理想的解决方案。私人教练可能会很昂贵,安排训练邀约可能会带来不便。另外,私人教练以有效的实时方式记录和分析每次锻炼所产生的数据的能力受到限制。
近年来,已经出现了提供数字个人助理功能以替代或增强人们的私人教练功能的软件应用程序。
数字个人助理的复杂程度从简单的训练方案构建系统(例如IOS和Android的FitnessBuilder应用程序)到健身监测和回馈系统(例如IOS和Android的Strava应用程序)。后者可以在训练期间提供训练目标和指导以及建设性和激励性回馈。
高级数字个人助理可以有效地记录和分析锻炼课程中产生的数据,并据此生成将来的训练课程,他们缺乏训练师的个人“接触”,因此,此类系统提供的回馈通常缺乏激发个人锻炼所需的情感“联系”。
发明内容
根据本发明的一方面,提供一种用于向用户提供如对于锻炼方案或查询回馈之类信息的系统。所述系统包括与多个用户装置进行通信的一远程数据库,所述远程数据库包含多个媒体片段;一集群引擎,用于基于至少一用户相关参数对所述多个用户装置中的多个用户进行集群,并且从所述多个媒体片段中识别出与一集群的多个用户最相关的多个媒体片段的一子集;及将一用户装置的用户与所述集群关联,并且将所述媒体片段的子集提供给所述用户装置的一存储器。
根据下面描述的本发明优选实施例的进一步特征,所述用户装置为一可穿戴装置,所述可穿戴装置配置用于感测所述用户的至少一生理参数。
根据下面描述的优选实施例的进一步特征,所述用户的性别;所述用户的活动;所述用户的能力指标;所述用户的心情;所述用户的生理参数;所述用户的个人资料;所述用户的健康水平;所述用户的锻炼强度;所述用户每周锻炼次数;所述用户的路线或位置;所述用户的耐力;所述用户的音乐偏好;及所述用户的依从率。
根据下面描述的优选实施例的进一步特征,所述用户装置包含一处理器,所述处理器用于从所述媒体片段的子集中选择一个或多个媒体片段,以及将选定的媒体片段合并到要呈现给用户的一媒体文件中。
根据下面描述的优选实施例的进一步特征,所述多个媒体片段为音频片段,并且所述媒体文件是一口语信息。
根据下面描述的优选实施例的进一步特征,所述多个媒体片段是文字片段,并且所述媒体文件是一文字信息。
根据下面描述的优选实施例的进一步特征,根据用户活动的一类型、所述用户的一性别、与用户相关的生理参数及/或所述用户的一心情来产生所述媒体文件。
根据下面描述的优选实施例的进一步特征,所述多个音频片段中的每一个被标记为男性或女性语音、语调类型及/或用户活动的一类型。
根据下面描述的优选实施例的进一步特征,所述用户在一活动之后被重新关联到另一个不同的集群。
除非另有定义,否则本文所用的所有技术和科学用语具有与本发明所属领域的普通技术人员通常所理解的相同含义。尽管与本文描述的那些类似或等同的方法和材料可以用于本发明的实践或测试中,但是下面描述了合适的方法和材料。在有冲突的情况下,以专利说明书及其定义为准。另外,材料、方法及实施例仅是说明性的,并不意图是限制性的。
本发明的系统及方法的实现涉及手动、自动或其组合来执行或完成所选择的任务或步骤。而且,根据本发明的方法及系统的优选实施例的实际仪器和设备,可以通过任何固件的任何操作系统或其组合上的硬件或软件来实现几个选择的步骤。例如,作为硬件,本发明的所选步骤可以被实现为芯片或电路。作为软件,本发明的所选步骤可以被实现为由计算设备使用任何合适的操作系统执行的多个软件指令。在任何情况下,本发明的选定步骤都可以描述为由数据处理器执行,例如,用于执行多个指令的计算平台。
附图说明
这里仅通过示例的方式参考附图描述本发明。现在具体地参考附图,要强调的是,所显示的细节仅是示例性的,并且仅是为了说明性地讨论本发明的优选实施方式,并且出于提供所认为的目的而呈现。是本发明的原理和概念方面的最有用和最容易理解的描述。在这方面,没有试图比对本发明的基本理解更详细地示出本发明的结构细节,附图说明使本领域技术人员清楚如何在实践中体现本发明的几种形式。
在附图中:
图1显示与用户的一装置进行通信的本发明的系统的一实施例。
图2显示使用本发明的系统的实施例的媒体片段的产生及存储。
图3显示使用本发明的系统的实施例基于用户相关参数的用户集群。
图4显示使用本发明的系统的实施例基于用户相关参数的一改变的用户重新聚类。
图5显示根据本发明的实施例基于心率的集群的图。
具体实施方式
本发明是一种系统,所述系统可用于在如训练课程之类的活动期间向用户提供回馈。具体地,本发明可以用于在运动期间构建及接续用户特定的回馈给用户。
参考附图和随附的描述可以更好地理解本发明的原理和操作。
在详细解释本发明的至少一实施例之前,应当理解的是,本发明的应用不限于在以下描述或在附图中显示的部件的构造细节及布置。本发明能够具有其他实施方式,或者能够以各种方式被实践或执行。同样地,应当理解的是,本文采用的措词和用语是出于描述的目的,而不应被认为是限制性的。
数字个人助理在本领域众所周知,其功能范围从简单的语音识别系统到更高级的系统,例如苹果(Apple)的Siri,亚马逊(Amazon)的Alexa或微软(Microsoft)的Cortana。
之后开发一种系统是为了帮助个人完成日常任务,例如搜索、安排约会等。在过去的几年中,这样的系统已经慢慢学会了超越基本的提供信息的基础,以回应对更复杂任务的查询,例如管理个人信息以及预测用户模式和需求。这样的能力已经增加了用户对这样的系统的情感依靠,以至于用户对具有这些能力的设备进行了拟人化。
虽然个人助理功能已应用于健康状况监视和回馈,但是试图提供一种可以代替人类私人教练的软件系统的尝试集中在将回馈与活动匹配上,以使性能最大化。
例如,美国专利第US8715139号公开了一种可以基于用户的活动提供反馈的锻炼系统。可以从不同类型或样式的声音的音频文件包中构造反馈。
尽管基于用户的活动来改变反馈可能是有益的,但无法解决不同用户对不同回馈类型的反应方式之间的差异。
在将本发明付诸实践的同时,本发明人设计了一种系统,所述系统考虑了不同用户响应相同回馈的不同类型的方式。
如下文中进一步描述的,本系统基于与用户相关的参数对用户进行集群(cluster),并且基于集群关联向用户提供媒体片段的集合。然后,用户的装置可以使用各种媒体片段来构造用户可播放的媒体文件(例如,音频文件)。这样的媒体文件可以包括如对用户活动的回馈或对用户查询的响应之类的信息。
因此,根据本发明的一方面,提供一种用于向用户提供信息的系统。
所述系统包括通过如互联网之类的通信网络与多个用户装置通信的远程数据库。所述用户装置可以是如智能电话之类的个人通信装置,如智能手表、智能耳机之类的可穿戴装置。附接到所述装置上或与其通信的用户装置或辅助装置(例如耳机)可以包括用于感测用户的至少一生理参数(例如心率)的生理传感器等。辅助装置可以是,例如,利用光电容积描记术(photoplethysmography,PPG)传感器的心率感测耳机,PPG传感器具有至少一个用于产生530nm波长的光的光电二极管和至少一个用于检测从组织反射的光的光电检测器。
远程数据库可以是服务器或任何适用于存储和处理数据的计算平台。远程数据库可以(在任何合适的存储介质上)存储多个媒体片段。所述媒体片段可以是代表信息或其一部分的数据文件。媒体片段可以是实际记录,也可以是语法表示形式,在音频的情况下,可以基于远程服务器中定义的语法在用户装置上使用语音合成算法实时合成。
在任何情况下,音频类型的媒体片段都可以是(或代表)由个人预先录制或人工合成的口语单词、短语或句子。图像类型的媒体片段可以是(或表示)图像或图像的一部分(例如背景),而视频类型的媒体片段可以是(或表示)视频文件的一部分(例如一个或多个帧)。
可以使用文件名中的简单编码,根据句子中的使用(在音频片段的情况下)或说话者的语调(激动、正常、疯狂等)来标记媒体片段。例如,语调激动的文件将带有后缀_Excited。另外,可以记录(计数器)为每个特定用户提供和使用每个特定片段或由此构造的媒体文件,以防止每个用户/集群过度使用某些片段。每次使用摘要或媒体文件时,此使用都会记录在用户的记录中。所述装置还保存有一张表格,其中详细说明了每个片段或媒体文件在单个会话中可以听到的总次数。例如,开玩笑将被限制为只玩一次,再也不会再玩了,但是在炎热的一天跑步后提醒喝酒的行为将被限制为每节只玩一次,并且用户可能会在下一次跑步且温度高于某个特定阈值时再次听到声音。
各种媒体片段可以组合到媒体文件中。例如,单词、短语或句子可以被组合成可播放的音频文件,或者各种图像可以被组合成可播放的图像文件。
基于远程数据库与用户相关联的用户群,选择用于构建用户可播放的媒体文件的媒体片段及其任何组合。在这方面,远程数据库包括用于基于至少一个与用户相关的参数对多个用户装置的用户进行集群的集群引擎(clustering engine)。与用户相关的参数可以是用户的性别(男性或女性),用户的活动、用户的能力指标,用户的心情,用户的生理参数,用户的个人资料,用户的健康水平,用户的锻炼强度,用户每周的锻炼次数,用户的路线或位置,用户的耐力和/或用户的音乐偏好。
与用户有关的参数可以分类为第一或第二顺序参数(first or second orderparameters)。第一顺序参数由系统请求(通过音频或文字)或直接测量。第一顺序参数,例如用户的身高、体重、训练目标等,可以由用户在上车过程中或根据系统的特定要求提供。可以直接从用户装置(在用户许可下)将与用户相关的参数提供给远程数据库。在智能手机类型的用户装置的情况下,可以使用专用的应用程序自动及/或手动将信息提供给远程数据库。
诸如生理参数(例如心率)、速度、训练持续时间、地理信息等的参数可以由系统使用的用户装置上的传感器来自动收集。可以在训练课程期间或之后通过特定问题收集其他参数,例如“课程难吗?”,“您一周训练几次?”。所述系统还可以从第三方服务收集信息(例如,用户在Spotify上收听的音乐)。
从第一顺序参数中提取或推断第二顺序参数。例如,系统可以利用在训练期间测量的地理信息(例如,基于GPS和/或蜂窝和/或WiFi和/或蓝牙)来估计用户的家庭位置。所述系统还可以检测用户何时出门在外和旅行。从地理数据提取的信息的另一个示例是首选行驶路线。通过检测重复的路由,系统可以判断用户是否正在重新使用路由,并且可以记录操作并将操作附加到所述信息。使用更复杂的模型来映射“软”参数(例如用户的动机),主要是基于用户倾向于遵循用户或系统轮廓的目标的趋势(例如,不断设置15公里跑步但在10公里之后始终停下来的用户被标记为动力不足的用户)。所述系统还通过随机化设置并探索行为之间的相关性来映射影响用户动机的参数。例如,将针对一部分训练课程随机尝试一种不同的训练方法及途径,并比较该部分与其他用户的动机来确定该用户对训练方法的兼容性。
第一顺序参数上传到远程数据库后,将存储在用户文件下。然后,远程数据库将对新数据重新运行集群引擎,并将其包括在分析中。集群引擎将接收所有第一顺序参数作为输入。然后,集群引擎将分几步分析数据。首先,对时间序列中的数据(生理数据、速度、地理数据等)进行过滤并提取噪声。然后,使用方程式、统计模型或其他软件工具(例如GoogleTensorflow或Amazon的AWS Elastic Container Services和/或类似工具)计算出用于集群的功能。从第一顺序参数派生的功能作为第二顺序参数存储在用户的个人资料中。一旦计算了所有功能,就可以将其用于集群用户。某些集群模型只是一个简单的阈值,例如检查用户的速度变化性(从速度得出的第二顺序参数)是否高于或低于预定义的数字。其他集群引擎是高维模型,试图基于众多的第一顺序和第二顺序参数对如动机偏好之类的事物进行建模。集群引擎的结果(第三顺序参数)也保存在数据库中。
集群引擎分析的一个示例是评估用户将来保留活跃用户的可能性。可以将用户标记为已离开服务,将要留在服务中或正在过渡并即将离开的用户。要将用户集群到这些组中的一个,系统可以利用用户的健康水平、年龄、在7天内打开智能手机应用程序的次数、训练次数及其持续时间、依从趋势等。使用k最近邻法(k-Nearest-Neighbor method)在特征空间中找到最接近的组,对这些特征进行归一化,以解决各自的统计特征,并与系统中的标记数据进行比较。根据找到的最接近的组来标记用户。可以使用Python和Sklearn(scikit-learn 0.19.1软件,开源)和/或类似工具进行此类分析。
一旦用户被远程数据库的集群引擎进行集群,则与集群用户最相关的媒体片段的子集就由远程数据库标识,并提供给用户装置的一存储器。基于所述集群,可以相信所提供的媒体片段是可以用于构建媒体文件的媒体片段,这些媒体片段在将信息接续给用户方面最有效。有效性取决于多个因素,例如用户对系统助手的依恋程度(例如,通过对锻炼的依从程度进行衡量)。媒体文件的措辞及语调如何适应用户的性格、动机偏好、健康教育水平以及媒体文件的可信度。健身教育是对用户在健身和生理学领域中用语和概念知识的一种度量。健身教育程度较低的用户可能会听到关于跑步后肌肉抽筋和伸展的简化解释。健身教育等级较高的用户将听到相同的解释,但没有简化,并且直接引用了所述领域中的用语。如果用户理解提供媒体文件的原因,那么可以相信。例如,如果媒体文件警告用户在晴天下在潮湿的道路上打滑,那么可信度将非常低。
可以确定媒体片段/文件使用情况的其他集群参数包括:
i.性别–男性和女性具有不同的生理机能,这可能会影响所提供的训练建议。通过将训练目标与用户能力相匹配,可以提高系统的可信度和用户依从性的可能性。
ii.年龄–年龄会影响用户接受的培训。老年用户不会像年轻用户那样努力激励自己。这种差异性有助于确保用户安全并提高可信度。
iii.目标–基于用户输入。例如,在跑步结束时,如果用户尝试减肥,则系统将提供锻炼后餐点的建议。如果用户试图减轻压力,则系统将提供跑步后的呼吸运动或指导性冥想练习。这种差异增加了用户遵守的可能性。
iv.适应性级别–努力完成5公里跑步的用户将在完成跑步后听到带有退出音调的媒体文件。标记为适合的用户将不会获得相同级别的“刺激(excitement)”,以便于轻松跑步。这有助于使情感奖励与努力相匹配。
v.详尽度–有些用户喜欢进行很多互动,而有些则喜欢缩短互动时间。匹配用户的喜好将增加他听信息而不忽略信息的可能性。
vi.动机偏好–有些用户喜欢采用积极的方式为他们加油打气,有些则更喜欢“坚爱(tough love)”。
可以在系统初始化时及/或随着用户参数及/或用户集群的改变而周期性地影响向用户的媒体片段的集群和提供。例如,由本系统检测到的用户适合度的改变可以启动用户的重新集群,并且将媒体片段重新提供给用户的装置的存储器。
除了基于用户集群选择的媒体片段之外,本系统还可以提供基于用户特定信息选择的媒体片段。这样的片段可以用于寻址用户(用户名称),与用户的年龄(基于用户的生日),用户的位置(基于地理位置)等相关。
如上所述,媒体片段被组合成用户可播放的媒体文件。这样的媒体文件可以响应于请求或查询而向用户提供信息,或者可以向用户动作、用户位置等提供反馈。
例如,在跑步过程中,用户每次完成预定义持续时间或距离的虚拟循环时,都会收到通知。这些通知将包括一些关键统计信息,以更新用户的整体状态。系统将基于所述用户的集群来选择要向用户播放的统计信息,例如,对减肥感兴趣的用户将根据到目前为止燃烧的卡路里进行更新,而其他集群中的用户则不会。系统将根据集群选择与相关统计信息关联的代码片段,并将其与不同统计信息的实时值组合。
在另一个示例中,如果在训练期间用户通过了接近预定义地理围栏列表中包含的纪念碑或重要地点的信息,而且用户集群在足够高的详细级别上(并将对跑步中的互动做出积极反应),并且用户集群在外地(不是本地)。系统将播放带有标记点的简短说明的媒体文件,以及在智能手机的屏幕上显示所述站点的图片或显示标记点的大致方向的箭头。
此外,在跑步之后,如果用户已经完成了最长的跑步,或者打破了记录的时间或速度,则系统将向他发送一个小的视频动画徽章。徽章的动画和文字会根据用户的健康状况以及系统在跑步过程中所做的努力而有所不同。如果系统估计用户的努力程度很高,则徽章将包含更多的欢庆动画和文本,以使奖励与他的努力程度相匹配。因此,具有不同健身水平的两个用户由于其能力不同,将针对相同的客观结果获得不同的徽章。
现在参考附图,图1显示本系统,所述系统在本文中称为系统10。所述系统10包括通过一通信网络16及与一用户装置14通信的一远程数据库12。所述用户装置14可以是通过蜂窝或WiFi连接与所述通信网络16通信的智能手机。
所述远程数据库12包括用于基于由装置14和/或用户提供的与用户相关的参数来对用户进行集群的一集群引擎20。
通过所述集群引擎20将用户与集群相关联,并且通过所述通信网络16将存储在所述远程数据库12中的多个媒体片段21中的媒体片段的子集22提供给所述装置14。然后,所述媒体片段的子集22被存储在所述装置14的存储器中。
图2显示使用本系统的实施例的媒体片段的产生、存储及提供的示例。所述媒体片段产生循环从复制编写阶段100开始,编写脚本编写不同的系统响应。为片段编写脚本需要了解它们之间的相互关系,以便用户在整个训练课程中将获得一组媒体文件,而不是一组未连接的媒体文件。然后,将所述脚本移交给录制了语音的演员,以及在片段产生阶段102中产生的片段(机器合成的语音也可以用于产生句子/摘录)。演员在导演的指导下完成所需的媒体文件。媒体文件由声音工程师进行编辑104和过滤106。然后,内容主管会接收文件,并根据脚本进行检查。通过检查的媒体文件根据内容和语调通过标记108,并将以MP3格式添加到片段数据库112。根据多重变化检查110,将重复所述循环,并记录其他变化,因此用户将继续获得新鲜的体验。
片段数据库112还链接到定义对应于任何系统事件和用户群集的可能媒体文件的变化表114。对于每个可能的系统事件(例如“用户正在减速”,“用户开始运行”,“用户精疲力尽”),下表详细列出了每个事件的可能的媒体文件版本以及适用该版本的用户。每个变化都是一组媒体片段,按照它们的播放顺序。
用户数据表116保存系统具有的关于特定用户的信息,包括第一、第二和第二顺序参数。
动态句子拼接工具118使用片段数据库112中的片段,并将它们连接到一个媒体文件中以播放给用户120。所述工具118将变化表114与用户数据表116一起使用以选择正确的变化。一旦选择了变化,所述工具将根据预定义的顺序缝合片段,并将所得的媒体文件发送给用户120。
图3显示由本系统的实施例实现的用户集群的示例。所述图描述系统中用户的集群和重新集群过程。首先,用户与系统200进行互动-最有可能将其用于训练课程。当用户与系统互动时,将记录并存储数据。例如,在跑步过程中,系统可能会记录他的速度、心律、用户听的音乐、依从训练指南等。然后,将这些记录的信息存储在数据库中的用户状态202中。
所述用户状态202或用户个人资料包括系统具有的有关用户的所有信息,包括第一、第二及第三顺序参数。所述状态202可以在每次用户与系统的互动之后改变。在互动过程中测量的第一顺序参数被添加到系统中,并用于重新计算第二顺序参数。集群引擎204将在第一及第二顺序参数上运行,以更新第三顺序参数-用户所属的集群。集群206及其大小和形状可能需要在不同维度上使用不同的统计方法(从二维简单模型到使用基于支持向量机的数十个特征的复杂模型),确定用户所属的集群就成为关联的问题。用户配置文件中的参数根据集群的统计模型进行了归一化,然后在集群空间和维度中计算用户参数与每个集群(例如A、B和C)之间的距离。根据将同时考虑不同集群的位置和形状的度量,用户将被集群到最接近该集群的集群点。这将衡量用户是所述集群一部分的统计可能性。
一旦完成集群过程,就用新值来更新用户状态202中的第三顺序参数。下次用户与系统200进行互动时,用户个人资料中的新值将更改用户体验(user experience,UX),因为系统可能会使用不同的变化并修改其他训练参数。用户与系统的新互动将再次提供新的一阶参数,并且整个循环可以重新开始。
图4显示由本系统的实施例实现的用户重新集群的示例。所述图式显示用户装置与远程数据库之间的动作和信息流。每当用户装置(例如,智能电话)连接到互联网302时,记录的任何新数据都被上载到远程服务器304。所述信息被标记为允许数据库将其与正确的用户、日期、时间和活动类型相关联。通过添加的信息更新了用户的状态或远程数据库中的用户状态306,集群引擎随后将对用户进行集群308。然后,远程数据库将检查摘录和变化表310以标识相关摘录。然后,向用户装置提供这些媒体片段的副本(例如,推送数据传输)312。
所述用户装置从服务器接收片段列表,并对照其内部存储器中的片段对其进行检查314。如果在新列表中找不到装置的存储器中的某些代码段,则将其标记为旧的并且删除316。这可能是因为用户被重新集群,内容编辑器已将其从表格中删除,或者用户已经多次听到,并且系统不允许再次播放。
本地装置的存储器中可能缺少列表中的某些文件,是新的媒体片段,或是由于配置文件参数已更改而先前未分配给所述用户的片段。本地装置将针对本地的存储器中丢失的文件更新远程数据库318,并且数据库会将这些文件发送到本地装置320。
在所述过程结束时,所述装置将擦除不需要的文件,并将检索丢失的文件以使装置的存储器与在远程数据库322上找到的代码段列表匹配。
图5显示简化的集群“引擎”。曲线图的X轴400是用户的平均节奏,而Y轴402代表用户的身体质量指数(Body Mass Index,BMI)。图上的每个符号都代表一用户。圆圈404是将自己标记为“初学者”的用户,而三角形406是在被询问其活动级别时将自身标记为“活动”的用户。
可以看到三角形406如何趋向于曲线图的右下侧408,这意味着具有较低的BMI(较少的超重)和较高的节奏,通常表明是跑步者。“初学者”圆圈404分布较广,但在图410上更靠左侧,较高,这意味着倾向于走路而不是奔跑,并且体重较高。
与曲线相交的对角线412指示从集群分析得出的阈值。这意味着,在对初学者和活跃用户这两个组进行统计分析之后,如果引擎必须猜测新的未标记用户属于哪个组,则此线是这两个组之间的边界。所述行右边的任何点都将被标记为“活动”用户,左边的任何点都将被标记为“初学者”。这是一个简单的示例,但是可以在更高的维度上使用相同的原理,从而获得更好的结果。此外,模型不限于二元选择,因为有可能有两个以上的集群更好地描述总体。
如本文所用,用语“约”是指±10%。
通过研究以下实施例,本发明的其他目的,优点和新颖特征对于本领域普通技术人员将变得显而易见,而这些实施例并非旨在进行限制。
现在参考以下实施例,其与以上描述一起以非限制性方式说明了本发明。
示例
动机回馈
一个人可以根据与用户相关的参数(例如“对回馈的反应”)与多个可能的集群之一相关联,即用户对回馈的反应方式,所述回馈是由统计模型根据播放指导媒体文件前后的用户统计信息进行比较,以及用户完成系统或由本人规定的目标的总体概率得出的。每个集群可以包括唯一的媒体片段,这些片段可以产生特定于预期用户(特定于用户集群)的媒体文件。例如,与这样的集群相关联的片段可以用于构造具有用户特定消息及/或用户特定语调/语音的激励音频文件(以在活动期间激励用户)。
下面描述在活动期间的场景,其中本系统可以向用户装置提供音频消息以激励用户。在跑步过程中,系统会对运行速度降低做出反应,并显示以下信息:“再一小段长”,鼓励用户继续前进。可以针对不同用户来改变这样的消息,以便最大化对用户的影响。
所述信息“再一小段长”为采用的四种可能的变化之一(在此称为“激励”,“教官”,“成就”和“竞争性”),每个反映到不同的动机偏好集群:
(i)对于积极回馈用户:名称,“您做得很棒-再接再厉”KM_TO_END“去吧!您做到了!”
(ii)对于教官用户:名称,“您现在就不要让自己失败!再来啊,请加倍努力!”
(iii)对于成就的用户:名称,“不要停下来!如果我们再提高”NEEDED_SPEED_FOR_RECORD,“我们将打破我们的”RECORD_KM“K记录!”
(iv)对于竞争性用户:名称,“什么?你要放弃”FRIEND_NAME“今天赢了吗?他跑步早放弃了。再来啊,让我们开始”NEEDED_SPEED_FOR_FRIEND_WIN,“然后在完成后发送截屏!”
所有CAPS词都代表关键字,这些词由存储与集群关联的媒体片段的用户装置实时替换为计算值。
以下提供了与“正回馈”集群(i)相关联的用户的示例。
詹姆士(James)的5公里跑完了4.3公里,当他的速度降低时,在本系统/装置中触发激励事件,并且基于分配给詹姆斯相关联的集群的激励偏好变化,从存储在James的装置中的音频片段构建激励信息。然后,用户装置(通过耳机)向James播放以下消息:
“James,你做得很好-再走700米!你明白了!”
应当理解,为清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反,为简洁起见,在单个实施例的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合来提供。
尽管已经结合本发明的特定实施例描述了本发明,但是显然,对于本领域技术人员而言许多替代,修改和变化将是显而易见的。因此,旨在涵盖落入所附权利要求的精神和广泛范围内的所有这样的替代,修改和变化。本说明书中提及的所有出版物、专利和专利申请都通过引用整体并入本文,其程度与好像每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文的程度相同。另外,在本申请中对任何参考文献的引用或标识均不应解释为承认该参考文献可用作本发明的现有技术。
另外,本申请的任何优先权文件在此全文以引用方式并入本文。
Claims (6)
1.一种用于向用户提供信息的系统,包括与多个用户装置进行通信的一远程数据库,所述远程数据库包含:
(a)多个音频片段,每一个音频片段代表口语单词或短语,其中所述多个音频片段中的每一个音频片段包含用于识别句子中的一音频片段所使用的标记以及用于识别所述口语单词或短语的语调的标记;
(b)一集群引擎,用于基于至少一用户相关激励参数对所述多个用户装置中的多个用户进行集群,基于所述标记从所述多个音频片段中识别出与多个激励用户的一集群最相关的多个音频片段的一子集;及
(c)将一用户装置的用户与所述集群关联,并且将所述音频片段的子集提供给所述用户装置的一存储器;
其中所述用户装置包含一处理器,所述处理器用于从所述多个音频片段的子集中选择一个或多个音频片段,并且将所选择的多个音频片段组合成为用户特定激励的一音频信息,以呈现给所述用户。
2.如权利要求1所述的系统,其中:所述用户装置为一可穿戴装置,所述可穿戴装置配置用于感测所述用户的至少一生理参数。
3.如权利要求1所述的系统,其中:所述用户相关激励参数选自以下各项组成的组:心情、对反馈的反应以及所述用户的依从率。
4.如权利要求1所述的系统,其中:根据用户活动的一类型、所述用户的一性别、与用户相关的生理参数及/或所述用户的一心情另产生所述音频信息。
5.如权利要求1所述的系统,其中:所述多个音频片段中的每一个被标记为男性或女性语音、语调类型及/或用户活动的一类型。
6.如权利要求2所述的系统,其中:所述用户在一活动之后被重新关联到另一个不同的集群。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862626728P | 2018-02-06 | 2018-02-06 | |
US62/626,728 | 2018-02-06 | ||
PCT/IL2019/050143 WO2019155461A1 (en) | 2018-02-06 | 2019-02-06 | Digital personal assistant |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111819628A CN111819628A (zh) | 2020-10-23 |
CN111819628B true CN111819628B (zh) | 2022-09-20 |
Family
ID=67547929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980017171.6A Active CN111819628B (zh) | 2018-02-06 | 2019-02-06 | 数字个人助理 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20210117432A1 (zh) |
CN (1) | CN111819628B (zh) |
CA (1) | CA3089720A1 (zh) |
WO (1) | WO2019155461A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11771863B1 (en) * | 2019-12-11 | 2023-10-03 | Amazon Technologies, Inc. | Interface for guided meditation based on user interactions |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101978374A (zh) * | 2008-03-03 | 2011-02-16 | 耐克国际有限公司 | 交互式运动设备系统 |
CN104866954A (zh) * | 2015-04-27 | 2015-08-26 | 天津师范大学 | 基于智能信息处理终端居民膳食均衡量化分析方法及系统 |
CN107003997A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 用于交互式对话系统的情绪类型分类 |
WO2017155966A1 (en) * | 2016-03-08 | 2017-09-14 | Your Trainer Inc. | Systems and methods of dynamically creating a personalized workout video |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6424946B1 (en) * | 1999-04-09 | 2002-07-23 | International Business Machines Corporation | Methods and apparatus for unknown speaker labeling using concurrent speech recognition, segmentation, classification and clustering |
US20090216621A1 (en) * | 2008-02-22 | 2009-08-27 | Anderson Andrew T | Media Based Entertainment Service |
US7953752B2 (en) * | 2008-07-09 | 2011-05-31 | Hewlett-Packard Development Company, L.P. | Methods for merging text snippets for context classification |
US8949128B2 (en) * | 2010-02-12 | 2015-02-03 | Nuance Communications, Inc. | Method and apparatus for providing speech output for speech-enabled applications |
US9117483B2 (en) * | 2011-06-03 | 2015-08-25 | Michael Edward Zaletel | Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition |
US9886871B1 (en) * | 2011-12-27 | 2018-02-06 | PEAR Sports LLC | Fitness and wellness system with dynamically adjusting guidance |
US20140272855A1 (en) * | 2013-03-15 | 2014-09-18 | FitStar, Inc. | Selecting available exercises for customizing an exercise session |
US20150262497A1 (en) * | 2014-03-14 | 2015-09-17 | Fitbug Ltd. | Customized wellness plans using activity trackers |
US10846517B1 (en) * | 2016-12-30 | 2020-11-24 | Amazon Technologies, Inc. | Content modification via emotion detection |
-
2019
- 2019-02-06 US US16/965,323 patent/US20210117432A1/en not_active Abandoned
- 2019-02-06 CN CN201980017171.6A patent/CN111819628B/zh active Active
- 2019-02-06 WO PCT/IL2019/050143 patent/WO2019155461A1/en active Application Filing
- 2019-02-06 CA CA3089720A patent/CA3089720A1/en active Pending
-
2023
- 2023-04-20 US US18/136,917 patent/US20230259512A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101978374A (zh) * | 2008-03-03 | 2011-02-16 | 耐克国际有限公司 | 交互式运动设备系统 |
CN107003997A (zh) * | 2014-12-04 | 2017-08-01 | 微软技术许可有限责任公司 | 用于交互式对话系统的情绪类型分类 |
CN104866954A (zh) * | 2015-04-27 | 2015-08-26 | 天津师范大学 | 基于智能信息处理终端居民膳食均衡量化分析方法及系统 |
WO2017155966A1 (en) * | 2016-03-08 | 2017-09-14 | Your Trainer Inc. | Systems and methods of dynamically creating a personalized workout video |
Also Published As
Publication number | Publication date |
---|---|
US20210117432A1 (en) | 2021-04-22 |
CA3089720A1 (en) | 2019-08-15 |
CN111819628A (zh) | 2020-10-23 |
WO2019155461A1 (en) | 2019-08-15 |
US20230259512A1 (en) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200160961A1 (en) | Method for responding to early abandonment of an exercise session by a user | |
CN101120343B (zh) | 用于选择内容项的电子设备和方法 | |
CN101119773B (zh) | 用于再现人体感知信号的电子设备和方法 | |
Crossley | Music worlds and body techniques: On the embodiment of musicking | |
Rohde et al. | Anticipatory looks reveal expectations about discourse relations | |
Nichols | Task-based variability in children’s singing accuracy | |
US20060161850A1 (en) | Mass personalization of messages to enhance impact | |
US20210390876A1 (en) | Systems and methods to measure and enhance human engagement and cognition | |
US20230259512A1 (en) | Digital personal assistant | |
Gregg et al. | Re-reconsidering the role of temporal order in spoken word recognition | |
Rasinski et al. | The fluency factor: Authentic instruction and assessment for reading success in the common core classroom | |
Slowiaczek | Prosodic units as language processing units | |
Nippold | Language sampling with children and adolescents: Implications for intervention | |
KR20150000591A (ko) | 라이프 스타일 분석 시스템 및 방법 | |
Suzuki et al. | What makes practice perfect? How tertiary piano students self-regulate play and non-play strategies for performance success | |
KR20150001031A (ko) | 개인화된 라이프 스타일 모델링 장치 및 방법 | |
Liptak et al. | The idiosyncrasy of Involuntary Musical Imagery Repetition (IMIR) experiences: The role of tempo and lyrics | |
JP2002530724A (ja) | 対人相互作用シミュレータを用いてトレーニングするための装置および方法 | |
AU2009499A (en) | Remote computer-assisted compliance monitoring system | |
Alexander | An affect-sensitive intelligent tutoring system with an animated pedagogical agent that adapts to student emotion like a human tutor: a thesis presented in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Computer Science at Massey University, Albany, New Zealand | |
Brown et al. | A case study in collaborative learning via participatory music interactive systems: Interactive Tango Milonga | |
KR20140147168A (ko) | 개인화된 라이프 스타일 모델링 장치 및 방법 | |
KR102623462B1 (ko) | 사용자 보컬 평가 정보 기반 보컬 학원 정보 제공 방법, 장치 및 시스템 | |
JP7188601B2 (ja) | 学習装置、推定装置、それらの方法、およびプログラム | |
Arushi et al. | Detecting Public Speaking Stress via Real-Time Voice Analysis in Virtual Reality: A Review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |