CN107548474B - 基于情绪和/或行为信息的用于环境背景噪声修改的方法、系统和介质 - Google Patents

基于情绪和/或行为信息的用于环境背景噪声修改的方法、系统和介质 Download PDF

Info

Publication number
CN107548474B
CN107548474B CN201580076012.5A CN201580076012A CN107548474B CN 107548474 B CN107548474 B CN 107548474B CN 201580076012 A CN201580076012 A CN 201580076012A CN 107548474 B CN107548474 B CN 107548474B
Authority
CN
China
Prior art keywords
user
data
noise
activity
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580076012.5A
Other languages
English (en)
Other versions
CN107548474A (zh
Inventor
查尔斯·戈兰
刘心诚
凯文·布鲁内
杜安·理查德·瓦尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107548474A publication Critical patent/CN107548474A/zh
Application granted granted Critical
Publication of CN107548474B publication Critical patent/CN107548474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B6/02Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral, differential electric
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Abstract

提供了用于环境背景噪声修改的方法、系统、和介质。在一些实施方式中,该方法包括:识别存在于具有用户设备的用户的环境中的至少一个噪声、用户当前参与的活动、以及用户的身体状态或情感状态;至少部分地基于所识别的噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态,确定要在所述环境中产生的标的环境噪声;识别与所述用户设备相关联的至少一个设备以用于产生所述标的环境噪声;确定与所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;以及使得所识别的设备产生所确定的声音输出。

Description

基于情绪和/或行为信息的用于环境背景噪声修改的方法、系 统和介质
相关申请的交叉引用
本申请要求于2015年2月11日提交的美国专利申请No.14/619,827的优先权,其全部内容通过引用并入本文。
本申请涉及美国专利申请No.14/619,866、美国专利申请No.14/619,894、美国专利申请No.14/619,821、美国专利申请No.14/619,843和美国专利申请No.14/619,863,以上全部都于2015年2月11日提交并通过引用全文并入本文。
技术领域
所公开的主题涉及基于情绪和/或行为信息的环境背景噪声修改的方法、系统和介质。
背景技术
用户的家通常充满许多设备,诸如计算机、电视、音响、冰箱、烟雾探测器等。这些设备中的许多都会发出声音或噪声,或者作为主要功能(例如,当电视被打开并呈现内容时)或者作为副产品(例如,当冷却风扇被打开并用于冷却相关联的设备时)。通常,这些噪声是不需要的,并且可能带来问题,例如,使用户从他们正在执行的任务分心。
因此,期望提供用于基于情绪和/或行为信息的环境背景噪声修改的方法、系统和介质。
发明内容
根据所公开的主题的一些实施方式,提供了基于情绪信息和/或行为信息的用于环境(ambient)背景噪声修改的方法、系统、和介质。
根据所公开的主题的一些实施方式,提供了一种用于环境背景噪声修改的方法,所述方法包括:识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;至少部分地基于所识别的噪声、所述用户当前参与的所述活动、以及所述用户的所述身体状态或情感状态,确定要在所述环境中产生的标的(target)环境噪声;识别与所述用户设备相关联的至少一个设备以用于产生所述标的环境噪声;确定与一个或多个所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似(approximation);以及使得所识别的设备产生所确定的声音输出。
根据所公开的主题的一些实施方式,提供了一种用于环境背景噪声修改的系统,所述系统包括:硬件处理器,其被编程来进行以下操作:识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;至少部分地基于所识别的噪声、所述用户当前参与的所述活动、以及所述用户的所述身体状态或情感状态,确定要在所述环境中产生的标的环境噪声;识别与所述用户设备相关联的至少一个设备以用于产生所述标的环境噪声;确定与一个或多个所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;以及使得所识别的设备产生所确定的声音输出。
根据所公开的主题的一些实施方式,提供了一种包含计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令在由处理器执行时使得所述处理器执行用于环境背景噪声修改的方法,所述方法包括:识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;至少部分地基于所识别的噪声、所述用户当前参与的所述活动、以及所述用户的所述身体状态或情感状态,确定要在所述环境中产生的标的环境噪声;识别与所述用户设备相关联的至少一个设备以用于产生所述标的环境噪声;确定与一个或多个所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;以及使得一个或多个所识别的设备产生所确定的声音输出。
根据所公开的主题的一些实施方式,提供了一种用于环境背景噪声修改的系统,该系统包括:用于识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态的装置;用于至少部分地基于所识别的噪声、所述用户当前参与的所述活动、以及所述用户的所述身体状态或情感状态来确定要在所述环境中产生的标的环境噪声的装置;用于识别与所述用户设备相关联的至少一个设备以用于产生所述标的环境噪声的装置;用于确定与一个或多个所识别的设备中的每个设备相对应的声音输出的装置,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;以及用于使得一个或多个所识别的设备产生所确定的声音输出的装置。
在一些实施方式中,该系统进一步包括用于确定与关联于所述用户设备的所识别的设备相关联的声音输出能力的装置。
在一些实施方式中,确定与所识别的设备中的每个设备相对应的声音输出至少部分地基于所确定的声音输出能力。
在一些实施方式中,所确定的声音输出包括与所识别的设备中的至少一个设备相关联的风扇的速度的调制。
在一些实施方式中,所确定的声音输出将通过与所识别的设备中的至少一个设备相关联的音频输出来产生。
在一些实施方式中,该系统进一步包括用于确定与所述环境中存在的噪声相关联的声级的装置。
在一些实施方式中,所述标的环境噪声包括在所述环境中存在的、处于相对于与所述环境中存在的一个或多个噪声相关联的所确定的声级更低的声级的噪声。
在一些实施方式中,该系统进一步包括:用于接收与所确定的标的环境噪声有关的用户反馈的装置;以及用于基于所接收到的用户反馈来确定要产生声音输出的装置。
在一些实施方式中,所述声音输出中的每个声音输出具有相关联的评级,并且所述系统进一步包括:用于检索与所述声音输出相关联的评级的装置;以及用于基于所接收的用户反馈来修改所述评级的装置。
附图说明
在结合以下附图考虑时,所公开的主题的各个目的、特征、和优点参考以下的所公开的主题的详细描述可以被更全面地理解,各附图中相似的附图标记标识相似的元素。
图1示出了根据所公开的主题的一些实施方式的系统的一般化示意图的示例,在该系统上实现基于来自多个数据源的情绪和/或行为信息来个性化计算机化服务的机制。
图2示出了根据所公开的主题的一些实施方式的图1的服务器的更具体的示例,该服务器可以从多个数据源接收各种类型的数据,并且可以基于接收到的数据的一部分来将各种类型的动作推荐给与用户设备相关联的各个用户设备。
图3示出了根据所公开的主题的一些实施方式的,可用于实现图1所描绘的用户设备和服务器中的一个或多个的硬件的详细示例。
图4示出了根据所公开的主题的一些实施方式的,基于来自多个数据源的情绪和/或行为信息来个性化计算机化服务的过程的说明性示例。
图5示出了根据所公开的主题的一些实施方式的,用于提示用户设备的用户提供目的的用户界面的说明性示例。
图6示出了根据所公开的主题的一些实施方式的,用于提示用户设备的用户选择用于检索与该用户有关的数据的一个或多个数据源的用户界面的说明性示例。
图7示出了根据所公开的主题的一些实施方式的,基于特定目的或目标从来自多个数据源接收的数据中选择的在不同时间的数据的一部分的说明性示例。
图8示出了根据所公开的主题的一些实施方式的,用于向用户呈现与目的相对应的可选目标的用户界面的说明性示例。
图9示出了根据所公开的主题的一些实施方式的,用于向用户呈现可选择的输出设备的用户界面的说明性示例,该可选择的输出设备可以用于执行所推荐动作。
图10示出了根据所公开的主题的一些实施方式的,用于向用户呈现包括所推荐动作的推荐界面的用户界面的说明性示例。
图11示出了根据所公开的主题的一些实施方式的,提示用户提供与所执行动作有关的反馈的用户界面的说明性示例。
图12示出了根据所公开的主题的一些实施方式的,在用户家中可用于修改房间中的环境噪声的设备的示例布局。
图13示出了根据所公开的主题的一些实施方式的,修改房间中的环境噪声的过程的说明性示例。
图14示出了根据所公开的主题的一些实施方式的,用于选择要用于修改房间中的环境噪声的设备的用户界面的示例。
具体实施方式
根据一些实施方式,如下面更详细地描述的,提供了用于基于来自多个数据源的情绪和/或行为信息来个性化计算机化服务的机制,其可以包括方法、系统、和/或计算机可读介质。
一般而言,这些机制可以从用户设备的用户接收与该用户的特定目的有关的输入,并且基于接收到的与该用户有关的数据,可以提供可以帮助该用户达到该特定目的的个性化和计算机化的服务。例如,用户设备的用户可以经由用户界面指示在工作日的过程期间包含更多锻炼的期望,并且基于来自该用户已经肯定地给予同意的一个或多个数据源的用户有关的数据,该机制可以推荐可以在技术上帮助用户达到特定目的的一个或多个动作——例如通过以下方式:基于天气信息、基于在线日历的排程约束(schedulingconstraint)、和/或通过一个或多个计算机网络接收的交通和公共运输信息,通过自动的移动警示或通知来推荐用户今天步行到办公室;向对花特别感兴趣的用户推荐沿着由计算机地图路线服务(例如,Google Maps)识别的用户路线访问园艺供应商;等等。
应当注意,除了接收与特定目的有关的输入以外或者作为其替选,该机制可以接收用户反馈,并且基于所接收的用户反馈来确定该用户的目标。例如,用户可以经由用户设备上的用户界面指示在工作日缺乏精力,并且该机制可以解释这样的指示并且为该用户确定各种目标,诸如增加锻炼相关活动的量。在另一示例中,可以向用户提供界面,其请求该用户提供关于该用户的一般情绪、情感状态、和/或行为性情(behavioral disposition)的反馈,并且该机制可以基于所提供的反馈来确定该用户的目标。可以针对用户确定和/或与用户设备相关联的目标的说明性示例可以包括:从当前指示的压力水平降低压力、大体上减轻体重、减轻10磅、达成特定情绪或情感状态(例如,放松、活泼等)、增加用户当前实现的锻炼量、结交更多的朋友、和/或与用户的大体情绪、情感状态、和/或行为性情有关的任何其他合适的目标。
还应当注意的是,在分析来自多个数据源的与用户有关的数据之前,确定与该用户相关联的情绪、情感状态、和/或行为性情,和/或向该用户推荐一个或多个动作,该机制可以请求(或要求)该用户肯定地提供同意或核准来执行这样的确定。例如,在移动设备上加载应用时,该应用可以提示用户提供从一个或多个数据源接收信息的核准,执行这样的确定,和/或向该用户推荐一个或多个动作。在一个更具体的示例中,响应于下载应用并将该应用加载到移动设备上,在移动设备上执行的该应用可以执行设备发现功能来确定连接到该移动设备或在该移动设备附近的设备,诸如包括媒体数据(例如,观看历史、记录的媒体内容信息等)的媒体回放设备和/或包括用于获得与连接的移动设备周围的环境有关的信息的活动传感器和/或光传感器的气味发生器。然后,该应用可以向用户呈现界面,该界面请求(或要求)该用户通过选择一个或多个设备或数据源来肯定地提供对从这些设备访问信息的同意以用于接收可用于确定与该用户相关联的情绪、情感状态、和/或行为性情的与该用户相关的信息,确定与该用户相关联的一个或多个目标或目的,和/或推荐可以对与该用户相关联的身体状态、情感状态、和/或行为性情有作用的一个或多个动作。附加地或替选地,响应于在该移动设备上安装该应用,可以用许可消息来提示该用户,该许可消息在从一个或多个数据源接收信息、执行这样的确定、和/或向用户推荐一个或多个动作之前请求(或要求)该用户肯定地提供同意。
在接收到同意和/或核准之后,该机制可以从多个数据源接收与该用户有关的任何合适的数据。这样的数据可以包括场境数据(contextual data)、社交数据、个人数据等。例如,基于该用户在社交联网服务上发布的内容和/或信息(例如,使用用户设备上的社交联网应用)、与该用户相关联的生物计量数据(例如,来自与用户帐户相关联的可穿戴计算设备)、与该用户相关联的位置数据(例如,来自用户设备)、和/或指示该用户的当前情绪和/或行为的任何其他合适的数据,该机制可以预测该用户的当前情绪状态。在另一示例中,该机制可以确定该用户已参与的特定活动,诸如参加社交事件(例如来自在线日历的会议、聚会、体育事件等),消费媒体内容项(例如,视频剪辑、歌曲、新闻文章、网页等),与计算设备(例如,移动电话、可穿戴计算设备、平板计算机等)交互,与应用(例如,用户设备上的媒体回放应用、社交联网应用、消息收发应用、web浏览器等)交互,和/或任何其它合适的活动。例如,该活动数据可以用于确定与该用户相关联的参考行为(例如,日内的特定时间和部分通常花在观看在移动设备上执行的媒体回放应用上的视频)。
在一些实施方式中,基于从用户已经肯定地提供同意的一个或多个数据源接收到的与该用户有关的数据,该机制可以推荐可以帮助该用户达成目的和/或目标中的一个或多个的一个或多个计算机化动作。例如,这些机制可以使用设备发现功能来确定用于执行一个或多个所推荐动作的哪些输出设备连接到移动设备或者接近该移动设备,诸如具有能够播放音频内容的扬声器的设备、具有能够呈现视频内容的显示器的设备、能够提供特定照明方案的照明系统、以及能够发出特定气味的气味发生器。作为响应,这些机制可以将指令传送到能够执行所推荐动作的输出设备。例如,响应于确定指示来自一个或多个数据源的用户的大体情绪、情感状态、和/或行为性情的信息,该机制可以识别一个或多个活动,这些活动如果被执行则可以使该用户更接近特定的目的或目标。在该示例中,该机制可以将指示所推荐活动的消息或其他合适的界面传送到与该用户相关联的移动设备。
在一个更具体的示例中,响应于从社交媒体应用接收到指示用户可能正在经历低精力水平的社交联网数据(例如,使用社交媒体应用来分析来自帖子(post)的文本)和包括与用户相关联的针对给定日的排程信息的在线日历数据,所述机制可以向该用户推荐可以帮助该用户达到所确定的目标中的一个或多个目标的一个或多个计算机化动作。所述机制可以检查到该日历数据中列出的事件的路线,其中已经由计算机地图路线服务识别该路线,并且传送要在与该用户相关联的移动设备上呈现的界面,其中该界面推荐该用户沿着由计算机地图路线服务识别的该路线步行到该事件并访问特定果汁供应商。
除了包括消息或其他合适内容的推荐界面以外或者作为其替选,个性化和计算机化服务可以包括确定应创建可能影响用户的大体情绪、情感状态、和/或行为性情的特定气氛。在一个具体示例中,该气氛可以包括:使得在相关联的用户设备(例如,移动设备、电视设备等等)上向用户自动回放特定内容(例如,标注为对用户是鼓舞性的特定歌曲),使得在相关联的用户设备上向用户呈现被标注为积极的故事的文章的新闻馈送,使得在相关联的用户设备上向用户呈现被标注为使用户感到有趣的照片或其他图像内容以及被标注为对用户具有放松效果的声音效果。在另一具体示例中,通过访问与用户或用户设备相关联的照明系统并使得特定光源开启或关闭、选择从特定照明设备发出的光的水平、和/或选择特定光源的色温、从而改变该用户的周边环境中的照明方案,可以创建气氛。在另一个示例中,通过修改由连接到用户设备的设备发出的环境噪声(例如,修改与用户相关联的计算设备上的风扇的速度)、从连接到用户设备的设备发出特定的气味(例如,使得能够发出特定气味并且在用户设备的用户的特定接近度内的设备发出薰衣草气味)、控制连接到用户设备的电器或家庭自动化设备(例如,控制HVAC单元的压缩机或修改洗衣机的滚筒的速度)等,可以创建气氛。
在一些实施方式中,该机制可以生成与用户设备相关联的一个或多个简档。例如,在一些实施方式中,该机制可以生成可用于确定适合于该用户设备的用户的所推荐动作的各个简档。例如,该机制可以生成指示该用户的当前情绪、情感状态、和/或行为性情的简档,并且将生成的简档与标的简档进行比较来确定所推荐动作,该动作如果被执行则可以使用户更接近目的或目标。在一个更具体的示例中,可以基于已经指示了实现特定目的或目标的用户(例如,认为自己非常成功的用户、过去30天已经减轻了5磅的用户等)的简档或其他动作来生成标的简档。在此示例中,该机制可以确定由被确定为已经实现特定目的或目标的用户设备的用户执行的动作,并且可以确定是否可以向该用户推荐这些动作中的一个或多个动作以使得该用户也实现该特定的目的或目标。
结合图1-14进一步描述这些和其它特征。
转到图1,图1示出了根据所公开的主题的一些实施方式的系统的一般化示意图的示例100,在该系统上可以实现用于基于来自多个数据源的情绪信息和/或行为信息来个性化计算机化服务的机制。如图所示,系统100可以包括一个或多个用户设备102。用户设备102可以彼此处于本地或彼此处于远程。用户设备102可以通过一个或多个通信链路104连接到通信网络106,通信网络106进而可以经由通信链路112链接到服务器120。
系统100可以包括一个或多个数据源110。数据源110可以是可以收集和/或提供与用户或用户设备有关的数据的任何合适的设备。
例如,数据源110可以包括可以收集和/或提供与用户有关的数据的任何合适的传感器,诸如图像传感器(例如,相机、视频记录器等),音频传感器(例如,麦克风、声级(soundlevel)计等)、射频识别(RFID)传感器、全球定位系统(GPS)、能够测量一个或多个生物参数(例如,心率、呼吸速率、血压、体温、皮肤湿度等)的传感器、可穿戴计步器、Wi-Fi路由器等。在一个更具体的示例中,数据源110可以是连接到注册到与用户相关联的用户帐户的家庭自动化系统的多个传感器,其中可以接收与该用户家中的环境有关的不同数据流。在另一个更具体的示例中,数据源110可以包括连接到该用户本地的咖啡店的多个传感器和允许推荐系统请求与该本地咖啡店有关的数据的应用程序接口(例如,基于门传感器的当前多少客人正在商店中、基于图像传感器的当前在店内排队等待购买的客人数目、通过将标的简档与与该商店相关联的消费者简档相比较的该用户被指派的群组是否可能访问该商店等)。在另一个更具体的示例中,数据源110可以包括在用户环境中的一个或多个声级传感器,其可以检测该用户环境中存在的声音和/或噪声,并且可以测量与检测到的声音相关联的声级(例如,以dB和/或任何其它合适的度量计),如下面结合图12和13所述。
在另一示例中,数据源110可以包括计算设备,诸如桌面型计算机、膝上型计算机、移动电话、平板计算机、可穿戴计算设备等。由这样的计算设备提供的数据的示例可以包括用户生成的数据(例如,文本输入、照片、触摸输入等)、用户应用生成的数据(例如,由社交联网应用、消息收发应用、照片共享应用、视频共享应用、媒体播放器应用等提供的数据)、由驻留在计算设备上的一个或多个传感器(例如,图像传感器、GPS、能够测量一个或多个生物参数的传感器等)生成的数据、和/或与用户有关的任何其他适当的数据。例如,数据源110可以包括已经注册到具有用户帐户的用户的计算设备,并且数据可以包括来自安装在计算设备上并且使用相同用户帐户注册的各个应用的数据。在该示例中,计算设备的用户可以选择在用户设备102或服务器120上执行的应用使用哪些应用或哪些数据类型(例如,位置数据、无线网络数据等)。
在另一示例中,数据源110可以包括可以提供与用户有关的数据的一个或多个服务。例如,这样的服务可以包括社交联网服务、消息收发服务、视频共享服务、照片共享服务、文件托管服务等。在一个这样的示例中,用户设备102或服务器120可以经由一个或多个应用编程接口和/或任何其他合适的数据交换机制与数据源110通信。
应当注意,可以使用来自一个或多个数据源110的数据来确定所推荐动作对用户的身体或情感状态的作用。用户的情感状态能够是复杂的现象。情感可以是与生理活动相关联的精神状态,并且可以受到内部或外部环境条件的影响。情感可以与用户的个性、情绪、气质、性情、和动机相关联。例如,情感状态可以包括快乐、满足、平静、惊喜、愤怒、恐惧、悲伤、抑郁、厌恶、疲倦、焦虑、匆忙等。在一些示例中,情感状态可以大致分为积极和消极的情感,其中积极情感可以包括快乐和满足,并且消极情感可以包括愤怒和抑郁。此外,内部环境条件的示例包括旧的记忆,并且外部刺激的示例包括由于各种环境因素引起的压力或压力的减轻。
还应当注意,用户的身体或情感状态可以被认为是在某个时间点的该用户的身体特征或情感的总体快照或视图。由于用户的身体状态或情感状态可以涉及多个因素,所以身体或情感状态即使在短时间段内也会发生波动。通过使用来自多个源的与用户有关的数据,可以预测该用户的身体或情感状态,其可用于确定是否在给定时间推荐特定动作。此外,可以基于来自多个源的与用户有关的新的或更新的数据来预测该用户的身体状态或情感状态的改变。更进一步地,可以使用该用户的身体状态或情感状态的改变来评估对该用户所拥有的或位于该用户附近的设备的所推荐动作是否可能使该用户更接近目标或目的。
数据源110可以彼此处于本地或彼此处于远程。每个数据源110可以通过一个或多个通信链路108连接到通信网络106,通信网络106进而可以经由通信链路112链接到服务器120和/或经由通信链路104链接到用户设备102。
应当注意,在一些实施方式中,在从各个数据源110访问信息之前,用户设备102可以请求(或要求)用户设备102的用户提供访问各个数据源110中的每一个的核准。在一些实施方式中,用户设备102可以检测可用于提供与该用户有关的数据的数据源110、并且可以提供允许用户设备102的用户选择要将哪个数据源110用于获得与该用户有关的数据的用户界面。
图2示出了可以由用户设备102和/或服务器120接收的输入数据的类型的说明性示例。如图2所示,服务器120可以包括:用于请求、合并(consolidate)、存储、和/或处理与用户或用户组有关的数据的数据存储引擎122,和用于对接收到的数据进行归类(例如,场境数据、社交数据、通用数据等)、选择数据中可以指示用户的身体状态或情感状态的特定部分、以及处理数据的所选择部分的数据处理引擎124。例如,也如图2所示,服务器120可以接收各种类型的视频数据、文本数据、RFID数据、环境音频数据(或从环境音频数据提取的关键字)、和移动设备数据等。
使用一个或多个数据源110,数据存储引擎122可以接收任何合适的数据。例如,从一个或多个数据源110,数据存储引擎122可以接收和/或请求与一个或多个用户所参与的活动有关的数据,诸如“散步(took a walk)”以及跨越的距离、访问了与咖啡店相对应的位置、参加了社交事件(例如,会议、聚会、体育赛事等)、参加了健身训练课程等。作为另一个示例,从一个或多个数据源110,数据存储引擎122可以接收和/或请求包括与活动有关的定时信息的数据,诸如该活动的持续时间、与该活动相对应的时间等。作为又一示例,数据存储引擎122可以接收和/或请求数据,该数据包括给定时间段内(例如,一周中的一天、几天、工作日、周末等)由一个或多个用户参与的活动的发生次数、参与给定活动的用户的数目、和/或与关于给定活动的频率信息有关的任何其他合适的信息。作为另一示例,在一些实施方式中,数据存储引擎122可以接收指示用户环境中存在的噪声和/或声音的信息。作为一个更具体的示例,在一些实施方式中,该信息可以指示用户环境中的媒体回放设备(例如,电视、音响、和/或任何其它合适的媒体回放设备)处于开启状态、与特定设备(例如,计算机、冰箱、和/或任何其他合适的设备)相关联的风扇正在用户的环境中运行、在用户环境中正发生对话、和/或任何其他合适的信息。
使用包括社交数据源的一个或多个数据源110,数据存储引擎122可以接收和/或请求与用户在社交联网服务上发布的内容和/或信息有关的数据。例如,该数据可以包括该用户在服务(例如,社交联网服务、消息收发服务、视频共享服务、照片共享服务、电子商务服务等)上发布的一个或多个情绪状态。作为另一示例,该数据可以包括用户在社交联网服务上发布的评论、消息、帖子、位置、和/或任何其他合适的内容。作为又一示例,该数据可以包括与社交联网服务上的用户的一个或多个社交联系(social connection)有关的任何合适的信息、由社交联系公布的内容、与社交联系相关联的位置等。
使用一个或多个数据源110,数据存储引擎122可以接收和/或请求和与一个或多个媒体内容项的用户交互有关的数据。例如,该数据可以包括与该用户已经与之交互的媒体内容项有关的任何合适的信息。在一个更具体的示例中,该数据可以包括该媒体内容项的类型、该媒体内容项的描述、指向该媒体内容项的链接(例如,URL)、可以标识该媒体内容项的标识符(例如,URI、节目标识符等)、该媒体内容项的作者、与媒体内容项有关的艺术家等。作为另一示例,该数据可以包括和与该媒体内容项的用户交互的类型有关的任何合适的信息,诸如消费该媒体内容项、经由社交联网服务或任何其他合适的服务发布该媒体内容项、与其他用户共享该媒体内容项、经由社交联网服务或任何其他合适的服务对该媒体内容项点赞(like)、对该媒体内容项进行评论等。作为另一示例,该数据可以包括和与媒体内容项的用户交互有关的任何合适的定时信息,诸如该用户交互的持续时间、与该用户交互相对应的时间等。
使用一个或多个数据源110,数据存储引擎122可以接收和/或请求与用户相关联的生物计量数据。例如,响应于接收到从包括传感器的数据源110访问生物计量数据的核准,该生物计量数据可以包括与用户相关联的任何合适的生理参数,例如心率、呼吸速率、血压、体温、皮肤湿度等。作为另一个示例,该生物计量数据可以包括生理参数的范围,诸如心率范围、血压范围等。
使用一个或多个数据源110,数据存储引擎122可以接收和/或请求与用户相关联的位置数据。例如,响应于接收访问位置信息的核准,该位置数据可以包括可以用于估计与该用户相关联的计算设备的位置的任何合适的信息,诸如与计算设备相关联的标识符(例如,IP地址)、由计算设备生成的GPS信号、与计算设备相关联的Wi-Fi接入点、关于计算设备连接到的小区塔的信息等。作为另一示例,该位置数据可以包括可以用于估计该用户的位置的任何合适的信息,诸如由该用户使用合适的服务(例如,社交联网服务)发布的位置、该用户意图访问的位置(例如,与使用在移动设备上执行的日历应用排程的社交事件、关联于该用户的社交网络帐户等相关联的位置)等。
在一些实施方式中,数据存储引擎122可以对从数据源110接收的数据进行归类和/或分类。
例如,数据存储引擎122可以从多个数据源110(例如,使用一个或多个应用编程接口)接收数据,并且当接收到的数据包括关于用户所使用的一个或多个服务(例如,社交联网服务、电子邮件服务、消息收发服务、视频共享服务等)的信息、与用户相关联的搜索历史(例如,由用户输入的关键字)等时,数据处理引擎124可以将接收的数据分类为通用数据。
作为另一示例,数据存储引擎122可以从多个数据源110(例如,使用一个或多个应用编程接口)接收数据,并且当接收到的数据包括与用户设备102的位置有关的信息、交通信息、基于来自用户设备102的位置信息的天气信息(例如,“晴”、“冷”等)、给定位置内的人口密度信息、与由数据源110提供的数据有关的位置场境(context)(例如,“工作”、“家”、“假期”等)、和/或可以提供与用户有关的场境信息的任何其它合适的信息时,数据处理引擎124可将接收的数据分类为场境数据。
作为另一示例,数据存储引擎122可以从多个数据源110(例如,使用一个或多个应用编程接口)接收数据,并且当所接收的数据流包括与涉及多个用户的社交事件有关的信息(例如,使用社交联网服务、日历应用等排程的会议)、由使用服务(例如,社交联网服务、视频共享服务、照片共享服务等)的一个或多个用户发布的内容和/或信息、关于用户的一个或多个社交联系的信息、和/或可以被分类为社交数据的任何其它合适的信息,数据处理引擎124可将接收的数据分类为社交数据。在一个更具体的示例中,响应于确定社交服务的用户帐户也在用户设备102上认证,可以检索与该用户帐户相关联的社交数据。
作为另一示例,数据存储引擎122可以从多个数据源110(例如,使用一个或多个应用编程接口)接收数据,并且当所接收的数据流包括关于用户目标、用户的个人兴趣(例如,在社交联网服务上可用的用户声明的兴趣、用户消费和/或点赞的媒体内容等)、用户所生成的一个或多个话语的信息、和/或可被视为个人的任何其他合适的信息时,数据处理引擎124可以将接收到的数据分类为个人数据。在该示例中,数据处理引擎124可以丢弃个人数据,除非从用户设备102的用户接收到使用这样的个人数据的特定核准。
在一些实施方式中,数据处理引擎124可以处理由数据源110提供的数据流和/或由数据存储引擎122存储和/或处理的数据流。
在一些实施方式中,数据处理引擎124可以确定来自数据源110的数据或数据的特定部分是否与用户的目标或目的相关。应当注意,在一些实施方式中,数据处理引擎124可以确定来自多个数据源110的数据或数据的特定部分是否与指派给特定用户组的用户的目标或目的相关。
在一些实施方式中,数据处理引擎124可以确定来自数据源110的数据或数据的特定部分是否指示用户的情感状态。这些确定可以以任何合适的方式进行。例如,可以使用合适的分类器进行该确定,该合适的分类器可以将输入数据或输入数据的一部分分类为与目标相关或与该目标无关。
在一个更具体的示例中,数据处理引擎124可以选择数据的一个或多个部分,其中数据的每个部分可以对应于任何合适的时间段,例如几分钟、几个小时、周中的一天、几天、一周、一个月等。在一些实施方式中,可以以任何合适的方式识别数据的部分。例如,可以使用可以将数据的一部分分类为与目标相关的分类器进行确定。在另一示例中,可以使用可以将数据的一部分分类为可能指示用户的情感状态的分类器进行确定。在另一示例中,可以使用可以将数据的一部分分类为与所推荐动作相关(例如,可用于确定该动作可能对用户的情感状态有作用的可能性的数据,可用于确定何时执行该所推荐动作的数据等)的分类器进行确定。应当注意的是,该分类器可以使用任何合适的机器学习算法进行训练,诸如支持向量机、决策树、贝叶斯(Bayesian)模型等。
在一些实施方式中,在从多个数据源110选择数据的各个部分后,数据处理引擎124可以向数据的每个部分指派权重。例如,对于特定目标或目的,数据处理引擎124可以确定来自特定数据源110的社交数据将被加权,使得其对所推荐动作或输出的确定具有更大的影响。这可能是因为与用户有关并且指示该用户的情感状态的社交数据被认为与结交新朋友的目的高度相关。在另一个示例中,这可能是因为社交数据倾向于提供用户的情感状态的准确指示(例如,由于用户设备的用户频繁在多个社交联网网站上公布状态更新),并且因为在推荐诸如将车辆驾驶到特定位置的特定动作之前,数据处理引擎124可以考虑这样的社交数据。在另一个合适的示例中,可以由用户设备102的用户设置权重,使得该用户可以调节应用以及如何处理与该用户有关的特定类型的数据。在一个更具体的示例中,该用户可以设置与社交数据相关联的权重,使得降低社交数据在确定动作或输出中的效果。
在一些实施方式中,数据处理引擎124可以生成与用户有关的一个或多个简档。例如,数据处理引擎124可以使用所接收的数据来生成用于将用户设备102的用户指派至群组(例如,针对特定目的或目标的相似用户的群组)的基线简档。在该示例中,数据处理引擎124还可以为个体用户和/或用户组生成标的简档,其可以包括与已经指示实现特定目的或目标的相似用户相对应的数据。替选地,数据处理引擎124可以生成包括与已经指示未能达成特定目的或目标的相似用户相对应的数据的标的简档。作为另一示例,数据处理引擎124可以使用接收的数据,并且在一些实施方式中,请求和接收更新的数据以生成与用户相关联的、指示该用户的当前身体状态或情感状态的当前简档。
可以使用任何合适的方法来生成与用户设备102的用户或用户组有关的任何适当的简档。例如,数据处理引擎124可以生成指示用户在给定时间段内的身体状态或情感状态的一个或多个简档。例如,可以基于被确定为指示用户在给定时间段期间的身体状态或情感状态的数据来生成与该用户相关联的基线简档,该给定时间段诸如上午、给定日、工作日、周末、给定周、季节、和/或任何其他合适的时间段。在另一个示例中,数据处理引擎124可以生成指示用户的以下信息的一个或多个简档:针对诸如平常工作日、休假日的给定场境的身体状态或情感状态,当用户设备102位于用户的家庭附近时的情绪和/或行为、当用户设备102指示用户设备102附近的温度低于65度时的情绪和/或行为等。
在一些实施方式中,服务器120可以包括输出推荐引擎126以用于确定和/或提供可能影响或作用于用户的身体状态或情感状态的所推荐动作。例如,响应于将与该用户相对应的当前简档与标的简档相比较,输出推荐引擎126可以针对该用户确定所推荐动作。在一个更具体的示例中,输出推荐引擎126可以基于对指示该用户具有特定目的的当前简档和相似用户的标的简档进行比较,确定可能对该用户的身体状态或情感状态有作用的一个或多个所推荐动作,并且在执行该所推荐动作时可以帮助用户达到特定目标,标的简档包括与已经确定他们已经实现了特定目的的用户有关的信息以及与已经确定他们没有实现特定目的的用户有关的信息。
应当注意,在一些实施方式中,输出推荐引擎126可以致使在用户设备102或与用户相关联的任何其它合适的计算设备上执行任何合适的所推荐动作。如图2所示,动作或输出可以包括:触觉或触敏反馈、感官反馈(例如,图像内容、光示意(light cue)、音乐、视频消息、视频内容等)、环境相关反馈(例如,使得从合适的设备发出气味、通过照明或家庭自动化系统修改照明方案、使得用户环境中的环境噪声被更改等)和/或内容相关动作(例如,呈现文本、图像内容、视频内容、音频内容)等。
例如,输出推荐引擎126可以确定要将消息呈现给与用户相关联的用户设备102,以提示该用户参与活动。例如,这可以帮助该用户达到特定的目的或目标。在一个更具体的示例中,输出推荐引擎126可以确定该消息将以特定形式(例如,通过电子邮件、文本消息、移动通知、帐户通知、用户界面、和/或以任何其它合适的方式)和/或在特定时间(例如,基于该用户的当前身体状态或情感状态)呈现。
作为另一示例,输出推荐引擎126可以确定将在用户附近创建气氛。例如,这可以帮助该用户达到特定目的或目标和/或影响该用户的确定的情感状态。在一个更具体的示例中,基于对该用户的当前身体状态或情感状态的确定,输出推荐引擎126可以使得在与该用户相关联的用户设备102上呈现音乐内容、已被标注为是积极内容的新闻文章的馈送、和/或已被标注为有趣内容的图像内容的馈送。在另一个更具体的示例中,输出推荐引擎126可以使得在连接到用户设备的具有音频输出设备的设备上呈现声音效果(例如,雨声),可以使用连接到用户设备的照明系统调整该用户周围的环境光,和/或可以通过在使用用户设备102的用户附近激发气味发生器来使得发出气味。
作为另一示例,输出推荐引擎126可以确定要修改用户环境中的环境噪声。在一些实施方式中,可以更改该环境噪声以帮助用户执行特定活动、改善用户的情绪和/或身体状态、和/或为了任何其他合适的原因。作为一个具体示例,在一些实施方式中,在确定用户正在工作的实例下,输出推荐引擎126可以确定用户环境中将帮助该用户集中在工作上的环境噪声。作为一个具体示例,输出推荐引擎126可以确定环境噪声是白噪声。作为另一具体示例,响应于确定该用户在工作时感到困倦,输出推荐引擎126可以确定该环境噪声将在特定时间段内波动(例如,在频率和/或音量上波动)以警示该用户。下面结合图12-14更详细地讨论这些和其它示例。
参考图1,可以使用任何合适的用户设备102来执行来自输出推荐引擎126的所推荐动作。例如,用户设备102可以是可穿戴计算设备、电视、监视器、液晶显示器、三维显示器、触摸屏、模拟触摸屏、游戏系统、便携式DVD播放器、便携式游戏设备、移动电话、个人数字助理(PDA)、音乐播放器、平板计算机、膝上型计算机、桌面型计算机、移动电话、媒体播放器、照明设备、气味发生器、和/或可用于执行一个或多个所推荐动作的任何其它合适的设备。应当注意,在一些实施方式中,用户设备102可以具有应用编程接口,使得由输出推荐引擎126确定的所推荐输出可被传送到诸如家庭自动化系统的合适系统,其中该系统使用应用编程接口来使得该所推荐输出在一个或多个用户设备102上执行。
在一个更具体的示例中,服务器120可以确定与用户设备相关联的用户具有特定的目的或目标(例如,在用户工作日的过程中得到更多的锻炼)。响应于从用户设备102的用户接收到访问来自各个设备和其他数据源的社交联网数据、位置数据、和日历数据的核准,服务器120可以基于该社交数据来确定该用户设备的用户当前正感觉精力相对低,并且从该日历数据确定该用户具有在特定时间排程并且将发生在特定位置的会议(在当前时间和会议之间没有事务)。服务器120可以使用这样的数据并考虑到历史数据。例如,基于来自与该用户相关联的可穿戴计步器的生物计量数据,服务器120可以确定用户设备102的用户在本月至今或本周至今已经参与的活动量,并确定该用户是否可能达到指示的目的或目标或可能达到平均活动水平。在另一示例中,基于位置信息,服务器120可以确定该用户使用汽车服务以在距离与该用户相关联的工作位置十个街区的特定位置处参加会议的频率。在又一示例中,基于社交联网服务上声明的兴趣和/或喜好,服务器120可以确定用户设备102的用户喜欢花。在另一示例中,使用地图测绘数据,其确定与该用户相关联的工作位置与会议位置之间的路线。考虑到来自多个设备和/或数据源的数据的这些部分,服务器120可以使得在一个或多个设备上执行一个或多个所推荐动作,诸如:对用户设备的提示用户在五分钟内从附近咖啡店购买一杯咖啡的通知;对用户设备的提示用户使用特定路线步行到会议的通知,该特定路线包括在沿着所提供的路线的位置访问最近开的兰花店。替选地,服务器120可以在会议之前的特定时间使得位于用户设备102附近的气味发生器发出薰衣草气味。在另一替选示例中,服务器120可以在会议之前的特定时间,在致使提示该用户使用特定步行路线步行到会议的通知之前,确定用户设备102附近的天气(例如,在确定降水几率大于特定阈值后,在基于所确定的温度和关于认为什么是“太热”的用户数据确定对于用户来说“太热”后等)。
继续该示例,服务器120可以确定该用户设备的用户已经访问了该兰花店和/或该用户正如所推荐动作所推荐地步行到该咖啡店,并且服务器120可以使用该咖啡店的应用编程接口来请求该咖啡店中的消费者的数目,并且可以确定该用户在该咖啡店可能具有特定的等待时间。然后,服务器120可以使用其相应的应用编程接口来确定相同连锁经营(franchise)内的另一咖啡店具有较少的等待时间并且靠近用户设备102的用户(例如,离用户设备102提供的当前位置一个街区)。服务器120可以向用户设备102传送更新或修订的所推荐动作。
在一些实施方式中,应当注意,服务器120可以识别在用户的特定接近度内的用于执行所推荐动作的一个或多个用户设备102或其他合适的设备(例如,电视、音频系统、媒体播放器、气味发生器、照明系统等)。例如,服务器120可以使得用户设备102检测连接到用户设备102的设备并且检测在用户设备102附近的设备(例如,使用设备发现功能)。作为响应,服务器120可以使得被认为是令人放松的歌曲的歌曲从服务(例如,媒体流送服务)流送并使用与该用户相关联的设备(例如,移动电话、媒体播放器等)输出。此外,服务器120可以响应于确定该用户喜欢薰衣草(例如,基于在用户的社交网络页面上发布的信息)并且基于该用户当前的情感状态,使得使用气味发生器在特定时间发出薰衣草气味。
在一些实施方式中,服务器120可以基于用户的组合的身体状态或情感状态来个性化针对均具有对应用户设备的多个用户的服务。例如,用户可以是位于相同位置(例如,基于位置信息或者在线日历,咖啡店、会议室、接近给定用户、城镇、办公室等)的具有用户设备的用户组、在社交联网服务上彼此连接的具有用户设备的用户组、被确定为相似用户的具有用户设备的用户组、和/或任何其他合适的用户。
返回参考图1,系统100可以包括一个或多个服务器120。服务器120可以是任何合适的一个或多个服务器,其用于提供对本文所述的用于基于来自多个数据源的情绪信息和/或行为信息来个性化服务的机制的访问,服务器120诸如处理器、计算机、数据处理设备、或这样的设备的任何合适的组合。例如,用于基于来自多个数据源的情绪信息和/或行为信息来个性化服务的机制可以分布在多个后端组件和多个前端组件和/或用户接口中。在一个更具体的示例中,可以在一个或多个服务器120上执行后端组件(诸如用于识别用户的目的、从一个或多个数据流中选择数据的特定部分、生成简档信息、针对与该用户相关联的一个或多个设备确定所推荐动作等的机制)。在另一个更具体的示例中,可以在一个或多个用户设备102和/或显示设备110上执行前端组件(诸如以内容的形式呈现所推荐动作、执行所推荐动作、检测用户设备在其他设备附近等)。
在一些实施方式中,用户设备102、数据源110和服务器120中的每一个可以是以下中的任何一个:诸如计算机的通用设备,或诸如客户端、服务器等的专用设备。这些通用或专用设备中的任何一个可以包括任何合适的组件,例如硬件处理器(其可以是微处理器、数字信号处理器、控制器等)、存储器、通信接口、显示控制器、输入设备等。例如,用户设备102可以被实现为智能电话、平板计算机、可穿戴计算机、车辆计算和/或娱乐系统(例如,在汽车、船、飞机或任何其它合适的载具中使用的)、膝上型计算机、便携式游戏控制台、电视、机顶盒、数字媒体接收器、游戏控制台、恒温器、家庭自动化系统、电器、任何其他合适的计算设备、或其任何合适的组合。
通信网络106可以是任何合适的计算机网络或这样的网络的组合,包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、Wi-Fi网络、数字订户线路(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)、对等连接等。通信链路104、108、和112中的每个链路可以是适于在用户设备102、数据源110、和服务器120间传送数据的任何通信链路,诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路、或者这样的链路的任何合适的组合。注意,在一些实施方式中,可以使用多个服务器120来提供对与本文所描述的用于基于来自多个数据源的情绪信息和/或行为信息来个性化服务的机制相关联的不同机制的访问。例如,系统100可以包括:数据选择服务器120,其促进选择来自多个数据源的指示用户的情感状态的数据;简档服务器120,其生成用于将用户指派到用户组中的基线简档,基于所指派的用户组并基于该用户的目的或目标来确定标的简档,生成表示该用户的当前简档,以及将该当前简档与该标的简档相比较;推荐服务器120,其确定可以有可能对该用户的情感状态有作用和/或可以使该用户更接近目的或目标的一个或多个所推荐动作;分发服务器120,其使得所推荐动作被执行(例如,向特定设备传送内容,向家庭自动化系统传送指令等);和/或用于执行本文所述的机制的任何合适功能的任何其它合适的服务器。
图3示出了根据所公开的主题的一些实施方式的,可用于实现图1中所描绘的用户设备102和服务器120中的一个或多个的硬件的示例300。参考图3,用户设备102可以包括可以互连的硬件处理器302、显示器/输入设备304、存储器306、和发射器/接收器308。在一些实施方式中,存储器306可以包括用于存储用于控制硬件处理器302的用户设备程序的存储设备(诸如计算机可读介质)。
硬件处理器302可以使用用户设备程序来执行本文所描述的用于使用多个数据源基于情绪和/或行为来个性化服务的机制和/或与其进行交互,该机制可以包括呈现一个或多个推荐界面(例如,用于输入目的或目标信息,用于提供从一个或多个数据源访问数据的核准,用于选择数据源等),并且可以包括执行所推荐动作。在一些实施方式中,硬件处理器302可以使用例如发射器、接收器、发射器/接收器、收发器、和/或诸如发射器/接收器308的任何其它合适的通信设备,通过通信链路104或任何其它通信链路来发送和接收数据。显示器/输入设备304可以包括触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器、和/或任何其它合适的显示和/或演示设备、和/或者可以包括计算机键盘、计算机鼠标、一个或多个物理按钮、麦克风、触摸板、语音识别电路、触摸屏的触摸界面、相机、诸如光学运动传感器和/或加速度计的运动传感器、温度传感器、近场通信传感器、生物计量数据传感器、和/或任何其它合适的输入设备。发射器/接收器308可以包括用于发送和/或接收用于呈现内容的指令、与当前控制水平有关的信息、对位置信息的请求等的任何合适的发射器和/或接收器,并且可以包括用于与诸如图1所示的网络106的一个或多个通信网络进行对接的任何合适的硬件、固件和/或软件。例如,发射器/接收器308可以包括:网络接口卡电路系统、无线通信电路系统、和/或任何其他合适类型的通信网络电路系统;一个或多个天线;和/或用于发射和/或接收信号的任何其它合适的硬件、固件和/或软件。
服务器120可以包括可以互连的硬件处理器312、显示器/输入设备314、存储器316和发射器/接收器318。在一些实施方式中,存储器316可以包括用于存储用于控制硬件处理器312的推荐程序的存储设备(诸如计算机可读介质)。
硬件处理器312可以使用推荐程序来执行本文描述的机制和/或与其交互以用于:从多个数据源获得与计算设备的用户的目的相关联的信息;识别用户设备的用户的目的;从多个数据源接收与该用户相关联的信息;确定来自所述多个数据源中的每一个的信息的一部分与具有所识别的目的的该用户相关;基于所识别的目的和来自多个数据源中的每一个的信息的一部分,将该用户指派至多个群组中的一个用户组;基于所识别的目的和所指派的群组来确定与所述用户相关联的标的简档;基于来自多个数据源中的每一个的信息的一部分,为该用户生成当前简档;将该当前简档与该标的简档进行比较以确定所推荐动作,其中该所推荐动作被确定为有可能对该用户的情感状态有作用;使得该所推荐动作被执行(例如,在由该用户拥有或位于该用户附近的设备上执行);确定连接到所述计算设备的一个或多个设备,其中所述一个或多个设备中的每一个具有一个或多个设备能力;和/或通过通信链路108发送和接收数据。在一些实施方式中,推荐程序可以使得硬件处理器312例如执行下面结合图2所述的过程400的至少一部分。在一些实施方式中,硬件处理器312可以使用例如发射器、接收器、发射器/接收器、收发器、和/或诸如发射器/接收器318的任何其它合适的通信设备,通过通信链路114或任何其它通信链路来发射和接收数据。显示器/输入装置314可以包括触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器、和/或任何其它合适的显示和/或演示装置,和/或可以包括计算机键盘、计算机鼠标、一个或多个物理按钮、麦克风、触摸板、语音识别电路、触摸屏的触摸界面、相机、诸如光学运动传感器和/或加速度计的运动传感器、温度传感器、近场通信传感器、生物计量数据传感器、和/或任何其它合适的输入设备。发射器/接收器318可以包括用于发送和/或接收要呈现的内容、对显示设备110的状态信息的请求、对内容的请求、对位置信息的请求等的任何合适的发射器和/或接收器,并且可以包括用于与诸如图1所示的网络106的一个或多个通信网络对接的任何合适的硬件、固件和/或软件。例如,发射器/接收器318可以包括:网络接口卡电路系统、无线通信电路系统、和/或任何其他合适类型的通信网络电路系统;一个或多个天线;和/或用于发射和/或接收信号的任何其它合适的硬件、固件和/或软件。
在一些实施方式中,服务器120可以以一个服务器实现,或者可以被分布为任何合适数目的服务器。例如,可以在各个位置实现多个服务器120以提高可靠性和/或提高该服务器可以与用户设备102和/或数据源110进行通信的速度。附加地或替选地,如上面结合图1所述,可以实现多个服务器120以执行与本文所描述的机制相关联的不同任务。
转到图4,示出了根据所公开的主题的一些实施方式的、使用来自多个数据源的数据基于用户设备的用户的身体状态或情感状态来个性化计算机化服务的过程的说明性示例400。
应当注意,过程400可以个性化计算机化服务,其中可以使用来自多个数据源的数据来确定计算机化服务对具有用户设备的用户的身体状态或情感状态的作用。用户的情感状态可以是复杂的现象。情感可以是与生理活动相关联的精神状态,并且可以受到内部或外部环境条件的影响。情感可以与用户的个性、情绪、气质、性情、和动机相关联。例如,情感状态可以包括快乐、满足、平静、惊喜、愤怒、恐惧、悲伤、抑郁、厌恶、疲倦、焦虑、匆忙等。在一些示例中,情感状态可以大致分为积极和消极的情感,其中积极情感可以包括快乐和满足,并且消极情感可以包括愤怒和抑郁。此外,内部环境条件的示例包括旧的记忆,并且外部刺激的示例包括由于各种环境因素引起的压力或压力的减轻。
还应当注意,用户的身体或情感状态可以被认为是在某个时间点的该用户的身体特征或情感的总体快照或视图。由于用户的身体状态或情感状态可以涉及多个因素,所以身体状态或情感状态即使在短时间段内也会发生波动。通过使用来自多个源的与用户有关的数据,可以预测该用户的身体状态或情感状态,其可用于确定是否在给定时间推荐特定动作。此外,可以基于来自多个源的与用户有关的新的或更新的数据来预测该用户的身体状态或情感状态的改变。更进一步地,可以使用该用户的身体状态或情感状态的改变来评估对该用户所拥有的或位于该用户附近的设备的所推荐动作是否可能使该用户更接近目标或目的。
如所图示,在410处可以通过接收与特定目的或目标有关的用户输入来开始过程400。特定目的或目标的说明性示例可以是得到更多的锻炼(例如,一般地增加当前活动水平、得到每日至少1小时的任何形式的锻炼等)、减重(例如,一般地减重,三个月内减轻10磅等)、结交更多的朋友、实现特定的情感状态(例如,感觉更有成效、感觉压力较小等)等。
在一个更具体的示例中,响应于从用户设备的用户接收到从社交联网服务访问与该用户有关的社交数据的核准,过程400可以从该用户在社交联网服务上发布的社交媒体帖子中提取关键字来确定该用户的一个或多个目的。在该示例中,可以从社交联网服务接收与该用户相关的社交数据,其可以包括具有文本、图像内容、视频内容、和/或音频内容的消息或帖子,由连接到该用户的其他用户公布的消息、和场境信息——诸如定时信息、位置信息、以及连接到该用户的一个或多个用户的宣布的情绪或情感状态。
在另一个更具体的示例中,响应于在与该用户相关联的计算设备上安装推荐应用,该推荐应用可以在该计算设备上呈现提示该用户从用户界面选择目的的推荐界面。例如,该推荐界面可以被呈现为推荐卡、通知、或提示该用户指示目的或目标的任何其他合适的用户界面。可以在计算设备上呈现的推荐界面的说明性示例在图5中示出。如图所示,在一些实施方式中,诸如移动设备500的用户设备102可以提示用户在推荐界面510中输入目的,例如“get more exercise(得到更多锻炼)”或“improve your mood(改善您的情绪)”。推荐界面510中的建议的目的可以基于任何合适的判据(例如,默认目的、流行目的、基于输入到用户设备中的最近搜索来选择的目的、基于与用户设备相关联的位置信息来选择的目的、基于从用户设备的用户核准的数据源推断的属性的目的等)。如图所示,可以提供建议的目的的理由,例如“Based on your recent searches(根据您最近的搜索)”和“Based onyour recent posts(根据您最近的帖子)”。附加地或替选地,推荐界面可以向移动设备500的用户呈现搜索栏位,以提供与该用户期望实现的目的或目标有关的关键字。
返回图4,在420处,推荐系统可以基于所确定的目的来确定用户设备的用户的一个或多个目标。例如,响应于确定该目的是减重,推荐系统可以确定与减重目的相关联的目标——例如,第一周实现第一活动水平和第二周实现第二活动水平,第一月实现平均活动水平,每天早上在特定时间醒来,每天结束时达到休息量阈值,工作日在特定时间吃饭等。如下所述,推荐系统可以生成各个简档,诸如均具有用户设备的相似用户的简档、具有用户设备的已经指示他们已经实现了确定的目的或目标之一的用户的简档、具有用户设备的已经指示他们未能实现确定的目的或目标之一的用户的简档等。在这个示例中,推荐系统可以处理这些简档来确定与目的相关联的目标(例如,被认为与所述用户相似的用户实现了哪些目标,在特定时间量内实现了哪些目标等)。在一个更具体的示例中,响应于选择推荐界面510中呈现的目的之一,推荐系统可以确定与所选择的目的相关联的多个目标,并且基于简档信息来选择这些目标中的一部分。
在一些实施方式中,在430处推荐系统可以从多个数据源接收与用户相关联的任何合适的数据。例如,从一个或多个数据源,推荐系统可以接收和/或请求与一个或多个用户所参与的活动有关的数据,诸如散步以及使用具有社交服务的移动设备跨越的距离、使用具有社交服务的移动设备访问了与咖啡店相对应的位置、使用具有在线日历的移动设备参加了社交事件(例如,会议、聚会、体育赛事等)、使用具有在线日历和/或社交服务的移动设备参加了健身训练课程等。作为另一个示例,从一个或多个数据源,推荐系统可以接收和/或请求包括与活动有关的定时信息的数据,诸如该活动的持续时间、与该活动相对应的时间等。作为又一示例,推荐系统可以接收和/或请求数据,该数据包括给定时间段内(例如,一周中的一天、几天、工作日、周末等)由一个或多个用户参与的活动的发生次数、参与给定活动的用户的数目、和/或与关于给定活动的频率信息有关的任何其他适合的信息。
在一些实施方式中,推荐系统可以接收和/或请求与用户在社交联网服务上发布的内容和/或信息有关的数据。例如,该数据可以包括该用户在服务(例如,社交联网服务、消息收发服务、视频共享服务、照片共享服务、电子商务服务等)上发布的一个或多个情绪状态。作为另一示例,该数据可以包括用户在社交联网服务上发布的评论、消息、帖子、位置、和/或任何其他合适的内容。作为又一示例,该数据可以包括与社交联网服务上的用户的一个或多个社交联系有关的任何合适的信息、由社交联系公布的内容、与社交联系相关联的位置等。
在一些实施方式中,推荐系统可以接收和/或请求和与一个或多个媒体内容项的用户交互有关的数据。例如,该数据可以包括与该用户已经与之交互的媒体内容项有关的任何合适的信息。在一个更具体的示例中,该数据可以包括该媒体内容项的类型、该媒体内容项的描述、指向该媒体内容项的链接(例如,URL)、可以标识该媒体内容项的标识符(例如,URI、节目标识符等)、该媒体内容项的作者、与该媒体内容项有关的艺术家等。作为另一示例,该数据可以包括和与该媒体内容项的用户交互的类型有关的任何合适的信息,诸如消费该媒体内容项、经由社交联网服务或任何其他合适的服务发布该媒体内容项、与其他用户共享该媒体内容项、经由社交联网服务或任何其他合适的服务对该媒体内容项点赞、对该媒体内容项进行评论等。作为另一示例,该数据可以包括和与用户设备上的媒体内容项的用户交互有关的任何合适的定时信息,诸如该用户交互的持续时间、与该用户交互相对应的时间等。
在一些实施方式中,推荐系统可以接收和/或请求与用户设备的用户相关联的生物计量数据。例如,响应于接收到从包括传感器的数据源访问生物计量数据的核准,该生物计量数据可以包括与用户相关联的任何合适的生理参数,例如心率、呼吸速率、血压、体温、皮肤湿度等。作为另一个示例,该生物计量数据可以包括生理参数的范围,诸如心率范围、血压范围等。
在一些实施方式中,推荐系统可以接收和/或请求与用户相关联的位置数据。例如,响应于接收访问位置信息的核准,该位置数据可以包括可以用于估计与该用户相关联的计算设备的位置的任何合适的信息,诸如与计算设备相关联的标识符(例如,IP地址、设备标识符、媒体地址控制(MAC)地址、序列号、产品标识符等)、由计算设备生成的GPS信号、与计算设备相关联的Wi-Fi接入点、关于计算设备连接到的小区塔的信息等。作为另一示例,该位置数据可以包括可以用于估计该用户的位置的任何合适的信息,诸如由该用户使用合适的服务(例如,社交联网服务)发布的位置、该用户意图访问的位置(例如,与使用在移动设备上执行的日历应用排程的社交事件、关联于该用户的社交网络帐户等相关联的位置)等。
在一些实施方式中,推荐系统可以呈现诸如图6所示的推荐界面的推荐界面,其中向移动设备500的用户提示供选择的数据源。例如,可以通过在移动设备500上执行的推荐系统检测各个数据源,并且响应于检测到该各个数据源,可以提示该用户选择哪些数据源来获得与该用户相关联的数据。如图6所示,推荐界面提示移动设备500的用户从对推荐应用可用的各个数据源中进行选择,其中该用户已经指示从移动设备500访问位置数据和从已经使用移动设备500认证的服务访问社交数据的许可。在一个更具体的示例中,推荐系统可以提示该用户提供访问特定数据源的核准,并选择哪些数据源可以包括与实现目标或目的相关的数据。在该示例中,推荐系统可以提供界面,该界面提示用户设备的用户提供用于访问特定数据源的凭证,例如用户名和密码。
在一些实施方式中,推荐系统可以响应于选择用于获得用户的一个或多个数据源来提示用户提供附加信息,诸如使用推荐界面610来提供。例如,为了生成该用户的基线简档,推荐系统可以确定可以使用从所选数据源获得的数据导出或满足基线简档的某些部分,且该基线简档的其他部分仍然不完整。作为响应,推荐系统可以生成提示该用户提供这样的信息的界面——例如,如果目标是“减重”,则这样的界面可以提示移动设备500的用户输入身高值和重量值。
返回参考图4,在440处推荐系统可以基于该目的或确定的目标来选择从多个数据源接收的数据的部分。例如,推荐系统可以从多个数据源(例如,使用一个或多个应用编程接口)接收数据,并且可以确定接收的数据将被分类成各个数据类别。例如,这些类别可以包括通用数据、场境数据、社交数据、和个人数据。通用数据的示例可以包括关于用户使用的一个或多个服务(例如,社交联网服务、电子邮件服务、消息收发服务、视频共享服务等)的信息,与用户相关联的搜索历史(例如,用户输入的关键字)等。场境数据的示例可以包括:关于用户设备102的位置的信息、交通信息、基于来自用户设备102的位置信息的天气信息(例如,“晴”、“冷”等)、给定位置内的人口密度信息、与由数据源110提供的数据有关的位置场境(例如,“工作”、“家”、“假期”等)、与位于用户设备附近或连接到该用户设备的设备有关的信息、和/或可以提供与用户有关的场境信息的任何其它合适的信息。社交数据的示例可以包括:与涉及多个用户的社交事件有关的信息(例如,使用社交联网服务、日历应用等排程的会议)、由使用服务(例如,社交联网服务、视频共享服务、照片共享服务等)的一个或多个用户发布的内容和/或信息、关于用户的一个或多个社交联系的信息、和/或可以被分类为社交数据的任何其它合适的信息。个人数据的示例可以包括用户的个人兴趣(例如,在社交联网服务上可用的用户声明的兴趣、用户消费和/或点赞的媒体内容等)、用户生成的一个或多个话语、和/或可被视为个人的任何其他合适的信息。
在一些实施方式中,推荐系统可以为每个数据类别创建数据流。例如,响应于将来自多个服务的特定数据归类为是社交数据,推荐系统可以在接收到该社交数据时聚合该社交数据,并创建包含来自多个源的加时间戳的社交数据的社交数据流。替选地,在接收到来自用户的访问特定数据源的核准之后,推荐系统可对从该源接收的数据进行归类,并将该数据放入与该数据源相关联的数据流中,诸如来自特定社交源的加时间戳的社交数据的社交数据流。例如,如图7中所示,可以获得来自多个数据源的多个数据流——例如,通用数据(G5和G13)、个人数据(P1和P42)、社交数据(S9和S25)、以及场境数据(C33和C57)。
在一些实施方式中,推荐系统可以通过确定为了确定例如可以影响用户的身体状态或情感状态的所推荐动作,要分析哪些类别的数据和要使用该数据的哪些部分,来选择数据的特定部分。响应于针对用户设备的用户在410处确定目的或在420处确定目标,推荐系统可以选择可包括与目的或目标相关的数据的特定类别的数据。例如,推荐系统可以确定社交数据和场境数据可能与减重的目的相关。响应于在430处从多个数据源分析与用户有关的数据,推荐系统可以选择来自特定数据源的数据的特定类别,并且选择指示或代表用户的身体状态或情感状态的数据的特定时间部分。例如,推荐系统可以响应于从用户设备的用户接收到从多个数据源接收与该用户有关的数据的核准,确定在工作日上午9点至下午5点之间该用户设备通常不关于社交数据源被使用,并且确定来自该用户设备和连接到该用户设备的设备的场境数据很可能代表该用户的情感状态。应当注意的是,使用接收到的数据和/或确定的目的和目标,推荐系统可以选择不同的数据子集以供进行不同的确定——例如,用于推荐特定动作的数据子集、指示在一天的特定时间期间用户的情感状态的数据子集、指示用户在普通一天期间的情感状态的数据子集、代表在给定日期间用户的活动的数据子集等。
在一些实施方式中,每个目的或目标可以具有用于检索与用户有关并且与该目的或目标相关的数据的相关联的数据模板。例如,响应于在410处确定目的或在420处确定目标,推荐系统可以检索包括特定数据字段的相关联的数据模板,该特定数据字段诸如:特定的社交相关数据字段(例如,从社交帖子提取的关键字和关联时间)、场境相关的数据字段(例如,与每个社交帖子的时间相对应的来自与该用户相关联的多个设备的位置信息)、和通用数据字段(例如,用户设备已经安装的应用的类型和该用户设备附近的设备的设备简档)。如上所述,响应于确定该特定数据字段的信息可能无法使用来自数据源的数据完成或导出,推荐系统可以提示该用户输入这样的缺失数据(例如,通过生成用户界面提示该用户输入数据和/或输入关于该用户作出的推断的准确性)。
应当注意,虽然推荐系统可以基于特定的数据子集来进行确定,并且可以检索请求数据的特定部分的数据模板,但诸如用户设备102的用户设备的用户可以被提供有用于设置使用哪些数据源(例如,特定社交联网服务、特定移动设备等)以及推荐系统使用哪些类型的数据(例如,来自特定社交联网服务的社交信息而不是被确定为包括个人信息的数据、来自社交联网服务的社交帖子信息而不是来自社交消息收发服务的关系信息等)的控制。例如,可以向用户提供选择来自特定数据源的特定类型的数据的机会,该数据源可以包括与特定目的或目标相关的数据。
在一些实施方式中,使用来自多个数据源的数据的所选择部分,推荐系统可以在450处确定用户的基线简档。例如,推荐系统可以处理数据的所选择部分并生成与每个目的或目标相关联的一个或多个基线简档。在一个更具体的示例中,与目标相关联的基线用户简档可以包括与该用户的身体状态或情感状态有关的任何合适的信息(例如,“快乐”、“不快乐”等)以及关于一个或多个用户行为或习惯的信息(例如,通勤、中午休息、周会、锻炼团体等)。在另一个更具体的示例中,基线用户简档可以使用心率信息、温度信息、流电皮肤(galvanic skin)响应信息、位置信息、和社交帖子信息,将这样的信息与情感状态相匹配,并且建立给定的时间段、日、周、季节当中的情感状态的基线模式等
在一些实施方式中,使用来自多个数据源的数据的所选择部分,推荐系统可以确定用户的总体基线简档,其包括多个子简档——例如,使用该数据预测该用户的当前情感状态的子简档、描述该用户的典型活动水平的子简档、描述一天中特定时间的该用户的典型行为的子简档等。可以生成任何合适数目的子简档以创建该用户的总体基线简档。还应当注意,在一些实施方式中,推荐系统可以针对形成该用户的总体基线简档的每个子简档使用不同的数据子集。
在一些实施方式中,在450处推荐系统可以基于基线简档将该用户指派至用户组。例如,推荐系统可以识别已经实现了目标或目的的用户组,以及一个或多个与该群组中的用户相关联的行为和/或由该群组中的用户执行的动作。在另一示例中,推荐系统可以识别未能实现目标或目的的用户组以及一个或多个与该群组中的用户相关联的用户行为和/或该群组中的用户执行的动作。然后,推荐系统可以将特定行为和/或动作与该用户的目标相关联。
在一些实施方式中,推荐系统可以使用机器学习技术来识别和聚类相似的用户简档。例如,推荐系统可以使用机器学习技术来确定哪个群组简档和与该用户相关联的基线简档最相似,并且作为响应,可以将该用户置于与该群组简档相关联的群组中。在另一个示例中,推荐系统可以使用机器学习技术来确定哪个群组简档包括与用户设备的用户相似的具有该用户设备的用户并且包括对达成相同目的感兴趣的用户。在另一个示例中,推荐系统可以使用机器学习技术来确定哪个群组简档具有包括形成该用户的总体基线简档的子简档的公共特征的子简档。应当注意,可以使用任何合适的机器学习技术,例如支持向量机、决策树、贝叶斯模型等。
应当注意,在一些实施方式中,可以使用其他信息来将相似的用户聚组在一起。例如,用户组可以包括具有处于相似地理邻近度的用户设备的用户,例如与特定用户在同一个城市的用户。作为另一示例,该用户组可以包括在一个或多个社交联网服务上彼此连接的用户。
还应当注意,在一些实施方式中,过程400可以返回到420,其中推荐系统可以基于所指派的用户组来确定用于实现特定目的的一个或多个目标。例如,对于特定目的,推荐系统可以检索与已经指示期望达成该目的的相似用户的所指派群组相关联的一个或多个目标。在另一个示例中,为了特定目的,推荐系统可以对与目的相关联的目标进行排名,其中该排名基于来自用户组中的用户关于哪些目标帮助该用户达到目的的输入。然后,推荐系统可以为用户选择可能促进该用户达到目的的目标中的至少一部分。然后,所选择的目标可以在诸如图8所示的推荐界面800的推荐界面中呈现给用户。在该示例中,推荐系统可以向移动设备500的用户提供移除和/或添加附加目标的机会。
在一些实施方式中,推荐系统可以将在450处生成的基线简档用于其他确定。例如,推荐系统可以确定包括来自多个数据源的与用户有关的更新数据的当前简档是否偏离先前生成的基线简档。例如,基线简档与当前简档之间的偏差可以包括对特定活动的频率(例如,锻炼频率)的比较以及对特定行为有关的定时信息的比较(例如,用户每天醒来的时间)。这样的偏差可以指示数据或基于数据的这样的确定可能不指示用户的情感状态(例如,响应于工作改变可以从用户检测到压力响应)。这样的偏差还可以指示推荐系统要更新基线简档和/或更新将用户指派至另一用户组(例如,随着用户接近目标或目的,随着用户的行为随时间推移而变化等)。在另一个示例中,这样的偏差可以指示推荐系统要推荐可以将用户返回到基线简档的动作。
在一个更具体的示例中,由推荐系统生成的基线简档可以包括与用户相关联的行为和/或活动(例如,消费古典音乐、参加健身课程等)、与每个行为和/或活动有关的定时信息(例如,花费在听古典音乐上的时间)、在给定时间段内特定行为和/或活动的频率(例如,一周期间使用用户设备的用户听古典音乐的次数)、与行为和/或活动相关联的阈值(例如,用户倾向于一周至少听三次古典音乐每次至少三十分钟)等。
在另一个更具体的示例中,由推荐系统生成的基线简档可以包括与用户相关的数据的任何合适的表示。例如,响应于接收到生物计量数据的特定部分,推荐系统可以确定该用户在办公室时的平均心率、在工作日燃烧的平均卡路里数、以及用户普通一日的活动曲线。
还应当注意,可以生成多个基线简档并且将其与用户设备的用户相关联。例如,推荐系统可以使用与一个目标相关联的第一数据子集(例如,每天得到至少三十分钟的锻炼)生成基线简档,并且使用与另一个目标(例如,使用电子邮件应用少于特定的时间量)相关联的第二数据子集生成另一个基线简档。在另一个示例中,推荐系统可以在特定场境中生成基线简档,例如“工作”,并且在另一个场境中生成另一基线简档,例如“假期”。
在一些实施方式中,在470处推荐系统可以基于所指派的群组、目标、和/或目的来生成标的简档。例如,对于特定目的,推荐系统可以识别和聚类其中已经确定用户已达到目标或目的的用户的用户简档。在另一个示例中,推荐系统可以识别和聚类其中已经确定用户未达到目标或目的用户的用户简档(例如,以确定哪些动作可能无法帮助用户达到特定目标或目的)。在另一个示例中,推荐系统可以识别和聚类该推荐系统先前已经帮助用户达成所声明的目标或目的的用户的用户简档。
在一个更具体的示例中,推荐系统可以使用包括与已经达到特定目标或目的的用户有关的信息以及与未达到特定目标或目的的用户有关的信息的简档,来生成用于实现特定目标或目的的标的简档。在该示例中,推荐系统可以确定可以帮助用户达成特定目标或目的的动作、阈值、和其他信息——例如,已经确定实现在一个月内减轻10磅的目的的用户也已经每天行走至少一英里、早上六点醒来、晚上听古典音乐、并且在特定时间吃饭。例如,通过确定在已经指示实现特定目标或目的的用户之间的公共特征,推荐系统可以生成可用于向用户所推荐动作的标的简档。这些动作如果被执行则可能会影响用户的当前简档,使得该用户的当前简档更接近标的简档。
返回参考图4,在一些实施方式中,在480处推荐系统可以基于来自多个数据源的更新数据来为用户生成当前简档。应当注意,与该用户相关联的基线简档和当前简档可以是动态简档,其可以使用来自多个数据源的更新数据生成。例如,响应于确定已经流逝特定时间段(例如,一分钟、一天等),推荐系统可以从多个数据源接收和/或请求更新的数据,并且为该用户生成当前简档。替选地,推荐系统可以继续使用基线简档。
在一些实施方式中,在490处,推荐系统可以将当前简档与标的简档进行比较来确定所推荐动作。例如,这可以对用户的身体状态或情感状态有作用。基于目的或目标和简档信息,推荐系统可以确定将在用户设备、该用户所拥有的设备、或接近该用户设备的设备处执行哪个计算机化动作。
在一些实施方式中,推荐系统可以确定在不同时间向用户设备的用户推荐的多个计算机化动作。例如,推荐系统可以确定用户具有在该用户的工作日的过程期间得到更多锻炼的特定目的。响应于从用户设备的用户接收到访问来自社交联网服务的社交联网数据、来自与该用户相关联的移动设备的位置数据、以及来自与该用户相关联的在线日历的日历数据的核准,推荐系统可以从社交数据确定该用户当前正感觉到精力相对较低,并且从日历数据确定该用户具有排程在特定时间并且将发生在特定位置的会议(在当前时间和该会议的时间之间没有事务)。推荐系统可以使用这样的数据并且将其他数据并入到动态用户简档中。例如,基于来自与该用户相关联的可穿戴计步器的生物计量数据,推荐系统可以确定该用户在本月至今或本周至今已经参与的活动量,并确定该用户是否可能达到指示的目的或目标或可能达到平均活动水平。在另一示例中,基于位置信息,推荐系统可以确定该用户使用汽车服务以在距离与该用户相关联的工作位置十个街区的特定位置处参加会议的频率。在又一示例中,基于社交联网服务上声明的兴趣和/或喜好,推荐系统可以确定用户设备的用户喜欢花。在另一示例中,使用地图测绘数据,推荐系统可以确定与该用户相关联的工作位置与会议位置之间的路线。考虑到来自多个设备和/或数据源的数据的这些部分,推荐系统可以生成与该用户相关联的当前简档,并将其与可以与特定目的和/或特定用户组相关联的标的简档进行比较。基于该比较,推荐系统可以使得执行一个或多个所推荐动作,诸如提示该用户在五分钟内从附近咖啡店购买一杯咖啡的通知;提示该用户使用特定路线步行到会议的通知,该特定路线包括在沿着所提供的路线的位置访问最近开的兰花店。替选地,推荐系统可以在会议之前的特定时间使得位于用户设备附近的气味发生器发出薰衣草气味。在另一替选示例中,推荐系统可以在会议之前的特定时间,在致使提示该用户使用由诸如Google Maps的计算机地图路线服务识别的特定路线步行到会议的通知之前,确定用户设备附近的天气(例如,在确定降雨几率大于特定阈值后,在基于所确定的温度和关于认为什么是“太热”的用户数据确定对于用户来说“太热”后等)。
继续该示例,推荐系统可以确定用户已经访问了该兰花店和/或该用户正如所推荐动作所推荐地步行到该咖啡店。然后,推荐系统可以使用与该咖啡店相对应的应用编程接口来请求该咖啡店中的消费者的数目,并且可以确定该用户在该咖啡店可能具有特定的等待时间。然后,推荐系统可以使用其相应的应用编程接口来确定相同连锁经营内的另一咖啡店具有较少的等待时间并且靠近该用户设备的用户(例如,离该用户设备提供的当前位置一个街区)。推荐系统可以向该用户设备传送更新或修订的所推荐动作。
应当注意,这些多个计算机化动作中的每一个都可以与对应的触发事件相关联。例如,可以基于相关联的时间(例如,日内时间、之前事件的时间、直到下一个排程的事件开始的时间等)来触发诸如提示用户从附近的咖啡店购买咖啡的通知的动作。在另一个示例中,可以基于与用户设备相关联的位置信息(例如,检测到用户设备处于兰花店的特定接近度内)来触发诸如提示用户沿着到排程的会议的路线访问兰花店的通知的动作。在另一个示例中,推荐系统可以确定该动作是要以特定形式(例如,通过电子邮件、文本消息、移动通知、帐户通知、和/或以任何其它合适的方式)和/或在特定时间(例如,基于预测的用户情感状态)呈现的消息。
返回参考图4,推荐系统可以使得一个或多个所推荐动作在495执行。所推荐动作的说明性示例在图2中示出。如图所示,动作或输出可以包括:触觉或触敏反馈、感官反馈(例如,图像内容、光示意、音乐、视频消息、视频内容等)、环境相关反馈(例如,使得从合适的设备发出气味、通过照明或家庭自动化系统修改照明方案等)和/或内容相关动作(例如,呈现文本、图像内容、视频内容、音频内容)等。在一个更具体的示例中,所推荐动作可以包括使用连接到用户设备的音频输出设备来在该用户设备的用户的背景中修改声音、消除声音、或增强声音。在另一个更具体的示例中,所推荐动作可以包括在用户设备的用户的环境中提供感官反馈(例如,光示意、音频示意、视频示意、气味示意等)以提供通知。在另一个更具体的示例中,所推荐动作可以包括基于与用户相关的历史信息的包括内容相关动作的怀旧导向(nostalgia-oriented)的反馈。在另一示例中,所推荐动作可以包括基于设备信息和与用户相关的其他信息(例如,用户界面元素的组织、文档或文件的定位等)的应用数据的优先级。
在一些实施方式中,推荐系统可以基于所推荐动作来识别可以连接到或接近用户设备的用户的一个或多个设备以供执行所推荐动作。在一些实施方式中,推荐系统可以发起设备发现功能以确定哪个设备或哪些设备在用户设备附近。在一些实施方式中,可以响应于在用户设备上启动推荐应用或者响应于确定将使用设备来执行所推荐动作,启动这样的设备发现功能。附加地或替选地,在一些实施方式中,可以从任何合适的设备发起这样的设备发现功能,并且可以使用任何合适的信息来确定哪些设备在用户设备附近。
在一些实施方式中,用户设备可以确定附近是否有任何输出设备。用户设备或在用户设备上执行的推荐应用可以使用任何合适的技术或技术组合来确定附近是否有任何输出设备。例如,用户设备可以传送包括消息的一个或多个信号,该消息请求附近设备(例如,接收到该信号的设备)以指示该设备接收到该信号的消息进行响应。在该示例中,该响应可以包括任何合适的设备信息,诸如设备位置信息和设备能力信息。作为另一示例,用户设备可以接收由设备传送的一个或多个信号,其包括指示显示设备可用于使得所推荐动作或输出被执行的消息。例如,可以使用诸如蓝牙的对等通信技术、使用RFID技术、和/或使用用于在该用户设备与一个或多个输出设备之间进行通信的任何其它合适的技术或技术的组合来传送这样的信号。
在一些实施方式中,推荐系统可以向用户提供选择一个或多个可用于执行所推荐动作的输出设备的机会。例如,如图9所示,推荐界面910可以向用户提供选择、添加、或移除已被检测为连接到或接近移动设备500的各个输出设备的机会。如图所示,这样的输出设备可以包括电视设备、家庭自动化系统、平板计算设备、气味发生器、和汽车。在一些实施方式中,推荐界面可以向用户提供请求用户设备检测附加输出设备(例如,响应于移动到其他设备附近的不同位置)的机会。
在一些实施方式中,推荐系统可以使得输出设备基于用户的身体状态或情感状态来执行特定动作。例如,在使用该输出设备执行特定动作之前,推荐系统可以确定用户的当前情感状态,并且在基于用户数据确定用户的情感状态是“愤怒”时,可以阻止在该输出设备上执行动作。在另一示例中,推荐系统可以确定:在确定用户的情感状态是除“愤怒”之外的任何状态时,可以在该输出设备上执行特定动作——例如,由于推荐系统已从历史用户数据确定当用户正经历“愤怒”的情感状态时,由一个或多个输出设备所采取的动作不会被很好地接收。
附加地或替选地,在一些实施方式中,推荐系统可以使得该输出设备基于特定动作对用户的当前身体状态或情感状态的预测的作用来执行特定动作。例如,在使用该输出设备执行特定动作之前,推荐系统可以确定该动作对该用户的身体状态或情感状态的预测的作用,并且在确定预测的作用不在特定范围内(例如,与用户数据相关的情感状态保持不变)后,可以阻止在该输出设备上执行该动作。
如图10所示并且结合上述示例,推荐系统可以向用户呈现包括多个所推荐动作的推荐界面1010。如图所示,在推荐界面1010中呈现的每个所推荐动作可以包括用于执行该所推荐动作的附加信息,例如响应于推荐该用户走到事件的位置的路线地图,或响应于推荐该用户购买一杯咖啡的商业信息。还如图所示,每个所推荐动作都可以与特定时间相关联,例如现在购买一杯咖啡,或者在下午1:45开始步行到该事件。在一些实施方式中,如上所述,可以由特定事件的发生来触发推荐界面1010中的每个所推荐动作,该特定事件诸如确定用户设备与特定位置相关联、确定用户设备指示该用户正沿着特定路线步行等。
应当注意,在一些实施方式中,可以对多个用户执行所推荐动作。例如,如上所述,推荐系统可以将用户设备的用户置于具有相似基线简档的用户组中。此外,推荐系统可以基于其他合适的判据将用户置于用户组中,诸如与该用户具有建立的关系(例如,基于来自社交联网服务的社交数据)的其他用户或具有与该用户相似的位置简档的其他用户(例如,家庭成员、工作同事、朋友等)。
在该示例中,推荐系统可以识别用户组内的一个或多个公共动作。然后,推荐系统可以选择要针对用户组执行的动作中的一个或多个。在一个更具体的示例中,推荐系统可以选择与预定数目的用户(例如,大多数用户、群组中的一定百分比的用户等)相关联的一个或多个公共动作,并且选择可能影响用户组的聚合情感状态的一个或多个公共的动作。在另一个更具体的示例中,推荐系统可以基于任何合适的判据来对公共动作进行排名,并且然后可以选择预定数目的动作(例如,前五个)并将其指定为群组动作。特别地,可以基于与用户相关联的当前简档与标的简档之间的偏差来对公共动作进行排名,使得推荐系统可以确定哪些动作具有影响用户组的聚合情感状态的较高可能性。例如,可以将高排名指派给与当前简档和标的简档之间的较大偏差相关联的公共动作。
例如,推荐系统可以确定用户组的聚合的情感状态,并且然后可以确定用户组或该群组内阈值数目的用户位于特定输出设备附近。这可以包括确定与用户组中的用户相关联的位置信息在特定接近度内并且确定连接到与每个共同定位的用户相关联的用户设备或在其附近的输出设备。在一个更具体的示例中,群组动作可以包括可以被执行的任何合适的动作,诸如呈现合适的媒体内容(例如,可能影响用户组的聚合的情感状态的音乐播放列表)、调整用户组周围的环境光、调整用户组周围的环境噪声和气味等。
一旦确定所推荐动作已被执行(例如,该设备呈现包括消费内容或执行特定活动的所推荐动作),推荐系统就可以提示用户设备的用户向推荐系统提供反馈。例如,推荐系统可以接收来自该用户的反馈,其指示所推荐动作是否由该用户执行、所推荐动作是否可能会对该用户的情感状态有作用、和/或是否要再次向该用户推荐该动作。如图11所示,推荐系统可以呈现提示用户提供反馈的界面1110,例如情感状态的变化的指示、禁用输出设备的选项、关于用户是否执行所推荐动作的指示(例如,确认用户步行到会议且沿路访问咖啡店)。
附加地或替选地,推荐系统可以获得更新的数据,预测用户的当前情感状态和/或生成更新的简档,并且确定一个或多个所推荐动作是否已经使用户更接近一个或多个目的。
在一个更具体的实施方式中,推荐系统可以确定特定的所推荐动作是否已经使用户更接近一个或多个目的和/或目标。例如,推荐系统可以在图11的界面1110中提示该用户提供反馈(例如,“How are you feeling now after getting a cup of coffee andwatching that video?(喝了杯咖啡并看了该视频之后,您现在感觉如何)”)。在这样的示例中,推荐系统可以从用户接收与特定所推荐动作有关的反馈。在另一示例中,推荐系统可以从多个数据流中选择数据的特定部分,并且确定该数据是否指示所推荐动作可能已经使用户更接近一个或多个目的。在这样的示例中,响应于从用户设备的用户接收到从多个数据源接收与用户相关的数据的核准,推荐系统可以从提供所推荐动作之后的多个时间选择数据,并且可以确定社交数据和场境数据指示所推荐动作可能已经使用户更接近一个或多个目的(例如,该数据指示用户正在达成特定的活动水平的途中)。
在一些实施方式中,任何合适的评级可以与所推荐动作相关联。例如,这样的评级可以包括关于推荐系统有多相信该所推荐动作可以使用户更接近一个或多个目的的置信度值。在该示例中,推荐系统可以以初始置信度开始,该初始置信度基于来自一个或多个用户的反馈而增量或减量,其中可以响应于确定在提供所推荐动作之后特定用户已经更接近目的而增加该评级。例如,这种增加的评级可以使得向其他用户提供所推荐动作,其他用户诸如具有相同或相似目的的用户、被置于与该用户相同或相似的群组中的用户等。应当注意的是该评级还可以包括附加信息,诸如难度值、及时性值等。
根据所公开的主题的一些实施方式,例如,在当对于位于房间中的用户执行特定活动时修改的环境噪声可能对情感状态、情绪、和/或体验有作用的情况下,推荐系统可以确定要修改房间中的环境噪声。例如,在一些实施方式中,推荐系统可以确定用户正在其计算机上工作(例如,基于在用户计算机上检测到的最近的活动),但是难以集中和/或感到困倦(例如,基于在社交联网网站上公布的消息)。在这样的示例中,推荐系统可以使得环境噪声波动(例如,停止和启动、音量和/或频率变化、和/或任何其它合适的波动)一次或多次,这可能使得用户更警醒。作为另一示例,在一些实施方式中,推荐系统可以确定用户焦虑(例如,基于来自活动监视器和/或睡眠监视器的信息,其指示在用户通常睡着时该用户醒着),并且可以使得用户环境中的环境噪声或声音变成白噪声或近似白噪声。作为另一个示例,在一些实施方式中,推荐系统可以确定用户正在看电视,并且作为响应,可以使得电视设备附近的环境噪声变得更柔和,这可以允许该用户更好地消费正由电视设备呈现的内容。在这样的实施方式中,推荐系统可以通过修改一个或多个用户设备的声音输出来修改房间的环境噪声,该用户设备诸如移动设备、计算机(例如,膝上型计算机、桌面型计算机、平板计算机、和/或任何其他合适类型的计算机)、电视、音响、扬声器。附加地或替选地,在一些实施方式中,推荐系统可以通过修改来自一个或多个连接到网络的家用设备(例如洗碗机、冰箱、烟雾探测器、和/或任何其它合适类型的家用设备)的声音输出来修改房间的环境噪声。
图12示出了可以用于修改房间中的环境噪声或声音的用户家中的设备的布局的说明性示例。注意,尽管图12示出了用户家中的设备,在一些实施方式中,本文所描述的过程可以实现在任何合适的位置中,例如,用户的办公室、公司、和/或任何其他合适的位置。
如所示,用户的家可以包括发出噪声和/或声音的一个或多个设备和/或电器,诸如风扇1210和1212、洗衣机/烘干机1230、电视1240、音响1250、扬声器1260、和/或膝上型计算机1280。在一些实施方式中,用户的家可附加地包括一个或多个声级传感器,诸如声级传感器1220和1222。注意图12中的设备和传感器的位置被作为示例示出,并且设备和传感器可以位于任何合适的位置。另外,在一些实施方式中,可以包括任何合适数目(包括零个)的每个设备和任何附加设备。在一些实施方式中,可以使用任何合适的设备发现协议来检测和/或识别特定设备,如下面结合图13的框1330所讨论的。
在一些实施方式中,用于修改房间中的环境噪声的设备可以包括具有音频输出能力的设备,诸如电视1240、音响1250、和膝上型计算机1280。在某些情形下,这样的设备可以与扬声器相关联,例如扬声器1260。附加地或替选地,在一些实施方式中,用于修改房间中的环境噪声的设备可以包括发出作为操作的副产品噪声的设备,诸如风扇1210和洗衣机/烘干机1230。此外,在一些实施方式中,具有音频输出能力的设备可以另外发出作为操作副产品的噪声。例如,当膝上型计算机1280上的冷却风扇被激活时,膝上型计算机1280可以发出噪声。更具体地,由冷却风扇发出的噪声可以基于该风扇的速度在音量和/或音调上变化。在一些实施方式中,可以通过修改由设备中的一个或多个设备发出的声音(例如,通过修改风扇的速度)和/或通过修改通过与该设备相关联的音频输出来输出的声音,使用该设备来修改房间中的环境噪声,如下面结合图13框1350所描述的那样。注意,在一些实施方式中,用户可以选择要使用哪些设备来修改环境噪声。例如,在一些实施方式中,可以使用用户界面来选择设备,如下面结合图14所示和描述的。
在一些实施方式中,声级传感器1220和/或1222可以用于确定在特定房间和/或特定位置中存在的声音的类型、在该房间和/或该位置中存在的声音的音量、和/或进行任何其他合适的测量。附加地或替选地,在一些实施方式中,可以基于来自特定房间中的一个或多个麦克风的记录来确定存在于该房间和/或位置中的声音类型。例如,在一些实施方式中,可以识别具有记录能力的设备,并且可以分析与该设备相关联的麦克风的记录来以识别存在的声音的类型以及该声音的音量。在一些实施方式中,这些测量可用于确定要产生的环境声音,如下面结合图13的框1310所述。
应当注意,在记录在特定房间和/或位置中呈现的声音、检测该声音的类型、或本文所述的任何其它合适的检测之前,推荐应用可以向用户提供机会来提供对执行这样的检测的同意或核准。例如,在将推荐应用加载到诸如电视设备的计算设备上时,该应用可以提示用户提供对于执行这样的检测、传送与该检测相关的信息、和/或呈现与检测到的声音类型相关的附加信息的核准。在一个更具体的示例中,响应于从合适的市场下载推荐应用并加载该推荐应用,可以在执行环境声音的检测之前向用户提请求(或要求)该用户提供同意的消息。附加地或替选地,响应于安装该推荐应用,可以在执行这些检测和/或传送与这些检测有关的信息之前,向用户提示请求(或要求)该用户提供内容的许可消息。在该用户同意使用这种数据的情况下,可以检测到102处的用户存在。
转到图13,根据所公开的主题的一些实施方式,示出使用一个或多个设备来修改环境噪声的过程的示例1300。
在1310处,过程1300可以由识别用户环境中的一个或多个噪声开始。该噪声可以包括任何合适的声音和/或噪声,例如背景噪声(例如,风扇、电器的轰响、和/或任何其他合适的背景噪声)、对话、来自电视、音响、计算机、和/或其他媒体回放设备的声音、和/或任何其它合适的声音和/或噪声。
过程1300可以使用任何合适的技术来识别一个或多个噪声。例如,在一些实施方式中,过程1300可以使用一个或多个麦克风(例如,与用户设备相关联的麦克风和/或任何其它合适的麦克风)来记录来自用户环境的音频,并且可以处理记录的音频以识别一个或多个噪声。在一些实施方式中,可以将音频处理技术(例如,均衡、滤波、噪声消除、压缩、和/或任何其它合适的技术)用于在分析之前处理该音频。在一些实施方式中,可以使用任何合适的技术来识别一个或多个声音和/或噪声,诸如机器学习(例如,贝叶斯统计、神经网络、支持向量机、和/或任何其他合适的机器学习技术)、统计分析(例如,主成分分析、独立成分分析、和/或任何其他合适的统计分析技术)、和/或任何其它合适的技术。在一些实施方式中,过程1300可以附加地或替选地使用声级传感器1220和1222来确定声音和/或噪声的声级(例如,以dB和/或任何其他合适的度量计),如图12所示和上面结合图12所描述。
在一些实施方式中,过程1300可以使用来自多个数据源的与用户有关的数据来识别该用户的环境中的一个或多个噪声。例如,在一些实施方式中,过程1300可以使用来自多个数据源的数据来确定该用户的当前位置,诸如从用户设备接收的GPS位置、来自社交联网站点的内容(例如,来自用户的标识其位置的帖子)、与一周中的特定日和/或日内时间的用户的典型位置有关的定时信息,和/或任何其他合适的信息。作为一个更具体的示例,在过程1300确定该用户正在工作的实例下(例如,基于GPS位置、基于指示该用户通常在一天中的当前时间工作的信息、和/或基于任何其他合适的信息),过程1300可以基于通常存在于办公室环境中的噪声(例如,对话、打字声音、和/或任何其它合适的噪声)来识别该用户的环境中的一个或多个噪声。作为另一个更具体的示例,在过程1300确定该用户在餐厅(例如,基于GPS位置、基于社交联网站点上的该用户的帖子、和/或基于任何其他合适的信息)的情况下,过程1300可以基于通常存在于餐厅环境中的噪声(例如,对话、器具的声音、背景音乐、和/或任何其它合适的噪声)来识别一个或多个噪声。
在1320处,过程1300可以基于所识别的噪声和/或声音以及该用户的当前活动、情绪、和行为来确定要产生的标的环境噪声。例如,在一些实施方式中,过程1300可以确定更好地允许用户执行用户当前正在执行的活动的标的环境噪声。作为一个更具体的示例,在一些实施方式中,在该用户正在观看电视节目的实例下,过程1300可以确定标的环境噪声比当前检测到的背景噪声更安静,这可能允许该用户更好地听到电视。作为一个更具体的示例,在一些实施方式中,在确定该用户正在具有被确定为带来噪声的风扇的膝上型计算机上工作的情况下(例如,通过确定与来自该风扇的噪声相关联的声级超过预定阈值,和/或基于任何其他度量),过程1300可以确定标的环境噪声要将该风扇的噪声包括在相对较低声级。作为另一个更具体的示例,在一些实施方式中,在确定该用户在工作时难以集中的实例下,过程1300可以确定标的环境噪声在幅度和/或频率上波动,这可能使得该用户变得更加警醒。
作为另一示例,在一些实施方式中,过程1300可以确定提高当前在框1310处检测到的一个或多个可能为该用户提供更丰富的音频体验的一个或多个声音的标的环境噪声。作为一个更具体的示例,在一些实施方式中,在确定该用户正在观看特定节目的实例下(例如,基于从该用户的环境中的麦克风接收的信息、基于从用户在社交联网站点上的帖子接收的信息、和/或基于任何其他合适的信息),过程1300可以确定标的环境噪声是与来自该特定节目的声音相对应的噪声。作为一个具体示例,在确定该用户正在查看与猫有关的媒体内容的实例下,过程1300可以确定标的环境噪声与猫呼噜声的声音相对应。作为另一具体示例,在确定该用户正在观看与瀑布有关的媒体内容的实例下,过程1300可以确定标的环境噪声与瀑布的声音、雨的声音、和/或任何其它合适声音相对应。
作为另一示例,在一些实施方式中,过程1300可以确定标的环境噪声将是帮助该用户实现特定目标的标的环境噪声。例如,如果用户的目标是入睡和/或放松(例如,基于用户在社交联网站点上的帖子、基于用户在一天中的特定时间的典型活动、基于来自活动监视器的信息、和/或基于任何其他合适的信息来确定),过程1300可以确定标的环境噪声是白噪声、雨声、和/或可能适于帮助该用户入睡和/或放松的任何其它合适的声音。作为另一示例,如果该用户的目标是放松,则过程1300可以确定标的环境噪声是当前背景噪声的更宜人的版本。作为一个具体示例,在当前背景噪声包括来自一个或多个家用电器(例如,冰箱、洗衣机/烘干机、和/或任何其它合适的设备)的噪声的实例下,过程1300可以确定比当前的背景噪声更有旋律的标的环境噪声(例如,包含特定类型的音调波动、和/或任何其它合适类型的旋律噪声)可能帮助该用户放松。
作为又一示例,在一些实施方式中,过程1300可以确定标的环境噪声是以较高声级呈现的当前背景噪声。在一些实施方式中,过程1300可以响应于确定用户当前不在产生当前背景噪声的设备和/或电器附近(例如,基于与用户设备相关联的位置、在社交联网服务上的帖子、和/或基于任何其它合适的信息),确定标的环境噪声是以较高声级呈现的当前背景噪声。作为一个具体示例,在一些实施方式中,响应于确定该用户当前不在冰箱附近(例如,通过基于与用户设备相关联的位置信息来确定该用户当前不在家),过程1300可以确定标的环境噪声是以较高声级呈现的与该冰箱相关联的噪声,并且可以确定与该冰箱相关联的压缩机将以较高水平运行以产生标的环境噪声。在一些实施方式中,背景噪声可以附加地或替选地关联于与计算机相关联的风扇、与HVAC系统相关联的压缩机、和/或任何其它合适的背景噪声。注意,在一些实施方式中,在确定该用户已经移动至靠近该设备和/或电器之后(例如,基于与用户设备相关联的位置信息、基于活动监视器、和/或基于任何其它合适的信息),过程1300然后可以确定标的环境噪声被修改为以较低的声级呈现的背景噪声。
在另一个示例中,在一些实施方式中,过程1300可以基于与预定接近度内(例如,被确定在同一房间中、被确定为在彼此的特定距离内、被确定为连接到相同的局域网、和/或基于任何其它合适的接近度量)的多个用户设备相关联的信息来确定标的环境噪声。例如,在过程1300识别(例如,如下面结合框1330所描述的,使用设备发现协议)与不同用户和/或不同用户帐户相关联的多个用户设备的实例下,过程1300可以基于与多个识别的用户设备相关联的背景噪声(例如,对话和/或争论、正在呈现的电视节目、和/或任何其它合适的背景噪声),例如通过使用与其中一个用户设备相关联的麦克风来确定标的环境噪声。作为一个具体示例,在将背景噪声确定为争论(例如,基于背景噪声的声级、基于对话的内容、和/或基于任何其它合适的信息)的实例下,过程1300可以基于确定正在发生争论来确定标的环境噪声,诸如特定音乐项目和/或特定声音(例如,瀑布的声音、白噪声、和/或任何其它合适的声音)。
过程1300可以使用任何合适的技术来确定标的环境噪声。例如,在一些实施方式中,过程1300可以基于用户的当前活动和/或情绪来访问识别标的环境噪声的查找表。此外,在一些实施方式中,过程1300可以使用任何合适的技术来确定用户的当前活动和/或情绪,诸如上面结合图4的过程400描述的那些。
在1330处,过程1300可以识别要用于产生标的环境噪声的一个或多个设备。例如,在一些实施方式中,该一个或多个设备可以包括风扇1210和/或1212、洗衣机/烘干机1220、电视1240、音响1250、扬声器1260、和/或膝上型计算机1280,如上面结合图12所示和描述的。注意,在一些实施方式中,可以识别任何其它合适的设备,诸如移动电话、平板计算机、烟雾探测器、冰箱、和/或任何其它合适的设备。过程1300可以使用任何合适的技术来识别一个或多个设备。例如,在一些实施方式中,过程1300可以访问已经被识别为与用户的家中的一个或多个用户相关联的设备的列表(例如,通过查询服务器、和/或以任何其他合适的方式)。作为一个更具体的示例,在一些实施方式中,可以由用户来明确地识别设备,例如,通过接收设备的标识符(例如,IP地址、MAC地址、设备的制造者、设备的型号和/或序列号、和/或任何其他合适的信息)的用户界面。作为另一示例,在一些实施方式中,可以使用任何合适的设备发现协议(例如,“Discovery and Launch(发现和启动)”、和/或任何其他合适的设备发现协议)来识别设备。作为一个更具体的示例,在一些实施方式中,第一用户设备(例如,移动电话、平板计算机、和/或任何其他合适的设备)可以使用设备发现协议来识别附近的设备(例如,附近的电视、附近的扬声器、附近的烟雾探测器、和/或任何其它合适的设备)。在一些这样的实施方式中,第一用户设备可以使得发现的设备的标识符(例如,IP地址、MAC地址、设备的制造者的名称、与设备相关联的用户指定的名称、和/或任何其他合适的信息)被存储(例如,在服务器120中的一个中)以供稍后使用。
在1340处,过程1300可以确定所识别的一个或多个设备的声音输出以创建标的环境噪声。例如,如果在框1320处过程1300确定标的环境噪声为白噪声,并且如果在框1330处过程1300将膝上型计算机识别为用于产生标的环境噪声的设备,则过程1300可以为膝上型计算机确定将近似白噪声的声音输出。作为一个更具体的示例,在一些实施方式中,过程1300可以确定使得与膝上型计算机相关联的风扇以特定速度或特定速度的模式旋转将产生近似白噪声的噪声。作为另一个更具体的示例,在一些实施方式中,过程1300可以例如通过使得该膝上型计算机合成白噪声、播放包含白噪声的音频文件、和/或通过任何其它合适的技术,使得该膝上型计算机通过与该膝上型计算机相关联的扬声器发出近似白噪声的噪声。注意,在一些实施方式中,过程1300可以确定标的环境噪声将被逐渐产生。例如,如果标的环境噪声将是特定声级的声音和/或噪声,则过程1300可以确定将在任何合适的时间段内(例如,在一分钟内、在十分钟内、在半小时内、和/或任何其他合适的时间段)达到标的声级。作为另一示例,在一些实施方式中,过程1300可以根据特定用户动作来确定标的环境噪声将被逐渐产生。作为一个更具体的示例,过程1300可以确定将增加标的环境噪声的声级直到记录到特定的用户动作(例如,用户开始与计算机交互、用户入睡、用户增加移动、和/或任何其他合适的用户动作)。
作为另一示例,如果在框1320处过程1300确定标的环境噪声是以较低声级呈现的当前背景噪声,则过程1300可以确定所识别的一个或多个设备的声音输出以降低当前背景噪声的声级、和/或确定创建当前背景噪声的较低声级的感知的声音输出。作为一个更具体的示例,在确定当前背景噪声包括与计算机相关联的风扇的实例下,过程1300可以确定声音输出要包括以较低速度操作的风扇以产生较低音量的噪声。作为另一个更具体的示例,过程1300可以使用任何合适的噪声消除技术来确定一个或多个识别的设备的声音输出以创建较低声级的感知。作为一个具体示例,在确定当前背景噪声包括与计算机相关联的风扇的实例下,过程1300可以致使来自任何合适数目的附近设备的声音输出,其通过干扰来自风扇的噪声,致使对较低声级的背景噪声的感知。在一些这样的实施方式中,过程1300可以另外使用任何合适的信息——诸如一个或多个识别的设备的位置、用户的位置、和/或任何其它合适的信息——来计算执行噪声消除所需的声音输出。
在一些实施方式中,过程1300可以基于与所识别的一个或多个设备相关联的设备类型和/或设备能力来确定该一个或多个设备的声音输出。例如,在一些实施方式中,过程1300可以响应于确定一个或多个设备不与音频输出能力相关联,确定标的环境声音将仅通过调制与该一个或多个设备相关联的风扇速度(例如,控制与所产生的声音相关联的音调和/或响度)而产生。作为另一示例,在一些实施方式中,过程1300可以响应于确定一个或多个设备不与音频输出能力相关联,而通过打开和关闭与该一个或多个设备相关联的风扇来产生标的环境噪声。作为又一示例,在一些实施方式中,过程1300可以响应于确定一个或多个设备中的至少一个设备与音频输出和/或扬声器相关联,确定要通过播放特定音频文件来产生标的环境声音。更具体地,在一些实施方式中,过程1300可使得设备例如从媒体内容共享服务、应用商店、和/或任何其它合适的站点下载特定音频文件。注意,在一些实施方式中,可以使用任何合适的数目(例如,一个,两个,四个、和/或任何其他合适的数目)的所识别的设备来产生标的环境噪声,以及声音输出的类型(例如,音频输出、通过调制风扇速度的声音输出、和/或任何其他合适类型的声音输出)可以是不同的。在要使用多个设备来产生标的环境噪声的实施方式中,过程1300可以计算每个设备的声音输出,使得该声音输出的叠加近似于标的环境噪声。
在过程1300确定一个或多个设备要合成标的环境噪声的实例下(例如,通过调制与一个或多个设备相关联的风扇的速度,合成声音,并且然后使得合成的声音为通过与一个或多个设备相关联的音频输出播放,和/或任何其他合适的技术),过程1300可以计算一个或多个参数以创建合成的标的环境噪声。例如,如果标的环境噪声包括诸如猫呼噜的特定噪声,并且如果要通过调制特定设备的风扇的速度来产生标的环境噪声,则过程1300可以计算产生对猫呼噜噪声的近似所需的风扇速度的时间模式。作为另一示例,在一些实施方式中,过程1300可以计算要通过音频输出组合和呈现的一个或多个信号(例如,正弦波、和/或任何其它合适的信号)来产生对标的环境噪声的近似。
在一些实施方式中,过程1300可以使用任何合适的信号处理技术(例如,频谱分析、滤波、数字信号处理、和/或任何其它合适的技术)来计算产生标的环境噪声所需的声音输出。作为一个具体示例,在一些实施方式中,过程1300可以将标的环境噪声的表示带通滤波成与多个所识别的设备相对应的多个频带,并且可以确定与每个所识别的设备相对应的声音输出将对应于基于该特定频带中存在的能量来进行幅度调制的特定载波声音输出(例如,以特定频率为中心的噪声频带、以特定速度操作的风扇、和/或任何其它合适的声音输出)。注意,在一些这样的实施方式中,声音输出可以对应于通过音频输出产生的声音和/或作为特定设备的操作副产品发出的声音。
在一些实施方式中,过程1300可以确定要由所产生的声音输出来近似的标的环境噪声的一个或多个特性。例如,如果标的环境噪声包括特定波形,则过程1300可以确定该波形的波峰和/或波谷将由所产生的声音输出和/或来自多个设备的声音输出的组合来近似。特性的其它示例包括存在于特定频谱带中的能量、波形的包络的波峰和/或波谷、与波形的包络相对应的时间特性、和/或任何其它合适的特性或特性的组合。此外,在一些实施方式中,如果过程1300确定无法利用声音输出的组合来产生对标的环境噪声的一个或多个特性的近似,则过程1300可以确定将不产生该声音输出。在一些实施方式中,对标的环境噪声的近似可以以任何合适的方式进行量化(例如,均方根误差、相关性、和/或任何其它合适的度量)。
在1350处,过程1300可以使得一个或多个设备使用任何合适的技术或技术的组合来产生在框1340处确定的声音输出。例如,在该声音输出包括调制与设备相关联的风扇的速度的实例下,过程1300可以通过访问与该设备相关联的API来控制风扇。更具体地,该API可以使用脉冲宽度调制、和/或任何其它合适的技术来控制该风扇的速度。作为另一示例,在该声音输出包括致使来自与该设备相关联的音频输出的特定输出的实例下,过程1300可以向设备传送消息,其指定该输出并且包括用于使得该输出通过该音频输出被播放的指令。作为一个更具体的示例,如果该声音输出包括对标的环境声音的合成近似,则过程1300可以指定要通过该音频输出播放的波形。作为另一个更具体的示例,如果该声音输出包括要通过该音频输出播放的音频文件,则过程1300可以指定与该音频文件有关的识别信息,诸如文件名、文件位置、下载指令、和/或任何其他合适的信息。
在一些实施方式中,过程1300可以为声音输出和/或标的环境噪声指派评级和/或置信度分值。在一些实施方式中,评级和/或置信度分值可以基于用户是否将喜欢该声音输出和/或标的环境噪声的预测。评级和/或置信度分值可以基于任何合适的信息(例如,用户的先前反馈、被选择来产生声音输出的设备、和/或任何其它合适的信息)。例如,在该声音输出被确定为类似于用户先前已指示该用户喜欢的声音输出的实例下,评级和/或置信度分值可以相对高于与其它声音输出相对应的那些评级和/或置信度分值。作为另一示例,在使用用户先前已经指示该用户喜欢的设备来产生声音输出的实例下,评级和/或置信度分值可以相对高于与其他声音输出相对应的评级和/或置信度分值。另外,在一些实施方式中,如果过程1300确定没有适合于指派评级和/或置信度分值的信息,则过程1300可以指派指示不确定性的评级和/或置信度分值(例如,在从0至10的范围中的5、和/或任何其他合适的分值)。此外,在一些实施方式中,如果确定指派的评级低于预定阈值,则过程1300可以确定不应当产生该声音输出。
在一些实施方式中,在产生声音输出之后,可以例如通过用户界面(类似于图11所示的界面)接收来自用户的反馈。在一些实施方式中,该反馈可以包括该用户喜欢或不喜欢所产生的特定声音、用户喜欢或不喜欢使用用于产生该声音的设备、产生的声音是否太响或太轻、和/或任何其他合适的反馈。在一些实施方式中,所接收的用户反馈可以用于调整标的环境噪声、声音简档、针对其他用户(例如,置于同一群组中的相似用户、具有相似目的和/或目标的用户等)确定标的环境噪声,例如,在图13的框1320处。在一些实施方式中,所接收的用户反馈可用于调整与该声音输出相关联的评级和/或置信度分值。
在一些实施方式中,用户可以选择和/或取消选择特定设备作为过程1300可以致使从其产生标的环境噪声的设备。例如,在一些实施方式中,用户可以使用用户界面来选择和/或取消选择特定设备,如图14的用户界面1400所示。如图所示,用户界面1400可以包括多个设备1410。在一些实施方式中,在,可以选择和/或取消选择多个设备1410中所示的每个设备以供包括在可用于产生标的环境噪声的设备组中。在一些实施方式中,选择机制可以包括任何合适的用户界面元素,诸如复选框、下拉菜单、单选按钮、和/或任何其它合适的元素。在一些实施方式中,如上面结合图1所述,可以从呈现用户界面1400的用户设备向服务器120之一传送已经使用用户界面1400选择和/或取消选择特定设备的指示。
因此,提供了用于基于情绪和/或行为信息的环境背景噪声修改的方法、系统、和介质。
虽然已经在上述说明性实施方式中描述和说明了所公开的主题,但是应当理解,本公开仅作为示例,并且可以在不脱离所公开的主题的精神和范围的情况下作出所公开的主题的实施方式的细节的许多变化,所公开的主题的精神和范围仅由所附权利要求书限制。所公开的实施方式的特征可以以各种方式组合和重新排列。

Claims (17)

1.一种用于环境背景噪声修改的方法,所述方法包括:
识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;
基于所述用户当前参与的活动以及所述用户的所述身体状态或情感状态来确定所述用户的标的活动;
至少部分地基于所识别的噪声、所述用户当前参与的所述活动、所述用户的所述身体状态或情感状态以及所述用户的所述标的活动,确定要在所述环境中产生的标的环境噪声;
识别与所述用户设备相关联的、位于所述用户的所述环境中的至少一个设备以用于产生所述标的环境噪声,其中所识别的设备中的至少一个设备具有风扇;
确定与所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;
在第一时间点通过以下操作使得所识别的设备产生所确定的声音输出:基于所述用户的所述身体状态或情感状态,调制与所识别设备中的所述至少一个设备相关联的风扇的速度;
在第二时间点确定所述用户是否正在进行所述标的活动;以及
响应于确定所述用户未在进行所述标的活动,通过继续调制与所识别设备中的所述至少一个设备相关联的风扇的速度来使得所识别的设备继续产生所确定的声音输出,直到所述用户开始进行所述标的活动。
2.根据权利要求1所述的方法,进一步包括确定与关联于所述用户设备的所识别的设备相关联的声音输出能力。
3.根据权利要求2所述的方法,其中,确定与所识别的设备中的每个设备相对应的声音输出至少部分地基于所确定的声音输出能力。
4.根据权利要求1所述的方法,其中,所确定的声音输出将通过与所识别的设备中的至少一个设备相关联的音频输出来产生。
5.根据权利要求1所述的方法,进一步包括确定与所述环境中存在的噪声相关联的声级。
6.根据权利要求5所述的方法,其中,所述标的环境噪声包括:在所述环境中存在的、处于相对于与所述环境中存在的一个或多个噪声相关联的所确定的声级更低的声级的噪声。
7.根据权利要求1所述的方法,进一步包括:
接收与所确定的标的环境噪声有关的用户反馈;以及
基于所接收到的用户反馈,确定将产生所述声音输出。
8.根据权利要求7所述的方法,其中,所述声音输出中的每个声音输出具有相关联的评级,并且其中,所述方法进一步包括:
检索与所述声音输出相关联的评级;以及
基于所接收到的用户反馈,修改所述评级。
9.一种用于环境背景噪声修改的系统,所述系统包括:
硬件处理器,所述硬件处理器被编程来进行以下操作:
识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;
基于所述用户当前参与的活动以及所述用户的所述身体状态或情感状态来确定所述用户的标的活动;
至少部分地基于所识别的噪声、所述用户当前参与的所述活动、所述用户的所述身体状态或情感状态以及所述用户的所述标的活动,确定要在所述环境中产生的标的环境噪声;
识别与所述用户设备相关联的、位于所述用户的所述环境中的至少一个设备以用于产生所述标的环境噪声;
确定与一个或多个所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;
在第一时间点通过以下操作使得所述一个或多个所识别的设备产生所确定的声音输出:基于所述用户的所述身体状态或情感状态,调制与所识别设备中的所述至少一个设备相关联的风扇的速度;
在第二时间点确定所述用户是否正在进行所述标的活动;以及
响应于确定所述用户未在进行所述标的活动,通过继续调制与所识别设备中的所述至少一个设备相关联的风扇的速度来使得所识别的设备继续产生所确定的声音输出,直到所述用户开始进行所述标的活动。
10.根据权利要求9所述的系统,其中,所述硬件处理器进一步被编程来确定与关联于所述用户设备的所识别的设备相关联的声音输出能力。
11.根据权利要求10所述的系统,其中,确定与所识别的设备中的每个设备相对应的声音输出至少部分地基于所确定的声音输出能力。
12.根据权利要求9所述的系统,其中,所确定的声音输出将通过与所识别的设备中的至少一个设备相关联的音频输出来产生。
13.根据权利要求9所述的系统,其中,所述硬件处理器进一步被编程来确定与所述环境中存在的噪声相关联的声级。
14.根据权利要求13所述的系统,其中,所述标的环境噪声包括:在所述环境中存在的、处于相对于与所述环境中存在的一个或多个噪声相关联的所确定的声级更低的声级的噪声。
15.根据权利要求9所述的系统,其中,所述硬件处理器进一步被编程来执行以下操作:
接收与所确定的标的环境噪声有关的用户反馈;以及
基于所接收到的用户反馈,确定将产生所述声音输出。
16.根据权利要求15所述的系统,其中,所述声音输出中的每个声音输出具有相关联的评级,并且其中,所述硬件处理器进一步被编程来执行以下操作:
检索与所述声音输出相关联的评级;以及
基于所接收到的用户反馈,修改所述评级。
17.一种包含计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令在由处理器执行时使得所述处理器执行用于环境背景噪声修改的方法,所述方法包括:
识别存在于具有用户设备的用户的环境中的至少一个噪声、所述用户当前参与的活动、以及所述用户的身体状态或情感状态;
基于所述用户当前参与的活动以及所述用户的所述身体状态或情感状态来确定所述用户的标的活动;
至少部分地基于所识别的噪声、所述用户当前参与的所述活动、所述用户的所述身体状态或情感状态以及所述用户的所述标的活动,确定要在所述环境中产生的标的环境噪声;
识别与所述用户设备相关联的、位于所述用户的所述环境中的至少一个设备以用于产生所述标的环境噪声,其中所识别的设备中的至少一个设备具有风扇;
确定与一个或多个所识别的设备中的每个设备相对应的声音输出,其中,所述声音输出的组合产生对所述标的环境噪声的一个或多个特性的近似;
在第一时间点通过以下操作使得所述一个或多个所识别的设备产生所确定的声音输出:基于所述用户的所述身体状态或情感状态,调制与所识别设备中的所述至少一个设备相关联的风扇的速度;
在第二时间点确定所述用户是否正在进行所述标的活动;以及
响应于确定所述用户未在进行所述标的活动,通过继续调制与所识别设备中的所述至少一个设备相关联的风扇的速度来使得所识别的设备继续产生所确定的声音输出,直到所述用户开始进行所述标的活动。
CN201580076012.5A 2015-02-11 2015-12-30 基于情绪和/或行为信息的用于环境背景噪声修改的方法、系统和介质 Active CN107548474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/619,827 2015-02-11
US14/619,827 US9769564B2 (en) 2015-02-11 2015-02-11 Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
PCT/US2015/068145 WO2016130228A1 (en) 2015-02-11 2015-12-30 Methods, systems, and media for ambient background noise modification based on mood and/or behavior information

Publications (2)

Publication Number Publication Date
CN107548474A CN107548474A (zh) 2018-01-05
CN107548474B true CN107548474B (zh) 2021-06-15

Family

ID=55221540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580076012.5A Active CN107548474B (zh) 2015-02-11 2015-12-30 基于情绪和/或行为信息的用于环境背景噪声修改的方法、系统和介质

Country Status (8)

Country Link
US (5) US9769564B2 (zh)
EP (1) EP3256914B1 (zh)
JP (3) JP2018512607A (zh)
KR (1) KR102058660B1 (zh)
CN (1) CN107548474B (zh)
DE (1) DE112015006145T5 (zh)
GB (1) GB2553682B (zh)
WO (1) WO2016130228A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409547B2 (en) * 2014-10-15 2019-09-10 Lg Electronics Inc. Apparatus for recording audio information and method for controlling same
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US10387173B1 (en) * 2015-03-27 2019-08-20 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
CN106101680B (zh) * 2015-05-06 2018-12-25 小米科技有限责任公司 拍摄参数设置方法及装置
US9966056B2 (en) 2015-08-24 2018-05-08 Plantronics, Inc. Biometrics-based dynamic sound masking
US10530875B2 (en) * 2015-08-26 2020-01-07 Facebook, Inc. Customizing media content on online social networks
US9870762B2 (en) * 2015-09-11 2018-01-16 Plantronics, Inc. Steerable loudspeaker system for individualized sound masking
CN105118015A (zh) * 2015-09-21 2015-12-02 无锡知谷网络科技有限公司 用于公共场所的信息提示方法及移动服务终端
JP6463710B2 (ja) * 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
US9820108B1 (en) * 2015-10-20 2017-11-14 Allstate Insurance Company Connected services configurator
US10599390B1 (en) 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
US10380208B1 (en) * 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10423931B2 (en) * 2015-12-31 2019-09-24 International Business Machines Corporation Dynamic processing for collaborative events
US10320938B2 (en) * 2016-02-02 2019-06-11 International Business Machines Corporation Monitoring and maintaining social group cohesiveness
US10349117B2 (en) * 2016-06-13 2019-07-09 Lenovo (Singapore) Pte. Ltd. Media removal after consumption
US20170372371A1 (en) * 2016-06-23 2017-12-28 International Business Machines Corporation Machine learning to manage contact with an inactive customer to increase activity of the customer
US11544274B2 (en) * 2016-07-18 2023-01-03 Disney Enterprises, Inc. Context-based digital assistant
US10791172B2 (en) * 2016-07-22 2020-09-29 Tinker Pte. Ltd. Systems and methods for interacting with nearby people and devices
CN109803572A (zh) * 2016-07-27 2019-05-24 生物说股份有限公司 用于测量和管理生理情绪状态的系统和方法
DE102016216407A1 (de) * 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Individuelle Kommunikationsunterstützung
US10341178B1 (en) 2016-09-19 2019-07-02 Amazon Technologies, Inc. Configuring client devices
US10574618B1 (en) * 2016-09-19 2020-02-25 Amazon Technologies, Inc. Processing client devices
US11755172B2 (en) * 2016-09-20 2023-09-12 Twiin, Inc. Systems and methods of generating consciousness affects using one or more non-biological inputs
US10318233B2 (en) * 2016-09-23 2019-06-11 Sonos, Inc. Multimedia experience according to biometrics
US10135950B2 (en) 2016-10-10 2018-11-20 Google Llc Creating a cinematic storytelling experience using network-addressable devices
US10924376B2 (en) * 2016-12-30 2021-02-16 Google Llc Selective sensor polling
US11211157B2 (en) * 2016-12-30 2021-12-28 Intel Corporation Using emotional maps and dialog display technology to improve workout experiences
EP3566548B1 (en) * 2017-01-04 2020-05-13 Signify Holding B.V. Adaptive lighting automation
US11568369B2 (en) 2017-01-13 2023-01-31 Fujifilm Business Innovation Corp. Systems and methods for context aware redirection based on machine-learning
US10395016B2 (en) * 2017-01-24 2019-08-27 International Business Machines Corporation Communication pattern recognition
US11205127B2 (en) * 2017-01-30 2021-12-21 International Business Machines Corporation Computer program product for sensory stimulation to ameliorate a cognitive state
US11276493B2 (en) * 2017-02-01 2022-03-15 International Business Machines Corporation Device configuration based on predicting a health affliction
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US20180302686A1 (en) * 2017-04-14 2018-10-18 International Business Machines Corporation Personalizing closed captions for video content
US10733575B2 (en) * 2017-06-06 2020-08-04 Cisco Technology, Inc. Automatic generation of reservations for a meeting-space for disturbing noise creators
US10652183B2 (en) * 2017-06-30 2020-05-12 Intel Corporation Incoming communication filtering system
JP7077555B2 (ja) * 2017-09-22 2022-05-31 富士通株式会社 情報制御装置、情報制御システム、情報制御方法及び情報制御プログラム
US11321673B2 (en) * 2017-11-01 2022-05-03 Samsung Electronics Co., Ltd. Method and system for automatically creating an instant ad-hoc calendar event
KR102423058B1 (ko) * 2018-02-23 2022-07-21 삼성전자주식회사 디스플레이 장치 및 IoT 기반 선호도 확인 방법
US20190296933A1 (en) * 2018-03-20 2019-09-26 Microsoft Technology Licensing, Llc Controlling Devices Based on Sequence Prediction
US10958466B2 (en) 2018-05-03 2021-03-23 Plantronics, Inc. Environmental control systems utilizing user monitoring
US11300128B2 (en) * 2018-05-11 2022-04-12 Hubbell Incorporated Bladeless ceiling fan
US10249293B1 (en) * 2018-06-11 2019-04-02 Capital One Services, Llc Listening devices for obtaining metrics from ambient noise
US10698582B2 (en) * 2018-06-28 2020-06-30 International Business Machines Corporation Controlling voice input based on proximity of persons
US10902461B2 (en) 2018-08-03 2021-01-26 International Business Machines Corporation Environmental modification using tone model analysis
US11889149B2 (en) 2018-09-11 2024-01-30 International Business Machines Corporation Intelligent mitigation of concentration conflicts
RU2769275C1 (ru) * 2018-11-05 2022-03-29 Эндель Саунд Гмбх Система и способ создания персонализированной пользовательской среды
EP3657810A1 (en) * 2018-11-21 2020-05-27 Telefonica Innovacion Alpha S.L Electronic device, method and system for inferring the impact of the context on user's wellbeing
KR102607787B1 (ko) 2018-11-30 2023-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
EP3671724A1 (en) * 2018-12-17 2020-06-24 Nokia Technologies Oy Playback of personalised audio
US11270717B2 (en) * 2019-05-08 2022-03-08 Microsoft Technology Licensing, Llc Noise reduction in robot human communication
JP6763621B1 (ja) * 2019-10-16 2020-09-30 株式会社コードミー 香り情報提供装置、香り情報提供方法および香り提供容器
US11211080B2 (en) 2019-12-18 2021-12-28 Peiker Acustic Gmbh Conversation dependent volume control
US11694113B2 (en) 2020-03-05 2023-07-04 International Business Machines Corporation Personalized and adaptive learning audio filtering
US11238664B1 (en) * 2020-11-05 2022-02-01 Qualcomm Incorporated Recommendations for extended reality systems
US20220222034A1 (en) * 2021-01-12 2022-07-14 International Business Machines Corporation Dynamically managing sounds in a chatbot environment
WO2023028018A1 (en) 2021-08-26 2023-03-02 Dolby Laboratories Licensing Corporation Detecting environmental noise in user-generated content
CN117275459B (zh) * 2023-09-15 2024-03-29 深圳市优讯佳电子科技有限公司 一种基于大数据服务的信息采集设备及信息采集方法

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2359918A (en) 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
US6647410B1 (en) 1999-11-05 2003-11-11 Reuters Limited Method, apparatus and program for delivery and display of information from dynamic and static data sources
AU2463001A (en) 1999-12-30 2001-07-16 Umagic Systems, Inc. Personal advice system and method
US6680675B1 (en) 2000-06-21 2004-01-20 Fujitsu Limited Interactive to-do list item notification system including GPS interface
US6591198B1 (en) 2000-11-22 2003-07-08 Dell Products L.P. System and method for controlling noise outputs of devices in response to ambient noise levels
US20030078965A1 (en) 2001-08-22 2003-04-24 Cocotis Thomas A. Output management system and method for enabling printing via wireless devices
US8577839B2 (en) 2002-08-06 2013-11-05 Sheng Tai (Ted) Tsao Method and apparatus of dynamic updating web portals
US20070100666A1 (en) 2002-08-22 2007-05-03 Stivoric John M Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices
US20050246304A1 (en) 2004-04-30 2005-11-03 Microsoft Corporation End-user application customization using rules
US7914468B2 (en) * 2004-09-22 2011-03-29 Svip 4 Llc Systems and methods for monitoring and modifying behavior
CA2482240A1 (en) 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
US7464066B2 (en) 2004-10-26 2008-12-09 Applied Intelligence Solutions, Llc Multi-dimensional, expert behavior-emulation system
JP4513610B2 (ja) 2005-03-14 2010-07-28 ソニー株式会社 車載装置及び車載装置の制御方法
JP4535272B2 (ja) 2005-04-04 2010-09-01 株式会社デンソー 自動車用ユーザーもてなしシステム
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
CA2615659A1 (en) 2005-07-22 2007-05-10 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US20070247431A1 (en) 2006-04-20 2007-10-25 Peter Skillman Keypad and sensor combination to provide detection region that overlays keys
US7714908B2 (en) 2006-05-26 2010-05-11 Lifetouch Inc. Identifying and tracking digital images with customized metadata
US20080091515A1 (en) 2006-10-17 2008-04-17 Patentvc Ltd. Methods for utilizing user emotional state in a business process
US20080097979A1 (en) 2006-10-19 2008-04-24 International Business Machines Corporation System and method of finding related documents based on activity specific meta data and users' interest profiles
US20080183824A1 (en) 2007-01-29 2008-07-31 International Business Machines Corporation Methods for detaching an attachment file from a containing email message and generating metadata associated with the attachment file and the containing email message
US20090002939A1 (en) * 2007-06-29 2009-01-01 Eric Baugh Systems and methods for fan speed optimization
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
WO2009026289A2 (en) 2007-08-20 2009-02-26 Hmicro, Inc. Wearable user interface device, system, and method of use
US20090058819A1 (en) 2007-08-31 2009-03-05 Richard Gioscia Soft-user interface feature provided in combination with pressable display surface
US8462959B2 (en) * 2007-10-04 2013-06-11 Apple Inc. Managing acoustic noise produced by a device
KR101432177B1 (ko) 2008-01-21 2014-08-22 삼성전자주식회사 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템
US20100241663A1 (en) 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
CN101981570A (zh) 2008-04-01 2011-02-23 雅虎公司 用于与内容对象集成、关联和交互的开放式架构
US9183281B2 (en) 2008-04-18 2015-11-10 International Business Machines Corporation Context-based document unit recommendation for sensemaking tasks
US20090265165A1 (en) 2008-04-21 2009-10-22 Sony Ericsson Mobile Communications Ab Automatic meta-data tagging pictures and video records
US9384186B2 (en) 2008-05-20 2016-07-05 Aol Inc. Monitoring conversations to identify topics of interest
US8683374B2 (en) 2008-06-24 2014-03-25 Microsoft Corporation Displaying a user's default activities in a new tab page
US20100153175A1 (en) 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Correlation of Psycho-Demographic Data and Social Network Data to Initiate an Action
US8560267B2 (en) 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
US20120102066A1 (en) 2009-06-30 2012-04-26 Nokia Corporation Method, Devices and a Service for Searching
EP3173014B1 (en) 2009-07-23 2021-08-18 Abbott Diabetes Care, Inc. Real time management of data relating to physiological control of glucose levels
US8924254B2 (en) 2009-09-18 2014-12-30 Alpine Audio Now, LLC System and method for interactive advertisement augmentation via a called voice connection
US9460422B2 (en) 2009-11-20 2016-10-04 Sears Brands, L.L.C. Systems and methods for managing to-do list task items to automatically suggest and add purchasing items via a computer network
US20160063532A1 (en) 2009-11-20 2016-03-03 Mobisave Llc System and method of electronically incentivizing healthy food purchasing
US20110231770A1 (en) 2010-03-18 2011-09-22 Tovar Tom C Systems and methods for a temporary mechanism for selective blocking of internet content
US20110279359A1 (en) * 2010-05-12 2011-11-17 Rovi Technologies Corporation Systems and methods for monitoring motion sensor signals and adjusting interaction modes
US20170238859A1 (en) 2010-06-07 2017-08-24 Affectiva, Inc. Mental state data tagging and mood analysis for data collected from multiple sources
US8385057B2 (en) 2010-06-08 2013-02-26 Hewlett-Packard Development Company, L.P. Fully extendable dual-segmented housing assembly for mobile computing device
EP2397952A1 (en) 2010-06-15 2011-12-21 Axel Springer Digital TV Guide GmbH Profile based content retrieval for recommender systems
US9002924B2 (en) 2010-06-17 2015-04-07 Microsoft Technology Licensing, Llc Contextual based information aggregation system
US8270684B2 (en) 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
US8862273B2 (en) 2010-07-29 2014-10-14 Empire Technology Development Llc Acoustic noise management through control of electrical device operations
CN102622404A (zh) 2011-01-07 2012-08-01 微软公司 与组相关联的内容推荐
US8639719B2 (en) 2011-02-02 2014-01-28 Paul Tepper Fisher System and method for metadata capture, extraction and analysis
US9086798B2 (en) 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US8849931B2 (en) 2011-03-15 2014-09-30 Idt Messaging, Llc Linking context-based information to text messages
WO2012139127A1 (en) 2011-04-08 2012-10-11 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US9275079B2 (en) 2011-06-02 2016-03-01 Google Inc. Method and apparatus for semantic association of images with augmentation data
US20120316455A1 (en) 2011-06-10 2012-12-13 Aliphcom Wearable device and platform for sensory input
US9055276B2 (en) 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
US20130052946A1 (en) 2011-08-23 2013-02-28 Manjirnath Chatterjee Home automation using a mobile device
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US8885960B2 (en) 2011-10-05 2014-11-11 Microsoft Corporation Linking photographs via face, time, and location
JP2013110736A (ja) * 2011-10-28 2013-06-06 Nintendo Co Ltd 情報処理システム、サーバシステム、端末システム、情報処理プログラム、および、情報提示方法
US9035743B2 (en) 2011-12-01 2015-05-19 New York University Song selection based upon axial pen pressure
BR112014014103A2 (pt) 2011-12-16 2017-06-13 Koninklijke Philips Nv método de provisão de um serviço em uma rede de dados, e dispositivo eletrônico pessoal
TWI482108B (zh) 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
EP3457723B1 (en) 2012-01-08 2020-04-15 ImagiStar LLC System and method for item self-assessment as being extant or displaced
US8904018B2 (en) 2012-02-01 2014-12-02 International Business Machines Corporation Browser start pages based on remote content
US8533266B2 (en) 2012-02-14 2013-09-10 Google Inc. User presence detection and event discovery
US9171085B2 (en) 2012-03-07 2015-10-27 Ut-Battelle, Llc Personalized professional content recommendation
US20140353049A1 (en) 2012-03-11 2014-12-04 Monique S. Vidal Digital Scale to Measure Human Weight and to Determine and Display Suitable Dosage of a Medicament
US20130290347A1 (en) 2012-04-26 2013-10-31 Appsense Limited Systems and methods for providing data-driven document suggestions
WO2014005868A1 (en) 2012-07-02 2014-01-09 Alcatel Lucent Alarm clock based applications
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US8965828B2 (en) 2012-07-23 2015-02-24 Apple Inc. Inferring user mood based on user and group characteristic data
CN103574837B (zh) * 2012-08-02 2016-09-07 青岛海尔空调电子有限公司 空调静音模式启动方法及空调
US10380606B2 (en) * 2012-08-03 2019-08-13 Facebook, Inc. Negative signals for advertisement targeting
US10068060B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and psychotic disorders
US10068670B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and depression state
EP2698685A3 (en) 2012-08-16 2015-03-25 Samsung Electronics Co., Ltd Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US8812144B2 (en) * 2012-08-17 2014-08-19 Be Labs, Llc Music generator
US9795004B2 (en) 2014-04-14 2017-10-17 Abl Ip Holding Llc Learning capable lighting equipment
AU2013308871B2 (en) * 2012-08-28 2017-04-13 Delos Living Llc Systems, methods and articles for enhancing wellness associated with habitable environments
US9881474B2 (en) 2012-09-21 2018-01-30 Google Llc Initially detecting a visitor at a smart-home
US9640055B2 (en) 2012-09-21 2017-05-02 Google Inc. Interacting with a detected visitor at an entryway to a smart-home
US9978238B2 (en) 2012-09-21 2018-05-22 Google Llc Visitor options at an entryway to a smart-home
US9600645B2 (en) 2012-09-21 2017-03-21 Google Inc. Smart invitation handling at a smart-home
US10332059B2 (en) 2013-03-14 2019-06-25 Google Llc Security scoring in a smart-sensored home
US9953514B2 (en) 2012-09-21 2018-04-24 Google Llc Visitor feedback to visitor interaction with a doorbell at a smart-home
US9626841B2 (en) 2012-09-21 2017-04-18 Google Inc. Occupant notification of visitor interaction with a doorbell at a smart-home
US20140089401A1 (en) 2012-09-24 2014-03-27 Google Inc. System and method for camera photo analytics
US20140129544A1 (en) 2012-11-02 2014-05-08 Google Inc. Using Metadata to Summarize Social Media Content
US9131298B2 (en) * 2012-11-28 2015-09-08 Qualcomm Incorporated Constrained dynamic amplitude panning in collaborative sound systems
US9317812B2 (en) 2012-11-30 2016-04-19 Facebook, Inc. Customized predictors for user actions in an online system
US10009644B2 (en) * 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20140180752A1 (en) 2012-12-21 2014-06-26 International Business Machines Corporation Interface to select application based on state transition models of work
US9953304B2 (en) 2012-12-30 2018-04-24 Buzd, Llc Situational and global context aware calendar, communications, and relationship management
EP2941744B8 (en) 2012-12-30 2018-10-17 Gary Stephen Shuster Global contact synchronization
US8824751B2 (en) 2013-01-07 2014-09-02 MTN Satellite Communications Digital photograph group editing and access
KR20140094336A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
CN103065631B (zh) * 2013-01-24 2015-07-29 华为终端有限公司 一种语音识别的方法、装置
WO2014123328A1 (en) 2013-02-08 2014-08-14 Samsung Electronics Co., Ltd. Method and device for providing recommendation panel, and method and server for providing recommendation item
US9256637B2 (en) 2013-02-22 2016-02-09 Google Inc. Suggesting media content based on an image capture
US9692839B2 (en) 2013-03-13 2017-06-27 Arris Enterprises, Inc. Context emotion determination system
US20140334653A1 (en) * 2013-03-14 2014-11-13 Aliphcom Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20140298364A1 (en) 2013-03-26 2014-10-02 Rawllin International Inc. Recommendations for media content based on emotion
US9639881B2 (en) 2013-05-20 2017-05-02 TCL Research America Inc. Method and system for personalized video recommendation based on user interests modeling
AU2014268417A1 (en) 2013-05-23 2015-11-26 Iphenotype Llc Methods and systems for assisting persons, product providers and/or service providers
KR102124509B1 (ko) 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
US20150006296A1 (en) 2013-06-26 2015-01-01 Qualcomm Innovation Center, Inc. NOTIFICATION DISMISSAL IN AN INTERNET OF THINGS (IoT) ENVIRONMENT
US9871865B2 (en) 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
CN203465576U (zh) * 2013-08-22 2014-03-05 福州众梦达智能科技有限公司 一种本地化物联家居控制系统
EP3534318A1 (en) 2013-09-26 2019-09-04 Mark W. Publicover Providing targeted content based on a user´s moral values
US20150105608A1 (en) 2013-10-14 2015-04-16 Rest Devices, Inc. Infant Sleeping Aid and Infant-Bed Accessory
US20150149390A1 (en) 2013-11-25 2015-05-28 Palo Alto Research Center Incorporated Method and system for creating an intelligent digital self representation
US10078811B2 (en) 2013-11-29 2018-09-18 Fedex Corporate Services, Inc. Determining node location based on context data in a wireless node network
US9848586B2 (en) * 2014-01-16 2017-12-26 GeoSolarHeat System and method for environmental control
GB2537574A (en) 2014-03-13 2016-10-19 Halare Inc Systems, methods and apparatuses for the alleviation and outcome monitoring of sleep disordered breathing
US9898520B2 (en) 2014-03-25 2018-02-20 Open Text Sa Ulc Systems and methods for seamless access to remotely managed documents using synchronization of locally stored documents
US10110677B2 (en) 2014-05-06 2018-10-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Context-aware decision making
US20150356121A1 (en) 2014-06-04 2015-12-10 Commachine, Inc. Position location-enabled, event-based, photo sharing software and service
US20160063874A1 (en) 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US10540348B2 (en) 2014-09-22 2020-01-21 At&T Intellectual Property I, L.P. Contextual inference of non-verbal expressions
US10013900B2 (en) * 2014-09-23 2018-07-03 Amazon Technologies, Inc. Vehicle noise control and communication
US9733097B2 (en) 2014-10-31 2017-08-15 Toyota Jidosha Kabushiki Kaisha Classifying routes of travel
US10282475B2 (en) 2014-12-18 2019-05-07 Microsoft Technology Licensing, Llc Generation of browser suggestions based on internet of things device data
KR102339461B1 (ko) 2014-12-18 2021-12-15 삼성전자 주식회사 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치
TWI610185B (zh) 2014-12-22 2018-01-01 晨星半導體股份有限公司 相關資訊顯示方法以及可自動顯示相關資訊的電子裝置
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US9946862B2 (en) 2015-12-01 2018-04-17 Qualcomm Incorporated Electronic device generating notification based on context data in response to speech phrase from user

Also Published As

Publication number Publication date
US20230092307A1 (en) 2023-03-23
US20160234595A1 (en) 2016-08-11
GB2553682B (en) 2021-12-29
KR102058660B1 (ko) 2019-12-23
US20210051400A1 (en) 2021-02-18
JP7305563B2 (ja) 2023-07-10
US10425725B2 (en) 2019-09-24
EP3256914A1 (en) 2017-12-20
US9769564B2 (en) 2017-09-19
GB201714395D0 (en) 2017-10-25
JP2020098338A (ja) 2020-06-25
WO2016130228A1 (en) 2016-08-18
JP2021167950A (ja) 2021-10-21
JP7309783B2 (ja) 2023-07-18
CN107548474A (zh) 2018-01-05
US10880641B2 (en) 2020-12-29
US11910169B2 (en) 2024-02-20
US20200015006A1 (en) 2020-01-09
DE112015006145T5 (de) 2017-10-26
GB2553682A (en) 2018-03-14
EP3256914B1 (en) 2023-05-31
KR20170117160A (ko) 2017-10-20
US20180007467A1 (en) 2018-01-04
US11516580B2 (en) 2022-11-29
JP2018512607A (ja) 2018-05-17

Similar Documents

Publication Publication Date Title
US11910169B2 (en) Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11671416B2 (en) Methods, systems, and media for presenting information related to an event based on metadata
CN107250949B (zh) 基于用户环境中的有生命对象推荐计算机化服务的方法、系统和介质
US11841887B2 (en) Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US20190197073A1 (en) Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
US20160232131A1 (en) Methods, systems, and media for producing sensory outputs correlated with relevant information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant