CN107784357A - 基于多模态深度神经网络的个性化智能唤醒系统及方法 - Google Patents

Abstract

本发明提供了一种基于多模态深度神经网络的个性化智能唤醒系统及其方法。该方法包括：监测用户的睡眠状态；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的预测睡眠阶段；通过当前睡眠阶段以及预测睡眠阶段的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的每个闹钟脉冲与用户对应的反应之间的关系；确定对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的唤醒策略以及闹钟脉冲与用户对应的反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。

Description

基于多模态深度神经网络的个性化智能唤醒系统及方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多模态深度神经网络的个性化智能唤醒系统及方法。

背景技术

睡眠是人类日常生活中很重要的一部分，睡眠质量对身心的各个方面都有很大的影响，比如疲劳、情绪、注意力、集中力等。高质量的睡眠可以使人的生活质量有很大的不同。因此，优化唤醒人们的方法是非常重要且必须的。在现有的智能睡眠管理系统或闹铃管理系统中，通用的系统框架通常包括用于监控用户的睡眠阶段的传感器输入模块，以及决定何时触发闹铃的决策模块。

现有所谓的“智能”系统可能并不是真正的智能系统，因为它们无法为每个用户找到一个针对个人的优化的唤醒方案。决策模块最常用的策略是设置一个唤醒临界值，并在用户的睡眠阶段在用户设置的闹铃时间段内(通常是30分钟之前)到达一个唤醒临界值时触发闹铃。

然而，当用户在唤醒时间段内处于深度睡眠时，这种策略可能无法找到一个触发闹铃的最有效点，当时间耗尽时，用户可能会被迫从深度睡眠中醒来。即使现有的智能睡眠管理系统或闹铃管理系统在用户的睡眠阶段达到临界值后能找到一个好的唤醒点，但是这个唤醒点可能并不能保证是优化的唤醒点，因为用户可能会再次回到深度睡眠。另外，不同的用户可能需要不同的唤醒临界值。

因此，现有的智能睡眠管理系统或闹铃管理系统没有配置个性化设置，也就是说，现有的智能睡眠管理系统或闹铃管理系统是非个性化的。此外，现有的智能睡眠管理系统或闹铃管理系统是基于传感数据来监测所述用户的睡眠阶段(如手机、可穿戴环等收集的数据)这些数据可能会非常嘈杂且不可靠。

本发明所公开方法和系统用于解决上述一个或多个问题以及其他问题。

发明内容

本发明一方面公开了一种基于多模态深度神经网络的个性化智能唤醒方法。该方法包括：监测用户的睡眠状态；获取所述用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。

本公开的另一个方面包括一种基于多模态深度神经网络的个性化智能唤醒系统。所述系统包括：一鲁棒睡眠阶段检测(RSSD)模块，用于监测用户的睡眠状态，获取用户在当前时间段中的当前睡眠阶段，预测在下一时间段中的下一睡眠阶段，以及调整用户的当前睡眠阶段；一唤醒策略(WS)模块，用于基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；闹钟和用户反应回归(AUR)模块，用于确定用于唤醒用户的每个闹钟脉冲与用户相应反应之间的关系；以及决策融合(DF)模块，用于确定一待触发闹钟脉冲，基于所述当前时间段的唤醒策略以及所述闹钟脉冲的每一个与用户反应之间的关系；并用于触发所述闹钟脉冲。

本公开的又一个方面公开了一种非瞬时性计算机可读存储介质，存储有计算机程序，用于被处理器调用时，执行一种基于多模态深度神经网络的个性化智能唤醒系统的方法。所述方法包括：监测用户的睡眠状态；获取所述用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。

本领域技术人员根据本发明的说明书、权利要求以及说明书附图的指引，能够理解本发明的其它方面。

附图说明

为便于对实施例理解，结合附图对实施例进行描述，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的操作环境的示意图；

图2为本发明实施例计算系统的框图；

图3为典型的用户在夜间的睡眠阶段；

图4为本发明实施例的基于多模态深度神经网络的个性化的智能唤醒系统；

图5为本发明实施例的鲁棒睡眠阶段检测模块的流程示意图；

图6为本发明实施例的用于睡眠阶段预测的递归神经网络(RNN)；

图7为本发明实施例的闹钟与用户反应模型的多模式深度回归；

图8为本发明实施例的多模态深度回归模型的预训练以及微调的过程流程图；

图9为本发明实施例的基于多模态深度神经网络的个性化智能唤醒系统的示例方法流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明的较佳实施例进行更全面的描述。与此同时，下文的描述主要根据各附图。除非另外指出，在各图中相同的参考数字用于相同的部件。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

人们常常在夜里经历睡眠的两个不同阶段：快速眼动(REM)睡眠和非快速动眼睡眠，两者会在整夜交替出现。快速眼动和非快速眼动睡眠的周期性节律被称为一个睡眠周期。非快速眼动睡眠可以被分为4个子过程，每个连续的非快速眼动睡眠阶段都预示着一次更深层次的睡眠，其中的四个子过程中第一阶段最浅，第四阶段最深。图3为本发明实施例提供的人的睡眠阶段示意图。如图3所示，一个人可能在夜间经历不同的睡眠阶段。

某些研究表明，当人们在快速眼动睡眠中醒来时，会比在非快速眼动睡眠中醒来更舒服。然而,其他研究表明,在第一个非快速眼动睡眠阶段是唤醒人们的理想阶段。正如上面所讨论的，现有的智能睡眠管理系统或闹钟管理系统通常根据传感器数据(如手机搜集的数据，可穿戴的手带等等)监测用户的睡眠阶段，这种监测根本可靠，而且不能配置和适应个性化设置。

本发明提供了一个基于闹铃形式和用户特定反应之间的多模态深度神经网络的个性化智能唤醒系统，这也许能够找到一种个性化且最优的方式来唤醒每个用户。因此，即使用户处于深度睡眠状态，本发明的智能唤醒系统也可以温和地将用户从深度睡眠带到浅层睡眠，从而提供一个更好的唤醒解决方案。

例如,如果用户在深度睡眠阶段,这个智能唤醒系统可能会温和地将用户带去浅层睡眠阶段，并在不用“强硬的闹钟”的情况下准备将他唤醒。相反,现有智能睡眠管理系统或闹钟管理系统通常使用“强硬的闹铃”，例如，在时间结束而用户仍在深度睡眠阶段时，触发手机发出响亮的闹铃提醒。

图1为本发明实施例提供的应用环境100。如图1所示，应用环境100可以包括：用户终端102、服务器104、用户106、传感器108和网络110。也可以包括其他设备。

所述用户终端102可以包括任何适当类型的、具有计算功能的电子设备，如电视机(智能电视与非智能电视)，智能手表，手机，智能手机，平板电脑，个人电脑(PC)，电脑服务器，笔记本电脑，个人数字助理(PDA)，等等。

服务器104可以包括任何适当类型的服务器计算机或多个服务器计算机，用于向用户106提供个性化内容。例如，服务器104可以是云计算服务器。服务器104还可以辅助其他服务器和用户终端102之间的通信、数据存储和数据处理。用户终端102和服务器104可以通过一个或多个通信网络110(如电缆网络，电话网络，和/或卫星网络，等等)相互通信。

用户106可以与用户终端102进行交互，查询和检索各种内容和执行其他感兴趣的活动，或者用户可以用语音、手势或肢体语言来控制用户终端102，如果用户终端102具备语音识别引擎，运动传感器或深度相机。用户106可以是一个或多个个人，例如家庭成员。

传感器108可以是用户终端102和/或服务器104的内部传感器，也可以是在网络110上的用户终端102和/或服务器104之外部传感器。传感器108可以是可穿戴的手环，能够在夜间跟踪用户在床上的身体动作，记录重要身体机能如呼吸、心跳。传感器108也可以是能够监视用户的身体动作并提供用户身体物理位置的照相机。此外，传感器108可以是任何适当类型的、能够通过各种方式跟踪用户睡眠状态的传感器。

用户终端102，和/或服务器104可以在任何适当的运算电路平台上实现。图2为本发明实施例提供的计算系统框图，能够实现用户终端102和/或服务器104。

如图2所示，计算系统200可包括处理器202，存储介质204，显示器206，通信模块208，数据库214和外围设备212。本实施例可以省略某些组件，也可以包括其他组件。

处理器202可以包括任何合适的一个处理器或多个处理器。此外，处理器202可以包括用于多线程或并行处理的多个核心之处理器。存储介质204可包括储存器模块，如ROM，RAM，闪存储存器模块，和大容量存储器，如CD－ROM和硬盘等等。存储介质204可存储计算机程序，用于实现由处理器202执行的该计算机程序的各种过程。

此外，外围设备212可以包括各种传感器和其它I/O设备，如键盘和鼠标，并且通信模块208可以包括通过通信网络建立连接的某些网络接口设备。数据库214可以包括一个或多个数据库，用于存储某些数据，并对存储的数据执行一个或多个操作，如数据库搜索。

图4为本发明提供的一个基于多模态深度神经网络的个性化智能唤醒系统具体实施例。如图4所示，个性化智能唤醒系统400可以包括鲁棒睡眠阶段检测(RSSD)模块402、闹钟和用户反应回归(AUR)模块404，决策融合(DF)模块406，和唤醒策略(WS)模块408。某些组件可以被省略，也可以添加其他组件。

对于所有智能睡眠和闹钟管理系统来说，找到一种监测用户的睡眠阶段和睡眠状态的方式是非常重要的。用户的睡眠状态通常在大多数此类系统中用于决定是否触发闹钟。然而，正如上面所讨论的，在当前的智能睡眠和闹钟管理系统中，整个睡眠阶段的监测都基于传感器数据，这也许很嘈杂而且不可靠。

例如，一些智能睡眠和闹钟管理系统是要求将智能手机正面朝下放在床上，并用其感知用户在床上的身体动作。然而，智能手机中的传感器可能不够灵敏，无法进行精确地监测。一些智能睡眠和闹钟管理系统使用麦克风，通过搜集周围的音频来监测用户的身体活动，这可能高度依赖于环境设置，而且不可能在所有时间内一直保持可靠。

另外，监测用户的睡眠阶段和状态的方法通常遵循一个统一的标准，来确定用户处于哪个睡眠阶段。然而，这个统一的标准不一定总是正确的，因为一些用户在相同的睡眠阶段可能会表现出不同的行为，比如更少或者更多的身体动作。例如，如果他/她很累的话，用户可能会有更少的身体动作，如果他/她由于环境的改变而睡不好，用户可能会有更多的身体动作。

因此,如图4所示,所述个性化智能唤醒系统400可以包括鲁棒睡眠阶段检测(RSSD)模块402，其可以被配置为一个基于传感器数据的鲁棒用户睡眠阶段监测，并在基于历史数据的情况下通过结合传感器数据和睡眠阶段预测，纠正用户的睡眠阶段检测结果。也就是说，用户的睡眠阶段可以从监测传感器数据中推断出来，并通过基于历史数据的睡眠阶段预测模块，来进行进一步的修正。

图5为本发明实施例提供的鲁棒睡眠阶段检测(RSSD)模块。如图5所示，RSSD模块可以配置为监测用户的睡眠阶段，基于传感器数据501获得在当前时间段内用户的当前睡眠阶段；执行下一时间段内的睡眠阶段预测502，并执行睡眠阶段矫正503，在后期融合中通过结合传感器数据501和睡眠阶段预测502，校正睡眠阶段。具体的，睡眠阶段预测502可以包括基于历史数据504的预训练睡眠阶段预测5021，以及基于个人数据505的个性化睡眠阶段预测5022。

传感器数据501可以由，例如能够感知用户在床上的身体动作的智能手机或可穿戴设备，所提供。传感器数据501可以是由相应传感器获取的响声。历史数据504可以包括在过去的几天或几个月里用户的睡眠状态数据，如，何时用户醒来，每个睡眠阶段持续多久等等。为了去除噪声，可以预处理历史数据503，这样，历史数据503通常比传感器数据501更可靠。

在先的睡眠阶段数据(即:历史数据504)可以作为训练的目的而被收集。一般用户的历史数据504可以被收集来进行预训练，例如，为了实现预训练的睡眠阶段预测5021。从一个特定用户收集的个人数据505可以被输入于RSSD模块402，用于微调个性化的睡眠阶段预测5022。

值得注意的是，RSSD模块402也可以在没有个性化睡眠阶段预测5022(即:用户可以打开/关闭“个性化睡眠阶段预测5022”)，或者甚至没有睡眠阶段预测502的情况下工作。然而，为了达到理想的鲁棒睡眠阶段监测的性能，RSSD模块需要开启个性化的睡眠阶段预测5022和睡眠阶段预测502。

请继续参阅图4，可以配置WS模块408来接收推断的用户睡眠阶段、先验知识410和用户偏好I 412作为输入，以便为当前时间段建立一个理想的唤醒策略(WS)。先验知识410可以是从与睡眠相关的调查研究中预先获得的知识。用户偏好I 412可以包括各种用户唤醒偏好，例如，用户可能更愿意在浅层睡眠中醒来，或更喜欢快速唤醒，等等。用户偏好I412可以以不同的方式被接收，例如，由用户手动输入，由监测传感器(如用户的手机、可穿戴设备等)提供，通过分析用户在社交媒体上的活动来获取，从下拉列表中选择或者点击系统提供的图标等等。

还可以配置WS模块408，以确定在用户的睡眠阶段执行温和且最优化的闹钟脉冲。所述闹钟脉冲可以指是一种唤醒用户的方式。闹钟脉冲可以是一种声音闹铃，一种震动，一种声音闹铃和振动的组合，等等。WS模块408也可以被配置用于确定闹钟策略的各种配置，例如，闹钟脉冲的类型、持续时间、强度和重复频率等。

也可以配置AUR模块404来确定闹钟脉冲(例如:闹铃、振动、闹铃和振动的组合等等)和用户反应(例如:用户的睡眠阶段和状态的改变)之间的关系。不同类型的闹钟脉冲(如:闹铃，振动，闹铃和振动的组合，等等)和/或以不同的方式进行的闹钟脉冲(如，温和的闹钟、强硬的闹钟等)，可能会导致不同的用户反应。该AUR模块404可以被配置用于确定多个闹钟脉冲中的每一个方式与用户反应之间的关系。

例如，被选为唤醒闹钟(即:歌曲闹铃702型)的歌曲类型可能会导致不同的用户反应，因为轻音乐可能会过于轻微地唤醒用户，而摇滚音乐可能对某些用户来说太强烈了。此外，播放歌曲闹铃的方式，如低/高音量播放、从低音量到高音量播放、高/低频率播放，也可能对用户体验产生影响，并可能收到不同的用户反应。环境背景也必须被考虑在内。当有人在隔壁洗澡，或是当一辆卡车经过的时候，会产生一种持续的或随机的声响，也可以被认为是一种闹钟脉冲，这也可能会给用户的睡眠阶段带来变化。在一个实施例中，AUR模块404可以被配置为采用一个多模态深度回归算法来模拟闹钟脉冲和用户反应之间的关系。

根据由WS模块408所确定的唤醒策略(WS)，以及由AUR模块404所决定的闹钟脉冲与用户反应之间的关系，可以配置DF模块406，以确定触发哪个特定的脉冲，然后触发相应闹钟脉冲。例如，可以配置DF模块406来决定播放哪首歌，如何播放歌曲，有或没有振动，背景噪声有多强等等。

用户偏好Ⅱ 414可以提供闹钟脉冲候选，例如，唤醒闹铃歌曲，即被设置为闹钟的歌曲。用户偏好Ⅱ 414也可以被输入于DF模块406，以缩小搜索范围。例如，某些用户不喜欢在振动中播放唤醒闹铃歌曲，因此，这样的振动选项可以从用户偏好Ⅱ 414中删除。此外，所述用户偏好Ⅱ 414还可以包括来自用户Spotify(声田)的歌曲列表和评分，比如苹果音乐，和本地音乐数据库等，这有助于搜索用户所喜欢的唤醒闹铃歌曲。

在触发了所期望的闹钟脉冲后，基于多模态深层神经网络400的个性化智能唤醒系统可能会持续监测和纠正用户的睡眠阶段，并遵循同样的框架流，直到用户最终醒来。

本公开还为基于多模态深层神经网络的个性化智能唤醒系统提供了一种方法。图9为本发明实施例提供的多模态深层神经网络的个性化智能唤醒系统的方法的流程图。如图9所示，首先，获取当前用户在当前时间段内的睡眠阶段和下一段时间段的预测的用户睡眠阶段(S902)。

具体的，所述当前的用户睡眠阶段(即:目前的睡眠阶段的结果)可以是通过监测传感器数据而取得，这些数据这可以由，例如，智能手机或可穿戴绑带，所提供，它们可以感知用户在床上的身体运动。基于预定的睡眠阶段预测模型和用户睡眠状态的历史数据，所述RSSD模块可以生成睡眠阶段的预测结果。例如，历史数据可包括用户在过去几天或几个月的睡眠状态的数据，例如，每个睡眠阶段持续多长时间，用户何时醒来等等。

预先训练和微调(即:个性化)所述睡眠阶段预测模型，可采用深度学习算法。在某个实施例中，可以采用递归神经网络(RNN)来根据用户在先和当前的睡眠阶段输入，来预测下一个时间段的睡眠阶段。也就是说，所述深度学习算法可以在依序列进入-输出的场景下工作。所述在先的睡眠阶段数据(即:历史数据)可能会被收集并存入一个RNN模型用于训练目的。一般收集的数据可用于预训练睡眠阶段预测模型，而从特定用户收集的数据可用于对睡眠阶段预测模型进行微调。

图6所示，为本发明实施例用于睡眠阶段(序列信号)预测的示范性的递归神经网络(RNN)。如图6所示，递归神经网络(RNN)可以包括若干个块601，若干个块602，以及若干个块603。每个块601可以是RNN的一个单元，而特定的块602(红色)和其他块602可以分别是输入和输出序列。

回到图9，在获得当前的用户睡眠阶段和当前时间段内的用户睡眠阶段预测之后，通过在后期的融合中结合当前睡眠阶段和预测的用户睡眠阶段，校正当前的睡眠阶段(S904)。

个人数据的真实情况可能很难直接得到，但真实情况可以被估计，而且系统可以被反复调整，最终会逐步收敛于真实情况。例如，首先可以确定一个唤醒点，当用户触摸屏幕以停止闹钟时，这一点可以很容易被识别出。然后，在传感器数据和原始预测融合之后，所述已修正的睡眠阶段数据可能会被真实的唤醒阶段(例如，对应于用户在第4阶段被唤醒的系统)和理论的醒唤阶段(清醒阶段)的因子按比例衡量。

更具体地，S_sensor表示从所述传感器数据推断出的睡眠阶段，而S_scaled表示按比例的对睡眠阶段的预测，α表示权重，RSSD模块的输出S(即:已被纠正的当前睡眠阶段)可以表示为:

S＝αS_sensor+(1-α)S_scaled (1)

通过比较睡眠阶段最后一个推论与传感器数据S_s’的不同，可计算出权重α，从RNN模型S_p’和唤醒点阶段S_wake得出睡眠阶段的最后一个预测：

根据唤醒点阶段S_wake，从上一个可用的数据点S_w’(例如，从“昨天”收集的数据)得出的唤醒点的阶段预测，以及从预测模型输出的当前预测S_predict，被衡量出的预测S_scaled将会通过如下算式计算:

也就是说，在睡眠阶段的预测结合当前的睡眠阶段的结果相融合时，两者(即:睡眠阶段预测和当前睡眠阶段的结果)的自适应权值可被采用来建立睡眠阶段监测的鲁棒结果，并输出到所述WS模块。所述自适应权值可以被产生，例如，通过找到一个更容易且更精确探测出的所述唤醒点，并通过比较从传感器数据推出的唤醒点和睡眠阶段，与睡眠阶段预测之间的区别。有较大的差异的那个(即：其中一个睡眠阶段的预测和当前的睡眠阶段的结果)，也许会有更小的权重。

当前的用户睡眠阶段被校正后，用户偏好I和先验知识被结合起来，为用户确定一个优化的唤醒策略(S906)。例如，用户处于深度睡眠状态，而他/她的偏好是一次被唤醒一点点。他/她的偏好可能被用于得出每一个闹钟脉冲的间隔时间和水平之间的最佳权衡。另一方面，如果用户喜欢快速唤醒，本实施例所公开的个性化智能唤醒系统可以相应地调整所述唤醒策略，应用相对强烈但平滑的闹钟脉冲，以避免在深度睡眠中被唤醒的难受感觉。

基于对睡眠和睡眠质量的调查研究得出的先验知识，可以为用户建立一个睡眠阶段的最佳唤醒曲线。可以将先验知识和用户偏好I组合在一起，以确定叫醒用户的最佳唤醒策略。

与此同时，由闹钟-用户反应(AUR)模块来模拟闹钟脉冲(闹铃、振动等)和用户的反应(睡眠阶段和状态的变化)之间的关系(S908)。在一个实施例中，所述闹钟-用户反应(AUR)模块可以应用多模态深度回归算法来模拟闹钟脉冲(如:闹铃和振动等)和用户的反应(例如:睡眠阶段和状态的变化)之间的关系。

图7为一种典型的多模态深度回归模型，用于本发明实施例的闹钟和用户反应(AUR)模块。如图7所示，在利用预先收集的数据来进行训练后，可以使用多模态深度回归模型或多模态深层神经网络，通过给定一个特定的闹钟脉冲，来预测所述反应，即睡眠阶段的变化。在一个实施例中，所述多模态深度回归模型的输入量可以是作为唤醒闹钟的歌曲702(即:歌曲形式的闹钟)，用户的环境背景704，和震动706(例如:振动形式的闹钟)等。

不同类型的闹钟脉冲(例如:闹铃，振动，闹铃和振动的组合，等等)和/或以不同的方式启动闹钟(如，温和的闹钟、强劲的闹钟等)可能导致不同的用户反应。例如，被选为唤醒闹钟(即:歌曲闹铃702型)的歌曲类型可能会导致不同的用户反应，因为轻音乐可能会轻轻地唤醒用户，而摇滚音乐可能对某些用户来说太强烈了。此外，播放歌曲闹铃的方式，如低/高音量播放、从低音量到高音量播放、高/低频率播放，也可能对用户体验产生影响，并可能收到不同的用户反应。

环境背景704也必须被考虑在内。一种持续的或随机的声响，当有人在隔壁洗澡时产生，或是当一辆卡车经过的时候产生，也可能被认为是一种闹钟脉冲，这也可能会给用户的睡眠阶段变化带来影响。所述振动706可能与声音闹铃具有相同的效果，振动和声音闹铃也可以组合在一起。

这样的唤醒用户的不同方式可能将从来自不同的模式的不同信号类型作为输入，这是使用图7所示的多模态深度回归模型的目的。也就是说，用于从不同的模式中嵌入所有可能的途径和方法，并在深层的隐藏层中学习一个联合表示。所述联合表示可以用作进一步回归的目标的特性。例如，所述环境背景704，通过一内置麦克风记录所述背景噪音水平来测量，可以是一种信号。为了评估不同的发声方式，可以使用不同种类不同片段的歌曲，并且可以为每个样本提取音频信号。

音频信号可能不适合直接输入到所述回归模型中。然而，可以提取音频信号的特征来将音频信号转换为频域的信号，例如，通过傅立叶变换，或者将频率系数(MFCC)特征提取出来，其可以与振动域的信号相同。任何其他的潜在的可能性模式也可以被用来将音频信号转换成一个信号，所述信号可以被直接输入到所述多模态深度回归模型中。

所述ARU模块的所述多模态深度回归模型可以通过所述历史数据或所述预先收集的数据进行训练，并可以通过收集到的个人数据进行进一步的微调。图8为本发明实施例的多模态深度回归模型的预训练以及微调的过程流程图。

如图8所示，首先，接收多个用户的反应的历史数据(S802)。所述历史数据可能包括闹钟的各种信息以及系统之前收集或记录的相应的用户操作。由所述历史数据或所述预先收集的数据训练所述多模态深度回归模型(S804)。与此同时，当用户使用系统时，系统可以收集每个单个用户的数据，即个人数据(S806)。所述多模态深度回归模型由所收集到的个人数据进行微调(S808)，例如，可以实现个性化的回归模型。由于从RSSD和从闹钟脉冲功能接收和监测到的用户反应都是准确的，可以对数据执行一个鲁棒多模态深度回归模型。在不收集个性化数据的情况下，所述AUR模块也可以被配置，但通过对所述多模态深度回归模型进行个性化数据和个性化优化的微调，可以得以更好地感知单个用户对某一特定闹钟脉冲的反应。

回到图9，在决定了优化的用户唤醒策略之后，识别出用户在当前情形的当前睡眠阶段所期待的改变(S910)。给定所述期待的变化，一个特定闹钟脉冲的一个最佳适配由所述决策融合(DF)模块依据所述多模态深度回归模型来决定(S912)，例如将播放哪首歌，这首歌是否伴随振动，和背景噪声如何等等。

用户偏好Ⅱ也可以被输入进所述决策融合(DF)模块，以缩小对闹钟脉冲的搜索。例如，一些用户不喜欢在振动中播放唤醒闹铃歌曲，故而，这样的振动选项可以被删除。此外，来自用户Spot i fy的歌曲列表和评分，比如苹果音乐，和本地音乐数据库等，也可以被嵌入所述系统中，这有助于搜索用户最喜欢的唤醒闹铃歌曲，以触发当前情形下的唤醒策略。给定从用户偏好Ⅱ与个性化智能唤醒系统生成的闹钟脉冲候选，以及由AUR模块估计出的闹钟脉冲和所述用户反应之间的关系，可以找到当前情况的最佳解决方案。

当一个最适合的特定闹钟脉冲确定后，所述闹钟脉冲由所述决策融合(DF)模块触发(S914)。所述个性化的智能唤醒系统可持续监测用户的睡眠状态，尤其是在睡眠阶段的变化，以确立最佳的唤醒策略，并可以再次经历相同的工作流程，直到完全唤醒用户。所述监测数据还可以被收集来进行个性化的微调，如在AUR模块中所述。

在本发明实施例揭露的基于多模态深度神经网络的个性化智能唤醒系统中，所述鲁棒睡眠阶段检测(RSSD)模块可以根据历史数据进行睡眠阶段预测，并结合用户偏好和先验知识，建立最佳的唤醒策略。所述闹钟和用户反应(AUR)模块可以通过应用所述多模态神经网络进行回归建模，来模拟用户对特定的闹钟脉冲的反应。所述唤醒策略(WS)模块可以找到在当前情况下唤醒用户的最佳策略，并且所述回归模型可找到所述优化的闹钟脉冲来实现所述WS策略。

本发明公开的智能唤醒系统可以通过应用所述深度学习算法，并结合所述用户的用户偏好输入以及从睡眠调查研究中获得的先验知识，来提供一个优化的起床闹钟解决方案。所公开的基于多模态深度神经网络的个性化智能唤醒系统具有个性化优化的特点，可以显著提高系统的可靠性和用户体验。

技术人员可进一步认识到，在实施例中公开的各种说明模块和方法步骤可以作为电子硬件、计算机软件或两者的组合来实现。为了清楚地说明硬件和软件的这种可互换性，上面已经在功能上大体上描述了各种说明性的单元和步骤。这些功能是作为硬件或软件实现，取决于特定的应用程序和施加于所述整体系统上的设计限制。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这种实现的决定不应被解释为偏离本发明的范围。

所公开的实施例的描述用以向本领域的技术人员说明本发明。对这些实施例的各种修改对于本领域技术人员将是明显的，并且在不脱离本发明的精神或范围的情况下，本文定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于本文所示的实施例，而是要被赋予与本文所公开的原则和新特性相一致的最广泛的范围。

Claims (20)

1.一种基于多模态深度神经网络的个性化智能唤醒系统的方法，其特征在于，包括：

监测用户的睡眠状态；

获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；

通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；

基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；

确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；

识别对于当前时间段的当前睡眠阶段的变化；

基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及

触发所述待触发闹钟脉冲。

2.根据权利要求1所述的方法，其特征在于，所述获取用户在当前时间段中的当前睡眠阶段，还包括：

接收由能够监测用户睡眠时的身体移动的传感器提供的传感器数据；以及

根据所述传感器数据，获取所述用户在当前时间段中的当前睡眠阶段。

3.根据权利要求2所述的方法，其特征在于，所述获取下一时间段中的下一睡眠阶段预测，还包括：

接收若干个用户睡眠状态的历史数据以及用户睡眠状态的个人数据，以及

基于根据所述历史数据而预训练的睡眠阶段预测，以及根据所述个人数据的个性化的睡眠阶段预测，预测用户的所述下一个睡眠阶段。

4.根据权利要求3所述的方法，其特征在于，基于递归神经网络模型，预测用户的所述下一个睡眠阶段。

5.根据权利要求4所述的方法，其特征在于，通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段，还包括：

通过所述传感器数据、预训练睡眠阶段预测以及个性化睡眠阶段预测的结合，调整所述用户的所述当前睡眠阶段，获得校正的当前睡眠阶段。

6.根据权利要求5所述的方法，其特征在于，所述校正的用户当前睡眠阶段通过如下算式计算：

S＝αS_sensor+(1-α)S_scaled

其中，S表示所述用户的所述校正的当前睡眠阶段，S_sensor表示传感器数据，而S_scaled表示按比例的对用户睡眠阶段的预测，α表示权重。

7.根据权利要求6所述的方法，其特征在于，

所述权重α通过如下算式计算：

<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>S</mi> <mrow> <mi>w</mi> <mi>a</mi> <mi>k</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>S</mi> <msup> <mi>p</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> <mrow> <mn>2</mn> <msub> <mi>S</mi> <mrow> <mi>w</mi> <mi>a</mi> <mi>k</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>S</mi> <msup> <mi>p</mi> <mo>&amp;prime;</mo> </msup> </msub> <mo>-</mo> <msub> <mi>S</mi> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> </mfrac> </mrow>

所述按比例的对用户睡眠阶段预测S_scaled通过如下算式计算：

<mrow> <msub> <mi>S</mi> <mrow> <mi>s</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>S</mi> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> </msub> <msub> <mi>S</mi> <mrow> <mi>w</mi> <mi>a</mi> <mi>k</mi> <mi>e</mi> </mrow> </msub> </mfrac> <msub> <mi>S</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mi>i</mi> <mi>c</mi> <mi>t</mi> </mrow> </msub> </mrow>

其中，S_p’表示从RNN模型得出的用户最后一个睡眠阶段的预测；S_s’表示从所述传感器数据中对用户睡眠阶段的最后推断；S_wake表示用户的唤醒点阶段；S_w’表示从上一个可用的时间段中得出的唤醒点阶段的阶段预测；而S_predict表示从RNN模型中输出的用户睡眠阶段的当前预测结果。

8.根据权利要求1所述的方法，其特征在于，确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系，还包括：

接受所述若干个用户的反应的历史数据；

通过所述历史数据，训练多模态深度学习模型；

采集用户的反应的个人数据；及

基于所述用户的反应的个人数据，优化调整所述多模态深度回归模型。

9.一种基于多模态深度神经网络的个性化智能唤醒系统，其特征在于，包括：

鲁棒睡眠阶段检测模块，用于监测用户的睡眠阶段；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的预测睡眠阶段；以及调整用户的当前睡眠阶段；

唤醒策略模块，用于基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；

闹钟和用户反应回归模块，用于确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；

决策融合模块，用于基于所述当前时间段的唤醒策略以及闹钟形式与用户对应的反应之间的关系，确定用于唤醒用户的待触发闹钟脉动；以及触发所述待触发闹钟脉动。

10.根据权利要求9所述的系统，其特征在于，所述鲁棒睡眠阶段检测模块，还用于：

接收由能够监测用户睡眠时的身体移动的传感器提供的传感器数据；以及

根据所述传感器数据，获取所述用户的当前睡眠阶段。

11.根据权利要求10所述的系统，其特征在于，所述鲁棒睡眠阶段检测模块，还用于：

接收若干个用户睡眠状态的历史数据以及所述用户睡眠状态的个人数据，以及

预测所述用户的下一个睡眠阶段，基于根据所述历史数据的预训练的睡眠阶段预测，以及根据所述个人数据的睡眠阶段预测。

12.根据权利要求11所述的系统，其特征在于，所述鲁棒睡眠阶段检测模块，还用于：基于递归神经网络模型，预测所述用户的所述下一个睡眠阶段。

13.根据权利要求12所述的系统，其特征在于，所述鲁棒睡眠阶段检测模块，还用于：

通过结合所述传感器数据、预训练的睡眠阶段预测、以及个性化的睡眠阶段预测，调整所述用户的所述当前睡眠阶段，获得校正的所述用户的当前睡眠阶段。

14.根据权利要求9所述的系统，其特征在于，所述闹钟和用户反应回归模块，还用于：

接受所述若干个用户的反应的历史数据，所述反应相应于每一个所述用于唤醒所述多个用户的多个的闹钟脉冲；

通过所述历史数据，训练多模态深度回归模型；

采集用户的反应的个人数据，所述反应相应于每一个所述用于唤醒所述多个用户的多个的闹钟脉冲；

基于所述用户的反应的个人数据，优化调整所述多模态深度回归模型。

15.一种非瞬时性计算机可读存储介质，存储有计算机程序，用于被处理器调用时，以执行一种基于多模态深度神经网络的个性化智能唤醒系统的方法，所述方法包括：

监测用户的睡眠状态；

获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；

通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；

基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；

确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；

识别对于当前时间段的当前睡眠阶段的变化；

基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及

触发所述待触发闹钟脉冲。

16.根据权利要求15所述的非瞬时性计算机可读存储介质，其特征在于，所述获取用户在当前时间段中的当前睡眠阶段，还包括：

接收由能够监测用户睡眠时的身体移动的传感器提供的传感器数据；以及根据所述传感器数据，获取所述用户在当前时间段中的当前睡眠阶段。

17.根据权利要求16所述的非瞬时性计算机可读存储介质，其特征在于，所述获取下一时间段中的下一睡眠阶段预测，还包括：

接收若干个用户睡眠阶段的历史数据以及用户睡眠阶段的个人数据，以及

基于根据所述历史数据而预训练的睡眠阶段预测，以及根据所述个人数据的个性化的睡眠阶段预测，预测用户的所述下一个睡眠阶段。

18.根据权利要求17所述的非瞬时性计算机可读存储介质，其特征在于，基于递归神经网络模型，预测用户的所述下一个睡眠阶段。

19.根据权利要求18所述的非瞬时性计算机可读存储介质，其特征在于，通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段，还包括：

通过所述传感器数据、预训练睡眠阶段预测以及个性化睡眠阶段预测的结合，调整所述用户的所述当前睡眠阶段，获得校正的当前睡眠阶段。

20.根据权利要求15所述的非瞬时性计算机可读存储介质，其特征在于，所述确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系，还包括：

接受所述若干个用户的反应的历史数据；

通过所述用户的反应的所述历史数据，训练多模态深度回归模型；

采集用户的反应的个人数据；及

基于所述用户的反应的个人数据，优化调整所述多模态深度回归模型。