CN114397826B - 一种智能家居控制方法、系统和装置 - Google Patents

Abstract

本说明书实施例提供一种智能家居控制方法。该方法包括获取用户在预设起始时间至当前时间期间内的第一用户行为；基于用户的第一用户行为，预测用户在当前时间之后的第二用户行为；基于第一用户行为，对第二用户行为相关的活动空间的环境进行调整。

Description

一种智能家居控制方法、系统和装置

技术领域

本说明书涉及大数据服务领域，特别涉及一种智能家居控制方法、系统和装置。

背景技术

随着人们生活水平的不断提高，智能家居的使用也越来越广泛，人们对智能家居的智能化的要求也越来越高。为了使智能家居更符合人们的使用需求，如何控制智能家居更好更快更高效地提供服务成为目前亟需解决的问题。

因此，希望提供一种智能家居控制方法，可以更好地控制智能家居，提升用户体验。

发明内容

本说明书实施例之一提供一种智能家居控制方法。该智能家居控制方法包括：获取用户在预设起始时间至当前时间期间内的第一用户行为；基于所述用户的所述第一用户行为，预测所述用户在所述当前时间之后的第二用户行为；基于所述第一用户行为，对所述第二用户行为相关的活动空间的环境进行调整。

本说明书实施例之一提供一种智能家居控制系统，该系统包括：获取模块、预测模块和控制模块；所述获取模块用于获取用户在预设起始时间至当前时间期间内的第一用户行为；所述预测模块用于基于所述用户的所述第一用户行为，预测所述用户在所述当前时间之后的第二用户行为；所述控制模块用于基于所述第一用户行为，对所述第二用户行为相关的活动空间的环境进行调整。

本说明书实施例之一提供一种智能家居控制装置，包括处理器，所述处理器用于执行智能家居控制方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行智能家居控制方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的智能家居控制系统的应用场景示意图；

图2是根据本说明书一些实施例所示的智能家居控制方法的示例性流程图；

图3是根据本说明书一些实施例所示的获取第一用户行为的示例性示意图；

图4是根据本说明书一些实施例所示的预测第二用户行为的示例性示意图；

图5是根据本说明书一些实施例所示的智能家居控制系统的模块图。

其中，100、智能家居控制系统；110、服务器；120、声控装置和/或监控设备；120-1、音箱；120-2、声控装置；120-3、摄像头；130、第一用户行为；130-1、跑步；130-2、看电视；130-3、室内蹬自行车；140、第二用户行为；140-1、睡觉；140-2、工作或学习；150、活动空间环境；160、存储设备；310-1、室内音频信息；310-2、室内视频信息；321、预估模型；411、实际行为特征；412、参考行为特征；421、匹配结果；431、目标参考行为特征；510、获取模块；520、预测模块；530、控制模块。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的智能家居控制系统的应用场景示意图。

如图1所示，在应用场景中，智能家居控制系统100的应用场景可以包括服务器110、声控装置和/或监控设备120、第一用户行为130、第二用户行为140、活动空间环境150、存储设备160。

在一些实施例中，智能家居控制系统100可以通过实施本说明书中所披露的方法和/或过程来实现智能家居控制。

例如，在一些应用场景中，服务器110可以获取用户在预设起始时间至当前时间期间内的第一用户行为130。基于用户的第一用户行为130，预测用户在当前时间之后的第二用户行为140。服务器110可以基于第一用户行为130，对第二用户行为140相关的活动空间环境150进行调整，可以缩短用户使用智能家居的等待时间，提升用户的使用体验。

服务器110可以用于管理资源以及处理来自本系统至少一个组件或外部数据源(例如，云数据中心)的数据和/或信息。服务器110可以基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本说明书中描述的功能。在一些实施例中，服务器110可以是单一服务器或服务器组。该服务器组可以是集中式或分布式的(例如，服务器110可以是分布式系统)，可以是专用的也可以由其他设备或系统同时提供服务。在一些实施例中，服务器110可以是区域的或者远程的。在一些实施例中，服务器110可以在云平台上实施，或者以虚拟方式提供。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，服务器110可以通过声控装置和/或监控设备120获取用户的第一用户行为130。例如，声控装置和/或监控设备120可以包括音箱120-1、声控装置120-2、摄像头120-3等。服务器110通过声控装置和/或监控设备120获取的室内音频信息和/或室内视频信息确定用户的第一用户行为130。在一些实施例中，服务器110可以通过智能家居数据，确定用户的第一用户行为130。

在一些实施例中，第一用户行为130包括跑步130-1、看电视130-2以及室内蹬自行车130-3。在一些实施例中，第二用户行为140包括睡觉140-1以及工作或学习140-2。

在一些实施例中，服务器110可以基于第一用户行为130，对第二用户行为140相关的活动空间环境150进行调整。例如，活动空间环境150是卧室，服务器110可以对卧室的空调温度进行调整。

存储设备160可以存储数据、指令和/或任何其他信息。用户的历史行为相关的信息可以被保存在存储设备160中。在一些实施例中，存储设备160可以存储从声控装置和/或监控设备120和/或服务器110获得的数据。在一些实施例中，存储设备160可以从声控装置和/或监控设备120获取待存储的图像、声音等进行存储。

图2是根据本说明书一些实施例所示的智能家居控制方法的示例性流程图。如图2所示，流程200包括步骤210、步骤220以及步骤230。

步骤210，获取用户在预设起始时间至当前时间期间内的第一用户行为。在一些实施例中，获取模块510执行步骤210。

用户是指在室内活动的人员。在一些实施例中，用户可以是针对室内某个特定用户，也可以包括室内所有用户。例如，某一室内环境存在用户P₁、P₂及P₃，用户可以是被指定的特定用户，即用户P₁，也可以是所有在室内活动的全部用户，即用户P₁、P₂及P₃。

预设起始时间是指在一定时间区间中的被设定作为起始时间的某一特定时刻。其中，时间区间是指一定时间范围的时间，时间区间的单位可以为分钟、小时、天、周、月、年等等。例如，预设起始时间可以是设定作为起始记录用户行为的某一日期中的某一时刻。

在一些实施例中，预设起始时间可以是统一固定的。例如，预设起始时间可以为每天05:00。

在一些实施例中，预设起始时间还可以根据当前时间确定的。例如，当前时间是19:00，则起始时间可以是17:00。

在一些实施例中，预设起始时间可以是具有特定时间规律的。例如，预设起始时间可以是每个周六及周日的07:00。

在一些实施例中，当前时间是指用户当前所处的时刻。例如，用户当前时间为11:10。

在一些实施例中，当前时间也可以是用户自行指定的过去时间中的某一时刻。该被指定的当前时间通常晚于最近一次的预设起始时间。例如，用户当前所处的时间为13:20，其预设起始时间为07:00。由于11:20至13:20的时间区间中，用户外出就餐并未在家里活动，用户可以选择指定11:20作为当前时间。通过自行指定当前时间可以便于删减不必要的数据(例如，不存在用户室内活动的时间段的数据)，便于提高预测效率。

第一用户行为是指从预设起始时间至当前时间的期间内，用户在室内环境中的所有行为活动。例如，第一用户行为可以是从预设起始时间07:00至当前时间11:00这一时间期间中，用户在室内进行的练瑜伽、做早餐、吃早餐、打扫卫生、读书等活动。

在一些实施例中，第一用户行为可以通过音频、视频、系统数据、操作指令或者其他任意可以记录用户的历史行为数据的内容进行数据处理后获取。在一些实施例中，数据处理的方式可以包括借助机器学习模型。

在一些实施例中，获取模块510可以通过获取音频和/或视频，并基于音频和/或视频信息确定第一用户行为，具体说明请参见图3部分的相关描述。

在一些实施例中，可以基于用户在从预设起始时间至当前时间的期间内使用的智能家居数据，确定该用户的第一用户行为。

智能家居数据是指智能家居所记录的涉及用户行为的所有相关数据。

其中，智能家居可以包括智能门锁、智能开关、门窗传感器、智能照明、智能空调、智能新风系统、智能插座、智能冰箱、智能电视、智能音箱、智能监控、智能麦克风或其他具有存储记录功能或物联网功能的家居设备。

在一些实施例中，智能家居数据可以为用户对智能家居设备的操作指令，或用户使用智能家居的时间等相关数据。根据用户对智能家居设备的操作指令，或用户使用智能家居的时间可以确定用户行为。例如，电视被开启，说明第一用户行为包括看电视；又例如，跑步机被开启10分钟以上，说明第一用户行为包括锻炼，再例如，用户进入书房并开启智能台灯10分钟以上，说明第一用户行为包括看书学习等。

在一些实施例中，智能家居与对应的行为之间的关系可以预设，进一步的，处理设备可以基于智能家居是否使用或者使用情况(时长、模式等)，确定用户的行为。例如，电视打开对应行为“看电视”，跑步机打开对应行为“室内运动”，电饭煲打开对应行为“做饭”等。又例如，电视打开10分钟以上对应行为“看电视”等。

在一些实施例中，第一用户行为的确定方式还包括其他任意可行的确定方式。

步骤220，基于用户的所述第一用户行为，预测用户在当前时间之后的第二用户行为。在一些实施例中，预测模块520执行步骤220。

第二用户行为是指用户在从当前时间开始的未来一段时间内可能会发生的用户行为。

在一些实施例中，第二用户行为的预测可以根据第一用户行为、用户日常作息规律、用户当前时间对智能家居的操作指令等方法进行确定。

在一些实施例中，关于第二用户行为可以基于目标参考行为特征进行预测，具体内容请参见图4的相关说明。

步骤230，基于第一用户行为，对第二用户行为相关的活动空间的环境进行调整。在一些实施例中，控制模块530执行步骤230。

活动空间是指发生用户行为时的所涉及的空间区域范围。活动空间的区域变化由用户行为所决定。例如，当用户在书房看书，则书房为活动空间。又例如，当用户在卧室休息，则卧室为活动空间。

相关的活动空间的环境可以包括活动空间的温度、湿度、灯光、环境音量等。

在一些实施例中，相关的活动空间的环境可以根据用户预设的功能、用户表达的需求、第二用户行为等方式进行调整。

在一些实施例中，相关的活动空间的环境可以通过智能家居自动控制。智能家居可以自动调节温度、湿度、灯光、环境音量等相关的活动空间的环境达到适宜用户发生当前活动的程度。例如，智能空调可以自动开启并设置温度及模式、智能照明系统自动开启并调节灯光类型、智能音箱可以自动播放音频并控制音量等，以将室内温度、亮度、音量等调节到适宜用户活动的程度。

在一些实施例中，相关的活动空间的环境可以在第二用户行为确定后，可以基于规则确定相关的活动空间，并对活动空间的环境进行调节。比如，当第二用户行为确定为睡觉，则将卧室的温度调节至适宜用户睡眠的温度及模式。

在本说明书一些实施例中，通过预测用户当前时间之后的用户行为，提前确定用户可能前往的活动空间，从而提前调节该活动空间的环境，可以缩短用户使用智能家居的等待时间。例如，确定用户在完成烹饪后将进入餐厅就餐，当前体感温度较高，需要较低的温度会更舒适，则可以提前开启餐厅空调的制冷功能，使得用户在进入餐厅开始就餐时即可提前感受到制冷后的环境效果。

在本说明书另一些实施例中，通过对用户的行为信息掌控，对智能家居进行微调，提升用户的使用体验。例如，根据跑步机的使用时间，确定出用户睡前室内跑步时间较长，热量消耗较大，可以适量调高空调温度，避免感冒。

图3是根据本说明书一些实施例所示的获取第一用户行为的示例性示意图。流程300包括步骤310以及步骤320。

步骤310，从预设起始时间开始，获取室内音频信息310-1和/或室内视频信息310-2。在一些实施例中，步骤310可以由获取模块510执行。

室内音频信息310-1是指室内声音的音频。室内音频信息310-1可以包括室内用户声音的音频、用户行为活动的音频、设备运行的音频、声控装置声音的音频等。例如，用户说话的音频、用户打扫卫生的音频、跑步机的音频、电视机的音频、音箱120-1的音频、声控装置120-2的音频等。

室内视频信息310-2是指记录用户行为的视频的相关信息。室内视频信息310-2可以包括视频信息、图像、预设帧数的多张图像、视频的时间点等多种信息。

在一些实施例中，获取模块510通过声控装置和/或监控设备120获取室内音频信息310-1及室内视频信息310-2。

在一些实施例中，获取模块510可以从预设起始时间开始，获取室内音频和/或视频信息(“室内音频信息310-1和/或室内视频信息310-2”的简写，下同)。例如，预设起始时间为17:00，当到达预设起始时间17:00时，获取模块510开始获取室内音频和/或视频信息。

在一些实施例中，室内音频信息310-1可以通过声控装置120-2获取。声控装置120-2可以包括各种类型的声控装置。例如，小度、小爱同学、声控智能软床等。在一些实施例中，室内视频信息310-2可以通过监控设备获取。例如，通过摄像头120-3获取室内视频信息310-2。获取模块510可以获取监控设备中的室内视频信息310-2。

在一些实施例中，获取模块510可以在预设起始时间与当前时间之间的时间段内间隔预设时间段获取室内音频信息310-1及室内视频信息310-2。例如，预设时间段为10分钟，获取模块510可以从起始时间开始每间隔10分钟，获取室内音频和/或视频信息。每次获取的室内音频和/或视频信息可以是预设大小的，例如，室内视频信息310-2为1帧图像等。在一些实施例中，获取模块510可以在预设起始时间至当前时间期间的时间段内间隔预设帧数图像，获取图像信息。例如，预设帧数为10，获取模块510可以每间隔10帧，获取图像信息。以上说明仅为示例，而非限制，获取模块510可以以其他方式间隔获取室内音频和/或视频信息。

步骤320，基于预估模型321处理室内音频和/或视频信息，确定用户的第一用户行为130。在一些实施例中，步骤320可以由获取模块510执行。

预估模型321是指可以预估用户行为的模型。在一些实施例中，预估模型321的类型可以包括神经网络模型、深度神经网络等，模型类型的选择可视具体情况而定。

在一些实施例中，预估模型321的输入可以包括室内音频和/或视频信息等。预估模型321的输出可以包括用户的第一用户行为130。例如，基于预估模型321处理室内视频信息310-2，室内音频信息310-1的特征向量表示室内音频信息310-1来源于电视，确定用户的第一用户行为130为看电视130-2。又例如，基于预估模型321处理室内视频信息310-2，室内视频信息310-2的特征向量表示用户在室内蹬自行车，确定用户的第一用户行为130为室内蹬自行车130-3。

在一些实施例中，预估模型321可以是深度神经网络(Deep Neural Networks，DNN)。

在一些实施例中，可以基于多个训练样本及标签训练得到预估模型321。

在一些实施例中，训练样本包括样本室内音频和/或视频信息。标签为用户的样本用户行为。训练数据可以基于历史数据获取，训练数据的标签可以通过人工标注或自动标注的方式确定。

例如，训练数据的来源是电视棒和/或电视盒时，训练数据的标签可以自动标注为看电视。又例如，通过智能手表可以获取用户的相关信息，进行标注，当智能手表当前记录跑步记步，训练数据的标签可以自动标注为跑步。以上说明仅为示例，而非限制，训练数据的标签可以通过各种方式获取。

在一些实施例中，预估模型321可以包括特征提取层和判断层，特征提取层可以提取用户的室内音频和/或视频信息的特征向量。该用户的室内音频和/或视频信息特征向量被输入判断层，判断层输出用户的第一用户行为130。用户的第一用户行为130可以包括跑步130-1、看电视130-2、室内蹬自行车130-3等。

在一些实施例中，预估模型321可以是单分类或者多分类模型。

在一些实施例中，预估模型321可以有两个，包括第一模型和第二模型。第一模型用于处理音频信息，确定第一用户行为130。第二模型用于处理室内视频信息310-2，确定第一用户行为130。

在一些实施例中，预估模型321可以是一个，该预估模型中的包括两个特征提取层，包括音频特征提取层和视频特征提取层。音频特征提取层可以获取室内音频信息310-1的特征向量。视频特征提取层可以获取室内视频信息310-2的特征向量。该预估模型中包括判断层，将音频特征提取层输出的音频信息的特征向量和室内视频信息310-2的特征向量输入判断层，确定第一用户行为130。

在一些实施例中，预估模型321的特征提取层部署于声控装置和/或监控设备120中，判断层部署于服务器中。声控装置和/或监控设备120收集到室内音频和/或视频信息后，输入本地的特征提取层，提取得到室内音频和/或视频信息的特征向量。声控装置和/或监控设备120将提取的室内音频和/或视频信息的特征向量传输给服务器110，服务器110将接收的特征向量输入到判断层，判断层输出用户的第一用户行为130。在一些实施例中，判断层也可以部署于声控装置和/或监控设备120中，声控装置和/或监控设备120通过提取的室内音频和/或视频信息的特征向量输入到判断层，判断层输出用户的第一用户行为130并传输给服务器110。

本说明书一些实施例中，所涉及的通过特征提取层和判断层，传输到服务器的不是用户的室内音频和/或视频信息等原始数据，而是在本地特征提取层对原始数据进行处理后提取的特征数据，可以防止声控装置和/或监控设备的隐私信息泄露，保护用户的隐私。

本说明书一些实施例中，在智能家居所产生的数据与用户行为可能并非为一一对应的关系时，或者存在用户误操作智能家居的情况下，通过预估模型321处理室内音频和/或视频信息，可以基于用户实际发生的行为更加准确地获取用户的第一用户行为。

图4是根据本说明书一些实施例所示的预测第二用户行为的示例性示意图。流程400包括步骤410以及步骤420。

步骤410，获取用户的实际行为特征411和用户的一个或多个参考行为特征412，实际行为特征411可以通过第一用户行为130确定，一个或多个参考行为特征412可以通过用户的历史行为确定。在一些实施例中，步骤410可以由预测模块520执行。

实际行为特征411是指可以表示预设起始时间至当前时间期间内用户的实际行为构成的特征向量。

在一些实施例中，实际行为特征411的向量表示方式有多种。例如，特征向量(a，b，c)可以表示用户的实际行为特征411，特征向量中的不同元素可以表示不同的实际行为。a可以表示看电视；b可以表示做饭；c可以表示室内跑步。特征向量(a，b，c)表示用户在预设起始时间至当前时间期间内进行了看电视、做饭和室内跑步的行为。

在一些实施例中，实际行为特征411可以用不同的数值表示期间内用户是否进行了各种行为。例如，用1表示进行了某种行为，0表示未进行某种行为。示例的，特征向量(1，1，1，0)可以表示用户的实际行为特征411，第1-4个元素分别代表了看电视、做饭、室内跑步和听音乐，则该特征向量代表用户在预设起始时间至当前时间期间内进行了看电视、做饭和室内跑步的行为，未进行听音乐的行为。

在一些实施例中，预测模块520可以通过第一用户行为130确定实际行为特征411。如前述示例所述，若用户的第一用户行为130包括看电视、做饭和室内跑步，实际行为特征411为(1，1，1，0)。

在一些实施例中，实际行为特征向量的元素可以包括当前时间的时间类型、用户在预设起始时间至当前时间之间的期间内是否进行了各种行为。

时间类型是指被赋予一定含义的时间区间。在一些实施例中，时间类型的含义和时间区间的确定可以根据用户的作息习惯等进行预先设置。例如，根据某一用户的个人作息习惯进行预先设置。又例如，根据物联网平台上的所有用户的作息习惯进行预先设置。

在一些实施例中，时间类型可以通过数值表示。例如，数值1表示的时间类型为工作，数值2表示的时间类型为睡觉，数值3表示的时间类型为吃饭，数值4表示的时间类型为娱乐等。该表示时间类型的数值可以作为构建特征向量的组成元素之一。例如，数值1表示的时间类型为工作或学习时间，对应的时间区间为08:00-12:00、14:00-17:00；数值2表示的时间类型为睡觉时间，对应的时间区间为22:00-24:00、00:00-06:00；数值3表示的时间类型为吃饭时间，对应的时间区间为06:00-08:00、12:00-14:00、17:00-19:00；数值4表示的时间类型为娱乐时间，对应的时间区间为19:00-22:00。用户所处的当前时间为19:10，该当前时间所属的时间段为19:00-22:00之间，时间类型为4。

在一些实施例中，可以对一天24h划分时间区间，并对各个时间区间用数值表示类型。例如，数值1表示07:00-08:00，数值2表示08:00-09:00，数值3表示09:00-12:00；数值4表示12:00-13:00；数值5表示13:00-14:00；数值6表示14:00-17:00；数值7表示17:00-18:00；数值8表示18:00-19:00；数值9表示19:00-20:00等。用户所处的当前时间为19:10，该当前时间所属的时间段为19:00-20:00之间，时间类型为9。通过对24小时进行更为细粒度的划分，使得时间类型能够体现用户可能发生行为变化的时间段，使得后续匹配时更为精确。可以理解的，上述时间划分也可以通过对平台用户数据的统计确定。换言之，统计用户行为发生变化的时间段，作为时间划分的基础。

在一些实施例中，实际行为特征向量第1个元素代表当前时间所处的时间类型；第2个及其之后的元素代表用户在预设起始时间至当前时间期间内是否进行了元素对应行为。例如，当前时间为19:10，在预设起始时间17:00-19:10之间第一用户行为130包括看电视、做饭，则实际行为特征向量为(9，1，1，0，0)。其中，第1个元素为时间类型，第2-5个元素分别代表了看电视、做饭、室内跑步和听音乐。

参考行为特征412是指可以表示用户的历史行为的特征向量。通过参考行为特征412可以反映出用户生活规律的特征。

在一些实施例中，参考行为特征412可以通过用户的历史行为确定。在一些实施例中，参考行为特征412可以直接从存储设备中获取。在一些实施例中，用户的多种历史行为可以通过一个或多个参考行为特征412进行表示。

在一些实施例中，参考行为特征412可以通过同一个用户的历史行为构建的历史行为特征向量确定。历史行为特征向量可以是一个或多个特征向量。在一些实施例中，可以通过聚类的方式获取参考行为特征412。

在一些实施例中，预测模块520可以获取用户的每个历史行为发生的时间点，然后获取预设初始时间到该时间点的期间内用户发生过的历史行为。通过结合发生的时间点所处的时间类型和预设初始时间到该时间点的期间内用户发生过的历史行为，构建一个或多个历史行为特征向量。例如，用户的历史行为“跑步”发生的时间点为19:50，预设初始时间为19:00，预设初始时间19:00到该时间点19:50的期间内用户的历史行为为看电视，时间点19:50所处的时间类型为9，则历史行为特征向量为(9，1，0，0，0)，与上述类似，第2-5个元素分别代表看电视、做饭、室内跑步和听音乐。

在一些实施例中，用户发生的每个历史行为会对应一个或多个历史行为特征向量。如上述的，“跑步”对应历史行为特征向量为(9，1，0，0，0)。若在其他时间点发生了“跑步”则可以构建对应的历史行为特征向量(如，(3，1，0，0，0))，或者即使在相同或相近时间点发生了“跑步”，但是预设时间到发生的时间点期间发生过的历史行为不同，也会构建一个新的历史行为特征向量(如，(9，1，0，1，0))。

在一些实施例中，对用户发生的每个历史行为对应的历史行为特征向量进行聚类，通过聚类算法得到一个或多个聚类中心。将一个或多个聚类中心作为参考行为特征412。例如，用户发生的历史行为A对应的历史行为特征向量聚类得到a1、a2和a3，共3个聚类中心，将该三个聚类中心作为参考行为特征412。用户发生的历史行为B对应的历史行为特征向量聚类得到b1和b2，共2个聚类中心，将该两个聚类中心作为参考行为特征412。则参考行为特征412包括a1、a2、a3、b1、b2。

在一些实施例中，聚类算法可以包括K-Means(K均值)聚类、均值漂移聚类、基于密度的聚类方法(DBSCAN)、用高斯混合模型(GMM)的最大期望(EM)聚类、凝聚层次聚类、图团体检测(Graph Community Detection)等。

在一些实施例中，可以建立参考行为特征412与发生过的历史行为之间的对应关系。如前所述，参考行为特征a1、a2和a3对应历史行为A。参考行为特征b1和b2对应历史行为B。

在一些实施例中，预测模块520可以通过室内音频和/或视频信息获取用户的历史行为。例如，预测模块520可以从存储设备160中获取其存储的过去一段时间的室内音频和/或视频信息中获取用户的历史行为。在一些实施例中，预测模块520可以通过用户使用的智能家居数据获取用户的历史行为。例如，预测模块520可以从存储设备中的存储的智能家居数据获取用户的历史行为。在一些实施例中，关于通过室内音频和/或视频信息获取用户的历史行为，具体内容请参见图3的相关描述。关于通过用户使用的智能家居数据获取用户的历史行为，具体内容请参见图2的相关描述。

本说明书一些实施例中所涉及的通过聚类的方式确定用户的参考行为特征412，可以结合用户本身的特点，在较低数据量的要求下，更准确地确定用户的习惯。

步骤420，将实际行为特征411与一个或多个参考行为特征412进行匹配，确定一个或多个匹配结果421。在一些实施例中，步骤420可以由预测模块520执行。

匹配结果421是指将实际行为特征411和参考行为特征412进行对比的结果。例如，匹配结果421可以用是或否两种形式来表示。又例如，匹配结果421可以用不同的数值或者百分比来表示，表示实际行为特征411和参考行为特征412不同的对比结果。在一些实施例中，匹配结果421可以通过带有标识的一个或多个参考行为特征412来表示。例如，带有相似度标识的一个或多个参考行为特征412。

在一些实施例中，可以通过获取实际行为特征411和参考行为特征412的相似度进行匹配。例如，实际行为特征411和参考行为特征412分别用特征向量进行表示，计算多个参考行为特征向量和实际行为特征向量的向量距离，基于向量距离确定实际行为特征411和参考行为特征412的相似度。其中，向量距离可以包括余弦距离、欧式距离、或汉明距离等。在一些实施例中，可以将实际行为特征411与通过聚类的方式构建的参考行为特征412进行对比。例如，实际行为特征411为y，参考行为特征a1、a2、a3、b1、b2进行对比，将y与a1、a2、a3、b1、b2分别进行比对。在一些实施例中，实际行为特征411与一个或多个参考行为特征412还可以通过其他方式进行匹配，本实施例在此不做限制。

在一些实施例中，可以通过实际行为特征411和一个或多个参考行为特征412进行比对，确定匹配结果421。在一些实施例中，可以通过实际行为特征411和一个或多个参考行为特征412的相似度确定一个或多个匹配结果421。

步骤430，将一个或多个匹配结果421中满足预设条件的匹配结果确定为目标参考行为特征431。在一些实施例中，步骤430可以由预测模块520执行。

预设条件可以是实际行为特征411与参考行为特征412的匹配结果421需要满足的各种条件。预设条件可以是相似度(百分比或者数值)。例如，预设条件可以为相似度大于阈值90％。又例如，预设条件可以为相似度排名为前N名，N为正整数，如1、2、3等。需要说明的是，以上举例仅为示例，而非限制。

在一些实施例中，满足预设条件的匹配结果421可以是一个或多个。

目标参考行为特征431是指匹配结果满足预设条件的参考行为特征。

在一些实施例中，预测模块520可以将一个或多个匹配结果421中满足预设条件的匹配结果421确定为目标参考行为特征431。例如，若预设条件是否大于阈值90％，可以将匹配结果421中大于阈值90％的确定为目标参考行为特征431。

步骤440，基于目标参考行为特征431，确定第二用户行为140。在一些实施例中，步骤440可以由预测模块520执行。

在一些实施例中，预测模块520基于目标参考行为特征431，确定第二用户行为140。如前所述，参考行为特征412与用户发生的历史行为之间存在对应关系。

在一些实施例中，可以将目标参考行为特征431对应的历史行为确定为第二用户行为140。例如，在a1、a2、a3、b1、b2中，a2与y之间的匹配结果满足预设条件，目标参考行为特征431为a2，a2对应的历史行为B，则历史行为B确定为用户当前时间之后的第二用户行为140。

在一些实施例中，用户的活动时间可能存在小范围的波动性。例如，用户原先是16:00进行行为A，现在由于用户进行行为A之前可能去上厕所，用户16：30进行行为A。本说明书一些实施例中，所涉及的通过实际行为构建实际行为特征向量，可以考虑时间的因素，还可以考虑用户的实际行为因素，可以提高预测用户行为的准确性。同时，考虑到用户活动的时间的小范围波动性，在特征向量中增加时间类型的元素，进一步提高了预测用户行为的适用性。

本说明书一些实施例中，通过结合参考行为特征匹配确定第二用户行为，可以提高预测用户行为的准确性，提升用户的使用体验。

应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对上述流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图5是根据本说明书一些实施例所示的智能家居控制系统的模块图。

在一些实施例中，智能家居控制系统模块500可以包括获取模块510、预测模块520和控制模块530。

在一些实施例中，获取模块510可以用于获取用户在预设起始时间至当前时间期间内的第一用户行为。

在一些实施例中，预测模块520可以用于基于用户的第一用户行为，预测用户在当前时间之后的第二用户行为。

在一些实施例中，控制模块530可以用于基于第一用户行为，对第二用户行为相关的活动空间的环境进行调整。

在一些实施例中，获取模块510还可以用于从预设起始时间开始，获取室内音频和/或视频信息，基于预估模型321处理室内音频和/或视频信息，确定用户的第一用户行为。

在一些实施例中，获取模块510还可以用于基于用户在期间内使用的智能家居数据，确定用户的第一用户行为。

在一些实施例中，预测模块520还可以进一步用于获取用户的实际行为特征和用户的一个或多个参考行为特征，实际行为特征可以基于第一用户行为确定，一个或多个参考行为特征可以基于用户的历史行为确定；将实际行为特征与一个或多个参考行为特征进行匹配，确定一个或多个匹配结果；将一个或多个匹配结果中满足预设条件的匹配结果确定为目标参考行为特征；基于目标参考行为特征，确定第二用户行为。

应当理解，图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图5中披露的获取模块510、预测模块520和控制模块530可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (6)

1.一种智能家居控制方法，其特征在于，所述方法包括：

从预设起始时间开始，获取室内音频信息和室内视频信息，所述预设起始时间为历史时间；

基于预估模型处理所述室内音频信息和室内视频信息，确定用户在所述预设起始时间至当前时间期间内的第一用户行为；所述第一用户行为为历史用户行为，所述室内音频信息包括所述用户的声音、用户行为活动的声音、家居设备运行的声音、声控装置运行的声音，所述室内视频信息包括记录有用户行为的视频；所述预估模型为神经网络模型，所述预估模型包括音频特征提取层、视频特征提取层和判断层；所述音频特征提取层部署于声控装置中，所述视频特征提取层部署于监控设备中，所述判断层部署于服务器中；所述音频特征提取层的输入包括所述室内音频信息，输出包括所述室内音频信息的特征向量；所述视频特征提取层的输入包括所述室内视频信息，输出包括所述室内视频信息的特征向量；所述判断层的输入包括所述室内音频信息的特征向量、所述室内视频信息的特征向量，输出包括所述第一用户行为；其中，所述室内音频信息的特征向量由所述声控装置传输给所述服务器中的所述判断层，所述室内视频信息的特征向量由所述监控设备传输给所述服务器中的所述判断层；

基于所述用户的所述第一用户行为，预测所述用户在所述当前时间之后的第二用户行为，包括：

获取所述用户的实际行为特征和所述用户的至少一个参考行为特征，所述实际行为特征基于所述第一用户行为确定，所述至少一个参考行为特征基于所述用户的历史行为确定；

将所述实际行为特征与所述至少一个参考行为特征进行匹配，确定至少一个匹配结果；

将所述至少一个匹配结果中满足预设条件的匹配结果确定为目标参考行为特征；

基于所述目标参考行为特征，确定所述第二用户行为；

基于所述第一用户行为，对所述第二用户行为相关的活动空间的环境进行调整；所述相关的活动空间为所述第二用户行为所涉及的空间区域范围，所述相关的活动空间的区域范围可变化，所述相关的活动空间的区域变化基于所述第二用户行为确定。

2.如权利要求1所述的智能家居控制方法，所述方法还包括：

基于所述用户在所述期间内使用的智能家居数据，确定所述用户的所述第一用户行为。

3.一种智能家居控制系统，其特征在于，所述系统包括获取模块、预测模块和控制模块；

所述获取模块，用于：

从预设起始时间开始，获取室内音频信息和室内视频信息，所述预设起始时间为历史时间；

基于预估模型处理所述室内音频信息和室内视频信息，确定用户在所述预设起始时间至当前时间期间内的第一用户行为；所述第一用户行为为历史用户行为，所述室内音频信息包括所述用户的声音、用户行为活动的声音、家居设备运行的声音、声控装置运行的声音，所述室内视频信息包括记录有用户行为的视频；所述预估模型为神经网络模型，所述预估模型包括音频特征提取层、视频特征提取层和判断层；所述音频特征提取层部署于声控装置中，所述视频特征提取层部署于监控设备中，所述判断层部署于服务器中；所述音频特征提取层的输入包括所述室内音频信息，输出包括所述室内音频信息的特征向量；所述视频特征提取层的输入包括所述室内视频信息，输出包括所述室内视频信息的特征向量；所述判断层的输入包括所述室内音频信息的特征向量、所述室内视频信息的特征向量，输出包括所述第一用户行为；其中，所述室内音频信息的特征向量由所述声控装置传输给所述服务器中的所述判断层，所述室内视频信息的特征向量由所述监控设备传输给所述服务器中的所述判断层；

所述预测模块，用于基于所述用户的所述第一用户行为，预测所述用户在所述当前时间之后的第二用户行为，包括：

获取所述用户的实际行为特征和所述用户的至少一个参考行为特征，所述实际行为特征基于所述第一用户行为确定，所述至少一个参考行为特征基于所述用户的历史行为确定；

将所述实际行为特征与所述至少一个参考行为特征进行匹配，确定至少一个匹配结果；

将所述至少一个匹配结果中满足预设条件的匹配结果确定为目标参考行为特征；

基于所述目标参考行为特征，确定所述第二用户行为；

所述控制模块，用于基于所述第一用户行为，对所述第二用户行为相关的活动空间的环境进行调整；所述相关的活动空间为所述第二用户行为所涉及的空间区域范围，所述相关的活动空间的区域范围可变化，所述相关的活动空间的区域变化基于所述第二用户行为确定。

4.如权利要求3所述的智能家居控制系统，其特征在于，所述获取模块进一步用于：

基于所述用户在所述期间内使用的智能家居数据，确定所述用户的所述第一用户行为。

5.一种智能家居控制装置，包括处理器，其特征在于，所述处理器用于执行权利要求1~2中任一项所述的智能家居控制方法。

6.一种计算机可读存储介质，所述存储介质存储计算机指令，其特征在于，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1~2任一项所述的智能家居控制方法。