CN114509953A - 设备控制方法、计算机程序产品、控制设备和存储介质 - Google Patents

Abstract

本申请提出了一种设备控制方法、计算机程序产品、控制设备和存储介质。其中，设备控制方法，包括：获取至少一张图像；根据至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征；根据与交互行为特征对应的第一控制信息，控制第一电器设备；其中，室内对象包括非电器设备和/或第二电器设备，第二电器设备与第一电器设备相同或不同。本申请通过图像中的人体图像和室内对象图像，来预测人体需要室内对象执行的操作，进而实现人体行为理解与电器设备联动的目的，使电器设备能够更加智能化的为用户所用，提升用户的智能生活品质。

Description

设备控制方法、计算机程序产品、控制设备和存储介质

技术领域

本申请涉及电器控制技术领域，具体而言，涉及一种设备控制方法、计算机程序产品、控制设备和非易失性可读存储介质。

背景技术

相关技术中，能够基于产品逻辑进行简单联动，例如，有人按门铃，就会有消息发送到手机上，或者检测到家中有陌生人出现，则发送相关视频提醒用户。但是该方法，对电器设备的控制未充分利用人和物的交互关系，从而忽略了可能存在的场景理解。

如何将人物交互关系充分与家居背景结合，提高场景理解能力成为亟需解决的问题。

发明内容

本申请旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本申请的一个方面在于提出了一种设备控制方法。

本申请的另一个方面在于提出了一种计算机程序产品。

本申请的再一个方面在于提出了一种控制设备。

本申请的又一个方面在于提出了一种非易失性可读存储介质。

有鉴于此，根据本申请的一个方面，提出了一种设备控制方法，包括：获取至少一张图像；根据至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征；根据与交互行为特征对应的第一控制信息，控制第一电器设备；其中，室内对象包括非电器设备和/或第二电器设备，第二电器设备与第一电器设备相同或不同。

本申请提供的设备控制方法，通过安装在家中的摄影或摄像装置获取至少一张图像，其中，该图像可以为室内图像或室外图像，该图像包括人体图像和一个或多个室内对象图像。根据人体图像以及室内对象图像，来预测人体对一个或多个室内对象的交互行为特征，然后，根据交互行为特征对应的第一控制信息来控制第一电器设备。其中，室内对象包括室内场景内的非电器设备或第二电器设备，第二电器设备与第一电器设备可以为同一设备或者为不同设备。当第二电器设备与第一电器设备不同时，第二电器设备的工作状态可以不进行调整，而是调整第一电器设备的工作状态。

本申请通过图像中的人体图像和室内对象图像，来预测人体需要室内对象执行的操作，进而实现人体行为理解与电器设备联动的目的，使电器设备能够更加智能化的为用户所用，提升用户的智能生活品质。

并且，本申请能够实现室内的电器设备的联动控制，相对于现有技术，并不限于简单重复的几个场景，使用更加灵活。

根据本申请的上述设备控制方法，还可以具有以下附加技术特征：

在上述技术方案中，在人体对室内对象的交互行为特征包括多种的情况下，根据与交互行为特征对应的第一控制信息，控制第一电器设备，包括：分别确定与多种交互行为特征对应的多个第一控制信息；根据目标信息，在多个第一控制信息中确定目标控制信息；根据目标控制信息，控制第一电器设备。

相关技术中，是一对一的场景理解，即通过图像仅识别出一种行为，很容易造成行为理解不够充分、不准确而导致的控制不准确的问题。

在该技术方案中，确定的人体对室内对象的交互行为特征可以为多种，例如，人对电视的交互行为可以为人正在看电视，也可以为人准备看电视，实现了多视角的行为分析。

当人体与室内对象在同一场景下，存在多种交互行为时，分别确定与多种交互行为特征对应的多个第一控制信息，即人体与多个室内对象会存在多种交互行为特征，多种的交互行为特征分别对应多个第一控制信息。之后，根据目标信息，在多个第一控制信息中确定目标控制信息，进而，根据目标控制信息来控制第一电器设备。

本申请实施例，确定出多种人体对室内对象的交互行为特征，并通过根据目标信息，在多个交互行为特征对应的多个第一控制信息中确定目标控制信息，进而控制第一电器设备执行用户需要的操作，实现了多视角的行为分析，将人体对室内对象的所有可能的交互行为都考虑到，进而达到人体行为理解与电器设备联动的目的，提高联动控制的准确性、智能性。

在上述任一技术方案中，目标信息包括历史控制信息；根据目标信息，在多个第一控制信息中确定目标控制信息，包括：根据历史控制信息，在多个第一控制信息中确定目标控制信息。

在该技术方案中，目标信息包括历史控制信息，历史控制信息即相同或相似的室内场景下用户的历史控制记录。

当人体对室内对象存在多种交互行为时，根据历史控制信息在多个第一控制信息中确定目标控制信息。通过根据历史控制信息来确定目标控制信息可以很方便又很准确地理解人体行为，实现人体行为与家居联动的目的，提升目标控制信息确定的准确性和效率。

具体地，历史控制信息可以为当前时间对应的历史信息。

在上述任一技术方案中，目标信息包括当前第一电器设备的当前状态；根据目标信息，在多个第一控制信息中确定目标控制信息，包括：根据当前状态，在多个第一控制信息中确定目标控制信息。

在该技术方案中，目标信息包括当前第一电器设备的当前状态，电器设备可以具有不同的状态，例如，开启状态、关闭状态、与某种模式运行的状态。

当人体对室内对象存在多种交互行为时，根据第一电器设备的当前状态，在多个第一控制信息中确定目标控制信息，进而实现对第一电器设备的控制。

通过上述方式，实现根据第一电器设备的当前状态，在多个第一控制信息中确定出唯一的控制信息，进而控制第一电器设备，保证对第一电器设备控制的准确性。

在上述任一技术方案中，根据目标信息，在多个第一控制信息中确定目标控制信息，包括：发出控制询问请求；根据用户对控制询问请求的反馈信息，在多个第一控制信息中确定目标控制信息，其中，目标信息包括反馈信息。

在该技术方案中，当人体对室内对象存在多种交互行为时，可以向用户发出控制询问请求，然后根据用户对控制询问请求的反馈，在多个第一控制信息中确定目标控制信息，其中，目标信息即为用户的反馈信息。

通过向用户发出控制询问请求，获取到用户的反馈信息后，可以准确的确定目标控制信息，进而根据目标控制信息来控制第一电器设备执行相应操作，提高了用户的可选择性，保证对第一电器设备的控制能够满足用户需求。

在上述任一技术方案中，在室内对象为非电器设备的情况下，或者在室内对象为第二电器设备，且第二电器设备与第一电器设备不同的情况下，根据与交互行为特征对应的第一控制信息，控制第一电器设备，包括：确定与交互行为特征对应的第一控制信息，其中第一控制信息包括设备信息以及与设备信息相对应的运行参数；根据设备信息，确定第一电器设备；向第一电器设备发送运行参数，以控制第一电器设备按照运行参数运行。

在该技术方案中，当室内对象为非电器设备时，或者室内对象为第二电器设备，但是第二电器设备不同于第一电器设备时，也即，基于与用户产生交互行为的对象(非电器设备或第二电器设备)，间接控制第一电器设备。

此时，确定与交互行为特征对应的第一控制信息，该第一控制信息中包含设备信息和运行参数，通过设备信息来确定待控制的第一电器设备，确定第一电器设备之后，向第一电器设备发送运行参数，以控制第一电器设备按照接收到的运行参数运行。

通过确定与交互行为特征对应的第一控制信息，来控制第一电器设备按照接收到的运行参数运行。实现了在室内对象为非电器设备或者室内对象为第二电器设备，但第二电器设备与第一电器设备不同两种情况下，可以准确地确定需要控制的第一电器设备，并控制第一电器设备按照接收到的运行参数运行。

在上述任一技术方案中，根据至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征，包括：在图像中包括多个室内对象图像的情况下，识别人体与每个室内对象之间的相对位置信息；根据相对位置信息，在多个室内对象图像中确定目标室内对象图像；根据人体图像和目标室内对象图像，预测人体对目标室内对象的交互行为特征。

在该技术方案中，当图像中包括多个室内对象图像时，通过识别人体与每个室内对象之间的相对位置信息，然后根据相对位置信息，来确定目标室内对象图像。然后根据人体图像与目标室内对象图像来预测人体对目标室内对象的交互行为特征，人体对室内对象的交互行为特征即用户想要目标室内对象执行的操作。其中，相对位置信息包括人体与室内对象之间的位置以及人体对室内对象的朝向中的至少一项。

通过识别人体与室内对象之间的相对位置信息，来确定目标室内对象，例如，将与用户距离最近的对象或者用户面向的对象作为目标室内对象，进而预测人体对目标室内对象的交互行为特征。

本申请提供了在图像中存在多个室内对象情况下，确定目标室内对象的方法，更精确地确定出用户交互的对象，从而避免在多个对象时出现控制混乱的问题，能够实现更加精确的设备控制。

在上述任一技术方案中，根据至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征，包括：在图像中包括多个人体图像的情况下，分别识别多个人体图像中的人体特征信息；根据人体特征信息，在多个人体图像中确定目标人体图像；根据目标人体图像和室内对象图像，预测目标人体对一个或多个室内对象的交互行为特征。

在该技术方案中，在图像中包括多个人体图像的情况下，即图像中出现了多个人，通过分别识别多个人体图像中的人体特征信息，然后根据人体特征信息确定目标人体图像。根据目标人体图像和室内对象图像来预测目标人体对室内对象的交互行为特征，人体对室内对象的交互行为特征即用户想要目标室内对象执行的操作。其中，人体特征信息包括以下至少一项：人体身高、体形以及人体实际位置与摄像头之间的距离。

通过分别识别多个人体图像中的人体特征信息来确定目标人体图像，人体特征信息包括人体身高、体形、人体实际位置与摄像头之间的距离中的任一项，进而预测目标人体对室内对象的交互行为特征。本申请提供了室内场景图像中存在多个人情况下，确定目标人体图像的方法，更精确地确定出目标人体，从而避免在多个人体时出现控制混乱的问题，能够实现更加精确的设备控制。

在上述任一技术方案中，根据与交互行为特征对应的第一控制信息，控制第一电器设备，包括：获取环境信息；根据环境信息和与交互行为特征对应的第一控制信息，控制第一电器设备。

在该技术方案中，获取环境信息，环境信息为室内场景的环境信息，包括室内的温度和空气的湿度等信息。获取环境信息之后，根据环境信息和与交互行为特征对应的第一控制信息，控制第一电器设备。

通过获取室内场景中的环境信息，将与交互行为特征对应的第一控制信息与环境信息相结合，来控制第一电器设备，使电器设备更加智能化的为用户所用，提升用户的智能生活品质。

在上述任一技术方案中，在获取至少一张图像之前，还包括：建立用于预测人体对一个或多个室内对象的交互行为特征的预测模型。

在该技术方案中，在获取至少一张图像之前建立用于预测人体对室内对象的交互行为特征的预测模型。

通过预先建立用于预测人体对室内对象的交互行为特征的预测模型。根据预测模型来对人体对室内对象的交互行为特征进行预测。可以更有效地根据人体对室内对象的交互行为特征实现对电器设备的控制，实现人体行为理解与电器设备联动的目的。

根据本申请的另一个方面，提出了一种计算机程序产品，计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如上述任一技术方案的设备控制方法的步骤。

本申请提供的计算机程序产品，被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该计算机程序产品包括上述任一技术方案的设备控制方法的全部有益效果。

根据本申请的再一个方面，提出了一种控制设备，包括：存储器，存储有程序或指令；处理器，处理器执行程序或指令时实现上述任一项的设备控制方法的步骤。

本申请提供的控制设备包括存储器和处理器。其中，存储器用于存储程序或指令；处理器执行程序或指令时实现上述任一项的设备控制方法的步骤，因而包括设备控制方法的全部有益效果。

根据本申请的又一个方面，提出了一种非易失性可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的图设备控制方法的步骤。

本申请提供的非易失性可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该非易失性可读存储介质包括上述任一技术方案的设备控制方法的全部有益效果。

本申请的附加方面和优点将在下面的描述部分中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本申请实施例的设备控制方法的流程示意图之一；

图2示出了本申请实施例的设备控制方法的流程示意图之二；

图3示出了本申请实施例的设备控制方法的流程示意图之三；

图4示出了本申请实施例的设备控制方法的流程示意图之四；

图5示出了本申请实施例的设备控制方法的流程示意图之五；

图6示出了本申请实施例的人物交互网络的示意图；

图7示出了本申请实施例的设备控制装置的示意框图；

图8示出了本申请实施例的控制设备的示意框图；

图9示出了本申请实施例的控制系统的示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的设备控制方法、设备控制装置、控制设备和非易失性可读存储介质进行详细地说明。

实施例1

本申请实施例，提出一种设备控制方法，如图1所示，控制方法包括：

步骤102，获取至少一张图像；

步骤104，在至少一张图像中，识别出人体图像和一个或多个室内对象图像，以及基于人体图像以及一个或多个室内对象图像，判定人体对一个或多个室内对象的交互行为特征；

步骤106，确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制。

其中，室内对象包括非电器设备和/或第二电器设备，第二电器设备与第一电器设备可以是相同的设备，也可以是不同的设备。

本申请提供的设备控制方法，通过安装在家中的摄影或摄像装置获取至少一张图像，其中，该图像可以为室内图像或室外图像，该图像包括一个或多个室内对象图像和人体图像。根据人体图像以及室内对象图像，来预测人体对一个或多个室内对象交互行为的特征，然后，根据与交互行为特征相对应的第一控制信息来控制第一电器设备。

其中，室内对象包括室内场景内的非电器设备或第二电器设备，第二电器设备与第一电器设备可以为同一设备或者为不同设备。当第二电器设备与第一电器设备不同时，第二电器设备的工作状态可以不进行调整，而是调整第一电器设备的工作状态。

本申请通过图像中的人体图像和室内对象图像，来预测人体需要室内对象执行的操作，进而实现人体行为理解与电器设备联动的目的，使电器设备能够更加智能化的为用户所用，提升用户的智能生活品质。

并且，本申请能够实现室内的电器设备的联动控制，相对于现有技术，并不限于简单重复的几个场景，使用更加灵活。

示例性地，用户可在家中安装多个摄影或摄像装置，多视角的获取室内场景图像，并对摄影或摄像装置配置人物追踪功能，保证摄像头可以跟随用户转动。

在实际的应用中，当获取的图像中包括人和电视时，交互行为特征可以是正在看电视或者是将要打开电视。

进一步地，当预测到交互行为特征为用户将要打开电视时，实际需要控制的第一电器和与用户产生交互行为的第二电器相同。这时，打开电视为第一控制信息，根据将要打开电视的交互行为特征相对应的第一控制信息，来控制电视打开，这样即可实现交互行为预测及电视的联动智能控制。

进一步地，同样是的图像中包括人和电视时，此时交互行为为用户正在看电视。如果室内光线较亮，电视画面有些反光，则预测到需要控制窗帘拉下来，将室内的光线调暗，这即是第一电器设备和第二电器设备不同的情况，也即实际需要控制的第一电器和与用户产生交互行为的第二电器相同，此时电视为第二电器设备，窗帘为第一电器设备。则控制窗帘拉上，以降低室内的光线，满足用户更好的看电视体验。

示例性地，当获取到的图像中包括人和水杯时，水杯为非电器设备，即图像包括人体图像和非电器设备图像。通过上述图像预测到用户准备喝水，这时第一电器设备为饮水机，根据准备喝水的交互行为特征相对应的第一控制信息，对饮水机进行控制(例如调整水温)，从而满足用户接水的需要。

进一步地，第一电器设备或第二电器设备包括以下任一项：电视、电磁炉、饮水机、灯、窗帘、电脑、空调、油烟机、电饭煲。

在该实施例中，第二电器设备或第一电器设备包括工作和家居中常用的各种家用电器，可以根据不同的家居和工作环境，对第二电器设备或第一电器设备进行增加或减少。假如，用户新买了电烤箱，可以在第二电器设备或第一电器设备中添加电烤箱。以便于能够更准确的预测用户对室内对象中电器设备的交互行为特征。

进一步地，非电器设备包括以下任一项：沙发、杯子、书、床、椅子、扫把。

在该实施例中，非电器设备包括以下任一项：床、杯子、沙发、书、椅子、扫把。根据不同的家居和工作环境可以对非电器设备进行增加或减少。例如，用户新买了晾衣架，可以在非电器设备中添加晾衣架，以便于更准确的预测人体对室内对象中非电器设备的交互行为特征。

实施例2

在上述实施例中，如图2所示，在人体对室内对象的交互行为特征包括多种的情况下，根据与交互行为特征对应的第一控制信息，控制第一电器设备，控制方法包括：

步骤202，获取至少一张图像；

步骤204，在至少一张图像中，识别出人体图像和一个或多个室内对象图像，以及基于人体图像以及室内对象图像，判定人体对一个或多个室内对象的交互行为特征；

步骤206，分别确定与每一种交互行为特征对应的第一控制信息；

步骤208，获取目标信息，在多个第一控制信息中，基于目标信息确定出目标控制信息；

步骤210，根据目标控制信息，对第一电器设备进行控制。

相关技术中，是一对一的场景理解，即通过图像仅识别出一种行为，很容易造成行为理解不够充分、不准确而导致的控制不准确的问题。

在该实施例中，确定的人体对室内对象的交互行为特征可以为多种，例如，人对电视的交互行为可以为人正在看电视，也可以为人准备看电视，实现了多视角的行为分析。

当人体与室内对象在同一场景下，存在多种交互行为时，分别确定和多种交互行为特征相对应的多个第一控制信息，即人体与室内对象会存在多种交互行为特征，多种的交互行为特征分别对应多个第一控制信息。之后，根据目标信息，从多个第一控制信息之中，确定目标控制信息，进而，根据目标控制信息来控制第一电器设备。

本申请实施例，确定出多种人体对于室内对象的交互行为，并通过根据目标信息，从多个交互行为特征对应的多个第一控制信息之中确定目标控制信息，进而控制第一电器设备执行用户需要的操作，实现了多视角的行为分析，将人体对室内对象的所有可能的交互行为都考虑到，进而达到人体行为理解与电器设备联动的目的，提高联动控制的准确性、智能性。

示例性的，当获取的图像中包括人和笔记本电脑时，交互行为特征可以是正在看笔记本电脑前工作或者是将要打开笔记本电脑。

进一步地，当预测到交互行为特征为用户将要打开笔记本电脑时，笔记本电脑即是第一电器也是第二电器，这时，打开笔记本电脑为第一控制信息，根据该第一控制信息，来控制笔记本电脑打开，实现了用户想要打开笔记本电脑的交互行为预测及与笔记本电脑的联动智能控制。

另一种交互行为特征的情况，同样是获取的图像中包括笔记本电脑和人时，电脑已经打开，用户正在看电脑前工作，但夜深了，室内温度有些低，预测到用户想要打开空调，将室内的温度升高，这时，笔记本电脑是第二电器设备，空调是第一电器设备。根据升高室内温度对应的第一控制信息，调节空调，将室温升高，以使用户在更加温暖的环境下工作。

实施例3

在上述任一实施例中，目标信息中可以包括历史控制信息；在多个第一控制信息中，基于目标信息确定出目标控制信息的步骤，具体包括：在多个第一控制信息中，根据历史控制信息确定目标控制信息。

在该实施例中，目标信息具体包括历史控制信息，历史控制信息即相同或相似的室内场景下用户的历史控制记录。

当人体对室内对象存在多种交互行为时，根据历史的控制信息从多个第一控制信息之中确定目标控制信息。通过根据历史控制信息来确定目标控制信息可以很方便又很准确地理解人体行为，实现人体行为与家居联动的目的，提升目标控制信息确定的准确性和效率。

在具体的应用中，历史控制信息可以为当前时间对应的历史信息。例如，在晚上7点时，识别出用户对电视具有交互行为，包括正在看电视和准备看电视，而历史控制信息为用户喜欢在晚上7点的时候准时打开电视，看新闻联播。则此时，确定用户对电视具有交互行为应该是准备看电视，则控制电视开启，以便于用户准时收看新闻联播。

进一步地，根据历史控制信息，从多个第一控制信息之中确定目标控制信息具体包括：根据历史控制信息，确定多个第一控制信息的得分；设定目标控制信息，得分大于或等于预设阈值的第一控制信息。

在该实施例中，根据历史控制信息来确定多个第一控制信息的得分。在相同或相似的室内场景下，用户现实中会存在多种的控制行为，根据具体某一个控制行为的执行次数来具体确定多个控制信息的得分，执行次数少的第一控制信息得分低，执行次数多的第一控制信息得分高。预先设定好阈值，将得分大于或等于阈值的第一控制信息，确定为目标控制信息，根据目标控制信息来控制第一电器设备执行相应操作。

通过上述方式，实现根据历史控制信息，在多个第一控制信息中确定出唯一的控制信息，进而控制第一电器设备，保证对第一电器设备控制的准确性。

在具体的应用中，历史控制信息可以为当前时间对应的历史信息。在历史信息记录中，用户执行了不同的操作，通过计得分的方式来确定第一控制信息。例如，获取到了用户和床的室内场景图像，直接睡觉关灯的次数为20次，刷一会手机再睡觉关灯的次数为50次，则刷一会手机再睡觉关灯的得分高。

进一步地，设定阈值为40次，刷一会手机再睡觉关灯的次数大于该设定阈值，则确定用户躺在床上不直接关灯，而是过一段时间后再控制关灯。

通过确定多个第一控制信息的得分情况，然后将大于或等于阈值的确定为目标控制信息，可以提高预测的准确性和效率。

实施例4

在上述任一实施例中，目标信息中可以包括第一电器设备的当前状态；在多个第一控制信息中，基于目标信息确定出目标控制信息的步骤，具体包括：在多个第一控制信息中，根据当前状态确定目标控制信息。

在该实施例中，目标信息包括当前第一电器设备的当前状态，电器设备可以具有不同的状态，例如，开启状态、关闭状态、与某种模式运行的状态。

当人体对室内对象存在多种交互行为时，根据第一电器设备的当前状态，在多个第一控制信息中确定目标控制信息，进而实现对第一电器设备的控制。

通过上述方式，实现根据第一电器设备的当前状态，在多个第一控制信息中确定出唯一的控制信息，进而控制第一电器设备，保证对第一电器设备控制的准确性。

在具体的应用中，不同的电器设备对应的当前状态是不同的。例如，当第一电器设备为电脑时，对应的当前状态可以为关机状态也可以为工作状态。当第一电器设备为电动窗帘时，对应的当前状态可以为升起状态，也可以为落下状态。当第一电器设备为空调时，对应的当前状态可以为冷风状态也可以为暖风状态。

在具体的应用中，当识别出用户对电脑具有交互行为，包括正在使用电脑和准备使用电脑，而电脑当前状态为关闭的状态，则确定目标控制信息应该为打开电脑。

实施例5

在上述任一实施例中，目标信息中可以包括用户的反馈信息；在多个第一控制信息中，基于目标信息确定出目标控制信息的步骤，具体包括：发出控制询问请求；接收用户基于控制询问请求的反馈信息，在多个第一控制信息中，基于反馈信息确定目标控制信息。

在该实施例中，当预测到人体与室内对象产生的交互行可能为多种情况时，可以向用户发出控制询问请求，然后以用户对控制询问请求的具体反馈为根据，在多个第一控制信息之中确定目标控制信息，其中，目标信息即为用户的反馈信息。

通过向用户发出控制询问请求，获取到用户的反馈信息后，可以准确的确定目标控制信息，进而根据目标控制信息来控制第一电器设备执行相应操作，提高了用户的可选择性，保证对第一电器设备的控制能够满足用户需求。

进一步地，发出控制询问请求的方式，可以包括：将控制询问请求发送至用户终端。

在该实施例中，控制询问请求的发出方式可以为向用户终端发出控制询问请求，即接收控制询问请求的设备是用户终端，用户在接收到控制询问请求后可以及时处理，并发出反馈信息。

通过上述方式，快速确定目标控制信息，进而根据目标控制信息来控制第一电器设备执行相应操作，保证对第一电器设备的控制能够满足用户需求。

进一步地，发出控制询问请求的方式，可以包括：控制交互装置对控制询问请求进行发送。

在该实施例中，控制询问请求的发出方式可以为通过交互装置发送控制询问请求，即发出控制询问请求的设备为交互装置，增加了用户的可选择性，使交互设备更好的执行用户的要求。

具体地，交互装置为语音装置或显示装置，语音装置可以向用户发出语音询问请求，显示装置可以显示文字询问请求。

通过上述方式，以便于将控制询问请求信息及时的传递给用户，进而根据用户确定的目标控制信息来控制第一电器设备执行相应操作，保证对第一电器设备的控制能够满足用户需求。

实施例6

本申请在一个实施例提供了一种设备控制方法，在上述任一实施例的基础上，进一步地，如图3所示，该设备控制方法包括：

步骤302，获取至少一张图像；

步骤304，在至少一张图像中，识别出人体图像和一个或多个室内对象图像，以及基于人体图像以及室内对象图像，判定人体对一个或多个室内对象的交互行为特征；

步骤306，根据交互行为特征，确定与其对应的第一控制信息，其中第一控制信息中包含设备信息和与设备信息相对应的运行参数；

步骤308，确定与该设备信息对应的第一电器设备；

步骤310，将运行参数发送至第一电器设备，从而实现以运行参数使第一电器设备进行运行。

在该实施例中，当室内对象是非电器设备时，或者室内对象是第二电器设备，但是第二电器设备不同于第一电器设备时，也即，基于与用户产生交互行为的对象(第二电器设备或非电器设备)，间接控制第一电器设备。

此时，确定与交互行为特征对应的第一控制信息，该第一控制信息中包含设备信息和运行参数，通过设备信息来确定待控制的第一电器设备，确定第一电器设备之后，向第一电器设备发送运行参数，以控制第一电器设备按照接收到的运行参数运行。

通过确定与交互行为特征相对应的第一控制信息，来控制第一电器设备执行接收到的运行参数运行。实现了在室内对象为非电器设备的情况下或者室内对象为第二电器设备，但第二电器设备与第一电器设备不同两种情况下，可以准确地确定需要控制的第一电器设备，并控制第一电器设备按照接收到的运行参数运行。

在实际的应用中，当室内对象是非电器设备的情况，例如：室内对象为书、床、沙发、杯子、椅子、扫把等常用的不能电动控制的设备。当获取室内场景图像为人和书时，交互行为特征可以是准备看书学习。

进一步地，获取室内场景图像为人和书时，预测到用户想要去书房学习，确定与用户拿起书的交互行为对应的第一控制信息为将书房的台灯打开，台灯即为第一控制信息中包括的设备信息，将台灯调节为护眼模式即为设备的运行参数，控制台灯打开并调节到护眼模式，使用户走进书房即可在一个光线合适的环境下看书学习。预先设置好一个合适的学习环境，可以使用户更快的进入学习状态，提升学习效率，并且灯光的护眼模式也可以在用户的学习中减少光线对眼镜的伤害。

在实际的应用中，当室内对象中第一电器设备和第二电器设备不同的情况下。例如，获取的室内图像为人和电饭煲。电饭煲已经开始焖饭，并不是用户想要控制的设备，预测到用户想要开启油烟机，准备做菜，在这种情况下，第一电器设备和第二电器设备不同，与用户站在电饭煲前对应的第一控制信息即为开启油烟机，这时电饭煲为第二电器设备，油烟机是第一电器设备，根据开启油烟机对应的控制信息，控制油烟机打开，向油烟机发送转速参数信息，控制油烟机按照转速参数信息进行慢速、中速或者快速的工作，以保证用户在下厨时，厨房的空气环境。

实施例7

本申请在一个实施例提供了一种设备控制方法，在上述任一实施例的基础上，进一步地，如图4所示，该设备控制方法包括：

步骤402，获取至少一张图像；

步骤404，当至少一张图像中包括多个室内对象图像时，确定人体与每个室内对象之间的相对位置信息；

步骤406，在多个室内对象图像中，根据相对位置信息确定目标室内对象图像；

步骤408，基于人体图像以及室内对象图像，判定人体对目标室内对象的交互行为特征；

步骤410，确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制。

其中，相对位置信息包括以下至少一项：人体与室内对象之间的位置以及人体对室内对象的朝向。

在该实施例中，当图像中包括了多个室内对象图像时，通过识别每个室内对象与人体之间的相对位置信息，然后根据相对位置信息，来确定目标室内对象的图像。然后根据人体图像与目标室内对象图像，来预测人体对目标室内对象的交互行为特征，人体对室内对象的交互行为特征即用户想要目标室内对象执行的操作。

通过识别人体与室内对象之间的相对位置信息，例如，将与用户距离最近的对象或者用户面向的对象作为目标室内对象，进而预测人体对目标室内对象交互行为特征。

本申请提供了在图像中存在多个室内对象情况下，确定目标室内对象的方法，更精确地确定出用户交互的对象，从而避免在多个对象时出现控制混乱的问题，能够实现更加精确的设备控制。

在实际的应用中，家中会有很多家用电器和非电器设备，工作中也会有很多电器设备，例如电脑，打印机等。这时，获取到的图像中就会有多个电器设备或者非电器设备同时存在的情况，需要确定目标室内对象。

具体地，识别人体与每一个室内对象间的相对位置信息，根据相对位置信息来确定目标对象图像。

进一步地，当相对位置信息为人体和室内对象之间位置关系时，优先将距离人体近的室内对象确定为目标室内对象。例如，在图像中出现人体、电脑和电视，人体距离电脑更近，基于电脑和人体的距离更近，优先将电脑确定为目标室内对象。

进一步地，当相对位置信息为人体对室内对象的朝向时，优先将将人体朝向的室内对象确定为目标室内对象。例如，在图像中出现人体、电脑和电视，人体朝向电脑，预测到用户想要打开电脑，则优先将电脑确定为目标室内对象。

本申请的实施例中，能够在多个室内对象中确定出目标室内对象，通过人体对室内对象的朝向和人体和室内对象之间的位置来确定目标室内对象，提高了设备控制的精准性，避免了多室内对象时出现设备控制混乱的问题出现。

实施例8

本申请在一个实施例提供了一种设备控制方法，在上述任一实施例的基础上，进一步地，如图5所示，该设备控制方法包括：

步骤502，获取至少一张图像；

步骤504，当至少一张图像中包括多个人体图像时，分别识别多个人体图像中的人体特征信息；

步骤506，在多个人体图像中，根据人体特征信息确定目标人体图像；

步骤508，基于目标人体图像以及室内对象图像，判定目标人体对一个或多个室内对象的交互行为特征；

步骤510，确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制。

其中，人体特征信息包括以下任一项：人体身高、体形、人体实际位置和摄像头之间的距离。

在该实施例中，在存在多个人体图像的情况下，即图像中出现了多个人，通过分别识别多个人体图像中的人体特征信息，然后根据人体特征信息确定目标人体图像。根据室内对象图像和目标人体图像来预测目标人体对室内对象的交互行为特征，人体对室内对象的交互行为特征即用户想要目标室内对象执行的操作。

通过分别识别多个人体图像中的人体特征信息，人体特征信息包括人体实际位置与摄像头之间的距离或人体身份、身高、体形中的任一项，来确定目标人体图像，进而预测目标人体对室内对象的交互行为特征。本申请提供了在图像中存在多个人情况下，确定目标人体图像的方法，更精确地确定出目标人体，从而避免在多个人体时出现控制混乱的问题，能够实现更加精确的设备控制。

在实际的应用中，有的家中会有很多成员，包括：老人、孩子。在工作场景中也会有领导、中层和员工等多种角色。这时候，获取到的室内场景图像就会存在多个人体图像和室内对象的情况。

进一步地，当室内场景图像包括多个人体图像时，需要对多个人体图像中人体的信息进行识别，从而确定目标人体的人体行为特征。

具体地，在家居场景中，对于每个人体图像，识别面部信息，确定人体身份，例如，老人、孩子或者预设用户。确定人体身份的优先级，以优先级最高的人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。例如，将老人的优先级设置为最高，则在室内场景包括老人的情况下，根据老人的图像检测老人的关键点信息，进而确定其人体行为，进行目标设备的控制。

在工作场景中，识别图像中的面部信息，确定人体身份，例如，领导、中层和员工。将领导的优先级设置为最高，则在工作场景包括领导的情况下，根据领导的图像检测领导的关键点信息，进而确定其人体行为，进行目标设备的控制。

或者，根据人体位置与摄像头之间的实际距离，确定距离摄像头最近的人体，以该人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。

示例性的，也可以根据房间的不同来确定目标人体图像，老人的房间优先将老人的确定为目标人体图像，小孩的房间优先将小孩确定为目标人体图像，教室里优先将老师确定为目标人体图像。根据具体的环境进行设定，可以提到识别的灵活性和精确性。

本申请实施例中，能够在具有多个人体时确定出目标人体，以其行为为准进行设备的控制，提高了设备控制的精准性，避免出现设备控制混乱的问题出现。

实施例9

在上述任一实施例中，确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制的步骤，具体包括：根据交互行为特征，确定对应的第一控制信息；接收用户的控制信号，该控制信号包括第二控制信息；基于第二控制信息修正第一控制信息，在按照修正后的第一控制信息，对第一电器设备进行控制。

在该实施例中，可以根据用户的控制信号对第一控制信息进行修正。

具体地，当通过与交互行为特征对应的第一控制信息控制第一电器设备后，如果用户对第一电器设备的运行效果不满意，则可以发出控制信号。接收来自用户的控制信号，控制信号中包括第二控制信息，根据来自用户的第二控制信息来对第一控制信息予以修正，然后根据修正后的用户要求的第一控制信号来控制第一电器设备。

当第一控制信息并未准确反应用户的交互行为特征时，通过接收来自用户的控制信号，控制信号中包括第二控制信息，第二控制信息即用户所需要的第一电器的工作状态要求，根据来自用户的第二控制信息来对第一控制信息修正，然后根据修正后的用户要求的第一控制信号来控制第一电器设备。确保了第一电器设备能够满足用户的使用需求，提升用户的智能生活品质。

进一步地，接收用户的控制信号的方式，具体包括：接收用户终端发送来的控制信号。

在该实施例中，接收由用户终端发送来的控制信号，即发送控制信号的设备是用户终端，用户在第一电器设备的工作状态无法满足自己需求时，可以通过用户终端发送控制信号，控制信号中包括第二控制信息，即用户所需要的第一电器的工作状态要求。

通过上述方式，实现对第一电器设备控制的修正，以使其满足用户的需求。

进一步地，接收用户的控制信号的方式，具体包括：控制交互装置接收控制信号。

在该实施例中，通过交互装置来接收控制信号，即，接收控制信号的设备是交互装置。交互装置在接收到控制信号后，根据来自用户的第二控制信息来对第一控制信息修正，然后根据修正后的用户要求的第一控制信号来控制第一电器设备。

通过上述方式，实现对第一电器设备控制的修正，确保了第一电器设备能够满足用户的使用需求。

实施例10

在上述任一实施例中，确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制的步骤，具体包括：采集环境信息；基于环境信息以及与交互行为特征对应的第一控制信息，对第一电器设备进行控制。

在该实施例中，通过环境监测装置获取环境信息，环境信息为室内场景的环境信息，包括室内的温度、空气的湿度和空气的流通度等信息。获取环境信息之后，根据具体环境信息以及健康环境的要求和与交互行为特征相对应的第一控制信息，对第一电器设备进行控制。

通过获取环境信息，将与交互行为特征对应的第一控制信息与环境信息相结合，来控制第一电器设备，使电器设备的更加智能化的为用户所用，提升用户的智能生活品质。

在具体的应用中，室内场景的环境信息包括：空气的温度，湿度，空气的流通性，结合环境信息来控制第一电器设备可以提高用户在家居或工作环境的舒适度，提高用户的工作和生活体验。

实施例11

在该实施例中，该设备控制方法还包括：在获取至少一张图像之前，建立预测模型，该预测模型能够确定人体对一个或多个室内对象的交互行为特征。

在该实施例中，在获取至少一张图像之前还包括建立预测模型，预测模型用于预测人体对室内对象的交互行为特征。

通过预先建立能够对人体对室内对象的交互行为特征进行预测的预测模型。根据预测模型来对人体对室内对象的交互行为特征进行预测。可以更有效地根据人体对室内对象的交互行为特征实现对电器设备的控制，实现人体行为理解与电器设备联动的目的。

在具体的应用中，使用是摄像头获取室内场景图像，采用现有的目标检测算法(例如yolov5等)检测室内场景图像中的室内对象和人体，检测得到人体和室内对象的位置以及分类信息；将得到的人体和室内对象的位置和分类信息构建人与室内对象的待测关系；使用建立的人物交互行为检测模型对所得的人与室内对象的待测关系进行分析，得到人与室内对象的待测关系交互预测行为类别的得分情况，最终得到人物交互的行为类别。

实施例12

在该实施例中，提供了一种基于人、物关系网络的家居设备联动控制方法，具体地，使用视觉传感器实时获取家居场景图像，采用现有的目标检测算法检测家居场景图像中的人和物，得到人和物体的位置和分类信息。将人和物体的位置和分类信息构建<人，物>关系，使用建立的人物交互行为检测模型对所得的<人，物>关系进行分析，得到人与物体交互行为类别的得分情况，最终得到人物交互的行为类别。对得到的人物交互行为做进一步的分析，当每次检测到以上行为后，都会主动向用户终端发送请求，或者触发语音交互功能，主动询问用户是否需要调节光源、开启空调、开启电视或者其他。当用户确认后，对相关联的家电进行控制。

人物交互行为分析实施策略举例：

当检测到人和电视时，交互行为可以是人正在看电视或者是将要打开电视；

当检测到人和笔记本电脑时，交互行为可以是人正在使用电脑阅读或者人即将打开电脑；

当检测到人和杯子时，交互行为可以是人喝水。

交互行为分析不限于以上三种，包括在家居环境下可定义的其他人物交互行为。如图6所示，可以以人为主体，定义与物的多种交互行为，由此构成人物交互网络。

实施例13

本申请实施例，提出了一种计算机程序产品，计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如上述任一技术方案的设备控制方法的步骤。

本申请提供的计算机程序产品，被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该计算机程序产品包括上述任一技术方案的设备控制方法的全部有益效果。

实施例14

本申请实施例，提出了一种设备控制装置，如图7所示，该设备控制装置700包括图像获取模块702、识别模块704以及控制模块706。

其中，图像获取模块702能够获取至少一张图像，识别模块704能够在至少一张图像中，识别出人体图像和一个或多个室内对象图像，以及基于人体图像以及一个或多个室内对象图像，判定人体对室内对象的交互行为特征，控制模块706能够确定与交互行为特征相对应的第一控制信息，进而根据该第一控制信息对第一电器设备进行控制。

室内对象包括非电器设备和/或第二电器设备，第二电器设备与第一电器设备可以是相同的设备，也可以是不同的设备。

本申请提出的设备控制装置700，通过安装在家中的摄影或摄像装置获取至少一张图像，其中，该图像可以为室内图像或室外图像，该图像包括人体图像和一个或多个室内对象图像。根据人体图像以及室内对象图像，来预测人体对一个或多个室内对象的交互行为特征，然后，根据交互行为特征对应的第一控制信息来控制第一电器设备。其中，室内对象包括室内场景内的非电器设备或第二电器设备，第二电器设备与第一电器设备可以为同一设备或者为不同设备。当第二电器设备与第一电器设备不同时，第二电器设备的工作状态可以不进行调整，而是调整第一电器设备的工作状态。

本申请通过图像中的人体图像和室内对象图像，来预测人体需要室内对象执行的操作，进而实现人体行为理解与电器设备联动的目的，使电器设备能够更加智能化的为用户所用，提升用户的智能生活品质。

示例性地，图像获取模块702可以包括安装在用户家中或者工作场景中多个摄影或摄像装置，用于多视角的获取室内场景图像，并对摄影或摄像装置配置人物追踪功能，保证摄像头可以跟随用户转动。

在实际的应用中，当获取的图像中包括人和电视时，识别模块704根据图像获取模块中的室内对象图像和认同图像预测交互行为特征，交互行为特征可以是正在看电视也可以是是将要打开电视。

进一步地，当识别模块704预测到交互行为特征为用户将要打开电视时，实际需要控制的第一电器和与用户产生交互行为的第二电器相同。这时，打开电视为第一控制信息，根据将要打开电视的交互行为特征对应的第一控制信息，控制模块706控制电视打开，这样即可实现交互行为预测及电视的联动智能控制。

进一步地，同样是获取的图像中包括人和电视时，此时交互行为为用户正在看电视。如果室内光线较亮，电视画面有些反光，识别模块则预测到需要控制窗帘拉下来，将室内的光线调暗，这即是第一电器设备和第二电器设备不同的情况，也即实际需要控制的第一电器和与用户产生交互行为的第二电器相同，此时电视成为第二电器设备，窗帘是第一电器设备。则控制模块控制窗帘拉上，以降低室内的光线，满足用户更好的看电视体验。

示例性地，当获取到的图像中包括人和水杯时，水杯为非电器设备，即图像包括人体图像和非电器设备图像。通过上述图像预测到用户准备喝水，这时第一电器设备为饮水机，根据准备喝水的交互行为特征相对应的第一控制信息，对饮水机进行控制(例如调整水温)，从而满足用户接水的需要。

在该实施例中，第二电器设备或第一电器设备包括工作和家居中常用的各种家用电器，可以根据不同的家居和工作环境，对第二电器设备或第一电器设备进行增加或减少。假如，用户新买了电烤箱，可以在第二电器设备或第一电器设备中添加电烤箱。以便于能够更准确的预测用户对室内对象中电器设备的交互行为特征。

根据不同的家居和工作环境可以对非电器设备进行增加或减少。例如，用户新买了晾衣架，可以在非电器设备中添加晾衣架，以便于更准确的预测人体对室内对象中非电器设备的交互行为特征。

实施例15

本申请实施例，提出了一种控制设备，如图8所示，该控制设备800包括存储器802和处理器804。

其中，存储器802存储了程序或指令，处理器804执行程序或指令时实现如上述任一实施例的设备控制方法的步骤。存储器802和处理器804可以通过总线或者其它方式连接。处理器804可包括一个或多个处理单元，处理器可以为中央处理器(CentralProcessing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等芯片。

本申请提供的控制设备800，处理器804执行程序或指令时实现上述任一项的设备控制方法的步骤，因而包括设备控制方法的全部有益效果。

实施例16

本申请实施例，提出了一种控制系统，如图9所示，该控制系统包括视觉传感器、智能助手(也即控制设备)以及至少一个电器设备。其中，视觉传感器是摄像头，且可以是室内任意位置的摄像头；智能助手可根据指令控制电器设备的开和关或者调节电器设备运行，电器设备能够与智能助手互联；

视觉传感器采集室内场景图像，智能助手利用目标检测算法检测人体图像和室内对象图像，基于人体图像和室内对象图像识别人体与对象的交互行为，例如，看书、看电视、喝水、扫地等等。进而根据与交互行为对应的控制信息对至少一个电器设备进行控制。

另外，智能助手具有语音交互模块，可以向用户发送当检测到某种交互行为后是否触发对应的电器设备联动机制意见的请求，也可以接收用户语音输入，用于语音理解，并与智能助手互联。

智能助手具有通信模块，可以与用户终端进行交互，用户终端可以接收人物交互识别结果，以及智能助手发送的是否触发对应的电器设备联动机制意见。

实施例17

本申请实施例，提出了一种控制设备，包括：如上述任一实施例的设备控制装置。

本申请提供的控制设备包括上述任一实施例的设备控制装置，因而具有设备控制装置的全部有益效果。

实施例18

本申请实施例，提出了一种非易失性可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一实施例的设备控制方法的步骤。

其中，非易失性可读存储介质包括只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请提供的非易失性可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该非易失性可读存储介质包括上述任一实施例的设备控制方法的全部有益效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种设备控制方法，其特征在于，包括：

获取至少一张图像；

根据所述至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征；

根据与所述交互行为特征对应的第一控制信息，控制第一电器设备；

其中，所述室内对象包括非电器设备和/或第二电器设备，所述第二电器设备与所述第一电器设备相同或不同。

2.根据权利要求1所述的方法，其特征在于，在所述人体对室内对象的交互行为特征包括多种的情况下，所述根据与所述交互行为特征对应的第一控制信息，控制第一电器设备，包括：

分别确定与多种所述交互行为特征对应的多个第一控制信息；

根据目标信息，在多个所述第一控制信息中确定目标控制信息；

根据所述目标控制信息，控制所述第一电器设备。

3.根据权利要求2所述的方法，其特征在于，所述目标信息包括历史控制信息；所述根据目标信息，在多个所述第一控制信息中确定目标控制信息，包括：

根据所述历史控制信息，在多个所述第一控制信息中确定目标控制信息。

4.根据权利要求2所述的方法，其特征在于，所述目标信息包括当前第一电器设备的当前状态；所述根据目标信息，在多个所述第一控制信息中确定目标控制信息，包括：

根据所述当前状态，在多个所述第一控制信息中确定目标控制信息。

5.根据权利要求2所述的方法，其特征在于，所述根据目标信息，在多个所述第一控制信息中确定目标控制信息，包括：

发出控制询问请求；

根据用户对所述控制询问请求的反馈信息，在多个所述第一控制信息中确定目标控制信息，其中，所述目标信息包括所述反馈信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在所述室内对象为所述非电器设备的情况下，或者在所述室内对象为所述第二电器设备，且所述第二电器设备与所述第一电器设备不同的情况下，所述根据与所述交互行为特征对应的第一控制信息，控制第一电器设备，包括：

确定与所述交互行为特征对应的第一控制信息，其中所述第一控制信息包括设备信息以及与所述设备信息相对应的运行参数；

根据所述设备信息，确定所述第一电器设备；

向所述第一电器设备发送所述运行参数，以控制所述第一电器设备按照所述运行参数运行。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征，包括：

在所述图像中包括多个室内对象图像的情况下，识别人体与每个室内对象之间的相对位置信息；

根据所述相对位置信息，在多个所述室内对象图像中确定目标室内对象图像；

根据所述人体图像和所述目标室内对象图像，预测所述人体对目标室内对象的交互行为特征。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述至少一张图像中的人体图像和一个或多个室内对象图像，预测人体对一个或多个室内对象的交互行为特征，包括：

在所述图像中包括多个人体图像的情况下，分别识别多个所述人体图像中的人体特征信息；

根据所述人体特征信息，在多个所述人体图像中确定目标人体图像；

根据所述目标人体图像和所述室内对象图像，预测目标人体对所述一个或多个室内对象的交互行为特征。

9.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据与所述交互行为特征对应的第一控制信息，控制第一电器设备，包括：

获取环境信息；

根据所述环境信息和与所述交互行为特征对应的第一控制信息，控制所述第一电器设备。

10.根据权利要求1至5中任一项所述的方法，其特征在于，在所述获取至少一张图像之前，还包括：

建立用于预测人体对一个或多个室内对象的交互行为特征的预测模型。

11.一种计算机程序产品，其特征在于，

所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如权利要求1至10中任一项所述的设备控制方法的步骤。

12.一种控制设备，其特征在于，包括：

存储器，存储有程序或指令；

处理器，所述处理器执行所述程序或指令时实现如权利要求1至10中任一项所述的设备控制方法的步骤。

13.一种非易失性可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至10中任一项所述的设备控制方法的步骤。

Images