CN114518801B - 设备控制方法、控制设备和存储介质 - Google Patents

Abstract

本申请提出了一种设备控制方法、控制设备和存储介质。该设备控制方法包括：获取至少一张图像；识别至少一张图像中人体图像的人体关键点信息，并根据人体关键点信息确定人体行为特征；根据与人体行为特征对应的控制信息，控制至少一个目标设备。本申请实施例中，由于不是直接根据人体图像识别人体行为，所以，一方面，即便是由于光线和背景图像的影响导致人体图像不完整，也能够基于检测到的人体关键点进行人体行为的预测，能够准确、快速地识别人体行为，避免行为检测的不准确导致的设备控制的不准确；另一方面，无需进行人体图像的标注、模型训练工作，降低了训练成本，降低了实现的复杂性。

Description

设备控制方法、控制设备和存储介质

技术领域

本申请涉及设备控制技术领域，具体而言，涉及一种设备控制方法、控制设备和非易失性可读存储介质。

背景技术

相关技术中，根据目标检测算法确定人体图像，再直接根据人体图像进行人体行为识别，进而进行单一电器设备控制。但是该方法，一方面，易受光线和背景图像的影响导致人体图像不完整，进而导致检测的不准确；另一方面，需要事先对图像进行大量的人体行为数据标注，进行模型训练，训练成本较大。

发明内容

本申请旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本申请的一个方面在于提出了一种设备控制方法。

本申请的另一个方面在于提出了一种计算机程序产品。

本申请的再一个方面在于提出了一种控制设备。

本申请的又一个方面在于提出了一种非易失性可读存储介质。

有鉴于此，根据本申请的一个方面，提出了一种设备控制方法，包括：获取至少一张图像；识别至少一张图像中人体图像的人体关键点信息，并根据人体关键点信息确定人体行为特征；根据与人体行为特征对应的控制信息，控制至少一个目标设备。

在该技术方案中，该设备控制方法应用于控制设备（也即主控设备），控制设备为智能设备，例如人工智能助手、扫地机器人、智能电视、智能空调等设备。

控制设备获取通过摄像头拍摄的至少一张图像，利用目标检测算法，在至少一张图像中检测人体目标，确定人体图像。再利用关键点检测算法，在人体图像中检测出人体关键点，得到人体关键点信息，也即，得到一个人体关键点集合。

其中，人体关键点也即人体骨骼关键点，人体骨骼关键点包括但不限于头部、手臂、手部、肩部、腿部、腰部、脚部，且一个人体关键点集合中包括至少两个人体骨骼关键点。

进一步地，确定与该人体关键点信息对应的人体行为特征，获取人体所做的行为，进而根据人体行为特征确定控制信息，根据该控制信息实现对至少一个目标设备的控制。

其中，人体行为特征包括但不限于坐、躺、跌倒、扫地、看书、运动、洗菜、切菜、洗脸等。目标设备包括但不限于用户终端、人工智能助手、扫地机器人、电视、空调、冰箱、电动窗帘、厨房电器等设备。

需要说明的是，摄像头可以安装在家具场景中的任意位置，例如，可以安装在目标设备上，或者家具控制设备上，或者是墙上。至少一张图像可以是录制的一个视频中的一张或多张图像，也可以直接是拍摄得到的一张或多张照片。

本申请实施例中，识别图像中的人体图像的人体关键点，基于人体关键点确定人体行为，由于不是直接根据人体图像识别人体行为，所以，一方面，即便是由于光线和背景图像的影响导致人体图像不完整，也能够基于检测到的人体关键点进行人体行为的预测，能够准确、快速地识别人体行为，避免行为检测的不准确导致的设备控制的不准确；另一方面，无需进行人体图像的标注、模型训练工作，降低了训练成本，降低了实现的复杂性。

另外，相关技术中只是简单的单一设备的控制机制，适用范围有限，泛化性弱。而本申请实施例中，控制的目标设备可以包括一个或多个，能够实现一种行为不仅可以触发一种目标设备的联动，还可以同时触发多种目标设备的联动，使得家居控制更加智能。

根据本申请的上述设备控制方法，还可以具有以下附加技术特征：

在上述技术方案中，根据与人体行为特征对应的控制信息，控制至少一个目标设备，包括：确定与人体行为特征对应的控制信息，其中控制信息包括设备信息以及与该设备信息相对应的运行参数；根据设备信息，确定至少一个目标设备；向至少一个目标设备发送运行参数，以控制至少一个目标设备按照运行参数运行。

在该技术方案中，在检测出人体行为特征后，根据该人体行为特征确定控制信息，该控制信息中包括用于确定目标设备的设备信息，还包括用于控制目标设备工作方式的运行参数。需要说明的是，运行参数包括但不限于开机、关机、按照目标运行模式运行、提示等。

进一步地，基于上述设备信息明确所要控制的至少一个目标设备，并按照上述运行参数，控制目标设备。

示例性地，当根据至少一张图像检测出用户处于躺的姿势，则可以确定用户在睡觉，进而确定跟该行为关联的目标设备为窗帘和空调，则控制窗帘拉下来降低室内亮度，以及控制空调开启为室内环境营造合适的温度。

本申请实施例中，能够根据人体行为确定所要控制的设备，并对该设备进行控制，使得家居控制更加智能。

在上述任一技术方案中，根据与人体行为特征对应的控制信息，控制至少一个目标设备，包括：根据第一信息确定人体行为特征所属的行为类型；根据与行为类型对应的控制信息，控制至少一个目标设备；其中，第一信息包括以下至少一项：根据图像识别到的人体周围的物体、预设时间段内的多张图像。

在该技术方案中，人体行为特征为在单帧图像里面的静态人体行为，但是有些行为动作是动态过程，例如跌倒，仅通过单帧图像进行识别可能不够准确，则需要进一步地对人体行为特征进行精确认定。

所以，本申请实施例中，利用不同的行为分析策略（也即第一信息）将人体行为特征进行行为类型的识别，进而根据与行为类型对应的控制信息，对至少一个目标设备进行控制。例如，人体行为为“坐”，则判定其行为类型是否为“久坐”，如果是“久坐”，则通过用户终端提醒用户进行活动。人体行为为“躺”，则判定其行为类型是否为“休息”，如果是“休息”，则打开空调、拉窗帘、关灯等。人体行为为“弯腰”，则判定其行为类型是否为“跌倒”，如果是“跌倒”，则语音提示其他家人。

具体地，可以结合人体周围的物体对人体行为特征进行类型的确定。还可以根据单帧图像的前、后多帧图像对人体行为特征进行类型的确定，也即，将连续多帧的静态行为识别结果结合起来确定行为类型。

本申请实施例，在目标检测算法的基础上增加人体关键点的检测，充分利用两者的优点，对框定的人体进行高效快速的关键点检测，并结合高效的人体行为分析策略，最终达到提高行为识别的准确率以及提升鲁棒性的目的，实现行为识别与设备联动控制的技术。

在上述任一技术方案中，识别至少一张图像中人体图像的关键点，并根据关键点确定人体行为特征，包括：在至少一张图像中确定人体图像，并在人体图像中提取人体关键点信息；将人体关键点信息输入至预存的行为识别模型，输出人体行为特征。

在该技术方案中，利用目标检测算法在至少一张图像中确定人体图像，具体地，将一幅图像中的所有人体以矩形框的形式分别框出来，一个矩形框对应一个人体。然后，利用关键点检测算法对每个包含人体的矩形框进行检测，得到对应的人体关键点。最后，将人体关键点信息输入到预存的行为识别模型中，得到人体行为特征。

本申请实施例中，直接利用现有的目标检测算法、关键点检测算法进行人体检测、关键点检测，无需额外训练目标检测模型和关键点检测模型，减少训练成本。并且，相比于现有技术中利用目标检测算法直接根据人体图像识别人体行文的技术，本申请实施例利用人体关键点信息和行为识别模型，识别出人体行为特征，能够更加精准。

在上述任一技术方案中，识别至少一张图像中人体图像的人体关键点信息，包括：在至少一张图像中包括多个人体图像的情况下，分别识别多个人体图像的人体特征信息；根据人体特征信息，确定目标人体图像，并识别目标人体图像的人体关键点信息。

其中，人体特征信息包括以下任一项：人体身高、体型、人体实际位置与摄像头之间的距离。

在该技术方案中，如果拍摄的图像包含有多个人体图像，则需要确定一个目标人体图像，从而确定该目标人体的人体行为特征。

具体地，对于每个人体图像，识别面部信息，确定人体身份，例如，老人、孩子或者预设用户。确定人体身份的优先级，以优先级最高的人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。例如，将老人的优先级设置为最高，则在场景包括老人的情况下，根据老人的图像检测老人的关键点信息，进而确定其人体行为，进行目标设备的控制。

或者，根据人体实际位置与摄像头之间的距离，确定距离摄像头最近的人体，以该人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。

本申请实施例中，能够在具有多个人体时确定出目标人体，以其行为为准进行设备的控制，提高了设备控制的精准性，避免出现设备控制混乱的问题出现。

在上述任一技术方案中，在获取至少一张图像之前，还包括：获取人体样本图像，并根据人体样本图像获取样本关键点信息；根据样本关键点信息进行模型训练，建立行为识别模型。

在该技术方案中，获取大量关于坐、跌倒、躺和扫地等动作的人体样本图像，筛选出不符合要求的图像并剔除，再对剩余的图像进行整理和归类。使用现有高效的关键点检测算法，对以上图像进行样本关键点信息检测，将每张图像根据检测到的样本关键点信息分类保存。利用不同类别的图像建立行为识别模型。

本申请实施例，基于关键点检测及行为分类的方法，无需标注，不仅能够节省标注成本，而且泛化性能比基于目标检测人体行为的方式更为优越，提高了识别的精度。通过建立精准的行为识别模型，实现使用更为紧凑、结构性强、对人体活动的描述更加具体、更易区分的基于人体关键点特征识别人体行为的技术方案，提升了模型的鲁棒性和适应性。

在上述任一技术方案中，目标设备包括用户终端和电器设备；该方法还包括：接收来自用户终端的控制信号，根据控制信号控制电器设备。

在该技术方案中，目标设备包括用户终端和电器设备，基于人体行为可以对用户终端和电器设备进行控制。

另外，在基于人体行为特征对电器设备进行控制之后，还可以通过用户终端对电器设备进行控制。具体地，控制设备接收用户终端通过APP发送的控制信号，并将该控制信号转发至电器设备，以实现用户终端对电器设备的控制。

通过上述方式，在基于人体行为特征对电器设备进行控制之后，利用用户发送的控制信号对电器设备进行进一步地修正控制，以满足用户需求。

在上述任一技术方案中，图像为室内场景的图像；目标设备为与室内场景对应的设备。

在该技术方案中，拍摄的图像为室内场景下的图像，且所控制的目标设备是与该室内场景相对应的目标设备。例如，若打开空调，则是打开当前房间所对应的空调，而不是其他房间的空调。

通过上述方式，实现对当前场景下的设备的控制，避免设备控制的混乱，提高控制的准确性。

根据本申请的另一个方面，提出了一种计算机程序产品，计算机程序产品被存储在存储介质中，计算机程序产品被至少一个处理器执行以实现如上述任一技术方案的设备控制方法的步骤。

本申请提供的计算机程序产品，被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该计算机程序产品包括上述任一技术方案的设备控制方法的全部有益效果。

根据本申请的再一个方面，提出了一种控制设备，包括：存储器，存储有程序或指令；处理器，处理器执行程序或指令时实现如上述任一技术方案的设备控制方法的步骤。

本申请提供的控制设备，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该控制设备包括上述任一技术方案的设备控制方法的全部有益效果。

根据本申请的又一个方面，提出了一种非易失性可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤。

本申请提供的非易失性可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该非易失性可读存储介质包括上述任一技术方案的设备控制方法的全部有益效果。

本申请的附加方面和优点将在下面的描述部分中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本申请实施例的设备控制方法的流程示意图；

图2示出了本申请实施例的设备控制装置的示意框图；

图3示出了本申请实施例的控制设备的示意框图；

图4示出了本申请实施例的控制系统的示意图。

其中，图2至图4中附图标记与部件名称之间的对应关系为：

200设备控制装置，202图像获取模块，204识别模块，206控制模块，300控制设备，302存储器，304处理器，402数据获取模块，404控制和处理模块，406用户终端，4202摄像头，4204第一通信模块，4402主控模块，4404家电控制模块，4406目标检测模块，4408关键点检测模块，4410行为识别模块，4412第二通信模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，本申请实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的设备控制方法、计算机程序产品、设备控制装置、控制设备和非易失性可读存储介质进行详细地说明。

本申请实施例，提出一种设备控制方法，图1示出了本申请实施例的设备控制方法的流程示意图。其中，该设备控制方法包括：

步骤102，获取至少一张图像；

步骤104，在至少一张图像中，识别出人体图像的人体关键点信息，以及根据该人体关键点信息获得人体行为特征；

步骤106，确定与人体行为特征相对应的控制信息，进而根据该控制信息对至少一个目标设备进行控制。

在该技术方案中，该设备控制方法应用于控制设备（也即主控设备），控制设备为智能设备，例如人工智能助手、扫地机器人、智能电视、智能空调等设备。

控制设备获取通过摄像头拍摄的至少一张图像，利用目标检测算法，在至少一张图像中检测人体目标，确定人体图像。再利用关键点检测算法，在人体图像中检测出人体关键点，得到人体关键点信息，也即，得到一个人体关键点集合。

其中，人体关键点也即人体骨骼关键点，人体骨骼关键点包括但不限于头部、手臂、手部、肩部、腿部、腰部、脚部，且一个人体关键点集合中包括至少两个人体骨骼关键点。

进一步地，确定与该人体关键点信息对应的人体行为特征，获取人体所做的行为，进而根据人体行为特征确定控制信息，根据该控制信息实现对至少一个目标设备的控制。

其中，人体行为特征包括但不限于坐、躺、跌倒、扫地、看书、运动、洗菜、切菜、洗脸等。目标设备包括但不限于用户终端、人工智能助手、扫地机器人、电视、空调、冰箱、电动窗帘、厨房电器等设备。

需要说明的是，摄像头可以安装在家具场景中的任意位置，例如，可以安装在目标设备上，或者家具控制设备上，或者是墙上。至少一张图像可以是录制的一个视频中的一张或多张图像，也可以直接是拍摄得到的一张或多张照片。

本申请实施例中，识别图像中的人体图像的人体关键点，基于人体关键点确定人体行为，由于不是直接根据人体图像识别人体行为，所以，一方面，即便是由于光线和背景图像的影响导致人体图像不完整，也能够基于检测到的人体关键点进行人体行为的预测，能够准确、快速地识别人体行为，避免行为检测的不准确导致的设备控制的不准确；另一方面，无需进行人体图像的标注、模型训练工作，降低了训练成本，降低了实现的复杂性。

另外，相关技术中只是简单的单一设备的控制机制，适用范围有限，泛化性弱。而本申请实施例中，控制的目标设备可以包括一个或多个，能够实现一种行为不仅可以触发一种目标设备的联动，还可以同时触发多种目标设备的联动，使得家居控制更加智能。

在该实施例中，上述确定与人体行为特征相对应的控制信息，进而根据该控制信息对至少一个目标设备进行控制的步骤，具体包括：根据预先存储的人体行为特征与控制信息的对应关系，获取该人体行为特征相对应的包括设备信息和与该设备信息相对应的运行参数的控制信息；基于该设备信息，确定待进行控制的至少一个目标设备；将运行参数对应发送至待进行控制的至少一个目标设备，以使目标设备根据运行参数工作。

在该技术方案中，预先存储有人体行为特征与控制信息的对应关系。在检测出人体行为特征后，根据该人体行为特征确定控制信息，该控制信息中包括用于确定目标设备的设备信息，还包括用于控制目标设备工作方式的运行参数。需要说明的是，运行参数包括但不限于开机、关机、按照目标运行模式运行、提示等。

进一步地，基于上述设备信息明确所要控制的至少一个目标设备，并按照上述运行参数，控制目标设备。

示例性地，当根据至少一张图像检测出用户处于躺的姿势，则可以确定用户在睡觉，进而确定跟该行为关联的目标设备为窗帘和空调，则控制窗帘拉下来降低室内亮度，以及控制空调开启为室内环境营造合适的温度。

本申请实施例中，能够根据人体行为确定所要控制的设备，并对该设备进行控制，使得家居控制更加智能。

在该实施例中，运行参数包括第一参数；将运行参数对应发送至待进行控制的至少一个目标设备的步骤，具体包括：判定人体行为特征是否属于正常行为特征，当人体行为特征属于正常行为特征时，将第一参数对应发送至待进行控制的至少一个目标设备；其中，第一参数包括控制目标设备打开的参数，或者控制目标设备关闭的参数，或者控制目标设备以目标运行模式工作的参数。

在该技术方案中，在识别到人体行为特征后，对人体行为特征进行分类判断，也即判断人体行为是正常行为还是异常行为。

在判定人体行为属于正常行为时，基于与人体行为特征对应的第一参数控制目标设备，具体地，可以控制目标设备打开、关闭，或者控制目标设备以目标运行模式进行工作。

本申请实施例中，在识别到人体所做行为为正常行为时，控制目标设备进行正常工作，从而满足用户需求。

在该实施例中，运行参数包括第二参数；将运行参数对应发送至待进行控制的至少一个目标设备的步骤，具体包括：判定人体行为特征是否属于异常行为特征，当人体行为特征属于异常行为特征时，将第二参数对应发送至待进行控制的至少一个目标设备；其中，第二参数包括控制目标设备进行异常行为特征提醒的参数。

在该技术方案中，在识别到人体行为特征后，对人体行为特征进行分类判断，也即判断人体行为是正常行为还是异常行为。

在判定人体行为属于异常行为时，基于与人体行为特征对应的第二参数控制目标设备，具体地，可以控制目标设备进行人体异常行为的提醒。

需要说明的是，目标设备可以包括电器设备和/或用户终端，所以可以通过电器设备发出灯光、文字、语音等告警信息，也可以向用户终端发送提示信息。

示例性地，当根据图像识别出人体处于跌倒情况下时，可通过控制人工智能助手发出跌倒语音告警，或者向用户终端发送跌倒提示信息。当根据图像识别出人体处于久坐情况下时，可通过控制人工智能助手发出语音提示，或者向用户终端发送提示信息。

本申请实施例，能够准确、快速地识别人体异常行为，提高人体异常行为的识别准确率，能够做到集安全预警、健康提示、智能家居为一体的家居联动技术。

在该实施例中，上述确定与人体行为特征相对应的控制信息，进而根据该控制信息对至少一个目标设备进行控制的步骤，具体包括：根据第一信息判定人体行为特征所属的行为类型；根据与人体行为特征所属的行为类型对应的控制信息，对至少一个目标设备进行控制；其中，第一信息包括以下至少一项：人体周围的物体以及预设时间段内的多张图像，人体周围的物体是通过识别图像所得到。

在该技术方案中，人体行为特征为在单帧图像里面的静态人体行为，但是有些行为动作是动态过程，例如跌倒，仅通过单帧图像进行识别可能不够准确，则需要进一步地对人体行为特征进行精确认定。

所以，本申请实施例中，利用不同的行为分析策略（也即第一信息）将人体行为特征进行行为类型的识别，进而根据与行为类型对应的控制信息，对至少一个目标设备进行控制。例如，人体行为为“坐”，则判定其行为类型是否为“久坐”，如果是“久坐”，则通过用户终端提醒用户进行活动。人体行为为“躺”，则判定其行为类型是否为“休息”，如果是“休息”，则打开空调、拉窗帘、关灯等。人体行为为“弯腰”，则判定其行为类型是否为“跌倒”，如果是“跌倒”，则语音提示其他家人。

具体地，可以结合人体周围的物体对人体行为特征进行类型的确定。例如，如果根据图像中人体图像的关键点信息，识别出人体为“坐”的行为，那么进一步根据人体周围的物体确定“坐”的行为类型，如果人体前是书则确定行为类型是看书，如果人体前是电视则确定行为类型是看电视。

还可以根据单帧图像的前、后多帧图像对人体行为特征进行类型的确定，也即，将连续多帧的静态行为识别结果结合起来确定行为类型。以跌倒为例，跌倒是包含站立、弯曲以及躺在地上等几个动作组成，那么这里判断跌倒的策略就是在视频流中选取连续的20帧为基准（这个20帧是不断向后滑动如t0帧到t20帧，或t1帧到t21帧等），每一帧按照识别人体图像的人体关键点信息，得到人体静态行为识别结果，接着根据这20帧的结果来判断是否有按照站立、弯曲以及躺下这种顺序的行为序列，如果有则认为是跌倒，否则就没跌倒。以久坐为例，检测到单帧图像中人的行为是坐下，因为久坐是一个连续性的过程，所以并不能立即判定为久坐，需要对人进行一段时间的图像跟踪监测。其中，时间阈值可以设定，例如监测到人连续坐的时间超过三十分钟，就视为久坐。

另外，需要说明的是，这里的行为类型是可以根据实际情况调整，例如可以根据不同室内场景来定义不同的行为类别。例如，在家居场景下，行为类型久坐、休息、睡觉、看书、玩游戏等，而在办公场景下，行为类型久坐、休息、看书等，没有睡觉、玩游戏的行为类别。

本申请实施例，在目标检测算法的基础上增加人体关键点的检测，充分利用两者的优点，对框定的人体进行高效快速的关键点检测，并结合高效的人体行为分析策略，最终达到提高行为识别的准确率以及提升鲁棒性的目的，实现行为识别与设备联动控制的技术。

在该实施例中，上述在至少一张图像中，识别出人体图像的人体关键点信息，以及根据该人体关键点信息获得人体行为特征的步骤，具体包括：在至少一张图像中识别出人体图像，进而在人体图像中提取出人体关键点信息；根据人体关键点信息以及预存的行为识别模型，得到人体行为特征。

在该技术方案中，利用目标检测算法在至少一张图像中确定人体图像，具体地，将一幅图像中的所有人体以矩形框的形式分别框出来，一个矩形框对应一个人体。然后，利用关键点检测算法对每个包含人体的矩形框进行检测，得到对应的人体关键点。最后，将人体关键点信息输入到预存的行为识别模型中，得到人体行为特征。

其中，行为识别模型包括为多层神经网络（Multi Layer Perceptron，MLP）或者卷积神经网络（Convolutional Neural Network，CNN）。

本申请实施例中，直接利用现有的目标检测算法、关键点检测算法进行人体检测、关键点检测，无需额外训练目标检测模型和关键点检测模型，减少训练成本。并且，相比于现有技术中利用目标检测算法直接根据人体图像识别人体行文的技术，本申请实施例利用人体关键点信息和行为识别模型，识别出人体行为特征，能够更加精准。

在该实施例中，上述在至少一张图像中，识别出人体图像的人体关键点信息的步骤，具体包括：如果至少一张图像中包含多个人体图像时，分别识别每个人体图像的人体特征信息；基于人体特征信息，在多个人体图像中确定目标人体图像，并识别该目标人体图像的人体关键点信息；其中，人体特征信息包括以下任一项：人体身高、体型、人体实际位置与摄像头之间的距离。

在该技术方案中，如果拍摄的图像包含有多个人体图像，则需要确定一个目标人体图像，从而确定该目标人体的人体行为特征。

具体地，对于每个人体图像，识别面部信息，确定人体身份，例如，老人、孩子或者预设用户。确定人体身份的优先级，以优先级最高的人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。例如，将老人的优先级设置为最高，则在场景包括老人的情况下，根据老人的图像检测老人的关键点信息，进而确定其人体行为，进行目标设备的控制。

或者，根据人体实际位置与摄像头之间的距离，确定距离摄像头最近的人体，以该人体为准，进行其人体行为特征的识别，从而按照其人体行为特征对应的控制信息，控制目标设备。

本申请实施例中，能够在具有多个人体时确定出目标人体，以其行为为准进行设备的控制，提高了设备控制的精准性，避免出现设备控制混乱的问题出现。

在该实施例中，在采集至少一张图像的步骤之前，还包括：采集人体样本图像，并识别采集到的人体样本图像中的样本关键点信息；根据样本关键点信息进行模型训练，得到行为识别模型。

在该技术方案中，获取大量关于坐、跌倒、躺和扫地等动作的人体样本图像，筛选出不符合要求的图像并剔除，再对剩余的图像进行整理和归类。使用现有高效的关键点检测算法，对以上图像进行样本关键点信息检测，将每张图像根据检测到的样本关键点信息分类保存。利用不同类别的图像建立行为识别模型。

本申请实施例，基于关键点检测及行为分类的方法，无需标注，不仅能够节省标注成本，而且泛化性能比基于目标检测人体行为的方式更为优越，提高了识别的精度。通过建立精准的行为识别模型，实现使用更为紧凑、结构性强、对人体活动的描述更加具体、更易区分的基于人体关键点特征识别人体行为的技术方案，提升了模型的鲁棒性和适应性。

在该实施例中，目标设备包括用户终端和电器设备；该方法还包括：接收用户终端发送的控制信号，根据该控制信号对电器设备进行控制。

在该技术方案中，目标设备包括用户终端和电器设备，基于人体行为可以对用户终端和电器设备进行控制。

另外，在基于人体行为特征对电器设备进行控制之后，还可以通过用户终端对电器设备进行控制。具体地，控制设备接收用户终端通过APP发送的控制信号，并将该控制信号转发至电器设备，以实现用户终端对电器设备的控制。

通过上述方式，在基于人体行为特征对电器设备进行控制之后，利用用户发送的控制信号对电器设备进行进一步地修正控制，以满足用户需求。

在一些实施例中，图像为室内场景的图像；目标设备为与所述室内场景对应的设备。

在该技术方案中，拍摄的图像为室内场景下的图像，且所控制的目标设备是与该室内场景相对应的目标设备。例如，若打开空调，则是打开当前房间所对应的空调，而不是其他房间的空调。

在该实施例中，提出了家居场景下，目标检测+关键点检测+具体的行为分析策略+设备联动的技术方案。

具体地，在空调或其他家电设备上嵌入摄像头，实时获取家居场景图像，将实时获取的家居场景图像通过内嵌在家电设备内部的无线通信模块传输至家居控制设备（也即主控设备）。家居控制设备通过加载现有的目标检测算法，实时检测人体目标，并框定人体。对于框定的人体，使用关键点检测算法检测人体关键点，得到人体关键点信息。将人体关键点信息输入基于人体关键点的行为识别模型中，检测出此时人体的行为动作。再结合人体的行为动作，制定一系列行为分析策略，例如：

（1）行为动作为坐，判断是否久坐，若为久坐，则久坐提醒；

（2）行为动作为躺，判断是否休息，若为休息，则打开空调、拉窗帘、关灯；

（3）行为动作为跌倒，判断是否真正跌倒，若为真正跌倒，则语音告警和提示其他家人。

将以上行为分析策略转化为家电设备的控制指令，可以根据控制指令控制相关家电设备的开或关，还可以通过语音交互告知相关用户，进而实现行为识别与家电设备之间的联动。

另外，在家居控制设备和用户终端之间建立一种交互机制，家居控制设将检测到的关键事件通知发送至用户终端，不管是异常行为的提醒还是控制家电的需求，用户终端都可以进行。

在该实施例中，通过制定具体的行为分析策略，使行为识别和家电设备之间的联动更为有效，真正做到集安全预警、健康提示、智能家居为一体的家居联动技术。

在该实施例中，提出了家居场景下，目标检测+关键点检测+行为识别（无具体的分析策略）+设备联动的技术方案。也即，同样使用的是目标检测结合关键点检测的方法，但没有具体的行为分析策略，只要是检测到该行为就向用户反馈。

结合人体的行为动作，触发家电设备联动机制，具体对应如下：

（1）行为动作为躺，则打开空调、拉窗帘、关灯；

（2）行为动作为跌倒，则语音告警和提示其他家人。

根据以上得到的行为动作对应的控制指令，控制相关家电设备的开或关，还可以通过语音交互告知相关用户，进而实现行为识别与家电设备之间的联动。

在该实施例中，提出了家居场景下，图像分割+关键点检测+具体的行为分析策略+设备联动的技术方案。也即，将目标检测算法替换为图像分割的方法，也即，不进行人体框定，而是将人体图像与其背景图像分隔开来。并且，不限于实例分割，还可以是语义分割以及其他分割。使用图像分割结合关键点的行为分析的方法，外加具体的行为分析策略，每种识别的动作分别与不同的家居设备联动，最后将结果反馈给用户。

需要说明的是，人体框定仍然具有部分背景，而人体图像与其背景图像分隔开来能够使得仅仅保留人体的图像，避免了在检测时背景图像的干扰，提高了检测的准确性。

本申请实施例，提出一种计算机程序产品，该计算机程序产品被存储在存储介质中，该计算机程序产品被至少一个处理器执行以实现如上述任一实施例的设备控制方法的步骤。

本申请提供的计算机程序产品，被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该计算机程序产品包括上述任一技术方案的设备控制方法的全部有益效果。

本申请实施例，提出一种设备控制装置，图2示出了本申请实施例的设备控制装置200的示意框图。其中，该设备控制装置200包括：

图像获取模块202，用于获取至少一张图像；

识别模块204，用于在至少一张图像中，识别出人体图像的人体关键点信息，以及根据该人体关键点信息获得人体行为特征；

控制模块206，用于确定与人体行为特征相对应的控制信息，进而根据该控制信息对至少一个目标设备进行控制。

在该技术方案中，该设备控制装置200应用于控制设备，控制设备为智能设备，例如人工智能助手、扫地机器人、智能电视、智能空调等设备。

控制设备通过图像获取模块202获取摄像头拍摄的至少一张图像，利用目标检测算法，在至少一张图像中检测人体目标，确定人体图像。再利用关键点检测算法，在人体图像中检测出人体关键点，得到人体关键点信息，也即，得到一个人体关键点集合。

其中，人体关键点也即人体骨骼关键点，人体骨骼关键点包括但不限于头部、手臂、手部、肩部、腿部、腰部、脚部，且一个人体关键点集合中包括至少两个人体骨骼关键点。

进一步地，确定与该人体关键点信息对应的人体行为特征，获取人体所做的行为，进而根据人体行为特征确定控制信息，根据该控制信息实现对至少一个目标设备的控制。

其中，人体行为特征包括但不限于坐、躺、跌倒、扫地、看书、运动、洗菜、切菜、洗脸等。目标设备包括但不限于用户终端、人工智能助手、扫地机器人、电视、空调、冰箱、电动窗帘、厨房电器等设备。

需要说明的是，摄像头可以安装在家具场景中的任意位置，例如，可以安装在目标设备上，或者家具控制设备上，或者是墙上。至少一张图像可以是录制的一个视频中的一张或多张图像，也可以直接是拍摄得到的一张或多张照片。

本申请实施例中，识别图像中的人体图像的人体关键点，基于人体关键点确定人体行为，由于不是直接根据人体图像识别人体行为，所以，一方面，即便是由于光线和背景图像的影响导致人体图像不完整，也能够基于检测到的人体关键点进行人体行为的预测，能够准确、快速地识别人体行为，避免行为检测的不准确导致的设备控制的不准确；另一方面，无需进行人体图像的标注、模型训练工作，降低了训练成本，降低了实现的复杂性。

另外，相关技术中只是简单的单一设备的控制机制，适用范围有限，泛化性弱。而本申请实施例中，控制的目标设备可以包括一个或多个，能够实现一种行为不仅可以触发一种目标设备的联动，还可以同时触发多种目标设备的联动，使得家居控制更加智能。

本申请实施例，提出了一种控制设备，图3示出了本申请实施例的控制设备300的示意框图。其中，该控制设备300包括存储器302和处理器304。

其中，存储器302中存储了程序或指令，处理器304对该程序或指令进行执行时实现如上述任一技术方案的设备控制方法的步骤。存储器302和处理器304可以通过总线或者其它方式连接。处理器304可包括一个或多个处理单元，处理器304可以为中央处理器（Central Processing Unit，CPU）、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field Programmable Gate Array，FPGA）等芯片。

本申请提供的控制设备300，程序或指令被处理器304执行时实现如上述任一技术方案的设备控制方法的步骤，因此该控制设备300包括上述任一技术方案的设备控制方法的全部有益效果。

本申请实施例，提出了一种控制系统，图4示出了本申请实施例的控制系统的示意图。其中，该控制系统包括：数据获取模块402、控制和处理模块404、用户终端406，数据获取模块402包括摄像头4202和第一通信模块4204，控制和处理模块404包括主控模块4402、家电控制模块4404、目标检测模块4406、关键点检测模块4408、行为识别模块4410以及第二通信模块4412。

摄像头4202内嵌在空调、冰箱或者其他位置，且都能够将数据传输到主控模块4402；第一通信模块4204可以是无线通信或者有线通信，遵守相关通信协议，用于将摄像头4202的数据传输到主控模块4402。

家电控制模块4404可根据行为分析策略控制家电的运转，目标检测模块4406用于检测人体图像，关键点检测模块4408用于检测人体关键点信息，行为识别模块4410用于识别人体行为以及进行行为分析策略。

用户终端406可以查看各个监控，可以接受识别的记录和相关提示信息等，也可以通过APP向主控模块4402发送相关指令。

本申请实施例，提出了一种非易失性可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤。

其中，非易失性可读存储介质包括只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等。

本申请提供的非易失性可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的设备控制方法的步骤，因此该非易失性可读存储介质包括上述任一技术方案的设备控制方法的全部有益效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种设备控制方法，其特征在于，包括：

获取至少一张图像；

识别所述至少一张图像中人体图像的人体关键点信息，并根据所述人体关键点信息确定人体行为特征；

根据与所述人体行为特征对应的控制信息，控制至少一个目标设备；

所述根据与所述人体行为特征对应的控制信息，控制至少一个目标设备，包括：

根据第一信息确定所述人体行为特征所属的行为类型；

根据与所述行为类型对应的控制信息，控制所述至少一个目标设备；

其中，所述第一信息包括：根据所述至少一张图像识别到的人体周围的物体、预设时间段内的包括所述至少一张图像在内的连续多张图像的静态人体行为。

2.根据权利要求1所述的方法，其特征在于，所述根据与所述人体行为特征对应的控制信息，控制至少一个目标设备，包括：

确定与所述人体行为特征对应的所述控制信息，其中所述控制信息包括设备信息以及与所述设备信息相对应的运行参数；

根据所述设备信息，确定至少一个目标设备；

向所述至少一个目标设备发送所述运行参数，以控制所述至少一个目标设备按照所述运行参数运行。

3.根据权利要求1或2所述的方法，其特征在于，所述识别所述至少一张图像中人体图像的关键点信息，并根据所述关键点信息确定人体行为特征，包括：

在所述至少一张图像中确定人体图像，并在所述人体图像中提取所述人体关键点信息；

将所述人体关键点信息输入至预存的行为识别模型，输出所述人体行为特征。

4.根据权利要求1或2所述的方法，其特征在于，所述识别所述至少一张图像中人体图像的人体关键点信息，包括：

在所述至少一张图像中包括多个人体图像的情况下，分别识别多个所述人体图像的人体特征信息；

根据所述人体特征信息，确定目标人体图像，并识别所述目标人体图像的人体关键点信息。

5.根据权利要求3所述的方法，其特征在于，在所述获取至少一张图像之前，还包括：

获取人体样本图像，并根据所述人体样本图像获取样本关键点信息；

根据所述样本关键点信息进行模型训练，建立所述行为识别模型。

6.根据权利要求1或2所述的方法，其特征在于，所述目标设备包括用户终端和电器设备；所述方法还包括：

接收来自所述用户终端的控制信号，根据所述控制信号控制所述电器设备。

7.根据权利要求1或2所述的方法，其特征在于，

所述至少一张图像为室内场景的图像；

所述目标设备为与所述室内场景对应的设备。

8.一种控制设备，其特征在于，包括：

存储器，存储有程序或指令；

处理器，所述处理器执行所述程序或指令时实现如权利要求1至7中任一项所述的设备控制方法的步骤。

9.一种非易失性可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的设备控制方法的步骤。