CN113971835A - 一种家电设备的控制方法、装置、存储介质及终端设备 - Google Patents

一种家电设备的控制方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN113971835A
CN113971835A CN202111118132.0A CN202111118132A CN113971835A CN 113971835 A CN113971835 A CN 113971835A CN 202111118132 A CN202111118132 A CN 202111118132A CN 113971835 A CN113971835 A CN 113971835A
Authority
CN
China
Prior art keywords
dimensional space
coordinate value
household appliance
key point
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118132.0A
Other languages
English (en)
Inventor
陈英博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianzhou International Technology Co Ltd
Original Assignee
Shenzhen Lianzhou International Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianzhou International Technology Co Ltd filed Critical Shenzhen Lianzhou International Technology Co Ltd
Priority to CN202111118132.0A priority Critical patent/CN113971835A/zh
Publication of CN113971835A publication Critical patent/CN113971835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种家电设备的控制方法、装置、存储介质及终端设备，包括：获取待检测深度数据；对待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；将骨骼关键点的三维图像坐标值转换到世界坐标系下，获得骨骼关键点的三维空间坐标值；根据骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；根据骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对目标家电设备进行控制。采用本发明的技术方案通过将骨骼关键点坐标数据与环境数据统一到同一坐标系中，并且根据骨骼关键点坐标数据进行指向型动作以及控制型动作检测，能够提高家电设备控制的准确性。

Description

一种家电设备的控制方法、装置、存储介质及终端设备
技术领域
本发明涉及家电控制技术领域，尤其涉及一种家电设备的控制方法、装置、计算机可读存储介质及终端设备。
背景技术
目前，基于图片或视频的动作识别技术已经比较成熟，根据传感器的不同，主要分为基于RGB图片/视频的动作识别和基于点云或深度图的动作识别。动作识别是先分析出图像中的人体骨骼关键点的位置，再根据关键点的运动趋势来识别动作。
动作识别技术的应用非常广泛，这类应用一般会预置若干个动作模板，例如，在滑雪体感游戏中，根据识别出的关键点位置与设置的动作模板进行匹配来识别动作，若检测到腿部弯曲，则认为是正在进行滑雪动作。
但是，这类应用无法与环境进行更多的互动，根本原因在于无法将骨骼关键点数据与环境数据统一到同一坐标系中，并且无法知道环境中到底具有哪些可交互设备。例如，如果室内有3个灯，我们可以预置手势来控制，假设伸1个手指表示打开第1个灯，依次类推，然而，当室内家电较多时，这种方式就比较麻烦，无法准确控制每一个家电。
发明内容
本发明实施例所要解决的技术问题在于，提供一种家电设备的控制方法、装置、计算机可读存储介质及终端设备，通过将骨骼关键点坐标数据与环境数据统一到同一坐标系中，并且根据骨骼关键点坐标数据进行指向型动作以及控制型动作检测，能够提高家电设备控制的准确性。
为了解决上述技术问题，本发明实施例提供了一种家电设备的控制方法，包括：
获取待检测深度数据；
对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
进一步地，所述获取待检测深度数据，具体包括：
通过深度传感器采集获取所述待检测深度数据；
则，所述将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值，具体包括：
获取所述深度传感器在世界坐标系下的位姿参数；
根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像坐标值进行坐标转换，获得所述骨骼关键点的三维空间坐标值。
进一步地，所述获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张背景深度图像，根据所述M张背景深度图像进行背景建模，获得背景图像；其中，M>0；
当所述深度传感器的视野内存在移动机器人时，通过所述深度传感器获取移动机器人在N个不同位置所对应的N张深度图像；其中，N>1；
根据所述背景图像和所述N张深度图像获取N张掩码图像；
分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计算，对应获得N个聚类中心；其中，第i张掩码图像对应的聚类中心为pi＝(ui，vi，di)，(ui，vi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度值，i＝1，2，…，N；
根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数。
进一步地，所述根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
根据公式
Figure BDA0003274840170000031
进行求解，相应获得所述深度传感器在世界坐标系下的位姿参数Hd；其中，Pi表示移动机器人在第i个位置所对应的第i个三维空间坐标值，
Figure BDA0003274840170000032
表示将第i个聚类中心转换到三维空间后的坐标值，Ks表示所述深度传感器的内参矩阵。
进一步地，所述根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备，具体包括：
根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标值和预设的终点关键点的三维空间坐标值；
获取室内所有的家电设备的三维空间坐标值以及设备信息；
根据所述起点关键点的三维空间坐标值、所述终点关键点的三维空间坐标值和室内所有家电设备的三维空间坐标值，分别获取每一台家电设备的位置与人体位置之间的夹角；
根据最小夹角对应的家电设备的三维空间坐标值以及设备信息，确定所述目标家电设备。
进一步地，所述方法通过以下步骤获取室内任意一台家电设备的三维空间坐标值以及设备信息：
在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值获取所述匹配特征点的三维空间坐标值；
根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干个家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的位置信息。
进一步地，所述根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制，具体包括：
将所述骨骼关键点的三维空间坐标值与预设的控制动作模板进行匹配；
根据匹配成功的控制动作模板确定人体的控制动作；
根据确定的人体的控制动作对所述目标家电设备进行控制。
为了解决上述技术问题，本发明实施例还提供了一种家电设备的控制装置，包括：
深度数据获取模块，用于获取待检测深度数据；
骨骼关键点坐标获取模块，用于对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
骨骼关键点坐标转换模块，用于将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
目标家电设备确定模块，用于根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
目标家电设备控制模块，用于根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的家电设备的控制方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的家电设备的控制方法。
与现有技术相比，本发明实施例提供了一种家电设备的控制方法、装置、计算机可读存储介质及终端设备，先对获取的待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值，并将骨骼关键点的三维图像坐标值转换到世界坐标系下，获得骨骼关键点的三维空间坐标值；再根据骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备，从而根据骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对目标家电设备进行控制；通过将骨骼关键点坐标数据与环境数据统一到同一坐标系中，并且根据骨骼关键点坐标数据进行指向型动作以及控制型动作检测，从而提高了家电设备控制的准确性。
附图说明
图1是本发明提供的一种家电设备的控制方法的一个优选实施例的流程图；
图2是本发明提供的一种家电设备的控制装置的一个优选实施例的结构框图；
图3是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种家电设备的控制方法，参见图1所示，是本发明提供的一种家电设备的控制方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S15：
步骤S11、获取待检测深度数据；
步骤S12、对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
步骤S13、将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
步骤S14、根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
步骤S15、根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
具体的，首先，获取室内人体所对应的待检测深度数据，并对获得的待检测深度数据进行人体骨骼关键点检测，获取人体骨骼关键点的三维图像坐标值；接着，将获得的人体骨骼关键点的三维图像坐标值转换到世界坐标系下，相应获得人体骨骼关键点的三维空间坐标值；最后，根据人体骨骼关键点的三维空间坐标值进行指向型动作检测，以根据指向型动作检测结果确定室内所有家电设备中的目标家电设备，并根据人体骨骼关键点的三维空间坐标值进行控制型动作检测，以根据控制型动作检测结果对确定的目标家电设备进行相应控制。
本发明实施例将一个完整的用户动作拆分为两种类型的动作，即指向型动作和控制型动作，检测指向型动作的目的是为了确定被控家电设备的方向，以根据被控家电设备的方向确定被控制的目标家电设备，例如，将根据用户的左肘、左手腕这两个骨骼关键点所确定的方向作为指向型动作检测结果；检测控制型动作的目的是为了确定将要对目标家电设备执行的控制动作，以根据控制动作对目标家电设备进行相应控制，控制型动作一般包含一种特殊的动作控制姿势，例如，设置右手握拳及“five”型手势分别表示开及关两个控制动作；完整的用户动作必须既包含指向型动作，又包含控制型动作，保证准确控制家电设备；其中，指向型动作和控制型动作可以先后发出，也可以同时发出，例如，用户可以先发出指向型动作，再发出控制型动作，也可以先发出控制型动作，再发出指向型动作，还可以指向型动作和控制型动作同时发出。
需要说明的是，在对待检测深度数据进行人体骨骼关键点检测时，如果检测到多个人体对应的骨骼关键点的三维图像坐标值，可以先将多个人体对应的骨骼关键点的三维图像坐标值全部转换到统一的世界坐标系下，相应获得多个人体对应的骨骼关键点的三维空间坐标值，再基于多个人体对应的骨骼关键点的三维空间坐标值，判断多个人体在世界坐标系下是否重合，若重合，说明多个人体实质上是同一个人体，则选择多个人体中的任意一个人体对应的骨骼关键点的三维空间坐标值进行后续处理；若不重合，说明多个人体不是同一个人体，则可以通过用户识别来识别多个人体所表示的每一个用户以及每一个用户对应的优先级，分别根据每一个用户对应的骨骼关键点的三维空间坐标值以及每一个用户对应的优先级进行后续处理；其中，优先级可以由用户自行设置，用户不设置的话就随意给一个默认设置。
可以理解的，用户识别可以根据现有技术提供的各种图像识别中使用的方法，例如人脸识别，也可以根据骨骼关键点的信息确定用户的高度、臂长等信息，并根据用户预先录入的身高、臂长等信息来识别用户。
另外，人体骨骼关键点可以包括人体的头部、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、胸部、骨盆、左髋、右髋、左膝盖、左脚踝、右膝盖和右脚踝等。
本发明实施例所提供的一种家电设备的控制方法，通过将人体骨骼关键点的三维图像坐标值转换到世界坐标系下，以将人体骨骼关键点坐标数据与环境数据统一到同一坐标系中，并且根据世界坐标系下的人体骨骼关键点的坐标数据进行指向型动作以及控制型动作检测，以根据指向型动作检测结果以及控制型动作检测结果对确定的目标家电设备进行相应控制，从而提高了家电设备控制的准确性。
在另一个优选实施例中，所述获取待检测深度数据，具体包括：
通过深度传感器采集获取所述待检测深度数据；
则，所述将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值，具体包括：
获取所述深度传感器在世界坐标系下的位姿参数；
根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像坐标值进行坐标转换，获得所述骨骼关键点的三维空间坐标值。
具体的，结合上述实施例，在获取室内人体所对应的待检测深度数据时，可以通过深度传感器采集获取人体所对应的待检测深度数据，相应的，在对人体骨骼关键点的三维图像坐标值进行世界坐标转换时，由于深度数据是基于深度传感器获得的，因此，需要利用深度传感器在世界坐标系下的位姿参数进行坐标转换，即，先获取深度传感器在世界坐标系下的位姿参数，该位姿参数为深度传感器对应的空间变换矩阵H＝{R|t}，再根据深度传感器的空间变换矩阵H＝{R|t}将人体骨骼关键点的三维图像坐标值对应转换为世界坐标系下的三维空间坐标值。
例如，检测到某个骨骼关键点的三维图像坐标值为P，则通过公式P’＝H*P就可以将该骨骼关键点的三维图像坐标值P从深度传感器对应的坐标系转换为世界坐标系下的三维空间坐标值P’。
需要说明的是，为了获取人体骨骼关键点的深度信息，现有技术提供的方法一般包括以下几种：(1)使用深度传感器采集深度图像，并利用深度图像提取骨骼关键点的深度数据，再进行相应的3D骨骼关键点检测，但是，这种方法精度较低；(2)使用深度相机，用一个相机的RGB图像识别骨骼关键点，然后用双目视觉的方法通过两个视角的图片恢复出深度，再通过深度将RGB图像上的关键点转换为三维坐标；(3)通过RGB传感器(即获取图像数据)进行2D骨骼关键点检测，虽然精度较高，但是无法得到3D关键点；(4)利用RGBD传感器(即获取RGBD数据)，先用RGB数据进行2D检测，再用D数据(深度数据)将2D坐标转变成3D坐标；本发明实施例是为了获取骨骼关键点的3D坐标，因此，除了上述方法(3)之外，可采用上述方法(1)、(2)和(4)中的任意一种方法，区别只是精度高低的问题。
作为上述方案的改进，所述获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张背景深度图像，根据所述M张背景深度图像进行背景建模，获得背景图像；其中，M>0；
当所述深度传感器的视野内存在移动机器人时，通过所述深度传感器获取移动机器人在N个不同位置所对应的N张深度图像；其中，N>1；
根据所述背景图像和所述N张深度图像获取N张掩码图像；
分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计算，对应获得N个聚类中心；其中，第i张掩码图像对应的聚类中心为pi＝(ui，vi，di)，(ui，vi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度值，i＝1，2，…，N；
根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数。
具体的，结合上述实施例，深度传感器在世界坐标系下的位姿参数的获取方案如下：
首先，当深度传感器的视野内不存在移动机器人(即不存在运动)时，通过深度传感器采集获取M(M>0)张背景深度图像，并根据采集到的M张背景深度图像进行背景建模，相应获得深度传感器的视野内的背景图像，当深度传感器的视野内存在移动机器人(即存在运动)时，通过深度传感器采集获取移动机器人在N(N>1)个不同位置所对应的N张深度图像，并且分别获取移动机器人在N个不同位置所对应的世界坐标系下的三维空间坐标值，相应获得移动机器人对应的N个三维空间坐标值；其中，利用移动机器人以及SLAM算法(Simultaneous Localization and Mapping，同步定位与地图构建算法)对深度传感器的监控区域环境进行建图，相应获得监控区域所对应的环境栅格地图，以确定世界坐标系，移动机器人根据构建好的环境栅格地图以及SLAM定位功能即可确定自身在世界坐标系下的三维空间坐标值，从而可以对应获得移动机器人在N个不同位置所对应的世界坐标系下的三维空间坐标值。
接着，将获得的背景图像分别与每一张深度图像进行帧差计算，对应获得N张帧差图像，再根据预先设置的深度阈值分别对每一张帧差图像进行相应处理，对应获得N张掩码图像；其中，每一张帧差图像的处理方法相同，这里以第i张帧差图像的处理方法为例，将第i张帧差图像上的每一个像素点的深度值分别与预先设置的深度阈值进行比较，当判定任意一个像素点的深度值大于预先设置的深度阈值时，将该像素点标记为1，当判定任意一个像素点的深度值不大于预先设置的深度阈值时，将该像素点标记为0，相应的，在对第i张帧差图像上的每一个像素点进行1或0的标记之后，根据标记处理后的第i张帧差图像对应获得第i张掩码图像。
然后，分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计算，对应获得N个聚类中心；其中，以第i张掩码图像的处理方法为例，对第i张掩码图像上的所有标记为1的像素点的uv坐标值及深度值d进行求平均值计算，相应获得第i张掩码图像对应的聚类中心表示为pi＝(ui，vi，di)，(ui，vi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度值，i＝1，2，…，N。
最后，根据获得的移动机器人对应的N个三维空间坐标值、N个聚类中心和深度传感器的内参矩阵，可以计算获得深度传感器的位姿参数；其中，深度传感器的内参矩阵一般由厂家给定或事先标定，属于已知参数。
需要说明的是，同一个深度传感器在标定过程中一般不会旋转，即位姿不变，在这种情况下，采集到的至少一张背景深度图像是相似的，可能由于存在噪声，每一张背景深度图像会存在比较小的差异，因此，在根据采集到的M张背景深度图像获得深度传感器的视野内的背景图像时，可以仅利用一张背景深度图像相应获得深度传感器的视野内的背景图像，也可以利用多张背景深度图像相应获得深度传感器的视野内的背景图像；其中，若利用多张背景深度图像，可以通过对多张背景深度图像中的每一个像素点的深度值进行求平均值处理，相应获得深度传感器的视野内的背景图像。
作为上述方案的改进，所述根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
根据公式
Figure BDA0003274840170000111
进行求解，相应获得所述深度传感器在世界坐标系下的位姿参数Hd；其中，Pi表示移动机器人在第i个位置所对应的第i个三维空间坐标值，
Figure BDA0003274840170000112
表示将第i个聚类中心转换到三维空间后的坐标值，Ks表示所述深度传感器的内参矩阵。
具体的，结合上述实施例，在根据获得的移动机器人对应的N个三维空间坐标值和N个聚类中心，计算获得深度传感器的位姿参数时，可以根据公式
Figure BDA0003274840170000113
进行求解，相应获得深度传感器的位姿参数Hd，Pi表示移动机器人在第i个位置所对应的第i个三维空间坐标值，
Figure BDA0003274840170000114
表示将第i个聚类中心pi＝(ui，vi，di)转换到世界坐标系下的位置信息(三维空间坐标值)，Ks表示深度传感器的内参矩阵，
Figure BDA0003274840170000115
表示两个三维向量的欧氏距离。
需要说明的是，深度传感器的位姿参数Hd即为深度传感器的空间变换矩阵或深度传感器相对于世界坐标系的位姿，通过位姿参数Hd可以将深度传感器采集的深度图像上的一个点(u，v)转换为世界坐标系下的三维坐标值(x，y，z)。
在又一个优选实施例中，所述根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备，具体包括：
根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标值和预设的终点关键点的三维空间坐标值；
获取室内所有的家电设备的三维空间坐标值以及设备信息；
根据所述起点关键点的三维空间坐标值、所述终点关键点的三维空间坐标值和室内所有家电设备的三维空间坐标值，分别获取每一台家电设备的位置与人体位置之间的夹角；
根据最小夹角对应的家电设备的三维空间坐标值以及设备信息，确定所述目标家电设备。
具体的，结合上述实施例，在进行指向型动作检测时，可以预先选择人体骨骼关键点中的任意两个骨骼关键点分别作为起点关键点和终点关键点，则根据获得的所有人体骨骼关键点的三维空间坐标值就可以相应获得起点关键点的三维空间坐标值和终点关键点的三维空间坐标值，接着，根据预先获得的室内所有家电设备在世界坐标系下的三维空间坐标值，以及起点关键点的三维空间坐标值和终点关键点的三维空间坐标值，分别计算每一台家电设备的位置与人体位置之间的夹角，选出其中的最小夹角，则将最小夹角对应的家电设备作为目标家电设备，最小夹角对应的家电设备的三维空间坐标值以及设备信息，即为目标家电设备的三维空间坐标值以及设备信息。
例如，令Pstart与Pend分别表示起点关键点和终点关键点，假设室内共有X台家电设备，每一台家电设备在世界坐标系下的位置对应为P1、P2、…、PX，对于第i(i＝1，2，…，X)台家电设备，计算向量(Pi-Pstart)与(Pend-Pstart)之间的夹角(或者也可以计算其他两个向量之间的夹角)，则这两个三维向量的夹角即可以表示为第i台家电设备的位置与人体位置之间的夹角，同理可以获得X台家电设备的位置与人体位置之间对应的X个夹角，找出其中夹角最小的家电设备作为目标家电设备。
需要说明的是，除了将最小夹角对应的家电设备作为目标家电设备之外，也可以预先设置一个角度阈值，确定夹角小于该角度阈值的至少一台家电设备，再从至少一台家电设备中选择距离人体最近的家电设备作为目标家电设备。
作为上述方案的改进，所述方法通过以下步骤获取室内任意一台家电设备的三维空间坐标值以及设备信息：
在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值获取所述匹配特征点的三维空间坐标值；
根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干个家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的位置信息。
具体的，结合上述实施例，在对家电设备进行控制之前，本发明实施例预先获取了室内所有被控家电设备的三维空间坐标值以及设备信息，任意一台家电设备的三维空间坐标值以及设备信息的获取方案如下：
首先，在室内的第一位置处拍摄包含家电设备的第一图像，并获取第一图像中的第一家电设备对应的第一设备类型以及第一家电设备在第一图像中对应的第一目标区域，同理，在室内的第二位置处拍摄包含家电设备的第二图像，并获取第二图像中的第二家电设备对应的第二设备类型以及第二家电设备在第二图像中对应的第二目标区域；其中，第一图像可以通过移动机器人上的摄像头采集获得，当移动机器人运动到室内的第一位置处时，拍摄包含第一家电设备的第一图像，并采用现有技术提供的图像识别方法对第一图像进行图像识别，相应获得第一图像中的第一家电设备所对应的第一设备类型，以及，采用现有技术提供的运动目标检测方法对第一图像进行运动目标检测，相应获得第一图像中的第一家电设备所对应的第一目标区域，第二图像同理。
接着，判断获得的第一设备类型和第二设备类型是否相同，当判定第一设备类型与第二设备类型相同(即第一家电设备与第二家电设备为同一台家电设备)时，对获得的第一目标区域和第二目标区域进行特征点提取以及特征点匹配处理，相应获得匹配特征点；其中，可以采用SIFT算法(Scale Invariant Feature Transform，尺度不变特征转换算法)或SURF算法(Speeded Up Robust Features，加速稳健特征算法)，对第一目标区域内的局部图像和第二目标区域内的局部图像进行特征点提取，并根据提取到的第一目标区域对应的特征点和第二目标区域对应的特征点进行特征点匹配，相应获得第一目标区域和第二目标区域的匹配特征点。
然后，根据第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，计算获得匹配特征点对应的三维空间坐标值；其中，可以采用SLAM算法(SimultaneousLocalization and Mapping，同步定位与地图构建算法)获取移动机器人在第一位置处的第一位姿参数S1＝{R1|t1}及其对应的三维空间坐标值(即为第一位置对应的三维空间坐标值)，以及获取移动机器人在第二位置处的第二位姿参数S2＝{R2|t2}及其对应的三维空间坐标值(即为第二位置对应的三维空间坐标值)，并且由于匹配特征点是基于图像坐标系下的特征点，因此，需要先通过拍摄图像时所使用的摄像头对应的相机成像模型将匹配特征点转换为三维相机坐标系下的第一匹配特征点，再通过获得的第一位姿参数S1(即第一空间变换矩阵)将第一匹配特征点转换到世界坐标系下，并且相应形成了以第一位置为起点的第一射线，同理，通过获得的第二位姿参数S2将第一匹配特征点转换到世界坐标系下，并且相应形成了以第二位置为起点的第二射线，利用三角交汇法，根据第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，求取第一射线和第二射线的交点对应的三维空间坐标值，即获得匹配特征点对应的三维空间坐标值。
最后，根据第一设备类型查询预先设置的家电设备信息表，家电设备信息表中记录了室内的若干台家电设备以及每一台家电设备对应的设备信息(例如，设备类型、设备功能等相关设备信息)，以找出在家电设备信息表中设备类型与第一设备类型相同的家电设备，当在家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，可以理解的，找到的家电设备即为第一家电设备，则将找到的家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值，从而将家电设备的设备信息与三维空间坐标值一一对应关联起来，同时实现了家电设备的定位以及家电设备的识别。
另外，在根据第一设备类型查询预先设置的家电设备信息表时，如果家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有Y台(Y>1)，即相同设备类型的家电设备有多台，则可以结合用户在室内实际所处的位置和房间信息来相应获取第一家电设备的设备信息和三维空间坐标值。
例如，可以根据预先设置的通信协议与室内的家电设备进行通信，先获取第一家电设备当前所处的工作状态，以判断第一家电设备当前是否正在运行，当判定第一家电设备当前正在运行时，获取用户对应的三维空间坐标值，再根据Y台家电设备对应的三维空间坐标值(Y台家电设备对应的三维空间坐标值同样可以采用上述实施例中的三角交汇法分别进行计算获得)和获得的用户的三维空间坐标值，结合室内的房间信息，确定Y台家电设备中与用户处于同一房间的家电设备，并作为第一目标家电设备，第一目标家电设备即为第一家电设备，则将第一目标家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值。
或者，也可以根据Y台家电设备对应的三维空间坐标值和获得的用户的三维空间坐标值，分别计算Y台家电设备中的每一台家电设备与用户之间的距离，找出Y台家电设备中与用户的距离最近的家电设备，并作为第二目标家电设备，第二目标家电设备即为第一家电设备，则将第二目标家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值。
在又一个优选实施例中，所述根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制，具体包括：
将所述骨骼关键点的三维空间坐标值与预设的控制动作模板进行匹配；
根据匹配成功的控制动作模板确定人体的控制动作；
根据确定的人体的控制动作对所述目标家电设备进行控制。
具体的，结合上述实施例，在进行控制型动作检测时，可以预先设置若干个控制动作模板，不同的控制动作模板分别表示向家电设备发出的不同的控制命令，则将获得的人体骨骼关键点的三维空间坐标值与预先设置的控制动作模板进行匹配，可以根据匹配成功的控制动作模板确定对应的人体的控制动作，即相应确定对应的控制命令，结合指向型动作检测结果确定的目标家电设备以及控制型动作检测结果确定的人体的控制动作，即根据确定的人体的控制动作对目标家电设备进行相应控制。
本发明实施例还提供了一种家电设备的控制装置，参见图2所示，是本发明提供的一种家电设备的控制装置的一个优选实施例的结构框图，所述装置包括：
深度数据获取模块11，用于获取待检测深度数据；
骨骼关键点坐标获取模块12，用于对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
骨骼关键点坐标转换模块13，用于将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
目标家电设备确定模块14，用于根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
目标家电设备控制模块15，用于根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
优选地，所述深度数据获取模块11，具体包括：
深度数据获取单元，用于通过深度传感器采集获取所述待检测深度数据；
则，所述骨骼关键点坐标转换模块13具体包括：
传感器位姿获取单元，用于获取所述深度传感器在世界坐标系下的位姿参数；
骨骼关键点坐标转换单元，用于根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像坐标值进行坐标转换，获得所述骨骼关键点的三维空间坐标值。
优选地，所述传感器位姿获取单元具体包括：
背景图像获取子单元，用于当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张背景深度图像，根据所述M张背景深度图像进行背景建模，获得背景图像；其中，M>0；
深度图像获取子单元，用于当所述深度传感器的视野内存在移动机器人时，通过所述深度传感器获取移动机器人在N个不同位置所对应的N张深度图像；其中，N>1；
掩码图像获取子单元，用于根据所述背景图像和所述N张深度图像获取N张掩码图像；
掩码图像处理子单元，用于分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计算，对应获得N个聚类中心；其中，第i张掩码图像对应的聚类中心为pi＝(ui，vi，di)，(ui，vi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度值，i＝1，2，…，N；
传感器位姿获取子单元，用于根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数。
优选地，所述传感器位姿获取子单元具体用于：
根据公式
Figure BDA0003274840170000181
进行求解，相应获得所述深度传感器在世界坐标系下的位姿参数Hd；其中，Pi表示移动机器人在第i个位置所对应的第i个三维空间坐标值，
Figure BDA0003274840170000182
表示将第i个聚类中心转换到三维空间后的坐标值，Ks表示所述深度传感器的内参矩阵。
优选地，所述目标家电设备确定模块14具体包括：
起点及终点坐标获取单元，用于根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标值和预设的终点关键点的三维空间坐标值；
家电设备定位及识别单元，用于获取室内所有的家电设备的三维空间坐标值以及设备信息；
夹角计算单元，用于根据所述起点关键点的三维空间坐标值、所述终点关键点的三维空间坐标值和室内所有家电设备的三维空间坐标值，分别获取每一台家电设备的位置与人体位置之间的夹角；
目标家电设备确定单元，用于根据最小夹角对应的家电设备的三维空间坐标值以及设备信息，确定所述目标家电设备。
优选地，所述家电设备定位及识别单元具体用于：
在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值获取所述匹配特征点的三维空间坐标值；
根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干个家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的位置信息。
优选地，所述目标家电设备控制模块15具体包括：
控制动作匹配单元，用于将所述骨骼关键点的三维空间坐标值与预设的控制动作模板进行匹配；
控制动作确定单元，用于根据匹配成功的控制动作模板确定人体的控制动作；
目标家电设备控制单元，用于根据确定的人体的控制动作对所述目标家电设备进行控制。
需要说明的是，本发明实施例所提供的一种家电设备的控制装置，能够实现上述任一实施例所述的家电设备的控制方法的所有流程，装置中的各个模块、单元及子单元的作用以及实现的技术效果分别与上述实施例所述的家电设备的控制方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的家电设备的控制方法。
本发明实施例还提供了一种终端设备，参见图3所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的家电设备的控制方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种家电设备的控制方法、装置、计算机可读存储介质及终端设备，先对获取的待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值，并将骨骼关键点的三维图像坐标值转换到世界坐标系下，获得骨骼关键点的三维空间坐标值；再根据骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备，从而根据骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对目标家电设备进行控制；通过将人体骨骼关键点的三维图像坐标值转换到世界坐标系下，以将人体骨骼关键点坐标数据与环境数据统一到同一坐标系中，并且根据世界坐标系下的人体骨骼关键点的坐标数据进行指向型动作以及控制型动作检测，以根据指向型动作检测结果以及控制型动作检测结果对确定的目标家电设备进行相应控制，从而提高了家电设备控制的准确性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种家电设备的控制方法，其特征在于，包括：
获取待检测深度数据；
对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
2.如权利要求1所述的家电设备的控制方法，其特征在于，所述获取待检测深度数据，具体包括：
通过深度传感器采集获取所述待检测深度数据；
则，所述将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值，具体包括：
获取所述深度传感器在世界坐标系下的位姿参数；
根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像坐标值进行坐标转换，获得所述骨骼关键点的三维空间坐标值。
3.如权利要求2所述的家电设备的控制方法，其特征在于，所述获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张背景深度图像，根据所述M张背景深度图像进行背景建模，获得背景图像；其中，M>0；
当所述深度传感器的视野内存在移动机器人时，通过所述深度传感器获取移动机器人在N个不同位置所对应的N张深度图像；其中，N>1；
根据所述背景图像和所述N张深度图像获取N张掩码图像；
分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计算，对应获得N个聚类中心；其中，第i张掩码图像对应的聚类中心为pi＝(ui，vi，di)，(ui，vi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度值，i＝1，2，…，N；
根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数。
4.如权利要求3所述的家电设备的控制方法，其特征在于，所述根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获取所述深度传感器在世界坐标系下的位姿参数，具体包括：
根据公式
Figure FDA0003274840160000021
进行求解，相应获得所述深度传感器在世界坐标系下的位姿参数Hd；其中，Pi表示移动机器人在第i个位置所对应的第i个三维空间坐标值，
Figure FDA0003274840160000022
表示将第i个聚类中心转换到三维空间后的坐标值，Ks表示所述深度传感器的内参矩阵。
5.如权利要求1所述的家电设备的控制方法，其特征在于，所述根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备，具体包括：
根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标值和预设的终点关键点的三维空间坐标值；
获取室内所有的家电设备的三维空间坐标值以及设备信息；
根据所述起点关键点的三维空间坐标值、所述终点关键点的三维空间坐标值和室内所有家电设备的三维空间坐标值，分别获取每一台家电设备的位置与人体位置之间的夹角；
根据最小夹角对应的家电设备的三维空间坐标值以及设备信息，确定所述目标家电设备。
6.如权利要求5所述的家电设备的控制方法，其特征在于，所述方法通过以下步骤获取室内任意一台家电设备的三维空间坐标值以及设备信息：
在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值获取所述匹配特征点的三维空间坐标值；
根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干个家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的位置信息。
7.如权利要求1～6任一项所述的家电设备的控制方法，其特征在于，所述根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制，具体包括：
将所述骨骼关键点的三维空间坐标值与预设的控制动作模板进行匹配；
根据匹配成功的控制动作模板确定人体的控制动作；
根据确定的人体的控制动作对所述目标家电设备进行控制。
8.一种家电设备的控制装置，其特征在于，包括：
深度数据获取模块，用于获取待检测深度数据；
骨骼关键点坐标获取模块，用于对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标值；
骨骼关键点坐标转换模块，用于将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所述骨骼关键点的三维空间坐标值；
目标家电设备确定模块，用于根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根据指向型动作检测结果确定目标家电设备；
目标家电设备控制模块，用于根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根据控制型动作检测结果对所述目标家电设备进行控制。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的家电设备的控制方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的家电设备的控制方法。
CN202111118132.0A 2021-09-23 2021-09-23 一种家电设备的控制方法、装置、存储介质及终端设备 Pending CN113971835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118132.0A CN113971835A (zh) 2021-09-23 2021-09-23 一种家电设备的控制方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118132.0A CN113971835A (zh) 2021-09-23 2021-09-23 一种家电设备的控制方法、装置、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN113971835A true CN113971835A (zh) 2022-01-25

Family

ID=79586791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118132.0A Pending CN113971835A (zh) 2021-09-23 2021-09-23 一种家电设备的控制方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113971835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518801A (zh) * 2022-02-18 2022-05-20 美的集团(上海)有限公司 设备控制方法、计算机程序产品、控制设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518801A (zh) * 2022-02-18 2022-05-20 美的集团(上海)有限公司 设备控制方法、计算机程序产品、控制设备和存储介质
CN114518801B (zh) * 2022-02-18 2023-10-27 美的集团(上海)有限公司 设备控制方法、控制设备和存储介质

Similar Documents

Publication Publication Date Title
CN110411441B (zh) 用于多模态映射和定位的系统和方法
US9002099B2 (en) Learning-based estimation of hand and finger pose
He et al. Sparse template-based 6-D pose estimation of metal parts using a monocular camera
US8824781B2 (en) Learning-based pose estimation from depth maps
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
US8879787B2 (en) Information processing device and information processing method
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
WO2012077286A1 (ja) 物体検出装置および物体検出方法
JP2012518857A (ja) 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定
WO2015051827A1 (en) Method of determining a similarity transformation between first and second coordinates of 3d features
CN110909580A (zh) 数据处理方法及装置、电子设备及存储介质
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
JP2012185752A (ja) ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
Shi et al. Extrinsic calibration and odometry for camera-LiDAR systems
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN110647782A (zh) 三维人脸重建与多姿态人脸识别方法及装置
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN113487674B (zh) 一种人体位姿估计系统和方法
CN113971835A (zh) 一种家电设备的控制方法、装置、存储介质及终端设备
Munkelt et al. A model driven 3D image interpretation system applied to person detection in video images
Lee et al. Robust recognition and pose estimation of 3d objects based on evidence fusion in a sequence of images
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
JP2007042136A (ja) 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
Weinrich et al. Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots
CN117238031A (zh) 一种虚拟人的动作捕捉方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination