CN112528752A - 用于识别手势的方法、装置、处理器及热水器 - Google Patents
用于识别手势的方法、装置、处理器及热水器 Download PDFInfo
- Publication number
- CN112528752A CN112528752A CN202011290079.8A CN202011290079A CN112528752A CN 112528752 A CN112528752 A CN 112528752A CN 202011290079 A CN202011290079 A CN 202011290079A CN 112528752 A CN112528752 A CN 112528752A
- Authority
- CN
- China
- Prior art keywords
- gesture
- user
- instruction
- identity information
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 13
- 230000005021 gait Effects 0.000 claims abstract description 77
- 230000009471 action Effects 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 17
- 210000000689 upper leg Anatomy 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 66
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例提供一种用于识别手势的方法、装置、处理器、热水器及存储介质。方法包括：获取用户的步态信息；将步态信息输入至步态识别模型，以确定用户的身份信息；获取用户的当前手势；将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；根据与身份信息绑定的预存手势对预测手势指令进行确认；根据确认后的手势指令执行对应的控制操作，以此可以通过步态识别确定出用户的身份信息，进一步辅助系统对手势的识别，有效地提升了手势识别的准确率。
Description
技术领域
本发明涉及计算机技术领域，具体地涉及一种用于识别手势的方法、装置、处理器及热水器。
背景技术
随着计算机技术的发展，人们对于智能家电的要求越来越高。如何在用户进入浴室的情况下，就识别出用户，并能够让用户可以通过手势对浴室内的水温等相关参数进行调整是当前需要研究的课题。
然而，由于用户对家居环境隐私的敏感性，通常不会在浴室内安装传统的摄像头，以避免暴露用户的隐私。
发明内容
本发明实施例的目的是提供一种用于识别手势的方法、装置、处理器、热水器及存储介质。
为了实现上述目的，本发明第一方面提供一种用于识别手势的方法，包括：
获取用户的步态信息；
将步态信息输入至步态识别模型，以确定用户的身份信息；
获取用户的当前手势；
将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；
根据与身份信息绑定的预存手势对预测手势指令进行确认；
根据确认后的手势指令执行对应的控制操作。
在本发明的实施例中，根据与身份信息绑定的预存手势对手势指令进行确认包括：将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在本发明的实施例中，方法还包括：在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在本发明的实施例中，方法还包括：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
在本发明的实施例中，获取用户的当前手势包括：获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在本发明的实施例中，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令包括：将手势雷达图输入至手势识别模型，以提取出手势雷达图中包含的手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
在本发明的实施例中，将步态信息输入至步态识别模型，以确定用户的身份信息包括：
提取出用户的身体的各个部位的速度；
根据各个部位的速度确定各个部位的加速度；
根据所有部位的速度和加速度确定用户的身份信息。
在本发明的实施例中，部位包括躯干、手臂和大腿中的至少一者。
本发明第二方面提供一种处理器，被配置成：
获取用户的步态信息；
将步态信息输入至步态识别模型，以确定用户的身份信息；
获取用户的当前手势；
将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；
根据与身份信息绑定的预存手势对预测手势指令进行确认；
根据确认后的手势指令执行对应的控制操作。
在本发明的实施例中，处理器被配置成根据与身份信息绑定的预存手势对手势指令进行确认包括：
将当前手势与身份信息绑定的预存手势进行匹配；
在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在本发明的实施例中，处理器还被配置成：在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在本发明的实施例中，处理器还被配置成：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
本发明第三方面提供一种用于识别手势的装置，装置包括：
雷达设备，被配置成采集用户的步态信息；
如上述的处理器。
本发明第四方面提供一种热水器，包含如上述的用于识别手势的装置。
本发明第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的用于识别手势的方法。
上述技术方案，通过获取用户的步态信息，将步态信息输入至步态识别模型，以确定用户的身份信息，获取用户的当前手势，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令，根据与身份信息绑定的预存手势对预测手势指令进行确认，根据确认后的手势指令执行对应的控制操作，以此可以通过步态识别确定出用户的身份信息，进一步辅助系统对手势的识别，有效地提升了手势识别的准确率。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示意性示出了根据本发明实施例的用于识别手势的方法的流程示意图；
图2示意性示出了根据本发明一实施例的用于识别手势的装置的结构框图；
图3示意性示出了根据本发明另一实施例的用于识别手势的装置的结构框图；
图4示意性示出了根据本发明一实施例的热水器的结构框图；
图5示意性示出了根据本发明另一实施例的热水器的结构框图；
图6示意性示出了根据本发明实施例的计算机设备的内部结构图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1示意性示出了根据本发明实施例的用于识别手势的方法的流程示意图。如图1所示，在本发明一实施例中，提供了一种用于识别手势的方法，包括以下步骤：
步骤101，获取用户的步态信息。
步骤102，将步态信息输入至步态识别模型，以确定用户的身份信息。
用户的步态信息是指通过雷达设备采集到的与用户相关联的雷达数据。与用户相关联的雷达数据是指用户在进入雷达设备的感应范围后，雷达设备所采集到的该用户的雷达数据。服务器在获取到与用户相关联的雷达数据后，可以对雷达数据进行堆叠以得到对应的雷达点云图。即，根据多个雷达数据的坐标可以形成对应的雷达点云图。将雷达点云图输入至步态识别模型后，可以通过步态识别模型确定该用户的身份信息。步态识别是指根据人走路的姿态进行身份识别，步态识别本质还是步态特征的距离匹配，对人在多角度、多行走条件下进行特征提取，得到基于个体的步态特征，再用该特征与其它个体进行比较，从而识别出该个体的具体身份。在本实施例中，会通过基于模型的方法重点关注人的运动信息，因此需要提前建立步态识别模型，通过模型和图像序列匹配获得模型参数作为步态特征进行分类。其中，步态识别模型可以是深度卷积神经网络。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。步态特征提取使用深度卷积神经网络作为基础结构，使用了多任务学习目标，同时随机采样大量的时序步态数据进行模型学习。可用于家庭环境和监控场景中的步态特征提取，所提不同个体的特征有良好的区分性，同一个体的特征有良好的内聚性，其速度可达到毫秒级别。
在一个实施例中，将步态信息输入至步态识别模型，以确定用户的身份信息包括：提取出用户的身体的各个部位的速度；根据各个部位的速度确定各个部位的加速度；根据所有部位的速度和加速度确定用户的身份信息。
进一步地，可以通过步态识别模型提取出雷达点云图中用户的各个部位的特征，根据部位特征确定出用户的身份信息。部位包括躯干、手臂和大腿中的至少一者。步态识别模型可以提取出用户的身体的各个部位的速度，并根据各个部位的速度确定出各个部位的加速度。因此，可以提取出用户的躯干、手臂和大腿的速度，从而根据其速度确定对应的加速度，并根据所有部位的速度和加速度确定该用户的身份信息。通常情况下，需要预先对步态识别模型进行训练，可以通过用户的多个步态数据对该步态识别模型进行训练，以使步态识别模型可以学习用户的步态特征，从而在实际使用过程中，可以根据用户的步态信息识别出该用户的身份信息。
步骤103，获取用户的当前手势。
步骤104，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令。
步骤105，根据与身份信息绑定的预存手势对预测手势指令进行确认。
步骤106，根据确认后的手势指令执行对应的控制操作。
在本发明的实施例中，用户还可以进行手势控制多个功能的实现。手势控制是指人手不需要直接接触开关按钮等操作键，而是在空中做出相应的姿势变化，继而控制机器等做出相应的动作。
目前手势识别的实现主要有三种方法：
第一种是飞行时间(Time of flight，ToF)技术，该技术需要配备具有发射和接收脉冲光的3D相机模块，首先相机模块发射出脉冲光线，由于不同距离处的手指接受到光线照射的时间不同，从而返回到接收模块的时间也不相同。根据返回时间的不同，处理芯片就可以构建出来判断出不同手指的具体位置，从而判断出具体的手势，通过实时采集这些信息，系统就可以判断用户正在进行的动作，再根据预先定义的功能，对应到相应的控制命令之上，就实现手势控制。
第二种方式称为结构光技术，首先利用激光发射器将结构光投射至前方的人体表面，再使用红外传感器接收人体反射的结构光图案。之后，处理芯片根据接收图案的位置和形变程度来计算人体的空间信息，再结合一定算法进行深度计算，即可进行识别。
第三种识别方式为毫米波雷达，其基本原理与ToF相似，只不过用于测量的介质由光线变成了电磁波。首先，利用毫米波发射器把无线电波发射出去，然后利用接收器接收回波，这时，内置的处理芯片会根据收发之间的时间差实时计算目标的位置数据，通过比较不同时间段手指位置，就可以与内置的数据比较，得到手指正在进行的动作，从而可以实现特定的指令。
在本实施例中，将上述的用于识别手势的方法应用于热水器，即此方法的应用场景为浴室。针对浴室的隐私性，可以采用第三种识别方式-毫米波雷达的方式。但与之不同的是，在本方案中会通过毫米波雷达采集到用户比划的手势样式，并将手势输入至手势识别模型，通过手势识别模型对输入的手势进行分析预测，以确定当前手势所对应的预测手势指令。
在一个实施例中，获取用户的当前手势包括：获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在本实施例中，可以通过毫米波雷达采集用户在空中比划的手势动作，具体地，可以通过毫米波雷达采集用户比划的手势雷达数据。之后，可以将获取到的多个手势雷达数据进行堆叠以形成对应的手势雷达图，从而可以将手势雷达图输入至手势识别模型中进行分析识别。其中，手势雷达数据可以通过预先安装的雷达设备采集得到，雷达设备可以是毫米波雷达设备，由于上述方法可以用于浴室中实时识别出用户的手势操作，而毫米波雷达具有较强的穿透塑料、陶瓷、玻璃、浴帘等障碍物和较远距离探测的能力，可以很好的适应多种空间格局，由此可以实现更准确地识别出用户的手势操作。毫米波雷达，是工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的。毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的一些优点。
在一个实施例中，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令包括：将当前手势输入至手势识别模型，以提取出手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
手势无论是静态或动态，其识别顺序首先需进行图像的获取手的检测和分割手势的分析，然后进行静态或动态的手势识别。手势分割是手势识别过程中关键的一步，手势分割的效果直接影响到下一步手势分析及最终的手势识别。目前最常用的手势分割法主要包括基于单目视觉的手势分割和基于立体视觉的手势分割。手势分析是完成手势识别系统的关键技术之一。通过手势分析，可获得手势的形状特征或运动轨迹。手势的形状和运动轨迹是动态手势识别中的重要特征，与手势所表达意义有直接的关系。手势分析的主要方法有以下几类:边缘轮廓提取法、质心手指等多特征结合法以及指关节式跟踪法等。边缘轮廓提取法是手势分析常用的方法之一，手型因其特有的外形而与其他物体区分；何阳青采用结合几何矩和边缘检测的手势识别算法，通过设定两个特征的权重来计算图像间的距离，实现对字母手势的识别。多特征结合法则是根据手的物理特性分析手势的姿势或轨迹；Meenakshi Panwar将手势形状和手指指尖特征相结合来实现手势的识别。指关节式跟踪法主要是构建手的二维或三维模型，再根据人手关节点的位置变化来进行跟踪，其主要应用于动态轨迹跟踪。在本实施例中，不限定其特征的提取方法。在通过手势识别模型提取出当前手势的手势活动特征后，可以根据手势活动特征确定对应的手势类型。手势类型是指预先定义的手势动作，每个手势动作对应一个手势指令，每个手势指令对应一个控制动作。例如，手势类型可以有拳头、OK、左滑，右滑，上滑、下滑、单手比心、点赞、掌心向上、数字(9种)、Rock等，每个动作对应一个手势指令。因此，在通过手势识别模型提取出手势活动特征后，可以根据提取出的手势活动特征确定对应的手势类型，并确定出该手势类型所对应的手势指令作为预测手势指令。之后，可以根据与用户的身份信息绑定的预存手势对预测手势指令进行确认，以确定最终的手势指令。
在一个实施例中，上述方法还包括：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
为了及时识别出用户的特定手势，或该用户自定义的手势，则需要先在数据库中录入用户的手势。进一步地，可以启动手势录入流程，从而可以获取到用户的手势动作，并将用户录入的动作与用户的身份信息进行关联保存，以此录入的手势动作作为该用户的预存手势。后续在实际使用过程中，则可以根据用户的身份信息获取到与之关联的预存手势。
在一个实施例中，上述方法还包括：在匹配成功的情况下，获取与所述当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在确定出当前手势对应的预测手势指令后，可以将当前手势与该用户的身份信息所绑定的预存手势进行匹配。若是匹配成功，则可以以数据库中保存的预存手势为准，表明用户比划的当前手势与预存手势中的其中一个相同，则可以将匹配成功的预存手势所对应的手势指令作为确认后的手势指令，并可以执行该确认后的手势指令所对应的控制操作。
在一个实施例中，根据与身份信息绑定的预存手势对手势指令进行确认包括：将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
若是匹配失败，可以认为在数据库中保存的预存手势中并未有与用户比划的当前手势相同的手速，此时可以将手势识别模型确定的预测手势指令作为确认后的手势指令，并执行该确认后的手势指令所对应的控制操作。
上述用于识别手势的方法，通过获取用户的步态信息，将步态信息输入至步态识别模型，以确定用户的身份信息，获取用户的当前手势，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令，根据与身份信息绑定的预存手势对预测手势指令进行确认，根据确认后的手势指令执行对应的控制操作，以此可以通过步态识别确定出用户的身份信息，进一步辅助系统对手势的识别，有效地提升了手势识别的准确率。
在一个实施例中，如图2所示，提供了一种用于识别手势的装置，包括：
身份确认模块201，用于获取用户的步态信息；将步态信息输入至步态识别模型，以确定用户的身份信息；
手势识别模块202，用于获取用户的当前手势；将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；
手势指令确认模块203，用于根据与身份信息绑定的预存手势对预测手势指令进行确认；根据确认后的手势指令执行对应的控制操作。
在一个实施例中，手势指令确认模块203还用于将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在一个实施例中，手势指令确认模块203还用于在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在一个实施例中，手势识别模块202还用于获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
在一个实施例中，手势识别模块202还用于获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在一个实施例中，手势识别模块202还用于将手势雷达图输入至手势识别模型，以提取出手势雷达图中包含的手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
在一个实施例中，身份确认模块201还用于提取出用户的身体的各个部位的速度；根据各个部位的速度确定各个部位的加速度；根据所有部位的速度和加速度确定用户的身份信息。
在一个实施例中，部位包括躯干、手臂和大腿中的至少一者。
用于识别手势的装置包括处理器和存储器，上述身份确认模块、手势识别模块和手势指令确认模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对用户手势的识别。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于识别手势的方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时被配置成执行下述步骤：获取用户的步态信息；将步态信息输入至步态识别模型，以确定用户的身份信息；获取用户的当前手势；将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；根据与身份信息绑定的预存手势对预测手势指令进行确认；根据确认后的手势指令执行对应的控制操作。
在一个实施例中，处理器被配置成根据与身份信息绑定的预存手势对手势指令进行确认包括：将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在一个实施例中，处理器还被配置成：在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在一个实施例中，处理器还被配置成：处理器还被配置成：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
在一个实施例中，处理器被配置成执行获取用户的当前手势包括：获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在一个实施例中，处理器被配置成执行将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令包括：将手势雷达图输入至手势识别模型，以提取出手势雷达图中包含的手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
在一个实施例中，处理器被配置成执行将步态信息输入至步态识别模型，以确定用户的身份信息包括：提取出用户的身体的各个部位的速度；根据各个部位的速度确定各个部位的加速度；根据所有部位的速度和加速度确定用户的身份信息。
在一个实施例中，部位包括躯干、手臂和大腿中的至少一者。
在一个实施例中，如图3所示，也提供了一种用于识别手势的装置300，装置包括：
雷达设备301，被配置成采集用户的步态信息；
处理器302，被配置成执行上述用于识别手势的方法。
在一个实施例中，如图4所示，提供了一种热水器400，包含上述用于识别手势的装置300。
在一个实施例中，如图5所示，上述热水器400还包括控制面板501，用于响应控制操作。
用户可以通过与该控制面板501互动，以实现不同的控制操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储用户的步态信息及手势动作等数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于识别手势的方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取用户的步态信息；将步态信息输入至步态识别模型，以确定用户的身份信息；获取用户的当前手势；将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；根据与身份信息绑定的预存手势对预测手势指令进行确认；根据确认后的手势指令执行对应的控制操作。
在一个实施例中，根据与身份信息绑定的预存手势对手势指令进行确认包括：将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在一个实施例中，方法还包括：在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在一个实施例中，方法还包括：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
在一个实施例中，获取用户的当前手势包括：获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在一个实施例中，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令包括：将手势雷达图输入至手势识别模型，以提取出手势雷达图中包含的手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
在一个实施例中，将步态信息输入至步态识别模型，以确定用户的身份信息包括：提取出用户的身体的各个部位的速度；根据各个部位的速度确定各个部位的加速度；根据所有部位的速度和加速度确定用户的身份信息。
在一个实施例中，部位包括躯干、手臂和大腿中的至少一者。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取用户的步态信息；将步态信息输入至步态识别模型，以确定用户的身份信息；获取用户的当前手势；将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令；根据与身份信息绑定的预存手势对预测手势指令进行确认；根据确认后的手势指令执行对应的控制操作。
在一个实施例中，根据与身份信息绑定的预存手势对手势指令进行确认包括：将当前手势与身份信息绑定的预存手势进行匹配；在匹配不成功的情况下，将预测手势指令作为确认后的手势指令。
在一个实施例中，方法还包括：在匹配成功的情况下，获取与当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
在一个实施例中，方法还包括：获取用户的手势动作；将手势动作与用户的身份信息进行关联保存，作为用户的预存手势。
在一个实施例中，获取用户的当前手势包括：获取用户比划的手势雷达数据；将手势雷达数据进行堆叠，以得到对应的手势雷达图；将当前手势输入至手势识别模型包括：将手势雷达图输入至手势识别模型。
在一个实施例中，将当前手势输入至手势识别模型，确定当前手势对应的预测手势指令包括：将手势雷达图输入至手势识别模型，以提取出手势雷达图中包含的手势活动特征；根据手势活动特征确定对应的手势类型；根据手势类型确定对应的手势指令作为预测手势指令。
在一个实施例中，将步态信息输入至步态识别模型，以确定用户的身份信息包括：提取出用户的身体的各个部位的速度；根据各个部位的速度确定各个部位的加速度；根据所有部位的速度和加速度确定用户的身份信息。
在一个实施例中，部位包括躯干、手臂和大腿中的至少一者。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种用于识别手势的方法，其特征在于，所述方法包括：
获取用户的步态信息；
将所述步态信息输入至步态识别模型，以确定所述用户的身份信息；
获取所述用户的当前手势；
将所述当前手势输入至手势识别模型，确定所述当前手势对应的预测手势指令；
根据与所述身份信息绑定的预存手势对所述预测手势指令进行确认；
根据确认后的手势指令执行对应的控制操作。
2.根据权利要求1所述的方法，其特征在于，所述根据与所述身份信息绑定的预存手势对所述手势指令进行确认包括：
将所述当前手势与所述身份信息绑定的预存手势进行匹配；
在匹配不成功的情况下，将所述预测手势指令作为确认后的手势指令。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在匹配成功的情况下，获取与所述当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取用户的手势动作；
将所述手势动作与所述用户的身份信息进行关联保存，作为所述用户的预存手势。
5.根据权利要求1所述的方法，其特征在于，所述获取所述用户的当前手势包括：
获取所述用户比划的手势雷达数据；
将所述手势雷达数据进行堆叠，以得到对应的手势雷达图；
将所述当前手势输入至手势识别模型包括：将所述手势雷达图输入至所述手势识别模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述当前手势输入至手势识别模型，确定所述当前手势对应的预测手势指令包括：
将所述手势雷达图输入至手势识别模型，以提取出所述手势雷达图中包含的手势活动特征；
根据所述手势活动特征确定对应的手势类型；
根据所述手势类型确定对应的手势指令作为预测手势指令。
7.根据权利要求1所述的方法，其特征在于，所述将所述步态信息输入至步态识别模型，以确定所述用户的身份信息包括：
提取出所述用户的身体的各个部位的速度；
根据各个部位的速度确定各个部位的加速度；
根据所有部位的速度和加速度确定所述用户的身份信息。
8.根据权利要求7所述的方法，其特征在于，所述部位包括躯干、手臂和大腿中的至少一者。
9.一种处理器，其特征在于，被配置成：
获取用户的步态信息；
将所述步态信息输入至步态识别模型，以确定所述用户的身份信息；
获取所述用户的当前手势；
将所述当前手势输入至手势识别模型，确定所述当前手势对应的预测手势指令；
根据与所述身份信息绑定的预存手势对所述预测手势指令进行确认；
根据确认后的手势指令执行对应的控制操作。
10.根据权利要求9所述的处理器，其特征在于，所述处理器被配置成根据与所述身份信息绑定的预存手势对所述手势指令进行确认包括：
将所述当前手势与所述身份信息绑定的预存手势进行匹配；
在匹配不成功的情况下，将所述预测手势指令作为确认后的手势指令。
11.根据权利要求10所述的处理器，其特征在于，所述处理器还被配置成：
在匹配成功的情况下，获取与所述当前手势匹配成功的预存手势对应的手势指令作为确认后的手势指令。
12.根据权利要求9所述的处理器，其特征在于，所述处理器还被配置成：
获取用户的手势动作；
将所述手势动作与所述用户的身份信息进行关联保存，作为所述用户的预存手势。
13.一种用于识别手势的装置，其特征在于，所述装置包括：
雷达设备，被配置成采集用户的步态信息；
根据权利要求9至12任意一项所述的处理器。
14.一种热水器，其特征在于，包含如权利要求13所述的用于识别手势的装置。
15.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至8中任一项所述的用于识别手势的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011290079.8A CN112528752A (zh) | 2020-11-17 | 2020-11-17 | 用于识别手势的方法、装置、处理器及热水器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011290079.8A CN112528752A (zh) | 2020-11-17 | 2020-11-17 | 用于识别手势的方法、装置、处理器及热水器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528752A true CN112528752A (zh) | 2021-03-19 |
Family
ID=74981513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011290079.8A Pending CN112528752A (zh) | 2020-11-17 | 2020-11-17 | 用于识别手势的方法、装置、处理器及热水器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528752A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113932387A (zh) * | 2021-09-18 | 2022-01-14 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置及空调 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207457976U (zh) * | 2017-12-25 | 2018-06-05 | 邱亮南 | 基于视频装置的交互系统 |
| CN109857251A (zh) * | 2019-01-16 | 2019-06-07 | 珠海格力电器股份有限公司 | 智能家电的手势识别控制方法、装置、存储介质及设备 |
| CN110173860A (zh) * | 2019-05-29 | 2019-08-27 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及计算机可读存储介质 |
| US20200012351A1 (en) * | 2018-07-04 | 2020-01-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and readable storage medium for processing control instruction based on gesture recognition |
| CN111491429A (zh) * | 2020-04-30 | 2020-08-04 | 青岛亿联客信息技术有限公司 | 一种智能照明灯具及其控制方法、智能照明系统 |
| CN111720974A (zh) * | 2020-06-22 | 2020-09-29 | 广东美的暖通设备有限公司 | 运行控制方法、控制面板、空调设备和计算机存储介质 |
| CN111738060A (zh) * | 2020-05-07 | 2020-10-02 | 复旦大学 | 基于毫米波雷达的人体步态识别系统 |
-
2020
- 2020-11-17 CN CN202011290079.8A patent/CN112528752A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207457976U (zh) * | 2017-12-25 | 2018-06-05 | 邱亮南 | 基于视频装置的交互系统 |
| US20200012351A1 (en) * | 2018-07-04 | 2020-01-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and readable storage medium for processing control instruction based on gesture recognition |
| CN109857251A (zh) * | 2019-01-16 | 2019-06-07 | 珠海格力电器股份有限公司 | 智能家电的手势识别控制方法、装置、存储介质及设备 |
| CN110173860A (zh) * | 2019-05-29 | 2019-08-27 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及计算机可读存储介质 |
| CN111491429A (zh) * | 2020-04-30 | 2020-08-04 | 青岛亿联客信息技术有限公司 | 一种智能照明灯具及其控制方法、智能照明系统 |
| CN111738060A (zh) * | 2020-05-07 | 2020-10-02 | 复旦大学 | 基于毫米波雷达的人体步态识别系统 |
| CN111720974A (zh) * | 2020-06-22 | 2020-09-29 | 广东美的暖通设备有限公司 | 运行控制方法、控制面板、空调设备和计算机存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113932387A (zh) * | 2021-09-18 | 2022-01-14 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置及空调 |
| WO2023040345A1 (zh) * | 2021-09-18 | 2023-03-23 | 青岛海尔空调器有限总公司 | 用于空调控制的方法、装置及空调 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | MU-ID: Multi-user identification through gaits using millimeter wave radios | |
| Gurbuz et al. | Radar-based human-motion recognition with deep learning: Promising applications for indoor monitoring | |
| Li et al. | Deep AI enabled ubiquitous wireless sensing: A survey | |
| Pegoraro et al. | Real-time people tracking and identification from sparse mm-wave radar point-clouds | |
| CN110741385B (zh) | 手势识别的方法和设备、定位追踪的方法和设备 | |
| US8571263B2 (en) | Predicting joint positions | |
| Zhao et al. | Human tracking and identification through a millimeter wave radar | |
| Yang et al. | Hand gesture recognition based on trajectories features and computation-efficient reused LSTM network | |
| Khalidov et al. | Conjugate mixture models for clustering multimodal data | |
| CN111444764A (zh) | 一种基于深度残差网络的手势识别方法 | |
| Arsalan et al. | Radarsnn: A resource efficient gesture sensing system based on mm-wave radar | |
| Ninos et al. | Radar-based robust people tracking and consumer applications | |
| CN111597869A (zh) | 一种基于分组残差联合空间学习的人体活动识别方法 | |
| US20240053464A1 (en) | Radar Detection and Tracking | |
| Mauro et al. | Few-shot user-definable radar-based hand gesture recognition at the edge | |
| CN112528752A (zh) | 用于识别手势的方法、装置、处理器及热水器 | |
| Ali et al. | End-to-end dynamic gesture recognition using mmWave radar | |
| Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
| US20230068523A1 (en) | Radar-Based Gesture Classification Using a Variational Auto-Encoder Neural Network | |
| Tamas et al. | Lidar and vision based people detection and tracking | |
| Zhong et al. | Point‐convolution‐based human skeletal pose estimation on millimetre wave frequency modulated continuous wave multiple‐input multiple‐output radar | |
| Shih et al. | People Counting System Using MmWave MIMO Radar with 3D Convolutional Neural Network | |
| Siddiqi et al. | Active contours level set based still human body segmentation from depth images for video-based activity recognition | |
| CN113439274A (zh) | 身份识别方法、终端设备及计算机存储介质 | |
| Sonny et al. | Dynamic Targets Occupancy Status Detection utilizing mmWave Radar Sensor and Ensemble Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |
|
| RJ01 | Rejection of invention patent application after publication |