CN108399367A - 手部动作识别方法、装置、计算机设备及可读存储介质 - Google Patents
手部动作识别方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN108399367A CN108399367A CN201810097255.2A CN201810097255A CN108399367A CN 108399367 A CN108399367 A CN 108399367A CN 201810097255 A CN201810097255 A CN 201810097255A CN 108399367 A CN108399367 A CN 108399367A
- Authority
- CN
- China
- Prior art keywords
- hand
- image
- identified
- characteristic
- hand motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
本发明涉及一种手部动作识别方法、装置、计算机设备及可读存储介质，其中，手部动作识别包括如下步骤：通过图像采集装置采集待识别对象的图像，将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息；从姿态信息中选取手腕关节的位置信息，并根据手腕关节的位置信息获取手部区域图像；将手部区域图像输入预设手部动作模型得到待识别对象的第一手部动作。上述方法是先识别出被识别人的整体姿态，再定位至手部，在识别区域内存在多个待识别对象时，且多个待识别对象之间互相遮挡时，也可以根据每个待识别对象的姿态判断手部位置，提高了手部动作识别的准确性。
Description
技术领域
本发明涉及计算机领域，特别是涉及一种手部动作识别方法、装置、计算机设备及可读存储介质。
背景技术
随着计算机技术的进步和发展，人机交互已经成为人们生活中的一种需求。除了传统的交互方式例如鼠标键盘等，手势交互也随着技术的成熟而成为了一种主流。
传统的手部跟踪算法都是基于视觉的算法，在彩色图像中根据肤色等特征识别出手部来进行跟踪，最近随深度摄像头的普及与流行，也有很多工作结合了深度图像信息来进行手部动作的识别和跟踪。但是如果该场景内存在多个人时，对手部的识别和跟踪难度会大大增加，容易发生判别错误和侦测失败的情况，无法准确识别手部动作。
发明内容
基于此，有必要针对传统方案中无法准确识别手部动作的问题，提供一种手部动作识别方法、装置、计算机设备及可读存储介质。
一种手部动作识别方法，包括如下步骤：
通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息；
从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；
将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。
在其中一个实施例中，所述初始人体模型包括初始关键点模型和初始连接模型；
所述将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息的步骤，包括：
将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；
将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；
根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息。
在其中一个实施例中，所述方法还包括：
获取训练图像以及与所述训练图像对应的手部动作；
提取所述训练图像的训练手部特征；
将所述训练手部特征和与对应的所述手部动作输入基础模型中进行训练得到预设手部动作模型。
在其中一个实施例中，所述训练图像包含若干张二维图像，所述若干张二维图像组成二维图像组；
所述提取所述训练图像的训练手部特征的步骤包括：
提取所述二维图像组中的初始训练图像的第一手部特征；
当在所述初始训练图像的第一手部特征不完整时，则继续获取所述二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取所述当前训练图像的补充手部特征；通过所述补充手部特征和所述第一手部特征得到第二手部特征；
当所述第二手部特征不完整时，则继续获取所述二维图像组中的下一训练图像作为当前训练图像；直至所得到的所述第二手部特征为完整手部特征时，则将所述第二手部特征作为训练手部特征。
在其中一个实施例中，所述方法还包括：
通过传感器获取待识别对象的第二手部动作；
比较所述第一手部动作和所述第二手部动作；
若所述第一手部动作和所述第二手部动作不同时，则根据所述第二手部动作纠正所述第一手部动作。
在其中一个实施例中，所述方法还包括：
当无法通过初始人体模型获取所述待识别对象的人体姿态信息时，生成与所述待识别对象对应的提醒信息；
输出所述待识别对象的图像和所述提醒信息。
一种手部动作识别装置，包括：
姿态分析模块，用于通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息；
手部定位模块，用于从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；
动作识别模块，用于将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。
在其中一个实施例中，所述初始人体模型包括初始关键点模型和初始连接模型；
所述姿态分析模块包括：
关键点分析单元，用于将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；
连接分析单元，用于将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；
姿态获取单元，用于根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述手部动作识别方法、装置、计算机设备及可读存储介质，通过图像采集装置获取待识别对象的图像信息后，先根据训练出的初始人体模型匹配出待识别对象的人体姿态信息，再根据人体姿态信息判断出待识别对象的手部位置，将手部位置与预先训练的预设手部动作模型相匹配，从而得出待识别对象的手部信息；上述方法是先识别出被识别人的整体姿态，再定位至手部，在识别区域内存在多个待识别对象时，且多个待识别对象之间互相遮挡时，也可以根据每个待识别对象的姿态判断手部位置，提高了手部动作识别的准确性。
附图说明
图1为一实施例中手部动作识别方法应用场景图；
图2为一实施例中手部动作识别方法的流程示意图；
图3为图2中步骤S202的流程示意图；
图4为一实施例中提取所述训练图像的训练手部特征的步骤的流程示意图；
图5为一实施例中手部动作识别装置的结构示意图；
图6为一实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的手部动作识别方法，可以应用于如图1所示应用场景的终端中。其中，图像采集装置可以集成于终端内，也可以与终端分离。终端通过图像采集装置对待识别对象进行图像采集，然后对采集到的图像进行处理，先识别出待识别对象的姿态信息，再定位至手腕关节，获取手部图像，识别出采集的图像中待识别对象的手部动作。其中，终端可以但不限于是服务器、个人计算机等，图像采集装置可以但不限于是各种监控设备、视频拍摄终端等。
在一个实施例中，如图2所示，提供了一种手部动作识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，通过图像采集装置采集待识别对象的图像，将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息。
其中，待识别对象指的是通过图像采集装置采集到的图像中的目标人物。初始人体模型是用于识别出待识别对象的姿态信息而训练的神经网络模型，可以包括人体的特征点信息(如关节、头部、四肢等信息)的识别，将图像输入至该初始人体模型中可以通过模型，识别出待识别对象的特征点信息。姿态信息是用于显示待识别对象的完整形态图像或者轮廓信息，若待识别对象为人体时，则姿态信息可以是包括各关节和躯干的人体姿态图。其中初始人体模型可以是根据历史图像以及历史图像对应的真实的姿态信息所训练得到的，例如将历史图像和真实的姿态信息输入至待训练人体模型，经过待训练人体模型进行学习后得到初始人体模型，此外还可以对初始人体模型进行验证训练，以使得得到的初始人体模型在使用中的准确率更好。
具体地，终端通过图像采集装置拍摄待采集对象的图像，其中采集到的图像可以根据图像采集装置的不同而为不同类型的图像，如彩色图像或红外图像等；然后将采集到的图像输入到已构建的初始人体模型中，初始人体模型即会根据内部建立的匹配和计算规则，在输出端得到待识别对象的姿态信息。可选地，可以首先将采集的待识别图像进行分割得到若干图像块，再将图像块输入至初始人体模型中进行处理得到姿态信息，如将完整的人体图像分割为上肢图像块和下肢图像块，分别通过初始人体模型识别出上肢姿态和下肢姿态，最后拼接为一个完整的人体姿态。
例如，在实际使用中，我们可以通过监控设备或者DV等视频采集设备拍摄某一区域的监测视频，待识别对象的图像可以是监测视频中的其中一帧。当有人出现在监测视频中时，将出现的人定义为待识别对象。将监测到待识别对象的图像输入初始人体模型中，输出待识别对象的姿态信息。
S204，从姿态信息中选取手腕关节的位置信息，并根据手腕关节的位置信息获取手部区域图像。
其中，手部区域图像表示待识别对象的手部在待识别对象的图像中的部分，是在得到待识别对象的姿态信息后，通过定位腕关节，在采集到的图像中选择手部对应的图像区域。
具体地，终端在得到待识别对象的姿态信息后，可以通过待识别对象的姿态信息中的关节信息定位到手腕关节，然后通过手腕关节在采集到的图像的位置选取待采集对象的手部区域图像。例如可以确定手腕关节在图像中的坐标，再以手腕关节的坐标为圆心，以预设距离为半径来确定手部区域的图像，其中预设距离可以是根据经验确定的，或者是根据人体与终端的距离来确定，即首先获取到人体与终端的距离，然后获取到与该人体与终端的距离对应的预设距离作为半径。
S206，将手部区域图像输入预设手部动作模型得到待识别对象的第一手部动作。
其中，预设手部动作模型是为了识别出待识别对象的手部动作建立的神经网络模型，将步骤S204中得到的手部区域图像输入至训练好的预设手部动作模型，输出此手部区域图像中的手部所对应的动作。第一手部动作是指将手部区域图像输入到预设手部动作模型后得到的此手部区域图像对应的手部动作。
具体地，终端在得到手部区域图像后，再将手部区域图像输入至已建立的预设手部动作模型中，预设手部动作模型即会根据内部建立的匹配和计算规则输出第一手部动作。可选地，可以首先将获取到手部图像进行分割得到若干图像块，再将图像块输入至预设手部动作模型中进行处理得到手部动作。
进一步地，预设手部动作模型的手部识别训练也可以基于多个连续帧训练图像的手部动作变化轨迹。所以将手部区域图像输入至预设手部动作模型中判断出待识别对象的手部动作的步骤也可以包括，依次将连续帧的手部区域图像逐帧输入至预设手部动作模型中，识别出每一帧手部区域图像的手部动作，并逐帧记录识别出的手部动作，生成手部动作轨迹；再将得到的手部动作轨迹与模型中的轨迹样本进行比较，最终根据匹配的概率得到此手部动作轨迹最可能的手部动作。
上述手部动作识别方法，先识别出被识别人的整体姿态，再定位至手部，采用从整体到局部的定位模式；其中结合两次的神经网络模型分析，匹配出人体的姿态图以及手部动作。在识别区域内存在多个待识别对象时，且多个待识别对象之间互相遮挡时，也可以根据每个待识别对象的姿态判断手部位置，提高了手部动作识别的准确性。
在其中一个实施例中，如图3所示，初始人体模型可以包括初始关键点模型和初始连接模型；图2中的步骤S202，即步骤将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息可以包括：
S302，将待识别对象的图像输入初始关键点模型得到待识别对象的关键点信息。
其中，关键点信息是指用于识别图像中待识别对象姿态信息的特征点；人体的关键点信息可以包括人体的关节、头部、颈部、四肢等特征点，也可以根据人体热能的分布选择其他特征点，如心脏等。初始关键点模型是提前训练的用于匹配出输入图像中的人体的关键点信息的神经网络模型。
具体地，初始关键点模型可以用于提取人体肢体部位(Part Confidence Maps例如关节)所在位置的一个热量图。将待识别对象的图像输入至初始关键点模型后，可以先将待识别对象的图像转化为热图，然后根据每一个肢体部分得到一个特征图，所以最终会得到多个关键点(如头，脖子，肩膀，手肘，手腕，胯部等关节)的热量图；则将待识别对象的图像输入初始关键点模型后，可在模型的输出端输出待识别对象的多个关键点的热量图。
S304，将待识别对象的图像输入初始连接模型得到待识别对象的关节连接信息。
其中，关节连接信息用于标识待识别对象的各肢体部位之间的连接关系的信息，如相邻关节最可能的连接方向等。初始连接模型是提前训练的用于分析待识别对象各关节点之间连接关系的神经网络模型；初始连接模型可以用于提取不同肢体部位之间的连接方向(Part Affinity Fields)，将待识别对象的图像输入至初始连接模型得到待识别对象的几个关节点(如手肘、肩膀、胯关节等)，然后获取识别出的关节点之间最可能的连接情况，从而得到待识别对象的关节连接信息。
具体地，在初始连接模型中可以直接包括将原图转换为热图的功能，将待识别对象的图像输入至初始连接模型后，将待识别对象的图像转化成热图，并从热图中选取可能的关节点，然后计算热图中各关节点之间最可能的连接关系，最后得到一个人体的各个肢体部位之间的热图连接关系。
此外，还可以先将待识别对象的图像转换成热图，然后将转换后的热图分别输入至初始关键点模型和初始连接模型中，根据初始关键点模型先从热图中选取可能的关节点，然后根据初始连接模型获取热图中各关节点之间最可能的连接关系，最后得到一个人体的各个肢体部位之间的热图连接关系。
S306，根据关键点信息和关节连接信息生成待识别对象的姿态信息。
具体地，生成待识别对象的姿态信息的方法一共用到两个CNN(ConvolutionalNeural Network即卷积神经网络)作为分支，第一个CNN用于提取人体关键点(例如关节和头部等)所在位置的一个热量图，另一个CNN用于提取不同肢体部位之间的连接方向。图像同时输入进这两个CNN分支中，得到这两种特征图后，再使用图论中的二分图匹配将同一个人的关节点连接起来得到人体姿态的估测图，即待识别对象的姿态信息。
进一步地，在两个CNN对待识别对象的图像进行分析计算时，可以先将待识别对象的图像分为几个区域(如上肢区域和下肢区域等)进行计算处理，以减少计算量，且在对于手部动作识别方法中，因为只需定位至手部，可以只对上肢区域进行计算，即只识别出上肢区域对应的关键点信息和关节连接信息，最后组合成上肢区域的人体姿态即可，一方面减少了计算量，另外一方面也可以保证在下肢区域被遮挡而无法识别时，仍然能够判断手部动作。
上述实施例中，初始人体模型包括初始关键点模型和初始连接模型，这两个模型分别对输入的待识别对象的图像进行不同的分析，分别得到待识别对象的关键点信息和待识别对象的关节连接信息，再将关键点信息和关节连接信息组合起来，得到一个完整的人体姿态信息图。此实施例进一步叙述了人体姿态信息图的获取步骤，使得部动作识别方法的技术方案更加完整。
在其中一个实施例中，上述手部动作识别方法还包括：获取训练图像以及与训练图像对应的手部动作；提取训练图像的训练手部特征；将训练手部特征和与对应的手部动作输入基础模型中进行训练得到预设手部动作模型。
其中，训练图像是用于训练预设手部动作模型的历史图像，训练图像中包括某一手部动作对应的图像；训练图像中还可以包括训练的负样本，如某一训练图像表示的是手握粉笔的动作，则粉笔为负样本，通过引入负样本可以更加使得训练出的预设手部动作模型能够更准确地识别手部动作，也使得该模型的使用更加适应现实环境。训练手部特征是用于标识在某一图像中手部动作的特征点，是对每个手部动作进行区分的依据；训练手部特征可以是训练图像中的手部在执行其对应的手部动作时，手部关节相互的连接关系和位置关系，如可以是一个手部关节点及各关节点连接的三维手部动作模型。
具体地，将训练图像和手部动作中添加标签，训练图像和与此训练图像对应的手部动作的标签一一对应，将每组标签对输入至空白的深度神经网络模型中，对训练图像中的手部姿态进行分析，提取训练图像中的手部的关节点和各关节的连接关系作为训练手部特征，再根据训练手部特征和这一训练图像中手部对应的动作训练出三维的手部动作模型，即预设手部动作模型，将模型训练好后，将待识别的手部图像输入至预设手部动作模型后，即可根据待识别的手部图像的手部姿态，计算出这一待识别的手部图像最可能对应预设手部动作模型中的手部动作结果，并将此手部动作结果输出为第一手部动作，将该第一手部动作与训练图像对应的手部动作进行比对，当两者相同时，则表示预设手部动作模型对于该识别是准确的，如果两者不相同，则根据与训练图像对应的手部动作修正该预设手部动作模型，直至根据预设手部动作模型得到的第一手部动作与训练图像对应的手部动作一致，则表示模型训练完成。
进一步地，训练图像可以是针对同一手部对象的多帧连续图像，依次提取每一帧训练图像的训练手部特征，得到多帧连续训练图像的训练手部特征轨迹，再根据训练手部特征轨迹训练预设手部动作模型，用于识别多帧手部区域图像中的连续动作。将连续多帧手部区域图像输入至训练预设手部动作模型后，可根据训练手部特征轨迹与输入的手部区域图像的变化轨迹相匹配，分析出输入的手部区域图像最可能的连续动作。相比于单一图像，视频或动图中的这种连续多帧图像可以更加准确地反映手部动作的变化情况，对于判断手部动作的结果也更加符合实际。
上述实施例中，通过训练图像以及与训练图像对应的手部动作对模型进行训练，从而提高了预设手部动作模型的识别准确率，为后续手部动作的识别奠定了基础。
在其中一个实施例中，请参照图4，图4为一实施例中提取训练图像的训练手部特征的步骤，其中训练图像包含若干张二维图像，若干张二维图像组成二维图像组；在训练预设手部动作模型时，若训练图像为三维深度图像，则可以直接根据图像中的手部特征信息，建立三维预设手部动作模型；若训练图像为二维图像，需要对若干个不同角度的待识别对象的图像进行分析，即通过在待识别对象的周围预设多个图像采集装置以得到待识别对象的不同角度的图像，提取不同角度的图像中的手部特征信息，对三维手部动作模型中缺失的信息进行补充，最终建立包含完整手部特征信息的三维预设手部动作模型。则提取所述训练图像的训练手部特征的步骤包括：
S402，提取二维图像组中的初始训练图像的第一手部特征。
其中，初始训练图像是二维图像组中的用于提取特征信息的第一张图像，是用于建立三维预设手部动作模型的第一个样本。则第一手部特征即是第一张图像中的手部动作对应的手部特征。
具体地，先从二维图像组中选取一张图像作为初始训练图像，然后识别出这一张图像中的手部关节和关节的连接关系作为第一手部特征。
S404，当在初始训练图像的第一手部特征不完整时，则继续获取二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取当前训练图像的补充手部特征；通过补充手部特征和第一手部特征得到第二手部特征。
其中，当前训练图像是为了补充前面的手部特征继续从二维图像组中选取的与前面一张训练图像相关的下一训练图像；当前训练图像与前面一张训练图像之间存在至少一个共同的手部特征；从当前训练图像中提取的手部特征后，比较此手部特征与第一手部特征，将从当前训练图像中提取的手部特征与第一手部特征不重合的部分称之为补充手部特征。
第二手部特征是将补充手部特征补充到第一手部特征后得到的手部特征；即将从除了初始训练图像之外的其他图像中提取的补充手部特征按照提取顺序补充到第一手部特征后得到的手部特征。
具体地，在步骤S402中获取到第一手部特征后，可能由于二维图像无法表达深度信息，且可能存在其他遮挡物(如手部握着其他物体)等因素，第一手部特征只能包含该图像包含的平面内的手部关节信息，无法反映在其他视角内此手部动作的手部特征信息，故需要根据多个视角获取的训练图像补充其他视角内本手部动作的手部特征，故如果计算机发现第一手部特征不完整时，需要继续从二维图像组中选取下一个视角的图像作为当前训练图像进行分析，提取当前训练图像中的手部动作的关节点信息，将第一手部特征中缺失的关节点信息补入第一手部特征中成为第二手部特征。
S406，当第二手部特征不完整时，则继续获取二维图像组中的下一训练图像作为当前训练图像，直至所得到的第二手部特征为完整手部特征时，则将第二手部特征作为训练手部特征。
具体地，若S404中得到的第二手部特征仍不完善，则需要继续获取下一张与当前训练图像有共同手部特征的二维图像进行分析，此时新获取的图像成为当前训练图像，再继续S404的获取补充手部特征后，将其中不在第一手部特征种的手部关节信息继续补充到第一手部特征中。如果得到的第二手部特征一直不完整，则继续选取训练图像，对其手部特征信息进行补充。
其中，完整手部特征是包含了所有建立三维的预设手部特征模型的所有信息；若手部特征是关节点和关节的连接，则完整手部特征可以是可以连接成一个完整手部的主要关节信息和关节间的连接关系。
具体地，通过步骤S404和S406的多次抽样和特征信息补充的过程，逐渐完善待识别的手部动作的所有特征信息，完善后的手部特征即为训练手部特征。
在上述实施例中，为得到训练手部特征，需要对相同手部动作的多个视角的训练图像进行分析，训练图像中除了可以包含手部的图像外，也可以包括和当前手部动作相关的负样本(如训练图像为手中握着一支笔，此时笔为负样本)，通过对多种负样本的分析，可以更详细地区分训练图像在与不同负样本发生关系时，不同的手部关节的弯曲角度和对其他手部关节的遮挡程度等信息。而通过此方法训练得到的预设手部动作模型，在用于处理某一输入的手部区域图像时，即使是当前手部区域图像有部分区域被遮挡时或当前手部区域图像仅为二维图像时，也可以根据当前手部区域图像可以区分的手部关节的弯曲角度和各个关节之间的连接和遮挡关系，计算出当前手部特征是某一手部动作的概率，从而选取出当前手部区域图像最可能是某一手部动作，将其作为该CNN的输出结果。
在其中一个实施例中，上述手部动作识别方法还可以包括：通过传感器获取待识别对象的第二手部动作；比较第一手部动作和第二手部动作；若第一手部动作和第二手部动作不同时，则根据第二手部动作纠正第一手部动作。
其中，传感器是用于感应待识别对象的第二手部动作的辅助仪器，负责侦测待识别对象的手部具体位置作为上述手部动作识别方法的补充；传感器包括红外传感器或者距离传感器等。
具体地，当待识别对象的人体距离图像采集装置较近时，无法获得完整的人体姿态信息，则对于手部的定位也会因此而不准确；此时可以采用红外传感器，直接采集待识别对象的红外图像，并根据红外图像识别出其中的手部位置进行分析，得到第二手部动作，再比较第二手部动作和根据预设手部动作模型获取的第一手部动作，若二者相同，则将第一手部动作作为最终的识别结果输出；若第二手部动作与第一手部动作不同，则将第二手部动作作为识别结果，且返回预设手部动作模型判断错误的提示，技术人员可根据提示对手部动作模型进行排查和纠错。
另外，也可以在上述的手部动作识别方法中增加使用距离传感器，检测待识别对象距离本图像采集装置或者其他目标物的距离，通过检测到的距离判断待识别对象是否是发生在需检测范围内，若否，则不需对其作出上述的手部动作识别的步骤以节约设备的计算损耗，且通过距离的监控，也可以判断所述待识别对象的手部动作的图像距离是否合理，增加识别出的待识别目标的手部动作的准确性。例如，若在一个场景下，通过终端识别目标人物对某一架子上的物体的动作情况，则除了需要识别出目标人物的手部动作外，也需要检测目标人物与这个架子的距离，从而判断该目标人物的手部是否正在对架子上的物体做出动作，若并非对架子上的物体进行动作，则无需识别其手部动作。
上述实施例中，结合红外或者距离传感器提高对待识别对象的手部定位的精度，且与上述的手部动作识别方法相互结合，能够实现更加具体化的作用。
在其中一个实施例中，上述手部动作识别方法还可以包括：当无法通过初始人体模型获取待识别对象的人体姿态信息时，生成与待识别对象对应的提醒信息；输出待识别对象的图像和提醒信息。
其中，提醒信息用于监控终端在识别待识别对象的姿态信息时的异常情况的提醒。终端将在图像采集装置采集到的待采集对象的图像输入至初始人体模型后，当无法检测到人体姿态信息时，会返回的一个错误信息，终端再根据错误信息和此错误信息返回的时间生成一个提醒信息。
具体地，将在图像采集装置采集到的待采集对象的图像输入至初始人体模型后，无法检测到人体姿态信息时，会返回一个错误信息，终端根据错误信息和其发生的时间生成提醒信息，并将提醒信息与对应的图像存储至固定位置，方便对某一提醒信息对应的错误进行排查和解决。
进一步地，当存在多个终端时，可将所有的装置生成的提醒信息和该提醒信息对应的图像发送至后台服务器，通过后台服务器集中管理所有装置生成的提醒信息，对错误进行排查，并对模型进行纠正。
上述实施例中，通过服务器统一管理多个终端在识别过程中的提醒信息，监控在所有终端对各自识别对象中的异常信息，实现自动高效的集中化管理。
应该理解的是，虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种手部动作识别装置，包括：姿态分析模块502、手部定位模块504和动作识别模块506，其中：
姿态分析模块502，用于通过图像采集装置采集待识别对象的图像，将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息。
手部定位模块504，用于从姿态信息中选取手腕关节的位置信息，并根据手腕关节的位置信息获取手部区域图像。
动作识别模块506，用于将手部区域图像输入预设手部动作模型得到待识别对象的第一手部动作。
在其中一个实施例中，上述初始人体模型包括初始关键点模型和初始连接模型；姿态分析模块可以包括：
关键点分析单元，用于将待识别对象的图像输入初始关键点模型得到待识别对象的关键点信息。
连接分析单元，用于将待识别对象的图像输入初始连接模型得到待识别对象的关节连接信息。
姿态获取单元，用于根据关键点信息和关节连接信息生成待识别对象的姿态信息。
在其中一个实施例中，上述手部动作识别装置还包括：
样本获取模块，用于获取训练图像以及与训练图像对应的手部动作。
特征提取模块，用于提取训练图像的训练手部特征。
训练模块，用于将训练手部特征和与对应的手部动作输入基础模型中进行训练得到预设手部动作模型。
在其中一个实施例中，训练图像包含若干张二维图像，若干张二维图像组成二维图像组。特征提取模块还可以用于：用于提取二维图像组中的初始训练图像的第一手部特征；当在初始训练图像的第一手部特征不完整时，则继续获取二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取当前训练图像的补充手部特征；通过补充手部特征和第一手部特征得到第二手部特征；当第二手部特征不完整时，则继续获取二维图像组中的下一训练图像作为当前训练图像；直至所得到的第二手部特征为完整手部特征时，则将第二手部特征作为训练手部特征。
在其中一个实施例中，上述手部动作识别装置还可以包括纠正模块，此纠正模块用于通过传感器获取待识别对象的第二手部动作；比较第一手部动作和第二手部动作；若第一手部动作和第二手部动作不同时，则根据第二手部动作纠正第一手部动作。
在其中一个实施例中，上述手部动作识别装置还可以包括纠正模块，此纠正模块用于当无法通过初始人体模型获取待识别对象的人体姿态信息时，生成与待识别对象对应的提醒信息；输出待识别对象的图像和提醒信息。
关于手部动作识别装置的具体限定可以参见上文中对于手部动作识别方法的限定，在此不再赘述。上述手部动作识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种手部动作识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：通过图像采集装置采集待识别对象的图像，将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息；从姿态信息中选取手腕关节的位置信息，并根据手腕关节的位置信息获取手部区域图像；将手部区域图像输入预设手部动作模型得到待识别对象的第一手部动作。
在一个实施例中，初始人体模型包括初始关键点模型和初始连接模型；处理器执行计算机程序时实现的将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息的步骤可以包括：将待识别对象的图像输入初始关键点模型得到待识别对象的关键点信息；将待识别对象的图像输入初始连接模型得到待识别对象的关节连接信息；根据关键点信息和关节连接信息生成待识别对象的姿态信息。
在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：获取训练图像以及与训练图像对应的手部动作；提取训练图像的训练手部特征；将训练手部特征和与对应的手部动作输入基础模型中进行训练得到预设手部动作模型。
在一个实施例中，训练图像包含若干张二维图像，若干张二维图像组成二维图像组；处理器执行计算机程序时实现的提取训练图像的训练手部特征的步骤可以包括：提取二维图像组中的初始训练图像的第一手部特征；当在初始训练图像的第一手部特征不完整时，则继续获取二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取当前训练图像的补充手部特征；通过补充手部特征和第一手部特征得到第二手部特征；当第二手部特征不完整时，则继续获取二维图像组中的下一训练图像作为当前训练图像；直至所得到的第二手部特征为完整手部特征时，则将第二手部特征作为训练手部特征。
在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：通过传感器获取待识别对象的第二手部动作；比较第一手部动作和第二手部动作；若第一手部动作和第二手部动作不同时，则根据第二手部动作纠正第一手部动作。
在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：当无法通过初始人体模型获取待识别对象的人体姿态信息时，生成与待识别对象对应的提醒信息；输出待识别对象的图像和提醒信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现以下步骤：通过图像采集装置采集待识别对象的图像，将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息；从姿态信息中选取手腕关节的位置信息，并根据手腕关节的位置信息获取手部区域图像；将手部区域图像输入预设手部动作模型得到待识别对象的第一手部动作。
在一个实施例中，初始人体模型包括初始关键点模型和初始连接模型，计算机程序被处理器执行时实现的将待识别对象的图像输入初始人体模型得到待识别对象的姿态信息的步骤可以包括：将待识别对象的图像输入初始关键点模型得到待识别对象的关键点信息；将待识别对象的图像输入初始连接模型得到待识别对象的关节连接信息；根据关键点信息和关节连接信息生成待识别对象的姿态信息。
在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取训练图像以及与训练图像对应的手部动作；提取训练图像的训练手部特征；将训练手部特征和与对应的手部动作输入基础模型中进行训练得到预设手部动作模型。
在一个实施例中，训练图像包含若干张二维图像，若干张二维图像组成二维图像组；计算机程序被处理器执行时实现的提取训练图像的训练手部特征的步骤可以包括：提取二维图像组中的初始训练图像的第一手部特征；当在初始训练图像的第一手部特征不完整时，则继续获取二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取当前训练图像的补充手部特征；通过补充手部特征和第一手部特征得到第二手部特征；当第二手部特征不完整时，则继续获取二维图像组中的下一训练图像作为当前训练图像；直至所得到的第二手部特征为完整手部特征时，则将第二手部特征作为训练手部特征。
在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：通过传感器获取待识别对象的第二手部动作；比较第一手部动作和第二手部动作；若第一手部动作和第二手部动作不同时，则根据第二手部动作纠正第一手部动作。
在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：当无法通过初始人体模型获取待识别对象的人体姿态信息时，生成与待识别对象对应的提醒信息；输出待识别对象的图像和提醒信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种手部动作识别方法，包括如下步骤：
通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息；
从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；
将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。
2.根据权利要求1所述的方法，其特征在于，所述初始人体模型包括初始关键点模型和初始连接模型；
所述将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息的步骤，包括：
将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；
将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；
根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练图像以及与所述训练图像对应的手部动作；
提取所述训练图像的训练手部特征；
将所述训练手部特征和与对应的所述手部动作输入基础模型中进行训练得到预设手部动作模型。
4.根据权利要求3所述的方法，其特征在于，所述训练图像包含若干张二维图像，所述若干张二维图像组成二维图像组；
所述提取所述训练图像的训练手部特征的步骤包括：
提取所述二维图像组中的初始训练图像的第一手部特征；
当在所述初始训练图像的第一手部特征不完整时，则继续获取所述二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取所述当前训练图像的补充手部特征；通过所述补充手部特征和所述第一手部特征得到第二手部特征；
当所述第二手部特征不完整时，则继续获取所述二维图像组中的下一训练图像作为当前训练图像；直至所得到的所述第二手部特征为完整手部特征时，则将所述第二手部特征作为训练手部特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过传感器获取待识别对象的第二手部动作；
比较所述第一手部动作和所述第二手部动作；
若所述第一手部动作和所述第二手部动作不同时，则根据所述第二手部动作纠正所述第一手部动作。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当无法通过初始人体模型获取所述待识别对象的人体姿态信息时，生成与所述待识别对象对应的提醒信息；
输出所述待识别对象的图像和所述提醒信息。
7.一种手部动作识别装置，其特征在于，包括：
姿态分析模块，用于通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息；
手部定位模块，用于从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；
动作识别模块，用于将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。
8.根据权利要求7所述的装置，其特征在于，所述初始人体模型包括初始关键点模型和初始连接模型；
所述姿态分析模块包括：
关键点分析单元，用于将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；
连接分析单元，用于将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；
姿态获取单元，用于根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810097255.2A CN108399367B (zh) | 2018-01-31 | 2018-01-31 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810097255.2A CN108399367B (zh) | 2018-01-31 | 2018-01-31 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108399367A true CN108399367A (zh) | 2018-08-14 |
| CN108399367B CN108399367B (zh) | 2020-06-23 |
Family
ID=63095850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810097255.2A Expired - Fee Related CN108399367B (zh) | 2018-01-31 | 2018-01-31 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108399367B (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144369A (zh) * | 2018-09-21 | 2019-01-04 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN109189249A (zh) * | 2018-09-14 | 2019-01-11 | 厦门盈趣科技股份有限公司 | 一种鼠标控制方法和鼠标 |
| CN109410319A (zh) * | 2018-09-30 | 2019-03-01 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
| CN109558832A (zh) * | 2018-11-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种人体姿态检测方法、装置、设备及存储介质 |
| CN109685037A (zh) * | 2019-01-08 | 2019-04-26 | 北京汉王智远科技有限公司 | 一种实时动作识别方法、装置及电子设备 |
| CN109800676A (zh) * | 2018-12-29 | 2019-05-24 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN109918883A (zh) * | 2019-02-22 | 2019-06-21 | 袁精侠 | 一种基于手绘轨迹的生物性特征的身份验证方法 |
| CN110008818A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及计算机可读存储介质 |
| CN110189364A (zh) * | 2019-06-04 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置，以及目标跟踪方法和装置 |
| CN110414393A (zh) * | 2019-07-15 | 2019-11-05 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的自然交互方法及终端 |
| CN110414475A (zh) * | 2019-08-07 | 2019-11-05 | 广东工业大学 | 一种机器人复现人体演示动作的方法和装置 |
| CN110443148A (zh) * | 2019-07-10 | 2019-11-12 | 广州市讯码通讯科技有限公司 | 一种动作识别方法、系统和存储介质 |
| CN110941187A (zh) * | 2018-09-21 | 2020-03-31 | 珠海格力电器股份有限公司 | 家电控制方法及装置 |
| CN110991319A (zh) * | 2019-11-29 | 2020-04-10 | 广州市百果园信息技术有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
| WO2020088092A1 (zh) * | 2018-11-01 | 2020-05-07 | 北京达佳互联信息技术有限公司 | 关键点位置确定方法、装置及电子设备 |
| CN111222379A (zh) * | 2018-11-27 | 2020-06-02 | 株式会社日立制作所 | 一种手部检测方法及装置 |
| CN111353465A (zh) * | 2020-03-12 | 2020-06-30 | 智洋创新科技股份有限公司 | 基于深度学习技术的变电站人员行为分析方法及系统 |
| CN111476609A (zh) * | 2020-04-10 | 2020-07-31 | 广西中烟工业有限责任公司 | 零售数据获取方法、系统、设备及存储介质 |
| CN111507192A (zh) * | 2020-03-19 | 2020-08-07 | 北京捷通华声科技股份有限公司 | 一种仪容仪表监测方法和装置 |
| CN111860209A (zh) * | 2020-06-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN111860082A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 信息处理方法、装置以及系统 |
| CN112183173A (zh) * | 2019-07-05 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN112307799A (zh) * | 2019-07-24 | 2021-02-02 | 鲁班嫡系机器人（深圳）有限公司 | 姿态识别方法、装置、系统、存储介质及设备 |
| CN112329719A (zh) * | 2020-11-25 | 2021-02-05 | 江苏云从曦和人工智能有限公司 | 行为识别方法、装置以及计算机可读存储介质 |
| CN113610023A (zh) * | 2021-08-12 | 2021-11-05 | 珠海格力电器股份有限公司 | 设备控制方法、装置、设备及存储介质 |
| CN113627369A (zh) * | 2021-08-16 | 2021-11-09 | 南通大学 | 一种竞拍场景下的动作识别与跟踪方法 |
| CN113657226A (zh) * | 2021-08-06 | 2021-11-16 | 上海有个机器人有限公司 | 一种客户交互方法、装置、介质和移动设备 |
| CN114155555A (zh) * | 2021-12-02 | 2022-03-08 | 北京中科智易科技有限公司 | 人体行为人工智能判断系统和方法 |
| CN114460881A (zh) * | 2022-02-11 | 2022-05-10 | 广东好太太智能家居有限公司 | 晾衣设备控制装置、方法及晾衣设备 |
| CN114694263A (zh) * | 2022-05-30 | 2022-07-01 | 深圳智华科技发展有限公司 | 动作识别方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100197400A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Visual target tracking |
| CN102567703A (zh) * | 2010-12-10 | 2012-07-11 | 上海上大海润信息系统有限公司 | 一种基于分类特征的手部动作识别信息处理方法 |
| CN102801924A (zh) * | 2012-07-20 | 2012-11-28 | 合肥工业大学 | 一种基于Kinect的电视节目主持互动系统 |
| CN102831380A (zh) * | 2011-06-15 | 2012-12-19 | 康佳集团股份有限公司 | 一种基于深度图像感应的肢体动作识别方法及系统 |
| CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
| CN104298358A (zh) * | 2014-10-29 | 2015-01-21 | 指挥家(厦门)智能科技有限公司 | 一种基于关节空间位置数据的动态3d手势识别方法 |
| CN104834913A (zh) * | 2015-05-14 | 2015-08-12 | 中国人民解放军理工大学 | 基于深度图像的旗语识别方法及装置 |
| CN105389539A (zh) * | 2015-10-15 | 2016-03-09 | 电子科技大学 | 一种基于深度数据的三维手势姿态估计方法及系统 |
| CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别系统 |
| CN107103613A (zh) * | 2017-03-28 | 2017-08-29 | 深圳市未来媒体技术研究院 | 一种三维手势姿态估计方法 |
| CN107479693A (zh) * | 2017-07-07 | 2017-12-15 | 大圣科技股份有限公司 | 基于rgb信息的实时手部识别方法、存储介质、电子设备 |
-
2018
- 2018-01-31 CN CN201810097255.2A patent/CN108399367B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100197400A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Visual target tracking |
| CN102567703A (zh) * | 2010-12-10 | 2012-07-11 | 上海上大海润信息系统有限公司 | 一种基于分类特征的手部动作识别信息处理方法 |
| CN102831380A (zh) * | 2011-06-15 | 2012-12-19 | 康佳集团股份有限公司 | 一种基于深度图像感应的肢体动作识别方法及系统 |
| CN102801924A (zh) * | 2012-07-20 | 2012-11-28 | 合肥工业大学 | 一种基于Kinect的电视节目主持互动系统 |
| CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
| CN104298358A (zh) * | 2014-10-29 | 2015-01-21 | 指挥家(厦门)智能科技有限公司 | 一种基于关节空间位置数据的动态3d手势识别方法 |
| CN104834913A (zh) * | 2015-05-14 | 2015-08-12 | 中国人民解放军理工大学 | 基于深度图像的旗语识别方法及装置 |
| CN105389539A (zh) * | 2015-10-15 | 2016-03-09 | 电子科技大学 | 一种基于深度数据的三维手势姿态估计方法及系统 |
| CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别系统 |
| CN107103613A (zh) * | 2017-03-28 | 2017-08-29 | 深圳市未来媒体技术研究院 | 一种三维手势姿态估计方法 |
| CN107479693A (zh) * | 2017-07-07 | 2017-12-15 | 大圣科技股份有限公司 | 基于rgb信息的实时手部识别方法、存储介质、电子设备 |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109189249A (zh) * | 2018-09-14 | 2019-01-11 | 厦门盈趣科技股份有限公司 | 一种鼠标控制方法和鼠标 |
| CN109144369A (zh) * | 2018-09-21 | 2019-01-04 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN109144369B (zh) * | 2018-09-21 | 2020-10-20 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN110941187A (zh) * | 2018-09-21 | 2020-03-31 | 珠海格力电器股份有限公司 | 家电控制方法及装置 |
| CN109410319A (zh) * | 2018-09-30 | 2019-03-01 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
| US11044457B2 (en) | 2018-09-30 | 2021-06-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for processing data, server and computer storage medium |
| CN109410319B (zh) * | 2018-09-30 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
| WO2020088092A1 (zh) * | 2018-11-01 | 2020-05-07 | 北京达佳互联信息技术有限公司 | 关键点位置确定方法、装置及电子设备 |
| CN111222379A (zh) * | 2018-11-27 | 2020-06-02 | 株式会社日立制作所 | 一种手部检测方法及装置 |
| CN109558832B (zh) * | 2018-11-27 | 2021-03-26 | 广州市百果园信息技术有限公司 | 一种人体姿态检测方法、装置、设备及存储介质 |
| US11908244B2 (en) | 2018-11-27 | 2024-02-20 | Bigo Technology Pte. Ltd. | Human posture detection utilizing posture reference maps |
| CN109558832A (zh) * | 2018-11-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种人体姿态检测方法、装置、设备及存储介质 |
| CN109800676A (zh) * | 2018-12-29 | 2019-05-24 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN109800676B (zh) * | 2018-12-29 | 2023-07-14 | 上海易维视科技股份有限公司 | 基于深度信息的手势识别方法及系统 |
| CN109685037A (zh) * | 2019-01-08 | 2019-04-26 | 北京汉王智远科技有限公司 | 一种实时动作识别方法、装置及电子设备 |
| CN109685037B (zh) * | 2019-01-08 | 2021-03-05 | 北京汉王智远科技有限公司 | 一种实时动作识别方法、装置及电子设备 |
| CN110008818A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及计算机可读存储介质 |
| CN109918883A (zh) * | 2019-02-22 | 2019-06-21 | 袁精侠 | 一种基于手绘轨迹的生物性特征的身份验证方法 |
| CN111860082A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 信息处理方法、装置以及系统 |
| CN110189364B (zh) * | 2019-06-04 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置，以及目标跟踪方法和装置 |
| CN110189364A (zh) * | 2019-06-04 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置，以及目标跟踪方法和装置 |
| CN112183173B (zh) * | 2019-07-05 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN112183173A (zh) * | 2019-07-05 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110443148A (zh) * | 2019-07-10 | 2019-11-12 | 广州市讯码通讯科技有限公司 | 一种动作识别方法、系统和存储介质 |
| CN110443148B (zh) * | 2019-07-10 | 2021-10-22 | 广州市讯码通讯科技有限公司 | 一种动作识别方法、系统和存储介质 |
| CN110414393A (zh) * | 2019-07-15 | 2019-11-05 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的自然交互方法及终端 |
| CN112307799A (zh) * | 2019-07-24 | 2021-02-02 | 鲁班嫡系机器人（深圳）有限公司 | 姿态识别方法、装置、系统、存储介质及设备 |
| CN110414475A (zh) * | 2019-08-07 | 2019-11-05 | 广东工业大学 | 一种机器人复现人体演示动作的方法和装置 |
| CN110991319B (zh) * | 2019-11-29 | 2021-10-19 | 广州市百果园信息技术有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
| CN110991319A (zh) * | 2019-11-29 | 2020-04-10 | 广州市百果园信息技术有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
| CN111353465A (zh) * | 2020-03-12 | 2020-06-30 | 智洋创新科技股份有限公司 | 基于深度学习技术的变电站人员行为分析方法及系统 |
| CN111507192A (zh) * | 2020-03-19 | 2020-08-07 | 北京捷通华声科技股份有限公司 | 一种仪容仪表监测方法和装置 |
| CN111476609A (zh) * | 2020-04-10 | 2020-07-31 | 广西中烟工业有限责任公司 | 零售数据获取方法、系统、设备及存储介质 |
| CN111860209B (zh) * | 2020-06-29 | 2024-04-26 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN111860209A (zh) * | 2020-06-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN112329719B (zh) * | 2020-11-25 | 2021-10-15 | 江苏云从曦和人工智能有限公司 | 行为识别方法、装置以及计算机可读存储介质 |
| CN112329719A (zh) * | 2020-11-25 | 2021-02-05 | 江苏云从曦和人工智能有限公司 | 行为识别方法、装置以及计算机可读存储介质 |
| CN113657226A (zh) * | 2021-08-06 | 2021-11-16 | 上海有个机器人有限公司 | 一种客户交互方法、装置、介质和移动设备 |
| CN113610023A (zh) * | 2021-08-12 | 2021-11-05 | 珠海格力电器股份有限公司 | 设备控制方法、装置、设备及存储介质 |
| CN113627369A (zh) * | 2021-08-16 | 2021-11-09 | 南通大学 | 一种竞拍场景下的动作识别与跟踪方法 |
| CN114155555B (zh) * | 2021-12-02 | 2022-06-10 | 北京中科智易科技有限公司 | 人体行为人工智能判断系统和方法 |
| CN114155555A (zh) * | 2021-12-02 | 2022-03-08 | 北京中科智易科技有限公司 | 人体行为人工智能判断系统和方法 |
| CN114460881A (zh) * | 2022-02-11 | 2022-05-10 | 广东好太太智能家居有限公司 | 晾衣设备控制装置、方法及晾衣设备 |
| CN114694263A (zh) * | 2022-05-30 | 2022-07-01 | 深圳智华科技发展有限公司 | 动作识别方法、装置、设备及存储介质 |
| CN114694263B (zh) * | 2022-05-30 | 2022-09-02 | 深圳智华科技发展有限公司 | 动作识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108399367B (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399367A (zh) | 手部动作识别方法、装置、计算机设备及可读存储介质 | |
| CN110032992B (zh) | 一种基于姿态的考试作弊检测方法 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| CN112184705B (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 | |
| CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
| CN108446585A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN104933734B (zh) | 一种基于多kinect的人体姿态数据融合方法 | |
| CN109902659A (zh) | 用于处理人体图像的方法和装置 | |
| CN110032982A (zh) | 机器人引路方法、装置、机器人和存储介质 | |
| CN109241842A (zh) | 疲劳驾驶检测方法、装置、计算机设备及存储介质 | |
| CN111652047B (zh) | 基于彩色图和深度图的人体姿势识别方法及存储介质 | |
| CN114265498B (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| CN108853953A (zh) | 一种形体训练方法、装置、系统、计算机设备及存储介质 | |
| CN112183424A (zh) | 一种基于视频的实时手部追踪方法和系统 | |
| CN113011401A (zh) | 人脸图像姿态估计和校正方法、系统、介质及电子设备 | |
| CN110717449A (zh) | 车辆年检人员的行为检测方法、装置和计算机设备 | |
| CN113936340B (zh) | 一种基于训练数据采集的ai模型训练方法及装置 | |
| CN110929570B (zh) | 虹膜快速定位装置及其定位方法 | |
| CN114863571A (zh) | 一种基于计算机视觉的协作机器人手势识别系统 | |
| CN113076891B (zh) | 基于改进高分辨率网络的人体姿态预测方法及系统 | |
| CN109711343A (zh) | 基于表情、姿态识别和眼神追踪的行为结构化方法 | |
| CN113570732A (zh) | 一种基于ar技术的盾构维修辅助方法和系统 | |
| CN117152844A (zh) | 基于计算机视觉的高完整性工人施工姿态检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200623 Termination date: 20220131 |