CN108062536B - 一种检测方法及装置、计算机存储介质 - Google Patents

一种检测方法及装置、计算机存储介质 Download PDF

Info

Publication number
CN108062536B
CN108062536B CN201711477267.XA CN201711477267A CN108062536B CN 108062536 B CN108062536 B CN 108062536B CN 201711477267 A CN201711477267 A CN 201711477267A CN 108062536 B CN108062536 B CN 108062536B
Authority
CN
China
Prior art keywords
human body
detection
target
feature extraction
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711477267.XA
Other languages
English (en)
Other versions
CN108062536A (zh
Inventor
陈鹏
唐矗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201711477267.XA priority Critical patent/CN108062536B/zh
Publication of CN108062536A publication Critical patent/CN108062536A/zh
Application granted granted Critical
Publication of CN108062536B publication Critical patent/CN108062536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明公开了一种检测方法，所述方法包括：获取特征提取模型对目标图像的第一特征提取结果；采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置。本发明还同时公开了一种检测装置及计算机存储介质。

Description

一种检测方法及装置、计算机存储介质
技术领域
本发明涉及人体检测与人体关键点检测技术领域，具体涉及一种检测方法及装置、计算机存储介质。
背景技术
近几年，基于卷积神经网络(CNN，Convolutional Neural Network)的人体检测与人体关键点检测技术成为视觉识别中的一个重要的研究方向。人体检测与人体关键点检测在智能人机交互方面起到了不可替代的作用。特别是在一些嘈杂的场合，由于语音识别会受到一定的干扰，人体检测与人体关键点检测成为一种相对重要的交互方式。但是视觉识别存在一些技术性难题，比如算法需要克服场景变化带来的背景变化与光照不一问题；视频中的人体可能运动较快造成图像模糊；人体关键点显示不全，即存在部分遮挡；相机视角多变，人体姿态显示的角度比较特殊。2012年后的计算机视觉领域，基于CNN的深度学习方法以其优越的特征提取能力，并凭借图形处理器(GPU，Graphics Processing Unit)等高性能计算硬件，逐渐应用在人体检测及人体关键点检测领域。
目前视觉领域流行的人体关键点检测，分为两个阶段。首先对图像中的人体进行检测，检测结果是确定人体在图像中的位置，并以矩形框坐标的形式返回，然后，在此基础上，针对此感兴趣区域(ROI，Region Of Interest)进行人体关键点检测。这种方法中的人体检测与人体关键点检测，无法同时输出人体所在位置与人体关键点坐标；并且，在CNN网络的特征提取层不共享参数，即不共享计算资源，处理速度较慢，计算资源存在不必要的浪费。
发明内容
有鉴于此，本发明期望提供一种检测方法及装置、计算机存储介质，将人体检测与人体关键点检测进行了有机结合，能节省部分计算资源，且能同时输出目标图像中人体检测与关键点检测的结果，提高定位人体关键点的效率。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明实施例提供了一种检测方法，所述方法包括：
获取特征提取模型对目标图像的第一特征提取结果；
采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；
采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；
输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置。
上述方案中，可选地，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
上述方案中，可选地，所述采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置，包括：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
上述方案中，可选地，所述采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置，包括：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
上述方案中，可选地，所述方法还包括：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
上述方案中，可选地，所述方法还包括：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；或者
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；
其中，所述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，且所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
第二方面，本发明实施例提供了一种检测装置，所述装置包括：
获取模块，用于获取特征提取模型对目标图像的第一特征提取结果；
第一检测模块，用于采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；
第二检测模块，用于采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；
输出模块，用于输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置。
上述方案中，可选地，所述装置还包括：
配置模块，用于获得所述特征提取模型、所述第一检测模型和所述第二检测模型；其中，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
上述方案中，可选地，所述第一检测模块，具体用于：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
上述方案中，可选地，所述第二检测模块，具体用于：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
上述方案中，可选地，所述第一检测模块，还用于：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
上述方案中，可选地，所述配置模块，具体用于：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；或者
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；
其中，所述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，且所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行以上所述的检测方法。
本发明提出的检测方法及装置、计算机存储介质，获取特征提取模型对目标图像的第一特征提取结果；采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置，这样，人体检测与人体关键点检测能共享第一特征提取结果，即能共享计算资源，不仅节省了计算资源，还提高了人体关键点检测的处理速度；具体地，相对于人体关键点检测另行对整个目标图像进行处理，最终确定人脸关键点的位置而言，本发明所述技术方案使得第二检测模型仅需对目标图像的第一特征提取结果进行处理，而不需要对整个目标人脸图像进行处理，从而减少了定位人脸关键点所需的计算量，提高了人脸关键点定位的效率。
附图说明
图1为现有的一种实现人体检测与人体关键点检测的CNN网络结构图示意图；
图2为本发明提供的一种检测方法的流程示意图；
图3为本发明提供的当人体位于边角位置时，推断得到的人体全身位置示意图；
图4为本发明提供的当人体被严重遮挡时，推断得到的人体全身位置示意图；
图5为本发明提供的实现人体检测与人体关键点检测的CNN网络结构图示意图；
图6为本发明提供的检测装置的组成结构示意图。
具体实施方式
为了更好的解释本发明，下面，先介绍一些现有技术中进行人体检测以及人体关键点检测所采用的CNN网络结构图。
如图1所示，目前视觉领域流行的人体关键点检测，分为两个阶段，第一阶段为人体检测阶段、第二阶段为人体关键点检测阶段。在第一阶段中，首先对图像中的人体进行检测，检测结果是确定人体在图像中的位置，并以矩形框坐标的形式返回给第二阶段，以作为第二阶段的输入；在第二阶段中，以第一阶段输出的人体在图像中的位置坐标为基础，针对图像中感兴趣区域(ROI，Region Of Interest)进行人体关键点检测。
上述方法中的人体检测与人体关键点检测，在CNN网络特征提取层不共享参数，即不共享计算资源，处理速度较慢。并且，现有的人体关键点检测需要建立在人体检测的基础上，二者不共享计算资源，忽略了二者之间的关联性，使得计算代价较高或者计算资源存在不必要的浪费。
另外，采用上述人体检测方法，在目标对象被遮挡很严重的情况下或者人体位于图像边角位置且只露出部分肢体情况，即人体关键点显示严重不全的情况，检测出人体位置的难度较大，检出率低。
基于此，本发明提出了一种基于CNN的人体检测与人体关键点相结合的检测方法及装置。主要目标是将人体检测与人体关键点检测进行有机结合，二者共享CNN网络中的部分特征提取层，可同时输出人体所在位置与关键点坐标，节省计算资源，提升计算速度。进一步地，利用关键点检测结果对遮挡人体或图像边角人体进行全身位置推测，提升遮挡严重，人体位于图像边角等情况下的检出率。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本发明实施例提供一种检测方法，如图2所示，所述方法主要包括：
步骤201、获取特征提取模型对目标图像的第一特征提取结果。
其中，所述特征提取模型用于提取目标图像的特征，得到第一特征提取结果。
这里，所述目标图像可以理解为连续采集的视频图像中的每一幅图像。
这里，所述目标图像是通过图像采集器如摄像头或相机等采集得到的图像。
本实施例中，所述第一特征提取结果既能作为步骤202中的第一检测模型的输入，又能作为步骤203中的第二检测模型的输入。
其中，所述第一检测模型用于进行人体检测，得到目标人体所在位置。
其中，所述第二检测模型用于进行人体关键点检测，得到目标人体的人体关键点所在位置。
这里，人体关键点是指人体中具有特质特征的部位，比如眼、鼻、嘴、颈、肩、胳膊、大腿、小腿、膝、脚、脚踝等。
本实施例中，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
步骤202、采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置。
作为一种实施方式，所述采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置，包括：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
这里，所述目标人体所在位置可以理解为目标人体的人体区域。
进一步地，所述方法还包括：
在目标图像中以第一表示形式对目标人体所在位置进行标注。
这里，所述第一表示形式包括用图形或线框将目标对象圈出。比如，在目标图像中用预设颜色的线框将得到的目标人体所在位置框起来。
这样，若通过显示器输出所述目标图像时，由于目标人体所在位置被形象地标出来，便于观察人员得知目标人体所在位置。
步骤203、采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置。
作为一种实施方式，所述采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置，包括：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图(Prediction map)；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
其中，所述热量图，用于表征作为目标人体的人体关键点的概率。
其中，所述偏移图，用于表征相对于理想人体关键点的偏移量。
其中，关键点相连向量，用于表征连接目标人体的人体关键点之间的向量。
这里，所述人体关键点所在位置可以理解为通过正确连接人体关键点而组成的部分人体区域。
这里，所述上采样处理可采用反卷积操作或双线性插值操作。
这里的上采样，可以理解为再放大，放大的是Lowlevel的特征。上采样的目的是提高Lowlevel的特征分辨率，如使得眼睛和原来输入的图像中的眼睛的大小一致。
进一步地，所述方法还包括：
在目标图像中以第二表示形式对得到的人体关键点所在位置进行标注。
这里，所述第二表示形式包括用图形或线框将目标对象圈出。作为一种实施方式，在目标图像中采用预设颜色和/或预设形状图案的标注方式将得到的人体关键点所在位置标注起来。比如，通过红圆点来代表人体的关节，将人体的关节用线连起来。
这样，若通过显示器输出所述目标图像时，由于人体关键点所在位置被形象地标出来，便于观察人员得知目标人体的人体关键点所在位置。
作为一种实施方式，基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置，包括：
当目标图像中存在多个目标人体时，利用匹配算法确定出与对应目标人体相关的人体关键点；
对所述多个目标人体中每个目标人体的各个人体关键点进行相应的组合。
比如，通过K-value匹配算法对不同目标人体的人体关键点进行正确匹配。
也就是说，当目标图像中存在多个目标人体时，利用匹配算法能够对不同目标人体的人体关键点进行正确匹配。
举例来说，目标图像中有3个目标人体，假设共得到9个人体关键点D11、D12、D13、D21、D22、D22、D31、D32、D33；其中，D11、D12、D13表示同一种人体关键点，如头部；D21、D22、D23表示同一种人体关键点，如上肢；D31、D32、D33表示同一种人体关键点，如下肢；通过匹配算法，我们可以找到与目标人体M1相关的人体关键点D11、D21、D31，与目标人体M2相关的人体关键点D12、D22、D32，与目标人体M3相关的人体关键点D13、D23、D33。
步骤204、输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置。
如此，能够实现同时返回目标人体所在位置以及目标人体的人体关键点所在位置。
这样，若通过显示器输出所述目标图像时，目标人体所在位置以及目标人体的人体关键点所在位置被形象地标出来，则更便于观察人员同时得知目标人体所在位置以及目标人体的人体关键点所在位置。
进一步地，所述方法还包括：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
这里，所述预期标准，包括：能够确定出目标人体所在位置。
这里，若得到的所述目标图像中目标人体所在位置不符合预期标准，可以理解为：第一检测模型进行人体检测无法得到人体位置。
这里，所述人体结构特点，包括：人体的对称性，人的身体比例等。
这里，所述关联关系是指根据人体结构特点得到的关联关系，如颈部连接腰，腰再连接腿，腰再连接脚。
这样，利用上述关键点检测结果，可得到分离的人体关键点，用这些分离的人体关键点进行组合，可以大致推断出一个完整的人体。
如此，当人体被严重遮挡或位于边角位置，第一检测模型进行人体检测无法给出人体位置，但此时可以得到第二检测模型获得的人体关键点检测结果，即未被遮挡的部分关键点位置，第一检测模型利用这部分关键点位置，可推断人体全身位置。也就是说，人体关键点检测可辅助人体检测，提升遮挡严重、人体位于图像边角等情况下的检出率。
图3为本发明提供的当人体位于边角位置时，推断得到的人体全身位置示意图，如图3所示，目标人体位于目标图像中的边角位置，通过人体关键点检测可以得到颈、肩、胳膊肘、腰、手腕等关键点位置，在图中用圆点表示关键点位置；通过对这些测得的人体关键点进行连线，在图中用实线连接起来，实线表征在目标图像中实际显示出来的部位的连线，可以得到这些人体关键点所组成的区域；根据人体结构特点，如对称性或身体比例等，推测得到人体全身位置，虚线是根据检测到的关键点进行推测得到的，最后，在图中用方框圈出了推测得到的人体全身位置。
图4为本发明提供的当人体被严重遮挡时，推断得到的人体全身位置示意图，如图4所示，图4中有两个目标对象，分别记为目标对象1和目标对象2；目标对象1被目标对象2严重遮挡；通过人体关键点检测可以得到目标对象1的肩、胳膊肘、手腕、臀、膝等关键点位置，在图中用实心圆点表示关键点位置；通过对这些测得的人体关键点进行连线，在图中用实线连接起来，实线表征在目标图像中实际显示出来的部位的连线，可以得到这些人体关键点所组成的区域；根据人体结构特点，如对称性或身体比例等，推测得到人体全身位置，虚线是根据检测到的关键点进行推测得到的，最后，在图中用方框圈出了推测得到的目标对象1的人体全身位置。同理，通过人体关键点检测可以得到目标对象2的鼻、肩、臂、手腕、大胯、两个膝关节等关键点位置，在图中用非实心圆点表示目标对象2的关键点位置；且由于目标对象2没有被遮挡，采用第一检测模型进行人体检测，就能够准确得到目标对象2的人体位置，无需借助人体关键点检测结果推测目标对象2的人体位置。
作为一种可选的实施方式，本实施例中，对预设卷积神经网络进行训练的方法包括：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
也就是说，在对预设卷积神经网络进行训练时，可同时对其进行人体检测训练与人体关键点检测训练。
作为另一种可选的实施方式，本实施例中，对预设卷积神经网络进行训练的方法包括：
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
也就是说，在对预设卷积神经网络进行训练时，可分阶段对其进行人体检测训练与人体关键点检测训练。
作为又一种可选的实施方式，本实施例中，对预设卷积神经网络进行训练的方法包括：
先采用训练样本集对预设卷积神经网络进行人体关键点检测训练，在完成对所述预设卷积神经网络的人体关键点检测训练后，再采用所述训练样本集对经过人体关键点检测训练的预设卷积神经网络进行人体检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
也就是说，在对预设卷积神经网络进行训练时，可分步骤对其进行人体检测训练与人体关键点检测训练。
其中，上述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，且所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
这里，所述P可以根据检测精度或客户需求进行设定或调整。
这里，所述完整人体区域可以理解为在目标图像中呈现出目标对象的完整人像。
如此，采用训练样本集训练后得到的卷积神经网络能够实现：
获取特征提取模型对目标图像的第一特征提取结果；采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；同时输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置；
采用训练样本集训练后得到的卷积神经网络还能够实现：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
本发明提出的检测方法，人体检测与人体关键点检测能共享第一特征提取结果，即能共享计算资源，不仅节省了计算资源，还提高了人体关键点检测的处理速度；具体地，相对于人体关键点检测另行对整个目标图像进行处理，最终确定人脸关键点的位置而言，本发明所述技术方案使得第二检测模型仅需对目标图像的第一特征提取结果进行处理，而不需要对整个目标人脸图像进行处理，从而减少了定位人脸关键点所需的计算量，提高了人脸关键点定位的效率。
图5为本发明提供的实现人体检测与人体关键点检测的CNN网络结构图示意图，如图5所示，人体检测与人体关键点检测共享前面的稠密特征提取部分，即Lowlevel特征既用来进行人体检测，也用来进行人体关键点检测。CNN网络从稠密特征分开两个分支，分别进行后续的人体检测与人体关键点检测步骤。
其中，特征提取部分1与2指的都是多个卷积层，池化层以及激活层的堆积，需要说明的是，区别于传统的单人关键点的组合，本发明的人体关键点组合是多人的人体关键点的组合，即能将多个人体关键点，正确地分配给多个人。
如图5所示，涉及卷积层、池化层等堆积而成的特征提取部分，涉及回归，组合，上采样等计算，其中的上采样可以是反卷积，也可以是双线性插值等操作。CNN的训练涉及反向传播与前向运算。
可见，本发明给出了一种将人体检测与人体关键点检测进行有机结合的CNN网络，二者共享部分特征提取层，可同时输出人体所在位置与关键点坐标，节省计算资源，提升计算速度。
进一步地，采用现有技术中的人体检测方法，对于遮挡或者人体位于边角位置且只露出部分肢体情况，即人体关节显示不全的情况，可能检测不出来。而本发明所述检测方法还可利用人体关键点检测结果辅助检测人体位置，比如，利用人体关键点检测结果对遮挡人体或图像边角人体进行全身位置推测，能提升检测到人体区域的检出率。
实施例二
本实施例提供了一种检测装置，如图6所示，所述装置包括：
获取模块10，用于获取特征提取模型对目标图像的第一特征提取结果；
第一检测模块20，用于采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；
第二检测模块30，用于采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；
输出模块40，用于输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置。
上述方案中，进一步地，所述装置还包括：
配置模块50，用于获得所述特征提取模型、所述第一检测模型和所述第二检测模型；其中，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
作为一种实施方式，所述第一检测模块20，具体用于：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
作为一种实施方式，所述第二检测模块30，具体用于：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
在一具体实施方式中，所述第二检测模块30，具体用于：
当目标图像中存在多个目标人体时，利用匹配算法确定出与对应目标人体相关的人体关键点；
对所述多个目标人体中每个目标人体的各个人体关键点进行相应的组合。
比如，通过K-value匹配算法对不同目标人体的人体关键点进行正确匹配。
也就是说，当所述目标图像中存在多个目标人体时，利用匹配算法能够对不同目标人体的人体关键点进行正确匹配。
作为一种实施方式，所述第一检测模块20，还用于：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
作为一种实施方式，所述配置模块50，具体用于：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
作为一种实施方式，所述配置模块50，具体用于：
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
作为一种实施方式，所述配置模块50，具体用于：
先采用训练样本集对预设卷积神经网络进行人体关键点检测训练，在完成对所述预设卷积神经网络的人体关键点检测训练后，再采用所述训练样本集对经过人体关键点检测训练的预设卷积神经网络进行人体检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型。
其中，所述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，且所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
本领域技术人员应当理解，图6中所示的检测装置中的各处理模块的实现功能可参照前述检测方法的相关描述而理解。本领域技术人员应当理解，图6所示的检测装置中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
实际应用中，上述获取模块10获取信息的方式不同，则结构不同；从客户端接收时，它是通信接口；自动采集时，它对应的是图像采集器。上述第一检测模块20、第二检测模块30、输出模块40、配置模块50的具体结构均可对应于处理器。所述处理器具体的结构可以为中央处理器(CPU，Central Processing Unit)、微处理器(MCU，Micro ControllerUnit)、数字信号处理器(DSP，Digital Signal Processing)或可编程逻辑器件(PLC，Programmable Logic Controller)等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各单元的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。
所述第一检测模块20、第二检测模块30、输出模块40、配置模块50可以集成对应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所述第一检测模块20、第二检测模块30、输出模块40、配置模块50对应的功能。
本发明提出的检测装置，通过将人体检测与人体关键点检测进行有机结合的CNN网络，二者共享部分特征提取层，可同时输出人体所在位置与人体关键点坐标，节省计算资源，提升计算速度。另外，本发明提出的检测装置，利用人体关键点检测结果辅助检测人体位置，对遮挡人体或图像边角人体进行全身位置推测，提升检出率。
本发明实施例还记载了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述各个实施例所述的检测方法。也就是说，所述计算机可执行指令被处理器执行之后，能够实现前述任意一个技术方案提供的检测方法。
本领域技术人员应当理解，本实施例的计算机存储介质中各程序的功能，可参照前述各实施例所述的检测方法的相关描述而理解。
实施例三
基于实施例一和实施例二所述的检测方法和装置，下面给出具体应用在机器人上的应用场景。
实际应用中，机器人通过上述检测方法及装置获得人体检测与人体关键点检测结果，并根据人体检测与人体关键点检测结果进行人机交互。
比如，机器人利用上述检测方法得到目标对象的人体位置和关键点位置，进而根据目标对象的人体位置和关键点位置判断目标对象是否发出动作指令，当判定目标对象发出动作指令时，执行对应的动作指令。比如检测到目标对象位于A位置，进而可以根据目标对象所在的位置对目标对象实施跟踪，也即当目标对象在A位置时，机器人需要向A位置移动。
再比如，机器人检测得到的人体关键点结果为手放在了胸前，基于此判断出该操作用于表征请跟随我(Follow me)的动作指令，则机器人开始跟踪发出该动作指令的目标对象。
又比如，机器人检测得到的人体关键点结果为被跟踪对象(目标对象)将右手举起，判断出该操作用于表征结束跟踪的动作指令，则机器人结束对该被跟踪对象(目标对象)的跟踪。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种检测方法，其特征在于，所述方法包括：
获取特征提取模型对目标图像的第一特征提取结果；
采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；
采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；
输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置；
其中，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
2.根据权利要求1所述的方法，其特征在于，所述采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置，包括：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
3.根据权利要求1所述的方法，其特征在于，所述采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置，包括：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；或者
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；
其中，所述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，或所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
6.一种检测装置，其特征在于，所述装置包括：
获取模块，用于获取特征提取模型对目标图像的第一特征提取结果；
第一检测模块，用于采用第一检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体所在位置；
第二检测模块，用于采用第二检测模型对所述第一特征提取结果进行处理，得到所述目标图像中目标人体的人体关键点所在位置；
输出模块，用于输出所述目标人体所在位置以及所述目标人体的人体关键点所在位置；
配置模块，用于获得所述特征提取模型、所述第一检测模型和所述第二检测模型；其中，所述特征提取模型、所述第一检测模型和所述第二检测模型均是对预设卷积神经网络进行训练得到的模型，所述特征提取模型、所述第一检测模型和所述第二检测模型共用所述预设卷积神经网络的输入层、卷积层、激活函数、池化层、全连接层。
7.根据权利要求6所述的装置，其特征在于，所述第一检测模块，具体用于：
采用第一检测模型对所述第一特征提取结果进行特征提取处理，得到第二特征提取结果；
基于所述第二特征提取结果进行回归分析，得到所述目标图像中目标人体所在位置。
8.根据权利要求6所述的装置，其特征在于，所述第二检测模块，具体用于：
采用第二定位模型对所述第一特征提取结果进行上采样处理，得到预测特征图；其中，所述预测特征图至少包括热量图、偏移图、关键点相连向量；
基于所述预测特征图进行匹配运算与组合运算，得到所述目标图像中目标人体的人体关键点所在位置。
9.根据权利要求6所述的装置，其特征在于，所述第一检测模块，还用于：
若得到的所述目标图像中目标人体所在位置不符合预期标准，根据所述目标图像中目标人体的人体关键点所在位置，对有关联关系的人体关键点所在位置进行组合，并根据人体结构特点推测得到所述目标图像中目标人体所在位置。
10.根据权利要求6所述的装置，其特征在于，所述配置模块，具体用于：
采用训练样本集对预设卷积神经网络同时进行人体检测训练与人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；或者
先采用训练样本集对预设卷积神经网络进行人体检测训练，在完成对所述预设卷积神经网络的人体检测训练后，再采用所述训练样本集对经过人体检测训练的预设卷积神经网络进行人体关键点检测训练，以得到所述特征提取模型、所述第一检测模型和所述第二检测模型；
其中，所述训练样本集包括M个正训练样本和N个负训练样本，每个正训练样本包括一张第一样本图像和所述第一样本图像中标定的人体区域和人体关键点；其中，所述第一样本图像中所述人体区域未被遮挡，或所述人体区域大于或等于完整人体区域的p％；每个负训练样本包括一张第二样本图像和所述第二样本图像中标定的人体区域和人体关键点；其中，所述第二样本图像中所述人体区域被遮挡和/或所述人体区域小于完整人体区域的p％，p为大于或等于预设值的正数；M和N均为大于或等于1的正整数。
11.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至5任一项所述的检测方法。
CN201711477267.XA 2017-12-29 2017-12-29 一种检测方法及装置、计算机存储介质 Active CN108062536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711477267.XA CN108062536B (zh) 2017-12-29 2017-12-29 一种检测方法及装置、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711477267.XA CN108062536B (zh) 2017-12-29 2017-12-29 一种检测方法及装置、计算机存储介质

Publications (2)

Publication Number Publication Date
CN108062536A CN108062536A (zh) 2018-05-22
CN108062536B true CN108062536B (zh) 2020-07-24

Family

ID=62140859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711477267.XA Active CN108062536B (zh) 2017-12-29 2017-12-29 一种检测方法及装置、计算机存储介质

Country Status (1)

Country Link
CN (1) CN108062536B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101901B (zh) * 2018-07-23 2020-10-27 北京旷视科技有限公司 人体动作识别及其神经网络生成方法、装置和电子设备
CN109274883B (zh) * 2018-07-24 2022-02-01 广州虎牙信息科技有限公司 姿态矫正方法、装置、终端及存储介质
CN112911393B (zh) * 2018-07-24 2023-08-01 广州虎牙信息科技有限公司 部位识别方法、装置、终端及存储介质
CN109359568A (zh) * 2018-09-30 2019-02-19 南京理工大学 一种基于图卷积网络的人体关键点检测方法
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术（北京）有限公司 对图像中人体进行分析的方法、装置及电子设备
CN110210302B (zh) * 2019-04-26 2023-06-20 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN110188780B (zh) * 2019-06-03 2021-10-08 电子科技大学中山学院 用于定位多目标特征点的深度学习模型的构建方法及装置
CN112101342A (zh) * 2019-06-17 2020-12-18 顺丰科技有限公司 箱体关键点检测方法和装置、计算设备、计算机可读存储介质
CN110345407B (zh) * 2019-06-20 2022-01-18 华南理工大学 一种基于深度学习的智能矫姿台灯及矫姿方法
CN112699706A (zh) * 2019-10-22 2021-04-23 广州弘度信息科技有限公司 跌倒检测方法、系统和存储介质
CN111368696A (zh) * 2020-02-28 2020-07-03 淮阴工学院 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111539992A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN111814587A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人体行为检测方法、教师行为检测方法及相关系统和装置
CN114220163B (zh) * 2021-11-18 2023-01-06 北京百度网讯科技有限公司 人体姿态估计方法、装置、电子设备及存储介质
CN116682041B (zh) * 2023-06-06 2023-12-12 南京听说科技有限公司 教学及考试用智能辅助卡及其控制系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106803083B (zh) * 2017-02-04 2021-03-19 北京旷视科技有限公司 行人检测的方法及装置
CN107358149B (zh) * 2017-05-27 2020-09-22 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置

Also Published As

Publication number Publication date
CN108062536A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN108062536B (zh) 一种检测方法及装置、计算机存储介质
WO2021129064A9 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
Gao et al. Dynamic hand gesture recognition based on 3D hand pose estimation for human–robot interaction
US9898651B2 (en) Upper-body skeleton extraction from depth maps
US20110249865A1 (en) Apparatus, method and computer-readable medium providing marker-less motion capture of human
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN112528831A (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
AU2020300067B2 (en) Layered motion representation and extraction in monocular still camera videos
CN112131965B (zh) 一种人体姿态估计方法、装置、电子设备及存储介质
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN110738650A (zh) 一种传染病感染识别方法、终端设备及存储介质
Haggag et al. LGT/VOT tracking performance evaluation of depth images
CN115205737B (zh) 基于Transformer模型的运动实时计数方法和系统
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Azhar et al. Significant body point labeling and tracking
Zhang et al. A multiple camera system with real-time volume reconstruction for articulated skeleton pose tracking
CN114663917A (zh) 基于多视角的多人三维人体位姿估计方法及装置
CN110175629B (zh) 一种人体动作相似度计算方法及装置
CN112465890A (zh) 深度检测方法、装置、电子设备和计算机可读存储介质
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Ru et al. Action recognition based on binocular vision.
CN109740587B (zh) 输电线路增强现实智能巡检系统及方法
Nahar et al. 3D Human Pose Estimation Via Deep Learning Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant