CN111368770A - 基于骨骼点检测与跟踪的手势识别方法 - Google Patents

基于骨骼点检测与跟踪的手势识别方法 Download PDF

Info

Publication number
CN111368770A
CN111368770A CN202010164725.XA CN202010164725A CN111368770A CN 111368770 A CN111368770 A CN 111368770A CN 202010164725 A CN202010164725 A CN 202010164725A CN 111368770 A CN111368770 A CN 111368770A
Authority
CN
China
Prior art keywords
tracking
frame
gesture recognition
factory personnel
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010164725.XA
Other languages
English (en)
Other versions
CN111368770B (zh
Inventor
文学霖
刘立龙
任超
周吕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202010164725.XA priority Critical patent/CN111368770B/zh
Publication of CN111368770A publication Critical patent/CN111368770A/zh
Application granted granted Critical
Publication of CN111368770B publication Critical patent/CN111368770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于骨骼点检测与跟踪的手势识别方法，利用骨骼点检测模型检测所有工厂人员的骨骼点，得到对应检测框，利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，同时判断所述检测框与所述跟踪器内存储的跟踪框的匹配度，并再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，然后将所述图像输入到CNN模型中依次经过4组卷积层进行特征提取后，对所述跟踪框利用ROI Align得到设定尺寸的区域特征图，再经过2组全连接层得到特征向量，然后依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后，输出设定特征向量，并根据所述设定特征向量，由SoftMax分类器预测是否存在做手势的过程，准确检测工厂人员是否做出正确完整连贯的倒车手势。

Description

基于骨骼点检测与跟踪的手势识别方法
技术领域
本发明涉及物体检测和跟踪技术领域，尤其涉及一种基于骨骼点检测与跟踪的手势识别方法。
背景技术
在工厂进行倒车手势识别时，事先需要在倒车目的地的位置上部署固定式摄像头，然后基于这个摄像头的视频画面进行图像分析，进而识别工厂人员的倒车手势是否正确规范。在视觉上对于人眼而言，分辨倒车手势是否正确是个相对简单过程，但在量化的过程中，需要选择正确的识别方法。如果用骨骼点直接计算倒车手势姿态，以此判别是否正确，当工厂人员做不连贯倒车手势时，会被误判为正确手势；当手势骨骼点不准时，也会造成误判，不能准确的检测工厂人员是否做出了正确倒车手势。
发明内容
本发明的目的在于提供一种基于骨骼点检测与跟踪的手势识别方法，准确检测工厂人员是否做出正确完整连贯的倒车手势。
为实现上述目的，本发明提供了一种基于骨骼点检测与跟踪的手势识别方法，包括：
利用骨骼点检测模型进行检测，得到对应检测框；
利用对象跟踪算法统计工厂人员，并生成对应的跟踪器；
再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况；
利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势。
其中，所述利用骨骼点检测模型进行检测，得到对应检测框，包括：
利用骨骼点检测模型检测所有工厂人员的骨骼点，并根据所述骨骼点得到对应的检测框。
其中，所述利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，包括：
对获取的首帧图像建立跟踪器，并计算所述检测框与所述跟踪器内存储的跟踪框的交叠率，并将所述交叠率与设定值进行判断。
其中，所述利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，还包括：
若所述交叠率大于设定值，则将对应的所述交叠率和所述跟踪框按升值排列，并将其末端所述交叠率对应的所述跟踪框与所述检测框完成匹配，并更新所述跟踪框；
若所述交叠率小于设定值，则新建跟踪器。
其中，再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，包括：
利用所述对象跟踪算法对下一帧所述图像中的所述工厂人员是否被跟丢进行判断，若没有跟丢，则对统计数加1，若跟丢，则所述统计数为-1，并将所述统计数大于设定阈值的对应的所述图像利用人工智能手势识别算法进行手势判断。
其中，所述利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势，包括：
将所述图像输入到CNN模型中，依次经过4组卷积层进行特征提取后，对所述跟踪框利用ROI Align得到设定尺寸的区域特征图，再经过2组全连接层得到特征向量。
其中，所述利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势，还包括：
将所述特征向量依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后，输出设定特征向量，并同时获取分类损失函数、权重损失函数和检测框回归损失函数计算出所述LSTM模型的网络损失。
其中，输出所述设定特征向量后，所述方法还包括：
将所述设定特征向量输入到SoftMax分类器对对应的图像中的手势进行判断，并输出判断结果。
本发明的一种基于骨骼点检测与跟踪的手势识别方法，利用骨骼点检测模型检测所有工厂人员的骨骼点，得到对应检测框，利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，同时判断所述检测框与所述跟踪器内存储的跟踪框的匹配度，并再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，然后将所述图像输入到CNN模型中进行特征提取，得到特征向量，然后将所述特征向量输入到LSTM模型中进行训练，输出设定特征向量，再经过SoftMax分类器进行预测出视频流中是否存在做手势的过程，准确检测工厂人员是否做出正确完整连贯的倒车手势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于骨骼点检测与跟踪的手势识别方法的步骤示意图。
图2是本发明提供的CNN网络结构图。
图3是本发明提供的LSTM网络结构图。
图4是本发明提供的手势识别算法结构图。
图5是本发明提供的基于骨骼点检测与跟踪的手势识别方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1和图5，本发明提供一种基于骨骼点检测与跟踪的手势识别方法，包括：
S101、利用骨骼点检测模型进行检测，得到对应检测框。
具体的，利用骨骼点检测模型(openpose，能够准确地实时检测到人体上25个骨骼点)检测所有工厂人员的骨骼点(每一个工厂人员都会有对应的骨骼点坐标)，并根据所述骨骼点得到对应的检测框。
S102、利用对象跟踪算法统计工厂人员，并生成对应的跟踪器。
具体的，对于首帧图像而言，是不存在对应的跟踪器的，这时需要新建跟踪器，采用比较稳定的跟踪算子TrackerCSRT(opencv内自带的跟踪器，能准确地跟踪目标对象。由于此跟踪器比TrackerKCF等跟踪器更加精确，更丢率较低。)，在有短时遮挡的情况下还能准确跟踪到位，并计算所述检测框与所述跟踪器内存储的跟踪框的交叠率，并将所述交叠率与设定值进行判断，若所述交叠率大于设定值(或足够大)，那么先统计所述跟踪器和对应的交叠率，并将对应的所述交叠率和所述跟踪框按升值排列，并将其末端(即最大)所述交叠率对应的所述跟踪框与所述检测框完成匹配，并更新所述跟踪框；若所述交叠率小于设定值(或足够小)，所述检测框是不存在对应的跟踪器的，则新建跟踪器，解决了工厂人员跟踪过程中遇到的跟踪框突然转移到相邻的工厂人员上的问题。
S103、再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况。
具体的，由于跟踪器内保存的跟踪算子已经记录了工厂人员，再次利用所述对象跟踪算法对下一帧所述图像中的所述工厂人员是否被跟丢进行判断，若没有跟丢，则对统计数加1，若跟丢，则所述统计数为-1，并将所述统计数大于设定阈值的对应的所述图像利用人工智能手势识别算法进行手势判断。
S104、利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势。
具体的，利用人工智能手势识别算法对输入的所述图像进行手势判断，其中，所述人工智能手势识别算法的结构如图4所示，所述人工智能手势识别算法包括CNN模型和LSTM模型，首先将所述图像输入到CNN模型中，依次经过4组卷积层进行特征提取后，对所述跟踪框利用ROI Align得到设定尺寸的区域特征图，再经过2组全连接层得到特征向量，其中，ROI Align通过量化不取整和双线性插值算法，使得基于ROI区域的裁剪后的特征图可以与原图上的ROI区域对齐，所述CNN模型的结构如图2所示，4组卷积层中，第一组卷积层包括conv-64、conv-64和max pool；第二组卷积层包括conv-128、conv-128和max pool；第三组卷积层包括conv-256、conv-256和max pool；第四组卷积层包括conv-512、conv-512和maxpool，其中，2组全连接层为fc-1024。然后将所述特征向量依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后，输出设定特征向量，并同时获取分类损失函数Lcls、权重损失函数Lw和检测框回归损失函数Lbox计算出所述LSTM模型的网络损失，其中，所述LSTM模型的结构如图3所示，所述舍弃门，也为Sigmoid门，决定了需要从当前状态中舍弃哪些信息，即xt-1指向的A框图；所述添加门为Sigmoid+T函数组成的门，决定了哪些信息需要被添加到状态中，这里分为两部分，一个是Sigmoid层决定了将要更新哪些值，这一部分跟所述舍弃门完全一样，而T层会创建一个新的信息用来添加到状态中，即图3中的xt指向的框图；所述输出门，用于根据贯穿线上的信息以及当前的输入信息计算模块的输出，更新的依然是哪些信息需要丢弃，哪些信息需要被添加，即图3中的xt+1指向的A框图
其中，计算所述LSTM模型的网络损失的损失函数的计算公式为：
L＝Lcls+Lw+Lbox
Figure BDA0002407024730000051
Figure BDA0002407024730000052
其中，所述分类损失函数Lcls由最终的预测结果与对应的分类标签进行计算误差；所述权重损失函数Lw和所述检测框回归损失函数Lbox由CNN网络的全连接层后面进行回归预测，然后与对应回归标签进行计算误差，为了防止过拟合，所以使用L2正则化Lw对权重进行平滑。由于
Figure BDA0002407024730000053
与(y-yi)(表示预测值与标签的误差)成线性关系，误差越大，训练的越快，模型会倾向于让预测结果更接近标签值，所以Lcls和Lbox都使用了交叉熵函数C。
最后所述设定特征向量输入到SoftMax分类器对对应的图像中的手势进行判断，并输出判断结果，准确检测工厂人员是否做出正确完整连贯的倒车手势。
其完整具体的操作步骤如图5所示：基于获取得到的视频图像，利用骨骼点检测算法对帧图像进行检测，得到对应的工作人员的骨骼点坐标和对应的检测框，利用对象跟踪算法或跟踪对象检测算法统计工厂人员，并生成对应的跟踪器，同时判断所述检测框与所述跟踪器内存储的跟踪框的匹配度，若没有对应跟踪框，则新建跟踪器，若匹配度符合要求，则跟新跟踪器，并再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，并判断统计数是否为-1或大于阈值，若不满足，则重新获取视频图像；若满足，则将所述图像输入到手势识别分类器(CNN+RNN)，首先在CNN模型中依次经过4组卷积层进行特征提取后，对所述跟踪框利用ROI Align得到设定尺寸的区域特征图，再经过2组全连接层得到特征向量，然后依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后，输出设定特征向量，并根据所述设定特征向量，由SoftMax分类器预测是否存在做手势的过程，并输出手势识别结果，能准确检测工厂人员是否做出正确完整连贯的倒车手势。
本发明提供的手势识别方法，基于固定位置部署的固定式摄像头拍摄到的视频，能做到自动且精确地识别工厂内工厂人员是否准确做出正确手势，以达到快速便捷地做出倒车指令。本方法是一种基于CNN+LSTM模型来预测视频中是否存在做手势过程的方法。这种方法的优点表现在对外部环境鲁棒性高，一方面可以准确提取手势特征，降低了手势骨骼点不准造成的误判，另一方面针对连贯手势特征可以长时间记忆这些信息，保证做手势的过程的完整性。总而言之，此方法的设计目的是防止判别不连贯手势或者无手势视频时所造成的误判，从而有效识别工厂人员是否做出连贯的手势动作。
本发明的一种基于骨骼点检测与跟踪的手势识别方法，利用骨骼点检测模型检测所有工厂人员的骨骼点，得到对应检测框，利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，同时判断所述检测框与所述跟踪器内存储的跟踪框的匹配度，并再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，然后将所述图像输入到CNN模型中进行特征提取，得到特征向量，然后将所述特征向量输入到LSTM模型中进行训练，输出设定特征向量，再经过SoftMax分类器进行预测出视频流中是否存在做手势的过程，准确检测工厂人员是否做出正确完整连贯的倒车手势。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (8)

1.一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，包括：
利用骨骼点检测模型进行检测，得到对应检测框；
利用对象跟踪算法统计工厂人员，并生成对应的跟踪器；
再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况；
利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势。
2.如权利要求1所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，所述利用骨骼点检测模型进行检测，得到对应检测框，包括：
利用骨骼点检测模型检测所有工厂人员的骨骼点，并根据所述骨骼点得到对应的检测框。
3.如权利要求2所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，所述利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，包括：
对获取的首帧图像建立跟踪器，并计算所述检测框与所述跟踪器内存储的跟踪框的交叠率，并将所述交叠率与设定值进行判断。
4.如权利要求3所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，所述利用对象跟踪算法统计工厂人员，并生成对应的跟踪器，还包括：
若所述交叠率大于设定值，则将对应的所述交叠率和所述跟踪框按升值排列，并将其末端所述交叠率对应的所述跟踪框与所述检测框完成匹配，并更新所述跟踪框；
若所述交叠率小于设定值，则新建跟踪器。
5.如权利要求4所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况，包括：
利用所述对象跟踪算法对下一帧所述图像中的所述工厂人员是否被跟丢进行判断，若没有跟丢，则对统计数加1，若跟丢，则所述统计数为-1，并将所述统计数大于设定阈值的对应的所述图像利用人工智能手势识别算法进行手势判断。
6.如权利要求5所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，所述利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势，包括：
将所述图像输入到CNN模型中，依次经过4组卷积层进行特征提取后，对所述跟踪框利用ROI Align得到设定尺寸的区域特征图，再经过2组全连接层得到特征向量。
7.如权利要求6所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，所述利用人工智能手势识别算法，判断所述工厂人员是否做出正确手势，还包括：
将所述特征向量依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后，输出设定特征向量，并同时获取分类损失函数、权重损失函数和检测框回归损失函数计算出所述LSTM模型的网络损失。
8.如权利要求7所述的一种基于骨骼点检测与跟踪的手势识别方法，其特征在于，输出所述设定特征向量后，所述方法还包括：
将所述设定特征向量输入到SoftMax分类器对对应的图像中的手势进行判断，并输出判断结果。
CN202010164725.XA 2020-03-11 2020-03-11 基于骨骼点检测与跟踪的手势识别方法 Active CN111368770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010164725.XA CN111368770B (zh) 2020-03-11 2020-03-11 基于骨骼点检测与跟踪的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010164725.XA CN111368770B (zh) 2020-03-11 2020-03-11 基于骨骼点检测与跟踪的手势识别方法

Publications (2)

Publication Number Publication Date
CN111368770A true CN111368770A (zh) 2020-07-03
CN111368770B CN111368770B (zh) 2022-06-07

Family

ID=71206770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164725.XA Active CN111368770B (zh) 2020-03-11 2020-03-11 基于骨骼点检测与跟踪的手势识别方法

Country Status (1)

Country Link
CN (1) CN111368770B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906545A (zh) * 2021-02-07 2021-06-04 广东省科学院智能制造研究所 一种针对多人场景的实时动作识别方法及系统
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN116664819A (zh) * 2023-05-17 2023-08-29 武汉大学中南医院 一种医护人员手部识别定位方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100165A1 (en) * 2014-10-03 2016-04-07 Microsoft Technology Licensing, Llc Adapting Encoding Properties
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
WO2019023921A1 (zh) * 2017-08-01 2019-02-07 华为技术有限公司 一种手势识别方法、装置及设备
CN109816012A (zh) * 2019-01-22 2019-05-28 南京邮电大学 一种融合上下文信息的多尺度目标检测方法
CN110084192A (zh) * 2019-04-26 2019-08-02 南京大学 基于目标检测的快速动态手势识别系统及方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100165A1 (en) * 2014-10-03 2016-04-07 Microsoft Technology Licensing, Llc Adapting Encoding Properties
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
WO2019023921A1 (zh) * 2017-08-01 2019-02-07 华为技术有限公司 一种手势识别方法、装置及设备
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN109816012A (zh) * 2019-01-22 2019-05-28 南京邮电大学 一种融合上下文信息的多尺度目标检测方法
CN110084192A (zh) * 2019-04-26 2019-08-02 南京大学 基于目标检测的快速动态手势识别系统及方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
杨张振: "基于RGB-D图像的室内异常行为检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
杨张振: "基于RGB-D图像的室内异常行为检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 02, 15 February 2018 (2018-02-15), pages 2 - 3 *
王松林，徐文胜: "基于Kinect 深度信息与骨骼信息的手指尖识别方法", 《计算机工程与应用》 *
王松林，徐文胜: "基于Kinect 深度信息与骨骼信息的手指尖识别方法", 《计算机工程与应用》, vol. 52, no. 3, 4 June 2014 (2014-06-04) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906545A (zh) * 2021-02-07 2021-06-04 广东省科学院智能制造研究所 一种针对多人场景的实时动作识别方法及系统
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN112926423B (zh) * 2021-02-07 2023-08-25 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
US11776322B2 (en) 2021-02-07 2023-10-03 Qingdao Pico Technology Co., Ltd. Pinch gesture detection and recognition method, device and system
CN116664819A (zh) * 2023-05-17 2023-08-29 武汉大学中南医院 一种医护人员手部识别定位方法、装置、设备及存储介质
CN116664819B (zh) * 2023-05-17 2024-01-09 武汉大学中南医院 一种医护人员手部识别定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111368770B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110147743B (zh) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN111368770B (zh) 基于骨骼点检测与跟踪的手势识别方法
CN111476181B (zh) 一种人体骨架动作的识别方法
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN109800692B (zh) 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN112464807A (zh) 视频动作识别方法、装置、电子设备和存储介质
CN109544592B (zh) 针对相机移动的运动目标检测算法
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN108537829B (zh) 一种监控视频人员状态识别方法
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN111539422B (zh) 基于Faster RCNN的飞行目标协同识别方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN112052802A (zh) 一种基于机器视觉的前方车辆行为识别方法
CN111160212A (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN114266977A (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN116630376A (zh) 基于ByteTrack的无人机多目标跟踪方法
CN109215059B (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
Gong et al. Multi-target trajectory tracking in multi-frame video images of basketball sports based on deep learning
CN111640134B (zh) 人脸跟踪方法、装置、计算机设备及其存储装置
CN110910428B (zh) 一种基于神经网络的实时多目标跟踪方法
CN113361475A (zh) 一种基于多阶段特征融合信息复用的多光谱行人检测方法
CN116229286B (zh) 一种知识驱动的空间目标态势感知方法及系统
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200703

Assignee: Guangxi Guigong surveying and mapping Geographic Information Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2022450000075

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20221118

Application publication date: 20200703

Assignee: Guangxi Taihua Information Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2022450000084

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20221118

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200703

Assignee: Nanning Qihang Surveying and Mapping Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2023980044289

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20231025

Application publication date: 20200703

Assignee: Guangxi Zhongyun Land Planning and Design Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2023980044234

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20231023

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200703

Assignee: Guangxi Yicheng blueprints Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2023980044294

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20231027

Application publication date: 20200703

Assignee: Guangxi Nanning Tianhai Surveying and Mapping Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2023980044292

Denomination of invention: Gesture recognition method based on bone point detection and tracking

Granted publication date: 20220607

License type: Common License

Record date: 20231025

EE01 Entry into force of recordation of patent licensing contract