CN111753747A - 基于单目摄像头和三维姿态估计的剧烈运动检测方法 - Google Patents
基于单目摄像头和三维姿态估计的剧烈运动检测方法 Download PDFInfo
- Publication number
- CN111753747A CN111753747A CN202010596641.3A CN202010596641A CN111753747A CN 111753747 A CN111753747 A CN 111753747A CN 202010596641 A CN202010596641 A CN 202010596641A CN 111753747 A CN111753747 A CN 111753747A
- Authority
- CN
- China
- Prior art keywords
- human body
- position information
- dimensional
- dimensional key
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000007637 random forest analysis Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 16
- 210000003127 knee Anatomy 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 5
- 210000000707 wrist Anatomy 0.000 claims description 5
- 210000002414 leg Anatomy 0.000 claims 4
- 230000036544 posture Effects 0.000 description 14
- 210000002683 foot Anatomy 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Abstract
本发明属于视频行为分析技术领域，具体涉及一种基于单目摄像头和三维姿态估计的剧烈运动检测方法，首先，利用基于深层卷积神经网络的人体检测模型、人体二维关键点检测模型、人体二维关键点提升为人体三维关键点模型，输入单目摄像头的RGB图像，输出人体三维关键点位置信息，为剧烈运动检测提供人体三维姿态表征。其次，基于深层卷积神经网络模型检测到的人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，对多帧图像中人体的进行身份匹配，为剧烈运动检测提供人体身份信息。最后，对多帧图像中同一个人的人体三维关键点位置信息进行提取特征，利用预训练的随机森林剧烈运动检测模型，检测是否存在剧烈运动。本方案以人为主体，利用人体三维关键点更准确地表征人体三维姿态、匹配人体身份，提高剧烈运动检测的精确度和稳健度。
Description
技术领域
本发明属于视频行为分析技术领域，具体涉及一种基于单目摄像头和三维姿态估计的剧烈运动检测方法。
背景技术
在监管场所中，被监控者的剧烈运动是发生异常行为的一个重要信号。正确地检测到监控视频实时流中的人体剧烈运动，能让监管人员对异常行为及时做出反应，对公共安全意义重大。
传统的视频中剧烈运动检测方法，通常是利用背景差分法、帧间差分法、光流法等对视频中相邻图像的变化、混乱程度进行计算，以此为依据分析是否存在人体的剧烈运动。然而，这种方法由于没有以人为主体去分析，会产生很多非人造成的图像巨大变化引起的剧烈运动误检，如光线变化、动物跳动、树叶飘动等。
随着深度卷积神经网络在计算机视觉领域的发展，基于深度卷积神经网络的图像检测识别技术在精确度和稳健度有了大幅提升。视频中剧烈运动检测方法也从中得到启发，利用基于深度卷积神经网络的二维人体关键点检测技术，对相邻图像中同一个人的运动状态进行计算，从而判断是否存在人体的剧烈运动。
基于二维人体关键点检测技术的剧烈运动检测方案，虽然解决了以人为主体的问题，减少了很多非人造成的剧烈运动误检。然而，二维的人体关键点，难以准确表征三维人体的运动状态；例如，一个二维人体姿态可映射为多个三维人体姿态。因此，基于二维人体关键点检测技术的剧烈运动检测方案在精确度和稳健度上有其上限。
发明内容
针对上述的不足，本发明提供一种基于单目摄像头和三维姿态估计的剧烈运动检测方法。
本发明通过以下技术方案实现：
基于单目摄像头和三维姿态估计的剧烈运动检测方法，所述的方法包含如下步骤：
S1.基于人体检测模型和人体二维关键点检测模型，输入单目摄像头的RGB图像，输出图像中的人体位置信息和人体二维关键点位置信息；
S2.利用人体二维关键点提升为人体三维关键点模型，输入人体二维关键点位置信息，输出相应的人体三维关键点位置信息；
S3.基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算帧间各个人体两两之间的相似度，利用匈牙利算法对帧间人体进行匹配，获取多帧图像中的各个人体是否是同一个人；
S4.基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，利用剧烈运动检测模型，输入基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征，判断是否存在剧烈运动。
所述的步骤S1中进一步包括步骤：
1.1训练基于深度卷积神经网络的人体检测模型；获取大量标注有人体位置信息的图像数据，训练所选的人体检测模型，其中，人体位置信息具体指人体外接矩形在图像像素坐标中的四个值(x,y,w,h)，x和y分别指人体外接矩形左上角在图像像素坐标中的x坐标和y坐标，w和h分别指人体外接矩形在图像像素坐标中的宽和高；
1.2训练基于深度卷积神经网络的人体二维关键点检测模型；获取大量标注有人体二维关键点位置信息的图像数据，训练所选的人体二维关键点检测模型，其中，人体二维关键点位置信息具体指所选人体关键点在图像像素坐标中的x坐标和y坐标；
1.3将图像输入到训练好的人体检测模型，输出人体位置信息；利用每个人体位置信息从图像将该人体外接矩形裁出，并调整尺寸，作为训练好的人体二维关键点检测模型的输入，输出人体二维关键点位置信息。
进一步地，所述的人体检测模型包括faster-rcnn、yolov3、ssd或refinedet检测模型的一个或多个的组合。
进一步地，所述的人体二维关键点检测模型包括alphapose、simple pose、mspn或cpn检测模型的一个或多个的组合。
所述的步骤S2中进一步包括步骤：
2.1训练基于深度卷积神经网络的人体三维关键点检测模型；获取大量标注有人体三维关键点位置信息的图像数据，训练所选的人体三维关键点检测模型；其中，人体三维关键点位置信息具体指所选人体关键点在世界坐标中的x坐标、y坐标和z坐标；人体三维关键点的所选人体关键点与人体二维关键点的所选人体关键点相同；
2.2将每个人体二维关键点位置信息输入到训练好的人体二维关键点提升为人体三维关键点模型，输出相应的人体三维关键点位置信息。
进一步地，所述的人体三维关键点检测模型包括semgcn、videopose3d或simple3dpose检测模型的一个或多个的组合；
所述的步骤S3中进一步包括步骤：
3.1基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算当前帧各个人体与上一帧各个人体两两之间的相似度；
3.2基于当前帧各个人体与上一帧各个人体两两之间的相似度，利用匈牙利算法得到最优匹配；在最优匹配中，对于相似度高于设定阈值的匹配对，则认定为同一个人体；对于相似度低于设定阈值的匹配对或当前帧未匹配上的人体，则认定为新的人体。
进一步地，所述的相似度可以是人体位置相似度、人体三维关键点位置相似度、人体图像特征相似度或人体三维姿态相似度，也可以是上述相似度的任意加权组合。
所述的步骤S4中进一步包括步骤：
4.1获取大量标注有人体三维关键点位置信息及身份信息的剧烈运动视频数据和非剧烈运动视频数据，基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型；
4.2将基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征输入到训练好的剧烈运动检测模型，输出1或0，表征是否存在剧烈运动。
进一步地，所述的运动特征可以是限定时间内左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿的角速度累加值、角加速度累加值、角速度最大值、角加速度最大值、角速度超过设定阈值的次数、角加速度超过设定阈值的次数，限定时间内中臀、左手腕、左手肘、右手腕、右手肘、左膝、左脚踝、右膝、右脚踝的速度累加值、加速度累加值、速度最大值、加速度最大值、速度超过设定阈值的次数或加速度超过设定阈值的次数，也可以是上述运动特征的任意加权组合。
与现有技术相比，本发明至少具有下述的有益效果或优点：
1.本方案提出，利用基于深层卷积神经网络的人体检测模型、人体二维关键点检测模型、人体二维关键点提升为人体三维关键点模型，输入单目摄像头的RGB图像，输出人体三维关键点位置信息，为剧烈运动检测提供人体三维姿态表征。相比通过人体二维关键点位置信息进行人体三维姿态表征的技术方案，由于人体二维关键点位置信息在表征人体三维姿态上有一定局限性，本方案能提供更准确的人体三维姿态表征；
2.本方案提出，基于深层卷积神经网络模型检测到的人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，对多帧图像中人体的进行身份匹配，为剧烈运动检测提供人体身份信息。相比通过人体二维关键点位置信息进行人体身份匹配的技术方案，本方案能提供更稳健的人体身份匹配；
3.本方案提出，对多帧图像中同一个人的人体三维关键点位置信息进行提取特征，利用预训练的随机森林剧烈运动检测模型，检测是否存在剧烈运动。人体三维关键点位置信息在表征人体三维姿态的准确性和稳健性，决定了由此产生的特征更有效，更能产生可信的检测结果。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对二维关键点在表征人体姿态上的局限，本方案提出基于单目摄像头和三维姿态估计的剧烈运动检测方案。首先，利用基于深层卷积神经网络的人体检测模型、人体二维关键点检测模型、人体二维关键点提升为人体三维关键点模型，输入单目摄像头的RGB图像，输出人体三维关键点位置信息，为剧烈运动检测提供人体三维姿态表征。其次，基于深层卷积神经网络模型检测到的人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，对多帧图像中人体的进行身份匹配，为剧烈运动检测提供人体身份信息。最后，对多帧图像中同一个人的人体三维关键点位置信息进行提取特征，利用预训练的随机森林剧烈运动检测模型，检测是否存在剧烈运动。本方案以人为主体，利用人体三维关键点更准确地表征人体三维姿态、匹配人体身份，提高剧烈运动检测的精确度和稳健度。本方案具体步骤如下：
S1.训练基于深度卷积神经网络的人体检测模型和二维人体关键点检测模型。利用训练好的人体检测模型和二维人体关键点检测模型，输入图像，输出图像中的人体位置信息和人体二维关键点位置信息。
1.1训练基于深度卷积神经网络的人体检测模型。该模型可以是faster-rcnn、yolov3、ssd、refinedet等任一目标检测模型，也可以是上述目标检测模型的组合。获取大量标注有人体位置信息的图像数据，训练所选的人体检测模型。其中，人体位置信息具体指人体外接矩形在图像像素坐标中的四个值(x,y,w,h)，x和y分别指人体外接矩形左上角在图像像素坐标中的x坐标和y坐标，w和h分别指人体外接矩形在图像像素坐标中的宽和高。
1.2训练基于深度卷积神经网络的二维人体关键点检测模型。该模型可以是alphapose、simple pose、mspn、cpn等任一自顶向下的二维人体关键点检测模型，也可以是上述二维人体关键点检测模型的组合。获取大量标注有二维人体关键点位置信息的图像数据，训练所选的二维人体关键点检测模型。其中，二维人体关键点位置信息具体指所选人体关键点在图像像素坐标中的x坐标和y坐标。所选人体关键点可以是鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、中臀、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳、左耳、左脚大拇指、左脚小拇指、左脚后跟、右脚大拇指、右脚小拇指、右脚后跟等25个人体关键点，也可以是上述25个人体关键点的任意组合。
1.3将图像输入到训练好的人体检测模型，输出人体位置信息。利用每个人体位置信息从图像将该人体外接矩形裁出，并调整尺寸，作为训练好的二维人体关键点检测模型的输入，输出二维人体关键点位置信息。
S2.训练基于深度卷积神经网络的二维人体关键点提升为三维人体关键点模型。利用训练好的二维人体关键点提升为三维人体关键点模型，输入人体二维关键点位置信息，输出相应的人体三维关键点位置信息。
2.1训练基于深度卷积神经网络的三维人体关键点检测模型。该模型可以是semgcn、videopose3d、simple3dpose等任一二维人体关键点提升为三维人体关键点的模型，也可以是上述二维人体关键点提升为三维人体关键点模型的组合。获取大量标注有三维人体关键点位置信息的图像数据，训练所选的三维人体关键点检测模型。其中，三维人体关键点位置信息具体指所选人体关键点在世界坐标中的x坐标、y坐标和z坐标。三维人体关键点的所选人体关键点与二维人体关键点的所选人体关键点相同。
2.2将每个人体二维关键点位置信息输入到训练好的二维人体关键点提升为三维人体关键点模型，输出相应的人体三维关键点位置信息。
S3.基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算帧间各个人体两两之间的相似度，利用匈牙利算法对帧间人体进行匹配。
3.1基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算当前帧各个人体与上一帧各个人体两两之间的相似度。其中相似度可以是人体位置相似度、人体三维关键点位置相似度、人体图像特征相似度、人体三维姿态相似度等，也可以是上述相似度的任意加权组合。人体位置相似度具体指两个人体框之间的iou值，即两个人体框相交的面积除以两个人体框相并的面积。人体三维关键点位置相似度具体指先将人体三维关键点拓展为以人体三维关键点为中心的立方体，再计算两个人体三维关键点立方体之间的iou值，即两个人体三维关键点立方体相交的体积除以两个人体三维关键点立方体相并的体积。人体图像特征相似度具体指先将人体框裁剪图像输入到预训练的行人重识别模型，得到人体图像特征，再计算两个人体图像特征在余弦相似度。人体三维姿态相似度具体指先将人体三维关键点位置信息输入到预训练的人体三维姿态相似模型，输出人体三维姿态相似度。
3.2基于当前帧各个人体与上一帧各个人体两两之间的相似度，利用匈牙利算法得到最优匹配。在最优匹配中，对于相似度高于设定阈值的匹配对，则认定为同一个人体；对于相似度低于设定阈值的匹配对或当前帧未匹配上的人体，则认定为新的人体。
S4.基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型。利用训练好的剧烈运动检测模型，输入基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征，判断是否存在剧烈运动。
4.1获取大量标注有三维人体关键点位置信息及身份信息的剧烈运动视频数据和非剧烈运动视频数据，基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型。其中运动特征可以是限定时间内左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿的角速度累加值、角加速度累加值、角速度最大值、角加速度最大值、角速度超过设定阈值的次数、角加速度超过设定阈值的次数，限定时间内中臀、左手腕、左手肘、右手腕、右手肘、左膝、左脚踝、右膝、右脚踝的速度累加值、加速度累加值、速度最大值、加速度最大值、速度超过设定阈值的次数、加速度超过设定阈值的次数等特征，也可以是上述特征的任意加权组合。
4.2将基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征输入到训练好的剧烈运动检测模型，输出1或0，表征是否存在剧烈运动。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于单目摄像头和三维姿态估计的剧烈运动检测方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于单目摄像头和三维姿态估计的剧烈运动检测方法的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。
Claims (10)
1.基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的方法包含如下步骤：
S1.基于人体检测模型和人体二维关键点检测模型，输入单目摄像头的RGB图像，输出图像中的人体位置信息和人体二维关键点位置信息；
S2.利用人体二维关键点提升为人体三维关键点模型，输入人体二维关键点位置信息，输出相应的人体三维关键点位置信息；
S3.基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算帧间各个人体两两之间的相似度，利用匈牙利算法对帧间人体进行匹配，获取多帧图像中的各个人体是否是同一个人；
S4.基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，利用剧烈运动检测模型，输入基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征，判断是否存在剧烈运动。
2.根据权利要求1所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的步骤S1中进一步包括步骤：
1.1训练基于深度卷积神经网络的人体检测模型；获取大量标注有人体位置信息的图像数据，训练所选的人体检测模型，其中，人体位置信息具体指人体外接矩形在图像像素坐标中的四个值(x,y,w,h)，x和y分别指人体外接矩形左上角在图像像素坐标中的x坐标和y坐标，w和h分别指人体外接矩形在图像像素坐标中的宽和高；
1.2训练基于深度卷积神经网络的人体二维关键点检测模型；获取大量标注有人体二维关键点位置信息的图像数据，训练所选的人体二维关键点检测模型，其中，人体二维关键点位置信息具体指所选人体关键点在图像像素坐标中的x坐标和y坐标；
1.3将图像输入到训练好的人体检测模型，输出人体位置信息；利用每个人体位置信息从图像将该人体外接矩形裁出，并调整尺寸，作为训练好的人体二维关键点检测模型的输入，输出人体二维关键点位置信息。
3.根据权利要求2所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的人体检测模型包括faster-rcnn、yolov3、ssd或者refinedet目标检测模型的一个或多个的组合。
4.根据权利要求2所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的人体二维关键点检测模型包括alphapose、simple pose、mspn或cpn检测模型的一个或多个的组合。
5.根据权利要求1所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的步骤S2中进一步包括步骤：
2.1训练基于深度卷积神经网络的人体三维关键点检测模型；获取大量标注有人体三维关键点位置信息的图像数据，训练所选的人体三维关键点检测模型；其中，人体三维关键点位置信息具体指所选人体关键点在世界坐标中的x坐标、y坐标和z坐标；人体三维关键点的所选人体关键点与人体二维关键点的所选人体关键点相同；
2.2将每个人体二维关键点位置信息输入到训练好的人体二维关键点提升为人体三维关键点模型，输出相应的人体三维关键点位置信息。
6.根据权利要求5所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的人体三维关键点检测模型包括semgcn、videopose3d或者simple3dpose检测模型的一个或多个的组合。
7.根据权利要求1所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的步骤S3中进一步包括步骤：
3.1基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算当前帧各个人体与上一帧各个人体两两之间的相似度；
3.2基于当前帧各个人体与上一帧各个人体两两之间的相似度，利用匈牙利算法得到最优匹配；在最优匹配中，对于相似度高于设定阈值的匹配对，则认定为同一个人体；对于相似度低于设定阈值的匹配对或当前帧未匹配上的人体，则认定为新的人体。
8.根据权利要求7所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的相似度可以是人体位置相似度、人体三维关键点位置相似度、人体图像特征相似度或人体三维姿态相似度，也可以是上述相似度的任意加权组合。
9.根据权利要求1所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的步骤S4中进一步包括步骤：
4.1获取大量标注有人体三维关键点位置信息及身份信息的剧烈运动视频数据和非剧烈运动视频数据，基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型；
4.2将基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征输入到训练好的剧烈运动检测模型，输出1或0，表征是否存在剧烈运动。
10.根据权利要求9所述的基于单目摄像头和三维姿态估计的剧烈运动检测方法，其特征在于，所述的运动特征可以是限定时间内左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿的角速度累加值、角加速度累加值、角速度最大值、角加速度最大值、角速度超过设定阈值的次数、角加速度超过设定阈值的次数，限定时间内中臀、左手腕、左手肘、右手腕、右手肘、左膝、左脚踝、右膝、右脚踝的速度累加值、加速度累加值、速度最大值、加速度最大值、速度超过设定阈值的次数或加速度超过设定阈值的次数，也可以是上述运动特征的任意加权组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010596641.3A CN111753747B (zh) | 2020-06-28 | 2020-06-28 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010596641.3A CN111753747B (zh) | 2020-06-28 | 2020-06-28 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753747A true CN111753747A (zh) | 2020-10-09 |
| CN111753747B CN111753747B (zh) | 2023-11-24 |
Family
ID=72677474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010596641.3A Active CN111753747B (zh) | 2020-06-28 | 2020-06-28 | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753747B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287868A (zh) * | 2020-11-10 | 2021-01-29 | 上海依图网络科技有限公司 | 一种人体动作识别方法及装置 |
| CN112926475A (zh) * | 2021-03-08 | 2021-06-08 | 电子科技大学 | 一种人体三维关键点提取方法 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
| CN113065506A (zh) * | 2021-04-16 | 2021-07-02 | 南京大学 | 一种人体姿态识别方法及系统 |
| CN115035546A (zh) * | 2022-05-27 | 2022-09-09 | 中国科学院半导体研究所 | 三维人体姿态检测方法、装置及电子设备 |
| CN115294660A (zh) * | 2022-10-08 | 2022-11-04 | 南京硅基智能科技有限公司 | 健身动作识别模型、模型的训练方法及健身动作识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692284A (zh) * | 2009-07-24 | 2010-04-07 | 西安电子科技大学 | 基于量子免疫克隆算法的三维人体运动跟踪方法 |
| WO2014205768A1 (zh) * | 2013-06-28 | 2014-12-31 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
| CN109840500A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 一种三维人体姿态信息检测方法及装置 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN109949368A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
| CN110084138A (zh) * | 2019-04-04 | 2019-08-02 | 高新兴科技集团股份有限公司 | 一种2d多人姿态估计方法 |
| CN110674785A (zh) * | 2019-10-08 | 2020-01-10 | 中兴飞流信息科技有限公司 | 一种基于人体关键点跟踪的多人姿态分析方法 |
| CN111079518A (zh) * | 2019-10-31 | 2020-04-28 | 高新兴科技集团股份有限公司 | 一种基于执法办案区场景下的倒地异常行为识别方法 |
| CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
-
2020
- 2020-06-28 CN CN202010596641.3A patent/CN111753747B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692284A (zh) * | 2009-07-24 | 2010-04-07 | 西安电子科技大学 | 基于量子免疫克隆算法的三维人体运动跟踪方法 |
| WO2014205768A1 (zh) * | 2013-06-28 | 2014-12-31 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
| CN109840500A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 一种三维人体姿态信息检测方法及装置 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN109949368A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
| CN110084138A (zh) * | 2019-04-04 | 2019-08-02 | 高新兴科技集团股份有限公司 | 一种2d多人姿态估计方法 |
| CN110674785A (zh) * | 2019-10-08 | 2020-01-10 | 中兴飞流信息科技有限公司 | 一种基于人体关键点跟踪的多人姿态分析方法 |
| CN111079518A (zh) * | 2019-10-31 | 2020-04-28 | 高新兴科技集团股份有限公司 | 一种基于执法办案区场景下的倒地异常行为识别方法 |
| CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 朱婷婷: "基于度量学习和深度学习的行人重识别研究", 《信息与电脑》, no. 15 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287868A (zh) * | 2020-11-10 | 2021-01-29 | 上海依图网络科技有限公司 | 一种人体动作识别方法及装置 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
| CN112926475A (zh) * | 2021-03-08 | 2021-06-08 | 电子科技大学 | 一种人体三维关键点提取方法 |
| CN112926475B (zh) * | 2021-03-08 | 2022-10-21 | 电子科技大学 | 一种人体三维关键点提取方法 |
| CN113065506A (zh) * | 2021-04-16 | 2021-07-02 | 南京大学 | 一种人体姿态识别方法及系统 |
| CN113065506B (zh) * | 2021-04-16 | 2023-12-26 | 南京大学 | 一种人体姿态识别方法及系统 |
| CN115035546A (zh) * | 2022-05-27 | 2022-09-09 | 中国科学院半导体研究所 | 三维人体姿态检测方法、装置及电子设备 |
| CN115035546B (zh) * | 2022-05-27 | 2023-05-05 | 中国科学院半导体研究所 | 三维人体姿态检测方法、装置及电子设备 |
| CN115294660A (zh) * | 2022-10-08 | 2022-11-04 | 南京硅基智能科技有限公司 | 健身动作识别模型、模型的训练方法及健身动作识别方法 |
| CN115294660B (zh) * | 2022-10-08 | 2023-03-07 | 南京硅基智能科技有限公司 | 健身动作识别模型、模型的训练方法及健身动作识别方法 |
| US11854306B1 (en) | 2022-10-08 | 2023-12-26 | Nanjing Silicon Intelligence Technology Co., Ltd. | Fitness action recognition model, method of training model, and method of recognizing fitness action |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753747B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753747B (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| Wang et al. | Fall detection based on dual-channel feature integration | |
| WO2020042419A1 (zh) | 基于步态的身份识别方法、装置、电子设备 | |
| US8630457B2 (en) | Problem states for pose tracking pipeline | |
| CN102682302B (zh) | 一种基于关键帧的多特征融合的人体姿态识别方法 | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| CN107657244A (zh) | 一种基于多摄像机的人体跌倒行为检测系统及其检测方法 | |
| WO2021169924A1 (zh) | 行为预测方法及装置、步态识别方法及装置、电子设备和计算机可读存储介质 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
| CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| Zhou et al. | Learning to estimate 3d human pose from point cloud | |
| JP6381368B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN115699102A (zh) | 使用遮挡感知单对象跟踪在视频流中跟踪多个对象 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| Batool et al. | Telemonitoring of daily activities based on multi-sensors data fusion | |
| Arif et al. | Human pose estimation and object interaction for sports behaviour | |
| EP3039600B1 (en) | Pose and sub-pose clustering-based identification of individuals | |
| Ansar et al. | Robust hand gesture tracking and recognition for healthcare via Recurent neural network | |
| Shaikh et al. | Gait recognition using partial silhouette-based approach | |
| CN113297963A (zh) | 多人姿态的估计方法、装置、电子设备以及可读存储介质 | |
| CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 | |
| CN116342645A (zh) | 一种针对游泳馆场景下的多目标跟踪方法 | |
| Batool et al. | Fundamental Recognition of ADL Assessments Using Machine Learning Engineering | |
| Liu et al. | Adaptive recognition method for VR image of Wushu decomposition based on feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |