CN111401340A - 目标对象的运动检测方法和装置 - Google Patents

目标对象的运动检测方法和装置 Download PDF

Info

Publication number
CN111401340A
CN111401340A CN202010487411.3A CN202010487411A CN111401340A CN 111401340 A CN111401340 A CN 111401340A CN 202010487411 A CN202010487411 A CN 202010487411A CN 111401340 A CN111401340 A CN 111401340A
Authority
CN
China
Prior art keywords
dimensional position
position coordinates
video frame
joints
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010487411.3A
Other languages
English (en)
Other versions
CN111401340B (zh
Inventor
吴建宝
田野
林斯姚
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010487411.3A priority Critical patent/CN111401340B/zh
Publication of CN111401340A publication Critical patent/CN111401340A/zh
Application granted granted Critical
Publication of CN111401340B publication Critical patent/CN111401340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

本发明公开了一种目标对象的运动检测方法和装置。其中，该方法包括：通过视频帧图像检测关节的2D坐标，获得准确的2D坐标之后，根据置信度和关节的2D坐标确定关节的3D位置坐标，达到了根据视频帧图像中关节的二维位置坐标和二维坐标的置信度，确定出各个关节的更精确的3D位置坐标，进一步的得到目标对象的各个关节的3D位置坐标确定的运动，进而实现对目标对象运动的检测。本发明解决了现有技术中，目标对象的运动检测精确性较低的技术问题。

Description

目标对象的运动检测方法和装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种目标对象的运动检测方法和装置。
背景技术
随着医疗卫生的发展，在人们运动受伤后，可以为运动患者提供有效的康复训练，以便更好的为得到训练恢复健康成为热门话题。
目前对运动障碍患者的康复训练评估主要有以下几种技术方案：方案一，基于多传感器的运动评估方案：该方案一般通过传感器捕捉运动数据，将针状传感器安装在手套或相应可穿戴设备中，病人穿戴着设备做对应的动作，设备内置的传感器会实时获取运动数据。基于针状传感器的技术方案存在的缺点有：1.流程繁琐，耗时耗力。该方案需要患者佩戴各式各样的复杂的专业设备，过程繁琐，耗时耗力。2.佩戴设备影响动作，导致数据失真。病情严重的病人的运动功能会受到穿戴设备的影响，导致数据失真。3.设备复杂，操作要求高。各种专业设备仪器精密，操作要求高，对医生护士提出了更高的要求，造成更多的负担。
方案二，通过手机传感器获取数据，病人手持或腿绑手机做相应动作，通过手机内置传感器芯片，实时读取病人的运动信息并保存在手机上，人工获取手机上的数据进行数据分析。使用手机传感器的技术方案存在的缺点有：1. 内置传感器更新迭代快，数据处理软件依赖多。该方案需要使用软件读取手机内置传感器录得的运动数据，不同的手机型号使用不同的传感器；因此，所使用的数据处理软件对手机型号、批次依赖较多，数据处理非常麻烦；2. 数据质量不高，内置手机传感器价格低廉，质量差。无法获得精确的运动数据。同时传感器录得的z轴数据有明显偏差；3. 无法获得手指关节、面部表情等运动数据。手机传感器穿戴式传感器设备，无法精确获得手指关节的运动数据；同时，不同于视频拍摄的技术方案，使用传感器的解决方案导致其无法获取面部表情等数据。
方案三，部分技术方案以红外反光球作为标记点，设置多台红外摄像机进行运动视频拍摄，后期使用视频处理技术获得更多运动信息。使用反光球+红外摄像机的技术方案存在缺点有：1.对场地要求较高；该技术方案需要较大的场地支持摄像机和反光球的安装，对场地要求高，无法直接在诊室条件下完成病人的运动视频拍摄；2.该方案在录制视频时需要病人去除衣物，一方面增加了拍摄时间，另一方面对病人隐私保护提出了更高要求，极易导致病人对视频拍摄的抵触情绪；3.后期处理要求高；该方案获得的数据需要经过后期处理，降低了视频分析和病情诊断的效率。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的运动检测方法和装置，以至少解决现有技术中，目标对象的运动检测精确性较低的技术问题。
根据本发明实施例的一个方面，提供了一种目标对象的运动检测方法，包括：获取N张视频帧图像，其中，所述N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，所述N台相机相对于所述目标对象位于不同的方位，N为大于1的自然数；根据所述N张视频帧图像中的每张所述视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组所述二维位置坐标包括M个二维位置坐标，所述M个二维位置坐标分别为所述目标对象上的M个关节的二维位置坐标，M为大于1的自然数；根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组所述置信度包括M个置信度，所述M个置信度分别为与所述M个关节的二维位置坐标对应的置信度，所述M个三维位置坐标分别为所述M个关节的三维位置坐标。
根据本发明实施例的另一方面，还提供了一种目标对象的运动检测装置，包括：第一获取单元，用于获取N张视频帧图像，其中，所述N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，所述N台相机相对于所述目标对象位于不同的方位，N为大于1的自然数；第二获取单元，用于根据所述N张视频帧图像中的每张所述视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组所述二维位置坐标包括M个二维位置坐标，所述M个二维位置坐标分别为所述目标对象上的M个关节的二维位置坐标，M为大于1的自然数；第一确定单元，用于根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组所述置信度包括M个置信度，所述M个置信度分别为与所述M个关节的二维位置坐标对应的置信度，所述M个三维位置坐标分别为所述M个关节的三维位置坐标。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标对象的运动检测方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的目标对象的运动检测方法。
在本发明实施例中，通过获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标，达到了根据视频帧图像中关节的二维位置坐标和二维坐标的置信度，确定出各个关节的更精确的3D位置坐标，进一步的得到目标对象的各个关节的3D位置坐标确定的运动，进而解决了现有技术中，目标对象的运动检测精确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的目标对象的运动检测方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的目标对象的运动检测方法的流程图；
图3是根据本发明实施例的一种可选的获取N张视频帧图像对应的视频的拍摄机位设置示意图；
图4是根据本发明实施例的一种可选的多个3D关节点位的示意图；
图5是根据本发明实施例的一种可选的动画视频示例示意图；
图6是根据本发明实施例的一种可选的一种基于多机位视频拍摄的3D人体姿态预估方法的框架图；
图7是根据本发明实施例的一种可选的3D关节检测的算法示意图；
图8是根据本发明实施例的一种可选的目标对象的运动检测装置的结构示意图；
图9是根据本发明实施例的一种可选的目标对象的运动检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好的理解本申请提供的实施例，现将部分名词解释如下：
人体姿态预估：指人体面部、手部、足部、躯干部分的姿态，多以身体关节位置和相互关系进行描述。
计算机视觉：指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，最终研究目标就是使计算机能象人那样通过视觉观察来理解世界，具有自主适应环境的能力。
目标检测：视觉感知的第一步，它尽可能搜索出图像中某一块存在目标（形状、位置），并记录可以包裹住被检测目标最小的矩形框位置和大小。
视频分析：通过计算机视觉技术，对拍摄的视频或视频流进行分析的技术，主要用于视频中的人体姿态识别、身份识别等。
运动障碍疾病: 症状以运动能力下降为主的疾病，包括不限于帕金森病，共济失调等。
拍摄设备：包括数码相机、数码摄像头、变焦摄像头。
根据本发明实施例的一个方面，提供了一种目标对象的运动检测方法，可选地，作为一种可选的实施方式，上述目标对象的运动检测方法可以但不限于应用于如图1所示的环境中。该硬件环境可以包括但不限于用户设备102、网络110及服务器112。其中，该用户设备102可以是获取视频的相机。
其中，上述用户设备102中可以包括但不限于：人机交互屏幕104，处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取人机交互指令，执行对目标对象的运动视频录制；处理器106用于响应上述人机交互指令，开始对目标对象的运动进行录制。存储器108用于存储目标对象的视频，以及N张视频帧图像、关节的二维位置坐标以及关节的三维位置坐标等属性信息。这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116用于调用数据库114中存储的N张视频帧图像，根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标，达到了根据视频帧图像确定运动障碍患者的关节的三维位置坐标的目的，从而实现了根据运动障碍患者的关节的三维位置坐标方便的检测该患者的运动状态的技术效果，即根据视频帧图像中关节的二维位置坐标和二维坐标的置信度，确定出各个关节的更精确的3D位置坐标，进一步的得到目标对象的各个关节的3D位置坐标确定的运动，进而解决了现有技术中，目标对象的运动检测精确性较低的技术问题。
具体过程如以下步骤：在用户设备102中的人机交互屏幕104显示目标对象的视频帧图像。如步骤S102-S112，获取该N张视频帧图像，并将该N张视频帧图像通过网络110发送服务器112。在服务器112根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。然后将上述确定出的结果返回终端设备102。
可选地，在本实施例中，上述用户设备102可以是配置有目标客户端的终端设备，并用于获取N张视频帧图像，可以包括但不限于以下至少之一：手机（如Android手机、iOS手机等）、笔记本电脑、平板电脑、掌上电脑、MID（Mobile Internet Devices，移动互联网设备）、PAD、台式电脑、智能电视等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述目标对象的运动检测方法包括：
步骤S202，获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数。
步骤S204，根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数。
步骤S206，根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。
可选的，在本实施例中，获取的N张视频帧图像可以包括但不限从视频中获取，该视频帧图像可以包括但不限于多个相机在不同的机位获取的视频或图像中。即在本实施例中，可以采集多机位下患者运动视频，机位设置如下图3所示，获取N张视频帧图像对应的视频的拍摄机位设置示意图。如图3所示，在三个方向设置相机采集患者左、上、右视角的运动画面。提供上视角画面的采集设备离地高度为h2，左右设备距中间设备距离为d1，离地高度为h1，左右设备拍摄角度朝内α1度，患者运动范围长度为d2，宽度为2d1。
可选的，在本实施例中，使用3D关节检测算法检测患者关节的3D空间坐标，每个关节获取三个参数（x，y，z）代表该运动关节在视频时刻t的空间位置，算法可实时追踪患者的13个关节坐标，具体关节如下图4所示，多个3D关节点位的示意图。如图3中的0-12个标号对应人体的13个运动关节，分别为：右脚跟、左脚跟，右膝盖、左膝盖，右臀部、左臀部，右手腕、左手腕，右手肘、左手肘，右肩膀、左肩膀，头。
本实施例的方案可以理解为，首先通过深度模型预测到关节的2D坐标，然后通过线性回归和三角剖分方法融合相机多视角下的2D姿态，进而得到关节的三维位置坐标。
在本实施例中，根据3D关节检测算法得到的结果，可以实现将人体13个关节的3D坐标绘制于三维坐标系中，对视频每一帧的预测结果进行分析，去除噪声，生成连贯的关节动画，实时展示该关节动画，有利于患者理解动作要领，纠正动作偏差。示例视频如图5所示，动画视频示例示意图。
可选的，在本实施例中，根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，可以包括：
通过目标神经网络获取N张视频帧图像中的每张视频帧图像的特征图，共得到N个第一特征图；
根据N个第一特征图中的每个第一特征图，确定出M个关节所在的M个二维位置坐标，共得到N组二维位置坐标。
其中，根据N个第一特征图中的每个第一特征图，确定出M个关节所在的M个二维位置坐标，可以包括：
计算N张视频帧图像中的第C张视频帧图像中第j个关节在第一特征图对应的热度图中的最大值，并将最大值对应的二维坐标确定为j 关节的二维位置坐标，其中，二维位置坐标：
Figure 794157DEST_PATH_IMAGE001
其中，
Figure 363679DEST_PATH_IMAGE002
，r表示第一特征图的像素点，
Figure 107644DEST_PATH_IMAGE003
为超参数，
Figure 16694DEST_PATH_IMAGE004
，
Figure 430489DEST_PATH_IMAGE005
表示第C张视频帧图像中第j个关节特征图。
可选的，在本申请实施例中，根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标，可以包括：
根据N组二维位置坐标和N组置信度，采用三角剖分方法回归得到M个三维位置坐标。
在本申请的实施例中，采用多视角图像融合方法检测3D关节，提高关节检测的准确性。
作为一种可选的实施例，根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之前，还可以包括：
获取N张视频帧图像中的每张视频帧图像的特征图，其中，特征图中包括M个关节的特征图；
基于特征图计算M个关节中的每个关节在每张视频帧图像中的置信度。
作为一种可选的实施例，根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之后，还可以包括：
根据Q个时刻上获取到的Q组M个三维位置坐标，确定目标对象的Q个骨架图，其中，每个骨架图包括M个关节的关节标识，每个关节标识的位置由M个三维位置坐标中对应的三维位置坐标表示，Q个时刻包括N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
根据Q个骨架图，生成目标对象的运动动画。
其中，根据Q个骨架图，生成目标对象的运动动画，可以包括：
在Q个时刻为相邻的多个时刻的情况下，获取M个关节中的每个关节的N个三维坐标；
将对N个三维坐标的取平均坐标值，并将平均值坐标确定为每个关节的三维坐标。
通过该实施例，根据获取的关节坐标，通过绘图脚本自动生成关节骨架图，同时基于骨架图自动生成可视化视频，为了避免由于3D关节检测的误差，某些关节会预测错误，影响视频的平滑和美观，可以采用线性插值等方法处理这些预测错误的点。具体而言，第C个视频帧图像中的第j个关节的三维位置坐标
Figure 424990DEST_PATH_IMAGE006
，进而有效避免单帧检测错误导致的关节点跳动。即在视频生成过程中，综合运用去噪和插值算法，提高关节可视化视频的平滑度。
作为一种可选的实施例，根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之后，还可以包括：
根据Q个时刻上获取到的Q组M个三维位置坐标，确定目标对象的Q个骨架图，其中，每个骨架图包括M个关节的关节标识，每个关节标识的位置由M个三维位置坐标中对应的三维位置坐标表示，Q个时刻包括N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
将Q个骨架图与预设的动作参考图进行比较，得到目标比较结果，其中，目标比较结果用于指示M个关节的运动是否满足预设要求。
通过本申请提供的实施例，针对不同的训练动作，采取不同的评估指标（相当于预设的动作参考图），不同的评估指标需要选取的关节点集合不同，采用的评估方法也不同，可根据具体需求，选取特定的关节点，设置特定的评估指标。例如，对下肢康复训练动作，重点选取左右脚跟，左右膝盖，左右臀关节作为关节集合，对下肢运动进行振幅分析或频率分析。下面针对下肢行走动作进行评估，过程如下：
步骤一：视频输入检测模型，得到视频中每一帧图像的3D关节坐标位置，如图4所示，共13个关键点。
步骤二：针对下肢行走动作，从每一帧图像的关节坐标中取其中6个关节点，分别为左右脚跟，左右膝盖，左右臀关节。
步骤三：行走动作需要考虑患者与相机的相对位置变化。若患者距离相机较远，计算的关节之间的距离较小，振幅较小；当患者靠近相机，计算的关节之间的距离将变大，振幅将变大。因此，在计算振幅频率之前，需要进行数值归一化，将每一帧的特征值均除以该视频的归一化系数，被拍摄者的脸部面积值在整个视频图像帧中的中位数。
步骤四：下肢动作的运动幅度，运动频率分析。与正常人的行走幅度，频率进行比较，最后给出相应的指导，若运动幅度偏低，则指导患者提高抬腿，频率偏低，则提示患者加快步伐。
通过本申请提供的实施例，获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标，达到了根据视频帧图像中关节的二维位置坐标和二维坐标的置信度，确定出各个关节的更精确的3D位置坐标，进一步的得到目标对象的各个关节的3D位置坐标确定的运动，进而解决了现有技术中，目标对象的运动检测精确性较低的技术问题。
需要说明的是，本申请提供的上述方案中，根据视频帧图像确定运动障碍患者的关节的三维位置坐标的目的，从而实现了根据运动障碍患者的关节的三维位置坐标方便的检测该患者的运动状态的技术效果，避免使用复杂、且昂贵的设备获取目标对的运行状态。
作为一种可选的实施例，本申请还提供了一种基于多机位视频拍摄的3D人体姿态预估方法。
本实施例的方案中包括拍摄方法和3D关节检测算法，同时提出了基于运动关节分析的康复训练评估和指导方法。如图6所示，一种基于多机位视频拍摄的3D人体姿态预估方法的框架图。结合图6对一种基于多机位视频拍摄的3D人体姿态预估方法的说明如下：
步骤1，视频采集，即数据采集，需要采集多机位下患者运动视频，机位设置如图3所示，在三个方向设置相机采集患者左、上、右视角的运动画面。提供上视角画面的采集设备离地高度为h2，左右设备距中间设备距离为d1，离地高度为h1，左右设备拍摄角度朝内
Figure 972646DEST_PATH_IMAGE007
度，患者运动范围长度为d2，宽度为2d1。
步骤2，3D关节检测，即3D位姿预估，使用3D关节检测算法检测患者关节的3D空间坐标，每个关节获取三个参数（x，y，z）代表该运动关节在视频时刻t的空间位置。
需要说明的是，3D关节检测是一个端到端的深度模型，输入是视频，输出是视频中每一帧图像的人体3D关节坐标。在本申请实施例中，视频中每一帧图像的人体3D关节坐标获取方式是：首先检测关节的2D坐标，获得较准确的2D坐标之后，使用深度模型或数学建模方法回归得到3D坐标。如图7所示，3D关节检测的算法示意图。
如图7所示，关节的3D位姿的计算主要步骤为：
1，多视角特征融合，充分利用多视角相机获取的视频数据，降低遮挡对检测的影响。
过程如下，假设输入图为Ic（c表示第c个相机视角），
2Dbackbone模块的矩阵参数运算，用
Figure 798520DEST_PATH_IMAGE008
表示。因此，2Dbackbone阶段输出得到特征图：
Figure 39008DEST_PATH_IMAGE009
（j表示第j个关节）
采用分类器Softmax计算2Djoint heatmaps得到置信度：
Figure 255226DEST_PATH_IMAGE010
r表示特征图的像素点，
Figure 216360DEST_PATH_IMAGE003
为超参数，
Figure 834423DEST_PATH_IMAGE004
。
通过热度图heatmap取其中最大值所在位置，得到第C视角下第j个关节的预估位置Xc,j，计算方法如下：
Figure 980233DEST_PATH_IMAGE001
基于特征图计算各关节在各视角下的置信度（Wc,1…Wc,j），C表示第C个视角，j表示第j个关节。
2，采用三角剖分方法回归3D坐标。基于2D关节坐标和每个视角下的置信度数值，采用三角剖分方法回归得到关节的3D坐标，实现了对多视角图像特征的融合，减少视角遮挡带来的检测误差。
步骤3，动作可视化，根据3D关节检测算法得到的结果，该步骤实现将人体13个关节的3D坐标绘制于三维坐标系中，对视频每一帧的预测结果进行分析，去除噪声，生成连贯的关节动画，实时展示该关节动画，有利于患者理解动作要领，纠正动作偏差。
步骤4，动作评估，根据患者的康复训练类型，设定多种评估指标。即根据不同的康复动作，设定不同的评估指标，由3D关节坐标计算得到。例如，对于行走动作的康复训练，将评估患者行走的速度，抬腿高度和频率，下肢稳定性，摆臂幅度和频率等。部分动作所选取的关节点集合与评估指标如下表1所示。
运动种类 关键点 特征类型
踢腿 臀部，脚踝 角度
引体向上 手腕，胸部 距离
平板支撑 肘部，肩部，臀部，膝盖，脚踝 面积
步骤5，动作指导，根据评估结果，将为患者提供训练建议，例如，当患者行走动作速度太慢时，将提示患者提高速度；当摆臂幅度小于标准值时，将提示患者加强手臂摆动，同时在关节动画的相应关节位置（如下肢，手臂）处给出提示。
本申请提供的实施例中，针对多视角视频，提出了相应的3D关节检测算法，提升了检测效果。基于人体关节的3D检测结果，提出基于关节点运动分析的康复评估与指导，无需人工介入，患者可实时查看自己康复动作的关节动画，根据机器指导纠正不规范的动作，提高康复训练的自主性和有效性。
本实施例的方案具有如下优点：
1，视频采集无需佩戴任何传感器设备，减少了对病人的运动束缚。同时较少需要医生或护士的干预，提高了拍摄效率。相较针状传感器方案更加快捷、高效。相较手机传感器方案，该方案将视频拍摄与数据处理过程分开，无硬件型号、软件版本的依赖问题。
2，相较反光球+红外摄像机的方案，本实施中的视频拍摄无需病人去除任何衣物，可实现在诊室条件下直接进行视频拍摄，不仅能提高拍摄效率，同时减少了被拍摄人的抵触感。
3，采用基于人工智能的多机位3D人体姿态预估算法，提供了患者运动关节的立体3D坐标，有利于提高动作评估的准确度，从而提供更精准的训练指导。
4，通过视频语音结合的方式，实时为患者提供运动角度调节，幅度调节等建议，无需人为介入，实现了无接触式的康复运动指导。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标对象的运动检测方法的目标对象的运动检测装置。如图8所示，该目标对象的运动检测装置包括：第一获取单元81、第二获取单元83以及第一确定单元85。
第一获取单元81，用于获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；
第二获取单元83，用于根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；
第一确定单元85，用于根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。
可选的，在本实施例中，上述第二获取单元83，可以包括：
第一获取模块，用于通过目标神经网络获取N张视频帧图像中的每张视频帧图像的特征图，共得到N个第一特征图；
第一确定模块，用于根据N个第一特征图中的每个第一特征图，确定出M个关节所在的M个二维位置坐标，共得到N组二维位置坐标。
其中，第一确定模块用于执行如下操作：
计算N张视频帧图像中的第C张视频帧图像中第j个关节在第一特征图对应的热度图中的最大值，并将最大值对应的二维坐标确定为j关节的二维位置坐标，其中，二维位置坐标：
Figure 11643DEST_PATH_IMAGE001
其中，
Figure 697839DEST_PATH_IMAGE002
，r表示第一特征图的像素点，
Figure 373671DEST_PATH_IMAGE003
为超参数，
Figure 831329DEST_PATH_IMAGE004
，
Figure 22139DEST_PATH_IMAGE005
表示第C张视频帧图像中第j个关节特征图。
可选的，在本实施例中，上述第一确定单元85，可以包括：
确定模块，用于根据N组二维位置坐标和N组置信度，采用三角剖分方法回归得到M个三维位置坐标。
通过本申请提供的实施例，第一获取单元81获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；第二获取单元83根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；第一确定单元85根据N组二维位置坐标以及与N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。达到了根据视频帧图像中关节的二维位置坐标和二维坐标的置信度，确定出各个关节的更精确的3D位置坐标，进一步的得到目标对象的各个关节的3D位置坐标确定的运动，进而解决了现有技术中，目标对象的运动检测精确性较低的技术问题。
作为一种可选的实施例，上述装置还可以包括：
第三获取单元，用于在根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标之前，获取N张视频帧图像中的每张视频帧图像的特征图，其中，特征图中包括M个关节的特征图；
计算单元，用于基于特征图计算M个关节中的每个关节在每张视频帧图像中的置信度。
作为一种可选的实施例，上述装置还可以包括：
第二确定单元，用于在根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标之后，根据Q个时刻上获取到的Q组M个三维位置坐标，确定目标对象的Q个骨架图，其中，每个骨架图包括M个关节的关节标识，每个关节标识的位置由M个三维位置坐标中对应的三维位置坐标表示，Q个时刻包括N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
生成单元，用于根据Q个骨架图，生成目标对象的运动动画。
其中，生成单元，可以包括：
第二获取模块，用于在Q个时刻为相邻的多个时刻的情况下，获取M个关节中的每个关节的N个三维坐标；
第二确定模块，用于将对N个三维坐标的取平均坐标值，并将平均值坐标确定为每个关节的三维坐标。
作为一种可选的实施例，上述装置还可以包括：
第三确定单元，用于在根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标之后，根据Q个时刻上获取到的Q组M个三维位置坐标，确定目标对象的Q个骨架图，其中，每个骨架图包括M个关节的关节标识，每个关节标识的位置由M个三维位置坐标中对应的三维位置坐标表示，Q个时刻包括N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
比较单元，用于将Q个骨架图与预设的动作参考图进行比较，得到目标比较结果，其中，目标比较结果用于指示M个关节的运动是否满足预设要求。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标对象的运动检测方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；
S2，根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；
S3，根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标，其中，N组置信度与N组二维位置坐标一一对应，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的目标对象的运动检测方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标对象的运动检测方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于N张视频帧图像、M个关节二维位置坐标以及M各关节的三维位置坐标等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述目标对象的运动检测装置中的第一获取单元81、第二获取单元83以及第一确定单元85。此外，还可以包括但不限于上述目标对象的运动检测装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器908，用于显示上述确定出的三维位置坐标；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取N张视频帧图像，其中，N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，N台相机相对于目标对象位于不同的方位，N为大于1的自然数；
S2，根据N张视频帧图像中的每张视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组二维位置坐标包括M个二维位置坐标，M个二维位置坐标分别为目标对象上的M个关节的二维位置坐标，M为大于1的自然数；
S3，根据预先确定的N组置信度以及N组二维位置坐标，确定出M个三维位置坐标，其中，N组置信度与N组二维位置坐标一一对应，每组置信度包括M个置信度，M个置信度分别为与M个关节的二维位置坐标对应的置信度，M个三维位置坐标分别为M个关节的三维位置坐标。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种目标对象的运动检测方法，其特征在于，包括：
获取N张视频帧图像，其中，所述N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，所述N台相机相对于所述目标对象位于不同的方位，N为大于1的自然数；
根据所述N张视频帧图像中的每张所述视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组所述二维位置坐标包括M个二维位置坐标，所述M个二维位置坐标分别为所述目标对象上的M个关节的二维位置坐标，M为大于1的自然数；
根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组所述置信度包括M个置信度，所述M个置信度分别为与所述M个关节的二维位置坐标对应的置信度，所述M个三维位置坐标分别为所述M个关节的三维位置坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N张视频帧图像中的每张所述视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，包括：
通过目标神经网络获取所述N张视频帧图像中的每张所述视频帧图像的特征图，共得到N个第一特征图；
根据所述N个第一特征图中的每个第一特征图，确定出所述M个关节所在的M个二维位置坐标，共得到所述N组二维位置坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述N个第一特征图中的每个第一特征图，确定出所述M个关节所在的M个二维位置坐标，包括：
计算所述N张视频帧图像中的第C张视频帧图像中第j个关节在第一特征图对应的热度图中的最大值，并将所述最大值对应的坐标确定为所述第j个关节的二维位置坐标，其中，所述二维位置坐标：
Figure 984900DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
，r表示所述第一特征图的像素点，
Figure DEST_PATH_IMAGE003
为超参数，
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
表示所述第C张视频帧图像中所述第j个关节特征图。
4.根据权利要求1所述的方法，其特征在于，根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，包括：
根据所述N组二维位置坐标和所述N组置信度，采用三角剖分方法回归得到所述M个三维位置坐标。
5.根据权利要求1所述的方法，其特征在于，根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之前，所述方法还包括：
获取所述N张视频帧图像中的每张所述视频帧图像的特征图，其中，所述特征图中包括所述M个关节的特征图；
基于所述特征图计算所述M个关节中的每个关节在每张所述视频帧图像中的置信度。
6.根据权利要求1所述的方法，其特征在于，根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之后，所述方法还包括：
根据Q个时刻上获取到的Q组所述M个三维位置坐标，确定所述目标对象的Q个骨架图，其中，每个所述骨架图包括所述M个关节的关节标识，每个所述关节标识的位置由所述M个三维位置坐标中对应的三维位置坐标表示，所述Q个时刻包括所述N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
根据所述Q个骨架图，生成所述目标对象的运动动画。
7.根据权利要求6所述的方法，其特征在于，所述根据所述Q个骨架图，生成所述目标对象的运动动画，包括：
在所述Q个时刻为相邻的多个时刻的情况下，获取所述M个关节中的每个关节的N个三维坐标；
将对所述N个三维坐标的取平均坐标值，并将所述平均值坐标确定为所述每个关节的三维坐标。
8.根据权利要求1所述的方法，其特征在于，根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之后，所述方法还包括：
根据Q个时刻上获取到的Q组所述M个三维位置坐标，确定所述目标对象的Q个骨架图，其中，每个所述骨架图包括所述M个关节的关节标识，每个所述关节标识的位置由所述M个三维位置坐标中对应的三维位置坐标表示，所述Q个时刻包括所述N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
将所述Q个骨架图与预设的动作参考图进行比较，得到目标比较结果，其中，所述目标比较结果用于指示所述M个关节的运动是否满足预设要求。
9.一种目标对象的运动检测装置，其特征在于，包括：
第一获取单元，用于获取N张视频帧图像，其中，所述N张视频帧图像是N台相机在同一时刻对目标对象进行拍摄得到的视频帧图像，所述N台相机相对于所述目标对象位于不同的方位，N为大于1的自然数；
第二获取单元，用于根据所述N张视频帧图像中的每张所述视频帧图像，获取一组二维位置坐标，共得到N组二维位置坐标，其中，每组所述二维位置坐标包括M个二维位置坐标，所述M个二维位置坐标分别为所述目标对象上的M个关节的二维位置坐标，M为大于1的自然数；
第一确定单元，用于所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标，其中，每组所述置信度包括M个置信度，所述M个置信度分别为与所述M个关节的二维位置坐标对应的置信度，所述M个三维位置坐标分别为所述M个关节的三维位置坐标。
10.根据权利要求9所述的装置，其特征在于，所述第二获取单元，包括：
第一获取模块，用于通过目标神经网络获取所述N张视频帧图像中的每张所述视频帧图像的特征图，共得到N个第一特征图；
第一确定模块，用于根据所述N个第一特征图中的每个第一特征图，确定出所述M个关节所在的M个二维位置坐标，共得到所述N组二维位置坐标。
11.根据权利要求10所述的装置，其特征在于，所述确定模块用于执行如下操作：
计算所述N张视频帧图像中的第C张视频帧图像中第j个关节在第一特征图对应的热度图中的最大值，并将所述最大值对应的二维坐标确定为所述第j个关节的二维位置坐标，其中，所述二维位置坐标：
Figure 853630DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE006
，r表示所述第一特征图的像素点，
Figure 607960DEST_PATH_IMAGE003
为超参数，
Figure 158021DEST_PATH_IMAGE004
，
Figure 681406DEST_PATH_IMAGE005
表示所述第C张视频帧图像中所述第j个关节特征图。
12.根据权利要求9所述的装置，其特征在于，所述第一确定单元，包括：
确定模块，用于根据所述N组二维位置坐标和所述N组置信度，采用三角剖分方法回归得到所述M个三维位置坐标。
13.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第三获取单元，用于根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之前，获取所述N张视频帧图像中的每张所述视频帧图像的特征图，其中，所述特征图中包括所述M个关节的特征图；
计算单元，用于基于所述特征图计算所述M个关节中的每个关节在每张所述视频帧图像中的置信度。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二确定单元，用于根据所述N组二维位置坐标以及与所述N组二维位置坐标一一对应的N组置信度，确定出M个三维位置坐标之后，根据Q个时刻上获取到的Q组所述M个三维位置坐标，确定所述目标对象的Q个骨架图，其中，每个所述骨架图包括所述M个关节的关节标识，每个所述关节标识的位置由所述M个三维位置坐标中对应的三维位置坐标表示，所述Q个时刻包括所述N台相机对目标对象进行拍摄的多个时刻，Q为大于1的自然数；
生成单元，用于根据所述Q个骨架图，生成所述目标对象的运动动画。
15.根据权利要求14所述的装置，其特征在于，所述生成单元，包括：
第二获取模块，用于在所述Q个时刻为相邻的多个时刻的情况下，获取所述M个关节中的每个关节的N个三维坐标；
第二确定模块，用于将对所述N个三维坐标的取平均坐标值，并将所述平均值坐标确定为所述每个关节的三维坐标。
CN202010487411.3A 2020-06-02 2020-06-02 目标对象的运动检测方法和装置 Active CN111401340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010487411.3A CN111401340B (zh) 2020-06-02 2020-06-02 目标对象的运动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010487411.3A CN111401340B (zh) 2020-06-02 2020-06-02 目标对象的运动检测方法和装置

Publications (2)

Publication Number Publication Date
CN111401340A true CN111401340A (zh) 2020-07-10
CN111401340B CN111401340B (zh) 2020-12-25

Family

ID=71430034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010487411.3A Active CN111401340B (zh) 2020-06-02 2020-06-02 目标对象的运动检测方法和装置

Country Status (1)

Country Link
CN (1) CN111401340B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
EP4120912A4 (en) * 2020-11-12 2023-09-13 Tencent America LLC REHABILITATION TRAINING SYSTEM BASED ON HUMAN 3D POSE ESTIMATION USING MULTIPLE VIEW IMAGES

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976504A (zh) * 2010-10-13 2011-02-16 北京航空航天大学 一种基于颜色空间信息的多车辆视频跟踪方法
KR101700214B1 (ko) * 2016-01-15 2017-01-26 선문대학교 산학협력단 관절의 회전각을 통해 모션 매칭률을 산출하는 장치 및 그 방법
CN108038465A (zh) * 2017-12-25 2018-05-15 深圳市唯特视科技有限公司 一种基于合成数据集的三维多人物姿态估计
US20180204481A1 (en) * 2017-01-18 2018-07-19 Behzad Nejat Method of creating and distributing digital data sets to improve performance of physical activities
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN109977827A (zh) * 2019-03-17 2019-07-05 浙江大学 一种使用多视图匹配方法的多人三维姿态估计方法
CN110020611A (zh) * 2019-03-17 2019-07-16 浙江大学 一种基于三维假设空间聚类的多人动作捕捉方法
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110348371A (zh) * 2019-07-08 2019-10-18 叠境数字科技（上海）有限公司 人体三维动作自动提取方法
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
KR102060761B1 (ko) * 2019-04-09 2019-12-30 주식회사 에이치랩 기계 학습을 활용한 rf 기반의 낙상 판단 시스템 및 그의 낙상 판단 방법
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN110751039A (zh) * 2019-09-18 2020-02-04 平安科技（深圳）有限公司 多视图3d人体姿态估计方法及相关装置
WO2020096403A1 (en) * 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Textured neural avatars

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976504A (zh) * 2010-10-13 2011-02-16 北京航空航天大学 一种基于颜色空间信息的多车辆视频跟踪方法
KR101700214B1 (ko) * 2016-01-15 2017-01-26 선문대학교 산학협력단 관절의 회전각을 통해 모션 매칭률을 산출하는 장치 및 그 방법
US20180204481A1 (en) * 2017-01-18 2018-07-19 Behzad Nejat Method of creating and distributing digital data sets to improve performance of physical activities
CN108038465A (zh) * 2017-12-25 2018-05-15 深圳市唯特视科技有限公司 一种基于合成数据集的三维多人物姿态估计
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
WO2020096403A1 (en) * 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Textured neural avatars
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN110020611A (zh) * 2019-03-17 2019-07-16 浙江大学 一种基于三维假设空间聚类的多人动作捕捉方法
CN109977827A (zh) * 2019-03-17 2019-07-05 浙江大学 一种使用多视图匹配方法的多人三维姿态估计方法
KR102060761B1 (ko) * 2019-04-09 2019-12-30 주식회사 에이치랩 기계 학습을 활용한 rf 기반의 낙상 판단 시스템 및 그의 낙상 판단 방법
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110348371A (zh) * 2019-07-08 2019-10-18 叠境数字科技（上海）有限公司 人体三维动作自动提取方法
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
CN110751039A (zh) * 2019-09-18 2020-02-04 平安科技（深圳）有限公司 多视图3d人体姿态估计方法及相关装置
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287867B (zh) * 2020-11-10 2021-06-08 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287868B (zh) * 2020-11-10 2021-07-13 上海依图网络科技有限公司 一种人体动作识别方法及装置
EP4120912A4 (en) * 2020-11-12 2023-09-13 Tencent America LLC REHABILITATION TRAINING SYSTEM BASED ON HUMAN 3D POSE ESTIMATION USING MULTIPLE VIEW IMAGES

Also Published As

Publication number Publication date
CN111401340B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
Colyer et al. A review of the evolution of vision-based motion analysis and the integration of advanced computer vision methods towards developing a markerless system
Von Marcard et al. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus
US10657709B2 (en) Generation of body models and measurements
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
CN111401340B (zh) 目标对象的运动检测方法和装置
CN104700433B (zh) 一种基于视觉的实时人体全身体运动捕捉方法及其系统
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
US20220108468A1 (en) Method and system for obtaining joint positions, and method and system for motion capture
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN113658211B (zh) 一种用户姿态的评估方法、装置以及处理设备
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
WO2020018469A1 (en) System and method for automatic evaluation of gait using single or multi-camera recordings
CN102679964B (zh) 步态参数测量系统及其数据处理装置和方法
Surer et al. Methods and technologies for gait analysis
AU2020280078A1 (en) Scoring metric for physical activity performance and training
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
Wei et al. Real-time limb motion tracking with a single imu sensor for physical therapy exercises
Chen et al. Measurement of body joint angles for physical therapy based on mean shift tracking using two low cost Kinect images
Samhitha et al. Vyayam: Artificial Intelligence based Bicep Curl Workout Tacking System
Ingwersen et al. SportsPose-A Dynamic 3D sports pose dataset
Lin et al. Using hybrid sensoring method for motion capture in volleyball techniques training
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
Wen et al. Artificial intelligence technologies for more flexible recommendation in uniforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026155

Country of ref document: HK