CN117238031A - 一种虚拟人的动作捕捉方法与系统 - Google Patents
一种虚拟人的动作捕捉方法与系统 Download PDFInfo
- Publication number
- CN117238031A CN117238031A CN202311142037.3A CN202311142037A CN117238031A CN 117238031 A CN117238031 A CN 117238031A CN 202311142037 A CN202311142037 A CN 202311142037A CN 117238031 A CN117238031 A CN 117238031A
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional coordinates
- frame
- key part
- angles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000036544 posture Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 description 9
- 210000002310 elbow joint Anatomy 0.000 description 7
- 210000000323 shoulder joint Anatomy 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001226 toe joint Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种虚拟人的动作捕捉方法与系统，所述方法包括：确定捕捉区域；对待捕捉的人体的关键部位添加特定标记；同步获取捕捉区域内多个视角的连续视频图像序列并识别每一帧图像中人体各关键部位的二维坐标；采用姿态估计算法分别对每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；基于各视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应的人体三维模型；将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。本申请能够实时准确捕捉到人体的动作并映射至虚拟人模型，获取虚拟人的运动轨迹。
Description
技术领域
本申请涉及动作捕捉技术领域，具体是涉及一种虚拟人的动作捕捉方法与系统。
背景技术
动作捕捉(Motion Capture，简称MoCap)是一种用于获取人体或物体运动数据的技术，常用于电影、游戏、虚拟现实等领域。现有技术中的常见的动作捕捉包括传感器式动作捕捉、机器视觉式动作捕捉。
其中，传感器式动作捕捉：使用传感器装置(如惯性传感器、光学传感器等)将标记或设备放置在被捕捉对象的关键部位上，通过感知器件记录对象的运动数据。故这种类型的捕捉需要被捕捉对象穿戴大量的设备，捕捉过程较为繁复；且大量的设备和专业技术支持需要投入的投资成本相对较高。
机器视觉式动作捕捉：使用多个摄像机或摄像机阵列对被捕捉对象进行拍摄，并通过图像处理技术重建对象的运动轨迹。虽然这类捕捉方法无需穿戴大量设备，但对于复杂动作的捕捉可能需要大量的摄像机和复杂的数据处理算法的支持。特别是当需要捕捉一些细微动作，例如复杂的手指动作，或者捕捉图像中存在大量被遮挡的画面时需要搭建复杂图像处理操作系统，如智能学习算法的图像特征提取的训练、数据优化处理算法，该类捕捉系统的设立和操作相对复杂。
发明内容
为了实现在无需复杂图像处理技术的基础上，准确的捕捉到待捕捉对象的运动轨迹并映射至虚拟人模型，从而获取虚拟人的动作轨迹的效果，本申请提供一种虚拟人的动作捕捉方法与系统。
第一方面，本申请提供一种虚拟人的动作捕捉方法，包括：
确定捕捉区域；
对待捕捉的人体的关键部位添加特定标记；
同步获取捕捉区域内多个视角的视频图像并进行预处理，获得多个视角的连续图像序列；基于特定标记针对每个视角的连续视频图像序列采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标；
根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；
结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型；将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
通过采用上述技术方案，利用在人体各关键部位添加特定标记，采取目标识别与目标跟踪算法获取不同视角下每一帧图像中人体各关键部位的二维坐标，避免了对大量图像进行特征提取处理以获得人体各关键部位的二维坐标；利用姿态估计算法对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标补充了部分未捕捉到的坐标数据；利用不多个视角的几何关系将同一时刻的人体各关键部位的二维坐标转换为三维坐标，以此构建出更加真实的三维模型。
优选的，所述根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度具体包括：
分别对获取的不同视角下每一帧图像中人体的各关键部位进行数量统计，并将每帧图像统计的各关键部位数量与预设值进行比较；若任意一视角下任意一帧图像内的关键部位数量不小于预设值，则保留该帧图像，否则丢弃该帧图像；
基于保留的不同视角下的每一帧图像中人体各关键部位的二维坐标，分别采用姿态估计算法对不同视角下每一帧图像进行姿态估计；
获取不同视角下每一帧图像的估计姿态，并根据预设的姿态数据确定每一帧图像中未捕捉到的人体关键部位的二维坐标；
计算不同视角下每一帧图像中人体各关键部位对应的关节角度。
通过采用上述技术方案，为了避免因采用较少的关键部位坐标数据进行姿态评估导致评估姿态的误差较大，在姿态评估前对所包含的各关键部位的数量少于预设值的图像进行筛选，减少估计误差的同时减少图像处理的工作量。
优选的，所述结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型具体包括：
根据不同视角的几何位置将不同视角中的人体各关键部位二维坐标转化为同一世界坐标系下的三维坐标；
将同一时刻的多个视角下人体各关键部位的三维坐标进行数据处理与整合，获得同一时刻下人体各关键部位的三维坐标；
根据获取的同一时刻下人体各关键部位的三维坐标、人体各关键部位对应的关节角度构建对应时刻的三维模型。
通过采用上述技术方案，通过整合同一时刻不同视角的图像中人体各关键部位二维坐标并将其转换为三维坐标可以更加准确完整构建当前时刻人体动作对应的三维模型。
优选的，所述方法还包括：
对于构建的三维模型进行分级优化；所述分级优化过程具体为：规定优化部位与优化顺序，按照优化顺序将优化部位中人体各关键部位之间的相对特征与设定阈值范围进行比较，若处于设定阈值范围内则不对当前优化部位中的人体关键部位的坐标参数进行优化调整，若处于设定阈值范围外则按照距离最近的设定阈值对应的坐标参数进行优化调整；所述的优化部位包括：头部、上半身、左右上肢、左右下肢；所述相对特征包括：相对距离、夹角。
通过采用上述技术方案，设置预设肢体距离与肢体夹角的范围进一步优化构建的三维模型中的相关参数，防止出现偏离正常人体工学形态的模型出现。其中，优化部位与优化顺序可以依据实际情况进行设置。
优选的，所述将同一时刻的多个视角下人体各关键部位的三维坐标进行数据处理与整合具体为：
对将同一时刻的多个视角下人体各关键部位的三维坐标中同类人体关键部位的坐标数据进行聚类；
对聚类后的每类人体关键部位坐标数据进行去除噪声的操作；
对去除噪声的每类人体关键部位坐标数据进行数据插值与拟合，最终获得同一时刻下人体各关键部位的三维坐标。
通过采用上述技术方案，对同类关键部位的坐标数据进行聚类、去除噪声以及数据插值与拟合等处理，便于提高后续人体三维模型构建的准确性。
第二方面，本申请提供一种虚拟人的动作捕捉系统，包括：
捕捉区域确认模块：用于确定捕捉区域；
人体关键部位标记模块：用于对待捕捉的人体的关键部位添加特定标记；
视频图像序列采集模块：用于同步获取捕捉区域内多个视角的视频图像并进行预处理，获得多个视角的连续图像序列；
人体关键部位标记识别与跟踪模块：用于基于特定标记针对每个视角的连续视频图像序列采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标；
姿态估计模块：用于根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；
人体三维模型构建模块：用于结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型；
人体模型匹配模块：用于将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的方法。
第四方面，本申请提供一种计算机设备，存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如上述方法的步骤。
有益效果：本申请提供的一种虚拟人的动作捕捉方法相对于现有技术，其显著优点为：1、通过添加特定的标记并结合目标识别与目标跟踪算法实现在连续的视频序列中准确的识别和定位被捕捉人体的关键部位，既无需穿戴大量的传感器设备，又无需获取大量数据进行模型训练以识别图像中用户的特征数据；2、结合不同视角下的每一帧中人体的关键部位坐标数据采用姿态估计算法对每一视角下的每一帧图像进行姿态估计，根据估计的姿态能够进一步的确定图像中未捕捉到的或者被遮挡的关键部位的坐标数据和关节角度，实现更加细节的动作捕捉；3、基于不同视角下的人体各关键部位的二维坐标数据计算获得的人体各关键部位的三维坐标数据更加的准确和全面。
本申请提供的一种虚拟人的动作捕捉系统相对于现有技术，其显著优点为：能够准确的捕捉到待捕捉人体的运动轨迹并映射至虚拟人模型，获取虚拟人的运动轨迹，且整个系统较为简单。
附图说明
图1为具体实施例中所述一种虚拟人的动作捕捉方法的流程图；
图2为具体实施例中所述一种虚拟人的动作捕捉方法中捕捉区域以及捕捉区域中摄像机安装的示意图；
图3为具体实施例中所述一种虚拟人的动作捕捉方法中人体关键部位示意图；
图4为具体实施例中所述一种虚拟人的动作捕捉方法中某一时刻下构建的人体三维模型；
图5为具体实施例中所述一种虚拟人的动作捕捉系统的示意图。
具体实施方式
下面结合附图对本申请提供的一种虚拟人的动作捕捉方法与系统作进一步的说明。
如图1所示，本申请实施例公开一种虚拟人的动作捕捉方法，具体包括：
步骤S1、确定捕捉区域并安装摄像头。
具体的，如图2所示，选定一个矩形待捕捉区域，并在捕捉区域的四边的中心位置以及四角位置分别安装一个单目摄像机，安装的八个摄像机的拍摄范围可以覆盖整个捕捉区域。
步骤S2、对待捕捉的人体的关键部位添加特定标记。
具体的，为了获取待捕捉的人体的动作，在待捕捉对象的关键部位上添加特定的标记或标识物。这种标记或者标识物选用反光球、发光二维码等简单的标识物，利用摄像机拍摄后可以在图像中识别到该标记或标识物。
如图3所示，所述人体关键部位具体包括左耳10、右耳11、左眼12、右眼13、鼻子0、颈关节1、肩关节2、肘关节3、髋关节4、腕关节5、指关节6、膝关节7、踝关节8与趾关节9等。
步骤S3、同步获取捕捉区域内多个视角的视频图像并进行处理，获取多个视角的连续图像序列。
具体的，利用八个摄像机同步获取八个视角的视频图像，分别进行图像预处理；具体的图像预处理包括对视频进行抽帧、解码、格式转换，最终得到RGB格式的连续图像；为了提高图像质量，对连续图像(0.1s对应一帧视频)进行图像增强、去噪处理，最终同步获得八个视角的连续视频图像序列。
步骤S4、基于特定标记采用目标识别与跟踪算法获取不同视角下每一帧图像中人体各关键部位的二维坐标。
具体的，针对每个视角的连续视频图像序列均采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标。采用目标识别算法在视频帧中识别与定位特定标记，采用目标跟踪算法可以在连续图像系列之间追踪特定标记的运动。由此，自每个视角下各个时刻对应的一帧图像中特定标记的位置信息获得人体各关键部位的二维坐标。目标识别算法为基于深度学习(Faster R-CNN、YOLO)的物体检测，目标跟踪算法为卡尔曼滤波(Kalman Filter)以及基于深度学习的Siamese网络。
步骤S5、采用姿态估计算法对每帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度。
由于不同视角下获取的图像中可能会存在未捕捉或者遮挡的一些关键部位情况出现，故基于已获得的关键部位的坐标位置进行姿态估计，结合预设姿态的位置数据，估计出未捕捉到或者遮挡的一些关键部位。
具体的，为了保证姿态估计的准确性并简化姿态估计的运算量，设置关键部位估计预设值；例如：预设值X＝5。
对不同视角下的每帧图形中识别的关键部位的数量进行统计，并将每帧图像统计的各关键部位数量与预设值一一进行比较，若任意一视角下任意一帧图像内的关键部位数量不小于预设值，则保留该帧图像，否则丢弃该帧图像；例如：捕捉区域的一角位置视角下的第一帧图像内的关键部位数量小于5，则丢弃该帧图像数据。
针对保留下的每帧图像数据分别进行姿态估计。具体的，根据一帧图像中人体关键部位的坐标数据，采用姿态估计算法对于该图像中人体形态进行姿态估计。基于估算姿态的结果，对比设定的姿态数据估算该帧图像中未捕捉到的人体关键部位的二维坐标；例如：经过姿态估计判断当前时刻图像中的姿态为握拳，但部分指关节丢失，则根据预设姿态中握拳姿态中指关节之间的位置信息，估算丢失的指关节部分的二维坐标数据。
针对姿态估计后不同视角下每一帧图像数据中人体各关键部位的二维坐标，计算人体各关键部位对应的关节角度。
步骤S6、基于多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型。
具体的，根据已经获得的不同视角不同时刻下的图像中的关键部位的二维坐标，结合八个摄像头固定的几何位置将不同视角中的人体各关键部位二维坐标转化为同一世界坐标系下的三维坐标。
为了保证捕捉到的人体关键部位位置数据的准确性，将同一时刻的多个视角下人体各关键部位的三维坐标进行数据处理与整合，得到同一时刻下人体的各关键部位的三维坐标；所述数据处理与整合具体包括：
对将同一时刻的不同视角下人体各关键部位的三维坐标中同类部位的坐标数据进行聚类，例如：将同一时刻下八个不同视角中肘关节部位的坐标数据进行聚类；对聚类后的每类人体关键部位进行去除噪声的操作，即可采用均值滤波、中值滤波等方式对一类人体关键部位的坐标信息进行处理；对去除噪声后的每类人体关键部位坐标数据进行数据插值与拟合，最终获得同一时刻下人体的各关键部位的三维坐标。
根据获取的同一时刻下人体的各关键部位的三维坐标、各关键部位对应的关节角度对被捕捉的人体构建三维模型。
对于构建的三维模型进行分级优化处理，获得优化后的三维模型。
具体的，设置分级优化的部位，例如：将人体划分为六个部分：头部、上半身、左右上肢、左右下肢；设置优化三维模型的顺序：人体由上至下或由下至上顺序，依次对三维建模中的各个部分进行模型参数优化。
所述优化方法为：针对人体特征设置预设阈值范围，将构建的人体模型中各关键部位的相对距离与夹角分别与设定阈值范围进行比较。若构建的人体模型中各关键部位的相对距离与夹角处于预设阈值范围内，则不对当前构建的人体模型进行参数优化；若处于设定阈值范围外则对当前构建的人体模型中对应的特征进行优化。具体的优化规则可以按需设置，如按照距离最近的设定阈值调整模型中的坐标参数。
例如：左右肢中肩关节至肘关节的相对距离预设阈值(x1,x2)、夹角预设阈值(α1，α2)；当前构建的人体模型左右肢中肩关节至肘关节的相对距离x<x1，则将人体模型左右肢中肩关节至肘关节的相对距离调整为x1。当前构建的人体模型左右肢中肩关节至肘关节的夹角α>α2，则将人体模型左右肢中肩关节至肘关节的夹角调整为α2。
步骤S7、将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
如图4所示，为特定某一时刻下三维模型映射至虚拟人对应的人物模型。具体的，运用人体模型匹配算法将每个时刻构建的人体三维模型参数分别虚拟人的模型参数进行匹配和绑定，最终获得连续时刻下虚拟人的运动轨迹。
根据上述提供的方法，可以准确捕捉到人体的动作并将对应构建的三维模型映射至虚拟人，即虚拟人可以实时的模仿人体的动作，使虚拟世界与现实世界进行实时交互，提供更加真实和身临其境的体验。
如图5所示，本申请实施例还公开一种虚拟人的动作捕捉系统，包括：
捕捉区域确认模块101：用于确定捕捉区域；
人体关键部位标记模块102：用于对待捕捉的人体的关键部位添加特定标记；
视频图像序列采集模块201：用于同步获取捕捉区域内多个视角的视频图像并进行预处理，获得多个视角的连续图像序列；
人体关键部位标记识别与跟踪模块202：用于基于特定标记针对每个视角的连续视频图像序列采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标；
姿态估计模块203：用于根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；
人体三维模型构建模块301：用于结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型；
人体模型匹配模块302：用于将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
根据上述系统，能够实时并准确的捕捉到人体的动作并匹配至虚拟人，从而可以实时体现虚拟人的运动轨迹。
本申请实施例还公开一种计算机设备。
具体来说，该计算机设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行上述用于虚拟人的动作捕捉方法的计算机程序。
本申请实施例还公开一种计算机可读存储介质。
具体来说，该计算机可读存储介质，其存储有能够被处理器加载并执行如上述用于虚拟人的动作捕捉方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
Claims (8)
1.一种虚拟人的动作捕捉方法，其特征在于，包括：
确定捕捉区域；
对待捕捉的人体的关键部位添加特定标记；
同步获取捕捉区域内多个视角的视频图像并进行预处理，获得多个视角的连续图像序列；
基于特定标记针对每个视角的连续视频图像序列采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标；
根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；
结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型；
将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
2.根据权利要求1所述的虚拟人的动作捕捉方法，其特征在于，所述根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度具体包括：
分别对获取的不同视角下每一帧图像中人体的各关键部位进行数量统计，并将每帧图像统计的各关键部位数量与预设值进行比较；若任意一视角下任意一帧图像内的关键部位数量不小于预设值，则保留该帧图像，否则丢弃该帧图像；
基于保留的不同视角下的每一帧图像中人体各关键部位的二维坐标，分别采用姿态估计算法对不同视角下每一帧图像进行姿态估计；
获取不同视角下每一帧图像的估计姿态，并根据预设的姿态数据确定每一帧图像中未捕捉到的人体关键部位的二维坐标；
计算不同视角下每一帧图像中人体各关键部位对应的关节角度。
3.根据权利要求1所述的虚拟人的动作捕捉方法，其特征在于，所述结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型具体包括：
根据不同视角的几何位置将不同视角中的人体各关键部位二维坐标转化为同一世界坐标系下的三维坐标；
将同一时刻的多个视角下人体各关键部位的三维坐标进行数据处理与整合，获得同一时刻下人体各关键部位的三维坐标；
根据获取的同一时刻下人体各关键部位的三维坐标、人体各关键部位对应的关节角度构建对应时刻的三维模型。
4.根据权利要求3所述的虚拟人的动作捕捉方法，其特征在于，所述方法还包括：
对于构建的三维模型进行分级优化；所述分级优化过程具体为：规定优化部位与优化顺序，按照优化顺序将优化部位中人体各关键部位之间的相对特征与设定阈值范围进行比较，若处于设定阈值范围内则不对当前优化部位中的人体关键部位的坐标参数进行优化调整，若处于设定阈值范围外则按照距离最近的设定阈值对应的坐标参数进行优化调整；所述的优化部位包括：头部、上半身、左右上肢、左右下肢；所述相对特征包括：相对距离、夹角。
5.根据权利要求3所述的虚拟人的动作捕捉方法，其特征在于，所述将同一时刻的多个视角下人体各关键部位的三维坐标进行数据处理与整合具体为：
对将同一时刻的多个视角下人体各关键部位的三维坐标中同类人体关键部位的坐标数据进行聚类；
对聚类后的每类人体关键部位坐标数据进行去除噪声的操作；
对去除噪声的每类人体关键部位坐标数据进行数据插值与拟合，最终获得同一时刻下人体各关键部位的三维坐标。
6.一种虚拟人的动作捕捉系统，其特征在于，包括：
捕捉区域确认模块：用于确定捕捉区域；
人体关键部位标记模块：用于对待捕捉的人体的关键部位添加特定标记；
视频图像序列采集模块：用于同步获取捕捉区域内多个视角的视频图像并进行预处理，获得多个视角的连续图像序列；
人体关键部位标记识别与跟踪模块：用于基于特定标记针对每个视角的连续视频图像序列采用目标识别与目标跟踪算法获取每一帧图像中人体各关键部位的二维坐标；
姿态估计模块：用于根据获取的不同视角下每一帧图像中人体各关键部位的二维坐标，采用姿态估计算法分别对不同视角下每一帧图像进行姿态估计，获得姿态估计后的人体各关键部位的二维坐标与关节角度；
人体三维模型构建模块：用于结合姿态估计后不同视角下每一帧图像中人体各关键部位的二维坐标与关节角度，根据多个视角的几何关系计算出同一时刻人体各关键部位的三维坐标并构建对应时刻的三维模型；
人体模型匹配模块：用于将不同时刻下构建的三维模型映射至虚拟人对应的人物模型，获得虚拟人的运动轨迹。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的方法。
8.一种计算机设备，其特征在于，存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142037.3A CN117238031A (zh) | 2023-09-05 | 2023-09-05 | 一种虚拟人的动作捕捉方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142037.3A CN117238031A (zh) | 2023-09-05 | 2023-09-05 | 一种虚拟人的动作捕捉方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117238031A true CN117238031A (zh) | 2023-12-15 |
Family
ID=89083657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311142037.3A Pending CN117238031A (zh) | 2023-09-05 | 2023-09-05 | 一种虚拟人的动作捕捉方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117238031A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523678A (zh) * | 2024-01-04 | 2024-02-06 | 广东茉莉数字科技集团股份有限公司 | 一种基于光学动作数据的虚拟主播区分方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226640A (zh) * | 2007-12-21 | 2008-07-23 | 西北工业大学 | 基于多双目立体视觉的运动捕获方法 |
| CN113724176A (zh) * | 2021-08-23 | 2021-11-30 | 广州市城市规划勘测设计研究院 | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 |
| CN115222886A (zh) * | 2022-07-18 | 2022-10-21 | 北京奇艺世纪科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN115482320A (zh) * | 2022-10-10 | 2022-12-16 | 常州元派智能科技有限公司 | 一种用于人体运动姿态捕捉的设备及方法 |
| CN115841602A (zh) * | 2022-11-14 | 2023-03-24 | 中央戏剧学院 | 基于多视角的三维姿态估计数据集的构建方法及装置 |
-
2023
- 2023-09-05 CN CN202311142037.3A patent/CN117238031A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226640A (zh) * | 2007-12-21 | 2008-07-23 | 西北工业大学 | 基于多双目立体视觉的运动捕获方法 |
| CN113724176A (zh) * | 2021-08-23 | 2021-11-30 | 广州市城市规划勘测设计研究院 | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 |
| CN115222886A (zh) * | 2022-07-18 | 2022-10-21 | 北京奇艺世纪科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN115482320A (zh) * | 2022-10-10 | 2022-12-16 | 常州元派智能科技有限公司 | 一种用于人体运动姿态捕捉的设备及方法 |
| CN115841602A (zh) * | 2022-11-14 | 2023-03-24 | 中央戏剧学院 | 基于多视角的三维姿态估计数据集的构建方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523678A (zh) * | 2024-01-04 | 2024-02-06 | 广东茉莉数字科技集团股份有限公司 | 一种基于光学动作数据的虚拟主播区分方法及系统 |
| CN117523678B (zh) * | 2024-01-04 | 2024-04-05 | 广东茉莉数字科技集团股份有限公司 | 一种基于光学动作数据的虚拟主播区分方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330307B2 (en) | Learning based estimation of hand and finger pose | |
| JP5167248B2 (ja) | 深度マップによるヒューマノイド形状のモデル化 | |
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| US9330470B2 (en) | Method and system for modeling subjects from a depth map | |
| US8824781B2 (en) | Learning-based pose estimation from depth maps | |
| JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
| CN103177269B (zh) | 用于估计对象姿态的设备和方法 | |
| US8086027B2 (en) | Image processing apparatus and method | |
| JP4692526B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| JP2009536731A5 (zh) | ||
| CN109766796B (zh) | 一种面向密集人群的深度行人检测方法 | |
| JP2010519629A (ja) | 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| KR20110139694A (ko) | 제스쳐 인식 방법 및 시스템 | |
| JP4936491B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| CN106650628B (zh) | 一种基于三维k曲率的指尖检测方法 | |
| CN113449570A (zh) | 图像处理方法和装置 | |
| CN117238031A (zh) | 一种虚拟人的动作捕捉方法与系统 | |
| CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
| JP2000149025A (ja) | ジェスチャ認識装置及び方法 | |
| Azhar et al. | Significant body point labeling and tracking | |
| CN113221815A (zh) | 一种基于骨骼关键点自动检测技术的步态鉴定方法 | |
| JP5688514B2 (ja) | 視線計測システム、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240104 Address after: L3645, 3rd Floor, Chuangye Building, No. 1009 Tianyuan East Road, Jiangning District, Nanjing City, Jiangsu Province, 211100 (Jiangning High tech Zone) Applicant after: Jiangsu Eight Point Eight Intelligent Technology Co.,Ltd. Address before: Building 4, 2nd Floor, No. 18 Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province, 210019 Applicant before: Nanjing 8.8 Digital Technology Co.,Ltd. |