CN112070846A - 基于视频的实时人体动作跟踪方法和系统 - Google Patents

基于视频的实时人体动作跟踪方法和系统 Download PDF

Info

Publication number
CN112070846A
CN112070846A CN202010959161.9A CN202010959161A CN112070846A CN 112070846 A CN112070846 A CN 112070846A CN 202010959161 A CN202010959161 A CN 202010959161A CN 112070846 A CN112070846 A CN 112070846A
Authority
CN
China
Prior art keywords
image
calibration
human body
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010959161.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayan Mutual Entertainment Technology Co ltd
Original Assignee
Beijing Huayan Mutual Entertainment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayan Mutual Entertainment Technology Co ltd filed Critical Beijing Huayan Mutual Entertainment Technology Co ltd
Priority to CN202010959161.9A priority Critical patent/CN112070846A/zh
Publication of CN112070846A publication Critical patent/CN112070846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的实时人体动作跟踪方法和系统，其中方法包括：对采集到的多视角视频数据进行同步，并建立一多关节描述的三维人体模型；对所述视频数据进行摄像机标定，计算各视角的投影矩阵；检测视频图像中的运动区域，在检测到的运动区域内提取感兴趣的图像底层特征；根据所计算的各视角的投影矩阵，将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；对所述目标函数进行求解，得到当前时刻跟踪到的人体运动姿态。本发明实现了对运动目标的准确识别、跟踪。

Description

基于视频的实时人体动作跟踪方法和系统
技术领域
本发明涉及目标识别跟踪和动作捕捉技术领域，具体涉及一种基于视频的实时人体动作跟踪方法和系统。
背景技术
随着信息技术的不断发展和生活需求的增加，智能视频监控的应用越来越广泛。运动目标的检测与跟踪技术是智能视频监控的基础和关键，其融合了图像处理、模式识别以及人工智能等多个领域的研究成果，在国防军事、过程控制、医学图像以及社会安全等方面有着重要的应用价值。现有的基于视频的目标跟踪方法大多采用昂贵的摄像设备通过捕捉关节点位置以实现对运动目标的自动跟踪，由于摄像设备价格昂贵，不适于大范围的推广使用。而且这些昂贵的摄像设备只能够跟踪到运动目标，但无法对运动目标的动作行为进行识别、分析，在一些特殊的应用场景比如需要对运动员的训练动作进行分析时，现有的这些跟踪设备无法适用。
发明内容
本发明的目的在于提供一种基于视频的实时人体动作跟踪方法和系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于视频的实时人体动作跟踪方法，包括：
对采集到的多视角视频数据进行同步，并建立一多关节描述的三维人体模型；
对所述视频数据进行摄像机标定，计算各视角的投影矩阵；
检测视频图像中的运动区域，在检测到的运动区域内提取感兴趣的图像底层特征；
根据所计算的各视角的投影矩阵，将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
对所述目标函数进行求解，得到当前时刻跟踪到的人体运动姿态。
作为本发明的一种优选方案，在检测到的运动区域内提取到的所述图像底层特征包括运动区域图像的灰度特征、边界特征、外轮廓特征和人体肤色特征中的任意一种或多种。
作为本发明的一种优选方案，对所述视频数据进行摄像机标定的方法为：
在地面上摆设4个定标物，4个所述定标物在同一平面上构成一四边形；
记录所述四边形的各边的长度，并建立世界坐标系；
获得摄像机定标内参数；
从摄像机拍摄的视频中选取一帧包含所有所述定标物的图像作为外参定标图像；
对所述外参定标图像进行畸变校正后，人为确定所述外参定标图像上的各所述定标物的十字中心位置，得到作为所述四边形的各个顶点的各所述定标物的世界坐标和对应的图像坐标，并构造摄像机定标目标函数；
对所述摄像机定标目标函数进行求解，得到摄像机定标的外参数。
作为本发明的一种优选方案，所述摄像机定标目标函数通过以下公式表达：
Figure BDA0002678947820000021
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各所述定标物的世界坐标；
xi表示各所述定标物对应的图像坐标；
i表示第i个所述定标物；
n表示所述定标物的数量。
作为本发明的一种优选方案，采用Gauss Newton非线性最小二乘优化算法求解
Figure BDA0002678947820000022
得到外参数矩阵的旋转向量r和平移向量t。
本发明还提供了一种基于视频的实时人体动作跟踪系统，可实现上述的实时人体动作跟踪方法，该系统包括：
视频数据同步模块，用于对采集到的多视角视频数据进行同步；
三维人体模型建立模块，用于建立一多关节描述的三维人体模型；
摄像机标定模块，用于对所述视频数据进行摄像机标定，计算各视角的投影矩阵；
运动区域检测模块，连接所述视频数据同步模块，用于检测视频图像中的运动区域；
图像底层特征提取模块，连接所述运动区域检测模块，用于在检测到的所述运动区域中提取感兴趣的图像底层特征；
肤色检测区域，连接所述视频数据同步模块，用于检测视频图像中的肤色区域；
模型投影模块，分别连接所述三维人体模型建立模块和所述摄像机标定模块，用于将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
人体动作跟踪目标函数构建模块，分别连接所述图像底层特征提取模块和所述模型投影模块，用于利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
目标函数求解模块，连接所述人体动作跟踪目标函数构建模块，用于对所述目标函数进行求解，得到当前时刻的人体运动姿态。
作为本发明的一种优选方案，所述摄像机标定模块中具体包括：
世界坐标系构建单元，用于以摆设在地面上的4个定标物组成的四边形为参照构建世界坐标系；
摄像机定标内参数获取单元，用于获取摄像机定标的内参数；
外参定标图像选取单元，用于从摄像机拍摄的视频中选取一帧包含所有所述定标物的图像作为外参定标图像；
图像校正单元，连接所述外参定标图像选取单元，用于对所述外参定标图像进行畸变校正；
定标物十字中心确定单元，连接所述图像校正单元，用于提供给用户人为确定所述外参定标图像上的各所述定标物的十字中心位置；
定标物世界坐标和图像坐标计算单元，连接所述定标物十字中心确定单元，用于以确定的各所述定标物的十字中心位置为定标物世界坐标和图像坐标的计算点，计算各所述定标物的世界坐标和对应的图像坐标；
摄像机定标目标函数构造单元，连接所述定标物世界坐标和图像坐标计算单元，用于根据各所述定标物的世界坐标和对应的图像坐标构造摄像机定标目标函数；
摄像机定标目标函数求解单元，连接所述摄像机定标目标函数构造单元，用于对所述摄像机定标目标函数进行求解，得到摄像机定标的外参数。
作为本发明的一种优选方案，所述摄像机定标目标函数通过以下公式表达：
Figure BDA0002678947820000031
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各所述定标物的世界坐标；
xi表示各所述定标物对应的图像坐标；
i表示第i个所述定标物；
n表示所述定标物的数量。
作为本发明的一种优选方案，采用Gauss Newton非线性最小二乘优化算法求解
Figure BDA0002678947820000041
得到外参数矩阵的旋转向量r和平移向量t。
本发明以多个普通摄像机拍摄的视频作为输入，并结合多种视频图像特征，利用所构建的三维人体模型实现了对运动目标的准确识别、跟踪。另外本发明可通过重建的三维人体模型的运动姿态分析跟踪目标的姿态动作，拓展了运动目标识别跟踪技术的应用范围。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于视频的实时人体动作跟踪方法的步骤图；
图2是本发明一实施例所述的摄像机标定方法的步骤图；
图3是本发明一实施例所述的基于视频的实时人体动作跟踪系统的结构示意图；
图4是所述实时人体动作跟踪系统中的所述摄像机标定模块的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明一实施例提供的基于视频的实时人体动作跟踪方法如图1所示，包括如下步骤：
步骤S1，对采集到的多视角视频数据进行同步，并建立一多关节描述的三维人体模型；本发明为提高对人体动作跟踪的准确度，采用多个摄像机从不同视角对人体运动进行拍摄，并对采集到的多视角视频数据进行同步。
步骤S2，对视频数据进行摄像机标定，计算各视角的投影矩阵；
步骤S3，检测视频图像中的运动区域，在检测到的运动区域内提取感兴趣的图像底层特征(包括运动区域图像的灰度特征、边界特征、外轮廓特征和人体肤色特征)；
步骤S4，根据所计算的各视角的投影矩阵，将已建立的三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
步骤S5，利用模型图像和提取到的图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
步骤S6，对目标函数进行求解，得到当前时刻的人体运动姿态。
由于摄像机之间距离较远，无法使用标定板计算摄像机定标的外参数，所以本发明提出一种使用的摄像机标定方法，在保证标定结果精度的同时具有便于携带和快速标定的优点。具体地，对视频数据进行摄像机标定的方法如图2所示，包括如下步骤：
步骤L1，在地面上摆设4个定标物，4个定标物在同一平面上构成四边形；
步骤L2，记录四边形的各边的长度，并建立世界坐标系；
步骤L3，获得摄像机定标内参数；
步骤L4，从摄像机拍摄的视频中选取一帧包含所有定标物的图像作为外参定标图像；
步骤L5，对外参定标图像进行畸变校正后，通过人为确定方式确定外参定标图像上的各定标物的十字中心位置，得到作为四边形的各个顶点的各定标物的世界坐标和对应的图像坐标，并构造摄像机定标目标函数；
步骤L6，对摄像机定标目标函数进行求解，得到摄像机定标的外参数。
以下对摄像机标定的方法进行具体阐述：
拍摄前，先在地面上摆设4个定标物来确定世界坐标系位置。各定标物摆设在同一平面上，且尽量充满摄像机的拍摄画面。四个定标物围合形成一四边形，四个定标物作为四边形的四个顶点A、B、C、D，然后记录四边形各边的长度并建立世界坐标系。世界坐标系的x轴为AB，y轴为垂直x轴顺时针旋转90°(俯视地面方向看)且垂直AB，z轴垂直xy平面指向地面内。由AC、AD和CD通过余弦定理可得∠CAD，∠BAC，∠DAB＝β＝∠CAD+∠BAC，α＝∠BAC，由此可计算四边形的四个顶点A、B、C、D的世界坐标分别为(0,0,0)、(0,|AB|,0)、(|AC|×cosα,|AC|sina,0)、(|AD|×cosβ,|AD|sinβ,0)。
定标过程中，首先使用现有的内参定标算法获得摄像机定标的内参数。然后从对应视频(内参标定时采用的视频)中选取一帧包含所有定标物的图像作为外参定标图像，并对该图像进行畸变校正后，人为选定图像上的定标物的十字中心位置，得到作为四边形ABCD四个顶点的定标物的世界坐标{Xi}和对应的图像坐标{xi}，最后构造摄像机定标目标函数，并对该目标函数进行求解，得到摄像机定标的外参数。
本实施例中，摄像机定标目标函数通过以下公式表达：
Figure BDA0002678947820000061
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各定标物的世界坐标；
xi表示各定标物对应的图像坐标；
i表示第i个定标物；
n表示定标物的数量。
优选地，本发明采用Gauss Newton(高斯牛顿)非线性最小二乘优化算法求解
Figure BDA0002678947820000062
得到外参数矩阵的旋转向量r和平移向量t，由此得到摄像机定标的外参数。
由于视频图像只是一组像素点的集合，无法直接与三维人体模型进行匹配，因此需要提取合适的特征来建立三维人体模型与视频图像间的对应关系。本发明首先通过运动分割算法得到准确的运动区域后，在运动区域内提取用于匹配三维人体模型与视频图像间的对应关系的图像底层特征。图像底层特征包括运动区域图像的灰度特征、边界特征、外轮廓特征和人体肤色特征。为了描述三维人体模型的灰度特征，需要指定一个与模型肢体对应的灰度模板，运动区域图像的灰度特征作为匹配模型姿态的匹配特征。本发明采用Canny边缘检测算子检测运动区域图像边界，三维人体模型的边界特征通过投影各肢体的边界得到。
以下对观测似然模型的建立过程以及对目标跟踪过程中所需的目标函数的求解过程进行简要阐述：
若将图像观测值记为Y，将三维人体模型的姿态参数记为X，则观测似然模型可用P(Y|X)表示。本发明将观测似然模型定义为：
Figure BDA0002678947820000071
上式中，N运动区域图像中的特征点的个数；
j为运动区域图像中的第j个特征点；
rj(X,Y)表示当三维人体模型的姿态参数为X时，在特征点j处对应的图像特征与模型之间的归一化观测值误差；
σ表示观测似然模型正态分布的标准差。
假设Y＝(Ys,Ye,Yg,Yc)，Ys表示运动区域图像的外轮廓特征；Ye表示运动区域图像的边界特征；Yg表示运动区域图像的灰度特征；Yc表示运动区域图像的人体肤色特征，则观测似然模型可定义为：
P(Y|X)＝P(Ys,Ye,Yg,Yc|X)＝P(Ys|X)P(Ye|X)P(Yg|X)P(Yc|X)
本发明将似然函数P(Y|X)作为跟踪过程中所需的目标函数并对该目标函数采用粒子滤波算法求解min(P(Y|X))，得到当前时刻跟踪到的人体运动姿态。
本发明还提供了一种基于视频的实时人体动作跟踪系统，如图3所示，该系统包括：
视频数据同步模块1，用于对采集到的多视角视频数据进行同步；
三维人体模型建立模块2，用于建立一多关节描述的三维人体模型；
摄像机标定模块3，用于对视频数据进行摄像机标定，计算各视角的投影矩阵；
运动区域检测模块4，连接视频数据同步模块1，用于检测视频图像中的运动区域；
图像底层特征提取模块5，连接运动区域检测模块4，用于在检测到的运动区域中提取感兴趣的图像底层特征；
肤色检测区域6，连接视频数据同步模块1，用于检测视频图像中的肤色区域；
模型投影模块7，分别连接三维人体模型建立模块2和摄像机标定模块3，用于将已建立的三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
人体动作跟踪目标函数构建模块8，分别连接图像底层特征提取模块5和模型投影模块7，用于利用模型图像和提取到的图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
目标函数求解模块9，连接人体动作跟踪目标函数构建模块8，用于对目标函数进行求解，得到当前时刻的人体运动姿态。
摄像机标定模块3中具体包括：
世界坐标系构建单元31，用于以摆设在地面上的4个定标物组成的四边形为参照构建世界坐标系；
摄像机定标内参数获取单元32，用于获取摄像机定标的内参数；
外参定标图像选取单元33，用于从摄像机拍摄的视频中选取一帧包含所有定标物的图像作为外参定标图像；
图像校正单元34，连接外参定标图像选取单元33，用于对外参定标图像进行畸变校正；
定标物十字中心确定单元35，连接图像校正单元34，用于提供给用户人为确定外参定标图像上的各所述定标物的十字中心位置；
定标物世界坐标和图像坐标计算单元36，连接定标物十字中心确定单元35，用于以确定的各定标物的十字中心位置为定标物世界坐标和图像坐标的计算点，计算各定标物的世界坐标和对应的图像坐标；
摄像机定标目标函数构造单元37，连接定标物世界坐标和图像坐标计算单元36，用于根据各定标物的世界坐标和对应的图像坐标构造摄像机定标目标函数；
摄像机定标目标函数求解单元38，连接摄像机定标目标函数构造单元37，用于对摄像机定标目标函数进行求解，得到摄像机定标的外参数。
摄像机定标目标函数通过以下公式表达：
Figure BDA0002678947820000081
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各定标物的世界坐标；
xi表示各定标物对应的图像坐标；
i表示第i个定标物；
n表示定标物的数量。
本发明优选采用Gauss Newton非线性最小二乘优化算法求解
Figure BDA0002678947820000091
得到外参数矩阵的旋转向量r和平移向量t。
关于观测似然模型的定义方法及跟踪过程中所需的目标函数的求解方法在上述的基于视频的实时人体动作跟踪方法中已作了详细阐述，在此不再赘述。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (9)

1.一种基于视频的实时人体动作跟踪方法，其特征在于，包括：
对采集到的多视角视频数据进行同步，并建立一多关节描述的三维人体模型；
对所述视频数据进行摄像机标定，计算各视角的投影矩阵；
检测视频图像中的运动区域，在检测到的运动区域内提取感兴趣的图像底层特征；
根据所计算的各视角的投影矩阵，将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
对所述目标函数进行求解，得到当前时刻跟踪到的人体运动姿态。
2.根据权利要求1所述的基于视频的实时人体动作跟踪方法，其特征在于，在检测到的运动区域内提取到的所述图像底层特征包括运动区域图像的灰度特征、边界特征、外轮廓特征和人体肤色特征中的任意一种或多种。
3.根据权利要求1所述的基于视频的实时人体动作跟踪方法，其特征在于，对所述视频数据进行摄像机标定的方法为：
在地面上摆设4个定标物，4个所述定标物在同一平面上构成一四边形；
记录所述四边形的各边的长度，并建立世界坐标系；
获得摄像机定标内参数；
从摄像机拍摄的视频中选取一帧包含所有所述定标物的图像作为外参定标图像；
对所述外参定标图像进行畸变校正后，人为确定所述外参定标图像上的各所述定标物的十字中心位置，得到作为所述四边形的各个顶点的各所述定标物的世界坐标和对应的图像坐标，并构造摄像机定标目标函数；
对所述摄像机定标目标函数进行求解，得到摄像机定标的外参数。
4.根据权利要求3所述的基于视频的实时人体动作跟踪方法，其特征在于，所述摄像机定标目标函数通过以下公式表达：
Figure FDA0002678947810000011
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各所述定标物的世界坐标；
xi表示各所述定标物对应的图像坐标；
i表示第i个所述定标物；
n表示所述定标物的数量。
5.根据权利要求4所述的基于视频的实时人体动作跟踪方法，其特征在于，采用GaussNewton非线性最小二乘优化算法求解
Figure FDA0002678947810000021
得到外参数矩阵的旋转向量r和平移向量t。
6.一种基于视频的实时人体动作跟踪系统，可实现如权利要求1～5任意一项所述的实时人体动作跟踪方法，其特征在于，包括：
视频数据同步模块，用于对采集到的多视角视频数据进行同步；
三维人体模型建立模块，用于建立一多关节描述的三维人体模型；
摄像机标定模块，用于对所述视频数据进行摄像机标定，计算各视角的投影矩阵；
运动区域检测模块，连接所述视频数据同步模块，用于检测视频图像中的运动区域；
图像底层特征提取模块，连接所述运动区域检测模块，用于在检测到的所述运动区域中提取感兴趣的图像底层特征；
肤色检测区域，连接所述视频数据同步模块，用于检测视频图像中的肤色区域；
模型投影模块，分别连接所述三维人体模型建立模块和所述摄像机标定模块，用于将已建立的所述三维人体模型投影到各视角的图像坐标系，得到各视角的模型图像；
人体动作跟踪目标函数构建模块，分别连接所述图像底层特征提取模块和所述模型投影模块，用于利用所述模型图像和提取到的所述图像底层特征间的差异建立观测似然模型，得到跟踪过程中所需的目标函数；
目标函数求解模块，连接所述人体动作跟踪目标函数构建模块，用于对所述目标函数进行求解，得到当前时刻的人体运动姿态。
7.根据权利要求6所述的基于视频的实时人体动作跟踪系统，其特征在于，所述摄像机标定模块中具体包括：
世界坐标系构建单元，用于以摆设在地面上的4个定标物组成的四边形为参照构建世界坐标系；
摄像机定标内参数获取单元，用于获取摄像机定标的内参数；
外参定标图像选取单元，用于从摄像机拍摄的视频中选取一帧包含所有所述定标物的图像作为外参定标图像；
图像校正单元，连接所述外参定标图像选取单元，用于对所述外参定标图像进行畸变校正；
定标物十字中心确定单元，连接所述图像校正单元，用于提供给用户人为确定所述外参定标图像上的各所述定标物的十字中心位置；
定标物世界坐标和图像坐标计算单元，连接所述定标物十字中心确定单元，用于以确定的各所述定标物的十字中心位置为定标物世界坐标和图像坐标的计算点，计算各所述定标物的世界坐标和对应的图像坐标；
摄像机定标目标函数构造单元，连接所述定标物世界坐标和图像坐标计算单元，用于根据各所述定标物的世界坐标和对应的图像坐标构造摄像机定标目标函数；
摄像机定标目标函数求解单元，连接所述摄像机定标目标函数构造单元，用于对所述摄像机定标目标函数进行求解，得到摄像机定标的外参数。
8.根据权利要求7所述的基于视频的实时人体动作跟踪系统，其特征在于，所述摄像机定标目标函数通过以下公式表达：
Figure FDA0002678947810000031
A和R分别表示摄像机定标的内参数矩阵和外参数矩阵；
r＝[rx,ry,rz]T，表示外参数矩阵的旋转向量；
t＝[tx,ty,tz]T，表示外参数矩阵的平移向量；
Xi表示各所述定标物的世界坐标；
xi表示各所述定标物对应的图像坐标；
i表示第i个所述定标物；
n表示所述定标物的数量。
9.根据权利要求8所述的基于视频的实时人体动作跟踪系统，其特征在于，采用GaussNewton非线性最小二乘优化算法求解
Figure FDA0002678947810000032
得到外参数矩阵的旋转向量r和平移向量t。
CN202010959161.9A 2020-09-14 2020-09-14 基于视频的实时人体动作跟踪方法和系统 Pending CN112070846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010959161.9A CN112070846A (zh) 2020-09-14 2020-09-14 基于视频的实时人体动作跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010959161.9A CN112070846A (zh) 2020-09-14 2020-09-14 基于视频的实时人体动作跟踪方法和系统

Publications (1)

Publication Number Publication Date
CN112070846A true CN112070846A (zh) 2020-12-11

Family

ID=73696283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010959161.9A Pending CN112070846A (zh) 2020-09-14 2020-09-14 基于视频的实时人体动作跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN112070846A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622744A (zh) * 2012-01-17 2012-08-01 浙江大学 一种基于多项式投影模型的长焦相机标定方法
CN105574836A (zh) * 2014-10-10 2016-05-11 李敏 基于并行计算的三维人体运动粒子滤波跟踪算法
CN108805936A (zh) * 2018-05-24 2018-11-13 北京地平线机器人技术研发有限公司 摄像机外参标定方法、装置和电子设备
CN110322513A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN110490940A (zh) * 2019-08-15 2019-11-22 北京迈格威科技有限公司 基于棋盘格单幅图像的相机标定方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622744A (zh) * 2012-01-17 2012-08-01 浙江大学 一种基于多项式投影模型的长焦相机标定方法
CN105574836A (zh) * 2014-10-10 2016-05-11 李敏 基于并行计算的三维人体运动粒子滤波跟踪算法
CN110322513A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN108805936A (zh) * 2018-05-24 2018-11-13 北京地平线机器人技术研发有限公司 摄像机外参标定方法、装置和电子设备
CN110490940A (zh) * 2019-08-15 2019-11-22 北京迈格威科技有限公司 基于棋盘格单幅图像的相机标定方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邓宇等: "基于视频的三维人体运动跟踪系统的设计与实现", 《计算机辅助设计与图形学学报》 *
高洪波: "《工程领域典型算法应用的设计与实现》", 31 December 2018 *

Similar Documents

Publication Publication Date Title
CN109360240A (zh) 一种基于双目视觉的小型无人机定位方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN110268444A (zh) 一种用于经颅磁刺激诊疗的人头姿态跟踪系统
BRPI0919448B1 (pt) método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular.
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN102697508A (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN113239797B (zh) 人体动作识别方法、装置及系统
CN109758756B (zh) 基于3d相机的体操视频分析方法及系统
CN106846372B (zh) 人体运动质量视觉分析与评价系统及其方法
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN112070846A (zh) 基于视频的实时人体动作跟踪方法和系统
CN109740458A (zh) 一种基于视频处理的体貌特征测量方法及系统
El-Sallam et al. A low cost 3D markerless system for the reconstruction of athletic techniques
CN109410272A (zh) 一种变压器螺母识别与定位装置及方法
CN114548224A (zh) 一种用于强交互人体运动的2d人体位姿生成方法及装置
CN112070840A (zh) 一种多深度相机融合的人体空间定位与跟踪方法
CN111784749A (zh) 一种基于双目视觉的空间定位与运动分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211