CN102842148B - 一种无标记运动捕捉及场景重建方法及装置 - Google Patents
一种无标记运动捕捉及场景重建方法及装置 Download PDFInfo
- Publication number
- CN102842148B CN102842148B CN201210237812.9A CN201210237812A CN102842148B CN 102842148 B CN102842148 B CN 102842148B CN 201210237812 A CN201210237812 A CN 201210237812A CN 102842148 B CN102842148 B CN 102842148B
- Authority
- CN
- China
- Prior art keywords
- point
- scene
- dimensional
- point cloud
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 63
- 238000005457 optimization Methods 0.000 claims description 28
- 241000208340 Araliaceae Species 0.000 claims description 18
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 18
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 18
- 235000008434 ginseng Nutrition 0.000 claims description 18
- 238000004040 coloring Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 244000062793 Sorghum vulgare Species 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 235000019713 millet Nutrition 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 239000003550 marker Substances 0.000 abstract 1
- 230000009466 transformation Effects 0.000 abstract 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种基于多手持深度相机的无标记运动捕捉及场景重建方法及装置,其中该方法包括步骤:提供人体模型和地板模型;通过多个深度相机手持地拍摄;将相机返回的深度图进行空间变换得到三维点云集合;从对同一深度相机的相邻帧的彩色图中提取场景特征点;根据人体模型中的表面网格点、地板模型中的地板点和三维空间的场景特征点的信息,定义联合优化模型;将三维点云点与表面网格点进行匹配;和将匹配结果对引入联合优化模型进行求解和变换,得到运动捕捉结果和场景重建结果。本发明的方法,无需借助笨重的标志物,能够更加灵活便捷地进行运动捕捉和场景重建,具有运动参数准确鲁棒、场景复原程度高、算法运行速度快、系统成本低的优点。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种基于多手持深度相机的无标记运动捕捉及场景重建方法及装置。
背景技术
人体运动捕捉是计算机视觉中的重要以及难点问题。近几年来,运动捕捉已经成为商业电影虚拟人物制作的重要手段,但这种方法对采集环境要求十分苛刻。首先,表演者必须穿着带有特殊标志物的表演服,算法需要通过对这些标志物的跟踪才能重建出人体运动。其次,整个系统需要将相机固定在背景是绿幕布的摄影棚内,这些严格的局限性阻碍了其更广泛更自由的应用。
未解决上述缺陷,学者们将注意力转移到无标记运动捕捉技术的研究上。通过对算法的改进,表演者可以穿着日常着装进行表演。但是对绿幕布的需求依旧存在,因为普通彩色相机很难分割前景背景,需要绿幕布作为先验信息提供分割依据。
深度相机是近年来逐渐开始普及的感知三维世界的新方式,对于环境中的每个点,深度相机不但可以返回其颜色信息,还可以返回该点距离深度相机光心平面的垂直距离。这一开创性的技术发明为一般场景的无标记运动捕捉技术提供了可能性。
发明内容
本发明旨在至少解决上述技术问题之一。为此,本发明的目的在于提供一种利用多台手持深度相机拍摄到的点云跟踪人体运动参数以及相机位姿参数,同时实现人体运动捕捉以及背景环境三维重建的方法及对应的装置。
根据本发明的基于多手持深度相机的无标记运动捕捉及场景重建方法包括以下步骤:A.提供人体模型和地板模型;B.提供多个深度相机,以非固定的手持方式进行拍摄,获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频;C.根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P;D.对同一所述深度相机的相邻帧的所述彩色图进行匹配,提取二维空间的场景特征点,并在所述三维点云集合中找到对应的三维空间的场景特征点S;E.根据所述人体模型中的表面网格点V、所述地板模型中的地板点G和所述三维空间的场景特征点S的信息,定义联合优化模型;F.根据所述深度图和所述彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果;和G.将所述P-V匹配结果对引入所述联合优化模型,进行求解和变换,得到运动捕捉结果和场景重建结果。
根据本发明实施例的基于多手持深度相机的无标记运动捕捉及场景重建方法,不但实现了准确鲁棒的运动参数估计,还同时实现了相机参数的恢复以及三维场景的实时重建。将所述的优化模型进行线性化变形,即可快速求解所有参数,算法准确、鲁棒,真实感强,运行速度快,系统成本低,可以在普通PC机或工作站等硬件系统上实现,拥有广阔的应用前景。
根据本发明的基于多手持深度相机的无标记运动捕捉及场景重建装置包括以下部分:人体模型输入模块,用于输入人体模型;地板模型输入模块,用于输入地板模型;多视角的深度相机,用于非固定的手持方式进行拍摄,获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频;点云转换模块,用于根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P;特征点提取模块,用于对同一所述深度相机的相邻帧的所述彩色图进行匹配,提取二维空间的场景特征点,并在所述三维点云集合中找到对应的三维空间的场景特征点S;匹配模块,用于根据所述深度图和所述彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果;联合优化模型计算模块,用于定义联合优化模型,并将所述P-V匹配结果对引入所述联合优化模型,通过线性化为一最小二乘问题进行求解,得到骨架参数χ和所述手持相机的外参矩阵γ;运动捕捉模块,用于根据所述骨架参数χ,描述运动追踪结果,以实现运动捕捉;和场景重建模块,用于根据所述外参矩阵γ,结合所述内参矩阵,将所述手持相机获得的点云点进行坐标变换,即得到Tγ(P),将变换后的点云增加到原场景点云中,以实现场景重建。
根据本发明实施例的基于多手持深度相机的无标记运动捕捉及场景重建装置,不但实现了准确鲁棒的运动参数估计,还同时实现了相机参数的恢复以及三维场景的实时重建。将所述的优化模型进行线性化变形,即可快速求解所有参数,算法准确、鲁棒,真实感强,运行速度快,系统成本低,可以在普通PC机或工作站等硬件系统上实现,拥有广阔的应用前景。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本发明一个实施例的基于多手持深度相机的无标记运动捕捉及场景重建方法的流程图;以及
图2是根据本发明一个实施例的基于多手持深度相机的无标记运动捕捉及场景重建装置的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参考附图描述根据本发明实施例的基于多手持深度相机的无标记运动捕捉及场景重建方法及装置。
图1是根据本发明一个实施例的基于多手持深度相机的无标记运动捕捉及场景重建方法的流程图。如图1所示,该方法包括下述步骤:
步骤S101,提供人体模型和地板模型。
其中,人体模型由骨架模型和表面网格构成,骨架有31个关节点组成的运动学链条组成,每个关节的位置、自由度以及转轴方向均为手工指定。表面网格被骨架模型拖动变形,模拟真实人体运动情况。在本发明的一个实施例中,人体模型符合骨架驱动表面规律,即满足骨架驱动表面规律的定义公式:其中V为表面网格点,TχV为表面网格点在关节转角χ下变形Tχ得到的目标位置,α为关节序号,N为关节数目,θαξα为关节旋转参数。
此外,为了限制相机运动自由度,在联合优化中,需要加入地板平面约束。在本发明的一个实施例中,地板模型为圆形平面模型,地板模型用于提供地板平面约束。
步骤S102,提供多个深度相机,以非固定的手持方式进行拍摄,获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频。
需要说明的是,非固定的手持方式进行拍摄,意味着相机的外参矩阵为未知。由于人体骨架参数以及相机外参矩阵均为未知,本发明实际上提出一种联合优化模型同时求解骨架参数及相机外参矩阵,从而实现运动捕捉和场景重建。
步骤S103,根据深度图和深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P。
在本发明的一个实施例中,根据深度图和深度相机的内参矩阵,进行空间变换得到三维点云集合的空间变换公式为:其中P为三维点云集合中的三维点云点,(m,n)为深度图中的像素点,m、n表示像素点(m,n)的坐标,d(m,n)表示像素点(m,n)的深度值。
步骤S104,对同一深度相机的相邻帧的彩色图进行匹配,提取二维空间的场景特征点,并在三维点云集合中找到对应的三维空间的场景特征点S。
在本发明的一个实施例中,对同一深度相机的相邻帧的彩色图进行匹配的方法为尺度不变特征转换(SIFT)特征匹配。
步骤S105,根据人体模型中的表面网格点V、地板模型中的地板点G和三维空间的场景特征点S的信息,定义联合优化模型。
在本发明的一个实施例中,联合优化模型为:
其中,χ表示骨架参数,表示每个关节的转动角度,γ={Rc|tc}表示手持相机的外参矩阵,Rc表示旋转矩阵,tc表示平移向量,V表示人体模型的表面网格点,Tχ(V)表示在骨架参数χ的牵引下对表面点V进行拖动后的位置,P为空间变换得到的三维点云点,Tγ(P)表示在手持相机在外参矩阵γ下进行观测到的三维点云点P在真实世界坐标系下的位置,G为真实世界的地板点,S为三维空间的场景特征点,下标i表示三维点云点P和表面网格点V的序号,j表示地板点G的序号,k表示场景特征点S的序号。
步骤S106,根据深度图和彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果。
在本发明的一个实施例中,遍历地计算三维点云点P与各个表面网格点V的匹配度量函数F(V,P),并选取能使度量函数具有最大值的V点作为P点匹配成功的点,即vi=argmaxv∈VF(v,pi),其中,匹配度量函数F(v,p)=Δ(||lv-lp||,θl)Δ(||xv-xp||,θx)max(nvnp,0),其中运算符Δ表示 xv,nv,lv分别表示表面网格点V的位置信息值、法向信息值及颜色信息值,xp,np,lp分别表示身体点云点P的位置信息值、法向信息值及颜色信息值,θl表示颜色信息的最大允许差值,θx表示位置信息的最大允许差值。
步骤S107,将P-V匹配结果对引入联合优化模型,进行求解和变换,得到运动捕捉结果和场景重建结果。
在本发明的一个实施例中,首先将P-V匹配结果对引入联合优化模型,通过线性化为一最小二乘问题进行求解,得到骨架参数χ和手持相机的外参矩阵γ;其次根据骨架参数χ,描述运动追踪结果,以实现运动捕捉;再次根据外参矩阵γ,结合内参矩阵,将手持相机获得的点云点进行坐标变换,即得到Tγ(P),将变换后的点云增加到原场景点云中,以实现场景重建。
在本发明的一个优选实施例中,还可以进一步对人体模型进行拉普拉斯表面变形,以使追踪结果更接近实际情况,其中,拉普拉斯表面变形的计算公式为: 其中||LV-δ||2为拉普拉斯坐标系表面几何约束,||CV-q||2为运动约束,λ为表面网格变形权重。
根据本发明实施例的基于多手持深度相机的无标记运动捕捉及场景重建方法,不但实现了准确鲁棒的运动参数估计,还同时实现了相机参数的恢复以及三维场景的实时重建。将的优化模型进行线性化变形,即可快速求解所有参数,算法准确、鲁棒,真实感强,运行速度快,系统成本低,可以在普通PC机或工作站等硬件系统上实现,拥有广阔的应用前景。
图2是根据本发明一个实施例的基于多手持深度相机的无标记运动捕捉及场景重建装置的结构框图。如图2所示,该装置包括:人体模型输入模块100、地板模型输入模块200、多视角的深度相机300、点云转换模块400、特征点提取模块500、匹配模块600、联合优化模型计算模块700、运动捕捉模块800和场景重建模块900。具体地:
人体模型输入模块100用于输入人体模型。其中,人体模型由骨架模型和表面网格构成,骨架有31个关节点组成的运动学链条组成,每个关节的位置、自由度以及转轴方向均为手工指定。表面网格被骨架模型拖动变形,模拟真实人体运动情况。在本发明的一个实施例中,人体模型符合骨架驱动表面规律,即满足骨架驱动表面规律的定义公式:其中V为表面网格点,TχV为表面网格点在关节转角χ下变形Tχ得到的目标位置,α为关节序号,N为关节数目,θαξα为关节旋转参数。
地板模型输入模块200用于输入地板模型。为了限制相机运动自由度,在联合优化中,需要加入地板平面约束。在本发明的一个实施例中,地板模型为圆形平面模型,地板模型用于提供地板平面约束。
多视角的深度相机300以非固定的手持方式进行拍摄,用于获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频。需要说明的是,非固定的手持方式进行拍摄,意味着相机的外参矩阵为未知。由于人体骨架参数以及相机外参矩阵均为未知,本发明实际上提出一种联合优化模型同时求解骨架参数及相机外参矩阵,从而实现运动捕捉和场景重建。
点云转换模块400用于根据深度图和深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P。在本发明的一个实施例中,根据深度图和深度相机的内参矩阵,进行空间变换得到三维点云集合的空间变换公式为:其中P为三维点云集合中的三维点云点,(m,n)为深度图中的像素点,m、n表示像素点(m,n)的坐标,d(m,n)表示像素点(m,n)的深度值。
特征点提取模块500用于对同一深度相机的相邻帧的彩色图进行匹配,提取二维空间的场景特征点,并在三维点云集合中找到对应的三维空间的场景特征点S。在本发明的一个实施例中,对同一深度相机的相邻帧的彩色图进行匹配的方法为尺度不变特征转换(SIFT)特征匹配。
匹配模块600用于根据深度图和彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果。
在本发明的一个实施例中,遍历地计算三维点云点P与各个表面网格点V的匹配度量函数F(V,P),并选取能使度量函数具有最大值的V点作为P点匹配成功的点,即vi=argmaxv∈VF(v,pi),其中,匹配度量函数F(v,p)=Δ(||lv-lp||,θl)Δ(||xv-xp||,θx)max(nvnp,0),其中运算符Δ表示 xv,nv,lv分别表示表面网格点V的位置信息值、法向信息值及颜色信息值,xp,np,lp分别表示身体点云点P的位置信息值、法向信息值及颜色信息值,θl表示颜色信息的最大允许差值,θx表示位置信息的最大允许差值。
联合优化模型计算模块700用于定义联合优化模型,并将P-V匹配结果对引入联合优化模型,通过线性化为一最小二乘问题进行求解,得到骨架参数χ和手持相机的外参矩阵γ。在本发明的一个实施例中,联合优化模型为:
其中,χ表示骨架参数,表示每个关节的转动角度,γ={Rc|tc}表示手持相机的外参矩阵,Rc表示旋转矩阵,tc表示平移向量,V表示人体模型的表面网格点,Tχ(V)表示在骨架参数χ的牵引下对表面点V进行拖动后的位置,P为空间变换得到的三维点云点,Tγ(P)表示在手持相机在外参矩阵γ下进行观测到的三维点云点P在真实世界坐标系下的位置,G为真实世界的地板点,S为三维空间的场景特征点,下标i表示三维点云点P和表面网格点V的序号,j表示地板点G的序号,k表示场景特征点S的序号。
运动捕捉模块800用于根据骨架参数χ,描述运动追踪结果,以实现运动捕捉。
场景重建模块900用于根据外参矩阵γ,结合内参矩阵,将手持相机获得的点云点进行坐标变换,即得到Tγ(P),将变换后的点云增加到原场景点云中,以实现场景重建。
在本发明的一个优选实施例中,还可以进一步包括优化模块。优化模块用于对人体模型进行拉普拉斯表面变形,以使追踪结果更接近实际情况,其中,拉普拉斯表面变形的计算公式为:其中||LV-δ||2为拉普拉斯坐标系表面几何约束,||CV-q||2为运动约束,λ为表面网格变形权重。
根据本发明实施例的基于多手持深度相机的无标记运动捕捉及场景重建装置,不但实现了准确鲁棒的运动参数估计,还同时实现了相机参数的恢复以及三维场景的实时重建。将的优化模型进行线性化变形,即可快速求解所有参数,算法准确、鲁棒,真实感强,运行速度快,系统成本低,可以在普通PC机或工作站等硬件系统上实现,拥有广阔的应用前景。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (14)
1.一种基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,包括以下步骤:
A.提供人体模型和地板模型;
B.提供多个深度相机,以非固定的手持方式进行拍摄,获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频;
C.根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P;
D.对同一所述深度相机的相邻帧的彩色图进行匹配,提取二维空间的场景特征点,并在所述三维点云集合中找到对应的三维空间的场景特征点S;
E.根据所述人体模型中的表面网格点V、所述地板模型中的地板点G和所述三维空间的场景特征点S的信息,定义联合优化模型,其中,所述联合优化模型为:
其中,χ表示骨架参数,表示每个关节的转动角度,γ={Rc|tc}表示所述手持相机的外参矩阵,Rc表示旋转矩阵,tc表示平移向量,V表示所述人体模型的表面网格点,Tχ(V)表示在骨架参数χ的牵引下对表面点V进行拖动后的位置,P为空间变换得到的所述三维点云点,Tγ(P)表示在所述手持相机在所述外参矩阵γ下进行观测到的三维点云点P在真实世界坐标系下的位置,G为真实世界的地板点,S为三维空间的场景特征点,下标i表示所述三维点云点P和表面网格点V的序号,j表示所述地板点G的序号,k表示所述场景特征点S的序号;
F.根据所述深度图和所述彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果;和
G.将所述P-V匹配结果对引入所述联合优化模型,进行求解和变换,得到运动捕捉结果和场景重建结果,步骤G具体包括:
将所述P-V匹配结果对引入所述联合优化模型,通过线性化为一最小二乘问题进行求解,得到骨架参数χ和所述手持相机的外参矩阵γ;
根据所述骨架参数χ,描述运动追踪结果,以实现运动捕捉;
根据所述外参矩阵γ,结合所述内参矩阵,将所述手持相机获得的点云点进行坐标变换,即得到Tγ(P),将变换后的点云增加到原场景点云中,以实现场景重建。
2.如权利要求1所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,其中,所述人体模型符合骨架驱动表面规律,即满足所述骨架驱动表面规律的定义公式:其中V为表面网格点,TχV为表面网格点在关节转角χ下变形Tχ得到的目标位置,α为关节序号,N为关节数目,θαξα为关节旋转参数。
3.如权利要求2所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,所述地板模型为圆形平面模型,所述地板模型用于提供地板平面约束。
4.如权利要求3所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,所述根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合的空间变换公式为:其中P为所述三维点云集合中的三维点云点,(m,n)为所述深度图中的像素点,m、n表示所述像素点(m,n)的坐标,d(m,n)表示所述像素点(m,n)的深度值。
5.如权利要求4所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,所述对同一所述深度相机的相邻帧的所述彩色图进行匹配的方法为尺度不变特征转换(SIFT)特征匹配。
6.如权利要求5所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,所述步骤F进一步包括:遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数F(V,P),并选取能使所述度量函数具有最大值的所述V点作为所述P点匹配成功的点,即vi=arg maxv∈vF(v,pi),其中,所述匹配度量函数F(v,p)=Δ(||lv-lp||,θl)Δ(||χv-χp||,θx)max(nvnp,0),其中运算符Δ表示χv,nv,lv分别表示所述表面网格点V的位置信息值、法向信息值及颜色信息值,xp,np,lp分别表示所述三维点云点P的位置信息值、法向信息值及颜色信息值,θl表示颜色信息的最大允许差值,θx表示位置信息的最大允许差值。
7.如权利要求6所述的基于多手持深度相机的无标记运动捕捉及场景重建方法,其特征在于,所述步骤F还包括:对所述人体模型进行拉普拉斯表面变形,以使所述追踪结果更接近实际情况,其中,所述拉普拉斯表面变形的计算公式为: 其中||LV-δ||2为拉普拉斯坐标系表面几何约束,||CV-q||2为运动约束,λ为表面网格变形权重。
8.一种基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,包括以下部分:
人体模型输入模块,用于输入人体模型;
地板模型输入模块,用于输入地板模型;
多视角的深度相机,用于非固定的手持方式进行拍摄,获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频;
点云转换模块,用于根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合,并将三维点云点记为P;
特征点提取模块,用于对同一所述深度相机的相邻帧的彩色图进行匹配,提取二维空间的场景特征点,并在所述三维点云集合中找到对应的三维空间的场景特征点S;
匹配模块,用于根据所述深度图和所述彩色图的信息,将三维点云点P与表面网格点V进行匹配,得到P-V匹配结果;
联合优化模型计算模块,用于定义联合优化模型,并将所述P-V匹配结果对引入所述联合优化模型,通过线性化为一最小二乘问题进行求解,得到骨架参数χ和所述手持相机的外参矩阵γ,其中,所述联合优化模型为:
其中,χ表示骨架参数,表示每个关节的转动角度,γ={Rc|tc}表示所述手持相机的外参矩阵,Rc表示旋转矩阵,tc表示平移向量,V表示所述人体模型的表面网格点,Tχ(V)表示在骨架参数χ的牵引下对表面点V进行拖动后的位置,P为空间变换得到的所述三维点云点,Tγ(P)表示在所述手持相机在所述外参矩阵γ下进行观测到的三维点云点P在真实世界坐标系下的位置,G为真实世界的地板点,S为三维空间的场景特征点,下标i表示所述三维点云点P和表面网格点V的序号,j表示所述地板点G的序号,k表示所述场景特征点S的序号;
运动捕捉模块,用于根据所述骨架参数χ,描述运动追踪结果,以实现运动捕捉;和
场景重建模块,用于根据所述外参矩阵γ,结合所述内参矩阵,将所述手持相机获得的点云点进行坐标变换,即得到Tγ(P),将变换后的点云增加到原场景点云中,以实现场景重建。
9.如权利要求8所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,其中,所述人体模型符合骨架驱动表面规律,即满足所述骨架驱动表面规律的定义公式:其中V为表面网格点,TχV为表面网格点在关节转角χ下变形Tχ得到的目标位置,α为关节序号,N为关节数目,θαξα为关节旋转参数。
10.如权利要求9所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,所述地板模型为圆形平面模型,所述地板模型用于提供地板平面约束。
11.如权利要求10所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,所述根据所述深度图和所述深度相机的内参矩阵,进行空间变换得到三维点云集合的空间变换公式为:其中P为所述三维点云集合中的三维点云点,(m,n)为所述深度图中的像素点,m、n表示所述像素点(m,n)的坐标,d(m,n)表示所述像素点(m,n)的深度值。
12.如权利要求11所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,所述对同一所述深度相机的相邻帧的所述彩色图进行匹配的方法为尺度不变特征转换(SIFT)特征匹配。
13.如权利要求12所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,所述匹配模块的匹配方法为:遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数F(V,P),并选取能使所述度量函数具有最大值的所述V点作为所述P点匹配成功的点,即vi=arg maxv∈VF(v,pi),其中所述匹配度量函数F(v,p)=Δ(||lv-lp||,θl)Δ(||χv-χp||,θχ)max(nvnp,0),其中运算符Δ表示 χv,nv,lv分别表示所述表面网格点V的位置信息值、法向信息值及颜色信息值,xp,np,lp分别表示所述三维点云点P的位置信息值、法向信息值及颜色信息值,θl表示颜色信息的最大允许差值,θx表示位置信息的最大允许差值。
14.如权利要求13所述的基于多手持深度相机的无标记运动捕捉及场景重建装置,其特征在于,还包括:
优化模块,所述优化模块用于对所述人体模型进行拉普拉斯表面变形,以使所述追踪结果更接近实际情况,其中,所述拉普拉斯表面变形的计算公式为: 其中||LV-δ||2为拉普拉斯坐标系表面几何约束,||CV-q||2为运动约束,λ为表面网格变形权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210237812.9A CN102842148B (zh) | 2012-07-10 | 2012-07-10 | 一种无标记运动捕捉及场景重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210237812.9A CN102842148B (zh) | 2012-07-10 | 2012-07-10 | 一种无标记运动捕捉及场景重建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102842148A CN102842148A (zh) | 2012-12-26 |
CN102842148B true CN102842148B (zh) | 2014-09-10 |
Family
ID=47369465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210237812.9A Active CN102842148B (zh) | 2012-07-10 | 2012-07-10 | 一种无标记运动捕捉及场景重建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102842148B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150575A (zh) * | 2013-01-31 | 2013-06-12 | 广州中国科学院先进技术研究所 | 一种实时三维无标记人体姿态识别方法及系统 |
CN103198523B (zh) * | 2013-04-26 | 2016-09-21 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及系统 |
CN103268629B (zh) * | 2013-06-03 | 2015-11-11 | 程志全 | 三维人体形态和姿态的无标记点实时复原方法 |
CN104680582B (zh) * | 2015-03-24 | 2016-02-24 | 中国人民解放军国防科学技术大学 | 一种面向对象定制的三维人体模型创建方法 |
CN105809734B (zh) * | 2016-03-10 | 2018-12-25 | 杭州师范大学 | 一种基于多视角交互式的机械模型三维建模方法 |
US10410365B2 (en) * | 2016-06-02 | 2019-09-10 | Verily Life Sciences Llc | System and method for 3D scene reconstruction with dual complementary pattern illumination |
TWI612795B (zh) | 2016-09-13 | 2018-01-21 | 財團法人工業技術研究院 | 場景掃描方法及系統 |
CN108122277B (zh) * | 2016-11-28 | 2021-06-22 | 华为技术有限公司 | 一种建模方法及装置 |
CN106981091B (zh) * | 2017-04-27 | 2020-04-17 | 深圳奥比中光科技有限公司 | 人体三维建模数据处理方法及装置 |
CN107976201A (zh) * | 2017-10-09 | 2018-05-01 | 汪腊新 | 一种基于面阵3d相机自动生成加工路径的方法 |
CN108007451B (zh) * | 2017-11-10 | 2020-08-11 | 未来机器人(深圳)有限公司 | 货物承载装置位姿的检测方法、装置、计算机设备和存储介质 |
CN108038885B (zh) * | 2017-11-29 | 2019-09-24 | 深圳奥比中光科技有限公司 | 多深度相机标定方法 |
CN108171788B (zh) * | 2017-12-19 | 2021-02-19 | 西安蒜泥电子科技有限责任公司 | 基于三维建模的身体变化表示方法 |
CN108320330A (zh) * | 2018-01-23 | 2018-07-24 | 河北中科恒运软件科技股份有限公司 | 基于深度视频流的实时三维模型重建方法及系统 |
CN108629831B (zh) * | 2018-04-10 | 2021-03-12 | 清华大学 | 基于参数化人体模板和惯性测量的三维人体重建方法及系统 |
CN108665537B (zh) * | 2018-05-15 | 2020-09-25 | 清华大学 | 联合优化人体体态与外观模型的三维重建方法及系统 |
CN108961390B (zh) * | 2018-06-08 | 2020-05-19 | 华中科技大学 | 基于深度图的实时三维重建方法 |
CN109453505B (zh) * | 2018-12-03 | 2020-05-29 | 浙江大学 | 一种基于可穿戴设备的多关节追踪方法 |
CN112562001B (zh) * | 2020-12-28 | 2023-07-21 | 中山大学 | 一种物体6d位姿估计方法、装置、设备及介质 |
CN114463409B (zh) | 2022-02-11 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像深度信息的确定方法、装置、电子设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
WO2010088034A2 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Body scan |
-
2012
- 2012-07-10 CN CN201210237812.9A patent/CN102842148B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
WO2010088034A2 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Body scan |
Non-Patent Citations (8)
Title |
---|
Calibration of Hand-held Camera Sequences for Plenoptic Modeling;R. Koch, et al.;《The Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999》;19990927;第1卷;第585-591页 * |
KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera;Shahram Izadi, et al.;《UIST"11》;20111019;第559-568页 * |
Kun Li, et al..Markerless Shape and Motion Capture from Multiview Video Sequences.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》.2011,第21卷(第3期),第320-334页. |
Markerless Shape and Motion Capture from Multiview Video Sequences;Kun Li, et al.;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20110331;第21卷(第3期);第320-334页 * |
R. Koch, et al..Calibration of Hand-held Camera Sequences for Plenoptic Modeling.《The Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999》.1999,第1卷第585-591页. |
Shahram Izadi, et al..KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera.《UIST"11》.2011,第559-568页. |
基于视频的现实人物运动创作;徐枫 等;《计算机辅助设计与图形学学报》;20120131;第24卷(第1期);第11-13页 * |
徐枫 等.基于视频的现实人物运动创作.《计算机辅助设计与图形学学报》.2012,第24卷(第1期),第11-13页. |
Also Published As
Publication number | Publication date |
---|---|
CN102842148A (zh) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102842148B (zh) | 一种无标记运动捕捉及场景重建方法及装置 | |
CN105225269B (zh) | 基于运动机构的三维物体建模系统 | |
CN104376596B (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
CN103729883B (zh) | 一种三维环境信息采集与重构系统及方法 | |
CN103049912B (zh) | 一种基于任意三面体的雷达-相机系统外部参数标定方法 | |
CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
CN110223379A (zh) | 基于激光雷达的三维点云重建方法 | |
Sirmacek et al. | Performance evaluation for 3-D city model generation of six different DSMs from air-and spaceborne sensors | |
CN103606188B (zh) | 基于影像点云的地理信息按需采集方法 | |
CN102800103A (zh) | 基于多视角的深度相机的无标记动作捕捉方法及装置 | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN104915978B (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
CN101303772A (zh) | 一种基于单幅图像的非线性三维人脸建模方法 | |
CN103954970B (zh) | 一种地形要素采集方法 | |
CN103761739B (zh) | 一种基于半全局能量优化的影像配准方法 | |
CN103268629B (zh) | 三维人体形态和姿态的无标记点实时复原方法 | |
CN102999892A (zh) | 基于区域遮罩的深度图像与rgb图像的智能融合方法 | |
Lee et al. | Mav visual slam with plane constraint | |
CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
CN102509338A (zh) | 一种基于轮廓骨架图的视频场景行为生成方法 | |
CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN101271581A (zh) | 建立个性化的三维人体模型 | |
CN105843166A (zh) | 一种特型多自由度自动对接装置及其工作方法 | |
Jing et al. | 3D reconstruction of underground tunnel using Kinect camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |