CN107945269A - 基于多视点视频的复杂动态人体对象三维重建方法及系统 - Google Patents

基于多视点视频的复杂动态人体对象三维重建方法及系统 Download PDF

Info

Publication number
CN107945269A
CN107945269A CN201711433635.0A CN201711433635A CN107945269A CN 107945269 A CN107945269 A CN 107945269A CN 201711433635 A CN201711433635 A CN 201711433635A CN 107945269 A CN107945269 A CN 107945269A
Authority
CN
China
Prior art keywords
human body
dimensional
human
mrow
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711433635.0A
Other languages
English (en)
Inventor
刘烨斌
王金宝
戴琼海
吕科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711433635.0A priority Critical patent/CN107945269A/zh
Publication of CN107945269A publication Critical patent/CN107945269A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多视点视频的复杂动态人体对象三维重建方法及系统，其中，方法包括以下步骤：对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模。该方法可以结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。

Description

基于多视点视频的复杂动态人体对象三维重建方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于多视点视频的复杂动态人体对象三维重建方法及系统。
背景技术
相关技术中，三维重建是根据单视图或者多视图的图像重建三维信息的过程，由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建能够利用更多的多视点视频的二维图像的信息，重建出三维模型。然而，目前大多的三维重建算法，对二维信息的利用不够精确和全面，计算过程过度依赖外部设备提供的信息，如深度相机提供的深度信息等，或依赖于对目标和背景的分割结果等，造成重建出的结果仍比较粗糙。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于多视点视频的复杂动态人体对象三维重建方法，该方法可以实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。
本发明的另一个目的在于提出一种基于多视点视频的复杂动态人体对象三维重建系统。
为达到上述目的，本发明一方面实施例提出了一种基于多视点视频的复杂动态人体对象三维重建方法，包括以下步骤：对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。
本发明实施例的基于多视点视频的复杂动态人体对象三维重建方法，可以利用多个视点提供的二维信息，利用深度学习的方法解决目标人体对象与复杂背景的分割问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。
另外，根据本发明上述实施例的基于多视点视频的复杂动态人体对象三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
进一步地，在本发明的一个实施例中，所述利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：利用深度卷积神经网络DPM(Deep Pose Machines，深度卷积神经网络)对人体的各部分关节点进行预测；利用深度卷积神经网络LIP(Look intoPerson，深度卷积神经网络)对人体的各身体部分进行预测，获得人物轮廓信息。
进一步地，在本发明的一个实施例中，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
LStructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
进一步地，在本发明的一个实施例中，所述利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
为达到上述目的，本发明另一方面实施例提出了一种基于多视点视频的复杂动态人体对象三维重建系统，包括：拍摄模块，用于对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；信息获取模块，用于利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；三维重建模块，用于利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。
本发明实施例的基于多视点视频的复杂动态人体对象三维重建系统，可以利用多个视点提供的二维信息，利用深度学习的方法解决目标人体对象与复杂背景的分割问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。
另外，根据本发明上述实施例的基于多视点视频的复杂动态人体对象三维重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述拍摄模块还用于将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
进一步地，在本发明的一个实施例中，所述信息获取模块还用于利用深度卷积神经网络DPM对人体的各部分关节点进行预测，以及利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。
进一步地，在本发明的一个实施例中，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
Lstructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
进一步地，在本发明的一个实施例中，所述三维重建模块还用于对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息，并利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象，以及如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于多视点视频的复杂动态人体对象三维重建方法的流程图；
图2为根据本发明一个实施例的获得的多视角视频序列中单角度单帧图像的示意图；
图3为根据本发明一个实施例的对目标人体对象进行分割重建示意图；
图4为根据本发明一个实施例的深度卷积神经网络(Deep Pose Machines)流程图；
图5为根据本发明一个实施例的深度卷积神经网络(Deep Pose Machines)人体骨架预测结果图；
图6为根据本发明一个实施例的深度卷积神经网络(Look into Person)流程图；
图7为根据本发明一个实施例的深度卷积神经网络(Look into Person)分割人体各部位预测结果图；
图8为根据本发明一个实施例的三维人体重建结果图；
图9为根据本发明一个实施例的三维人体骨架重建结果图；
图10为根据本发明一个实施例的基于多视点视频的复杂动态人体对象三维重建系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于多视点视频的复杂动态人体对象三维重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于多视点视频的复杂动态人体对象三维重建方法。
图1是本发明一个实施例的基于多视点视频的复杂动态人体对象三维重建方法的流程图。
如图1所示，该基于多视点视频的复杂动态人体对象三维重建方法包括以下步骤：
在步骤S101中，对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像。
也就是说，如图2所示，本发明实施例可以对目标人体对象进行多视点拍摄，以便获得在同一时刻下的多视点二维图像。
进一步地，在本发明的一个实施例中，对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
具体而言，本发明实施例只需要将多个若干角度的摄像头架设在人体对象周围，并对准在人体对象运动范围之内即可，并尽量保证摄像头一致，包括同一型号同一高度等，利于得到更好的重建效果。
在步骤S102中，利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息。
可以理解的是，如图3所示，本发明实施例可以利用深度网络学习后的模型对视频序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和获得人体对象的骨架信息。
进一步地，在本发明的一个实施例中，利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：利用深度卷积神经网络DPM对人体的各部分关节点进行预测；利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。
可以理解的是，本发明实施例可以利用深度卷积神经网络(Deep Pose Machines)对人体各部分关节点进行预测，和利用深度卷积神经网络(Look into Person)对人体各身体部分进行预测，获得任务轮廓信息。利用神经网络方法的优势在于，避免从传统的图像分割的角度达不到足够分割的精度和复杂背景下过度分割的缺点，能够实现准确的人物对象分割，同时达到对人体的定位。该部分是三维重建的核心，对重建结果起到关键的作用。
另外，深度神经网络结构如图4所示，本发明实施例可以用人体各部件响应图来表达各部件之间的空间约束，并且响应图和特征图一起作为数据在网络中传递，其中，网络可以分为多个阶段(stage)，并且各个阶段都有监督训练，从而避免过深网络难以优化的问题。因为使用同一个网络，同时在多个尺度处理输入的特征和响应，从而不仅能确保精度，而且还考虑了各个部件之间的远距离关系。算法的主要流程为在每一个尺度下，计算各个部件的响应图，对于每个部件，累加所有尺度的响应图，得到总响应图，最后在每个部件的总响应图上，找出相应最大的点，即为该部件位置，最终获得的预测结果如图5所示。
可选地，在本发明的一个实施例中，在利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
LStructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
具体而言，深度卷积神经网络结构如图6所示，该训练网络是基于自监督结构敏感的深度神经网络，网络主体部分采用注意力模型(Attention)，自监督体现利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
LStructure＝LJoint·LParsing，
Lstructure是结构损失(structure loss)，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，即Attention模型的分割后的损失，LJoint是关节点预测值与真实值之间的损失。最终获得的预测分割结果如图7所示。
在步骤S103中，利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模。
也就是说，如图3所示，本发明实施例可以利用标定后的各视点相机内外参信息，并结合分割后的人体对象的信息，从而进行三维建模
进一步地，在本发明的一个实施例中，利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
具体而言，本发明实施例可以首先对若干个视角的摄像机进行标定，从而获得每个相机的内外参信息对场景进行空间模型。然后利用Visual Hull的方法，利用多个视图下的人体对象轮廓信息和骨架信息，遍历空间模型中的每个点，确定是否属于人体对象，如果该空间点投影到多个二维平面视图中都在人体对象轮廓内，则认为该点属于三维人体对象，直到遍历完空间中的每个点，则获得了最终的三维人体模型，如图8所示，和人体骨架模型，如图9所示。
根据本发明实施例提出的基于多视点视频的复杂动态人体对象三维重建方法，可以利用多个视点提供的二维信息，利用深度学习的方法解决目标人体对象与复杂背景的分割问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。
其次参照附图描述根据本发明实施例提出的基于多视点视频的复杂动态人体对象三维重建系统。
图10是本发明一个实施例的基于多视点视频的复杂动态人体对象三维重建系统的结构示意图。
如图10所示，该基于多视点视频的复杂动态人体对象三维重建系统10包括：拍摄模块100、信息获取模块200和三维重建模块300。
拍摄模块100用于对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像。信息获取模块200用于利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息。三维重建模块300用于利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模。本发明实施例的系统10可以实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性
进一步地，在本发明的一个实施例中，拍摄模块100还用于将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
进一步地，在本发明的一个实施例中，信息获取模块200还用于利用深度卷积神经网络DPM对人体的各部分关节点进行预测，以及利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。
进一步地，在本发明的一个实施例中，在利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
LStructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
进一步地，在本发明的一个实施例中，三维重建模块300还用于对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息，并利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象，以及如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
需要说明的是，前述对基于多视点视频的复杂动态人体对象三维重建方法实施例的解释说明也适用于该实施例的基于多视点视频的复杂动态人体对象三维重建系统，此处不再赘述。
根据本发明实施例提出的基于多视点视频的复杂动态人体对象三维重建系统，可以利用多个视点提供的二维信息，利用深度学习的方法解决目标人体对象与复杂背景的分割问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，包括以下步骤：
对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；
利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；
利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。
2.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：
将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
3.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：
利用深度卷积神经网络DPM对人体的各部分关节点进行预测；
利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。
4.根据权利要求3所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
<mrow> <msub> <mi>L</mi> <mrow> <mi>J</mi> <mi>o</mi> <mi>int</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>N</mi> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>|</mo> <mo>|</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mrow> <mi>g</mi> <mi>t</mi> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>
Lstructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
5.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：
对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；
利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；
如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
6.一种基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，包括：
拍摄模块，用于对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；
信息获取模块，用于利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；
三维重建模块，用于利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。
7.根据权利要求6所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，所述拍摄模块还用于将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。
8.根据权利要求6所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，所述信息获取模块还用于利用深度卷积神经网络DPM对人体的各部分关节点进行预测，以及利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。
9.根据权利要求8所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，
<mrow> <msub> <mi>L</mi> <mrow> <mi>J</mi> <mi>o</mi> <mi>int</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>N</mi> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>|</mo> <mo>|</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>-</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mrow> <mi>g</mi> <mi>t</mi> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>
LStructure＝LJoint·LParsing，
其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。
10.根据权利要求6所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，所述三维重建模块还用于对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息，并利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象，以及如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。
CN201711433635.0A 2017-12-26 2017-12-26 基于多视点视频的复杂动态人体对象三维重建方法及系统 Pending CN107945269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711433635.0A CN107945269A (zh) 2017-12-26 2017-12-26 基于多视点视频的复杂动态人体对象三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711433635.0A CN107945269A (zh) 2017-12-26 2017-12-26 基于多视点视频的复杂动态人体对象三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN107945269A true CN107945269A (zh) 2018-04-20

Family

ID=61939242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711433635.0A Pending CN107945269A (zh) 2017-12-26 2017-12-26 基于多视点视频的复杂动态人体对象三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN107945269A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063715A (zh) * 2018-09-19 2018-12-21 上海掌门科技有限公司 一种用于记录用户的静坐过程的方法与设备
CN109146969A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 行人定位方法、装置及处理设备及其存储介质
CN109493417A (zh) * 2018-10-31 2019-03-19 深圳大学 三维物体重建方法、装置、设备和存储介质
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109685048A (zh) * 2019-03-04 2019-04-26 上海卓易科技股份有限公司 人体测量方法、装置、终端及存储介质
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及系统
CN109977827A (zh) * 2019-03-17 2019-07-05 浙江大学 一种使用多视图匹配方法的多人三维姿态估计方法
CN110148084A (zh) * 2019-05-21 2019-08-20 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN110428493A (zh) * 2019-07-12 2019-11-08 清华大学 基于网格形变的单图像人体三维重建方法及系统
CN110458940A (zh) * 2019-07-24 2019-11-15 兰州未来新影文化科技集团有限责任公司 动作捕捉的处理方法和处理装置
CN110599540A (zh) * 2019-08-05 2019-12-20 清华大学 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN110910449A (zh) * 2019-12-03 2020-03-24 清华大学 识别物体三维位置的方法和系统
CN110942479A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN111105486A (zh) * 2019-12-07 2020-05-05 东南大学 一种多视角小白鼠动态三维重建方法
WO2020102977A1 (zh) * 2018-11-20 2020-05-28 深圳市欢太科技有限公司 图像处理方法及相关产品
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和系统、介质及计算机设备
CN113358659A (zh) * 2021-04-25 2021-09-07 上海工程技术大学 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN115177755A (zh) * 2022-07-07 2022-10-14 中国人民解放军军事科学院军事医学研究院 在线智能紫外辐射消毒系统和方法
CN115222930A (zh) * 2022-09-02 2022-10-21 四川蜀天信息技术有限公司 一种基于WebGL的3D模型的编排组合的方法
WO2022222011A1 (zh) * 2021-04-19 2022-10-27 浙江大学 一种可驱动的隐式三维人体表示方法
WO2023077755A1 (zh) * 2021-11-03 2023-05-11 北京小米移动软件有限公司 行人信息确定方法、装置、车辆、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789126A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 基于体素的三维人体运动跟踪方法
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789126A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 基于体素的三维人体运动跟踪方法
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KE GONG ET AL: ""Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing"", 《CVPR 2017》 *
万成凯: ""无标记人体运动捕捉及姿态估计的研究"", 《中国博士学位论文全文数据库 信息科技辑》 *
朱卫平等: ""基于压力传感器与摄像头的颈椎病预防系统"", 《计算机系统应用》 *
肖雪: ""基于视频序列的人体骨架提取与三维重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146969A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 行人定位方法、装置及处理设备及其存储介质
CN109146969B (zh) * 2018-08-01 2021-01-26 北京旷视科技有限公司 行人定位方法、装置及处理设备及其存储介质
CN109063715A (zh) * 2018-09-19 2018-12-21 上海掌门科技有限公司 一种用于记录用户的静坐过程的方法与设备
CN109063715B (zh) * 2018-09-19 2024-04-12 上海掌门科技有限公司 一种用于记录用户的静坐过程的方法与设备
CN110942479A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
US11403812B2 (en) 2018-10-31 2022-08-02 Shenzhen University 3D object reconstruction method, computer apparatus and storage medium
CN109493417B (zh) * 2018-10-31 2023-04-07 深圳大学 三维物体重建方法、装置、设备和存储介质
CN109493417A (zh) * 2018-10-31 2019-03-19 深圳大学 三维物体重建方法、装置、设备和存储介质
WO2020087564A1 (zh) * 2018-10-31 2020-05-07 深圳大学 三维物体重建方法、计算机设备及存储介质
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
WO2020102977A1 (zh) * 2018-11-20 2020-05-28 深圳市欢太科技有限公司 图像处理方法及相关产品
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及系统
CN109685048A (zh) * 2019-03-04 2019-04-26 上海卓易科技股份有限公司 人体测量方法、装置、终端及存储介质
CN109977827A (zh) * 2019-03-17 2019-07-05 浙江大学 一种使用多视图匹配方法的多人三维姿态估计方法
CN110148084A (zh) * 2019-05-21 2019-08-20 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN110148084B (zh) * 2019-05-21 2023-09-19 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN110428493A (zh) * 2019-07-12 2019-11-08 清华大学 基于网格形变的单图像人体三维重建方法及系统
CN110458940B (zh) * 2019-07-24 2023-02-28 兰州未来新影文化科技集团有限责任公司 动作捕捉的处理方法和处理装置
CN110458940A (zh) * 2019-07-24 2019-11-15 兰州未来新影文化科技集团有限责任公司 动作捕捉的处理方法和处理装置
CN110599540B (zh) * 2019-08-05 2022-06-17 清华大学 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN110599540A (zh) * 2019-08-05 2019-12-20 清华大学 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN110910449A (zh) * 2019-12-03 2020-03-24 清华大学 识别物体三维位置的方法和系统
CN110910449B (zh) * 2019-12-03 2023-10-13 清华大学 识别物体三维位置的方法和系统
CN111105486A (zh) * 2019-12-07 2020-05-05 东南大学 一种多视角小白鼠动态三维重建方法
WO2022222011A1 (zh) * 2021-04-19 2022-10-27 浙江大学 一种可驱动的隐式三维人体表示方法
CN113358659B (zh) * 2021-04-25 2022-07-19 上海工程技术大学 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN113358659A (zh) * 2021-04-25 2021-09-07 上海工程技术大学 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和系统、介质及计算机设备
WO2023077755A1 (zh) * 2021-11-03 2023-05-11 北京小米移动软件有限公司 行人信息确定方法、装置、车辆、电子设备及存储介质
CN115177755A (zh) * 2022-07-07 2022-10-14 中国人民解放军军事科学院军事医学研究院 在线智能紫外辐射消毒系统和方法
CN115222930A (zh) * 2022-09-02 2022-10-21 四川蜀天信息技术有限公司 一种基于WebGL的3D模型的编排组合的方法

Similar Documents

Publication Publication Date Title
CN107945269A (zh) 基于多视点视频的复杂动态人体对象三维重建方法及系统
CN108053469A (zh) 多视角相机下的复杂动态场景人体三维重建方法及装置
Wong et al. Unsupervised depth completion from visual inertial odometry
CN108596974B (zh) 动态场景机器人定位建图系统及方法
Grün et al. Photogrammetric reconstruction of the great Buddha of Bamiyan, Afghanistan
Musialski et al. A survey of urban reconstruction
CN104484033B (zh) 基于bim的虚拟现实展示方法和系统
CN108711185B (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN109003325A (zh) 一种三维重建的方法、介质、装置和计算设备
ES2351961T3 (es) Procedimiento basado en imágenes de representación y reproducción de objetos tridimensionales.
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN109816704A (zh) 物体的三维信息获取方法和装置
CN106803267A (zh) 基于Kinect的室内场景三维重建方法
CN108629831A (zh) 基于参数化人体模板和惯性测量的三维人体重建方法及系统
CN108053437A (zh) 基于体态的三维模型获取方法及装置
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN105809681A (zh) 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107481313A (zh) 一种基于学习有效点云生成的密集三维物体重建方法
CN109087394A (zh) 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN112530005B (zh) 一种三维模型直线结构识别与自动修复方法
CN108122275A (zh) 基于骨架跟踪的动态实时三维人体重建方法及系统
CN113034571B (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN109727314A (zh) 一种增强现实场景融合及其展示方法
CN110096993A (zh) 双目立体视觉的目标检测设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420