CN112802186A - 基于二值化特征编码匹配的动态场景实时三维重建方法 - Google Patents

基于二值化特征编码匹配的动态场景实时三维重建方法 Download PDF

Info

Publication number
CN112802186A
CN112802186A CN202110112223.7A CN202110112223A CN112802186A CN 112802186 A CN112802186 A CN 112802186A CN 202110112223 A CN202110112223 A CN 202110112223A CN 112802186 A CN112802186 A CN 112802186A
Authority
CN
China
Prior art keywords
matching
standard model
point cloud
color depth
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110112223.7A
Other languages
English (en)
Other versions
CN112802186B (zh
Inventor
徐枫
林文镔
雍俊海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110112223.7A priority Critical patent/CN112802186B/zh
Publication of CN112802186A publication Critical patent/CN112802186A/zh
Application granted granted Critical
Publication of CN112802186B publication Critical patent/CN112802186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于二值化特征编码匹配的动态场景实时三维重建方法，其中，方法包括：使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将彩色深度图像序列中的单帧图像转换为三维点云；通过二值化特征编码匹配，获取三维点云和标准模型顶点之间的匹配点对，其中，标准模型的姿态参数根据彩色深度图像序列中的第一帧彩色深度图像确定；确定匹配点对对应的集合对应的能量函数，并根据能量函数构建更新从标准模型到三维点云的非刚性运动场参数；根据非刚性运动场参数更新标准模型得到目标模型。由此，能够有效的提高对动态场景的重建实时性、鲁棒性和准确性。

Description

基于二值化特征编码匹配的动态场景实时三维重建方法
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种基于二值化特征编码匹配的动态场景实时三维重建方法。
背景技术
动态场景三维重建是计算机视觉和计算机图形学领域的基础且重要问题。高质量的动态场景三维重建在虚拟现实、体育游戏、影视娱乐等领域有广泛的应用前景和重要的应用价值。
相关技术中，基于激光扫描仪或多相机阵列等系统要求扫描过程中要求待扫描对象保持绝对静止，难以处理动态场景，且这类设备价格昂贵，难以普及到普通民众的日常生活中。现有的基于RGBD相机的重建方法通常基于物体运动幅度较小的假设，难以完成对快速运动的非刚性物体的高精度重建。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于二值化特征编码匹配的动态场景实时三维重建方法，以实现能够准确鲁棒地完成对动态场景的重建，且具有实时的运算性能，适用性广。
本发明的第二个目的在于提出一种基于二值化特征编码匹配的动态场景实时三维重建装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种基于二值化特征编码匹配的动态场景实时三维重建方法，包括：使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；
通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；
确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；
根据所述非刚性运动场参数更新所述标准模型得到目标模型。
为达上述目的，本发明第二方面实施例提出了一种基于二值化特征编码匹配的动态场景实时三维重建装置，包括：转换模块，用于使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；
获取模块，用于通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；
第一更新模块，用于确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；
第二更新模块，用于根据所述非刚性运动场参数更新所述标准模型得到目标模型。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于二值化特征编码匹配的动态场景实时三维重建方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于二值化特征编码匹配的动态场景实时三维重建方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的基于二值化特征编码匹配的动态场景实时三维重建方法。
本发明的实施例，至少具有如下的技术效果：
能够准确鲁棒地完成对动态场景的重建，且具有实时的运算性能，适用性广。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于二值化特征编码匹配的动态场景实时三维重建方法的流程示意图；以及
图2为本发明实施例所提供的一种基于二值化特征编码匹配的动态场景实时三维重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于二值化特征编码匹配的动态场景实时三维重建方法和装置。
图1为本发明实施例所提供的一种基于二值化特征编码匹配的动态场景实时三维重建方法的流程示意图。
动态场景三维重建在虚拟现实、体育游戏、影视娱乐等领域有广泛的应用前景和重要的应用价值。本发明提出了一种基于二值化特征编码匹配的动态场景实时三维重建方法，它能够有效的提高对动态场景的重建实时性、鲁棒性和准确性。
如图1所示，该方法包括以下步骤：
步骤101，使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云。
本实施例中，使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将每帧彩色深度图像转换为三维点云。根据相机的内参矩阵K，可以将彩色深度图像投影到三维空间中，得到三维点云，其中，公式为下述公式(1)。
Figure BDA0002919342170000031
其中，(x，y，z)为三维点云坐标，(u，v)为单帧图像的像素坐标，D(u，v)为单帧图像的像素深度值。
步骤102，通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定。
具体而言，对于相邻两帧RGBD图像，使用卷积神经网络，分别提取不同层级的特征，并对提取得到的特征向量进行二值化，即对于特征向量中的一个元素xi，xi≤0时取该位的二值化特征为-1，否则取1。由此可以得到两帧图像在不同层级的二值化特征。
在训练特征提取网络时，需要构建三元组
Figure BDA0002919342170000041
其中p1为图像I1上的像素坐标，
Figure BDA0002919342170000042
和
Figure BDA0002919342170000043
分别为图像I2上与p1匹配和不与p1匹配的像素坐标，通过约束与该三元组位置对应的特征向量
Figure BDA0002919342170000044
之间的距离，使得匹配的像素对对应的特征向量尽量接近，而不匹配的像素对对应的特征向量尽量远离，即最小化以下损失函数，参照下述公式(2)：
Figure BDA0002919342170000045
在得到各个层级的二值化特征后，本发明使用Barnes等人提出的PatchMatch算法，从最粗糙的层级开始，根据二值化特征逐层估计两帧图像的像素匹配关系，对于更精细层级的匹配关系，使用前一层估计的匹配作为初始值。由此，可以得到映射函数
Figure BDA0002919342170000046
对于图像I1上的像素(u，v)，可估计出其在图像I2上的对应像素位置为(u，v)+f(u，v)。在本发明的实施例中PatchMatch算法在GPU上并行实现。由于在特征匹配时，使用的特征为二值化特征，因此可充分利用最新GPU架构上的__proc()或__procll()函数在O(1)时间内完成对两串二值化特征之间的汉明距离计算。
在得到连续两帧图像之间的对应关系映射f后，对于标准模型中的顶点vi，及该顶点处截至上一帧的累积变换矩阵
Figure BDA0002919342170000047
将变形后的顶点
Figure BDA0002919342170000048
投影至当前视角，得到坐标
Figure BDA0002919342170000049
其中K为相机内参矩阵。结合像素映射关系，可在顶点vi和像素(xi，yi)+f(xi，yi)之间构建对应关系，即在顶点vi和根据该像素处深度值反投影至三维空间中的点ui之间构建对应关系。记通过本步骤构建的匹配点对集合为
Figure BDA0002919342170000051
由于在构建匹配点对时，本发明在对变形后的标准模型顶点进行投影后，进一步根据二值化特征的匹配关系进行的对应的映射，能够更加准确地找到匹配点对。因此相较于现有的其他重建方法，本发明在重建运动幅度较大的目标时，仍然能够准确地构建匹配点对。
步骤103，确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数。
在本实施例中，在完成对匹配点对集合
Figure BDA0002919342170000052
的构建后，构建并最小化用于约束变形场的能量函数，其中，能量函数为下述公式(3)所示：
Figure BDA00029193421700000510
其中，
Figure BDA0002919342170000053
为总能量项，
Figure BDA0002919342170000054
为t时刻的非刚性运动场参数，Edepth为深度数据项，约束变形后的标准模型与t时刻深度图像之间的一致性，Ereg为对非刚性运动场局部刚性运动的约束，λdepth和λreg分别为两项能量函数的权重。
具体而言，运动场
Figure BDA0002919342170000055
通过稀疏的变形节点表示，记变形节点集合为
Figure BDA0002919342170000056
变形节点的位置可通过在标准模型表面均匀采样得到。
对于深度数据项有下述公式(4)：
Figure BDA0002919342170000057
其中，
Figure BDA0002919342170000058
为标准模型上顶点v在进行非刚性变形后的坐标，u为通过步骤S2得到的与顶点v对应的匹配点，
Figure BDA0002919342170000059
为点u处的法向量。该项能量函数约束顶点v到点u所在平面的距离。
对于局部刚性运动约束由下述公式(5)表示：
Figure BDA0002919342170000061
其中，
Figure BDA0002919342170000062
表示变形节点j的邻接节点集，
Figure BDA0002919342170000063
和
Figure BDA0002919342170000064
分别表示变形节点j和i的变换矩阵，pj和pi分别为变形节点j和i的位置。该约束项使得邻近节点的非刚性变形效果尽可能保持一致。
步骤104，根据所述非刚性运动场参数更新所述标准模型得到目标模型。
具体而言，通过步骤S3优化得到了t时刻的非刚性运动场参数
Figure BDA0002919342170000065
该非刚性变形可将标准模型变形到与t时刻的深度图像接近的状态，用于表示标准三维模型的截断有向距离场可根据变形后三维模型到相应深度观测的距离进行加权更新。
综上，本发明实施例的基于二值化特征编码匹配的动态场景实时三维重建方法，通过二值化特征编码匹配，重建过程中匹配点对的构建更加准确，使得重建系统能够准确鲁棒地完成对快速运动非刚性的目标的重建。此外，二值化特征匹配过程可在GPU进行运算加速，具有较高的实时性，能够准确鲁棒地完成对动态场景的重建，且具有实时的运算性能，适用性广。
为了实现上述实施例，本发明还提出一种基于二值化特征编码匹配的动态场景实时三维重建装置。
图2为本发明实施例提供的一种基于二值化特征编码匹配的动态场景实时三维重建装置的结构示意图。
如图2所示，该基于二值化特征编码匹配的动态场景实时三维重建装置包括：转换模块210、获取模块220、第一更新模块230、第二更新模块240。
其中，转换模块210，用于使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；
获取模块220，用于通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；
第一更新模块230，用于确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；
第二更新模块240，用于根据所述非刚性运动场参数更新所述标准模型得到目标模型。
进一步地，在本发明实施例的一种可能的实现方式中，转换模块210，具体用于：
根据相机的内参矩阵k和预设的转换公式，可以将所述单帧图像投影到三维空间中，得到三维点云，其中，所述预设的转换公式为：
Figure BDA0002919342170000071
其中，(x，y，z)为三维顶点坐标，(u，v)为所述单帧图像的像素坐标，D(u，v)为所述单帧图像的像素深度值。
需要说明的是，前述对基于二值化特征编码匹配的动态场景实时三维重建方法实施例的解释说明也适用于该实施例的基于二值化特征编码匹配的动态场景实时三维重建装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的基于二值化特征编码匹配的动态场景实时三维重建方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的基于二值化特征编码匹配的动态场景实时三维重建方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例所描述的基于二值化特征编码匹配的动态场景实时三维重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于二值化特征编码匹配的动态场景实时三维重建方法,其特征在于，包括以下步骤：
使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；
通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；
确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；
根据所述非刚性运动场参数更新所述标准模型得到目标模型。
2.如权利要求1所述的方法，其特征在于，所述将所述彩色深度图像序列中的单帧图像转换为三维点云，包括：
根据相机的内参矩阵k和预设的转换公式，可以将所述单帧图像投影到三维空间中，得到三维点云，其中，所述预设的转换公式为：
Figure FDA0002919342160000011
其中，(x，y，z)为三维点云坐标，(u，v)为所述单帧图像的像素坐标，D(u，v)为所述单帧图像的像素深度值。
3.如权利要求1所述的方法，其特征在于，所述通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，包括：
获取所述彩色深度图像序列中的相邻两帧彩色深度图像在不同卷积层的二值化特征；
从最粗糙的卷积层级开始，根据对应的所述二值化特征逐层估计所述相邻两帧彩色深度图像的像素匹配关系；
根据所述像素匹配关系构建所述三维点云和标准模型顶点之间的匹配点对。
4.如权利要求1所述的方法，其特征在于，所述确定所述匹配点对对应的集合对应的能量函数，包括：
根据预设的匹配公式构建所述能量函数，其中，所述预设的匹配公式为：
Figure FDA0002919342160000012
其中，其中Etotal(Wt)为总能量项，wt为t时刻的非刚性运动场参数，Edepth为深度数据项，约束变形后的标准模型与t时刻深度图像之间的一致性，Ereg为对非刚性运动场局部刚性运动的约束，λdepth和λreg分别为两项能量函数的权重。
5.如权利要求4所述的方法，其特征在于，所述根据所述非刚性运动场参数更新所述标准模型得到目标模型，包括：
所述深度数据项为：
Figure DEST_PATH_IMAGE001
其中，所述
Figure DEST_PATH_IMAGE002
为所述标准模型上顶点v在进行非刚性变形后的坐标，u为通所述匹配点对的集合中与顶点v对应的匹配点，
Figure DEST_PATH_IMAGE003
为点u处的法向量。
6.一种基于二值化特征编码匹配的动态场景实时三维重建装置,其特征在于，包括：
转换模块，用于使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；
获取模块，用于通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；
第一更新模块，用于确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；
第二更新模块，用于根据所述非刚性运动场参数更新所述标准模型得到目标模型。
7.如权利要求6所述的装置，其特征在于，所述转换模块，具体用于：
根据相机的内参矩阵k和预设的转换公式，可以将所述单帧图像投影到三维空间中，得到三维点云，其中，所述预设的转换公式为：
Figure FDA0002919342160000023
其中，(x，y，z)为三维顶点坐标，(u，v)为所述单帧图像的像素坐标，D(u，v)为所述单帧图像的像素深度值。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，实现如权利要求1-5中任一所述的方法。
CN202110112223.7A 2021-01-27 2021-01-27 基于二值化特征编码匹配的动态场景实时三维重建方法 Active CN112802186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110112223.7A CN112802186B (zh) 2021-01-27 2021-01-27 基于二值化特征编码匹配的动态场景实时三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110112223.7A CN112802186B (zh) 2021-01-27 2021-01-27 基于二值化特征编码匹配的动态场景实时三维重建方法

Publications (2)

Publication Number Publication Date
CN112802186A true CN112802186A (zh) 2021-05-14
CN112802186B CN112802186B (zh) 2022-06-24

Family

ID=75812182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110112223.7A Active CN112802186B (zh) 2021-01-27 2021-01-27 基于二值化特征编码匹配的动态场景实时三维重建方法

Country Status (1)

Country Link
CN (1) CN112802186B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689539A (zh) * 2021-07-06 2021-11-23 清华大学 基于隐式光流场的动态场景实时三维重建方法与装置
CN116389705A (zh) * 2023-03-23 2023-07-04 北京至格科技有限公司 一种用于增强现实的三维场景实现方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909643A (zh) * 2017-11-06 2018-04-13 清华大学 基于模型分割的混合场景重建方法及装置
CN108122275A (zh) * 2017-12-22 2018-06-05 清华大学 基于骨架跟踪的动态实时三维人体重建方法及系统
CN108898658A (zh) * 2018-05-15 2018-11-27 清华大学 基于光影优化的三维几何与本征成份重建方法及装置
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法
CN110599535A (zh) * 2019-08-05 2019-12-20 清华大学 基于哈希表的高分辨率人体实时动态重建方法及装置
US20200273190A1 (en) * 2018-03-14 2020-08-27 Dalian University Of Technology Method for 3d scene dense reconstruction based on monocular visual slam

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909643A (zh) * 2017-11-06 2018-04-13 清华大学 基于模型分割的混合场景重建方法及装置
CN108122275A (zh) * 2017-12-22 2018-06-05 清华大学 基于骨架跟踪的动态实时三维人体重建方法及系统
US20200273190A1 (en) * 2018-03-14 2020-08-27 Dalian University Of Technology Method for 3d scene dense reconstruction based on monocular visual slam
CN108898658A (zh) * 2018-05-15 2018-11-27 清华大学 基于光影优化的三维几何与本征成份重建方法及装置
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法
CN110599535A (zh) * 2019-08-05 2019-12-20 清华大学 基于哈希表的高分辨率人体实时动态重建方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689539A (zh) * 2021-07-06 2021-11-23 清华大学 基于隐式光流场的动态场景实时三维重建方法与装置
CN113689539B (zh) * 2021-07-06 2024-04-19 清华大学 基于隐式光流场的动态场景实时三维重建方法
CN116389705A (zh) * 2023-03-23 2023-07-04 北京至格科技有限公司 一种用于增强现实的三维场景实现方法及系统
CN116389705B (zh) * 2023-03-23 2023-10-13 北京至格科技有限公司 一种用于增强现实的三维场景实现方法及系统

Also Published As

Publication number Publication date
CN112802186B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109387204B (zh) 面向室内动态环境的移动机器人同步定位与构图方法
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN112367514B (zh) 三维场景构建方法、装置、系统和存储介质
US9189859B2 (en) 3D image generation
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质
CN107909640B (zh) 基于深度学习的人脸重光照方法及装置
CN104541127B (zh) 图像处理系统以及图像处理方法
WO2020165557A1 (en) 3d face reconstruction system and method
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
CN105453139A (zh) 用于3d表面重建的稀疏gpu体素化
CN113689539B (zh) 基于隐式光流场的动态场景实时三维重建方法
KR20070095040A (ko) 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
CN112802186B (zh) 基于二值化特征编码匹配的动态场景实时三维重建方法
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN115035235A (zh) 三维重建方法及装置
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN114049464A (zh) 一种三维模型的重建方法及设备
Liu et al. Creating simplified 3D models with high quality textures
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN116801115A (zh) 一种稀疏阵列相机部署方法
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其系统
CN110147809A (zh) 图像处理方法及装置、存储介质及图像设备
Peng et al. PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images
CN113344941A (zh) 一种基于聚焦图像的深度估计方法及图像处理装置
JP2011113177A (ja) 被写体３次元モデルを構築する方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant