CN113706373A - 模型重建方法及相关装置、电子设备和存储介质 - Google Patents

模型重建方法及相关装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113706373A
CN113706373A CN202110983894.0A CN202110983894A CN113706373A CN 113706373 A CN113706373 A CN 113706373A CN 202110983894 A CN202110983894 A CN 202110983894A CN 113706373 A CN113706373 A CN 113706373A
Authority
CN
China
Prior art keywords
voxel
model
fused
distance
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110983894.0A
Other languages
English (en)
Inventor
李辰宸
项骁骏
周立阳
余亦豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TetrasAI Technology Co Ltd
Original Assignee
Shenzhen TetrasAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TetrasAI Technology Co Ltd filed Critical Shenzhen TetrasAI Technology Co Ltd
Priority to CN202110983894.0A priority Critical patent/CN113706373A/zh
Publication of CN113706373A publication Critical patent/CN113706373A/zh
Priority to PCT/CN2022/074987 priority patent/WO2023024441A1/zh
Priority to TW111106861A priority patent/TW202309834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型重建方法及相关装置、电子设备和存储介质，其中，模型重建方法包括：将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型；其中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息；对第一体素模型进行重采样，以得到第二体素模型；其中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。上述方案，能够在有限的计算内存下，同时确保重建完整性，并提升时间效率。

Description

模型重建方法及相关装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种模型重建方法及相关装置、电子设备和存储介质。
背景技术
在三维重建领域中，体素是实现模型建模的常用方法，体素将三维空间离散化为密致排列的体素，且在体素上存储相关体素信息，以建模物体或场景。例如，在截断符号距离场(Truncated Signed Distance Function，TSDF)中，体素上存储其到物体或场景最近表面的截断符号距离，从而实现对物体或场景的隐式表达。
然而，在有限的计算内存下，如果物体或场景超出重建模型的表示范围，则通常舍弃超出范围的部分，或者尝试选用更大的体素距离，并从头开始重新开始重建，上述方式，或是牺牲了重建完整性，或是牺牲了时间效率，而这些代价在实际应用中都是无法承受的。有鉴于此，如何在确保重建完整性的基础上，提升重建时间效率成为亟待解决的技术问题。
发明内容
本申请提供一种模型重建方法及相关装置、电子设备和存储介质。
本申请第一方面提供了一种模型重建方法，包括：将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型；其中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息；对第一体素模型进行重采样，以得到第二体素模型；其中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。
因此，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，且第一体素模型相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息，再对第一体素模型进行重采样，以得到第二体素模型，且第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，至少部分第二体素具有第二体素信息，由于第二体素距离大于第一体素距离，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
其中，第一体素模型和第二体素模型均位于世界坐标系，对第一体素模型进行重采样，以得到第二体素模型，包括：筛选第一体素作为第二体素的候选体素；基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重；基于候选体素的第一体素信息和参考权重，得到第二体素的第二体素信息。
因此，第一体素模型和第二体素模型均位于世界坐标系，通过筛选第一体素作为第二体素的候选体素，并基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重，在此基础上，再基于候选体素的第一体素信息和参考权重，得到第二体素的第二体素信息，从而能够根据各个候选体素分别与第二体素的偏离距离而不同程度地参考各个候选体素的第一体素信息，进而一方面能够提升第二体素信息的准确性，有利于提升第二体素模型的准确性，另一方面由于仅需简单运算即可得到第二体素信息，有利于减少模型重建的计算内存。
其中，世界坐标系由第一坐标轴、第二坐标轴和第三坐标轴构成，基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重，包括：基于第二体素和候选体素在第一坐标轴上的第一偏离距离，得到候选体素的第一权重，并基于第二体素和候选体素在第二坐标轴上的第二偏离距离，得到候选体素的第二权重，以及基于第二体素和候选体素在第三坐标轴上的第三偏离距离，得到候选体素的第三权重；基于第一权重、第二权重和第三权重，得到候选体素的参考权重。
因此，世界坐标系包括第一坐标轴、第二坐标轴和第三坐标轴，在此基础上，基于第二体素和候选体素在第一坐标轴上的第一偏离距离，得到候选体素的第一权重，并基于第二体素和候选体素在第二坐标轴上的第二偏离距离，得到候选体素的第二权重，以及基于第二体素和候选体素在第三坐标轴上的第三偏离距离，得到候选体素的第三权重，从而基于第一权重、第二权重和第三权重，得到候选体素的参考权重，进而能够在世界坐标系的各个方向上分别衡量权重，有利于提升参考权重的准确性。
其中，偏离距离与参考权重负相关；和/或，第二体素信息是由各个候选体素的参考权重对候选体素的第一体素信息加权处理得到的。
因此，偏离距离设置为与参考权重负相关，即偏离距离越大，参考权重越小，而偏离距离越小，参考权重越大，故能够尽可能多地参考与第二体素较近的候选体素的第一体素信息，而尽可能少地参考与第二体素较远的候选体素的第一体素信息，有利于提升第二体素信息的准确性；而由于第二体素信息是由各个候选体素的参考权重对候选体素的第一体素信息加权处理得到的，故通过简单加权计算即可得到第二体素信息，有利于减少模型重建所需的计算内存。
其中，第一体素模型包含若干第一区域，第二体素模型包括若干第二区域，且第一区域包含预设数值个第一体素，第二区域包含预设数值个第二体素，在筛选第一体素作为第二体素的候选体素之前，方法还包括：在若干第一区域中筛选候选区域；其中，候选区域中至少一个第一体素具有第一体素信息；选择与候选区域至少部分重合的第二区域，作为与候选区域对应的目标区域；选择目标区域内预设数值个第二体素，筛选第一体素作为第二体素的候选体素，包括：分别为各个选择的第二体素筛选第一体素，作为候选体素。
因此，第一体素模型包含若干第一区域，第二体素模型包含若干第二区域，且第一区域包含预设数值个第一体素，第二区域包含预设数值个第二体素，在筛选第一体素作为第二体素的候选体素之前，先在若干第一区域中筛选候选区域，且候选区域中至少一个第一体素具有第一体素信息，再选择与候选区域至少部分重合的第二区域，作为与候选区域对应的目标区域，从而选择目标区域内预设数值个第二体素，以分别为各个选择的第二体素筛选第一体素，作为候选体素，故能够在将第一体素模型和第二体素模型划分区域的基础上，根据区域划分针对性地选择第二区域，以将其内预设阈值个第二体素作为后续即将确定第二体素信息的第二体素，能够排除其他无关的第二体素对重采样的影响，有利于加速模型重建。
其中，模型重建方法还包括：基于具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件；响应于第一体素模型符合重采样条件，执行对第一体素模型进行重采样，以得到第二体素模型的步骤。
因此，通过具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件，并响应于第一体素模型符合重采样条件，执行对第一体素模型进行重采样以得到第二体素模型的步骤，即在重采样之前先检测第一体素模型是否符合重采样条件，能够自适应调整体素间距。
其中，第一体素模型包含若干第一区域，第一区域包含预设数值个第一体素，重采样条件包括：具有参考体素的第一区域多于第一阈值，且参考体素为具有第一体素信息的第一体素；或者，重采样条件包括：具有第一体素信息的第一体素多于第二阈值。
因此，第一体素模型包括若干第一区域，第一区域包含预设数值个第一体素，重采样条件设置为具有参考体素的第一区域多于第一阈值，且参考体素为具有第一体素信息的第一体素，或者，重采样条件设置为包括具有第一体素信息的第一体素多于第二阈值，由于具有第一体素信息的第一体素会占据计算内存，故通过衡量具有第一体素信息的第一体素来设置重采样条件，有利于在有限的计算内存的情况下实现模型重建。
其中，模型重建方法还包括：将第二体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续步骤；和/或，响应于第一体素模型不符合重采样条件，将第一体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续步骤。
因此，将第二体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续步骤，能够不断融入深度信息，提升模型重建的准确性和完整性，而响应于第一体素模型不符合重采样条件，将第一体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续，故能够不断融入深度信息，提升模型重建的准确性和完整性。
其中，第一体素模型和参考体素模型均位于世界坐标系，参考体素模型中相邻体素间隔第一体素距离，且第一体素信息包括第一体素的第一截断符号距离和第一体素权重，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，包括：基于深度图像中的像素点反投影至世界坐标系的投影点，在参考体素模型中选择体素作为待融合体素；基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离；基于待融合体素在参考体素模型中体素权重，将待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离进行融合，得到与待融合体素位置对应的第一体素的第一截断符号距离；以及，将待融合体素在参考体素模型中体素权重进行更新，得到与待融合体素位置对应的第一体素的第一体素权重。
因此，第一体素模型和参考体素模型均位于世界坐标系，参考体素模型中相邻体素间隔第一体素距离，且第一体素信息包括第一体素的第一截断符号距离和第一体素权重，基于深度图像中的像素点反投影至世界坐标系的投影点，在参考体素模型中选择体素作为待融合体素，再基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离，以及基于待融合体素在参考体素模型中的体素权重，将待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离进行融合，得到与待融合体素位置对应的第一体素的第一截断符号距离，并将待融合体素在参考体素模型中体素权重进行更新，得到与待融合体素位置对应的第一体素的第一体素权重，故在模型重建过程中，能够不断融入深度信息，有利于不断提升模型的准确性和完整性。
其中，基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离，包括：基于相机内参和相机位姿，将待融合体素进行重投影，得到待融合体素在深度图像的第一深度以及在相机坐标系的第二深度；基于第一深度与第二深度之间的偏差，得到待融合截断符号距离。
因此，基于相机内参和相机位姿，将待融合体素进行重投影得到待融合体素在深度图像的第一深度以及在相机坐标系的第二深度，从而基于第一深度与第二深度之间的偏差，得到待融合截断符号距离，由于待融合截断符号距离是根据第一深度和第二深度之间的偏差得到的，故能够准确表示根据深度图像所提供的深度信息，待融合体素至目标对象表面的有向距离，有利于提升待融合截断符号距离的准确性。
其中，与待融合体素位置对应的第一体素的第一体素权重大于待融合体素在参考体素模型中体素权重；和/或，在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，将待融合体素的待融合截断符号距离，作为与待融合体素位置对应的第一体素的第一截断符号距离。
因此，将与待融合体素位置对应的第一体素的第一体素权重设置为大于待融合体素在参考体素模型中体素权重，能够随着模型重建过程中，逐渐侧重于参考待融合体素在参考体素模型中参考截断符号距离，有利于提升模型重建的准确性；而在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，将待融合体素的待融合截断符号距离，作为与待融合体素位置对应的第一体素的第一截断符号距离，能够在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，大大简化第一截断符号距离的获取流程，有利于减少模型重建所需的计算内存。
本申请第二方面提供了一种模型重建装置，包括：深度融合模块和重采样模块，深度融合模块，用于将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型；其中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息；重采样模块，用于对第一体素模型进行重采样，以得到第二体素模型；其中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的模型重建方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的模型重建方法。
上述方案，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，且第一体素模型相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息，再对第一体素模型进行重采样，以得到第二体素模型，且第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，至少部分第二体素具有第二体素信息，由于第二体素距离大于第一体素距离，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
附图说明
图1是本申请模型重建方法一实施例的流程示意图；
图2是截断符号距离一实施例的示意图；
图3是第一体素模型和第二体素模型一实施例的示意图；
图4是图1中步骤S12一实施例的流程示意图；
图5是本申请模型重建方法另一实施例的流程示意图；
图6是本申请模型重建方法一实施例的效果示意图；
图7是本申请模型重建装置一实施例的框架示意图；
图8是本申请电子设备一实施例的框架示意图；
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请模型重建方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型。
在一个实施场景中，目标对象可以包括但不限于：雕像、椅子等单个物体，或者，目标对象也可以包括：沙盘、客厅等包含多个物体的场景，在此不做限定。
在一个实施场景中，可以利用深度相机目标对象进行拍摄，得到目标对象的深度图像；或者，也可以利用集成有RGB相机和深度相机的移动终端(如，手机、平板电脑等)对目标对象进行拍摄，得到目标对象的色彩图像和深度图像；或者，也可以利用集成为RGB相机的移动终端对目标对象进行拍摄，并基于多视图立体匹配算法、神经网络算法等进行深度恢复，得到目标对象的深度图像，在此不做限定。
在一个实施场景中，在首次执行模型重建操作时，可以初始化一个初始模型，作为目标对象的参考体素模型，且参考体素模型中相邻体素间隔第一体素距离，参考体素模型中各个体素均不具有体素信息，在此基础上，再将深度图像和参考体素模型进行融合，得到第一体素模型。具体融合过程，可以参阅下述相关描述，在此暂不赘述。
在一个实施场景中，在第i(i＞1)次执行模型重建操作时，可以将第i-1次执行模型重建操作所获取到的重建模型作为参考体素模型，并将深度图像与参考体素模型进行融合，得到第一体素模型。具体融合过程，可以参阅下述相关描述，在此暂不赘述。
本公开实施例中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息。如前所述，参考体素模型中相邻体素间隔可以与第一体素模型一样，为了表述描述，第一体素间隔可以记为δ。
在一个实施场景中，为了便于融合计算，第一体素模型和参考体素模型可以均位于世界坐标系中，且第一体素信息包括第一体素的第一截断符号距离和第一体素权重，类似地，参考体素模型中体素若具有体素信息，则该体素信息也可以包含该体素的截断符号距离和体素权重。需要说明的是，截断符号距离表示体素至目标对象表面的有向距离。请结合参阅图2，图2是截断符号距离一实施例的示意图。如图2所示，网格交点表示体素，体素上方数值表示该体素的截断符号距离，加粗曲线表示目标对象的表面，在体素的截断符号距离为正数时，表示该体素位于目标对象内部，在体素的截断符号距离为负数时，表示该体素位于目标对象外部，在该体素的截断符号距离为0时，表示该体素位于目标对象的表面，故此通过截断符号距离能够构建任意曲面间接的隐式表达。
在一个实施场景中，可以基于深度图像中的像素点反投影至世界坐标系的投影点，在参考体素模型中选择体素作为待融合体素，并基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离，在此基础上，再基于待融合体素在参考体素模型中的体素权重，将待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离进行融合，得到与待融合体素位置对应的第一体素的第一截断符号距离，并将待融合体素在参考体素模型中体素权重进行更新，得到与待融合体素位置对应的第一体素的第一体素权重。上述方式，在模型重建过程中，能够不断融入深度信息，有利于不断提升模型的准确性和完整性。
在一个具体的实施场景中，为了便于描述，可以将深度图像中的像素点(u，v)的深度值记为d，则可以利用相机内参以及拍摄深度图像时的相机位姿，将像素点(u，v)反投影至世界坐标系，得到投影点P：
Figure BDA0003230064710000081
上述公式(1)中，Mt表示拍摄深度图像时的相机位姿，ρ(.)表示反投影函数。反投影函数具体可以表示为：
Figure BDA0003230064710000082
上述公式(2)中，fu，fv均为相机内参中的参数，分别表示相机在u，v方向上的焦距，cu，cv也均为相机内参中的参数，分别表示相机在u，v方向上的光心位置。在此基础上，可以将深度图像中各个像素点(或者，属于目标对象的像素点)反投影至世界坐标系，得到各个像素点(或者，属于目标对象的像素点)在世界坐标系中的投影点，则可以将参考体素模型中位于这些投影点预设截断范围[-τ，τ]内的体素，作为待融合体素。
在一个具体的实施场景中，可以基于相机内参和相机位姿，将待融合体素进行重投影得到待融合体素在深度图像的第一深度以及在相机坐标系的第二深度。为了便于描述，可以将待融合体素在世界坐标系中位置坐标记为V，则第一深度可以表示为D(π(MtV))，其中，Mt表示相机位姿，π(.)表示投影函数，具体可以表示为：
Figure BDA0003230064710000083
上述公式(3)中，(x，y，z)表示待融合体素重投影到相机坐标系中的位置坐标。需要说明的是，通过相机位姿Mt可以将待融合体素在世界坐标系中位置坐标V转换至相机坐标系，得到待融合体素在相机坐标系中位置坐标MtV，在此基础上，可以进一步利用上述投影函数将待融合体素在相机坐标系中的位置坐标转换至图像坐标系，得到待融合体素在图像坐标系中的位置坐标，从而可以根据该位置坐标得到待融合体素在深度图像中的第一深度D(π(MtV))。为了简化表述，对于待融合体素集合内任一体素可以记为v，其重投影至深度图像的位置坐标可以记为u(v)，深度图像在该位置坐标处的第一深度可以记为D(u(v))。此外，如前所述，通过相机位姿Mt可以将待融合体素在世界坐标系中位置坐标V转换至相机坐标系，得到待融合体素在相机坐标系中的位置坐标MtV，则待融合体素在相机坐标系的第二深度可以记为d(MtV)，其中，d(.)表示取深度值，具体可以取其在相机坐标系z轴上的坐标值作为第二深度。为了简化表述，对于待融合体素集合内任一体素可以记为v，其重投影至相机坐标系的第二深度可以记为z(v)。进一步地，在获取第一深度D(u(v))和第二深度z(v)之后，即可基于两者之间的偏差，得到待融合体素v的待融合截断符号距离f(v)：
Figure BDA0003230064710000091
上述公式(4)中，u(v)x表示前述位置坐标u(v)在水平轴x方向上的坐标值，u(v)y表示前述位置坐标u(v)在垂直轴y方向上的坐标值，τ表示筛选待融合体素时所采用的截断距离。在计算得到f′(v)的基础上，再将其截断至[-1，1]区间，即可得到待融合体素v的待融合截断符号距离f(v)，具体可以表示为f(v)＝max(-1，min(1，f′(v)))。
在一个具体的实施场景中，在基于待融合体素在参考体素模型中体素权重融合待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离时，具体可以获取待融合体素在参考体素模型中体素权重，以及待融合体素本次融合时的权重，并利用上述两个权重对待融合体素在参考模型中的参考截断符号距离、待融合体素的待融合截断符号距离进行加权平均，得到与待融合体素位置对应的第一体素的第一截断符号距离。为了便于描述，可以将待融合体素v在参考体素模型中体素权重记为w″(v)，在参考体素模型中参考截断符号距离记为f″(v)，则在待融合体素v每次融合时的权重设置为1的情况下，与待融合体素位置对应的第一体素的第一截断符号距离f″′(v)可以表示为：
Figure BDA0003230064710000092
需要说明的是，待融合体素，以及与待融合体素位置对应的第一体素在世界坐标系中具有相同位置坐标，即两者为空间中的同一点。
在一个具体的实施场景中，在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，可以将待融合体素的待融合截断符号距离，作为与待融合体素位置对应的第一体素的第一截断符号距离。也就是说，在此情况下，公式(5)中f″(v)、w″(v)可以视为0。
在一个具体的实施场景中，在体素权重更新之后，与待融合体素位置对应的第一体素的第一体素权重大于待融合体素在参考体素模型中体素权重。例如，如前所述，待融合体素v每次融合时的权重可以设置为1，可以在待融合体素在参考体素模型中体素权重加1，作为与待融合体素位置对应的第一体素的第一体素权重，在此情况下，为了便于描述，可以将与待融合体素v位置对应的第一体素的第一体素权重w(v)表示为：
w(v)＝w″(v)+1……(6)
需要说明的是，更具一般性地，待融合体素v每次融合时的权重也可以设置为其他数值，为了便于描述，可以记为w′(v)，则上述公式(5)所表示的第一截断符号距离f″′(v)可以相应地表示为：
Figure BDA0003230064710000101
Figure BDA0003230064710000102
在此情况下，上述公式(6)所表示的第一体素权重w(v)可以相应地表示为：w(v)＝w″(v)+w′(v)，也就是说，与待融合体素v位置对应的第一体素的第一体素权重为待融合体素v为在参考体素模型中体素权重与待融合体素v每次融合时的权重之和。需要说明的是，待融合体素v每次融合时的权重w′(v)可以根据待融合体素v的待融合截断符号距离f(v)确定，例如，若待融合体素v的待融合截断符号距离f(v)表示待融合体素至目标对象的表面距离越近，则待融合体素v每次融合时的权重w′(v)可以越大，且越趋近于1；或者，待融合体素v每次融合时的权重w′(v)也可以根据待融合体素v重投影至深度图像的局部方差确定，例如，若待融合体素v重投影至深度图像的局部方差越小，则待融合体素v每次融合时的权重w′(v)可以越大，且越趋近于1，在此不做限定。
步骤S12：对第一体素模型进行重采样，以得到第二体素模型。
本公开实施例中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。具体地，第二体素信息是在对第一体素模型进行重采样过程中，根据第一体素信息计算得到的。
在一个实施场景中，第二体素距离可以是第一体素距离的预设倍数，例如，1.5倍、2倍等等，在此不做限定。请结合参阅图3，图3是第一体素模型和第二体素模型一实施例的示意图。需要说明的是，图3仅示意性地绘制了部分第一体素模型以及部分第二体素模型，如图3所示，斜线阴影填充圆形表示第一体素，黑色阴影填充圆形表示第二体素，且图3中第二体素距离为第一体素距离的1.5倍。其他情况可以以此类推，在此不再一一举例。
在一个实施场景中，每次在得到第一体素模型之后，可以先基于具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件，响应于第一体素模型符合重采样条件，执行对第一体素模型进行重采样，得到第二体素模型的步骤。此外，为了不断融入深度信息，以提升模型重建效果，在重采样之后，可以进一步将第二体素模型作为新的参考体素模型，获取新的深度图像，以及重新执行将目标对象的深度图像和参考进行融合，得到目标对象的第一体素模型的步骤以及后续步骤，从而可以在模型重建过程中，不断融入深度信息，提升模型重建的效果。需要说明的是，新的深度图像可以是以不同相机位姿对目标对象进行拍摄得到的。具体可以参阅下述相关描述，在此暂不赘述。
在一个具体的实施场景中，重采样条件可以设置为具有第一体素信息的第一体素多于预设数值。需要说明的是，若第一体素具有第一体素信息，则在重建过程中，需要为该第一体素分配计算内存，故在具有第一体素信息的第一体素数量较多的情况下，模型重建所需的计算内存也较多，在此情况下，可以认为第一体素模型符合重采样条件，并对第一体素模型进行重采样，以减少模型重建所需的计算内存。
在一个具体的实施场景中，第一体素模型可以包含若干第一区域，且第一区域包括预设数值个第一体素，如每个第一区域均可以包含k×k×k个第一体素，k的具体数值在此不做限定，如可以设置为15、16、17等等。在此情况下，重采样条件可以设置为包括：具有参考体素的第一区域多于预设阈值，参考体素为具有第一体素信息的第一体素。也就是说，可以统计第一体素模型中具有参考体素的第一区域的数量，该数量越多，说明模型重建需要分配的计算内存也越多，则为了减少计算内存，可以对第一体素模型进行重采样。
在一个具体的实施场景中，如前所述，若第一体素具有第一体素信息，则在重建过程中，需要为该第一体素分配计算内存，还可以在得到第一体素模型之后，统计当前所消耗的计算内存，则重采样条件可以设置为包括：当前所消耗的计算内存大于预设阈值。在此情况下，若第一体素模型符合重采样条件，则为了降低后续出现卡顿等情况出现的概率，可以对第一体素模型进行重采样，以减少计算内存。
在一个具体的实施场景中，响应于第一体素模型不符合重采样条件，可以将第一体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续步骤，从而可以在模型重建过程中，不断融入深度信息，提升模型重建的效果。需要说明的是，新的深度图像可以是以不同相机位姿对目标对象进行拍摄得到的。具体可以参阅下述相关描述，在此暂不赘述。
在一个实施场景中，每次在得到第一体素模型之后，也可以不检测第一体素模型是否符合重采样条件，而直接对第一体素模型进行重采样。需要说明的是，在此情况下，为了尽可能地减少由于第一体素模型不符合重采样条件仍然进行重采样而带来的精度损失，预设倍数可以设置地适当小一些。例如，在检测第一体素模型是否符合重采样条件的情况下，预设倍数可以设置为1.5、2等等，则在不检测第一体素模型是否符合重采样条件的情况下，预设倍数可以设置为1.1、1.2等等，在此不做限定。
在一个实施场景中，重采样具体可以采用但不限于诸如三线性插值等插值算法实现，具体可以参阅下述公开实施例，在此暂不赘述。
需要说明的是，本公开实施例以及下述公开实施例，即可以应用于实时扫描过程中的模型重建，也可以应用于扫描完毕之后的模型重建，在此不做限定。
在一个实施场景中，以实时扫描过程中进行模型重建为例，可以利用集成有RGB相机和深度相机的移动终端对目标对象进行拍摄，得到第一帧图像信息，且第一帧图像信息包括色彩图像和深度图像，并获取拍摄第一帧图像信息时的相机位姿，以及将第一帧图像信息作为关键图像信息，在此基础上，可以初始化一个初始模型，并采用本申请公开实施例中的模型重建方法，利用第一帧深度图像和初始模型重建得到一个重建模型，作为下一次模型重建的参考体素模型；与此同时，在拍摄得到第二帧图像信息之后，可以结合位姿跟踪算法(如，最邻近迭代算法等)、第二帧图像信息和第一帧图像信息的相机位姿，得到第二帧图像信息的相机位姿，并在第二帧图像信息的相机位姿与第一帧图像信息的相机位姿之间的差异满足预设条件(如，差异大于阈值)的情况下，将第二帧图像信息作为关键图像信息，在此基础上，可以利用第二帧深度图像和最新得到的参考体素模型重建得到一个重建模型，作为下一次模型重建的参考体素模型，反之若不满足预设条件，则继续对第三帧图像信息的相机位姿进行跟踪，并检测第三帧图像信息是否可以作为关键图像信息，若可以则利用第三帧深度图像和最新得到的参考体素模型重建得到一个重建模型，作为下一次模型重建的参考体素模型，若不可以则继续对第四帧图像信息进行位姿跟踪，以此类推，直至扫描完毕，从而可以在扫描过程中，不断融入深度信息，提升模型重建效果。需要说明的，每次利用参考体素模型和深度图像进行模型重建的具体过程，可以参阅前述相关描述，在此不再赘述。
在一个实施场景中，以扫描完毕之后进行模型重建为例，如前所述，在扫描过程中，可以不断进行位姿跟踪，得到关键图像信息，则在扫描完毕之后，可以得到以扫描时间有早到晚排序的若干关键图像信息及其相机位姿。在此基础上，可以依序选择一个关键图像信息，并利用该关键图像信息中深度图像与最新得到的参考体素模型重建得到一个重建模型，并作为下一次模型重建的参考体素模型，以此类推，直至关键图像信息均被选择为止。需要说明的是，在首次模型重建时，可以初始化一个初始模型，作为参考体素模型。此外，每次利用参考体素模型和深度图像进行模型重建的具体过程，可以参阅前述相关描述，在此不再赘述。
上述方案，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，且第一体素模型相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息，再对第一体素模型进行重采样，以得到第二体素模型，且第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，至少部分第二体素具有第二体素信息，由于第二体素距离大于第一体素距离，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
请参阅图4，图4是图1中步骤S12一实施例的流程示意图。本公开实施例中，第一体素模型和第二体素模型均位于世界坐标系。具体而言，可以包括如下步骤：
步骤S41：筛选第一体素作为第二体素的候选体素。
具体地，如前所述，第一体素模型可以包含若干第一区域，第二体素模型可以包含若干第二区域，且第一区域包含预设数值个第一体素，第二区域包含预设数值个第二体素，预设数值可以设置为k×k×k，k的具体数值可以设置为15、16、17等等，在此不做限定。在此基础上，可以在若干第一区域中筛选候选区域，且候选区域中至少一个第一体素具有第一体素信息，从而选择与候选区域至少部分重合的第二区域，作为与候选区域对应的目标区域，再选择目标区域内预设数值个第二体素，以分别为各个选择的第二体素筛选第一体素，得到候选体素，也就是说，可以将各个选择的第二体素，作为即将确定第二体素信息的第二体素。上述方式，能够在将第一体素模型和第二体素模型划分区域的基础上，根据区域划分针对性地选择第二区域，以将其内预设阈值个第二体素作为后续即将确定第二体素信息的第二体素，能够排除其他无关的第二体素对重采样的影响，有利于加速模型重建。
在一个实施场景中，请结合参阅图3，以k＝2为例，左侧2*2*2的第一区域内第一体素(即左侧2*2*2个由斜线阴影所填充的圆形)具有第一体素信息，则可以将该第一区域作为候选区域，该第一区域与图3所示2*2*2的第二区域(即图3中2*2*2个由黑色阴影填充的圆形)部分重合，则可以将该第二区域作为目标区域，并将该目标区域内2*2*2个第二体素作为即将确定第二体素信息的第二体素。其他情况可以以此类推，在此不再一一举例。
在一个实施场景中，为了便于描述，可以将第一体素模型中候选区域记为
Figure BDA0003230064710000131
各个候选区域对应的目标区域可以记为
Figure BDA0003230064710000132
在此基础上，对于上述目标区域集合
Figure BDA0003230064710000133
每一个目标区域
Figure BDA0003230064710000134
内各个第二体素
Figure BDA0003230064710000135
均可以执行下述插值计算过程。
在一个实施场景中，在获取即将确定第二体素信息的第二体素vt+1之后，可以根据第二体素vt+1在世界坐标系中的位置坐标p(vt+1)，在第一体素模型中搜索与该第二体素vt+1最接近的八个第一体素，作为其候选体素。请结合参阅图3，以图3中实线箭头所指第二体素为例，可以先在z坐标轴方向低于该第二体素的第一体素中搜索一个与该第二体素最接近的第一体素，如可以搜索到虚线箭头所指第一体素，在此基础上，可以将该第一体素右侧相邻的第一体素、后方相邻的第一体素以及上方相邻的第一体素均作为该第二体素的候选体素，以及这些候选体素作为顶点的正方体上其他第一体素也作为该第二体素的候选体素，即可以获取到该第二体素的八个最接近的候选体素。其他情况可以以此类推，在此不再一一举例。
步骤S42：基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重。
在一个实施场景中，偏离距离与参考权重负相关，也就是说，偏离距离越大，参考权重越小，而偏离距离越小，参考权重越大，故能够尽可能多地参考与第二体素较近的候选体素的第一体素信息，而尽可能少地参考与第二体素较远的候选体素的第一体素信息，有利于提升第二体素信息的准确性。
在一个实施场景中，世界坐标系由第一坐标轴、第二坐标轴和第三坐标轴构成，则可以基于第二体素和候选体素在第一坐标轴上的第一偏离距离，得到候选体素的第一权重，并基于第二体素和候选体素在第二坐标轴上的第二偏离距离，得到候选体素的第二权重，以及基于第二体素和候选体素在第三坐标轴上的第三偏离距离，得到候选体素的第三权重，在此基础上，可以再基于第一权重、第二权重和第三权重，得到候选体素的参考权重。上述方式，能够在世界坐标系的各个方向上分别衡量权重，有利于提升参考权重的准确性。
在一个具体的实施场景中，第一权重与第一偏离距离负相关，第二权重与第二偏离距离负相关，第三权重与第三偏离距离负相关。
在一个具体的实施场景中，在得到第一权重、第二权重和第三权重之后，可以将第一权重、第二权重和第三权重相乘，得到候选体素的参考权重。
在一个具体的实施场景中，为了便于描述，可以将第一坐标轴记为x轴，第二坐标轴记为y轴，第三坐标轴记为z轴，则对于第二体素vt+1而言，其候选体素v的第一权重wx(v)、第二权重wy(v)、第三权重wz(v)可以分别表示为：
Figure BDA0003230064710000141
Figure BDA0003230064710000142
Figure BDA0003230064710000143
上述公式(7)、(8)和(9)中，px(vt+1)、py(vt+1)、pz(vt+1)分别表示第二体素vt+1分别在x轴、y轴、z轴上的坐标值，px(v)、py(v)、pz(v)分别表示候选体素分别在在x轴、y轴、z轴上的坐标值。此外，lt表示第一体素距离。
步骤S43：基于候选体素的第一体素信息和参考权重，得到第二体素的第二体素信息。
具体地，可以利用各个候选体素的参考权重分别对对应候选体素的第一体素信息进行加权处理，得到第二体素的第二体素信息。
在一个实施场景中，第二体素信息包括第二截断符号距离，第一体素信息包括第一截断符号距离，则第二体素vt+1的第二截断符号距离f(vt+1)可以表示为：
Figure BDA0003230064710000151
上述公式(10)中，Nt(vt+1)表示第二体素vt+1的候选体素集合，f(v)表示候选体素的第一截断符号距离。
在一个实施场景中，第二体素信息还包括第二体素权重，第一体素信息还包括第一体素权重，则第二体素vt+1的第二体素权重w(vt+1)可以表示为：
Figure BDA0003230064710000152
上述公式(11)中，Nt(vt+1)表示第二体素vt+1的候选体素集合，w(v)表示候选体素的第一体素权重。需要说明的是，在采用第二体素的八个最接近的候选体素的情况下，可以采用上述公式(7)至公式(11)，来计算该第二体素的第二体素信息。其他情况可以以此类推，在此不再一一举例。
上述方案，第一体素模型和第二体素模型均位于世界坐标系，通过筛选第一体素作为第二体素的候选体素，并基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重，在此基础上，再基于候选体素的第一体素信息和参考权重，得到第二体素的第二体素信息，从而能够根据各个候选体素分别与第二体素的偏离距离而不同程度地参考各个候选体素的第一体素信息，进而一方面能够提升第二体素信息的准确性，有利于提升第二体素模型的准确性，另一方面由于仅需简单运算即可得到第二体素信息，有利于减少模型重建的计算内存。
请参阅图5，图5是本申请模型重建方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S51：将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型。
本公开实施例中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S52：基于具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件，若是则执行步骤S53，否则执行步骤S56。
在一个实施场景中，第一体素模型包含若干第一区域，第一区域包含预设数值个第一体素，重采样条件包括：具有参考体素的第一区域多于第一阈值，且参考体素为具有第一体素信息的第一体素，具体可以参阅前述公开实施例中相关描述，在此不再赘述。
在一个实施场景中，重采样条件可以设置为包括：具有第一体素信息的第一体素多于第二阈值，具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S53：对第一体素模型进行重采样，以得到第二体素模型。
本公开实施例中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S54：将第二体素模型作为新的参考体素模型，并获取新的深度图像。
在对第一体素模型进行重采样，并获取到第二体素模型之后，可以将第二体素模型作为新的参考模块，并获取新的深度图像，以进行下一次模型重建。
步骤S55：重新执行步骤S51以及后续步骤。
在将第二体素模型作为新的参考体素模型，并获取新的深度图像之后，即可重新执行上述步骤S51以及后续步骤，以再次融入新的深度信息。
步骤S56：将第一体素模型作为新的参考体素模型，并获取新的深度图像。
如果第一体素模型不符合重采样条件，则可以将第一体素模型作为新的参考体素模型，并获取新的深度图像，以进行下一次模型重建。
步骤S57：重新执行步骤S51以及后续步骤。
在将第一体素模型作为新的参考体素模型，并获取新的深度图像之后，即可重新执行上述步骤S51以及后续步骤，以再次融入新的深度信息。
需要说明的是，本公开实施例可以应用于实时扫描过程中的模型重建，也可以应用于扫描完毕之后的模型重建，在此不做限定。具体过程可以参阅前述公开实施例中相关描述，在此不再赘述。
请结合参阅图6，图6是本申请模型重建方法一实施例的效果示意图，如图6所示，在基于截断符号距离得到各阶段的重建模型之后，可以采用诸如marching cubes提取出网格模型，可见在第一体素模型、重采样之后的第二体素模型以及重建完毕之后的最终体素模型三个阶段中，网格模型的几何外形基本一致，但是相较于第一体素模型而言，第二体素模型和最终体素模型的网格密度有所降低，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率，从而使得模型重建能够适于手机、平板电脑等移动终端应用。此外，在获取到最终体素模型之后，可以对该最终体素模型进行纹理贴图等处理，以得到目标对象的渲染模型，该渲染模型可以应用于增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)等场景中，在此不做限定。
上述方案，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，基于具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件，若是则对第一体素模型进行重采样，以得到第二体素模型，将第二体素模型作为新的参考体素模型，并获取新的深度图像以及重新执行上述融合过程，否则将第一体素模型作为新的参考体素模型，并获取新的深度图像以及重新执行上述融合过程，故能够在重建过程中自适应地调整体素间距，有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
请参阅图7，图7是本申请模型重建装置70一实施例的框架示意图。模型重建装置70包括：深度融合模块71和重采样模块72，深度融合模块71，用于将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型；其中，第一体素模型中相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息；重采样模块72，用于对第一体素模型进行重采样，以得到第二体素模型；其中，第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，且至少部分第二体素具有第二体素信息。
上述方案，将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型，且第一体素模型相邻第一体素间隔第一体素距离，且至少部分第一体素具有第一体素信息，再对第一体素模型进行重采样，以得到第二体素模型，且第二体素模型中相邻第二体素间隔第二体素距离，第二体素距离大于第一体素距离，至少部分第二体素具有第二体素信息，由于第二体素距离大于第一体素距离，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
在一些公开实施例中，第一体素模型和第二体素模型均位于世界坐标系，重采样模块72包括候选体素筛选子模块，用于筛选第一体素作为第二体素的候选体素；重采样模块72包括参考权重计算子模块，用于基于第二体素和候选体素在世界坐标系中的偏离距离，得到候选体素的参考权重；重采样模块72包括体素信息计算子模块，用于基于候选体素的第一体素信息和参考权重，得到第二体素的第二体素信息。
因此，一方面能够提升第二体素信息的准确性，有利于提升第二体素模型的准确性，另一方面由于仅需简单运算即可得到第二体素信息，有利于减少模型重建的计算内存。
在一些公开实施例中，世界坐标系由第一坐标轴、第二坐标轴和第三坐标轴构成，参考权重计算子模块包括第一权重计算单元，用于基于第二体素和候选体素在第一坐标轴上的第一偏离距离，得到候选体素的第一权重，参考权重计算子模块包括第二权重计算单元，用于基于第二体素和候选体素在第二坐标轴上的第二偏离距离，得到候选体素的第二权重，参考权重计算子模块包括第三权重计算单元，用于基于第二体素和候选体素在第三坐标轴上的第三偏离距离，得到候选体素的第三权重，参考权重计算子模块包括参考权重计算单元，用于基于第一权重、第二权重和第三权重，得到候选体素的参考权重。
因此，能够在世界坐标系的各个方向上分别衡量权重，有利于提升参考权重的准确性。
在一些公开实施例中，偏离距离与参考权重负相关；和/或，第二体素信息是由各个候选体素的参考权重对候选体素的第一体素信息加权处理得到的。
因此，偏离距离设置为与参考权重负相关，即偏离距离越大，参考权重越小，而偏离距离越小，参考权重越大，故能够尽可能多地参考与第二体素较近的候选体素的第一体素信息，而尽可能少地参考与第二体素较远的候选体素的第一体素信息，有利于提升第二体素信息的准确性；而由于第二体素信息是由各个候选体素的参考权重对候选体素的第一体素信息加权处理得到的，故通过简单加权计算即可得到第二体素信息，有利于减少模型重建所需的计算内存。
在一些公开实施例中，第一体素模型包含若干第一区域，第二体素模型包括若干第二区域，且第一区域包含预设数值个第一体素，第二区域包含预设数值个第二体素，重采样模块72包括候选区域筛选子模块，用于在若干第一区域中筛选候选区域；其中，候选区域中至少一个第一体素具有第一体素信息；重采样模块72包括目标区域选择子模块，用于选择与候选区域至少部分重合的第二区域，作为与候选区域对应的目标区域；重采样模块72包括第二体素选择子模块，用于选择目标区域内预设数值个第二体素，体素筛选子模块具体用于分别为各个选择的第二体素筛选第一体素，得到候选体素。
因此，能够在将第一体素模型和第二体素模型划分区域的基础上，根据区域划分针对性地选择第二区域，以将其内预设阈值个第二体素作为后续即将确定第二体素信息的第二体素，能够排除其他无关的第二体素对重采样的影响，有利于加速模型重建。
在一些公开实施例中，模型重建装置70还包括模型检测模块，用于基于具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件；模型重建装置70还包括第一分支模块和第一获取模块，第一分支模块用于结合重采样模块72响应于第一体素模型符合重采样条件，执行对第一体素模型进行重采样，以得到第二体素模型的步骤。
因此，通过具有第一体素信息的第一体素，检测第一体素模型是否符合重采样条件，并响应于第一体素模型符合重采样条件，执行对第一体素模型进行重采样以得到第二体素模型的步骤，即在重采样之前先检测第一体素模型是否符合重采样条件，能够自适应调整体素间距。
在一些公开实施例中，第一体素模型包含若干第一区域，第一区域包含预设数值个第一体素，重采样条件包括：具有参考体素的第一区域多于第一阈值，且参考体素为具有第一体素信息的第一体素；或者，重采样条件包括：具有第一体素信息的第一体素多于第二阈值。
因此，第一体素模型包括若干第一区域，第一区域包含预设数值个第一体素，重采样条件设置为具有参考体素的第一区域多于第一阈值，且参考体素为具有第一体素信息的第一体素，或者，重采样条件设置为包括具有第一体素信息的第一体素多于第二阈值，由于具有第一体素信息的第一体素会占据计算内存，故通过衡量具有第一体素信息的第一体素来设置重采样条件，有利于在有限的计算内存的情况下实现模型重建。
在一些公开实施例中，第一分支模块还用于结合第一获取模块将第二体素模型作为新的参考体素模型，并获取新的深度图像，以及结合深度融合模块71重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤；和/或，模型重建装置70还包括第二分支模块和第二获取模块，第二分支模块用于结合第二获取模块响应于第一体素模型不符合重采样条件，将第一体素模型作为新的参考体素模型，并获取新的深度图像，并结合深度融合模块71重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤。
因此，将第二体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续步骤，能够不断融入深度信息，提升模型重建的准确性和完整性，而响应于第一体素模型不符合重采样条件，将第一体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行将目标对象的深度图像和参考体素模型进行融合，得到目标对象的第一体素模型的步骤以及后续，故能够不断融入深度信息，提升模型重建的准确性和完整性。
在一些公开实施例中，第一体素模型和参考体素模型均位于世界坐标系，参考体素模型中相邻体素间隔第一体素距离，且第一体素信息包括第一体素的第一截断符号距离和第一体素权重，深度融合模块71包括待融合体素筛选子模块，用于基于深度图像中的像素点反投影至世界坐标系的投影点，在参考体素模型中选择体素作为待融合体素；深度融合模块71包括待融合截断符号距离获取子模块，用于基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离；深度融合模块71包括第一截断符号距离获取子模块，用于基于待融合体素在参考体素模型中体素权重，将待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离进行融合，得到与待融合体素位置对应的第一体素的第一截断符号距离；深度融合模块71包括第一体素权重获取子模块，用于将待融合体素在参考体素模型中体素权重进行更新，得到与待融合体素位置对应的第一体素的第一体素权重。
因此，第一体素模型和参考体素模型均位于世界坐标系，参考体素模型中相邻体素间隔第一体素距离，且第一体素信息包括第一体素的第一截断符号距离和第一体素权重，基于深度图像中的像素点反投影至世界坐标系的投影点，在参考体素模型中选择体素作为待融合体素，再基于相机内参和拍摄深度图像时的相机位姿，获取待融合体素的待融合截断符号距离，以及基于待融合体素在参考体素模型中的体素权重，将待融合截断符号距离和待融合体素在参考体素模型中参考截断符号距离进行融合，得到与待融合体素位置对应的第一体素的第一截断符号距离，并将待融合体素在参考体素模型中体素权重进行更新，得到与待融合体素位置对应的第一体素的第一体素权重，故在模型重建过程中，能够不断融入深度信息，有利于不断提升模型的准确性和完整性。
在一些公开实施例中，待融合截断符号距离获取子模块包括重投影单元，用于基于相机内参和相机位姿，将待融合体素进行重投影，得到待融合体素在深度图像的第一深度以及在相机坐标系的第二深度；待融合截断符号距离获取子模块包括截断符号距离计算单元，用于基于第一深度与第二深度之间的偏差，得到待融合截断符号距离。
因此，故能够准确表示根据深度图像所提供的深度信息，待融合体素至目标对象表面的有向距离，有利于提升待融合截断符号距离的准确性。
在一些公开实施例中，与待融合体素位置对应的第一体素的第一体素权重大于待融合体素在参考体素模型中体素权重；和/或，在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，将待融合体素的待融合截断符号距离，作为与待融合体素位置对应的第一体素的第一截断符号距离。
因此，将与待融合体素位置对应的第一体素的第一体素权重设置为大于待融合体素在参考体素模型中体素权重，能够随着模型重建过程中，逐渐侧重于参考待融合体素在参考体素模型中参考截断符号距离，有利于提升模型重建的准确性；而在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，将待融合体素的待融合截断符号距离，作为与待融合体素位置对应的第一体素的第一截断符号距离，能够在待融合体素在参考体素模型中不具有参考截断符号距离的情况下，大大简化第一截断符号距离的获取流程，有利于减少模型重建所需的计算内存。
请参阅图8，图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一模型重建方法实施例的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。需要说明的是，由于上述任一模型重建方法实施例所提供的技术方案，均能够在有限计算内存情况下，同时确保重建完整性，并提升时间效率，故电子设备80可以具体包括手机、平板电脑等移动终端。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一模型重建方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
上述方案，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
请参阅图9，图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一模型重建方法实施例的步骤。
上述方案，一方面能够在重采样之后不会损失模型的表示范围，且另一方面由于直接在第一体素模型基础上进行重采样即可得到第二体素模型，而无需从头开始重新重建，也能够提升模型重建的时间效率，故能够在确保重建完整性的基础上，提升重建时间效率。此外，由于第二体素距离大于第一体素距离，还能够减少表示目标对象所需的体素数量，从而能够有利于减少模型重建所需的计算内存，故有利于在有限的计算内存下，同时确保重建完整性，并提升时间效率。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种模型重建方法，其特征在于，包括：
将目标对象的深度图像和参考体素模型进行融合，得到所述目标对象的第一体素模型；其中，所述第一体素模型中相邻第一体素间隔第一体素距离，且至少部分所述第一体素具有第一体素信息；
对所述第一体素模型进行重采样，以得到第二体素模型；其中，所述第二体素模型中相邻第二体素间隔第二体素距离，所述第二体素距离大于所述第一体素距离，且至少部分所述第二体素具有第二体素信息。
2.根据权利要求1所述的方法，其特征在于，所述第一体素模型和所述第二体素模型均位于世界坐标系，所述对所述第一体素模型进行重采样，以得到第二体素模型，包括：
筛选所述第一体素作为所述第二体素的候选体素；
基于所述第二体素和所述候选体素在所述世界坐标系中的偏离距离，得到所述候选体素的参考权重；
基于所述候选体素的第一体素信息和参考权重，得到所述第二体素的第二体素信息。
3.根据权利要求2所述的方法，其特征在于，所述世界坐标系由第一坐标轴、第二坐标轴和第三坐标轴构成，所述基于所述第二体素和所述候选体素在所述世界坐标系中的偏离距离，得到所述候选体素的参考权重，包括：
基于所述第二体素和所述候选体素在所述第一坐标轴上的第一偏离距离，得到所述候选体素的第一权重，并基于所述第二体素和所述候选体素在所述第二坐标轴上的第二偏离距离，得到所述候选体素的第二权重，以及基于所述第二体素和所述候选体素在所述第三坐标轴上的第三偏离距离，得到所述候选体素的第三权重；
基于所述第一权重、所述第二权重和所述第三权重，得到所述候选体素的所述参考权重。
4.根据权利要求2所述的方法，其特征在于，所述偏离距离与所述参考权重负相关；
和/或，所述第二体素信息是由各个所述候选体素的参考权重对所述候选体素的第一体素信息加权处理得到的。
5.根据权利要求2所述的方法，其特征在于，所述第一体素模型包含若干第一区域，所述第二体素模型包括若干第二区域，且所述第一区域包含预设数值个所述第一体素，所述第二区域包含所述预设数值个所述第二体素，在所述筛选所述第一体素作为所述第二体素的候选体素之前，所述方法还包括：
在所述若干第一区域中筛选候选区域；其中，所述候选区域中至少一个所述第一体素具有所述第一体素信息；
选择与所述候选区域至少部分重合的第二区域，作为与所述候选区域对应的目标区域；
选择所述目标区域内所述预设数值个所述第二体素；
所述筛选所述第一体素作为所述第二体素的候选体素，包括：
分别为各个选择的第二体素筛选所述第一体素，作为所述候选体素。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
基于具有所述第一体素信息的第一体素，检测所述第一体素模型是否符合重采样条件；
响应于所述第一体素模型符合所述重采样条件，执行所述对所述第一体素模型进行重采样，以得到第二体素模型的步骤。
7.根据权利要求6所述的方法，其特征在于，所述第一体素模型包含若干第一区域，所述第一区域包含预设数值个所述第一体素，所述重采样条件包括：具有参考体素的第一区域多于第一阈值，且所述参考体素为具有所述第一体素信息的第一体素；
或者，所述重采样条件包括：具有所述第一体素信息的第一体素多于第二阈值。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述第二体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行所述将目标对象的深度图像和参考体素模型进行融合，得到所述目标对象的第一体素模型的步骤以及后续步骤；和/或，
响应于所述第一体素模型不符合所述重采样条件，将所述第一体素模型作为新的参考体素模型，并获取新的深度图像，以及重新执行所述将目标对象的深度图像和参考体素模型进行融合，得到所述目标对象的第一体素模型的步骤以及后续步骤。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一体素模型和所述参考体素模型均位于世界坐标系，所述参考体素模型中相邻体素间隔所述第一体素距离，且所述第一体素信息包括第一体素的第一截断符号距离和第一体素权重，所述将目标对象的深度图像和参考体素模型进行融合，得到所述目标对象的第一体素模型，包括：
基于所述深度图像中的像素点反投影至所述世界坐标系的投影点，在所述参考体素模型中选择所述体素作为待融合体素；
基于相机内参和拍摄所述深度图像时的相机位姿，获取所述待融合体素的待融合截断符号距离；
基于所述待融合体素在所述参考体素模型中体素权重，将所述待融合截断符号距离和所述待融合体素在所述参考体素模型中参考截断符号距离进行融合，得到与所述待融合体素位置对应的第一体素的第一截断符号距离；以及，
将所述待融合体素在所述参考体素模型中体素权重进行更新，得到与所述待融合体素位置对应的第一体素的第一体素权重。
10.根据权利要求9所述的方法，其特征在于，所述基于相机内参和拍摄所述深度图像时的相机位姿，获取所述待融合体素的待融合截断符号距离，包括：
基于所述相机内参和所述相机位姿，将所述待融合体素进行重投影，得到所述待融合体素在所述深度图像的第一深度以及在所述相机坐标系的第二深度；
基于所述第一深度与所述第二深度之间的偏差，得到所述待融合截断符号距离。
11.根据权利要求9所述的方法，其特征在于，与所述待融合体素位置对应的第一体素的第一体素权重大于所述待融合体素在所述参考体素模型中体素权重；
和/或，在所述待融合体素在所述参考体素模型中不具有所述参考截断符号距离的情况下，将所述待融合体素的待融合截断符号距离，作为与所述待融合体素位置对应的第一体素的第一截断符号距离。
12.一种模型重建装置，其特征在于，包括：
深度融合模块，用于将目标对象的深度图像和参考体素模型进行融合，得到所述目标对象的第一体素模型；其中，所述第一体素模型中相邻第一体素间隔第一体素距离，且至少部分所述第一体素具有第一体素信息；
重采样模块，用于对所述第一体素模型进行重采样，以得到第二体素模型；其中，所述第二体素模型中相邻第二体素间隔第二体素距离，所述第二体素距离大于所述第一体素距离，且至少部分所述第二体素具有第二体素信息。
13.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至11任一项所述的模型重建方法。
14.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至11任一项所述的模型重建方法。
CN202110983894.0A 2021-08-25 2021-08-25 模型重建方法及相关装置、电子设备和存储介质 Pending CN113706373A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110983894.0A CN113706373A (zh) 2021-08-25 2021-08-25 模型重建方法及相关装置、电子设备和存储介质
PCT/CN2022/074987 WO2023024441A1 (zh) 2021-08-25 2022-01-29 模型重建方法及相关装置、电子设备和存储介质
TW111106861A TW202309834A (zh) 2021-08-25 2022-02-24 模型重建方法及電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110983894.0A CN113706373A (zh) 2021-08-25 2021-08-25 模型重建方法及相关装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113706373A true CN113706373A (zh) 2021-11-26

Family

ID=78654835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110983894.0A Pending CN113706373A (zh) 2021-08-25 2021-08-25 模型重建方法及相关装置、电子设备和存储介质

Country Status (3)

Country Link
CN (1) CN113706373A (zh)
TW (1) TW202309834A (zh)
WO (1) WO2023024441A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024441A1 (zh) * 2021-08-25 2023-03-02 上海商汤智能科技有限公司 模型重建方法及相关装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628800B (zh) * 2023-05-09 2024-09-17 洲宇设计集团股份有限公司 一种基于bim的建筑设计系统
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN118097156B (zh) * 2024-04-26 2024-07-23 百洋智能科技集团股份有限公司 盆底功能障碍检测方法、装置、计算机设备与存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150024337A1 (en) * 2013-07-18 2015-01-22 A.Tron3D Gmbh Voxel level new information updates using intelligent weighting
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110390719A (zh) * 2019-05-07 2019-10-29 香港光云科技有限公司 基于飞行时间点云重建设备
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
TW202309834A (zh) * 2021-08-25 2023-03-01 大陸商深圳市慧鯉科技有限公司 模型重建方法及電子設備和電腦可讀儲存介質

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1890267A3 (en) * 1998-07-16 2008-07-09 The Research Foundation of the State University of New York Apparatus and method for real-time volume processing and universal 3D rendering
CN106548507A (zh) * 2015-09-16 2017-03-29 富士通株式会社 三维重建对象的方法和设备
CN109559371B (zh) * 2017-09-27 2023-12-26 虹软科技股份有限公司 一种用于三维重建的方法和装置
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN112750201B (zh) * 2021-01-15 2024-03-29 浙江商汤科技开发有限公司 三维重建方法及相关装置、设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150024337A1 (en) * 2013-07-18 2015-01-22 A.Tron3D Gmbh Voxel level new information updates using intelligent weighting
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110390719A (zh) * 2019-05-07 2019-10-29 香港光云科技有限公司 基于飞行时间点云重建设备
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
TW202309834A (zh) * 2021-08-25 2023-03-01 大陸商深圳市慧鯉科技有限公司 模型重建方法及電子設備和電腦可讀儲存介質

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOJUN XIANG等: "Mobile3DScanner: An Online 3D Scanner for High-quality Object Reconstruction with a Mobile Device", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 27, no. 11, 27 August 2021 (2021-08-27), pages 4245, XP011885250, DOI: 10.1109/TVCG.2021.3106491 *
杨扬: "基于深度相机的三维重建与运动捕捉", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), no. 03, 15 March 2021 (2021-03-15), pages 031 - 44 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024441A1 (zh) * 2021-08-25 2023-03-02 上海商汤智能科技有限公司 模型重建方法及相关装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW202309834A (zh) 2023-03-01
WO2023024441A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
US7308332B2 (en) Virtual clothing modeling apparatus and method
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
JP5487298B2 (ja) ３次元画像生成
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
US20100315424A1 (en) Computer graphic generation and display method and system
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN111105366A (zh) 图像处理方法和装置、终端设备及存储介质
CN111723707A (zh) 一种基于视觉显著性的注视点估计方法及装置
CN106997617A (zh) 混合现实虚拟呈现方法及装置
CN108629799B (zh) 一种实现增强现实的方法及设备
CN109064533B (zh) 一种3d漫游方法及系统
CN115439615B (zh) 一种基于三维bim的分布式综合管理系统
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
CN113706431B (zh) 模型优化方法及相关装置、电子设备和存储介质
US7006102B2 (en) Method and apparatus for generating models of individuals
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
WO2020151078A1 (zh) 一种三维重建的方法和装置
CN116091871B (zh) 一种针对目标检测模型的物理对抗样本生成方法及装置
JP2002520969A (ja) 動き画像からの自動化された３次元シーン走査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056485

Country of ref document: HK