CN117333617A - 3d打印中的三维模型重建方法、系统、装置、存储介质 - Google Patents

3d打印中的三维模型重建方法、系统、装置、存储介质 Download PDF

Info

Publication number
CN117333617A
CN117333617A CN202311371881.3A CN202311371881A CN117333617A CN 117333617 A CN117333617 A CN 117333617A CN 202311371881 A CN202311371881 A CN 202311371881A CN 117333617 A CN117333617 A CN 117333617A
Authority
CN
China
Prior art keywords
images
target object
voxel
dimensional model
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311371881.3A
Other languages
English (en)
Inventor
桑鲁骁
朱家辉
康日晖
周传刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Liuwei Artificial Intelligence Biomedical Research Institute
Original Assignee
Shanxi Liuwei Artificial Intelligence Biomedical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Liuwei Artificial Intelligence Biomedical Research Institute filed Critical Shanxi Liuwei Artificial Intelligence Biomedical Research Institute
Priority to CN202311371881.3A priority Critical patent/CN117333617A/zh
Publication of CN117333617A publication Critical patent/CN117333617A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及三维模型重建技术领域，具体为一种3D打印中的三维模型重建方法、系统、装置、存储介质。通过将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；针对特征金字塔中的每个体素层级，分别使用Mip‑NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型，可以重建具有多种分辨率的三维模型，根据应用的场合选择分辨率，可以减少重建时间，扩展3D打印的应用范围。

Description

3D打印中的三维模型重建方法、系统、装置、存储介质
技术领域
本发明涉及三维模型重建技术领域，具体为一种3D打印中的三维模型重建方法、系统、装置、存储介质。
背景技术
现如今，3D打印技术在医疗行业上的应用越来越广泛，通过CT数据三维重建及3D打印模型制作医疗骨骼模型，制定手术方案，可以从视觉和触觉能直观了解病情，有助于医患沟通进行术前规划，在医疗健康领域展现了广泛的应用。
打印前，需要先生成目标对象的三维模型，3D打印机根据三维模型执行打印任务。生成三维模型耗时长，需要大量参考图像。
神经辐射场(neural radiance field，简称“NeRF”)的出现解决了这个问题，这是一种生成图像的人工智能方法。NERF的主要思想是：先获取拍摄2D图像，然后利用2D图像来构建3D模型。
考虑到3D打印产品不同的用途，对分辨率的要求并不是统一的，研究一种可以多种分辨率的三维模型的重建方法，可以减少重建时间，使3D打印适用于更多的应用场景中。
发明内容
本申请提供了一种可以重建多种分辨率的三维模型的3D打印中的三维模型重建方法。
本申请的技术方案如下：
一种3D打印中的三维模型重建方法，包括以下步骤：
S1：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
S2：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；
S3：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
S2中划分为多个具有不同分辨率和体素密度的体素层级，为根据目标对象的体积来确定划分体素层级的数量。
S1中由机械臂底部的深度相机采集目标对象多个视角的图像后，对目标对象进行识别分类，然后根据标定点的个数确定目标对象的体积大小级别。
根据目标对象的体积大小级别，采用不同的图像采集及处理方式，划分为多个具有不同分辨率和体素密度的体素层级：
当目标对象是横截面积的长宽小于第一阈值时，使用反卷积对目标对象进行上采样，利用超分辨率算法精细化目标对象的细节；
当目标对象横截面积的长宽不小于第一阈值且小于第二阈值时，直接使用采集的原图像；当目标对象横截面积的长宽不小于第二阈值时，使用下采样层缩小图像的分辨率。
优选对目标对象进行上采样、原图像、下采样得到的图像分别进行两两融合，得到融合图像，将融合图像做为体素层级，放入特征金字塔中。
所述的两两融合，为将上采样得到的图像与原图像进行融合，或原图像与下采样层得到的图像进行融合。
S3之后，对多个具有不同分辨率的重建模型，使用光照计算和纹理贴图渲染，进行可视化。
S1中对RGB图像和对应的深度图像进行去噪、缩放、裁剪预处理。
一种3D打印中的三维模型重建系统，包括：
颜色几何信息提取模块：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
特征金字塔构建模块：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；
三维重建模块：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
还包括预处理模块，用于对RGB图像和对应的深度图像进行去噪、缩放、裁剪预处理。
有益效果
本申请通过将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，这个过程中还可以加入图像融合技术，扩充体素层级的数量及细节的丰富程度，得到特征金字塔；针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型，可以重建具有多种分辨率的三维模型，根据应用的场合选择分辨率，可以减少重建时间，扩展3D打印的应用范围。
具体实施方式
下面结合具体实施方式对本申请进行详细说明。
一种3D打印中的三维模型重建方法，包括以下步骤：
S1：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
为了提高数据质量和准确性，需要对RGB图像和对应的深度图像进行去噪、缩放、裁剪等预处理。
S2：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；每个体素层级具有不同的分辨率和体素密度，以捕捉不同尺度下的场景细节。
由机械臂底部的深度相机采集目标对象多个视角的图像后，对目标对象进行识别分类，然后根据标定点的个数确定目标对象的体积大小级别。
当图像被捕捉后，会根据特定类别进行建议的目标识别，例如人体器官、机翼蒙皮和三角锥等类别，然后根据标定点的个数确定物体的体积大小级别。并且根据目标对象的体积来确定划分体素层级的数量。
依据标定点判断物体体积，不同的层级会有不同的图像处理方法，使小物体的细节更清晰，大物体的模型更简化。
根据目标对象的体积大小级别，采用不同的图像采集及处理方式，划分为多个具有不同分辨率和体素密度的体素层级：
当目标对象是横截面积的长宽小于第一阈值时，使用反卷积对目标对象进行上采样，利用超分辨率算法精细化目标对象的细节；
当目标对象横截面积的长宽不小于第一阈值且小于第二阈值时，直接使用采集的原图像；
当目标对象横截面积的长宽不小于第二阈值时，使用下采样层缩小图像的分辨率。
在某个具体的操作中，设立三个体素层级，层级的划分依据基于物体的体积。本发明的打印工作面是特定平台，除打印物需要的环境外，平台边缘贴有标定点，每个标定点之间的固定距离为25mm，水平方向的X、Y轴各设有20个标定点。
当物体体积小于一个标定点间隔，即横截面积的长、宽均小于25mm时，会使用反卷积对物体进行上采样，利用超分辨率算法进一步精细化物体的细节，然后进行三维模型重建；
当物体体积小于4个标定点间隔时，即横截面积的长、宽均不小于25mm且小于100mm时，将原图像输入Mip-NeRF网络，进行三维模型重建；
当物体体积大于4个标定点间隔时，即横截面积的长、宽均不小于100mm时，使用下采样层缩小图像的分辨率，减少NeRF网络的计算量，加速建模。
为了扩充体素层级的数量及细节的丰富程度，还可以对上述采集的目标对象的图像进行融合后，将融合信息加入体素层级中，来丰富特征金字塔的信息，
融合的方式可以选择对上采样、原图像、下采样得到的图像分别进行两两融合，得到融合图像，将融合图像做为体素层级，放入特征金字塔中。
例如，将上采样得到的图像与原图像进行融合，或原图像与下采样层得到的图像进行融合，或上采样得到的图像与下采样层得到的图像进行融合，或者将3种图像一起融合。
或者在另一种情况下，仅使用上述融合图像组成具有不同分辨率和体素密度的体素层级，得到特征金字塔。在进行图像融合时，可以根据目标对象的特定类别选择融合的方式，来得到特定细节丰富的特征金字塔，对后续的模型重建提供更加有类别特点的技术信息。
如人体器官，可以根据器官种类，如眼睛，如果想在某个特征金字塔中重点对眼睛的某个细节进行重点突出，则可以选择能给突出此细节特征的融合方式进行图像融合，体现在特征金字塔中。
S3：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
S3之后，对多个具有不同分辨率的重建模型，使用光照计算和纹理贴图渲染，进行可视化。
在步骤S2中，由于特征金字塔中更加丰富的特征信息及层级数量，在此步骤中，就可以展示更多具有不同细节特征的模型来供选择。使用者可以根据目标对象的特定类别选择哪些体素层级来进行模型的重建展示。因为可以提供更多的体素层级，选择的空间就更多，更容易根据目标对象的类别选择到适合的重建模型。
上述操作，可以极大的节省模型重建及因为模型的不适合而进行的反复试验的过程，进一步提高的模型重建的效率和满意度。
Mip-NeRF通过多分辨率体素表示，在不同尺度上捕捉场景的细节和整体结构。它提供了一种有效的方法来处理大规模场景和复杂物体，并生成高质量的三维重建结果。
一种3D打印中的三维模型重建系统，包括：
颜色几何信息提取模块：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
特征金字塔构建模块：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；
三维重建模块：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
还包括预处理模块，用于对RGB图像和对应的深度图像进行去噪、缩放、裁剪预处理。
还包括体素层级构建模块：用于根据目标对象的体积大小级别，采用不同的图像采集及处理方式，划分为多个具有不同分辨率和体素密度的体素层级：
当目标对象是横截面积的长宽小于第一阈值时，使用反卷积对目标对象进行上采样，利用超分辨率算法精细化目标对象的细节；
当目标对象横截面积的长宽不小于第一阈值且小于第二阈值时，直接使用采集的原图像；
当目标对象横截面积的长宽不小于第二阈值时，使用下采样层缩小图像的分辨率。
还包括图像融合模块：用于对目标对象进行上采样、原图像、下采样得到的图像分别进行两两融合，得到融合图像，将融合图像做为体素层级，放入特征金字塔中。
一种3D打印中的三维模型重建装置，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的程序数据时实现所述3D打印中的三维模型重建方法。
一种计算机可读存储介质，用于存储控制程序数据，其中，所述控制程序数据被处理器执行时实现所述3D打印中的三维模型重建方法。

Claims (10)

1.一种3D打印中的三维模型重建方法，其特征在于，包括以下步骤：
S1：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
S2：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；
S3：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
2.根据权利要求1所述3D打印中的三维模型重建方法，其特征在于，S2中划分为多个具有不同分辨率和体素密度的体素层级，为根据目标对象的体积来确定划分体素层级的数量。
3.根据权利要求2所述3D打印中的三维模型重建方法，其特征在于，S1中由机械臂底部的深度相机采集目标对象多个视角的图像后，对目标对象进行识别分类，然后根据标定点的个数确定目标对象的体积大小级别。
4.根据权利要求2所述3D打印中的三维模型重建方法，其特征在于，根据目标对象的体积大小级别，采用不同的图像采集及处理方式，划分为多个具有不同分辨率和体素密度的体素层级：
当目标对象横截面积的长、宽均小于第一阈值时，使用反卷积对目标对象进行上采样，利用超分辨率算法精细化目标对象的细节；
当目标对象横截面积的长、宽均不小于第一阈值且小于第二阈值时，直接使用采集的原图像；
当目标对象横截面积的长、宽均不小于第二阈值时，使用下采样层进行采样。
5.根据权利要求4所述3D打印中的三维模型重建方法，其特征在于，对目标对象进行上采样、原图像、下采样得到的图像分别进行两两融合，得到融合图像，将融合图像做为体素层级，放入特征金字塔中。
6.根据权利要求5所述3D打印中的三维模型重建方法，其特征在于，所述的两两融合，为将上采样得到的图像与原图像进行融合，或原图像与下采样层得到的图像进行融合，或上采样得到的图像与下采样层得到的图像进行融合。
7.根据权利要求1所述3D打印中的三维模型重建方法，其特征在于，S3之后，对多个具有不同分辨率的重建模型，使用光照计算和纹理贴图渲染，进行可视化。
8.一种3D打印中的三维模型重建系统，其特征在于，包括：
颜色几何信息提取模块：由机械臂底部的深度相机采集目标对象多个视角的图像，转换成RGB图像和对应的深度图像，将RGB图像和深度图像对齐，并进行校准，提取颜色信息和几何信息；
特征金字塔构建模块：将颜色信息和几何信息，划分为多个具有不同分辨率和体素密度的体素层级，得到特征金字塔；
三维重建模块：针对特征金字塔中的每个体素层级，分别使用Mip-NeRF网络进行三维重建，得到对应的多个具有不同分辨率的重建模型。
9.一种3D打印中的三维模型重建装置，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的程序数据时实现如权利要求1-7中任一项所述3D打印中的三维模型重建方法。
10.一种计算机可读存储介质，其特征在于，用于存储控制程序数据，其中，所述控制程序数据被处理器执行时实现如权利要求1-7任一项所述3D打印中的三维模型重建方法。
CN202311371881.3A 2023-10-23 2023-10-23 3d打印中的三维模型重建方法、系统、装置、存储介质 Pending CN117333617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311371881.3A CN117333617A (zh) 2023-10-23 2023-10-23 3d打印中的三维模型重建方法、系统、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311371881.3A CN117333617A (zh) 2023-10-23 2023-10-23 3d打印中的三维模型重建方法、系统、装置、存储介质

Publications (1)

Publication Number Publication Date
CN117333617A true CN117333617A (zh) 2024-01-02

Family

ID=89277087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311371881.3A Pending CN117333617A (zh) 2023-10-23 2023-10-23 3d打印中的三维模型重建方法、系统、装置、存储介质

Country Status (1)

Country Link
CN (1) CN117333617A (zh)

Similar Documents

Publication Publication Date Title
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
CN112002014B (zh) 面向精细结构的三维人脸重建方法、系统、装置
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
EP3644277B1 (en) Image processing system, image processing method, and program
EP2206090B1 (de) Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung
EP2206089B1 (de) Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung
CN113706714A (zh) 基于深度图像和神经辐射场的新视角合成方法
CN110675489B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN111932673B (zh) 一种基于三维重建的物体空间数据增广方法及系统
Pandey et al. Volumetric capture of humans with a single rgbd camera via semi-parametric learning
KR20070073803A (ko) 비디오 이미지들을 처리하기 위한 시스템 및 방법
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN115428027A (zh) 神经不透明点云
Steinfeld Gan Loci
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
CN111862001A (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
CN117333617A (zh) 3d打印中的三维模型重建方法、系统、装置、存储介质
CN111627529A (zh) Vrds 4d医学影像处理方法及产品
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
Lin et al. 3D graphical modeling of vegetable seedlings based on a stereo machine vision system
KR102648938B1 (ko) 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치
Zhang et al. Design of a 3D reconstruction model of multiplane images based on stereo vision
Chi et al. Generating 3D models from a single 2D digitized photo using GIS and GroIMP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination