CN113012293A - 石刻模型构建方法、装置、设备及存储介质 - Google Patents

石刻模型构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113012293A
CN113012293A CN202110301857.7A CN202110301857A CN113012293A CN 113012293 A CN113012293 A CN 113012293A CN 202110301857 A CN202110301857 A CN 202110301857A CN 113012293 A CN113012293 A CN 113012293A
Authority
CN
China
Prior art keywords
dimensional
image
model
litho
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110301857.7A
Other languages
English (en)
Other versions
CN113012293B (zh
Inventor
刘奡智
张立沛
韩宝强
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110301857.7A priority Critical patent/CN113012293B/zh
Publication of CN113012293A publication Critical patent/CN113012293A/zh
Application granted granted Critical
Publication of CN113012293B publication Critical patent/CN113012293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域，公开了一种石刻模型构建方法、装置、设备及存储介质。该方法包括：采集目标石刻多角度的石刻图像；分别对各石刻图像进行三维空间数据提取，得到对应点云数据，分别对各石刻图像进行二维表征数据提取，得到对应表征数据；采用预置第一深度学习算法对各点云数据进行三维重建，得到三维网络模型，采用预置第二深度学习算法对所述各表征数据进行特征提取，得到石刻图像的纹理特征与颜色特征；根据纹理特征，对三维网络模型进行纹理融合，得到目标石刻的初始三维模型；根据颜色特征，对初始三维模型进行颜色渲染，得到目标石刻的三维仿真模型。本发明采用多目视觉和人工智能技术，提升了石刻模型的精度及视觉效果。

Description

石刻模型构建方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种石刻模型构建方法、装置、设备及存储介质。
背景技术
计算机视觉技术是计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术。同时也是图像处理、人工智能和模式识别等技术的综合。近年来基于深度学习的计算机视觉与人工智能技术高速发展，对于文物的扫描、记录、精确重建，甚至对于石刻艺术的保护、修复起到了至关重要的作用。机器视觉技术综合了多个学科，用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量、控制、重构等。机器视觉技术最大的特点是速度快、信息量大、功能多。
传统的3D建模技术是采用多台相机对目标物体的图像进行采集，采集目标图像之前需要对相机进行参数校验，校准过程十分复杂，运算量特别大，而且采集的图像没有任何约束条件，因此传统的3D建模技术复原的模型对物体的细节复原不到位，很难做到高精度的复原。
发明内容
本发明的主要目的在于解决现有石刻模型构建效果不佳的技术问题。
本发明第一方面提供了一种石刻模型构建方法，包括：
采集目标石刻多个角度的石刻图像；
分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
可选的，在本发明第一方面的第一种实现方式中，所述分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据包括：
采用棋盘格法对拍摄相机进行几何参数校准；
采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
对所述点云数据进行密集匹配，得到密集点云数据。
可选的，在本发明第一方面的第二种实现方式中，所述分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据包括：
调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。
可选的，在本发明第一方面的第三种实现方式中，所述采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型包括以下步骤：
对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
根据所述多个像素点输出值，构建所述石刻图像的三维结构；
对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。
可选的，在本发明第一方面的第四种实现方式中，所述采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征包括以下步骤：
将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；
将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；
分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型包括以下步骤：
对所述纹理特征进行特征分类与识别，生成纹理特征图像；
采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像；
将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
可选的，在本发明第一方面的第六种实现方式中，在所述根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型之后，还包括：
创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；
将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；
根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。
本发明第二方面提供了一种石刻模型构建装置，包括：
采集模块，用于采集目标石刻多个角度的石刻图像；
提取模块，用于分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
处理模块，用于采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
融合模块，用于根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
渲染模块，用于根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
可选的，在本发明第二方面的第一种实现方式中，所述提取模块具体用于：
采用棋盘格法对拍摄相机进行几何参数校准；
采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
对所述点云数据进行密集匹配，得到密集点云数据；
调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。
可选的，在本发明第二方面的第二种实现方式中，所述处理模块具体用于：
对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
根据所述多个像素点输出值，构建所述石刻图像的三维结构；
对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。
将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；
将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；
分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。
可选的，在本发明第二方面的第三种实现方式中，所述融合模块具体用于：
对所述纹理特征进行特征分类与识别，生成纹理特征图像；
采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像；
将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
可选的，在本发明第二方面的第四种实现方式中，所述石刻模型构建装置还包括：
动画模块，用于创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。
本发明第三方面提供了一种石刻模型构建设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述石刻模型构建设备执行上述的石刻模型构建方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的石刻模型构建方法。
本发明提供的技术方案中，通过对目标物体的多角度采集二维图像信息，利用深度学习和多目视觉技术提取出二维图像中的特征信息，所述信息包括纹理信息，颜色信息和结构特征信息。将所述特征信息采用第一深度学习算法进行处理，得到目标物体的三维结构模型。将纹理和颜色特征信息采用第二深度学习算法进行复原，得到目标物体的二维表征数据，将二维表征数据和三维空间数据进行融合、渲染，实现对目标物体复原，得到目标三维模型。采用多目视觉修复和人工智能算法结合的技术，使目标物体三维模型建立的精度大大提升。
附图说明
图1为本发明实施例中石刻模型构建方法的第一个实施例示意图；
图2为本发明实施例中石刻模型构建方法的第二个实施例示意图；
图3为本发明实施例中石刻模型构建方法的第三个实施例示意图；
图4为本发明实施例中石刻模型构建方法的第四个实施例示意图；
图5为本发明实施例中石刻模型构建装置的一个实施例示意图；
图6为本发明实施例中石刻模型构建设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种石刻模型构建方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中石刻模型构建方法的第一个实施例包括：
101、采集目标石刻多个角度的石刻图像；
可以理解的是，本发明的执行主体可以为石刻模型构建装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，利用多台高精度相机，从多角度采集目标石刻的影像信息，得到多个石刻图像。用多个采集器各在一个位置对同一场景取像，即多目成像。图像采集的过程从几何角度可看作是一个将客观世界的场景通过投影进行空间转化的过程，例如用照相机或摄像机进行图像采集时要将3D客观场景投影到2D图像平面，这个投影过程可以用投影变换(也称为成像变化或几何透视变换)描述。客观场景、摄像机和图像平面各有自己不同的坐标系统，所有投影成像涉及到在不同坐标系统之间的转换。
102、分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
本实施例中，对所述各石刻图像进行三维空间数据提取，通过对相机进行参数校准，基于SIFT算法原理,对输入所述石刻图像的特征点的提取，通过相机姿态估算对特征点进行匹配，通过三角化过程生成所述石刻图像的点云数据。利用k-d树的生成与检索,完成相应特征点的匹配.最后通过RANSAC去除误匹配，根据所述多目视觉原理与匹配好的特征点，即可得到所述石刻图像对应的点云数据。
本实施例中，对所述各石刻图像进行二维表征数据提取通过将所述石刻图像输入预置残差学习网络，通过所述残差学习网络对石刻图像的纹理数据进行特征提取，得到所述石刻图像的纹理特征数据。所述残差学习网络使用4个由残差块组成的模块，每个模块使用若干个同样输出通道数的残差块。第一个模块的通道数同输入通道数一致。利用残差学习网络对多个所述石刻图像进行特征提取，过滤掉所述石刻图像的冗杂信息，因为残差模块的引入，有效缓解了梯度消失的影响，使得网络模型层数可以大大增加。随着层级的增加，其残差学习网络的表达能力也增加，可以有效提取到多个所述石刻图像的多个特征数据，得到所述石刻图像对应的表征数据。
103、采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
本实施例中，基于深度学习方法，利用预置第一深度学习算法对所述密集点云数据进行运算，预测所述石刻图像的三维结构，将几何推理与二维投影优化结合，最后进行一个接近真实高精度的伪渲染，重构出三维网络物体模型。本实施例中，首先将所述密集点云进行多角度二维卷积运算，得到多个像素点的输出值，根据所述多角度二维卷积运算，得到多个像素点的输出值得到目标物体的三维结构,最后将所述三维结构进行纹理信息渲染，得到所述石刻图像的三维网络模型。
本实施例中，对所述纹理数据进行影像恢复，利用预置第二深度学习算法对所述图像进行特征提取，所述预置第二深度学习算法包括Mask-RCNN模型和GAN网络，利用Mask-RCNN模型对所述石刻图像的纹理进行分割和颜色识别，得到所述石刻图像的区域和纹理颜色特征，再利用GAN网络结合纹理的区域和纹理颜色特征，对所述图像的纹理和颜色特征进行还原。所述Mask-RCNN模型结合GAN网络相较于以往的实例分割模型的精确度更高，得到高精度的所述石刻图像的纹理特征与颜色特征。
104、根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
本实施例中，根据所述纹理特征得到多个特征图像，将所述特征图像与所述三维网络模型进行纹理融合，得到目标三维模型。纹理融合可以消除物体表面重叠区域或由于拍摄时的外界因素引起的差异，重构更加高精度的三维模型。将所述纹理特征和所述三维网络模型进行纹理融合，也就是将目标物体所述的纹理特征和目标物体所述的三维网络物体模型结合三维空间预测特征和二维表面预测信息进行合并重构，得到目标石刻三维模型。将所述目标三维网络物体模型与相应的纹理是二维特征结合，得到所述目标石刻的三维模型。三维网络模型就是把三维的点连起来，形成一个个小面，所述多个小面构成所述三维网络模型。
105、根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
本实施例中，根据所述颜色特征，对所述目标石刻的三维模型进行颜色渲染，对所述三维模型的多个层级结构进行渲染，所述多个层级结构包括前，后，上，下，左，右等多个层级。根据所述三维网络物体模型得到所述模型的多个像素点，将所述像素点连接成多个小面，再利用所述纹理和色泽特征生成三维重建模型对应的一个个颜色纹理面，结合三维空间预测特征和二维表面预测信息进行合并重构，得到包括纹理颜色的石刻复原3D模型。根据所述像素点的输出值得到所述石刻的预测三维结构，对所述三维结构进行纹理和颜色渲染得到所述目标石刻的三维仿真模型。
可选的，在步骤105之后，还包括：
创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；
将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；
根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。
本实施例中，首先创建所述目标石刻的三维仿真模型的材质信息、贴图信息和灯光信息，选用适合的材料来表现物体的材质，从而令物体的颜色、透明度、反光度等贴合物体的真实材质，给模型的相应位置贴上对应的图像，从而使制作出的模型外形更加酷似于真实物体。创建的灯光信息，一般的场景灯光主要由自然光、人工光、自然与人工结合光3种类型来表现。将所述材质、所述贴图按所述模型的层级结构进行渲染，把渲染出来的层面合成起来，调整光和材质，把背景和特殊效果与画面合成在一起，生成所述目标石刻的三维仿真模型的多媒体CG动画。
本实施例中，将所述石刻三维模型通过CG动画技术进行一个多媒体的CG动画展示，为后期实体修复提供高精度的智能参考。让所述目标石刻模型可以全面生动以及逼真的呈现，实现用户多维浏览，具备“身临其境“的感觉。
本发明实施例中，通过对目标物体的多角度采集二维图像信息，利用深度学习和多目视觉技术提取出二维图像中的特征信息，所述信息包括纹理信息，颜色信息和结构特征信息。将所述特征信息采用第一深度学习算法进行处理，得到目标物体的三维结构模型。将纹理和颜色特征信息采用第二深度学习算法进行复原，得到目标物体的二维表征数据，将二维表征数据和三维空间数据进行融合、渲染，实现对目标物体复原，得到目标三维模型。采用多目视觉修复和人工智能算法结合的技术，使目标物体三维模型建立的精度大大提升。
请参阅图2，本发明实施例中石刻模型构建方法的第二个实施例包括：
201、采集目标石刻多个角度的石刻图像；
202、采用棋盘格法对拍摄相机进行几何参数校准；
203、采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
204、根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
205、对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
206、对所述点云数据进行密集匹配，得到密集点云数据；
本实施例中，通过棋盘法对相机参数进行校准，将所述石刻图像输入SIFT算法进行特征提取，得到所述石刻图像的特征点信息，将所述特征点信息通过多目视觉法对所述石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息。提取关键点和对关键点附加详细的信息(局部特征)也就是所谓的描述器可以称做是SIFT特征的生成，即从多个石刻图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。所述SIFT算法首先提取关键点，对关键点附加详细的信息(局部特征)也就是所谓的描述器；再通过两方特征点(附带上特征向量的关键点)的两两比较找出相互匹配的若干对特征点，也就建立物体间的对应关系。
本实施例中，通过匹配特征点信息进行相机姿态估算，将所述特征点匹配信息进行三角化处理，生成所述石刻图像的稀疏点云。所述三角化处理首先读取特征点匹配信息，对读取到的特征点匹配信息进行预处理，所述预处理常用的方法有滤波去噪、数据精简、数据插补等。对点云数据进行三角化重建大致步骤：程序先读取点云文件；然后计算法向量，并将法向量和点云坐标放在一起；接着使用贪婪三角化投影算法进行重构，最后显示结果。由于获取的点云数据中常常伴有杂点或噪声，影响了后续的处理，因此为了获取完整的模型，需要对点云数据进行一定的预处理，常用的方法有滤波去噪、数据精简、数据插补等。
本实施例中，将所述石刻图像的点云数据进行密集匹配，得到密集点云。得到的点密集以后，就可以获得大量密集点的三维坐标，从而逼近原始物体的三维模型。所述点云数据为非结构化的散乱点云，属于三维重建特有的点云特点。经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息。因此必须对点云数据进行密集匹配，通过过滤掉偏差较大的点云数据以获得更加精细的重建模型。
207、调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
208、将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
209、对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据；
本实施例中，利用多台高精度的摄像机，采集多个多角度石刻图像，将所述石刻图像进行裁剪并调节尺寸，得到多个训练图像，将所述训练集图像输入预置残差学习网络进行处理，得到所述训练图像特征向量，根据所述训练图像特征向量生成所述石刻图像的特征编码，得到所述石刻图像的表征数据。
本实施例中，所述预置残差学习网络采用Resnet152网络，所述Resnet152网络的图像处理包括以下步骤：第一、调整尺寸。将所述石刻图像中较短的一边缩短或者放大到[256,480]范围内，长边随短边等比例缩放。比如：原始图片的尺寸为[1000,800,3]，假设图片短边缩放到256，那么此时图片的尺寸即为[320,256,3]，即图片的长宽比例是不变的。第二、裁剪。将所述石刻图像进行水平翻转，然后从原图像和翻转后的图像中，随机裁剪出224*224的图像。第三、归一化。就是对于整个训练集图像，每个通道分别减去训练集该通道平均值。第四、特征识别。对于每张图片，每个通道的数据先由二维转成一维再对该图片三个通道求出协方差。矩阵(3*3)，再求出协方差矩阵的特征向量p和特征值，将特征值乘以特征向量，得到所述各石刻图像的表征数据。
210、采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
211、根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
212、根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
本发明实施例中，利用深度学习和多目视觉技术提取出二维图像中的特征信息，所述信息包括纹理信息，颜色信息和结构特征信息，即二维表征数据和点云数据。利用多目视觉修复和人工智能算法结合的技术，使目标物体的三维模型建立精度与效率大大提升。
请参阅图3，本发明实施例中石刻模型构建方法的第三个实施例包括：
301、采集目标石刻多个角度的石刻图像；
302、分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
303、对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
304、根据所述多个像素点输出值，构建所述石刻图像的三维结构；
305、对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型；
本实施例中，所述多角度二维卷积运算是指从图像的左上角开始，开一个与模板同样大小的活动窗口，窗口图像与模板像元对应起来相乘再相加，并用计算结果代替窗口中心的像元亮度值，得到多个像素点输出值。然后，活动窗口向右移动一列，并作同样的运算。以此类推，从左到右、从上到下，即可得到一幅新图像。所述二维卷积运算得到所述石刻图像的像素点输出值，根据所述像素点输出值构建所述石刻的预测三维结构，对所述三维结构进行纹理信息渲染得到所述石刻图像的三维网络物体模型。
306、将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；
307、将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；
308、分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
本实施例中，将所述纹理数据输入所述Mask-RCNN模型进行检测分割和颜色识别，识别所述各表征数据的纹理的区域特征和颜色特征，生成多个第一特征图像，将所述多个第一特征图像结合GAN网络对所述石刻图像的纹理和颜色特征进行还原，生成多个第二特征图像，分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。
本实施例中，所述预置GAN网络有两个部分构成：生成器和判别器。首先将所述石刻图像各表征数据先传入生成器中，然后生成器生成图片之后，把图片传入判别器中，标签此刻传入的是1,真实的图片，但实际上是假图，此刻判别器就会判断为假图，然后模型就会不断调整生成器参数，此刻的判别器的参数被设置为为不可调整，为了不断降低loss值，模型就会一直调整生成器的参数，直到判别器认为这是真图。此刻判别器与生成器达到了一个平衡。继续迭代训练，提高判别器精度，往复循环此操作，直到生成所述石刻图像的纹理和色泽二维特征图像。
309、根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
310、根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
本发明实施例中，采用多目视觉技术，对目标物体进行多角度的二维图像特征提取，并根据所述特征信息基于深度学习算法将二维表征数据和三维空间数据有效结合，使对目标物体的三维模型建立的精度与效率大大提升。
请参阅图4，本发明实施例中石刻模型构建方法的第四个实施例包括：
401、采集目标石刻多个角度的石刻图像；
402、分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
403、采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
404、对所述纹理特征进行特征分类与识别，生成纹理特征图像；
405、采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像；
406、将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
本实施例中，首先根据所述纹理特征，对所述纹理特征进行分类与识别，得到纹理特征信息，得到的特征信息生成纹理特征图像，得到的纹理特征图像采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像，将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
本实施例中，纹理映射之前,先对需要映射的纹理贴图进行预处理,以便得到边界平滑的立体纹理模型。对所述需要映射的纹理贴图运用中值降噪进行预处理，得到从而得到边缘平滑的纹理贴图。读取所述纹理贴图的纹素，所述纹素包含颜色值和alpha值，并将所述纹素保存为一个二维数组。纹理映射时将纹理坐标与对应位置的点云面进行匹配，完成对所述点云面的上色，得到目标三维石刻模型。
407、根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
本发明实施例中，对三维结构和二维表征进行纹理融合，得到初始三维模型。纹理融合有利于对原始石刻的细微纹路和一些表面残缺部分进行修复和填充。根据特征信息，基于深度学习算法将二维表征数据和三维空间数据有效结合，实现对目标物体的三维模型高精度的复原。
上面对本发明实施例中石刻模型构建方法进行了描述，下面对本发明实施例中石刻模型构建装置进行描述，请参阅图5，本发明实施例中石刻模型构建装置一个实施例包括：
采集模块501，用于采集目标石刻多个角度的石刻图像；
提取模块502，用于分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
处理模块503，用于采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
融合模块504，用于根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
渲染模块505，用于根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
可选的，在一实施例中，所述提取模块502具体用于：
采用棋盘格法对拍摄相机进行几何参数校准；
采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
对所述点云数据进行密集匹配，得到密集点云数据；
调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。
可选的，在一实施例中，所述处理模块503具体用于：
对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
根据所述多个像素点输出值，构建所述石刻图像的三维结构；
对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。
将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；
将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；
分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。
可选的，在一实施例中，所述融合模块504具体用于：
对所述纹理特征进行特征分类与识别，生成纹理特征图像；
采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像；
将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
可选的，在一实施例中，所述石刻模型构建装置还包括：
动画模块，用于创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。
本发明实施例中，通过对目标物体的多角度采集二维图像信息，利用深度学习和多目视觉技术提取出二维图像中的特征信息，所述信息包括纹理信息，颜色信息和结构特征信息。将所述特征信息采用第一深度学习算法进行处理，得到目标物体的三维结构模型。将纹理和颜色特征信息采用第二深度学习算法进行复原，得到目标物体的二维表征数据，将二维表征数据和三维空间数据进行融合、渲染，实现对目标物体复原，得到目标三维模型。采用多目视觉修复和人工智能算法结合的技术，使目标物体三维模型建立的精度大大提升。
上面图5从模块化功能实体的角度对本发明实施例中的石刻模型构建装置进行详细描述，下面从硬件处理的角度对本发明实施例中石刻模型构建设备进行详细描述。
图6是本发明实施例提供的一种石刻模型构建设备的结构示意图，该石刻模型构建设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对石刻模型构建设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在石刻模型构建设备600上执行存储介质630中的一系列指令操作。
石刻模型构建设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的石刻模型构建设备结构并不构成对石刻模型构建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种石刻模型构建设备，所述石刻模型构建设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述石刻模型构建方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述石刻模型构建方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种石刻模型构建方法，其特征在于，所述石刻模型构建方法包括：
采集目标石刻多个角度的石刻图像；
分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
2.根据权利要求1所述的石刻模型构建方法，其特征在于，所述分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据包括：
采用棋盘格法对拍摄相机进行几何参数校准；
采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
对所述点云数据进行密集匹配，得到密集点云数据。
3.根据权利要求1所述的石刻模型构建方法，其特征在于，所述分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据包括：
调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。
4.根据权利要求1或2所述的石刻模型构建方法，其特征在于，所述采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型包括：
对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
根据所述多个像素点输出值，构建所述石刻图像的三维结构；
对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。
5.根据权利要求1或3所述的石刻模型构建方法，其特征在于，所述采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征包括：
将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；
将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；
分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。
6.根据权利要求1所述的石刻模型构建方法，其特征在于，所述根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型包括：
对所述纹理特征进行特征分类与识别，生成纹理特征图像；
采用纹理映射算法，对所述纹理特征图像进行纹理映射，生成纹理图像；
将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。
7.根据权利要求1所述的石刻模型构建方法，其特征在于，在所述根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型之后，还包括：
创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；
将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；
根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。
8.一种石刻模型构建装置，其特征在于，所述石刻模型构建装置包括：
采集模块，用于采集目标石刻多个角度的石刻图像；
提取模块，用于分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
处理模块，用于采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
融合模块，用于根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
渲染模块，用于根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。
9.一种石刻模型构建设备，其特征在于，所述石刻模型构建设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述石刻模型构建设备执行如权利要求1-7中任意一项所述的石刻模型构建方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的石刻模型构建方法。
CN202110301857.7A 2021-03-22 2021-03-22 石刻模型构建方法、装置、设备及存储介质 Active CN113012293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110301857.7A CN113012293B (zh) 2021-03-22 2021-03-22 石刻模型构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110301857.7A CN113012293B (zh) 2021-03-22 2021-03-22 石刻模型构建方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113012293A true CN113012293A (zh) 2021-06-22
CN113012293B CN113012293B (zh) 2023-09-29

Family

ID=76404162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110301857.7A Active CN113012293B (zh) 2021-03-22 2021-03-22 石刻模型构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113012293B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674293A (zh) * 2021-08-20 2021-11-19 建信金融科技有限责任公司 图片处理方法、装置、电子设备和计算机可读介质
CN114558794A (zh) * 2022-03-03 2022-05-31 南京苏胜天信息科技有限公司 一种机器视觉人工智能处理系统及其方法
CN114741768A (zh) * 2022-04-27 2022-07-12 四川赛康智能科技股份有限公司 智能变电站三维建模方法
CN114792354A (zh) * 2022-06-22 2022-07-26 北京飞渡科技有限公司 模型处理方法、装置、存储介质及电子设备
CN114898068A (zh) * 2022-05-19 2022-08-12 海尔数字科技（上海）有限公司 三维建模方法、装置、设备及存储介质
CN114904270A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN115661371A (zh) * 2022-12-14 2023-01-31 深圳思谋信息科技有限公司 三维对象建模方法、装置、计算机设备及存储介质
CN116222137A (zh) * 2022-12-20 2023-06-06 珠海格力电器股份有限公司 冰箱内食物解冻方法、模组、电子设备及可读介质
CN117058332A (zh) * 2023-07-10 2023-11-14 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
CN117152353A (zh) * 2023-08-23 2023-12-01 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种地质材料材质识别方法、系统及可读存储介质
CN118070983A (zh) * 2024-04-19 2024-05-24 苏州城市学院 一种基于深度学习的工业机械生产优化方法及系统
CN118314463A (zh) * 2024-06-05 2024-07-09 中建三局城建有限公司 一种基于机器学习的结构损伤识别方法及系统
CN118314288A (zh) * 2024-05-14 2024-07-09 杭州矩体科技有限公司 用于积木设计的3d内容自动生成方法、装置和电子设备
CN118351271A (zh) * 2024-04-23 2024-07-16 杭州矩体科技有限公司 一种基于人工智能技术的可拼接模型生成方法及系统
CN118504423A (zh) * 2024-07-17 2024-08-16 浙江大学 一种半导体器件刻蚀工艺智能制造方法及设备、储存介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268924A (zh) * 2014-09-19 2015-01-07 新维畅想数字科技（北京）有限公司 一种基于三维数据扫描提取石碑石刻数字拓片的方法
CN107481313A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于学习有效点云生成的密集三维物体重建方法
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
KR20190067113A (ko) * 2017-12-06 2019-06-14 한국과학기술원 이미지 처리 방법 및 장치
US20190206095A1 (en) * 2017-12-29 2019-07-04 Tsinghua University Image processing method, image processing device and storage medium
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
US20200334898A1 (en) * 2019-04-19 2020-10-22 Korea Advanced Institute Of Science And Technology Three dimensional image generating method and apparatus
WO2020232672A1 (zh) * 2019-05-22 2020-11-26 深圳市大疆创新科技有限公司 图像裁剪方法、装置和拍摄装置
CN112284291A (zh) * 2020-10-22 2021-01-29 华中科技大学鄂州工业技术研究院 一种可获取物理纹理的三维扫描方法及装置
CN112288875A (zh) * 2020-10-30 2021-01-29 中国有色金属长沙勘察设计研究院有限公司 一种面向无人机矿山巡检场景的快速三维重建方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
CN104268924A (zh) * 2014-09-19 2015-01-07 新维畅想数字科技（北京）有限公司 一种基于三维数据扫描提取石碑石刻数字拓片的方法
CN107481313A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于学习有效点云生成的密集三维物体重建方法
KR20190067113A (ko) * 2017-12-06 2019-06-14 한국과학기술원 이미지 처리 방법 및 장치
US20190206095A1 (en) * 2017-12-29 2019-07-04 Tsinghua University Image processing method, image processing device and storage medium
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
US20200334898A1 (en) * 2019-04-19 2020-10-22 Korea Advanced Institute Of Science And Technology Three dimensional image generating method and apparatus
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
WO2020232672A1 (zh) * 2019-05-22 2020-11-26 深圳市大疆创新科技有限公司 图像裁剪方法、装置和拍摄装置
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN112284291A (zh) * 2020-10-22 2021-01-29 华中科技大学鄂州工业技术研究院 一种可获取物理纹理的三维扫描方法及装置
CN112288875A (zh) * 2020-10-30 2021-01-29 中国有色金属长沙勘察设计研究院有限公司 一种面向无人机矿山巡检场景的快速三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN-HSUAN LI 等: "Learning Efficient Point Cloud Generation for Dense 3D Obiect Reconstruction", HTTPS://ARXIV.ORG/PDF/1706.07036.PDF, pages 1 - 10 *
宋廷强等: "基于深度学习的高分辨率遥感图像建筑物识别", 《计算机工程与应用》, no. 8, pages 32 - 40 *
陈健堃等: "基于深度神经网络的SAR建筑目标三维重建方法", 《中国科学：信息科学》, vol. 49, no. 12, pages 1606 - 1625 *
黄腾达等: "一种基于非量测相机图像的三维模型快速重建方法研究", 《河南城建学院学报》, no. 1, pages 80 - 85 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674293A (zh) * 2021-08-20 2021-11-19 建信金融科技有限责任公司 图片处理方法、装置、电子设备和计算机可读介质
CN114558794A (zh) * 2022-03-03 2022-05-31 南京苏胜天信息科技有限公司 一种机器视觉人工智能处理系统及其方法
CN114741768A (zh) * 2022-04-27 2022-07-12 四川赛康智能科技股份有限公司 智能变电站三维建模方法
CN114904270B (zh) * 2022-05-11 2024-06-07 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN114904270A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN114898068A (zh) * 2022-05-19 2022-08-12 海尔数字科技（上海）有限公司 三维建模方法、装置、设备及存储介质
CN114898068B (zh) * 2022-05-19 2023-10-20 海尔数字科技（上海）有限公司 三维建模方法、装置、设备及存储介质
CN114792354A (zh) * 2022-06-22 2022-07-26 北京飞渡科技有限公司 模型处理方法、装置、存储介质及电子设备
CN114792354B (zh) * 2022-06-22 2022-11-11 北京飞渡科技有限公司 模型处理方法、装置、存储介质及电子设备
CN115661371A (zh) * 2022-12-14 2023-01-31 深圳思谋信息科技有限公司 三维对象建模方法、装置、计算机设备及存储介质
CN116222137A (zh) * 2022-12-20 2023-06-06 珠海格力电器股份有限公司 冰箱内食物解冻方法、模组、电子设备及可读介质
CN117058332A (zh) * 2023-07-10 2023-11-14 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种地质材料材质识别方法、系统及可读存储介质
CN117058332B (zh) * 2023-07-10 2024-01-30 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
CN117152353B (zh) * 2023-08-23 2024-05-28 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质
CN117152353A (zh) * 2023-08-23 2023-12-01 北京市测绘设计研究院 实景三维模型创建方法、装置、电子设备和可读介质
CN118070983A (zh) * 2024-04-19 2024-05-24 苏州城市学院 一种基于深度学习的工业机械生产优化方法及系统
CN118070983B (zh) * 2024-04-19 2024-07-26 苏州城市学院 一种基于深度学习的工业机械生产优化方法及系统
CN118351271A (zh) * 2024-04-23 2024-07-16 杭州矩体科技有限公司 一种基于人工智能技术的可拼接模型生成方法及系统
CN118314288A (zh) * 2024-05-14 2024-07-09 杭州矩体科技有限公司 用于积木设计的3d内容自动生成方法、装置和电子设备
CN118314463A (zh) * 2024-06-05 2024-07-09 中建三局城建有限公司 一种基于机器学习的结构损伤识别方法及系统
CN118504423A (zh) * 2024-07-17 2024-08-16 浙江大学 一种半导体器件刻蚀工艺智能制造方法及设备、储存介质

Also Published As

Publication number Publication date
CN113012293B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
AU2020200811B2 (en) Direct meshing from multiview input using deep learning
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN109035388B (zh) 三维人脸模型重建方法及装置
Rematas et al. Novel views of objects from a single image
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN103733226B (zh) 快速的有关节运动的跟踪
CN109636831A (zh) 一种估计三维人体姿态及手部信息的方法
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
GB2586157A (en) System and method for performing 3D imaging of an object
Ye et al. 3d morphable face model for face animation
JP2010211732A (ja) 物体認識装置および方法
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
Toussaint et al. Fast gradient descent for surface capture via differentiable rendering
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
Deepu et al. 3D Reconstruction from Single 2D Image
EP4445336A1 (en) A method to register facial markers
Nguyen et al. High resolution 3d content creation using unconstrained and uncalibrated cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant