CN117292067B - 基于扫描实物获得的虚拟3d模型方法及系统 - Google Patents

Abstract

本发明公开了一种基于扫描实物获得的虚拟3D模型方法及系统，涉及智能化扫描技术领域，其对实物对象进行扫描以得到扫描图像；对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；对所述优化扫描图像进行预处理以得到3D网格模型；以及，使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。这样，可以保留实物的细节和特征，生成高精度和高质量的虚拟3D模型，提高模型的真实感和逼真度。

Description

基于扫描实物获得的虚拟3D模型方法及系统

技术领域

本发明涉及智能化扫描技术领域，并且更具体地，涉及一种基于扫描实物获得的虚拟3D模型方法及系统。

背景技术

随着计算机硬件性能和图像处理算法的不断发展，将实物转化为虚拟3D模型的技术得到了广泛应用。通过将实物转化为虚拟3D模型，可以实现对实物的数字化和可视化，这使得实物可以在计算机环境中进行分析、处理和展示，方便存储、共享和传播。

基于扫描实物获得的虚拟3D模型可以用于设计和制造过程中的多个阶段。例如，在工业设计中，可以使用虚拟模型进行产品设计、模拟和测试，以提高产品质量和效率。在制造过程中，可以使用虚拟模型进行工艺规划、模具设计和生产优化。

然而，在传统的基于扫描实物获得虚拟3D模型的方案中，对于具有复杂形状和细节的实物，传统方法可能无法准确地捕捉到每个细节和曲面，且需要复杂的建模过程，这可能导致生成的3D模型缺乏精确性和完整性。并且，传统方案通常需要人工干预来处理扫描过程中的问题，例如遮挡物、反射和阴影等，这增加了操作的复杂性和时间成本。此外，传统方案对光照和材质变化非常敏感，这意味着在不同的光照条件下或具有不同材质的表面上，扫描结果可能会有所偏差或失真。

因此，期望一种优化的基于扫描实物获得的虚拟3D模型方案。

发明内容

为了解决上述技术问题，提出了本发明。本发明的实施例提供了一种基于扫描实物获得的虚拟3D模型方法及系统，其对实物对象进行扫描以得到扫描图像；对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；对所述优化扫描图像进行预处理以得到3D网格模型；以及，使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。这样，可以保留实物的细节和特征，生成高精度和高质量的虚拟3D模型，提高模型的真实感和逼真度。

第一方面，提供了一种基于扫描实物获得的虚拟3D模型方法，其包括：

对实物对象进行扫描以得到扫描图像；

对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像，其包括：

通过基于深度神经网络模型的图像特征提取器对所述扫描图像进行多尺度特征提取以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图；

将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征；

以及基于所述语义融合扫描图像特征，生成所述优化扫描图像；

对所述优化扫描图像进行预处理以得到3D网格模型；以及

使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。

第二方面，提供了一种基于扫描实物获得的虚拟3D模型系统，其包括：

图像获取模块，用于对实物对象进行扫描以得到扫描图像；

图像优化模块，用于对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；

预处理模块，用于对所述优化扫描图像进行预处理以得到3D网格模型；以及

后处理和渲染模块，用于使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的流程图。

图2为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的架构示意图。

图3为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法中步骤120的子步骤的流程图。

图4为根据本发明实施例的基于扫描实物获得的虚拟3D模型系统的框图。

图5为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有说明，本发明实施例所使用的所有技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明的范围。

在本发明实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例可以除了在这里图示或描述的那些以外的顺序实施。

扫描实物获得的虚拟3D模型是通过使用扫描设备对实际物体进行扫描，然后将扫描数据转化为数字化的三维模型，这种技术可以捕捉实物的形状、几何结构和表面细节，并将其转化为计算机可识别和可编辑的形式。在扫描过程中，通常使用激光扫描仪、结构光扫描仪、摄影设备或其他相关设备来获取实物的表面信息，这些设备会发射光线或投射光网格，然后通过测量光线或光网格的反射或变形来获取实物的几何形状和表面细节。

扫描设备采集到的数据通常以点云或网格的形式表示，点云是由大量的三维坐标点组成的集合，每个点代表实物表面上的一个采样点。网格则是由连接在一起的三角形或多边形组成的表面模型，更加紧密地描述了实物的形状和细节。获得点云或网格数据后，可以使用计算机软件对其进行后处理和优化，以生成高质量的虚拟3D模型。后处理操作可以包括去噪、配准、拼接和修补等，以消除扫描过程中的噪声、对齐不准确和缺失数据等问题，优化后的模型可以进行进一步的编辑、分析、渲染和应用。

扫描实物获得的虚拟3D模型在许多领域都有广泛的应用。在工业设计中，可以用于产品设计、原型制作和模拟测试。在文化遗产保护中，可以用于数字化和保存珍贵的艺术品和文物。在医学领域，可以用于制作个性化的医疗器械和假体。在虚拟现实和游戏开发中，可以用于创建逼真的虚拟环境和角色。总之，扫描实物获得的虚拟3D模型为数字化、可视化和交互化提供了重要的基础，并在许多领域中推动了创新和发展。

然而，在传统的基于扫描实物获得虚拟3D模型的方案中，传统的扫描设备可能存在一些限制，比如分辨率不高、扫描速度慢、对特定材质难以适应等，这些限制可能导致扫描结果的质量和准确性不够理想。扫描实物获得的数据通常是点云或网格形式，这些数据量庞大且复杂，传统的数据处理方法需要大量的人工干预和复杂的算法来进行数据的清理、配准、拼接和修补等操作，这会增加处理的时间和成本。扫描实物时，由于光照条件、物体表面反射性质等因素的影响，扫描数据可能存在一定的误差和噪声，这些误差和噪声可能导致模型的几何结构不准确或表面细节不完整。对于具有复杂几何结构或细小特征的实物，传统的扫描方法可能无法完全捕捉到细节或准确重建，例如，对于细小的孔洞、细丝或薄壁结构，扫描结果可能存在缺失或不准确。传统的扫描设备和软件工具通常价格昂贵，且需要专业的操作和知识，这使得传统的基于扫描实物获得虚拟3D模型的方案对于一般用户或小规模应用来说成本较高，并且可能需要专业人员进行操作和处理。

尽管传统方案存在这些弊端，但随着人工智能和计算机视觉等技术的发展，许多问题正在得到缓解和改善。新兴的AI技术可以提供更好的图像优化、自动化处理和智能分析能力，从而改善传统方案的局限性。

AI在基于扫描实物获得虚拟3D模型方法中有许多应用可能性，包括以下几个方面：

数据处理和优化：AI可以应用在扫描数据的处理和优化过程中，例如点云数据的滤波、去噪、配准和分割等。通过使用深度学习算法，可以自动识别和修复扫描数据中的缺陷或噪声，提高模型的质量和准确性。

特征提取和分析：AI可以用于从扫描数据中提取有用的特征信息。通过使用机器学习和计算机视觉技术，可以自动识别和提取物体的形状、边缘、纹理等特征，从而帮助生成更准确和详细的虚拟3D模型。

自动化建模：AI可以应用于自动化建模过程中，即从扫描数据中生成几何模型的过程。通过使用深度学习和生成模型，可以训练神经网络来自动识别和重建物体的几何结构，从而减少人工操作的需求，并提高建模的效率和精度。

模型修复和增强：AI可以用于修复和增强虚拟3D模型的质量。通过使用深度学习算法，可以自动检测和修复模型中的缺陷、孔洞或不连续性，使得模型更加完整和可用。

模型生成和创作：AI可以用于生成全新的虚拟3D模型。通过使用生成对抗网络（GAN）等技术，可以训练模型来生成具有逼真外观和多样性的虚拟3D模型，从而为虚拟现实、游戏开发等领域提供更多的创作资源。

AI在基于扫描实物获得虚拟3D模型方法中的应用可以提高扫描数据的处理效率和质量，自动化建模过程，修复和增强模型的质量，并提供新的创作可能性。这些应用可以加速虚拟现实、增强现实、游戏开发、工业设计等领域的发展和创新。

人工智能在基于扫描实物获得虚拟3D模型的方法中可以带来许多好处。AI可以应用于图像优化过程，通过深度学习和计算机视觉算法来提高扫描图像的质量和准确性，AI可以自动识别和修复扫描数据中的缺陷、噪声和伪影，从而提高模型的质量和准确性。AI可以自动化处理扫描过程中的一些复杂任务，如配准、分割和修补，可以识别扫描数据中的不连续性或缺失部分，并自动进行修复，减少了人工干预的需求，提高了处理效率和准确性。AI可以对扫描数据进行智能分析，提取关键特征和结构信息，可以识别物体的边界、曲面和几何结构，并将其转化为准确的三维模型，这种智能分析可以提高模型的完整性和准确性。AI可以应用于3D渲染过程，提供更加高效和逼真的渲染结果，通过深度学习和计算机图形学算法，AI可以模拟光照、阴影、反射等效果，使虚拟3D模型更加真实和逼真。AI可以辅助或自动化建模过程，从扫描数据中提取几何结构和特征，并生成完整的3D模型，这减少了手动建模的工作量和时间成本，提高了建模的效率和准确性。

AI在基于扫描实物获得虚拟3D模型的方法中可以提供更高的自动化程度、更准确的结果和更高效的处理速度，可以改善图像质量、优化数据处理、提取关键信息，并提供逼真的渲染效果，从而提高整个流程的效率和质量。

本发明介绍了一种基于扫描实物获得的虚拟3D模型方法，该方法可以将任意形状和材质的实物转化为高精度的虚拟3D模型，从而实现实物的数字化和可视化。该方法主要包括以下几个步骤：

1.使用专业的3D扫描仪对实物进行全方位的扫描，获取实物的表面几何信息和纹理信息。

2.使用专业的3D建模软件对扫描得到的数据进行预处理，包括去噪、对齐、拼接、修补等操作，以生成完整的3D网格模型。

3.使用专业的3D渲染软件对3D网格模型进行后处理，包括添加光照、阴影、反射等效果，以提高模型的真实感和逼真度。

4.使用专业的3D展示软件对3D渲染模型进行展示，可以在不同的视角和距离下观察和操作模型，也可以将模型导出为不同的格式，以便于在其他平台或设备上使用。

本发明提供的基于扫描实物获得的虚拟3D模型方法具有以下优点：可以快速、准确、方便地将任意形状和材质的实物转化为虚拟3D模型，无需复杂的建模过程。可以保留实物的细节和特征，生成高精度和高质量的虚拟3D模型，提高模型的真实感和逼真度。还可以灵活地展示和使用虚拟3D模型，增强模型的交互性和可用性。

图1为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的流程图。图2为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的架构示意图。如图1和图2所示，所述基于扫描实物获得的虚拟3D模型方法，包括：110，对实物对象进行扫描以得到扫描图像；120，对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；130，对所述优化扫描图像进行预处理以得到3D网格模型；以及，140，使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。

具体地，在本发明的技术方案中，提出了一种基于扫描实物获得的虚拟3D模型方法，该方法可以将任意形状和材质的实物转化为高精度的虚拟3D模型，从而实现实物的数字化和可视化。其包括以下步骤：首先，对实物对象进行扫描以得到扫描图像。接着，对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像。例如，可以对所述扫描图像进行滤波、去噪、配准和分割等操作。同时，还可以自动识别和修复扫描数据中的缺陷或噪声，以提高模型的质量和准确性。然后，对所述优化扫描图像进行预处理以得到3D网格模型。具体地，所述预处理包括去噪、对齐、拼接、修补等操作，以生成完整的3D网格模型。最后，使用3D渲染软件对3D网格模型进行后处理和渲染以得到实物虚拟3D模型。具体地，所述后处理和渲染包括添加光照、阴影、反射等效果，以提高模型的真实感和逼真度。这样，可以快速、准确、方便地将任意形状和材质的实物转化为虚拟3D模型，无需复杂的建模过程。同时，还可以保留实物的细节和特征，生成高精度和高质量的虚拟3D模型，提高模型的真实感和逼真度。

相应地，考虑到在实际通过基于扫描实物获得虚拟3D模型的过程中，对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像的过程尤为重要，其是确保扫描结果的质量和准确性的关键。然而，扫描过程中可能会引入噪声和干扰，如传感器噪声、环境光线变化和振动等。同时，由于实物表面的材质和细节，以及光照条件的变化，可能导致图像中的纹理和细节丢失或模糊。并且，在扫描过程中，由于遮挡、反射或不完整的扫描等原因，可能会导致扫描结果中存在缺失或不完整的部分。因此，在本发明的技术方案中，需要对于所述扫描图像进行图像优化以去除噪声和干扰，增强图像的清晰度和准确性，同时恢复和增强图像中的纹理和细节，使得扫描结果更加真实和精确。不仅如此，还需要通过学习实物的形状和结构，自动进行形状修复和补全，使得最终的虚拟3D模型更加完整和准确。

图3为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法中步骤120的子步骤的流程图。如图3所示，对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像，包括：121，通过基于深度神经网络模型的图像特征提取器对所述扫描图像进行多尺度特征提取以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图；122，将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征；以及，123，基于所述语义融合扫描图像特征，生成所述优化扫描图像。

其中，所述深度神经网络模型为金字塔网络。

更具体地，在本发明的技术方案中，首先，在获得所述扫描图像后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述扫描图像的特征挖掘，特别地，考虑到在进行所述实物对象的扫描图像识别和特征捕捉过程中，不仅需要关注于所述扫描图像中有关于实物对象的深层隐藏语义特征，更需要聚焦于图像中关于实物对象的轮廓、边缘和纹理等特征信息，这些特征信息对于实物对象的特征捕捉和图像优化具有重要作用。因此，在本发明的技术方案中，将所述扫描图像通过基于金字塔网络的图像特征提取器以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图。应可以理解，通过使用所述金字塔网络，可以在不同层级上提取不同尺度的特征表示。所述浅层特征图通常对应于较大的结构和整体形状，所述中层特征图可以捕捉到中等尺度的纹理和形状信息，而所述深层特征图则更加关注细小的细节和边缘。这样的多尺度特征表示可以将不同层级的特征图进行融合和组合，以综合利用所述扫描图像中关于扫描实物的不同层级的特征信息，从而得到更丰富和准确的特征表示。

在本发明的一个实施例中，将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征，包括：融合所述扫描图像中层特征图和所述扫描图像深层特征图以得到扫描图像语义融合特征图；使用联合语义传播模块来融合所述扫描图像语义融合特征图和所述扫描图像浅层特征图以得到语义融合扫描图像浅层特征图作为所述语义融合扫描图像特征。

然后，考虑到由于所述中层特征图通常包含实物物体的轮廓和纹理等语义特征信息，而所述深层特征图则关注更细粒度的细节。也就是说，所述中层特征图和所述深层特征图分别捕捉了所述扫描图像中有关实物的中等尺度纹理和形状信息以及细小细节和边缘信息。因此，在本发明的技术方案中，进一步融合所述扫描图像中层特征图和所述扫描图像深层特征图以得到扫描图像语义融合特征图。通过融合这两个层级的特征图，可以在保留细节的同时，加强对物体的整体形状和语义信息的理解和表达能力。并且，由于不同层级的特征图对应不同尺度和层次的信息，它们在抵抗噪声和干扰方面可能具有不同的鲁棒性。通过融合这些特征图，可以提高特征的稳定性，减少噪声的影响，从而得到更可靠的语义融合特征图。

进一步地，使用联合语义传播模块来融合所述扫描图像语义融合特征图和所述扫描图像浅层特征图以得到语义融合扫描图像浅层特征图。特别地，这里，所述联合语义传播模块能够通过学习和传播所述扫描图像语义融合特征图的特征信息，并将其融合到所述扫描图像浅层特征图中，从而使融合后的所述语义融合扫描图像浅层特征图具有关于实物对象更丰富的浅层语义特征信息，以提高后续对于实物对象的特征识别和图像优化的精准度。

在本发明的一个实施例中，基于所述语义融合扫描图像特征，生成所述优化扫描图像，包括：将所述语义融合扫描图像浅层特征图通过基于解码器的图像优化生成器以得到所述优化扫描图像。

继而，再将所述语义融合扫描图像浅层特征图通过基于解码器的图像优化生成器以得到所述优化扫描图像。应可以理解，通过所述基于解码器的图像优化生成器来对于所述语义融合扫描图像浅层特征图进行处理，能够去除原图像的噪声并恢复丢失的纹理细节，这样可以提高扫描图像的质量和准确性。同时，还可以根据原图像中有关于实物对象的光照和材质信息，对图像进行光照和材质的调整，使得优化扫描图像更加真实和自然。不仅如此，由于所述扫描图像中可能存在形状缺陷、变形或畸变等问题，通过所述图像优化生成器，可以利用所述语义融合扫描图像浅层特征图中的形状信息进行形状修复和校正，生成具有更准确形状的优化扫描图像，使其更符合实际物体的形态。

解码器是一种神经网络结构，通常与编码器相对应，用于将编码后的表示解码为原始输入的重建。在基于解码器的图像优化生成器中，解码器的作用是将语义融合扫描图像的浅层特征图转化为优化后的扫描图像。

解码器通常由多个层组成，每一层都包含一些神经元和权重。接收输入的浅层特征图，并通过反向传播算法逐层计算，逐渐恢复出原始图像的细节和结构。解码器的目标是最大限度地减小重建图像与原始图像之间的差异，以生成高质量的优化扫描图像。解码器的结构可以采用各种形式，如反卷积神经网络（Deconvolutional Neural Network）、自编码器（Autoencoder）或生成对抗网络（Generative Adversarial Network），这些结构在图像生成任务中具有良好的表现，并且可以通过训练来学习图像的特征表示和重建能力。

通过将浅层特征图输入解码器，会学习到如何恢复丢失的细节和结构，以生成优化的扫描图像。解码器的训练过程通常使用已知的优化扫描图像作为目标，通过最小化重建图像与目标图像之间的差异来更新解码器的权重。解码器在基于解码器的图像优化生成器中起着关键的作用，通过学习从浅层特征图到优化扫描图像的映射关系，实现了对扫描图像的优化和重建。

在本发明的一个实施例中，所述基于扫描实物获得的虚拟3D模型方法，还包括训练步骤：用于对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练。所述训练步骤，包括：获取训练数据，所述训练数据包括训练扫描图像，以及，所述优化扫描图像的真实图像；将所述训练扫描图像通过所述基于金字塔网络的图像特征提取器以得到训练扫描图像浅层特征图、训练扫描图像中层特征图和训练扫描图像深层特征图；融合所述训练扫描图像中层特征图和所述训练扫描图像深层特征图以得到训练扫描图像语义融合特征图；使用所述联合语义传播模块来融合所述训练扫描图像语义融合特征图和所述训练扫描图像浅层特征图以得到训练语义融合扫描图像浅层特征图；对所述训练语义融合扫描图像浅层特征图展开后得到的语义融合扫描图像浅层特征向量的各个特征值进行优化以得到优化后训练语义融合扫描图像浅层特征图；将所述优化后训练语义融合扫描图像浅层特征图通过所述基于解码器的图像优化生成器以得到训练优化扫描图像；计算所述训练优化扫描图像和所述真实图像之间的交叉熵损失函数值以得到图像间交叉熵损失函数值；基于所述图像间交叉熵损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练。

特别地，在本申请的技术方案中，通过使用语义联合传播模块来融合所述训练扫描图像浅层特征图、所述训练扫描图像中层特征图和所述训练扫描图像深层特征图，可以使得所述训练语义融合扫描图像浅层特征图表达基于金字塔网络的不同尺度和深度的混合扫描图像语义特征，但是，这也会导致所述训练扫描图像浅层特征图、所述训练扫描图像中层特征图和所述训练扫描图像深层特征图之间具有的跨尺度和深度图像语义差异被引入所述语义融合扫描图像浅层特征图中。并且，在对所述训练扫描图像进行基于人工智能的图像优化以得到训练优化扫描图像时，由于本身基于人工智能的图像优化就会引入与原始扫描图像不同的图像语义分布，因此，在将所述训练语义融合扫描图像浅层特征图通过解码器进行解码回归时，所述训练语义融合扫描图像浅层特征图会存在由于语义分布差异导致的特征分布表示稀疏化，使得所述训练语义融合扫描图像浅层特征图的各个特征值的回归概率的概率密度分布的收敛性差，影响通过解码器得到的解码结果的准确性。

因此，优选地，对所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的各个特征值进行优化，具体表示为：以如下优化公式对所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的各个特征值进行优化以得到所述优化后训练语义融合扫描图像浅层特征图；其中，所述优化公式为：

其中，是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量，/>和/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的第/>和第/>个特征值，且/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的全局特征均值，/>是所述优化后训练语义融合扫描图像浅层特征图展开后得到的优化后训练语义融合扫描图像浅层特征向量。

具体地，针对所述训练语义融合扫描图像浅层特征向量在高维特征空间内的稀疏分布导致的概率空间内概率密度分布的局部概率密度不匹配，通过正则化全局自洽类编码，来模仿所述训练语义融合扫描图像浅层特征向量的高维特征流形在概率空间内的编码行为的全局自洽关系，以调整在高维开放空间域内的特征流形的误差景观，实现所述训练语义融合扫描图像浅层特征向量的高维特征流形对显式概率空间嵌入的自洽匹配式类编码，从而提升所述训练语义融合扫描图像浅层特征向量的回归概率的概率密度分布的收敛性，改进其通过解码器得到的解码结果的准确性。这样，在将任意形状和材质的实物转化为虚拟3D模型的过程中，能够自动去除噪声和干扰、恢复纹理和细节、修复形状和补全缺失部分，以及校正光照和材质变化，从而改善扫描结果，使得最终生成的虚拟3D模型更加真实、精确和可靠。

综上，基于本发明实施例的基于扫描实物获得的虚拟3D模型方法被阐明，其可以快速、准确、方便地将任意形状和材质的实物转化为虚拟3D模型，无需复杂的建模过程。同时，还可以保留实物的细节和特征，生成高精度和高质量的虚拟3D模型，提高模型的真实感和逼真度。

在本发明的一个实施例中，图4为根据本发明实施例的基于扫描实物获得的虚拟3D模型系统的框图。如图4所示，根据本发明实施例的基于扫描实物获得的虚拟3D模型系统200，包括：图像获取模块210，用于对实物对象进行扫描以得到扫描图像；图像优化模块220，用于对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；预处理模块230，用于对所述优化扫描图像进行预处理以得到3D网格模型；以及，后处理和渲染模块240，用于使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型。

在所述基于扫描实物获得的虚拟3D模型系统中，所述图像优化模块，包括：多尺度特征提取单元，用于通过基于深度神经网络模型的图像特征提取器对所述扫描图像进行多尺度特征提取以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图；图像融合单元，用于将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征；以及，优化扫描图像生成单元，用于基于所述语义融合扫描图像特征，生成所述优化扫描图像。

这里，本领域技术人员可以理解，上述基于扫描实物获得的虚拟3D模型系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的基于扫描实物获得的虚拟3D模型方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本发明实施例的基于扫描实物获得的虚拟3D模型系统200可以实现在各种终端设备中，例如用于基于扫描实物获得的虚拟3D模型的服务器等。在一个示例中，根据本发明实施例的基于扫描实物获得的虚拟3D模型系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于扫描实物获得的虚拟3D模型系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于扫描实物获得的虚拟3D模型系统200同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于扫描实物获得的虚拟3D模型系统200与该终端设备也可以是分立的设备，并且基于扫描实物获得的虚拟3D模型系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图5为根据本发明实施例的基于扫描实物获得的虚拟3D模型方法的场景示意图。如图5所示，在该应用场景中，首先，对实物对象进行扫描以得到扫描图像（例如，如图5中所示意的C）；然后，将获取的扫描图像输入至部署有基于扫描实物获得的虚拟3D模型算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于扫描实物获得的虚拟3D模型算法对所述扫描图像进行处理，以得到实物虚拟3D模型。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (2)

1.一种基于扫描实物获得的虚拟3D模型方法，其特征在于，包括：

对实物对象进行扫描以得到扫描图像；

对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像，其包括：

通过基于深度神经网络模型的图像特征提取器对所述扫描图像进行多尺度特征提取以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图；

将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征；

以及基于所述语义融合扫描图像特征，生成所述优化扫描图像；

对所述优化扫描图像进行预处理以得到3D网格模型；

以及使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型；

其中，所述深度神经网络模型为金字塔网络；

其中，将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征，包括：

融合所述扫描图像中层特征图和所述扫描图像深层特征图以得到扫描图像语义融合特征图；

使用联合语义传播模块来融合所述扫描图像语义融合特征图和所述扫描图像浅层特征图以得到语义融合扫描图像浅层特征图作为所述语义融合扫描图像特征；

其中，基于所述语义融合扫描图像特征，生成所述优化扫描图像，包括：将所述语义融合扫描图像浅层特征图通过基于解码器的图像优化生成器以得到所述优化扫描图像；

其中，所述的基于扫描实物获得的虚拟3D模型方法，还包括训练步骤：用于对所述基于深度神经网络模型的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练；

其中，所述训练步骤，包括：

获取训练数据，所述训练数据包括训练扫描图像，以及，所述优化扫描图像的真实图像；

将所述训练扫描图像通过所述基于深度神经网络模型的图像特征提取器以得到训练扫描图像浅层特征图、训练扫描图像中层特征图和训练扫描图像深层特征图；

融合所述训练扫描图像中层特征图和所述训练扫描图像深层特征图以得到训练扫描图像语义融合特征图；

使用所述联合语义传播模块来融合所述训练扫描图像语义融合特征图和所述训练扫描图像浅层特征图以得到训练语义融合扫描图像浅层特征图；

对所述训练语义融合扫描图像浅层特征图展开后得到的语义融合扫描图像浅层特征向量的各个特征值进行优化以得到优化后训练语义融合扫描图像浅层特征图；

将所述优化后训练语义融合扫描图像浅层特征图通过所述基于解码器的图像优化生成器以得到训练优化扫描图像；

计算所述训练优化扫描图像和所述真实图像之间的交叉熵损失函数值以得到图像间交叉熵损失函数值；

基于所述图像间交叉熵损失函数值并通过梯度下降的反向传播来对所述基于深度神经网络模型的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练；

其中，对所述训练语义融合扫描图像浅层特征图展开后得到的语义融合扫描图像浅层特征向量的各个特征值进行优化以得到优化后训练语义融合扫描图像浅层特征图，包括：

以如下优化公式对所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的各个特征值进行优化以得到所述优化后训练语义融合扫描图像浅层特征图；

其中，所述优化公式为：其中，/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量，/>和/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的第/>和第/>个特征值，且/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的全局特征均值，/>是所述优化后训练语义融合扫描图像浅层特征图展开后得到的优化后训练语义融合扫描图像浅层特征向量。

2.一种基于扫描实物获得的虚拟3D模型系统，其特征在于，包括：

图像获取模块，用于对实物对象进行扫描以得到扫描图像；

图像优化模块，用于对所述扫描图像进行基于人工智能的图像优化以得到优化扫描图像；

预处理模块，用于对所述优化扫描图像进行预处理以得到3D网格模型；

以及后处理和渲染模块，用于使用3D渲染软件对所述3D网格模型进行后处理和渲染以得到实物虚拟3D模型；

其中，所述图像优化模块，包括：

多尺度特征提取单元，用于通过基于深度神经网络模型的图像特征提取器对所述扫描图像进行多尺度特征提取以得到扫描图像浅层特征图、扫描图像中层特征图和扫描图像深层特征图；

图像融合单元，用于将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征；

以及优化扫描图像生成单元，用于基于所述语义融合扫描图像特征，生成所述优化扫描图像；

其中，所述深度神经网络模型为金字塔网络；

其中，将所述扫描图像浅层特征图、所述扫描图像中层特征图和所述扫描图像深层特征图进行融合以得到语义融合扫描图像特征，包括：

融合所述扫描图像中层特征图和所述扫描图像深层特征图以得到扫描图像语义融合特征图；

使用联合语义传播模块来融合所述扫描图像语义融合特征图和所述扫描图像浅层特征图以得到语义融合扫描图像浅层特征图作为所述语义融合扫描图像特征；

其中，基于所述语义融合扫描图像特征，生成所述优化扫描图像，包括：将所述语义融合扫描图像浅层特征图通过基于解码器的图像优化生成器以得到所述优化扫描图像；

其中，所述的基于扫描实物获得的虚拟3D模型系统，还包括训练步骤：用于对所述基于深度神经网络模型的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练；

其中，所述训练步骤，包括：

获取训练数据，所述训练数据包括训练扫描图像，以及，所述优化扫描图像的真实图像；

将所述训练扫描图像通过所述基于深度神经网络模型的图像特征提取器以得到训练扫描图像浅层特征图、训练扫描图像中层特征图和训练扫描图像深层特征图；

融合所述训练扫描图像中层特征图和所述训练扫描图像深层特征图以得到训练扫描图像语义融合特征图；

使用所述联合语义传播模块来融合所述训练扫描图像语义融合特征图和所述训练扫描图像浅层特征图以得到训练语义融合扫描图像浅层特征图；

对所述训练语义融合扫描图像浅层特征图展开后得到的语义融合扫描图像浅层特征向量的各个特征值进行优化以得到优化后训练语义融合扫描图像浅层特征图；

将所述优化后训练语义融合扫描图像浅层特征图通过所述基于解码器的图像优化生成器以得到训练优化扫描图像；

计算所述训练优化扫描图像和所述真实图像之间的交叉熵损失函数值以得到图像间交叉熵损失函数值；

基于所述图像间交叉熵损失函数值并通过梯度下降的反向传播来对所述基于深度神经网络模型的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像优化生成器进行训练；

其中，对所述训练语义融合扫描图像浅层特征图展开后得到的语义融合扫描图像浅层特征向量的各个特征值进行优化以得到优化后训练语义融合扫描图像浅层特征图，包括：

以如下优化公式对所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的各个特征值进行优化以得到所述优化后训练语义融合扫描图像浅层特征图；

其中，所述优化公式为：其中，/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量，/>和/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的第/>和第/>个特征值，且/>是所述训练语义融合扫描图像浅层特征图展开后得到的训练语义融合扫描图像浅层特征向量的全局特征均值，/>是所述优化后训练语义融合扫描图像浅层特征图展开后得到的优化后训练语义融合扫描图像浅层特征向量。