CN116486006A - 工业元宇宙的3d模型构建方法和系统 - Google Patents

Abstract

本发明提供一种工业元宇宙的3D模型构建方法和系统，其中，该工业元宇宙的3D模型构建方法包括以下步骤：采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；从多张目标设备图像中选取满足预设条件的图像对；采用SFM对图像对依次进行BA处理，以获取目标场景的几何信息和图像采集单元的参数信息；采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的工业元宇宙的3D模型。由此，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

Description

工业元宇宙的3D模型构建方法和系统

技术领域

本发明涉及3D建模技术领域，具体涉及一种工业元宇宙的3D模型构建方法和工业元宇宙的3D模型构建系统。

背景技术

相关技术中，在对工业元宇宙的3D模型进行构建时，通常需要人工参与构建，无法实现全自动建模，因此，效率较低，成本较高。

发明内容

本发明为解决上述技术问题，提供了一种工业元宇宙的3D模型构建方法，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

本发明采用的技术方案如下：

一种工业元宇宙的3D模型构建方法，包括以下步骤：采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；从多张所述目标设备图像中选取满足预设条件的图像对；采用SFM对所述图像对依次进行BA处理，以获取所述目标场景的几何信息和所述图像采集单元的参数信息；

采用NeRF模型对所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息进行处理，以构建所述目标场景对应的所述工业元宇宙的所述3D模型。

在本发明的一个实施例中，采用NeRF模型对所述多张目标设备图像、所述目标场景的所述几何信息和所述图像采集单元的所述参数信息进行处理，以构建所述目标场景对应的3D模型，包括：将所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息输入多层感知机以获取相应的体积密度和RGB颜色值；采用体积渲染技术将所述体积密度和所述RGB颜色值合成相应的贴图，并根据所述贴图构建所述3D模型。

在本发明的一个实施例中，从多张所述目标设备图像中选取满足预设条件的图像对，包括：从多张所述目标设备图像中提取焦距信息，并采用特征提取算法提取相应的图像特征；采用Kd-Tree模型计算每两张所述目标设备图像的图像特征之间的欧式距离，并根据所述欧式距离进行特征点匹配，以及从所述多张目标设备图像中选取出特征点匹配成功的图像对。

在本发明的一个实施例中，从多张所述目标设备图像中选取满足预设条件的图像对，还包括：针对每一个所述图像对，分别计算相应的对极几何和F矩阵，并通过ransac算法根据所述对极几何和所述F矩阵对所述图像对进行优化。

一种工业元宇宙的3D模型构建系统，包括：第一获取模块，所述第一获取模块用于采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；图像选取模块，所述图像选取模块用于从多张所述目标设备图像中选取满足预设条件的图像对；第二获取模块，所述第二获取模块用于采用SFM对所述图像对依次进行BA处理，以获取所述目标场景的几何信息和所述图像采集单元的参数信息；模型构建模块，所述模型构建模块用于采用NeRF模型对所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息进行处理，以构建所述目标场景对应的3D模型。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的工业元宇宙的3D模型构建方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的工业元宇宙的3D模型构建方法。

本发明的有益效果：

本发明能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

附图说明

图1为本发明实施例的工业元宇宙的3D模型构建方法的流程图；

图2为本发明实施例的工业元宇宙的3D模型构建系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明实施例的工业元宇宙的3D模型构建方法的流程图。

如图1所示，本发明实施例的工业元宇宙的3D模型构建方法可包括以下步骤：

S1，采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像。

其中，目标场景可为工厂厂区、车间等建模场景，图像采集单元可为SLAM移动机器人，集成了激光雷达、深度相机、鱼眼相机等多种传感器，可以方便快捷地在建模场景中自主/受控移动，并采集各类视觉数据，SLAM移动机器人在检测到目标设备后，会在目标设备周围移动，从不同的位置和角度拍摄多张目标设备图像，作为图像输入，供后续的自动建模使用。

S2，从多张目标设备图像中选取满足预设条件的图像对。

在本发明的一个实施例中，从多张目标设备图像中选取满足预设条件的图像对，包括：从多张目标设备图像中提取焦距信息，并采用特征提取算法提取相应的图像特征；采用Kd-Tree模型计算每两张目标设备图像的图像特征之间的欧式距离，并根据欧式距离进行特征点匹配，以及从多张目标设备图像中选取出特征点匹配成功的图像对。

具体而言，首先，可从目标设备图像中提取相应的焦距信息，并采用特征提取算法，例如，SIFT(Scale Invariant Feature Transform，尺度不变特征转换)算法提取出相应的图像特征，然后，采用Kd-Tree(K-demension tree)模型计算两张目标设备图像的图像特征之间的欧式距离，并根据欧式距离进行特征点匹配，其中，如果欧式距离在预设范围内，则特征点匹配成功，从多张目标设备图像中选取出特征点匹配成功的图像。

也就是说，作为一种可能的实施方式，如果两张图像的图像特征之间的欧式距离处于预设范围，则该两张图像为满足预设条件的图像对。

在本发明的一个实施例中，从多张目标设备图像中选取满足预设条件的图像对，还包括：针对每一个图像对，分别计算相应的对极几何和F矩阵，并通过ransac算法根据对极几何和F矩阵对图像对进行优化。

具体而言，在选取出特征点匹配成功的图像对后，对于每一个图像对，可分别计算相应的对极几何和F矩阵，并通过ransac算法根据对极几何和F矩阵对图像对进行优化。

也就是说，作为另一种可能的实施方式，对图像特征之间的欧式距离处于预设范围的图像对进行优化后所得到的图像对为满足预设条件的图像对。

S3，采用SFM对图像对依次进行BA处理，以获取目标场景的几何信息和图像采集单元的参数信息。

具体而言，在选取出满足预设条件的图像对后，输入SFM(structure frommotion，运动恢复结构)。首先对初始化选择的两幅图像，即一个图像对进行BA(Bundleadjust，光束法平差)处理，然后循环添加新的图像进行新的BA处理，最后直到没有可以继续添加的合适的图像，BA处理结束，由此，可以获取目标场景的几何信息，即稀疏的3D点云信息，以及图像采集单元的参数信息，其中，参数信息可包括相机的内参、图像拍摄时相机的位置和姿态等信息。S4，采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的工业元宇宙的3D模型。

S4，采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的工业元宇宙的3D模型。

在本发明的一个实施例中，采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的3D模型，包括：将多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息输入多层感知机以获取相应的体积密度和RGB颜色值；采用体积渲染技术将体积密度和RGB颜色值合成相应的贴图，并根据贴图构建3D模型。

具体而言，采用NeRF(Neural Radiance Fields，神经辐射场)模型可将目标场景表示为空间中任何点的体积密度和RGB颜色值。其中，NeRF模型的输入可为从不同位置拍摄同一目标场景下的多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息。具体地，张目标设备图像、目标场景的几何信息和图像采集单元的参数信息可输入NeRF模型的多层感知机以产生相应的体积密度和RGB颜色值，取不同的位置，采用体积渲染技术将体积密度和RGB颜色值合成相应的贴图，最后根据贴图和相应的网格构建3D模型。

由此，本发明利用NeRF模型以逆向渲染的方式，模拟光线在现实世界中的运作，以实现用数张从不同角度拍摄的2D图像来重构一个逼真的3D场景，能够保持快速和紧凑，同时捕获高频、局部细节。由多层感知机表示的函数，作为神经图形基元。由此，可将神经网络输入映射到高维空间的编码，从紧凑模型中提取高近似质量。

需要说明的是，可预先采用训练集训练NeRF模型，其中，训练集的获取方式与目标设备图像的获取方式相似。具体地，可将训练集以及对应的几何信息和参数信息输入NeRF模型进行训练，并将NeRF模型输出的新图像与训练集进行比对，以及根据比对结果调整多层感知机的权重，以对NeRF模型进行优化，通过不断的训练迭代，使得NeRF模型对3D物体和场景的表达越来越准确。

由此，本发明过利用计算机视觉、计算机图形学和机器人控制等技术知识，实现从视觉数据采集到视觉数据重建以生成3D模型的自动化流程，无需手工实现，有效地减少人工投入，降低了人力成本，减少了建模时间，而且能够降低建模的技术门槛，使3D建模这项技术更易获得，作为基础支撑技术促进工业元宇宙的落地和发展。

综上所述，根据本发明实施例的工业元宇宙的3D模型构建方法，采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像，并从多张目标设备图像中选取满足预设条件的图像对，以及采用SFM对图像对依次进行BA处理，以获取目标场景的几何信息和图像采集单元的参数信息，并采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的工业元宇宙的3D模型。由此，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

对应上述实施例的工业元宇宙的3D模型构建方法，本发明还提出了一种工业元宇宙的3D模型构建系统。

如图2所示，本发明实施例的工业元宇宙的3D模型构建系统可包括：第一获取模块100、图像选取模块200、第二获取模块300和模型构建模块400。

其中，第一获取模块100用于采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；图像选取模块200用于从多张目标设备图像中选取满足预设条件的图像对；第二获取模块300用于采用SFM对图像对依次进行BA处理，以获取目标场景的几何信息和图像采集单元的参数信息；模型构建模块400用于采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的3D模型。

在本发明的一个实施例中，模型构建模块400具体用于：将多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息输入多层感知机以获取相应的体积密度和RGB颜色值；采用体积渲染技术将体积密度和RGB颜色值合成相应的贴图，并根据贴图构建3D模型。

在本发明的一个实施例中，第二获取模块200具体用于：从多张目标设备图像中提取焦距信息，并采用特征提取算法提取相应的图像特征；采用Kd-Tree模型计算每两张目标设备图像的图像特征之间的欧式距离，并根据欧式距离进行特征点匹配，以及从多张目标设备图像中选取出特征点匹配成功的图像对。

在本发明的一个实施例中，第二获取模块200具体还用于：在本发明的一个实施例中，第二获取模块200具体用于：

需要说明的是，本发明的工业元宇宙的3D模型构建系统更具体的实施例可参照上述工业元宇宙的3D模型构建方法的实施例，为避免冗余，在此不再详述。

根据本发明实施例的工业元宇宙的3D模型构建系统，通过第一获取模块采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像，并通过图像选取模块从多张目标设备图像中选取满足预设条件的图像对，以及通过第二获取模块采用SFM对图像对依次进行BA处理，以获取目标场景的几何信息和图像采集单元的参数信息，并通过模型构建模块采用NeRF模型对多张目标设备图像、目标场景的几何信息和图像采集单元的参数信息进行处理，以构建目标场景对应的3D模型。由此，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

对应上述实施例，本发明还提出了一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述计算机程序时，实现上述的工业元宇宙的3D模型构建方法。

根据本发明实施例的计算机设备，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

对应上述实施例，本发明还提出了一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的工业元宇宙的3D模型构建方法。

根据本发明实施例的非临时性计算机可读存储介质，能够实现全自动的工业元宇宙3D建模，无需人工参与，因此，大大提高了建模的效率，降低了成本。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种工业元宇宙的3D模型构建方法，其特征在于，包括以下步骤：

采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；

从多张所述目标设备图像中选取满足预设条件的图像对；

采用SFM对所述图像对依次进行BA处理，以获取所述目标场景的几何信息和所述图像采集单元的参数信息；

采用NeRF模型对所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息进行处理，以构建所述目标场景对应的所述工业元宇宙的所述3D模型。

2.根据权利要求1所述的工业元宇宙的3D模型构建方法，其特征在于，采用NeRF模型对所述多张目标设备图像、所述目标场景的所述几何信息和所述图像采集单元的所述参数信息进行处理，以构建所述目标场景对应的3D模型，包括：

将所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息输入多层感知机以获取相应的体积密度和RGB颜色值；

采用体积渲染技术将所述体积密度和所述RGB颜色值合成相应的贴图，并根据所述贴图构建所述3D模型。

3.根据权利要求1所述的工业元宇宙的3D模型构建方法，其特征在于，从多张所述目标设备图像中选取满足预设条件的图像对，包括：

从多张所述目标设备图像中提取焦距信息，并采用特征提取算法提取相应的图像特征；

采用Kd-Tree模型计算每两张所述目标设备图像的图像特征之间的欧式距离，并根据所述欧式距离进行特征点匹配，以及从所述多张目标设备图像中选取出特征点匹配成功的图像对。

4.根据权利要求3所述的工业元宇宙的3D模型构建方法，其特征在于，从多张所述目标设备图像中选取满足预设条件的图像对，还包括：

针对每一个所述图像对，分别计算相应的对极几何和F矩阵，并通过ransac算法根据所述对极几何和所述F矩阵对所述图像对进行优化。

5.一种工业元宇宙的3D模型构建系统，其特征在于，包括：

第一获取模块，所述第一获取模块用于采用图像采集单元在目标场景中从多个角度对检测到的目标设备进行图像采集，以获取多张目标设备图像；

图像选取模块，所述图像选取模块用于从多张所述目标设备图像中选取满足预设条件的图像对；

第二获取模块，所述第二获取模块用于采用SFM对所述图像对依次进行BA处理，以获取所述目标场景的几何信息和所述图像采集单元的参数信息；

模型构建模块，所述模型构建模块用于采用NeRF模型对所述多张目标设备图像、所述目标场景的几何信息和所述图像采集单元的参数信息进行处理，以构建所述目标场景对应的3D模型。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-4中任一项所述的工业元宇宙的3D模型构建方法。

7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-4中任一项所述的工业元宇宙的3D模型构建方法。