CN115830244A - 一种三维模型重建方法及装置 - Google Patents

Abstract

本申请涉及三维扫描技术领域，为一种三维模型重建方法及装置。本申请实施例提供的技术方案中，通过获取多角度多时间序列下的静态环境的图像数据，基于网格构建模型实现对于三维模型结构的搭建，再通过ARCore将采集到的图像数据转化为拥有颜色的3D点云信息，将前得到的三维模型和点云匹配，即可得到彩色化的三维模型。实现了针对于三维模型构建过程中结构与颜色的统一协同处理，降低了多个独立步骤所造成的结构与颜色之间不匹配、真实度较低的问题。

Description

一种三维模型重建方法及装置

技术领域

本申请涉及三维扫描技术领域，为一种三维模型重建方法及装置。

背景技术

三维扫描是指集光、机、电和计算机技术于一体的高新技术，主要用于采集并分析物体或环境的几何构造和外观数据，并将采集到的数据进行三维重建，得到被扫描物体的三维数字模型。在利用三维扫描仪扫描印模，从多个角度分别获取印模数据，利用三维扫描仪得到的高精度的印模数据，进行三维重建最终得到三维模型。

而针对于三维扫描的最终效果包括三维模型的整体结构以及三维表面上附着的颜色，在现有技术中针对于三维扫描的整体结构特点以及三维表面的颜色信息的建立为两个独立的步骤，即分别通过表面重建算法和颜色重建算法独立进行。通过这两个独立的处理过程，虽然能够实现对于最终三维模型的重构建立但是因为独立的步骤会因为独立的算法导致最终重构的三维模型结构与颜色之间的匹配度较低，与环境的真实度相差较大的问题。

发明内容

为了解决以上的技术问题，本申请提供一种能够将结构重构和颜色重构进行联动统一的方法及装置，实现对于二者的融合，提高了三维模型构建过程的统一性和协同性。

为了达到上述目的，本申请实施例采用的技术方案如下：

第一方面，提供一种三维模型重建方法，所述方法包括：获取多个不同角度、不同时间序列的多个连续帧图像，基于网格构建模型对多个所述连续帧图像进行特征提取、特征融合得到网格数据；对多个所述连续帧图像基于ARcore进行处理，得到点云特征估计，所述点云特征估计包含颜色特征；对所述点云特征估计和所述网格数据中的多个点进行匹配，得到点云特征估计与网格数据的匹配关系，并基于所述匹配关系对所述网格数据进行颜色赋值得到最终的网格数据为三维模型。

进一步的，所述网格构建模型包括逐层连接的反向映射层、门序列层和多层感知层。

进一步的，所述网格构建模型还包括图像编码器，所述图像编码器将多个连续帧图像进行编码处理发送至反向映射层。

进一步的，所述反向映射层将多个所述连续帧图像进行反向映射得到多个初始3D体素特征，对多个所述3D体素特征进行平均处理得到3D体素特征。

进一步的，所述门序列层对多个时间序列下的所述连续帧所对应的3D提速特征进行融合，得到融合后的3D体素特征。

进一步的，所述多层感知层对融合后的3D体素特征进行处理，得到关于所述3D体素特征的TSDF透明度预测值及SDF预测值。

进一步的，对所述点云特征和所述网格数据中的多个点进行匹配，包括：基于ICP算法获得所述网格数据与点云特征的转换矩阵，基于所述转换矩阵获取所述点云特征和所述网格数据中点与点之间的关系。

进一步的，获取点云特征与网格数据的匹配关系，包括：在所述点云特征中确定距离所述网格数据各表面最近的多个点，根据所述点的颜色特征，对所述网格数据各表面进行颜色赋值。

进一步的，基于所述匹配关系对所述网格数据进行颜色赋值得到最终的网格数据为三维模型，包括：基于被颜色赋值后的各点进行颜色比对，当多个点颜色一致时，则确定该点颜色为当前颜色；若不一致，则可根据各个点与表面边的距离，进行插值计算，得到该表面的渐进颜色。

第二方面，提供一种三维模型重建装置，所述装置包括：网格数据构建模块，用于将多个不同角度、不同时间序列的多个连续帧图像基于网格构建模型得到网格数据；点云特征构建模块，用于对多个连续帧图像基于ARcore进行处理得到点云特征估计；三维模型构建模块，用于将所述网格数据、所述点云特征进行匹配构建得到最终的网格数据为三维模型

第三方面，提供一种终端设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述任意一项所述方法的步骤。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述方法的步骤。

本申请实施例提供的技术方案中，通过获取多角度多时间序列下的静态环境的图像数据，基于网格构建模型实现对于三维模型结构的搭建，再通过ARCore将采集到的图像数据转化为拥有颜色的3D点云信息，将前得到的三维模型和点云匹配，即可得到彩色化的三维模型。实现了针对于三维模型构建过程中结构与颜色的统一协同处理，降低了多个独立步骤所造成的结构与颜色之间不匹配、真实度较低的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。

图1是本申请实施例提供的终端设备的结构示意图。

图2是本申请的一些实施例所示的方法示意图。

图3是本申请的一些实施例所示的装置方框示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

本申请实施例提供一种终端设备，图1示出的是本发明提供的终端设5备的实施例的示意图。如图1所示，本发明实施例包括如下装置：至少一个处理器120；以及存储器110，存储器110存储有可在处理器上运行的计算机指令即计算机程序。

在本实施例中，存储器、处理器以及通信单元各元件相互之间直接或

间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可0通过一条或多条通讯总线或信号线实现电性连接。存储器用于存储特定的信息和程序，通信单元用于将处理后的信息进行发送至对应的用户端。

本实施例将存储模块划分为两个存储区域，其中一个存储区为程序存储单元，另一个存储区域为数据存储单元。程序存储单元相当于固件区，

该区域的读写权限设置为只读模式，其内存储的数据不可擦除和更改。而5数据存储单元中的数据可以进行擦除或读写，当数据存储区域的容量已满

时，新写入的数据会对最早期的历史数据进行覆盖。

其中，存储器可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读

存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器0(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Ele超声ric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理

器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网5络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图2，针对于本实施例中的计算机指令由处理器执行时实现以下方法：

步骤S210.获取多个不同角度、不同时间序列的多个连续帧图像，基于网格构建模型对多个所述连续帧图像进行特征提取、特征融合得到网格数据。

在本实施例中，三维模型的构建针对于静态环境或者静态环境中的静态物体的三维模型构建，针对于三维模型构建的基本的处理方法为对于构建对象进行图像采集，并对采集后的图像进行处理得到符合目标要求的三维模型，其中三维模型为静态环境或者静态物体的计算机化图形。其中，针对于连续帧图像的获取基于设置在终端设备外部或者内部与终端设备中的存储器或者处理器通信的图像采集装置，其中针对于本实施例采用的图像采集装置为具有色彩成像能力的RGB摄像装置即可。其中，针对于不同角度以及不同时间序列的定义分别为，针对于静态环境或静态物体进行全角度的图像采集行为，因为在进行图像采集过程中这对于图像帧具有时间的前后顺序，所以针对于采集后的图像即通过时间排序也就是时间序进行呈现的方式形成的连续帧图像。

在本实施例中，通过图像采集装置获取到的多个连续帧图像为初始的图像数据，为了后续进行三维模型的构建需要将平面的图像数据进行转换为具有三维表达特点的网格数据即mesh数据。针对于mesh数据即网格数据为三维模型的基础数据，所以针对于此步骤的核心为将获取到的多个平面的连续帧图像通过网络构建模型进行特征提取并将多个特征进行融合得到网格数据。

而针对于特征提取以及特征融合的方法本实施例基于网格构建模型实现，其中对于本市实施例提出的网格构建模型包括逐层连接的图像编码器、反向映射层、门序列层和多层感知层。

其中，对于图像编码器主要用于将多个连续帧图像进行编码处理后发送至反向映射层，可采用现有的编码器结构进行实现。针对于反向映射层是将多个连续帧图像进行反向映射得到多个初始3D体素特征，而在本实施例中为了实现对于3D体素特征完整和真实的获得，根据摄像头角度的不同，多个角度的体素特征所呈现的可见特征也不同。因此，需要对多角度体素特征的平均处理，形成可信度较高的3D体素特征。后对多个3D体素特征进行平均处理得到3D提速特征。针对于门序列层对多个时间序列下的连续帧所对应的3D体素特征进行融合，得到融合后的3D体素特征。而针对于多层感知层主要是对融合后的3D体素特征进行处理，得到关于所述3D体素特征的TSDF透明度预测值及SDF预测值，完成最终的网格数据的生成。

步骤S220.对多个所述连续帧图像基于ARcore进行处理，得到点云特征估计，所述点云特征估计包含颜色特征。

在本实施例中，通过ARCore框架搭载的深度估计功能和摄像头位姿的估计功能，将拍摄到的RGB图像直接转化为拥有颜色的点云。

步骤S230.对所述点云特征估计和所述网格数据中的多个点进行匹配，得到点云特征估计与网格数据的匹配关系，并基于所述匹配关系对所述网格数据进行颜色赋值得到最终的网格数据为三维模型。

通过步骤S210和步骤S220分别获得网格数据和对应的点云估计，而针对于步骤S230主要是将以上两个步骤获得的信息进行融合实现网格数据点云估计中颜色的对应赋值。

其中，针对于点云特征与网格数据中的多个点进行匹配的过程包括：基于ICP算法获得所述网格数据与点云特征的转换矩阵，基于所述转换矩阵获取所述点云特征和所述网格数据中点与点之间的关系。其中，针对于ICP算法为现有算法，在本实施例中不再进行累述。

针对于获取到的点云特征和网格数据中点与点的关系后，需要对点云特征与网格数据进行匹配关系的确定也就是针对于网格数据中点云特征的颜色赋值处理，即在所述点云特征中确定距离所述网格数据各表面最近的多个点，根据所述点的颜色特征，对所述网格数据各表面进行颜色赋值。在本实施例中，针对于被颜色赋值后的各点进行颜色比对，当多个点颜色一致时，则确定该点颜色为当前颜色；若不一致，则可根据各个点与表面边的距离，进行插值计算，得到该表面的渐进颜色。

并且，参阅图3，本实施例提供一种三维模型重建装置300，所述装置包括：网格数据构建模块310，用于将多个不同角度、不同时间序列的多个连续帧图像基于网格构建模型得到网格数据。点云特征构建模块320，用于对多个连续帧图像基于ARcore进行处理得到点云特征估计。三维模型构建模块330，用于将所述网格数据、所述点云特征进行匹配构建得到最终的网格数据为三维模型。

本申请实施例提供的技术方案中，通过获取多角度多时间序列下的静态环境的图像数据，基于网格构建模型实现对于三维模型结构的搭建，再通过ARCore将采集到的图像数据转化为拥有颜色的3D点云信息，将前得到的三维模型和点云匹配，即可得到彩色化的三维模型。实现了针对于三维模型构建过程中结构与颜色的统一协同处理，降低了多个独立步骤所造成的结构与颜色之间不匹配、真实度较低的问题。

需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义在此均不作限定。

本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、“目标”等，可以根据前后文进行毫无

疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列5表”等，也可以根据前后文进行毫无疑义地推导和确定。

本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。

0上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述

详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

5同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并

不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、0结构或特点可以进行适当的组合。

另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相

应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固5件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或

软件均可以被称为“单元”、“组件”或“系统”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。

本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的系统。

同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种三维模型重建方法，其特征在于，所述方法包括：

获取多个不同角度、不同时间序列的多个连续帧图像，基于网格构建模型对多个所述连续帧图像进行特征提取、特征融合得到网格数据；

对多个所述连续帧图像基于ARcore进行处理，得到点云特征估计，所述点云特征估计包含颜色特征；

对所述点云特征估计和所述网格数据中的多个点进行匹配，得到点云特征估计与网格数据的匹配关系，并基于所述匹配关系对所述网格数据进行颜色赋值得到最终的网格数据为三维模型。

2.根据权利要求1所述的三维模型重建方法，其特征在于，所述网格构建模型包括逐层连接的反向映射层、门序列层和多层感知层。

3.根据权利要求2所述的三维模型重建方法，其特征在于，所述网格构建模型还包括图像编码器，所述图像编码器将多个连续帧图像进行编码处理发送至反向映射层。

4.根据权利要求3所述的三维模型重建方法，其特征在于，所述反向映射层将多个所述连续帧图像进行反向映射得到多个初始3D体素特征，对多个所述3D体素特征进行平均处理得到3D体素特征。

5.根据权利要求3所述的三维模型重建方法，其特征在于，所述门序列层对多个时间序列下的所述连续帧所对应的3D体素特征进行融合，得到融合后的3D体素特征。

6.根据权利要求3所述的三维模型重建方法，其特征在于，所述多层感知层对融合后的3D体素特征进行处理，得到关于所述3D体素特征的TSDF透明度预测值及SDF预测值。

7.根据权利要求1所述的三维模型重建方法，其特征在于，对所述点云特征和所述网格数据中的多个点进行匹配，包括：

基于ICP算法获得所述网格数据与点云特征的转换矩阵，基于所述转换矩阵获取所述点云特征和所述网格数据中点与点之间的关系。

8.根据权利要求7所述的三维模型重建方法，其特征在于，获取点云特征与网格数据的匹配关系，包括：

在所述点云特征中确定距离所述网格数据各表面最近的多个点，根据所述点的颜色特征，对所述网格数据各表面进行颜色赋值。

9.根据权利要求8所述的三维模型重建方法，其特征在于，基于所述匹配关系对所述网格数据进行颜色赋值得到最终的网格数据为三维模型，包括：

基于被颜色赋值后的各点进行颜色比对，当多个点颜色一致时，则确定该点颜色为当前颜色；若不一致，则可根据各个点与表面边的距离，进行插值计算，得到该表面的渐进颜色。

10.一种三维模型重建装置，其特征在于，所述装置包括：

网格数据构建模块，用于将多个不同角度、不同时间序列的多个连续帧图像基于网格构建模型得到网格数据；

点云特征构建模块，用于对多个连续帧图像基于ARcore进行处理得到点云特征估计；

三维模型构建模块，用于将所述网格数据、所述点云特征进行匹配构建得到最终的网格数据为三维模型。

Images