CN109255843A - 三维重建方法、装置及增强现实ar设备 - Google Patents

Abstract

本申请提供了一种三维重建方法、装置及AR设备，利用AR设备获取当前环境中对象的图像信息，并将该对象各角度的图像信息作为样本数据，利用神经网络算法进行模型训练，得到该对象的三维重建模型，这样，在用户穿戴该AR设备后，直接将扫描得到的对象的图像信息作为三维重建模型的输入进行处理，快速且准确得到对象的三维网格数据，提高了生成三维对象模型的效率及精准度，解决了传统三维重建方式得到的三维对象模型边缘锯齿或不够圆滑，导致三维对象模型与实际对象存在差异的问题。

Description

三维重建方法、装置及增强现实AR设备

技术领域

本申请主要涉及计算机图形学和计算机视觉领域，更具体地说是涉及一种三维重建方法、装置及增强现实AR设备。

背景技术

三维重建是一种将彩色图像和深度图像通过分析处理，运用一定的算法来生成对应物体三维信息的一种技术，也是在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用到医学、军事、教学、海洋等多个领域，且得到的三维模型在增强现实(AR，Augmented Reality)场景中也得到很好的应用。

传统的三维重建技术通常是以二维图像作为输入，重建出场景中的三维模型，但这受限于输入数据，重建出的三维模型往往不够完整，与真实物体差异较大，真实感较低。

近几年，技术人员提出了通过对物体的不同角度拍摄彩色图像，使用相关计算机图形学和视觉技术，来构建该物体的三维模型的方法。但是，但这种三维重建方法需要花费较长时间对物体进行扫描，且在构建三维模型时，因生成的模型表面划分结构不合理，导致得到模型顶点数目很高，模型边缘参差不齐，降低了三维模型构建效率及真实性。

发明内容

有鉴于此，本发明提供了一种三维重建方法、装置及AR设备，利用预先训练得到的神经网络模型，对采集到的对象的图像信息进行处理，快速且准确得到对象的三维网格数据，提高了生成三维对象模型的效率及精准度。

为了实现上述发明目的，本申请提供了以下技术方案：

本发明实施例提供了一种三维重建方法，应用于增强现实AR设备，所述方法包括：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

可选的，所述获取当前环境中对象的图像信息，包括：

获取当前环境中对象不同角度的彩色图像数据；

或者，获取当前环境中对象不同角度的彩色图像数据及对应的点云数据。

可选的，所述将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，利用得到的三维网格数据，生成所述对象的三维对象模型，包括：

将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

可选的，所述方法还包括：

展示所述对象的三维对象模型的生成过程。

可选的，所述方法还包括：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

可选的，所述方法还包括：

将所述对象的三维网格数据发送至第二设备进行展示。

可选的，所述方法还包括：

将获取的所述对象的不同角度的图像信息发送至第三设备，由所述第三设备基于神经网络算法，对所述对象不同角度的图像信息进行训练，得到所述对象的三维重建模型；

接收所述第三设备反馈的所述三维重建模型。

本发明实施例还提供了一种三维重建装置，应用于增强现实AR设备，所述装置包括：

图像信息获取模块，用于获取当前环境中对象的图像信息；

图像信息处理模块，用于将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

三维模型生成模块，用于利用得到的三维网格数据，生成所述对象的三维对象模型。

本发明实施例还提供了一种增强现实AR设备，所述AR设备包括：

固件装置，用于在用户佩戴所述AR设备时，维持所述AR设备与所述用户头部的相对位置关系；

图像采集装置，用于在用户佩戴所述AR设备时，获取当前环境中的对象的图像信息；

存储器，用于存储实现如上所述的三维重建方法的程序；

处理器，用于加载并执行所述存储器存储的程序，所述程序用于：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

可选的，所述处理器执行所述程序还用于展示所述对象的三维对象模型的生成过程，所述AR设备还包括：

输入装置，用于获取用户针对所述对象的三维对象模型标记指令，并将所述标记指令发送至处理器；

所述处理器执行所述程序还用于：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

由此可见，与现有技术相比，本申请利用增强现实AR设备获取当前环境中对象的图像信息，并将该对象各角度的图像信息作为样本数据，利用神经网络算法进行模型训练，得到该对象的三维重建模型，这样，在用户穿戴该AR设备后，直接将扫描得到的对象的图像信息作为三维重建模型的输入进行处理，相对于传统扫描对象，得到与对象大小成正比的填充顶点数据(即三维网格数据，用来得到多个三角面或四边面的网格)，本申请采用的这种神经网络处理方式，只需要划分出简单的几个面表示该对象，大大减小了三维网格数据中的顶点数目，提高了三维对象模型的重建效率，且解决了传统三维重建方式得到的三维对象模型边缘锯齿或不够圆滑，导致三维对象模型与实际对象存在差异的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种三维重建系统的结构示意图；

图2为本发明实施例提供的一种三维重建方法的流程示意图；

图3为本发明实施例提供的另一种三维重建方法的流程示意图；

图4为本发明实施例提供的又一种三维重建方法的流程示意图；

图5为本发明实施例提供的一种三维重建方法的场景流程示意图；

图6为本发明实施例提供的一种三维重建装置的结构示意图；

图7为本发明实施例提供的另一种三维重建装置的结构示意图；

图8为本发明实施例提供的又一种三维重建装置的结构示意图；

图9为本发明实施例提供的一种AR设备的结构示意图；

图10为本发明实施例提供的另一种AR设备的结构示意图。

具体实施方式

本发明的发明人发现：现有的三维重建方法中，对重建对象进行扫描，生成的用于构建三维模型的顶点数据与扫描面积成正比，如扫描一个白色板子，需要根据板子的大小正比例填充顶点数据，生成很多三角面或四边面的网格，不仅会影响三维模型的重建速度，且会导致重构的三维模型不够精致，可能会存在破洞，边缘也可能参差不齐，降低了三维模型的真实性。

为了改善上述问题，发明人提出通过深度学习神经网络实现三维重建，尤其是对于比较规则的物体，神经网络能够更好地划分网络大小和分布，仍以对象是板子为例，利用神经网络可以划分出简单的几个面来表示这个板子，不需要划分成大量三角面或四边面，大大减小顶点数目，且由此生成的三维模型也更加精致。

基于此，本发明可以利用对象的图像信息作为样本数据，先训练得到该对象的三维重建模型(其实际上是神经网络模型)，这样，用户佩戴AR设备期间，AR设备采集到对象的当前图像信息后，能够直接输入该三维重建模型，快速且准确地得到该对象的三维模型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了一种实现本发明实施例三维重建方法的系统架构示意图，该系统可以包括增强现实(AR，Augmented Reality)设备10及计算机设备20，该AR设备10可以通过网络与计算机设备20进行数据交互。

AR设备10是通过电脑技术，将虚拟的信息应用到真实世界，即能够将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间，在佩戴AR设备的用户眼前，展示真实世界信息与虚拟信息叠加后的图像。

通常情况下，AR设备的系统包括头戴式显示器、跟踪系统及移动计算能力等三个组件构成，本发明实施例对AR设备的具体结构及其产品形态不作限定，即对头戴式显示器的外形结构不做限定，如图1所示挂耳式的眼镜，但并不局限于此。

在本实施例中，用户佩戴上AR设备10后，可以采集需要重构三维模型的目标对象的图像信息，本实施例对该AR设备10中实现图像采集功能的图像采集设备不做限定，如深度摄像头等。

计算机设备20可以是具有计算功能的移动终端或服务器，本实施例对该计算机设备的具体产品类型不做限定。

在本实施例中，为了提高对象的三维模型的重建效率及精准度，提出利用预先训练的神经网络模型(本实施例将其称为三维重建模型)，快速且准确地实现对象的三维重建。其中，利用神经网络模型进行三维重建的过程可以在AR设备中实现，而神经网络模型的训练过程可以在计算机设备中实现，得到神经网络模型后，再发送至AR设备，此时，AR设备采集到对象的图像信息后，需要发送至计算机设备进行模型训练。

当然，上述神经网络模型的训练过程也可以在AR设备中实现，这种情况下，计算机设备可以不参与对象的三维重建过程，其可以作为三维对象模型的输出设备，即由AR设备将得到的三维对象模型发送至计算机设备展示。

需要说明，本发明提供的系统并不局限于上文描述的各组成部分，其还可以包括三维打印设备等外部设备(即上文提及到的第二设备)，AR设备得到对象的三维对象模型后，可以发送至三维打印设备进行三维打印等等，本实施例对该三维打印的实现过程不做详述。

结合上图1所示的系统架构示意图，参照图2，示出了本发明一实施例提供的三维重建方法的流程图，该方法也可以应用于AR设备，如上文记载，本实施对该AR设备的产品形态不做限定，且本实施例描述的各方法步骤，可以在训练得到对象的神经网络模型即三维重建模型之后实施，如图2所示，该方法可以包括但并不局限于以下步骤：

步骤S11，获取当前环境中对象的图像信息；

本实施例中，用户佩戴AR设备后，可以由AR设备的图像采集装置，来采集当前环境中拍摄范围内，至少一个对象的图像信息，具体可以根据需要三维重构需求确定，也就是说，用户希望获取哪个对象的三维对象模型，可以朝向该对象进行图像采集，本实施例对AR设备实现图像采集的方法不做限定。

其中，根据三维重建要求，通常采集对象的各个角度的图像信息，以保证最终所得三维对象模型与真实的对象一致，因此，用户佩戴AR设备后，可以不断调整图像拍摄视角，来获取所需的各个角度的图像信息。

可选的，本实施例获取的图像信息具体可以包括相应对象不同角度的彩色图像数据，或者，由该彩色图像数据以及对应的点云数据组成等，本实施例对该图像信息包含的内容，以及各类信息内容的获取方式不做限定。

其中，彩色图像也可以称为RGB图像，R、G、B三个分量对应于红、绿、蓝三个通道的颜色，可以叠加组成图像的不同灰度级别。本实施例可以利用图像采集器对当前拍摄范围内的对象进行图像采集，来获取对象的彩色图像。

对于组成图像的像素点，除了包含亮度值(其可以由上述R、G、B三个分量确定)外，还可以包括器到图像采集器的距离，即深度值。在实际应用中，可以由深度值表示目标对象与测量器材(如图像采集器)之间的距离，且该深度值的大小只与距离有关，与环境、光线、方向等因素无关，因此，目标对象的深度图像能够真实准确的体现景物的几何深度信息，通过建立目标对象的空间模型，能够为深层次的计算机视觉应用提供更坚实的基础。

基于此，为了提高三维对象模型的精准度，本实施例在获取对象的彩色图像的同时，还可以获取对象的深度图像，具体可以获取对象的点云数据(即点云深度数据)。

其中，点云数据可以是由测距设备(如深度传感器)获取的对象表面的信息集合，其扫描资料以点的形式进行记录，且这些点可以是三维坐标，也可以是颜色或光照强度等信息，通常包括点坐标精度、空间分辨率和表面法向量等内容。本发明对获取的点云数据的内容及其存储格式等不做限定。

可选的，对于获取的对象的点云数据，除了获取深度传感器采集到的点云数据外，还可以是在对象不同角度下进行图像采集时，利用距离计算算法，计算得到的AR设备与对象之间的距离值，即通过人工测量的方式获取对象的深度数据作为点云数据。可见，点云数据的获取方式并不唯一，可以根据实际需要确定。

需要说明，当获取的图像信息包括彩色图像数据及点云数据时，通常是获取对象某一角度下的彩色图像数据的同时，获取该角度下对象的点云数据。

步骤S12，将该图像信息输入三维重建模型进行转换处理，得到对象的三维网格数据；

结合上文描述，本实施例的三维重建模型可以是基于神经网络算法，对该对象不同角度的图像信息进行训练得到的，也就是说，该对象不同角度的图像信息可以是模型训练的样本数据，利用神经网络算法进行不断训练，直至满足预设条件，将得到神经网络模型作为三维重建模型，本实施例对模型训练的具体实现过程不做详述。

可选的，上述模型训练过程可以在AR设备中完成，也可以在其他设备(即上文计算机设备)中完成，对于后者，通常是在执行本实施例的三维重建方法之前，由其他设备完成模型训练，并将得到的该对象的三维重建模型发送给AR设备。

基于此，本实施例可以将AR设备获取对象的不同角度的图像信息发送至计算机设备(即上文第三设备)，由该计算机设备基于神经网络算法，对对象不同角度的图像信息进行训练，得到该对象的三维重建模型，并发送至AR设备。此时，该计算机设备可以是服务器或具有计算功能的电脑等终端设备，本实施例对完成三维重建模型的训练的执行体不做限定。

另外，在本实施例实际应用中，结合上文对获取的对象的图像信息的分析，若训练三维重建模型的样本数据仅是对象的彩色图像数据，此处输入三维重建模型的图像信息也可以是对象的彩色图像数据；若样本数据包括对象的彩色图像数据及对应的点云数据，此处输入三维重建模型的图像信息也是对象的彩色图像数据，也可以是彩色图像数据+点云数据。

为了得到更精准的三维对象模型，模型训练的样本数据可以包含点云数据，输入三维重建模型的图像信息也可以包括该点云数据，此时，输入的点云数据可以是由深度传感器获取的。

步骤S13，利用得到的三维网格数据，生成对象的三维对象模型。

其中，三维网格数据是组成三维对象模型的数据，可以包括网格及顶点数据等，具体包括顶点坐标、颜色信息等等，本实施例对该三维网格数据包含的内容不做限定。

实际应用中，一旦得到对象的三维网格数据，实际上也就确定了该对象的空间模型即三维对象模型。因此，本实施例在获取对象每一角度下的图像信息，就可以输入三维重建模型进行转换处理，得到该角度下对象的三维网格数据，从而确定出该角度能够展示的三维对象结构，这样，得到下一角度对应的三维网格数据后，可以在该三维对象结构基础上，进一步重建下一角度能够展示的三维对象结构，即在不断获取对象的各角度下的图像信息过程中，该对象的三维对象模型也将会从无到有同步重建。

可选的，对于上文描述的三维对象模型的重建过程，可以展示在AR设备输出的场景中，以使得佩戴该AR设备的用户能够直观看到对象的空间模型的重构过程。

进一步地，在用户观察得到的三维对象模型期间，若发现某位置与实物不符，用户可以选中该区域，触发AR设备按照上文描述的方式，重新对该区域的三维结构进行重建，以得到更加精准的三维对象模型，还可以据此实现对该对象的三维重建模型的优化，具体实现过程可以参照下文实施例的描述。

综上所述，本实施例通过预先训练对象的神经网络模型模型即三维重建模型，在用户佩戴AR设备后，可以直接利用该神经网络模型对采集的图像信息进行处理，得到该对象的三维对象模型，相对于传统的利用大量扫描图像及特征点算法，生成三维对象模型的方法，极大提高了计算速度及三维对象模型的精准度。

且神经网络不需要划分出大量三角面或四边面描述对象，通过优化生成对象的多个顶点的信息，减少了模型顶点数目，尤其是对颜色比较单调的对象，大大减少生成模型文件(即三维网格文件)大小，进一步提高了三维对象模型的重建速度。

作为本发明一可选实施例，如图3所示的该可选实施例提供的三维重建方法的流程图，该方法可以包括：

步骤S21，获取当前环境中对象的不同角度的彩色图像数据及对应的点云数据；

关于彩色图像数据及其对应的点云数据的获取方法，可以参照上述方法实施例相应部分的描述，本实施例在此不再赘述。

步骤S22，将不同角度的彩色图像数据及对应的点云数据作为模型输入数据，依次输入三维重建模型进行转换处理，得到该对象相应角度下的视觉区域的三维网格数据；

在这种情况下，该三维重建模块可以是基于神经网络算法，对该对象(包括与该对象外观结构完全相同的对象，也可以包括与其外观结构非常相似的对象)的各个角度进行图像采集，得到每一角度下采集到的彩色图像数据以及对应的点云数据。

如上述分析，该点云数据可以是深度传感器采集得到的，也可以是对角度下测量的参数计算得到的，本发明对各点云数据的获取方式不做限定。

步骤S23，利用得到的该对象相应角度下的视觉区域的三维网格数据，生成该视觉区域对应的三维对象区域模型；

本实施例实际应用中，由于得到的三维网格数据实际可以是三维对象模型的组成数据，因此，得到对象某视觉区域对应的外观结构的三维网格数据，即可生成该外观结构的三维模型。

步骤S24，在得到该对象下一角度下的视觉区域的三维网格数据后，利用该对象下一角度下的视觉区域的三维网格数据，更新三维对象区域模型，直至得到对象各角度下的视觉区域的三维对象区域模型。

综上，本实施例实际应用中，采集到对象的某一角度下的图像信息后，可以直接将其作为模型输入，输入三维重建模型进行转换处理，得到该角度下的三维网格数据，也就是说，用户在调整对象的图像采集角度的同时，三维重建模块可以先对已采集的某一角度的图像信息进行处理，并由得到的三维网格数据构建三维对象模型。

在获取该对象另一角度下的图像信息，输入三维重建模型进行转换处理，得到该另一角度对应的三维网格数据后，可以在已有的三维对象模型基础上，继续利用本次得到的三维网格数据进行三维重建，即利用该三维网格数据更新三维对象模块，以使得该三维对象模型逐渐被重建出。

作为本发明另一实施例，本实施例还可以获取到该对象所有角度下的图像信息后，将其依次输入三维重建模型，生成各角度分别对应的三维网格数据，之后，利用这些三维网格数据快速生成三维对象模型。

由此可见，本实施例可以得到对象每一个角度下的三维网格数据后，就生成该角度下的三维对象模型，也可以得到所有角度对应的三维网格数据后，再生成该对象的三维对象模型，当然，也可以按照其他方式生成三维对象模型，本实施例对该实现方式不做限定。

其中，无论上文描述的哪种三维对象模型的重建过程，都是利用预先训练得到的神经网络模型即三维重建模型进行重建，相对于传统直接利用大量扫描得到的图像信息进行三维重建的方式，大大减少模型顶点数据，尤其是对颜色比较单一的对象，极大减少了生成三维对象模型的文件数据，提高了三维重建效率；且，消除了传统方式带来的一些模型边缘锯齿或不够圆滑的问题，提高了三维对象模型的质量和精度。

可选的，对于本发明上述各实施例的神经网络模型的训练过程中，可以采用无监督学习和迁移学习的方法，训练神经网络(即上述实施例的三维重建模型)，形成对周围空间结构的感知及对空间物体模型结构的映射，从而利用训练好的神经网络，实时对周围环境进行三维重建。其中，周围环境中每一对象的三维重建过程可以参照上述实施例描述的方法步骤。

在本发明一可选实施例中，对于上文描述的三维对象模型的重建过程，可以展示出来，如通过AR设备展示在用户眼前，也可以由AR设备发送至其他计算机设备进行展示，以使得用户能够直观地看到各对象的三维对象模型的构建过程，以便在构建过程异常时，及时发现并调整三维重建模型等。

基于此，参照图4所示的又一种三维重建方法的流程示意图，该方法仍可以由AR设备执行，具体可以包括但并不局限于以下步骤：

步骤S31，展示对象的三维对象模型的生成过程；

如上文分析，本实施例可以在三维对象模型不断完善的过程进行展示，以使用户能够直观看到对象的三维模型是如何构建的，该三维对象模型的具体展示方式不做限定。

步骤S32，响应针对该对象的三维对象模型的标记指令，得到该对象的三维对象模型的标记区域；

本实施例实际应用中，用户佩戴AR设备观看某对象的三维对象模型的重建过程期间，若发现该三维对象模型的某一区域异常，可以利用该AR设备或其配套设备，选中该区域，以使AR设备能够重新对该区域进行三维模型的重建。

可选的，对于与该AR设备(如AR眼镜)配套的用来采集用户操作数据的输入设备，可以是用户穿戴的AR手套，这种情况下，可以采集用户的手的运动姿态信息。本实施例中，用户可以用手画出当前展示的三维对象模型中，出现异常的区域，生成针对该三维对象模型的标记指令，以使得AR设备响应该标记指令，确定用户画出的是该三维对象模型的标记区域。

当然，上述输入设备也可以是虚拟画笔或其他类似设备，以供用户使用该输入设备，标记出展示的三维对象模型中异常的区域，并不局限于上文描述的AR手套，具体可以根据该AR设备用户采集用户操作，实现与展示图像互动的输入设备类型及其工作原理确定，本发明实施例在此不再一一详述。

步骤S33，获取该标记区域对应的对象的区域图像信息；

本实施例在确定需要重构的三维对象模型中的标记区域后，用户佩戴AR设备可以朝向真实对象相应角度，重新进行图像采集，此时得到的区域图像信息可以包括该标记区域的彩色图像数据，根据需要还可以包括相应的点云数据，具体获取方式可以参照上述步骤S11相应部分的描述。

步骤S34，将该区域图像信息输入三维重建模型进行转换处理，得到该标记区域对应的三维网格数据；

步骤S34的实现过程与上述步骤S12和步骤S22描述的实现过程类似，本实施不再赘述。

步骤S35，利用该标记区域对应的三维网格数据，调整该对象的三维对象模型。

具体的，本实施例得到该标记区域对应的新的三维网格数据后，可以利用该三维网格数据，对当前展示的三维对象模型进行更新，即由得到的该新的三维网格数据，替换当前展示的三维对象模型中该标记区域的三维网格数据，从而实现调整展示的对象的三维对象模型的外观。

需要说明，本实施例步骤S35的具体实现方法并不局限于上段描述的调整方法。

综上所述，用户佩戴AR设备对周围环境进行扫描期间，将利用预先训练的三维重建模型，对扫描得到的图像信息进行处理，能够快速且准确得到三维对象模型，还能够同时展示三维对象模型的重建过程，当用户发现生成的三维对象模型中某些部分不太符合实际的对象，可以将这些位置所在的区域标记出来，以使AR设备能够及时对标记出来的区域进行三维重建，进一步提高了得到的三维对象模型的精准度。

结合上文各实施例对三维重建方法的描述，参照图5所示的流程示意图，以重建水杯的三维模型为例进行说明，具体实现过程如下：

在进行实体对象(如水杯)的三维重建之前，需要先训练得到相应的神经网络模型，如上文实施例描述的方式，可以从水杯的各个角度进行扫描，以得到该水杯不同角度的图像信息(如彩色图像数据及对应的点云数据)，之后，利用神经网络算法(图5仅示出了神经网络结构的示意图，并不局限于图5所示的神经网络结构)进行模型训练，直至利用训练得到的三维重建模型，得到的三维水杯模型与实际水杯的相似度达到预设要求，但并不局限于该训练截止条件。

其中，上文描述的三维重建模型的训练过程可以在AR设备中实现，也可以在计算机设备中完成，本实施例对此不作限定，且，水杯结构并不局限于图5所示的结构，也可以与其外观类似的水杯。

在AR设备得到水杯的三维重建模型之后，用户佩戴AR设备从各角度扫描水杯期间，可以将得到的图像信息输入该三维重建模型，能够快速且准确地得到相应的三维网格数据，从而生成该水杯的三维水杯模型，并展示在用户眼前。

本实施例的AR设备可以展示三维水杯模型的重建过程，用户发现某区域与实际水杯不太相符，可以利用虚拟标记笔、AR手套等输入设备，从展示的三维水杯模型选中该区域，即如图5中方框所表示的区域，但并不局限于图5所示的标记方式。AR设备得知需要重建的标记区域对应的水杯外观后，可以重新对该角度下的水杯外观进行扫描，按照上述方法，利用得到的图像信息，重新得到包含该标记区别的三维网格数据，以更新当前展示的三维水杯模型，保证最终所得三维重建模型的精准性。

参照图6，为本发明实施例提供的一种三维重建装置的结构示意图，该装置可以用于AR设备，本实施例对AR设备的产品形态及其结构不做限定，如图6所示，该三维重建装置可以包括：

图像信息获取模块61，用于获取当前环境中对象的图像信息；

可选的，该图像信息获取模块61具体可以包括：

第一获取单元，用于获取当前环境中对象不同角度的彩色图像数据；或者；

第二获取单元，用于获取当前环境中对象不同角度的彩色图像数据及对应的点云数据。

其中，关于彩色图像数据及对应点云数据的获取方式，可以参照上述方法实施例相应部分的描述。

图像信息处理模块62，用于将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据；

其中，该三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的，关于该三维重建模型的训练过程可以参照上述方法实施例相应部分的描述，本实施例在此不再赘述。

可选的，本实施例提供的三维重建装置还可以包括：

图像信息发送模块，用于将获取的所述对象的不同角度的图像信息发送至第三设备，由所述第三设备基于神经网络算法，对所述对象不同角度的图像信息进行训练，得到所述对象的三维重建模型；

其中，第三设备可以是服务器或具有计算功能的终端设备。

模型数据接收模块，用于接收所述第三设备反馈的所述三维重建模型。

作为本发明另一可选实施例，上文描述的三维重建模型的训练过程也可以由AR设备实现，这种情况下，该装置还可以包括：

模型训练模块，用于获取对象的不同角度的图像信息，并基于神经网络算法，对该对象不同角度的图像信息进行训练，得到所述对象的三维重建模型。

三维模型生成模块63，用于利用得到的三维网格数据，生成该对象的三维对象模型。

可见，本实施例是在用户佩戴AR设备后，利用预先训练得到的对象的神经网络模型，重新构建该对象的三维对象模型，展示在用户眼前，而不是直接对扫描得到的大量图像信息进行特征提取，计算得到三维对象模型，提高了三维重建效率及精准度。

可选的，如图7所示，该三维模型生成模块63可以包括：

第一处理单元631，用于将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

第一生成单元632，用于利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

第一更新单元633，用于在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

由此可见，本实施例可以在扫描各角度的图像信息的同时，得到相应角度的三维网格数据，并生成该角度下对象的外观的三维对象模型，用户扫描结束后，即可展示出该对象完整的三维对象模型。

当然，也可以获取所有角度的图像信息后，再输入三维重建模型进行处理，以得到对象的三维对象模型，本实施例对三维模型的具体生成方式不做限定。

进一步地，如图8所示，本实施例提供的三维重建装置还可以包括：

展示模型64，展示所述对象的三维对象模型的生成过程；

标记区域确定模块65，用于响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

本实施例确定标记区域的具体实现方法可以参照上述方法实施例相应部分的描述。

区域图像信息获取模块66，用于获取所述标记区域对应的所述对象的区域图像信息；

区域图像信息处理模块67，用于将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

三维模型调整模块68，用于利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

可见，本实施例可以在重建三维对象模型的过程中，同步进行展示，并在观察出某区域的模型结构与实际对象结构不相符，可以标记该区域，利用该区域的图像信息，重新构建该区域的模型，提高了三维模型重建精准度。

可选的，在上述各实施例的基础上，三维重建装置还可以包括：

数据传输模块，用于将所述对象的三维网格数据发送至第二设备进行展示。

其中，该第二设备可以是电脑等具有显示功能的计算机设备，也可以是打印机，通过打印对象的模型，实现对三维对象模型的展示。本实施例对该第二设备的产品类型及其结构不做限定。

参照图9，为本发明实施例提供的一种增强现实AR设备的结构示意图，该AR设备可以是AR眼镜(如图10所示的结构)、AR头盔等，本实施例对AR设备的产品形式不做限定，如图9和10所示，该AR设备可以包括：

固件装置91，用于在用户佩戴所述AR设备时，维持所述AR设备与所述用户头部的相对位置关系；

图像采集装置92，用于在用户佩戴所述AR设备时，获取当前环境中的对象的图像信息；

存储器93，用于存储实现如上所述的三维重建方法的程序；

可选的，该计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。如图10所示，对于AR眼镜来说，存储器93和处理器94可以设置与固件装置91内，并不局限于图10所示的位置。

处理器94，用于加载并执行所述存储器存储的程序，所述程序主要用于：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

可选的，该处理器还可以执行程序实现以下步骤：

将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

可选的，该处理器还可以执行程序实现以下步骤：

展示所述对象的三维对象模型的生成过程；

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

可选的，该处理器还可以执行程序实现以下步骤：

将获取的所述对象的不同角度的图像信息发送至第三设备，由所述第三设备基于神经网络算法，对所述对象不同角度的图像信息进行训练，得到所述对象的三维重建模型；

接收所述第三设备反馈的所述三维重建模型。

需要说明，处理器94执行程序还可以实现其他方法步骤，具体可以参照上述方法实施例相应部分的描述。

基于上文各实施例对三维重建方案的描述，本实施例还可以提供一种三维重建系统，如图1所示的系统结构示意图，该系统可以包括AR设备10及计算机设备20。

关于AR设备10和计算机设备20的结构及其功能的描述，可以参照上述实施例相应部分的描述，本实施例在此不再赘述。

另外，需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和AR设备、系统而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维重建方法，其特征在于，应用于增强现实AR设备，所述方法包括：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

2.根据权利要求1所述的方法，其特征在于，所述获取当前环境中对象的图像信息，包括：

获取当前环境中对象不同角度的彩色图像数据；

或者，获取当前环境中对象不同角度的彩色图像数据及对应的点云数据。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，利用得到的三维网格数据，生成所述对象的三维对象模型，包括：

将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

展示所述对象的三维对象模型的生成过程。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

6.根据权利要求1～5任意一项所述的方法，其特征在于，所述方法还包括：

将所述对象的三维网格数据发送至第二设备进行展示。

7.根据权利要求1～5任意一项所述的方法，其特征在于，所述方法还包括：

将获取的所述对象的不同角度的图像信息发送至第三设备，由所述第三设备基于神经网络算法，对所述对象不同角度的图像信息进行训练，得到所述对象的三维重建模型；

接收所述第三设备反馈的所述三维重建模型。

8.一种三维重建装置，其特征在于，应用于增强现实AR设备，所述装置包括：

图像信息获取模块，用于获取当前环境中对象的图像信息；

图像信息处理模块，用于将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

三维模型生成模块，用于利用得到的三维网格数据，生成所述对象的三维对象模型。

9.一种增强现实AR设备，其特征在于，所述AR设备包括：

固件装置，用于在用户佩戴所述AR设备时，维持所述AR设备与所述用户头部的相对位置关系；

图像采集装置，用于在用户佩戴所述AR设备时，获取当前环境中的对象的图像信息；

存储器，用于存储实现如权利要求1～7任意一项所述的三维重建方法的程序；

处理器，用于加载并执行所述存储器存储的程序，所述程序用于：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

10.根据权利要求9所述的AR设备，其特征在于，所述处理器执行所述程序还用于展示所述对象的三维对象模型的生成过程，所述AR设备还包括：

输入装置，用于获取用户针对所述对象的三维对象模型标记指令，并将所述标记指令发送至处理器；

所述处理器执行所述程序还用于：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。