CN112070889A - 一种三维重构方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种三维重构方法、装置、系统、电子设备及存储介质，其技术方案要点是：包括：获取待测物体的图像信息；图像信息包括在不同方位光源单一拍摄角度下不同打光角度的图片集合；将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据图像像素与真实世界的对应比例关系以及深度图计算得到待测物体表面各点的坐标。本申请实施例提供一种三维重构方法、装置、系统、电子设备及存储介质的具有简单高效低成本的进行三维重构的优点。

Description

一种三维重构方法、装置、系统、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种三维重构方法、装置、系统、电子设备及存储介质。

背景技术

目前，基于结构光的三维重构技术中，一般采用多个光源将拍摄的多幅图案投影到被测物体上，用一个表面在不同光照条件下所拍摄的图像序列来重构这个表面的形状。

现有的三维重构方法中，通常使用一些深度扫描仪、激光器、三维相机等设备来获取三维信息，但是由于这些设备价格都比较昂贵并且图像处理速度很慢，且不适合较大物体局部的快速重构，因此有很大的局限性。

针对上述问题，需要进行改进。

发明内容

本申请实施例的目的在于提供一种三维重构方法、装置、系统、电子设备及存储介质，具有简单高效低成本的进行三维重构的优点。

第一方面，本申请实施例提供了一种三维重构方法，技术方案如下：包括：

获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；

将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

获取图像像素与真实世界的对应比例关系；

根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

进一步地，在本申请实施例中，所述图像信息还包括一张在不同方位的光源全部点亮下拍摄待测物体表面得到的第二图片。

进一步地，在本申请实施例中，所述将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息的步骤包括：

使用所述光线估计卷积神经网络的卷积核提取所述图像信息的局部特征，得到与图像集合中图像个数相等个数的、代表该局部特征的第一特征图；

使用所述光线估计卷积神经网络的池化层对与图像集合中图像个数相等个数的、代表该局部特征的所述第一特征图进行处理，得到融合了多个局部特征的融合特征图；

使用所述光线估计卷积神经网络的卷积核对所述融合特征图进行处理，得到一维向量的全连接层信息。

进一步地，在本申请实施例中，将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图的步骤包括：

使用所述法线估计卷积神经网络的卷积核提取一维向量的全连接层信息的第二特征图；

将所述第二特征图输入所述法线估计卷积神经网络的池化层，得到第三特征图；

根据所述第三特征图，使用所述法线估计卷积神经网络的卷积核得到物体表面的法向量图；

根据所述法向量图计算出深度图。

进一步地，在本申请实施例中，所述根据所述法向量图计算出深度图的步骤包括：

将所述法向量图输入至Frankot-Chellappa算法中，通过所述Frankot-Chellappa算法得到深度图。

进一步地，在本申请实施例中，所述获取图像像素与真实世界的对应比例关系的步骤包括：

获取两个水平距离为D的激光测距模块发射激光点照射在被测物体表面拍摄得到的第三图片信息；

根据所述第三图片信息计算两个所述激光点中心像素的距离d；

计算Scale = D/d，其中Scale为获取图像像素与真实世界的对应比例关系。

进一步地，本申请还提供一种三维重构装置，包括：

第一获取模块，所述第一获取模块用于获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

第一处理模块，所述第一处理模块用于将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括方位光源的方向信息以及强度信息；

第二处理模块，所述第二处理模块用于将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

第二获取模块，所述第二获取模块用于获取图像像素与真实世界的对应比例关系；

第三处理模块，所述第三处理模块用于根据所述第二获取模块用于获取图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

进一步地，本申请还提供一种三维重构系统，包括：

图像获取装置，所述图像获取装置包括近红外相机，所述近红外相机上左右两侧设置有阵列式的近红外波段点光源，所述近红外相机上下两侧均固定设置有激光测距模块；所述图像获取装置用于获取在不同方位的所述近红外波段点光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

三维重构装置，所述三维重构装置用于获取所述图像获取装置得到的图像信息；将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位的近红外波段点光源的方向信息以及强度信息；将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

进一步地，本申请还提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述方法中的步骤。

进一步地，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上所述方法中的步骤。

由上可知，本申请实施例提供的一种三维重构方法、装置、系统、电子设备及存储介质，通过获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标，最终实现目标物体的三维重构，具有简单高效低成本的进行三维重构的有益效果。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种三维重构方法示意流程图。

图2为本申请实施例提供的一种三维重构装置结构示意图。

图3为本申请实施例提供的一种电子设备示意图。

图4为本申请实施例提供的一种三维重构系统示意图。

图5为本申请实施例提供的图像获取装置结构示意图。

图6为本申请实施例提供的两个激光点的距离示意图。

图7为本申请实施例提供的对目标拍摄N张单光源的灰度图。

图8为本申请实施例提供的经过重构得到的法向量图。

图9为本申请实施例提供的重构得到的深度图。

图中：200、三维重构装置；201、第一获取模块；202、第一处理模块；203、第二处理模块；204、第二获取模块；205、第三处理模块；300、电子设备；301、处理器；302、存储器；400、图像获取装置；401、近红外相机；402、近红外波段截止片；403、激光测距模块；404、近红外波段点光源。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1至图9，一种三维重构方法，其技术方案具体包括：

S110、获取待测物体的图像信息；图像信息包括N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片；其中，这里所指的光源可以是单个独立光源，也可以是多个子光源组成的光源组，第一图片就是不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合。

S120、将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；其中，光线估计卷积神经网络由操作模块和数据结果组成，操作模块包括卷积核、池化层、分类器，数据结果包括特征图、全连接层、分类结果。

S130、将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；其中，法线估计卷积神经网络同样由操作模块和数据结果组成，操作模块包括卷积核、池化层、分类器，数据结果包括特征图、全连接层、分类结果。

S140、获取图像像素与真实世界的对应比例关系；其中，在一些实施方式中，获取的是图像像素与真实世界毫米的对应比例关系。

S150、根据图像信息的单位像素与真实世界的比例尺以及深度图计算得到待测物体表面各点的坐标。

通过上述技术方案，获取N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片，其目的在于得到待测物体在不同光照条件下的成像信息，然后将N张第一图片输入至光线估计卷积神经网络中，光线估计神经网络由一个初始模型，经过大量数据学习训练并进行校正得到，光线估计网络将第一图片的特征进行提取，得到一维向量的全连接层信息，其中，一维向量的全连接层对应有不同的权重参数，各权重参数经过大量数据学习训练自动得出。其中，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息，将一维向量的全连接层信息输入至法线估计卷积神经网络，法线估计卷积神经网络由一个初始模型，经过大量数据学习训练并进行校正得到，法线估计卷积神经网络对一维向量的全连接层信息进行特征提取，通过算法计算得到深度图，深度图为二维矩阵，其数据属于无量纲数据，因此获取图像像素与真实世界的对应比例关系，将深度图的每个值乘以比例尺就能得到三维重构的实际空间距离，建立世界直角坐标系，就能够得到重构物体表面各点的世界坐标。通过本申请的技术方案可以针对包括但不限于人体的全身或局部进行三维重构，具有非常大的应用前景。

在其中一个实施例中，图像信息还包括第N+1张在不同方位的光源全部点亮下拍摄待测物体表面得到的第二图片。

通过上述技术方案，不同方位的光源全部点亮下拍摄待测物体，可以得到更加完整的待测物体信息，将第二图片与第一图片输入至光线估计卷积神经网络中，使光线估计神经网络有更多不同的数据进行对比以及进行特征提取，可以使最终重构的三维图像更加精确。

在其中一个实施例中，将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息的步骤包括：

S121、使用光线估计卷积神经网络的卷积核提取图像信息的局部特征，得到多个代表该局部特征的第一特征图；其中，特征图即为卷积神经网络的某层卷积核对计算对向运算后得到的输出，在这里的第一特征图指的是模型中得到的第一层特征图。

S122、使用光线估计卷积神经网络的池化层对多个第一特征图进行处理，进而得到一个融合了多个局部特征的融合特征图；

S123、使用光线估计卷积神经网络的卷积核对融合特征图进行处理，得到一维向量的全连接层信息。

通过上述技术方案，光线估计卷积神经网络包含至少一个卷积核，将图像信息输入至光线估计网络时，图像信息转换成卷积核能够识别的数据信息，卷积核在最开始预设置有超参数，通过大量数据训练学习之后，在进行特征提取时自动获取参数，卷积核的大小可以是1x1、2x2、3x3等等，进而对数据信息进行特征提取从而得到多个代表局部特征的第一特征图，通过池化层对多个第一特征图进行数据处理，即，对第一特征图的特征进行提取，其中，池化时可以选择最大池化也可以选择平均池化，通过池化层处理可以起到简化数据，提高运算效率同时保留足够的特征，进而得到融合了多个局部特征的融合特征图，然后再次使用卷积核对融合特征图进行处理，进而得到一维向量的全连接层，该全连接层代表了N个光源的信息，包括了不同方位光源的方向信息以及强度强度。

在其中一个实施例中，将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图的步骤包括：

S131、使用法线估计卷积神经网络的卷积核提取一维向量的全连接层信息的第二特征图；

S132、将第二特征图输入法线估计卷积神经网络的池化层，得到第三特征图；

S133、根据第三特征图，使用法线估计卷积神经网络的卷积核得到物体表面的法向量图；

S134、根据法向量图计算出深度图。

通过上述技术方案，法线估计卷积神经网络包含至少一个卷积核，卷积核在最开始预设置有超参数，通过大量数据训练学习之后，在进行特征提取时自动获取参数，卷积核的大小可以是1x1、2x2、3x3等等，通过输入一维向量的全连接层信息，包括了不同方位光源的方向信息以及强度信息，通过卷积核对该信息进行特征提取获得第二特征图，将提取得到的光源信息通过法线估计卷积神经网络的池化层进行处理，其中，池化时可以选择最大池化也可以选择平均池化，通过池化层处理可以起到简化数据，提高运算效率同时保留足够的特征，进而得到第三特征图，然后再次使用卷积核对第三特征图进行处理从而得到待测物体表面的法向量图。然后通过算法根据法向量图计算出深度图。

在其中一个实施例中，根据法向量图计算出深度图的步骤包括：

S135、将法向量图输入至Frankot-Chellappa算法中，通过Frankot-Chellappa算法得到深度图。

通过上述技术方案，Frankot-Chellappa算法基于重构物体的某点法向量在XY平面的投影与该点切平面的法向量相反的原理，将表面不可积梯度长投影到傅里叶基函数集上，最终得到深度图，其中深度图是二维矩阵，是无量纲数据，因此需要对无量纲数据进行定标从而得到实际重构模型的三维空间坐标。

在其中一个实施例中，获取图像像素与真实世界的对应比例关系的步骤包括：

S141、获取两个水平距离为D的激光测距模块发射激光点照射在被测物体表面拍摄得到的第三图片信息；其中，在拍摄第三图片时，将光源全部熄灭，可以有更高的对比度，从而获取更精确的数据。

S142、根据第三图片信息计算两个激光点中心像素的距离d；

S143、计算Scale = D/d，其中Scale为图像信息的单位像素距离与真实世界距离的比例尺。

通过上述技术方案，由于两个激光发射器水平距离固定为D，因此建立D与两激光点中心像素距离d的关系，即可通过该两个距离像素与空间平面的比例参数Scale，再通过激光测距点得到的距离，建立以近红外相机拍摄平面为XY平面，激光发射负方向为Z轴的世界坐标轴，将深度图的每个值乘以Scale，就能得到估计的三维重构的实际空间距离。

进一步地，参照图2，本申请还提供一种三维重构装置200，包括：

第一获取模块201，第一获取模块201用于获取待测物体的图像信息；图像信息为N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片；

第一处理模块202，第一处理模块202用于将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括方位光源的方向信息以及强度信息；

第二处理模块203，第二处理模块203用于将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

第二获取模块204，第二获取模块204用于获取图像像素与真实世界的对应比例关系；

第三处理模块205，第三处理模块205用于根据图像信息的单位像素与真实世界的比例尺以及深度图计算得到待测物体表面各点的坐标。

通过上述技术方案，由第一获取模块201获取N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片，其目的在于得到待测物体在不同光照条件下的成像信息，然后第一处理模块202将N张第一图片输入至光线估计卷积神经网络中，光线估计神经网络由一个初始模型，经过大量数据学习训练并进行校正得到，光线估计网络将第一图片的特征进行提取，得到一维向量的全连接层信息，其中，一维向量的全连接层对应有不同的权重参数，各权重参数经过大量数据学习训练自动得出。其中，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息，第二处理模块203将一维向量的全连接层信息输入至法线估计卷积神经网络，法线估计卷积神经网络由一个初始模型，经过大量数据学习训练并进行校正得到，法线估计卷积神经网络对一维向量的全连接层信息进行特征提取，通过算法计算得到深度图，深度图为二维矩阵，其数据属于无量纲数据，因此由第二获取模块204获取图像像素与真实世界的对应比例关系，由第三处理模块205将深度图的每个值乘以比例尺就能得到三维重构的实际空间距离，并建立世界直角坐标系，就能够得到重构物体表面各点的世界坐标。

进一步地，第一处理模块202将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息的过程中：

第一处理模块202使用光线估计卷积神经网络的卷积核提取图像信息的局部特征，得到多个代表该局部特征的第一特征图；。

第一处理模块202使用光线估计卷积神经网络的池化层对多个第一特征图进行处理，进而得到一个融合了多个局部特征的融合特征图；

第一处理模块202使用光线估计卷积神经网络的卷积核对融合特征图进行处理，得到一维向量的全连接层信息。

进一步地，第二处理模块203将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图的过程中：

第二处理模块203使用法线估计卷积神经网络的卷积核提取一维向量的全连接层信息的第二特征图；

第二处理模块203将第二特征图输入法线估计卷积神经网络的池化层，得到第三特征图；

根据第三特征图，第二处理模块203使用法线估计卷积神经网络的卷积核得到物体表面的法向量图；

第二处理模块203根据法向量图通过Frankot-Chellappa算法计算出深度图。

进一步地，第二获取模块204获取图像像素与真实世界的对应比例关系的过程中：

第二获取模块204获取两个水平距离为D的激光测距模块发射激光点照射在被测物体表面拍摄得到的第三图片信息；其中，在拍摄第三图片时，将光源全部熄灭，可以有更高的对比度，从而获取更精确的数据。

第二获取模块204根据第三图片信息计算两个激光点中心像素的距离d；

计算得到Scale = D/d，其中Scale为图像信息的单位像素与真实世界的比例尺。

进一步地，参照图4，本申请还提供一种三维重构系统，包括：

图像获取装置400，图像获取装置400包括近红外相机401，近红外相机401上左右两侧设置有N个阵列式的近红外波段点光源404，近红外相机401上下两侧均固定设置有激光测距模块403；其中，近红外相机401的镜头上设置有近红外波段截止片402用来过滤光线。

三维重构装置200，三维重构装置200用于获取图像获取装置400得到的图像信息；将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据图像信息的单位像素与真实世界的比例尺以及深度图计算得到待测物体表面各点的坐标。

通过上述技术方案，阵列式的近红外波段点光源404设置有N个，进行三维重构时，每个光源单独点亮拍一张照片，即生成N张照片，全部近红外光源同时点亮时拍一张照片，即第N+1张照片，没有光源亮且两个激光测距模块403的激光点打在被测物体上时拍一张照片，即第N+2张照片，共得到N+2张灰度照片。两个激光测距模块403的激光发射点水平距离固定为D。然后将N张不同光源点亮的并拍摄的物体图片，以及用于划分这个物体与背景的黑白二值图一张输入至三维重构装置200中，三维重构装置200获取这些图像信息后使用光线估计神经网络对每张图片使用卷积核对提取图像的局部特征，得到N个代表该局部特征的第一特征图，使用池化层对N个特征图进行处理，池化层得到一个融合了N个局部特征的融合特征图，再次使用卷积核，对融合特征图进行处理后得到一维向量的全连接层，该全连接层代表了N个光源的信息，包括方位光源的方向、强度。三维重构装置200将光线估计网络估计得到的光源信息作为输入并用卷积核提取该网络的第二特征图，将提取得到的光源信息通过池化层得到第三特征图；再次使用卷积核后得到物体表面的法向量图，使用Frankot-Chellappa算法，该算法基于重构物体的某点法向量在xy平面的投影与该点切平面的法向量相反的原理，将表面不可积梯度长投影到傅里叶基函数集上，最终得到深度图。使用第N+2张图片，该图片在仅打开激光测距模块403，其余近红外波段点光源404全部关闭的情况下拍摄，计算两激光点中心像素距离d；计算Scale = D/d，对深度图每个值乘以Scale，得到估计的三维重构的实际空间距离，以图像中心为原点，成像平面为XY轴，激光点发射负方向为Z轴，建立世界直角坐标系，得到重构物体表面各点的世界坐标。通过该三维重构系统，图像获取装置400可以通过程序控制可在2-5秒内完成图像采集，图像处理过程可在5-10秒内完成，可迅速得到被测物的表面三维信息；利用激光测距模块404可直接获得精度较高的深度与尺度参考；测试过程近红外相机401与被测物都不需要移动，且可以对人体或其它尺寸较大物体的局部进行三维重构；使用近红外波段的光场设置，可在绝大部分室内情况下进行三维重构；可以在较低成本条件下实现三维重构。

进一步地，参照图3，本申请还提供一种电子设备300，包括处理器301以及存储器302，存储器302存储有计算机可读取指令，当计算机可读取指令由处理器301执行时，运行上述方法中的步骤。

通过上述技术方案，处理器301和存储器302通过通信总线和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取待测物体的图像信息；图像信息为N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片；将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据图像信息的单位像素与真实世界的比例尺以及深度图计算得到待测物体表面各点的坐标。

进一步地，本申请还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，运行上述方法中的步骤。

通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取待测物体的图像信息；图像信息为N张在不同方位的光源单独点亮下拍摄待测物体表面得到的第一图片；将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据图像信息的单位像素与真实世界的比例尺以及深度图计算得到待测物体表面各点的坐标。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static RandomAccess Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维重构方法，其特征在于，包括：

获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；

将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

获取图像像素与真实世界的对应比例关系；

根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

2.根据权利要求1所述的三维重构方法，其特征在于，所述图像信息还包括一张在不同方位的光源全部点亮下拍摄待测物体表面得到的第二图片。

3.根据权利要求1所述的三维重构方法，其特征在于，所述将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息的步骤包括：

使用所述光线估计卷积神经网络的卷积核提取所述图像信息的局部特征，得到与图像集合中图像个数相等个数的、代表该局部特征的第一特征图；

使用所述光线估计卷积神经网络的池化层对与图像集合中图像个数相等个数的、代表该局部特征的所述第一特征图进行处理，得到融合了多个局部特征的融合特征图；

使用所述光线估计卷积神经网络的卷积核对所述融合特征图进行处理，得到一维向量的全连接层信息。

4.根据权利要求1所述的三维重构方法，其特征在于，所述将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图的步骤包括：

使用所述法线估计卷积神经网络的卷积核提取一维向量的全连接层信息的第二特征图；

将所述第二特征图输入所述法线估计卷积神经网络的池化层，得到第三特征图；

根据所述第三特征图，使用所述法线估计卷积神经网络的卷积核得到物体表面的法向量图；

根据所述法向量图计算出深度图。

5.根据权利要求4所述的三维重构方法，其特征在于，所述根据所述法向量图计算出深度图的步骤包括：

将所述法向量图输入至Frankot-Chellappa算法中，通过所述Frankot-Chellappa算法得到深度图。

6.根据权利要求1所述的三维重构方法，其特征在于，所述获取图像像素与真实世界的对应比例关系的步骤包括：

获取两个水平距离为D的激光测距模块发射激光点照射在被测物体表面拍摄得到的第三图片信息；

根据所述第三图片信息计算两个所述激光点中心像素的距离d；

计算Scale = D/d，其中Scale为获取图像像素与真实世界的对应比例关系。

7.一种三维重构装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

第一处理模块，所述第一处理模块用于将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括方位光源的方向信息以及强度信息；

第二处理模块，所述第二处理模块用于将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

第二获取模块，所述第二获取模块用于获取图像像素与真实世界的对应比例关系；

第三处理模块，所述第三处理模块用于根据所述第二获取模块用于获取图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

8.一种三维重构系统，其特征在于，包括：

图像获取装置，所述图像获取装置包括近红外相机，所述近红外相机上左右两侧设置有阵列式的近红外波段点光源，所述近红外相机上下两侧均固定设置有激光测距模块；所述图像获取装置用于获取在不同方位的所述近红外波段点光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

三维重构装置，所述三维重构装置用于获取所述图像获取装置得到的图像信息；将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位的近红外波段点光源的方向信息以及强度信息；将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一所述方法中的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-6任一所述方法中的步骤。

Images