CN111402395A - 一种基于cnn校正的被动偏振三维重建方法 - Google Patents

Abstract

本发明涉及一种基于CNN校正的被动偏振三维重建方法，包括：获取待重建物体的若干不同偏振角度的偏振图像；根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；根据所述第三表面法线梯度场实现所述待重建物体的三维重建。本发明的三维重建方法，克服了由于法线方位角的二值性导致的三维重建结果畸变的问题，可以在自然光下实现三维重建，应用场景广，而且成本较低。

Description

一种基于CNN校正的被动偏振三维重建方法

技术领域

本发明属于计算成像技术领域，具体涉及一种基于CNN校正的被动偏振三维重建方法。

背景技术

三维重建技术能够提供二维图像无法获取的深度信息，是当今信息时代获取数据的重要方式。通过三维重建技术，我们可以获取包括结构、纹理、尺度等物体的完整三维信息。随着三维重建技术在人脸反欺骗、人脸识别、人脸表情动画和移动人脸支付等领域的广泛应用，尤其是在移动人脸支付领域，人们对于三维重建技术的重建结果的细节信息的丰富性、准确性和高精度的要求越来越高。

目前，对于传统的三维成像方法如飞行时间法(Time of Flight，TOF)、双目阴影恢复形状(Shape from Shading，SFS)和激光扫描等方法，由于成像设备复杂、信息解译性差和成像条件苛刻等因素极大的限制了其发展。因此，技术人员提出了一种单目偏振三维重建的方法，单目偏振三维重建的方法只能处理目标形状比较简单、单一的物体，在面对人脸时由于人脸的光强信息很复杂且存在法线方位角不确定的问题，不能简单的利用光强梯度场去校正偏振求得的梯度场。另外，此技术要求入射光源是均匀照射，而且需要获取照射方向，因此，需要积分球作为主动光源去照射目标物才能重建出结果，使得该方法实现起来成本较高，应用范围较小，重建难度较高，重建准确度较低。

因此，需要提出一种精确度高、应用范围大、重建难度低，且可以在自然光照下实现的三维重建方法。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于CNN校正的被动偏振三维重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于CNN校正的被动偏振三维重建方法，包括：

获取待重建物体的若干不同偏振角度的偏振图像；

根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；

利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；

利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；

根据所述第三表面法线梯度场实现所述待重建物体的三维重建。

在本发明的一个实施例中，获取待重建物体的若干不同偏振角度的偏振图像，包括：

选取待重建物体和相机的拍摄位置；

在所述相机与所述待重建物体之间设置等高同轴的偏振片；

旋转所述偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I₀、I₄₅、I₉₀和I₁₃₅。

在本发明的一个实施例中，根据所述偏振图像得到所述待重建物体的第一表面法线梯度场，包括：

根据所述偏振图像得到所述待重建物体的偏振度；

根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；

根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。

在本发明的一个实施例中，根据所述偏振图像得到所述待重建物体的偏振度，包括：

根据所述偏振图像I₀、I₄₅、I₉₀和I₁₃₅，计算得到所述偏振图像的斯托克斯矢量I、Q和U，

根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，

在本发明的一个实施例中，根据所述偏振度得到所述待重建物体表面反射光的法线方位角和法线天顶角，包括：

根据所述待重建物体的偏振度P利用如下公式计算得到所述待重建物体表面微面元的法线方位角

和法线天顶角θ，

其中，n表示所述待重建物体的折射率。

在本发明的一个实施例中，根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场，包括：

根据所述法线方位角

和所述法线天顶角θ利用如下公式计算得到所述待重建物体的第一表面法线

其中，p^polar表示第一表面法线

在x轴方向上的分量，q^polar表示第一表面法线

在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；

根据所述第一表面法线

得到所述第一表面法线梯度场。

在本发明的一个实施例中，利用卷积神经网络获取所述待重建物体的第二表面法线梯度场，包括：

利用卷积神经网络对所述待重建物体进行特征提取，并对提取的所述特征进行训练，以形成所述待重建物体的三维重建网络，根据所述三维重建网络，得到所述第二表面法线梯度场。

在本发明的一个实施例中，利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场，包括：

根据所述第二表面法线梯度场利用如下公式对所述第一表面法线梯度场进行校正，得到所述待重建物体表面的二元操作数集合，

其中，

表示二元操作数集合，G^depth表示第二表面法线梯度场，G^polar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；

根据所述二元操作数集合

得到所述第三表面法线梯度场G，

在本发明的一个实施例中，根据所述第三表面法线梯度场实现所述待重建物体的三维重建，包括：

根据所述第三表面法线梯度场得到所述待重建物体的三维信息，

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线

在x轴方向上的分量，q表示第三表面法线

在y轴方向上的分量；

根据所述待重建物体的三维信息实现所述待重建物体的三维重建。

与现有技术相比，本发明的有益效果在于：

1、本发明的基于CNN校正的被动偏振三维重建方法，利用卷积神经网络对待重建物体进行特征提取，并对提取的所述特征进行训练，以形成待重建物体的三维重建网络，通过三维重建网络可以得到待重建物体表面的法线梯度场的基本变化趋势，可以对根据偏振度获得的待重建物体表面的法线梯度场进行校正，从而克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。

2、本发明的基于CNN校正的被动偏振三维重建方法，通过卷积神经网络学习获取待重建物体的深度信息，使得重建结果不再局限于照明光源的均匀性和方向，从而消除了由于照射不均匀产生的阴影干扰，可以在自然光场景下实现物体的三维重建。

3、本发明的基于CNN校正的被动偏振三维重建方法，应用场景广，而且成本较低，仅需要一个偏振相机就可以实现物体的三维重建，而且重建精度较高。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的流程示意图；

图2是本发明实施例提供的一种偏振图像拍摄过程示意图；

图3是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的偏振度计算的余弦曲线图；

图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图；

图5是本发明实施例提供的另一种基于CNN校正的被动偏振三维重建方法的流程示意图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于CNN校正的被动偏振三维重建方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

实施例一

请参见图1，图1是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的流程示意图，如图所示，本实施例的基于CNN校正的被动偏振三维重建方法，包括以下步骤：

S1：获取待重建物体的若干不同偏振角度的偏振图像；

具体地，请参见图2，图2是本发明实施例提供的一种偏振图像拍摄过程示意图，如图所示，本实施例中待重建物体为人脸像，在获取待重建物体的偏振图像时，首先选取待重建物体和相机的拍摄位置；在相机与待重建物体之间设置等高同轴的偏振片，在拍摄过程中，保证待重建物体、相机和偏振片的相对位置保持不变；随后，旋转偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I₀、I₄₅、I₉₀和I₁₃₅。

S2：根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；

具体地，包括：

S21：根据所述偏振图像得到所述待重建物体的偏振度；

根据S1中获取的偏振图像I₀、I₄₅、I₉₀和I₁₃₅，计算得到所述偏振图像的斯托克斯矢量I、Q和U，

根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，

在其他实施例中，待重建物体的偏振度P还可以根据以下方式得到，请参见图3，图3是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的偏振度计算的余弦曲线图。如图所示，利用不同角度的偏振图像I₀、I₄₅、I₉₀和I₁₃₅使用最小二乘法拟合出光强I随偏振片旋转角度θ_pol变化的余弦曲线，根据所述余弦曲得到光强I的最大值I_max与最小值I_min。根据偏振度的定义式得到偏振度P，其计算公式为：

S22：根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；

根据S21中计算得到的待重建物体的偏振度P，利用公式(4)和公式(5)计算得到所述待重建物体表面微面元的法线方位角

和法线天顶角θ，

其中，n表示所述待重建物体的折射率，经过实验验证大多数自然界物体的折射率在1.3-1.6，在本实施例中n取值为1.5。

在其他实施例中，法线方位角

还可以根据以下方式得到，请参见图3，根据Malus’s Law(马吕斯定律)可知，在光强I随偏振片旋转角度θ_pol变化的余弦曲线中，I_max所对应的偏振角θ_pol就是物体表面微面元的法线方位角

即，当I＝I_max时，

S23：根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。

根据法线方位角

和法线天顶角θ利用公式(6)计算得到所述待重建物体的第一表面法线

其中，p^polar表示第一表面法线

在x轴方向上的分量，q^polar表示第一表面法线

在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；

根据所述第一表面法线

得到所述第一表面法线梯度场。

表面法线梯度场是对物体表面曲面沿着x轴方向和y轴方向求导得到的，即，待重建物体的表面函数Z(x,y)关于x轴的偏导数

以及待重建物体的表面函数Z(x,y)关于y轴的偏导数

在本实施例中，第一表面法线

在x轴方向上的分量p^polar和在y轴方向上的分量q^polar的集合为第一表面法线梯度场G^polar。

请参见图4，图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图，如图所示，由于两个不同方向的法线(图中n与n’)具有同一个反射光偏振角

值，从图中可以看出，n与n’具有相同大小的|p^polar|，但方向相反，n与n’具有相同大小的|q^polar|，但方向相反。由于法线方位角

存在

和

不确定性问题，此时仅能够根据公式(6)确定待重建物体的第一表面法线

在x轴和y轴方向上的分量p^polar和q^polar的模，无法获取待重建物体的表面法线梯度场的准确方向，即待重建物体的表面法线梯度场p^polar和q^polar可能的值分别为±p^polar和±q^polar，从而导致待重建物体的表面重建的结果出现畸变甚至与真实表面相反的情况。因此，在进行三维重建之前需要对第一表面法线梯度场的p^polar和q^polar进行校正。

S3：利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；

具体地，在本实施例中，利用卷积神经网络ResNet-V1-50对人脸图像进行特征提取，并对提取的所述特征进行训练，通过不断训练确定人脸图像与三维人脸模型间的内在联系，结合三维形变模型(3D Morphable Model，3DMM)的思想，将这种联系转化为对应的形状特征并进行重建，形成人脸图像实现较好的的三维重建网络，至此，拥有183层数目的神经网络的训练部分完成，得到相应参数集。在使用时，需要对新获取的人脸目标进行预处理，通过五官位置利用仿射变换重新调整输入图片的大小跟像素位置，使之满足五官与训练好的标准平均脸位置一致，大小应为224×224×3。将该彩色图片输入至三维重建网络中，得到三维人脸模型，对此三维结果求梯度便可得到人脸表面的法线梯度场的基本变化趋势，得到第二表面法线梯度场G^depth。

在其他实施例中，若需要对其他物体进行三维重建，则需要建立与之相对应的数据库，然后利用卷积神经网络对此物体的图像进行特征提取，并进行训练得到此物体的三维重建网络，从而获取此物体表面的法线梯度场的基本变化趋势。

S4：利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；

具体地，根据第二表面法线梯度场G^depth，根据公式(7)对第一表面法线梯度场G^polar进行校正，得到所述待重建物体表面的二元操作数集合，

其中，

表示二元操作数集合，G^depth表示第二表面法线梯度场，G^polar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；argmin_A表示

为最小值时A的取值。

根据所述二元操作数集合

得到所述第三表面法线梯度场G，

在本实施例中，第一表面法线

通过第二表面法线梯度场G^depth校正确定其准确方向后，记为第三表面法线

第三表面法线

在x轴方向上的分量p和在y轴方向上的分量q的集合为第三表面法线梯度场G。

S5：根据所述第三表面法线梯度场实现所述待重建物体的三维重建。

具体地，根据第三表面法线梯度场G得到所述待重建物体的三维信息。在本实施例中，利用第三表面法线

通过表面积分Frankot-Chellappa算法(Frankot-Chellappa算法是一种从法线到高度的全局算法，可以从图像法线恢复物体表面高度信息)，假定待重建物体的表面函数为Z(x,y)，满足可积分条件，即表面函数Z(x,y)在其正交的两个方向(x，y方向上)的偏导数都存在。其将求表面积分的问题看作一个正交投影的过程，然后通过利用一系列的正交函数的组合来尽可能的逼近表面函数Z(x,y)，从而得到真实的待重建物体的三维信息，以根据所述待重建物体的三维信息实现所述待重建物体的三维重建，其中，

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线

在x轴方向上的分量，q表示第三表面法线

在y轴方向上的分量。在本实施例中，频率坐标(u,v)的取值范围为(-[N/2],-[M/2])至([N/2],[M/2])。

本实施例的基于CNN校正的被动偏振三维重建方法，利用卷积神经网络对待重建物体进行特征提取，并对提取的所述特征进行训练，以形成待重建物体的三维重建网络，通过三维重建网络可以得到待重建物体表面的法线梯度场的基本变化趋势，可以对根据偏振度获得的待重建物体表面的法线梯度场进行校正，从而克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。而且，通过卷积神经网络学习获取待重建物体的深度信息，使得重建结果不再局限于照明光源的均匀性和方向，从而消除了由于照射不均匀产生的阴影干扰，可以在自然光场景下实现物体的三维重建。另外，本实施例的三维重建方法，应用场景广，成本较低，仅需要一个偏振相机就可以实现物体的三维重建，且重建精度较高。

实施例二

请参见图5，图5是本发明实施例提供的另一种基于CNN校正的被动偏振三维重建方法的流程示意图，如图所示，本实施例的基于CNN校正的被动偏振三维重建方法具体步骤如下：

步骤1：通过相机获取物体的四幅标准偏振图像；

步骤2：利用Stokes矢量计算物体表面的偏振度，与此同时，计算物体表面微面元的法线方位角，利用卷积神经网络获取物体的第二表面法线梯度场；

步骤3：根据物体的偏振度计算得到物体表面微面元的法线天顶角；

步骤4：根据法线方位角和法线天顶角计算得到物体的第一表面法线梯度场；

步骤5：利用第二表面法线梯度场校正第一表面法线梯度场，得到物体的第三表面法线梯度场；

步骤6：根据第三表面法线梯度场进行物体表面积分，恢复物体形状，得到物体的三维信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于CNN校正的被动偏振三维重建方法，其特征在于，包括：

获取待重建物体的若干不同偏振角度的偏振图像；

根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；

利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；

利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；

根据所述第三表面法线梯度场实现所述待重建物体的三维重建。

2.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，获取待重建物体的若干不同偏振角度的偏振图像，包括：

选取待重建物体和相机的拍摄位置；

在所述相机与所述待重建物体之间设置等高同轴的偏振片；

旋转所述偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I₀、I₄₅、I₉₀和I₁₃₅。

3.根据权利要求2所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振图像得到所述待重建物体的第一表面法线梯度场，包括：

根据所述偏振图像得到所述待重建物体的偏振度；

根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；

根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。

4.根据权利要求3所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振图像得到所述待重建物体的偏振度，包括：

根据所述偏振图像I₀、I₄₅、I₉₀和I₁₃₅，计算得到所述偏振图像的斯托克斯矢量I、Q和U，

根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，

5.根据权利要求4所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角，包括：

根据所述待重建物体的偏振度P利用如下公式计算得到所述待重建物体表面微面元的法线方位角

和法线天顶角θ，

其中，n表示所述待重建物体的折射率。

6.根据权利要求5所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场，包括：

根据所述法线方位角

和所述法线天顶角θ利用如下公式计算得到所述待重建物体的第一表面法线

其中，p^polar表示第一表面法线

在x轴方向上的分量，q^polar表示第一表面法线

在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；

根据所述第一表面法线

得到所述第一表面法线梯度场。

7.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，利用卷积神经网络获取所述待重建物体的第二表面法线梯度场，包括：

利用卷积神经网络对所述待重建物体进行特征提取，并对提取的所述特征进行训练，以形成所述待重建物体的三维重建网络，根据所述三维重建网络，得到所述第二表面法线梯度场。

8.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场，包括：

根据所述第二表面法线梯度场利用如下公式对所述第一表面法线梯度场进行校正，得到所述待重建物体表面的二元操作数集合，

其中，

表示二元操作数集合，G^depth表示第二表面法线梯度场，G^polar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；

根据所述二元操作数集合

得到所述第三表面法线梯度场G，

9.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述第三表面法线梯度场实现所述待重建物体的三维重建，包括：

根据所述第三表面法线梯度场得到所述待重建物体的三维信息，

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线

在x轴方向上的分量，q表示第三表面法线

在y轴方向上的分量；

根据所述待重建物体的三维信息实现所述待重建物体的三维重建。

Images