CN111402395A - 一种基于cnn校正的被动偏振三维重建方法 - Google Patents
一种基于cnn校正的被动偏振三维重建方法 Download PDFInfo
- Publication number
- CN111402395A CN111402395A CN202010097760.4A CN202010097760A CN111402395A CN 111402395 A CN111402395 A CN 111402395A CN 202010097760 A CN202010097760 A CN 202010097760A CN 111402395 A CN111402395 A CN 111402395A
- Authority
- CN
- China
- Prior art keywords
- reconstructed
- gradient field
- surface normal
- polarization
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241000220225 Malus Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于CNN校正的被动偏振三维重建方法，包括：获取待重建物体的若干不同偏振角度的偏振图像；根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；根据所述第三表面法线梯度场实现所述待重建物体的三维重建。本发明的三维重建方法，克服了由于法线方位角的二值性导致的三维重建结果畸变的问题，可以在自然光下实现三维重建，应用场景广，而且成本较低。
Description
技术领域
本发明属于计算成像技术领域，具体涉及一种基于CNN校正的被动偏振三维重建方法。
背景技术
三维重建技术能够提供二维图像无法获取的深度信息，是当今信息时代获取数据的重要方式。通过三维重建技术，我们可以获取包括结构、纹理、尺度等物体的完整三维信息。随着三维重建技术在人脸反欺骗、人脸识别、人脸表情动画和移动人脸支付等领域的广泛应用，尤其是在移动人脸支付领域，人们对于三维重建技术的重建结果的细节信息的丰富性、准确性和高精度的要求越来越高。
目前，对于传统的三维成像方法如飞行时间法(Time of Flight，TOF)、双目阴影恢复形状(Shape from Shading，SFS)和激光扫描等方法，由于成像设备复杂、信息解译性差和成像条件苛刻等因素极大的限制了其发展。因此，技术人员提出了一种单目偏振三维重建的方法，单目偏振三维重建的方法只能处理目标形状比较简单、单一的物体，在面对人脸时由于人脸的光强信息很复杂且存在法线方位角不确定的问题，不能简单的利用光强梯度场去校正偏振求得的梯度场。另外，此技术要求入射光源是均匀照射，而且需要获取照射方向，因此，需要积分球作为主动光源去照射目标物才能重建出结果，使得该方法实现起来成本较高，应用范围较小，重建难度较高，重建准确度较低。
因此，需要提出一种精确度高、应用范围大、重建难度低，且可以在自然光照下实现的三维重建方法。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于CNN校正的被动偏振三维重建方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于CNN校正的被动偏振三维重建方法，包括：
获取待重建物体的若干不同偏振角度的偏振图像；
根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；
利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；
利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；
根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
在本发明的一个实施例中，获取待重建物体的若干不同偏振角度的偏振图像，包括：
选取待重建物体和相机的拍摄位置；
在所述相机与所述待重建物体之间设置等高同轴的偏振片；
旋转所述偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135。
在本发明的一个实施例中，根据所述偏振图像得到所述待重建物体的第一表面法线梯度场，包括：
根据所述偏振图像得到所述待重建物体的偏振度；
根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；
根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。
在本发明的一个实施例中，根据所述偏振图像得到所述待重建物体的偏振度，包括：
根据所述偏振图像I0、I45、I90和I135，计算得到所述偏振图像的斯托克斯矢量I、Q和U，
根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，
在本发明的一个实施例中，根据所述偏振度得到所述待重建物体表面反射光的法线方位角和法线天顶角，包括：
根据所述待重建物体的偏振度P利用如下公式计算得到所述待重建物体表面微面元的法线方位角
和法线天顶角θ，
其中，n表示所述待重建物体的折射率。
在本发明的一个实施例中，根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场，包括：
根据所述法线方位角
和所述法线天顶角θ利用如下公式计算得到所述待重建物体的第一表面法线
其中，ppolar表示第一表面法线
在x轴方向上的分量，qpolar表示第一表面法线
在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；
根据所述第一表面法线
得到所述第一表面法线梯度场。
在本发明的一个实施例中，利用卷积神经网络获取所述待重建物体的第二表面法线梯度场，包括：
利用卷积神经网络对所述待重建物体进行特征提取，并对提取的所述特征进行训练，以形成所述待重建物体的三维重建网络，根据所述三维重建网络，得到所述第二表面法线梯度场。
在本发明的一个实施例中，利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场，包括：
根据所述第二表面法线梯度场利用如下公式对所述第一表面法线梯度场进行校正，得到所述待重建物体表面的二元操作数集合，
其中，
表示二元操作数集合，Gdepth表示第二表面法线梯度场，Gpolar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；
根据所述二元操作数集合
得到所述第三表面法线梯度场G，
在本发明的一个实施例中，根据所述第三表面法线梯度场实现所述待重建物体的三维重建，包括：
根据所述第三表面法线梯度场得到所述待重建物体的三维信息，
其中，F{·}表示离散傅里叶变换，F-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线
在x轴方向上的分量，q表示第三表面法线
在y轴方向上的分量；
根据所述待重建物体的三维信息实现所述待重建物体的三维重建。
与现有技术相比，本发明的有益效果在于：
1、本发明的基于CNN校正的被动偏振三维重建方法，利用卷积神经网络对待重建物体进行特征提取，并对提取的所述特征进行训练，以形成待重建物体的三维重建网络，通过三维重建网络可以得到待重建物体表面的法线梯度场的基本变化趋势，可以对根据偏振度获得的待重建物体表面的法线梯度场进行校正，从而克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。
2、本发明的基于CNN校正的被动偏振三维重建方法，通过卷积神经网络学习获取待重建物体的深度信息，使得重建结果不再局限于照明光源的均匀性和方向，从而消除了由于照射不均匀产生的阴影干扰，可以在自然光场景下实现物体的三维重建。
3、本发明的基于CNN校正的被动偏振三维重建方法，应用场景广，而且成本较低，仅需要一个偏振相机就可以实现物体的三维重建，而且重建精度较高。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的流程示意图；
图2是本发明实施例提供的一种偏振图像拍摄过程示意图；
图3是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的偏振度计算的余弦曲线图；
图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图；
图5是本发明实施例提供的另一种基于CNN校正的被动偏振三维重建方法的流程示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于CNN校正的被动偏振三维重建方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
实施例一
请参见图1，图1是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的流程示意图，如图所示，本实施例的基于CNN校正的被动偏振三维重建方法，包括以下步骤：
S1：获取待重建物体的若干不同偏振角度的偏振图像；
具体地，请参见图2，图2是本发明实施例提供的一种偏振图像拍摄过程示意图，如图所示，本实施例中待重建物体为人脸像，在获取待重建物体的偏振图像时，首先选取待重建物体和相机的拍摄位置；在相机与待重建物体之间设置等高同轴的偏振片，在拍摄过程中，保证待重建物体、相机和偏振片的相对位置保持不变；随后，旋转偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135。
S2：根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；
具体地，包括：
S21：根据所述偏振图像得到所述待重建物体的偏振度；
根据S1中获取的偏振图像I0、I45、I90和I135，计算得到所述偏振图像的斯托克斯矢量I、Q和U，
根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，
在其他实施例中，待重建物体的偏振度P还可以根据以下方式得到，请参见图3，图3是本发明实施例提供的一种基于CNN校正的被动偏振三维重建方法的偏振度计算的余弦曲线图。如图所示，利用不同角度的偏振图像I0、I45、I90和I135使用最小二乘法拟合出光强I随偏振片旋转角度θpol变化的余弦曲线，根据所述余弦曲得到光强I的最大值Imax与最小值Imin。根据偏振度的定义式得到偏振度P，其计算公式为：
S22：根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；
根据S21中计算得到的待重建物体的偏振度P，利用公式(4)和公式(5)计算得到所述待重建物体表面微面元的法线方位角
和法线天顶角θ，
其中，n表示所述待重建物体的折射率，经过实验验证大多数自然界物体的折射率在1.3-1.6，在本实施例中n取值为1.5。
在其他实施例中，法线方位角
还可以根据以下方式得到，请参见图3，根据Malus’s Law(马吕斯定律)可知，在光强I随偏振片旋转角度θpol变化的余弦曲线中，Imax所对应的偏振角θpol就是物体表面微面元的法线方位角
即，当I＝Imax时，
S23：根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。
根据法线方位角
和法线天顶角θ利用公式(6)计算得到所述待重建物体的第一表面法线
其中，ppolar表示第一表面法线
在x轴方向上的分量，qpolar表示第一表面法线
在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；
根据所述第一表面法线
得到所述第一表面法线梯度场。
表面法线梯度场是对物体表面曲面沿着x轴方向和y轴方向求导得到的，即，待重建物体的表面函数Z(x,y)关于x轴的偏导数
以及待重建物体的表面函数Z(x,y)关于y轴的偏导数
在本实施例中，第一表面法线
在x轴方向上的分量ppolar和在y轴方向上的分量qpolar的集合为第一表面法线梯度场Gpolar。
请参见图4，图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图，如图所示，由于两个不同方向的法线(图中n与n’)具有同一个反射光偏振角
值，从图中可以看出，n与n’具有相同大小的|ppolar|，但方向相反，n与n’具有相同大小的|qpolar|，但方向相反。由于法线方位角
存在
和
不确定性问题，此时仅能够根据公式(6)确定待重建物体的第一表面法线
在x轴和y轴方向上的分量ppolar和qpolar的模，无法获取待重建物体的表面法线梯度场的准确方向，即待重建物体的表面法线梯度场ppolar和qpolar可能的值分别为±ppolar和±qpolar，从而导致待重建物体的表面重建的结果出现畸变甚至与真实表面相反的情况。因此，在进行三维重建之前需要对第一表面法线梯度场的ppolar和qpolar进行校正。
S3：利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；
具体地，在本实施例中，利用卷积神经网络ResNet-V1-50对人脸图像进行特征提取，并对提取的所述特征进行训练，通过不断训练确定人脸图像与三维人脸模型间的内在联系，结合三维形变模型(3D Morphable Model，3DMM)的思想，将这种联系转化为对应的形状特征并进行重建，形成人脸图像实现较好的的三维重建网络，至此，拥有183层数目的神经网络的训练部分完成，得到相应参数集。在使用时，需要对新获取的人脸目标进行预处理，通过五官位置利用仿射变换重新调整输入图片的大小跟像素位置，使之满足五官与训练好的标准平均脸位置一致，大小应为224×224×3。将该彩色图片输入至三维重建网络中，得到三维人脸模型，对此三维结果求梯度便可得到人脸表面的法线梯度场的基本变化趋势，得到第二表面法线梯度场Gdepth。
在其他实施例中，若需要对其他物体进行三维重建，则需要建立与之相对应的数据库，然后利用卷积神经网络对此物体的图像进行特征提取，并进行训练得到此物体的三维重建网络，从而获取此物体表面的法线梯度场的基本变化趋势。
S4：利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；
具体地，根据第二表面法线梯度场Gdepth，根据公式(7)对第一表面法线梯度场Gpolar进行校正，得到所述待重建物体表面的二元操作数集合，
其中，
表示二元操作数集合，Gdepth表示第二表面法线梯度场，Gpolar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；argminA表示
为最小值时A的取值。
根据所述二元操作数集合
得到所述第三表面法线梯度场G，
在本实施例中，第一表面法线
通过第二表面法线梯度场Gdepth校正确定其准确方向后，记为第三表面法线
第三表面法线
在x轴方向上的分量p和在y轴方向上的分量q的集合为第三表面法线梯度场G。
S5：根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
具体地，根据第三表面法线梯度场G得到所述待重建物体的三维信息。在本实施例中，利用第三表面法线
通过表面积分Frankot-Chellappa算法(Frankot-Chellappa算法是一种从法线到高度的全局算法，可以从图像法线恢复物体表面高度信息)，假定待重建物体的表面函数为Z(x,y)，满足可积分条件，即表面函数Z(x,y)在其正交的两个方向(x，y方向上)的偏导数都存在。其将求表面积分的问题看作一个正交投影的过程，然后通过利用一系列的正交函数的组合来尽可能的逼近表面函数Z(x,y)，从而得到真实的待重建物体的三维信息，以根据所述待重建物体的三维信息实现所述待重建物体的三维重建，其中，
其中，F{·}表示离散傅里叶变换，F-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线
在x轴方向上的分量，q表示第三表面法线
在y轴方向上的分量。在本实施例中，频率坐标(u,v)的取值范围为(-[N/2],-[M/2])至([N/2],[M/2])。
本实施例的基于CNN校正的被动偏振三维重建方法，利用卷积神经网络对待重建物体进行特征提取，并对提取的所述特征进行训练，以形成待重建物体的三维重建网络，通过三维重建网络可以得到待重建物体表面的法线梯度场的基本变化趋势，可以对根据偏振度获得的待重建物体表面的法线梯度场进行校正，从而克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。而且，通过卷积神经网络学习获取待重建物体的深度信息，使得重建结果不再局限于照明光源的均匀性和方向，从而消除了由于照射不均匀产生的阴影干扰，可以在自然光场景下实现物体的三维重建。另外，本实施例的三维重建方法，应用场景广，成本较低，仅需要一个偏振相机就可以实现物体的三维重建，且重建精度较高。
实施例二
请参见图5，图5是本发明实施例提供的另一种基于CNN校正的被动偏振三维重建方法的流程示意图，如图所示，本实施例的基于CNN校正的被动偏振三维重建方法具体步骤如下：
步骤1：通过相机获取物体的四幅标准偏振图像；
步骤2：利用Stokes矢量计算物体表面的偏振度，与此同时，计算物体表面微面元的法线方位角，利用卷积神经网络获取物体的第二表面法线梯度场；
步骤3：根据物体的偏振度计算得到物体表面微面元的法线天顶角；
步骤4：根据法线方位角和法线天顶角计算得到物体的第一表面法线梯度场；
步骤5：利用第二表面法线梯度场校正第一表面法线梯度场，得到物体的第三表面法线梯度场；
步骤6：根据第三表面法线梯度场进行物体表面积分，恢复物体形状，得到物体的三维信息。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于CNN校正的被动偏振三维重建方法，其特征在于，包括：
获取待重建物体的若干不同偏振角度的偏振图像；
根据所述偏振图像得到所述待重建物体的第一表面法线梯度场；
利用卷积神经网络获取所述待重建物体的第二表面法线梯度场；
利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场；
根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
2.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，获取待重建物体的若干不同偏振角度的偏振图像，包括：
选取待重建物体和相机的拍摄位置；
在所述相机与所述待重建物体之间设置等高同轴的偏振片；
旋转所述偏振片，依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135。
3.根据权利要求2所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振图像得到所述待重建物体的第一表面法线梯度场，包括：
根据所述偏振图像得到所述待重建物体的偏振度；
根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角；
根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场。
4.根据权利要求3所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振图像得到所述待重建物体的偏振度，包括：
根据所述偏振图像I0、I45、I90和I135，计算得到所述偏振图像的斯托克斯矢量I、Q和U，
根据所述斯托克斯矢量I、Q和U，计算得到所述待重建物体的偏振度P，
5.根据权利要求4所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述偏振度得到所述待重建物体表面微面元的法线方位角和法线天顶角，包括：
根据所述待重建物体的偏振度P利用如下公式计算得到所述待重建物体表面微面元的法线方位角
和法线天顶角θ，
其中，n表示所述待重建物体的折射率。
6.根据权利要求5所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述法线方位角和所述法线天顶角得到所述第一表面法线梯度场，包括：
根据所述法线方位角
和所述法线天顶角θ利用如下公式计算得到所述待重建物体的第一表面法线
其中，ppolar表示第一表面法线
在x轴方向上的分量，qpolar表示第一表面法线
在y轴方向上的分量，Z(x,y)表示所述待重建物体的表面函数；
根据所述第一表面法线
得到所述第一表面法线梯度场。
7.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，利用卷积神经网络获取所述待重建物体的第二表面法线梯度场，包括：
利用卷积神经网络对所述待重建物体进行特征提取，并对提取的所述特征进行训练，以形成所述待重建物体的三维重建网络，根据所述三维重建网络，得到所述第二表面法线梯度场。
8.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，利用所述第二表面法线梯度场校正所述第一表面法线梯度场，得到所述待重建物体的第三表面法线梯度场，包括：
根据所述第二表面法线梯度场利用如下公式对所述第一表面法线梯度场进行校正，得到所述待重建物体表面的二元操作数集合，
其中，
表示二元操作数集合，Gdepth表示第二表面法线梯度场，Gpolar表示第一表面法线梯度场，A表示一个二元操作符，A＝1或A＝-1；
根据所述二元操作数集合
得到所述第三表面法线梯度场G，
9.根据权利要求1所述的基于CNN校正的被动偏振三维重建方法，其特征在于，根据所述第三表面法线梯度场实现所述待重建物体的三维重建，包括：
根据所述第三表面法线梯度场得到所述待重建物体的三维信息，
其中，F{·}表示离散傅里叶变换，F-1{·}表示离散傅里叶逆变换，M表示所述偏振图像的横向像素的个数，N表示述偏振图像的纵向像素的个数，(u,v)表示离散傅里叶变换中的频率坐标；p表示第三表面法线
在x轴方向上的分量，q表示第三表面法线
在y轴方向上的分量；
根据所述待重建物体的三维信息实现所述待重建物体的三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010097760.4A CN111402395B (zh) | 2020-02-17 | 2020-02-17 | 一种基于cnn校正的被动偏振三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010097760.4A CN111402395B (zh) | 2020-02-17 | 2020-02-17 | 一种基于cnn校正的被动偏振三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402395A true CN111402395A (zh) | 2020-07-10 |
| CN111402395B CN111402395B (zh) | 2023-07-04 |
Family
ID=71432662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010097760.4A Active CN111402395B (zh) | 2020-02-17 | 2020-02-17 | 一种基于cnn校正的被动偏振三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402395B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070889A (zh) * | 2020-11-13 | 2020-12-11 | 季华实验室 | 一种三维重构方法、装置、系统、电子设备及存储介质 |
| CN112330789A (zh) * | 2020-11-12 | 2021-02-05 | 北京环境特性研究所 | 一种基于目标偏振特征的三维重建方法及装置 |
| CN113340793A (zh) * | 2021-06-03 | 2021-09-03 | 北京理工大学 | 微粒子偏光显微成像的三维重建方法和系统 |
| CN115856987A (zh) * | 2023-02-28 | 2023-03-28 | 西南科技大学 | 一种复杂环境下的核脉冲信号与噪声信号甄别方法 |
| DE112020004810B4 (de) | 2019-10-07 | 2023-10-26 | Boston Polarimetrics, Inc. | Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150065803A1 (en) * | 2013-09-05 | 2015-03-05 | Erik Scott DOUGLAS | Apparatuses and methods for mobile imaging and analysis |
| US20170178399A1 (en) * | 2015-12-22 | 2017-06-22 | Raytheon Company | 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
| CN109147029A (zh) * | 2018-06-25 | 2019-01-04 | 西安电子科技大学 | 一种单目偏振三维重建方法 |
-
2020
- 2020-02-17 CN CN202010097760.4A patent/CN111402395B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150065803A1 (en) * | 2013-09-05 | 2015-03-05 | Erik Scott DOUGLAS | Apparatuses and methods for mobile imaging and analysis |
| US20170178399A1 (en) * | 2015-12-22 | 2017-06-22 | Raytheon Company | 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
| CN109147029A (zh) * | 2018-06-25 | 2019-01-04 | 西安电子科技大学 | 一种单目偏振三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 岳春敏等: "一种基于偏振解析的三维表面重建方法", 《应用光学》 * |
| 王珊等: "三维人脸表情获取及重建技术综述", 《系统仿真学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112020004810B4 (de) | 2019-10-07 | 2023-10-26 | Boston Polarimetrics, Inc. | Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation |
| US12099148B2 (en) | 2019-10-07 | 2024-09-24 | Intrinsic Innovation Llc | Systems and methods for surface normals sensing with polarization |
| CN112330789A (zh) * | 2020-11-12 | 2021-02-05 | 北京环境特性研究所 | 一种基于目标偏振特征的三维重建方法及装置 |
| CN112330789B (zh) * | 2020-11-12 | 2023-05-09 | 北京环境特性研究所 | 一种基于目标偏振特征的三维重建方法及装置 |
| CN112070889A (zh) * | 2020-11-13 | 2020-12-11 | 季华实验室 | 一种三维重构方法、装置、系统、电子设备及存储介质 |
| CN113340793A (zh) * | 2021-06-03 | 2021-09-03 | 北京理工大学 | 微粒子偏光显微成像的三维重建方法和系统 |
| CN115856987A (zh) * | 2023-02-28 | 2023-03-28 | 西南科技大学 | 一种复杂环境下的核脉冲信号与噪声信号甄别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402395B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402395B (zh) | 一种基于cnn校正的被动偏振三维重建方法 | |
| Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
| CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
| CN103839277B (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| CN107729805B (zh) | 用于行人再识别的神经网络和基于深度学习的行人再识别算法 | |
| WO2021017588A1 (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
| CN111899290B (zh) | 一种联合偏振和双目视觉的三维重建方法 | |
| CN105809626A (zh) | 一种自适应光线补偿的视频图像拼接方法 | |
| CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN109919911A (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN111325828B (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN111340936A (zh) | 一种基于偏振漫反射分离的被动三维重建方法 | |
| CN111462198B (zh) | 一种尺度、旋转和辐射不变性的多模态影像配准方法 | |
| Zhou et al. | Nerd: Neural 3d reflection symmetry detector | |
| CN105469042A (zh) | 一种改进型的人像比对方法 | |
| CN117237539A (zh) | 三维模型生成方法、装置、设备及可读存储介质 | |
| CN114066954B (zh) | 一种用于多模态图像的特征提取配准方法 | |
| Hsu et al. | Object detection using structure-preserving wavelet pyramid reflection removal network | |
| Bergmann et al. | Gravity alignment for single panorama depth inference | |
| Chuang et al. | Rectified feature matching for spherical panoramic images | |
| CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
| Lo et al. | Acquiring 360° Light Field by a Moving Dual-Fisheye Camera | |
| Mo et al. | A Robust Infrared and Visible Image Registration Method for Dual Sensor UAV System | |
| WO2022175688A1 (en) | Image processing | |
| Zhang et al. | Image mosaic of bionic compound eye imaging system based on image overlap rate prior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |