CN106683188A - 透明目标的双表面三维重构方法、装置和系统 - Google Patents

Abstract

本发明实施例提供了透明目标的双表面三维重构方法、装置和系统，通过发光端采用自然光作为入射光照射透明目标，入射光经由前表面和后表面反射，获得反射光，由第一相机端对反射光进行接收，并由第二相机端对透明目标的透射光进行接收。在对前表面进行三维重构时，首先利用了偏振分析方法，根据由反射光的偏振度求得了入射光和反射光的方向向量，在此基础上，利用了三角测量方法分别确定了入射光的空间位置和反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

Description

透明目标的双表面三维重构方法、装置和系统

技术领域

本发明涉及计算机视觉技术，尤其涉及一种透明目标的双表面三维重构方法、装置和系统。

背景技术

三维重构是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

在计算机视觉中，透明目标的三维重构技术一直是机器视觉领域中的热点话题，在最近几年中得到了不断的发展，并提出了多种三维重构方法，如基于变形失真的重构方法、光路三角测量、偏振分析等方法。

但这些三维重构方法均关注于能量信息或几何信息中的一种，也就使得这一些三维重构方法大都需要复杂的计算。具体来说，在这些三维重构方法中，偏振分析和光路三角测量由于其具有较强的灵活性和适用性而受到研究人员的广泛关注。在双表面测量中，Florence Drouet等人通过点光源创新地将偏振分析和变形失真相结合来完成双表面的测量，展现了很好的测量精度。另一种方法由K.N.Kutulakos等人提出基于直接光线测量的光路三角法，对复杂表面展现了良好的适用性。然而，偏振分析法在确定光线的法向量之后缺少必要的几何信息，所以要进行一系列的迭代运算来获取深度信息。光路三角测量方法，由于缺少能量信息，该测量需要沿着光路得到一系列不同的深度点，通过比较以论证正确的深度。因此，现有技术中的透明目标的三维重构技术均关注于能量信息或几何信息中的一种，导致计算量较大，效率较低。

发明内容

本发明提供一种透明目标的双表面三维重构方法、装置和系统，用于解决现有技术中进行三维重构时计算量较大，效率较低的技术问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种透明目标的双表面三维重构方法，用于利用三角测量光路对所述透明目标的前表面和后表面进行三维重构，三角测量光路中的发光端以面光源形式采用自然光作为入射光照射所述透明目标获得反射光，所述三角测量光路中的第一相机端接收所述反射光，在入射光的透射方向，设置第二相机端以接收入射光经由所述后表面所透射的透射光，所述方法包括：

在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强；

根据在各偏振角度下，每一条所述前表面的反射光的光强所计算出的所述前表面的反射光的偏振度，重构所述前表面；

针对所述发光端的每一条入射光，计算出入射光经由重构的前表面折射，在所述透明目标中的折射光的空间位置；

由所述第二相机端所预先进行的相机标定，确定出每一条透射光的方向向量；

根据预先进行的发光端与所述第二相机端之间的像素点标定，针对所述发光端的每一条入射光，确定对应的符合所述透射光的方向向量的透射光的空间位置；

对于对应同一条入射光的折射光和透射光，根据折射光的空间位置和透射光的空间位置之间的交点，重构所述后表面。

其中，所述根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强，可以包括：

利用所述第一相机端，测量各偏振角度θ_pol下，每一条反射光的光强I；

将各偏振角度θ_pol对应的光强I代入如下方程，求得所述前表面的反射光的光强I_front，

I＝I_front+I_back，

其中，为所述前表面的反射光的偏振方向，为所述后表面的反射光的偏振方向，I_front为所述前表面的反射光的光强，I_back为所述后表面的反射光的光强，I_fmax为所述前表面的反射光的光强最大值，I_fmin为所述前表面的反射光的光强最小值，I_bmax为所述后表面的反射光的光强最大值，I_bmin为所述后表面的反射光的光强最小值。

其中，所述根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面，可以包括：

针对所述发光端的每一条入射光，计算出入射光经由重构的前表面折射，在所述透明目标中的折射光的空间位置；

由所述第二相机端所预先进行的相机标定，确定出每一条透射光的方向向量；

根据预先进行的发光端与所述第二相机端之间的像素点标定，针对所述发光端的每一条入射光，确定对应的符合所述透射光的方向向量的透射光的空间位置；

对于对应同一条入射光的折射光和透射光，根据折射光的空间位置和透射光的空间位置之间的交点，重构所述后表面。

其中，所述根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置，可以包括：

在所述三角测量光路中，预先对所述发光端与第一相机端之间进行像素点标定，获得所述发光端的光源平面上各像素点与所述第一相机端的像平面上各像素点之间的对应关系；

根据所述第一相机端的像平面上对于所述反射光成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端的光源平面上出射对应入射光的第二像素点；

根据所述第一像素点位置以及所述反射光的方向向量，确定所述反射光的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量，确定所述入射光的空间位置。

其中，所述预先对所述发光端与第一相机端之间进行像素点标定，可以包括：

在所述三角测量光路中，采用所述发光端的光源平面向所述前表面投射编码结构光的方式，进行像素点标定。

其中，所述编码可以包括格雷码。

其中，所述由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量，可以包括：

预先对所述三角测量光路进行相机标定，确定所述相机端的像平面上各像素点所对应的世界坐标系中的坐标点；

将所述反射光在所述相机端的像平面上所成像的第一像素点对应的世界坐标系中坐标点，与所述像平面光心所对应的世界坐标系坐标点连线；

将所述连线的方向向量作为所述反射光的方向向量。

其中，所述根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量，可以包括：

根据在各偏振角度下所述前表面的反射光光强，计算反射光的偏振度ρ；

将所述反射光的偏振度ρ，代入偏振度ρ与入射角θ之间的函数关系，获得所述反射光对应入射光的入射角θ；

依据所述反射光的偏振方向与所述入射光所在入射面的方位角Ф相垂直，确定指向所述三角测量光路的入射面的方位角Ф；

根据所述入射光的入射角θ，以及所述入射面的方位角Ф，确定所述法向量

其中，所述偏振度ρ与入射角θ之间的函数关系可以为：

其中，n为所述透明目标的材料相对折射率。

其中，所述利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量可以包括：

将所述反射光的方向向量和所述法向量代入公式获得所述入射光的方向向量

其中，所述针对所述发光端的每一条入射光，计算出入射光经由重构的前表面折射，在所述透明目标中的折射光的空间位置，可以包括：

针对所述发光端的每一条入射光，根据菲涅尔定律，计算所述入射光由重构的前表面折射，在所述透明目标中的折射光的空间位置。

其中，所述由所述第二相机端所预先进行的相机标定，确定出每一条透射光的方向向量，可以包括：

预先对所述第二相机端进行相机标定，确定所述第二相机端的像平面上各像素点所对应的世界坐标系中的坐标点；

将所述透射光在所述第二相机端的像平面上所成像的第三像素点对应的世界坐标系中的坐标点，与所述像平面光心所对应的世界坐标系坐标点连线；

将连线的方向向量作为所述透射光的方向向量。

其中，所述根据预先进行的发光端与所述第二相机端之间的像素点标定，针对所述发光端的每一条入射光，确定对应的符合所述透射光的方向向量的透射光的空间位置，可以包括：

预先对所述发光端与所述第二相机端之间的像素点标定，获得所述发光端的光源平面上各第二像素点与所述第二相机端的像平面上各第三像素点之间的对应关系；

根据所述第二相机端的像平面上第三像素点，查询像素点标定所获得的对应关系，获得对应的所述发光端的第二像素点；

建立由所述第二像素点所出射的入射光，与在所述第三像素点成像 的透射光之间的对应关系；

根据所述第三像素点位置以及对应的透射光的方向向量，确定对应的透射光的空间位置。

第二方面，提供了一种透明目标的双表面三维重构装置，用于对所述透明目标的前表面和后表面进行三维重构，三角测量光路中的发光端采用自然光的面光源出射入射光照射所述透明目标获得反射光，所述三角测量光路中的第一相机端接收所述反射光，在入射光的透射方向，设置第二相机端接收入射光经由所述后表面透射的透射光，所述装置包括：

光强计算模块，用于根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强；

前表面重构模块，用于根据在各偏振角度下，各条所述前表面的反射光的光强所计算出的各条所述前表面的反射光的偏振度，重构所述前表面；

后表面重构模块，用于针对所述发光端的每一条入射光，计算出入射光经由重构的前表面折射，在所述透明目标中的折射光的空间位置；由所述第二相机端所预先进行的相机标定，确定出每一条透射光的方向向量；根据预先进行的发光端与所述第二相机端之间的像素点标定，针对所述发光端的每一条入射光，确定对应的符合所述透射光的方向向量的透射光的空间位置；对于对应同一条入射光的折射光和透射光，根据折射光的空间位置和透射光的空间位置之间的交点，重构所述后表面。

第三方面，提供了一种透明目标的双表面三维重构系统，所述系统用于利用三角测量光路对所述透明目标的前表面和后表面进行三维重构，所述系统包括：发光端、第一相机端和第二相机端，以及第二方面所述的透明目标的单表面三维重构装置；

所述发光端，以面光源形式采用自然光作为入射光照射所述透明目标获得反射光，所述入射光经由所述前表面以及后表面反射获得反射光，所述反射光入射到所述第一相机端；所述入射光和所述反射光之间具有 夹角；

所述第二相机端，设置于在所述入射光的透射方向，用于接收所述入射光经由所述后表面所透射的透射光；

所述单表面三维重构装置，与所述相机端连接，用于采集所述相机端所接收的反射光，以根据所述反射光对所述前表面和后表面进行重构。

其中，所述第一相机端可以包括相机和偏振片；

所述偏振片，设置于所述相机的入光方向，所述偏振片的表面与所述相机的像平面平行，用于通过旋转偏振角度测量所述反射光的偏振度。

本发明实施例提供的透明目标的双表面三维重构方法、装置和系统，通过根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强，以求得前表面的反射光的偏振度。进而在三角测量光路中，根据前表面的反射光的偏振度所求得的法向量，结合三角测量法重构前表面，而后，根据重构的前表面确定入射光在透明目标内的折射光，以及根据第二相机端确定对应的透射光，由两者的交点重构后表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益 处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例所提供的透明目标的双表面三维重构系统的结构示意图；

图2为后表面反射光对前表面反射光的影响的示意图之一；

图3为后表面反射光对前表面反射光的影响的示意图之二；

图4为前后表面反射光光强随偏振角度变化关系示意图；

图5为偏振度ρ的示意图；

图6为法向量示意图；

图7为格雷码像素点标定的示意图；

图8为四幅相移条纹的示意图；

图9为双表面三维重构装置30的结构示意图；

图10为本发明实施例四提供的一种透明目标的双表面三维重构方法的流程示意图；

图11为另一种双表面三维重构方法的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面结合附图对本发明实施例提供的透明目标的双表面三维重构方法、装置和系统进行详细描述。

实施例一

图1为本发明实施例所提供的透明目标的双表面三维重构系统的结构示意图，如图1所示，包括：发光端10、第一相机端20、双表面三维重构装置30、透明目标40和第二相机端50。

本实施例所提供的系统用于对透明目标40的前表面以及后表面进行三维重构。其中，前表面和后表面相对设置。

具体来说，发光端10以面光源形式，采用自然光作为入射光R₁照射透明目标的前表面，一方面，入射光R₁中的一部分经由前表面反射，记为反射光R₂，另一部分在透明目标40中折射后，由后表面反射，从而入射到第一相机端20的反射光不仅包括反射光R₂还包括后表面的反射光。如图1所示，入射光R₁和所述反射光R₂之间具有夹角，从而发光端10、第一相机端20和透明目标40共同构成的三角测量光路；另一方面，入射光R₁在透明目标40中折射后，由后表面透射，入射到第二相机端50。其中，反射光对应的法向量为在透明目标40中折射的折射光对应的法向量

双表面三维重构装置30与第一相机端20连接，用于采集第一相机端20所接收的反射光R₂，以根据反射光R₂对前表面进行重构。另外，双表面三维重构装置30与第二相机端50连接，用于采集所述第二相机端50所接收的透射光R₃，以根据所述透射光R₃对所述后表面进行重构。

由于在对前表面进行重构时，可通过前表面的反射光R₂的偏振度完成对前表面的重构，但由于后表面的反射光的干扰，无法直接测得前表面的反射光R₂的偏振度，需要进行计算，以排除干扰。本实施例中，通过分别求出各偏振角度下前表面和后表面反射光的光强，来提取前表面反射光强用于计算前表面反射光R₂的偏振度。

需要说明的是，如图2和图3所示的双表面反射光强示意图，在排除干扰的过程中，由于每反射一次导致反射后的光强仅为反射前的4％左右，从而后表面二次及以上的反射光光强衰减严重，对前表面反射光的干扰较小，可以只考虑后表面一次反射的情况。

具体来说，在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与偏振角度之间的关系，从第一相机端20所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条前表面的反射光的光强。

在求解出前表面的反射光R₂的偏振度之后，双表面三维重构装置30 根据前表面的反射光R₂的偏振度，计算前表面的反射光对应的法向量进而由三角测量光路所预先进行的相机标定，确定出反射光R₂的方向向量利用反射光R₂的方向向量和所述法向量计算对应入射光的方向向量进而根据三角测量光路所预先进行的发光端10与第一相机端20之间的像素点标定，确定符合入射光的方向向量的入射光的空间位置，以及符合反射光R₂的方向向量的该反射光的空间位置，由于入射光R₁和反射光R₂在前表面出发生反射，因此，在空间位置上，入射光R₁和反射光R₂之间的交点一定位于前表面上，据此，可以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。

在进行后表面重构时，可根据重构的前表面，确定所述入射光R₁在透明目标内的折射光R₄的空间位置，以及根据所述第二相机50端确定对应的透射光R₃的空间位置，由折射光R₄以及透射光R₃两者的交点重构后表面。

本实施例中，通过根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强，以求得前表面的反射光的偏振度。进而在三角测量光路中，根据前表面的反射光的偏振度所求得的法向量，结合三角测量法重构前表面，而后，根据重构的前表面确定入射光在透明目标内的折射光，以及根据第二相机端确定对应的透射光，由两者的交点重构后表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

需要说明的是，在图1所提供的系统中，第一相机端20和第二相机端50入光面所标示的竖线分别用于标示第一相机端20和第二相机端50的像平面。

实施例二

为了提高重构效率，本实施例以及上一实施例中，发光端10均采用了面光源方式出射入射光R₁，以避免采用点光源时扫描的过程。具体来说，发光端10的光源平面上具有多个像素点，这里为了与第一相机端20中相机的第一像素点区分，称为第二像素点，光源平面上的第二像素点发出该入射光R₁，经由前表面反射后，第一相机端20接收到反射光R₂。

但是，面光源一方面在提高了重构效率的同时，也导致了前表面的反射光R₂与后表面的反射光重合问题，从而第一相机端20不仅接收到前表面的反射光R₂还会接收到后表面的反射光，给反射光R₂的偏振度的计算带来困难。

下面将就如何从第一相机端20所接收到的反射光中区分出反射光R₂的光强进行介绍。

图1中根据第一相机端20的结构可知，第一相机端20包括相机21和偏振片22。偏振片22的表面与所述相机21的像平面平行，通过旋转偏振角度θ_pol测量，测量各偏振角度θ_pol下，入射至相机21的每一条反射光的光强I。如图4所示，由于前表面和后表面的反射光的光强随偏振角度θ_pol周期性变化存在一定的差异，可以通过多个偏振角度θ_pol对应的光强I求得反射光R₂的光强。

具体地，将各偏振角度θ_pol对应的光强I代入如下方程，求得反射光R₂的光强I_front，

I＝I_front+I_back，

其中，为所述前表面的反射光的偏振方向，为所述后表面的反射光的偏振方向，I_front为所述前表面的反射光的光强，I_back为所述后表面的反射光的光强，I_fmax为所述前表面的反射光的光强最大值，I_fmin为所述前表面的反射光的光强最小值，I_bmax为所述后表面的反射光的光强最大值，I_bmin为所述后表面的反射光的光强最小值。

进而，根据在各偏振角度θ_pol下反射光R₂光强，计算出偏振度ρ。

在求得反射光R₂的偏振度ρ之后，可以计算反射光R₂对应的法向量，在计算过程中，为了简便，这里将每一条入射光R₁对应一个发出该光线的第二像素点，以及将每一条反射光R₂对应一个接收该光线的第一像素点。为了进行前表面重构，我们需要确定每一条入射光R₁所对应的反射光R₂，以及入射光R₁和对应的反射光R₂的空间位置，以确定两者之间的交点。下面我们以一条入射光R₁以及所对应的反射光R₂为例，对重构过程进行详细说明。由于在图1所示的系统中，在发射方向上，当一束自然光在被测表面上发生镜面反射时，自然光由于光波中的P波和S波的反射率不同，自然光的入射光R₁所反射的反射光R₂会变为部分偏振光，且反射光R₂主要含有S波的偏振光。可以通过对第一相机端20入光方向上所设置的偏振片22进行旋转，确定各偏振角度的光强。图5为偏振度ρ的示意图，如图5所示，可以根据各偏振角度的光强，计算出反射光R₂的偏振度ρ。

具体地，根据菲涅尔公式，可以获得偏振度ρ与入射角θ之间的函数关系：

其中，n为所述透明目标的材料相对折射率。并根据如图1所示的系统，该系统所搭建的入射角θ通常小于布儒斯特角，便可以唯一确定出入射角θ。

但确定入射角θ之后，还需要确定入射面的方位角Ф，才能够确定出法向量而对于入射面方位角Ф可以基于反射光S波的特性，具体来说，因为镜面反射中，S波占据有反射光R₂的主要成分，因此，使得反射光R₂的偏振方向与入射面的方位角Ф具有相互垂直的对应关系。通过旋转偏振片，找到光强最强的方向，这个方向便为反射光R₂的偏振方向。图6为法向量示意图，如图6所示，在图1所示的系统中，可以确定入射面的方位角Ф应当朝向反射方向上的发光端10和相机21，而不是与之相背对。可以由此唯一确定出入射面的方位角Ф。

在获得入射角θ和入射面的方位角Ф之后，可以代入到如下公式中：

计算获得法向量

进而，依据预先对三角测量光路所预先进行的相机标定，确定出反射光的方向向量。具体地，预先在所述三角测量光路中，对第一相机端20进行相机标定，确定第一相机端20的像平面上各像素点所对应的世界坐标系中的坐标点，将反射光R₁在第一相机端20的像平面上所成像的第一像素点对应的世界坐标系中坐标点，与像平面光心所对应的世界坐标系坐标点连线，将连线的方向向量作为反射光的方向向量

进而，利用反射光的方向向量和法向量计算入射光的方向向量具体地，将反射光的方向向量和法向量代入公式获得所述入射光的方向向量

然后，可以根据三角测量光路所预先进行的发光端10与第一相机端20之间的像素点标定，确定符合入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置。

具体来说，在三角测量光路中，预先对发光端10与第一相机端20之间进行像素点标定，获得发光端10的光源平面上各像素点与第一相机端20的像平面上各像素点之间的对应关系，根据第一相机端20的像平面上对于所述反射光R₂成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端10的光源平面上出射对应入射光的第二像素点。根据第一像素点位置以及反射光的方向向量确定所述反射光R₂的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量 确定所述入射光R₁的空间位置。

根据入射光R₁的空间位置和反射光R₂的空间位置之间的交点，重构前表面。

这里仅描述了一条入射光R₁以及所对应的反射光R₂，在实际应用中，需要对全部入射光R₁以及所对应的反射光R₂进行求解，才能够对前表面进行完整重构。

需要说明的是，本实施例中，在进行发光端10与相机端20之间的像素点标定时，考虑到透明目标具有强烈的内反射，采用了向透明目标投射格雷码的方式，计算出第二像素中的直接成分和间接成分，比较光强与二者组成区间的关系，确定像素的0，1值，得到部分第一像素和第二像素之间的对应关系，再通过掩膜和迭代方式完成剩余像素之间的匹配。图7为格雷码像素点标定的示意图，本领域技术人员还可以采用其他编码结构光，本实施例中对此不做限定。

在完成对前表面的重构之后，还需要对后表面进行重构。下面将对重构后表面的过程进行详细说明。

首先，在第二相机端50的像平面上具有多个第三像素点，透射光R₃通过第三像素点成像，这里采用了预先对第二相机端50进行相机标定的方式，从而确定每一个第三像素点所成像的透射光R₃的方向向量。

具体地，预先对第二相机端50进行相机标定，确定第二相机端50的像平面上各像素点所对应的世界坐标系中的坐标点，将透射光R₃在第二相机端50的像平面上所成像的第三像素点对应的世界坐标系中的坐标点，与第二相机端50的像平面光心所对应的世界坐标系中的坐标点连线，连线的方向向量便为该透射光的方向向量

其次，根据预先进行的发光端10与第二相机端50之间的像素点标定，针对发光端10第二像素点发出的每一条入射光R₁，确定对应的第三像素点所成像的透射光的空间位置。

具体地，预先对发光端10与第二相机端50之间的像素点标定，获得发光端10的光源平面上各第二像素点与第二相机端50的像平面上各第三像素点之间的对应关系；根据第二相机端50的像平面上对于透射光R₄成像的第三像素点，查询像素点标定所获得的对应关系，获得所述发光端10的光源平面上的第二像素点。建立由第二像素点所出射的入射光R₁，与在所述第三像素点成像的透射光R₃之间的对应关系。根据第三像素点位置以及对应的透射光的方向向量确定对应的透射光R₃的空间位置。

需要说明的是，在进行发光端10与第二相机端50之间的像素点标 定时，考虑到透射方向上的光强衰减小于反射方向上的光强衰减，从而可以采用发光端10向透明目标40透射相移条纹方式实现像素匹配。图8为四幅相移条纹的示意图，通过透射图8所示的相移条纹，便可以使得发光端10的每一个第二像素点与第二相机端50的每一个第三像素点均具有了水平、竖直相位，通过相位匹配，便可以完成第二像素点与第三像素点之间的标定。

进而，针对发光端10的每一条入射光R₁，计算出入射光R₁经由重构的前表面折射，在所述透明目标40中的折射光R₄的空间位置。

具体地，通过如下公式计算折射光R₄：

其中，b＝n²+c²-1＝n²+cos²θ-1。将进行前表面重构时所获得的入射角θ，透明目标的材料相对折射率n，以及法向量代入前述公式，便可以求得入射光的方向向量所对应的折射光的方向向量由于在前表面重构时已求得入射光R₁与反射光R₂的交点，且折射光R₄也经过该交点，因此，可以由该交点的位置确定折射光R₄的空间位置。

最后，对于对应同一条入射光R₁的折射光R₄和透射光R₃，根据折射光R₄的空间位置和透射光的空间位置R₃之间的交点，重构所述后表面。

实施例三

为了清楚说明前述实施例中，所提及的双表面三维重构装置30，图9为双表面三维重构装置30的结构示意图，如图9所示，双表面三维重构装置30包括：光强计算模块31，前表面重构模块32，后表面重构模块33。

光强计算模块31，用于在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强。

前表面重构模块32，用于根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量；由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量；利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量；根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置；根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

后表面重构模块33，用于根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面。

双表面三维重构装置30主要用于在三角测量光路中对所述透明目标的前表面和后表面进行三维重构，其中，三角测量光路中的发光端采用自然光的面光源出射入射光照射所述透明目标获得反射光，所述三角测量光路中的第一相机端接收所述反射光，在入射光的透射方向，设置第二相机端接收入射光经由所述后表面透射的透射光。

由于双表面三维重构装置30一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点对前表面进行重构，从而简化了三维重构的计算步骤。

实施例四

本实施例提供了一种透明目标的双表面三维重构方法，用于在如图1所提供的系统中，进行透明目标的双表面三维重构。本实施例所提供的方法可以具体由图1中第一相机端20和第二相机端50的处理器执行，也可以由双表面三维重构装置30执行，本实施例中对此不作限定。

图10为本发明实施例四提供的一种透明目标的双表面三维重构方法的流程示意图，如图10所示，方法包括：

步骤401，在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强。

具体地，利用所述第一相机端，测量各偏振角度θ_pol下，每一条反射光的光强I；

将各偏振角度θ_pol对应的光强I代入如下方程，求得所述前表面的反射光的光强I_fort，

I＝I_front+I_back，

其中，为所述前表面的反射光的偏振方向，为所述后表面的反射光的偏振方向，I_front为所述前表面的反射光的光强，I_back为所述后表面的反射光的光强，I_fmax为所述前表面的反射光的光强最大值，I_fmin为所述前表面的反射光的光强最小值，I_bmax为所述后表面的反射光的光强最大值，I_bmin为所述后表面的反射光的光强最小值。

步骤402，根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量。

具体地，将测量所获得的所述反射光的偏振度ρ，代入偏振度与入射角之间的函数关系，获得所述反射光对应入射光的入射角θ；依据所述反射光的偏振方向与所述入射光所在入射面的方位角Ф相垂直，确定指向所述三角测量光路的入射面的方位角Ф；根据所述入射光的入射角θ，以及所述入射面的方位角Ф，确定所述法向量

其中，偏振度ρ与入射角θ之间的函数关系为：

n为所述透明目标的材料相对折射率。

步骤403，由三角测量光路所预先进行的相机标定，确定出反射光的 方向向量。

具体地，预先对所述三角测量光路进行相机标定，确定所述第一相机端的像平面上各像素点所对应的世界坐标系中的坐标点；将所述反射光在所述第一相机端的像平面上所成像的第一像素点对应的世界坐标系中的坐标点，与该像平面光心对应的世界坐标系中的坐标点连线；将所述连线的方向向量作为所述反射光的方向向量。

步骤404，利用反射光的方向向量和法向量，计算入射光的方向向量。

具体地，将所述反射光的方向向量和所述法向量代入公式获得所述入射光的方向向量

步骤405，根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置。

具体地，在所述三角测量光路中，预先对所述发光端与第一相机端之间进行像素点标定，获得所述发光端的光源平面上各像素点与所述第一相机端的像平面上各像素点之间的对应关系。根据所述第一相机端的像平面上对于所述反射光成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端的光源平面上出射对应入射光的第二像素点。根据所述第一像素点位置以及所述反射光的方向向量，确定所述反射光的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量，确定所述入射光的空间位置。

可选地，预先对所述发光端与第一相机端之间进行像素点标定可以采用在所述三角测量光路中，采用所述发光端的光源平面向所述前表面投射编码结构光的方式，进行像素点标定。其中，编码包括格雷码。

步骤406，根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面。

步骤407，根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面。

本实施例中，通过在三角测量光路中，测量透明目标前表面反射光的偏振度之后，根据偏振度计算出该反射光对应的法向量，进而由三角测量光路所预先进行的相机标定，确定出该反射光的方向向量，以及利用反射光的方向向量和前述步骤中所获得的法向量，计算入射光的方向向量。在分别获得入射光和反射光的方向向量之后，根据三角测量光路所预先进行的发光端与相机端之间的像素点标定，确定符合该入射光的方向向量的入射光的空间位置，以及符合反射光的方向向量的反射光的空间位置，以根据入射光的空间位置和反射光的空间位置之间的交点，重构前表面。也就是说，一方面，利用了偏振分析方法求得了法向量，进而求得了入射光和反射光的方向向量；另一方面，利用了三角测量方法分别确定了符合入射光方向向量的入射光的空间位置，以及符合反射光方向向量的反射光的空间位置。由于同时采用了三角测量方法以及偏振分析方法获取重构所需信息，确定出入射光的空间位置和反射光的空间位置，依据两者交点进行重构，从而简化了三维重构的计算步骤。

实施例五

为了对上一实施例中的步骤407进行详细说明，本实施例提供了另一种双表面三维重构方法的流程示意图，如图11所示，步骤407具体包括如下步骤：

步骤4071，预先对第二相机端进行相机标定，以确定在第二相机端的像平面上，每一个第三像素点所成像的透射光R₃的方向向量。

具体地，预先对第二相机端进行相机标定，确定第二相机端的像平面上各像素点所对应的世界坐标系中的坐标点，将透射光R₃在第二相机端的像平面上所成像的第三像素点，与第三像素点所对应的世界坐标系中的坐标点连线，连线的方向向量便为该透射光的方向向量

步骤4072，根据预先进行的发光端与第二相机端之间的像素点标定，针对发光端第二像素点发出的每一条入射光R₁，确定对应的第三像素点所成像的透射光的空间位置。

具体地，预先对发光端与第二相机端之间的像素点标定，获得发光 端的光源平面上各第二像素点与第二相机端的像平面上各第三像素点之间的对应关系；根据第二相机端的像平面上对于透射光R₄成像的第三像素点，查询像素点标定所获得的对应关系，获得所述发光端的光源平面上的第二像素点。建立由第二像素点所出射的入射光R₁，与在所述第三像素点成像的透射光R₃之间的对应关系。根据第三像素点位置以及对应的透射光的方向向量确定对应的透射光R₃的空间位置。

需要说明的是，在进行发光端与第二相机端之间的像素点标定时，考虑到透射方向上的光强衰减小于反射方向上的光强衰减，从而可以采用发光端向透明目标透射相移条纹方式实现像素匹配。通过透射相移条纹，便可以使得发光端的每一个第二像素点与第二相机端的每一个第三像素点均具有了水平、竖直相位，通过相位匹配，便可以完成第二像素点与第三像素点之间的标定。

步骤4073，针对发光端的每一条入射光R₁，计算出入射光R₁经由重构的前表面折射，在所述透明目标中的折射光R₄的空间位置。

具体地，通过如下公式计算折射光R₄：

其中，b＝n²+c²-1＝n²+cos²θ-1。将进行前表面重构时所获得的入射角θ，透明目标的材料相对折射率n，以及法向量代入前述公式，便可以求得入射光的方向向量所对应的折射光的方向向量由于在前表面重构时已求得入射光R₁与反射光R₂的交点，且折射光R₄也经过该交点，因此，可以由该交点的位置确定折射光R₄的空间位置。

步骤4074，对于对应同一条入射光R₁的折射光R₄和透射光R₃，根据折射光R₄的空间位置和透射光的空间位置R₃之间的交点，重构所述后表面。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁 碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种透明目标的双表面三维重构方法，其特征在于，用于利用三角测量光路对所述透明目标的前表面和后表面进行三维重构，三角测量光路中的发光端以面光源形式采用自然光作为入射光照射所述透明目标获得反射光，所述三角测量光路中的第一相机端接收所述反射光，在入射光的透射方向，设置第二相机端以接收入射光经由所述后表面所透射的透射光，所述方法包括：

在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强；

根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量；

由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量；

利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量；

根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置；

根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面；

根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面。

2.根据权利要求1所述的透明目标的双表面三维重构方法，其特征在于，所述根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强，包括：

利用所述第一相机端，测量各偏振角度θ_pol下，每一条反射光的光强I；

将各偏振角度θ_pol对应的光强I代入如下方程，求得所述前表面的反射光的光强I_front，

I＝I_front+I_back，

其中，为所述前表面的反射光的偏振方向，为所述后表面的反射光的偏振方向，I_front为所述前表面的反射光的光强，I_back为所述后表面的反射光的光强，I_fmax为所述前表面的反射光的光强最大值，I_fmin为所述前表面的反射光的光强最小值，I_bmax为所述后表面的反射光的光强最大值，I_bmin为所述后表面的反射光的光强最小值。

3.根据权利要求1所述的透明目标的双表面三维重构方法，其特征在于，所述根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面，包括：

针对所述发光端的每一条入射光，计算出入射光经由重构的前表面折射，在所述透明目标中的折射光的空间位置；

由所述第二相机端所预先进行的相机标定，确定出每一条透射光的方向向量；

根据预先进行的发光端与所述第二相机端之间的像素点标定，针对所述发光端的每一条入射光，确定对应的符合所述透射光的方向向量的透射光的空间位置；

对于对应同一条入射光的折射光和透射光，根据折射光的空间位置和透射光的空间位置之间的交点，重构所述后表面。

4.根据权利要求1所述的方法，其特征在于，所述根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置，包括：

在所述三角测量光路中，预先对所述发光端与第一相机端之间进行像素点标定，获得所述发光端的光源平面上各像素点与所述第一相机端的像平面上各像素点之间的对应关系；

根据所述第一相机端的像平面上对于所述反射光成像的第一像素点，查询像素点标定所获得的对应关系，获得在所述发光端的光源平面上出射对应入射光的第二像素点；

根据所述第一像素点位置以及所述反射光的方向向量，确定所述反射光的空间位置，以及根据所述第二像素点位置以及所述入射光的方向向量，确定所述入射光的空间位置。

5.根据权利要求4所述的方法，其特征在于，所述预先对所述发光端与第一相机端之间进行像素点标定，包括：

在所述三角测量光路中，采用所述发光端的光源平面向所述前表面投射编码结构光的方式，进行像素点标定。

6.根据权利要求1所述的方法，其特征在于，所述根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量，包括：

根据在各偏振角度下所述前表面的反射光光强，计算反射光的偏振度ρ；

将所述反射光的偏振度ρ，代入偏振度ρ与入射角θ之间的函数关系，获得所述反射光对应入射光的入射角θ；

依据所述反射光的偏振方向与所述入射光所在入射面的方位角Ф相垂直，确定指向所述三角测量光路的入射面的方位角Ф；

根据所述入射光的入射角θ，以及所述入射面的方位角Ф，确定所述法向量

7.根据权利要求6所述的方法，其特征在于，所述偏振度ρ与入射角θ之间的函数关系为：

其中，n为所述透明目标的材料相对折射率。

8.一种透明目标的双表面三维重构装置，其特征在于，用于对所述透明目标的前表面和后表面进行三维重构，三角测量光路中的发光端采用自然光的面光源出射入射光照射所述透明目标获得反射光，所述三角测量光路中的第一相机端接收所述反射光，在入射光的透射方向，设置第二相机端接收入射光经由所述后表面透射的透射光，所述装置包括：

光强计算模块，用于在三角测量光路中，根据前表面的反射光光强与偏振角度之间的关系，以及后表面的反射光光强与所述偏振角度之间的关系，从所述第一相机端所测得的各偏振角度下每一条反射光的光强中，确定出各偏振角度下每一条所述前表面的反射光的光强；

前表面重构模块，用于根据在各偏振角度下所述前表面的反射光光强所计算出的偏振度，计算所述反射光对应的法向量；由所述三角测量光路所预先进行的相机标定，确定出所述反射光的方向向量；利用所述反射光的方向向量和所述法向量，计算所述入射光的方向向量；根据所述三角测量光路所预先进行的发光端与第一相机端之间的像素点标定，确定符合所述入射光的方向向量的入射光的空间位置，以及符合所述反射光的方向向量的反射光的空间位置；根据所述入射光的空间位置和所述反射光的空间位置之间的交点，重构所述前表面；

后表面重构模块，用于根据重构的前表面确定所述入射光在透明目标内的折射光的空间位置，以及根据所述第二相机端确定对应的透射光的空间位置，由两者的交点重构所述后表面。

9.一种透明目标的双表面三维重构系统，其特征在于，所述系统用于利用三角测量光路对所述透明目标的前表面和后表面进行三维重构，所述系统包括：发光端、第一相机端和第二相机端，以及权利要求14所述的透明目标的双表面三维重构装置；

所述发光端，以面光源形式采用自然光作为入射光照射所述透明目标获得反射光，所述入射光经由所述前表面以及后表面反射获得反射光，所述反射光入射到所述第一相机端；所述入射光和所述反射光之间具有夹角；

所述第二相机端，设置于在所述入射光的透射方向，用于接收所述入射光经由所述后表面所透射的透射光；

所述单表面三维重构装置，与所述第一相机端和第二相机端连接，用于采集所述第一相机端所接收的反射光，以根据所述反射光对所述前表面进行重构；以及用于采集所述第二相机端所接收的透射光，以根据所述透射光对所述后表面进行重构。

10.根据权利要求9所述系统，其特征在于，所述第一相机端包括相机和偏振片；

所述偏振片，设置于所述相机的入光方向，所述偏振片的表面与所述相机的像平面平行，用于通过旋转偏振角度测量所述反射光的偏振度。