CN110458960A - 一种基于偏振的彩色物体三维重建方法 - Google Patents

Abstract

本发明公开了一种基于偏振的彩色物体三维重建方法，包括：获取待重建目标的多张不同偏振度的偏振图像；根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息；获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系；根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息。本发明的方法仅需利用普通相机跟一个偏振片，就可以进行彩色物体的三维重建，实现三维物体的颜色恢复，且对场景没有特殊要求，应用场景广。

Description

一种基于偏振的彩色物体三维重建方法

技术领域

本发明属于三维重建技术领域，具体涉及一种基于偏振的彩色物体三维重建方法。

背景技术

三维重建是指对要成像的三维对象建立适合计算机表示和处理的三维数学模型。随着三维重建技术的发展以及其在人机交互、视频行为监控、体育运动分析、视频压缩编码、医疗诊断、虚拟现实等领域的广泛应用，人们在不断寻找新的空间的同时，也在创造着新的空间。在实际应用中有恢复目标真实表面颜色信息的需求，然而前人大多将重心放在了重建结构以及纹理等信息方面，而忽略了目标真实的表面颜色，或者只是在最后用伪彩色替代。

目前，用在复杂颜色表面物体的三维重建方法是基于动态权重的彩色物体三维重建方法。该方法包括：依次控制摄像装置采集在同一个视角下被测物体的一张彩色图和N步相移彩色条纹图，得到各视角下的被测物体的彩色图及对应的N步相移彩色条纹图；根据彩色图的各像素的三通道亮度信息，确定对应视角的N步相移彩色条纹图中各像素的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；根据红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，依次将对应视角的彩色条纹图转换成灰度条纹图像；基于N步相移最小二乘相位求解方法，得到灰度图像的相位值；根据相位值计算出被测物体表面的深度数据以进行三维重建。

然而，该方法操作步骤繁琐、需要严格的实验场景、成本高、速度慢、应用范围小，而且只是重建出来目标物体的三维模型，并没有对其表面的真实颜色进行恢复处理。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于偏振的彩色物体三维重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于偏振的彩色物体三维重建方法，包括：

获取待重建目标的多张不同偏振度的偏振图像；

根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息；

获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系；

根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息。

在本发明的一个实施例中，获取待重建目标的多张不同偏振度的偏振图像，包括：

选定待重建目标；

选取相机清晰拍摄的位置，并在所述相机与所述待重建目标之间设置等高同轴的偏振片；

旋转所述偏振片，依次在0°、60°和120°偏振度位置处进行拍摄，获取三张不同偏振度的偏振图像I₀，I₆₀和I₁₂₀。

在本发明的一个实施例中，根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息，包括：

根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的偏振度；

利用所述偏振度获得所述待重建目标的结构三维信息。

在本发明的一个实施例中，根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的偏振度，包括：

采用斯托克斯公式，根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的斯托克斯矢量I、Q和U：

根据所述斯托克斯矢量I、Q和U计算所述待重建目标的偏振度P：

在本发明的一个实施例中，利用所述偏振度获得所述待重建目标的结构三维信息，包括：

利用所述偏振度P计算所述待重建目标表面入射光的入射方位角和入射天顶角θ：

其中，n为所述待重建目标表面的折射率；

根据所述入射方位角和所述入射天顶角θ计算所述待重建目标的表面法线

其中，p为待重建目标的表面函数Z(x,y)关于x轴的偏导数，q为待重建目标的表面函数Z(x,y)关于y轴的偏导数；

根据所述表面法线计算所述待重建目标的结构三维信息：

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M，N分别为拍摄的所述偏振图像的横向像素与纵向像素的个数，(u,v)为离散傅里叶变换中的频率坐标。

在本发明的一个实施例中，获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系，包括：

获得照射到所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系：

其中，(i,j)为偏振图像的坐标，表示映射函数，p，q为目标表面函数的偏导数，β为光照方向向量，l为待重建目标到相机的矢量，ρ为待重建目标表面材料的反照率或本征反射率；

获取所述偏振图像I₀，I₆₀和I₁₂₀中的一张图像的色彩值Color(i,j)。

在本发明的一个实施例中，根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息，包括：

利用所述映射函数获取所述结构三维信息中的三维空间点对应的二维偏振图像的位置，并对所对应的三维空间点进行色彩赋值；

对所述三维空间点进行划分，将零散的三维空间点搭建为三维的网格；

利用双线性插值法，对每个所述网格的每条边使用插值颜色，且对每个所述网格的面积进行插补着色，以获得携带色彩信息的三维图像信息。

在本发明的一个实施例中，对所述三维空间点进行划分，将零散的三维空间点搭建为三维的网格，包括：

对于所述偏振图像表面的每个像素点找到其最邻近的三个像素点构成一个四边形结构，并且将所述四边形认为是一个平面正方形；

将所述平面正方形对应到三维空间中得到一个空间四边形，将所述空间四边形的四个顶点认为是在同一平面上，从而将零散的三维空间点搭建为三维的网格。

与现有技术相比，本发明的有益效果在于：

1、本发明的方法仅需利用普通相机跟一个偏振片，就可以进行彩色物体的三维重建，实现三维物体的颜色恢复，且对场景没有具体的要求，应用场景广，成本低。

2、本发明利用普通相机获得待重建目标的偏振图像，拍摄同时可以记录下每个像素点的色彩值，这对恢复待重建目标的真实颜色算法提供了数据支持，而无需再去用另外的装置获取色彩数据，效率高。

3、该方法能够建立数据点与邻近点的拓扑关系，这种拓扑连接关系将有效揭示散乱数据集所蕴涵的原始物体，即待重建目标表面的形状和拓扑结构，利用这种关系可以通过插值方法利用已有的色彩值，恢复出待重建目标表面任何一点的颜色值，此外，由于利用的是相机直接获取的物体表面每点的真实色彩值，故可以保证最终的色彩恢复结果真实准确。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于偏振的彩色物体三维重建方法的流程图；

图2是本发明实施例提供的一种偏振图像拍摄过程示意图；

图3是本发明实施例提供的一种待重建目标表面一点的法线与该点的方位角和天顶角的关系示意图；

图4是本发明实施例提供的一种三维空间点划分示意图；

图5是本发明实施例提供的一种线性插值过程示意图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于偏振的彩色物体三维重建方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

请参见图1，图1是本发明实施例提供的一种基于偏振的彩色物体三维重建方法的流程图。该彩色物体三维重建方法包括：

S1：获取待重建目标的多张不同偏振度的偏振图像；

具体地，请参见图2，图2是本发明实施例提供的一种偏振图像拍摄过程示意图。在拍摄过程中，首先选定待重建目标1；接着，选取相机2清晰拍摄的位置，并在相机2与待重建目标1之间设置等高同轴的偏振片3，保证在整个拍照过程中待重建目标1、相机2和偏振片3的相对位置保持不变；然后，旋转偏振片3，依次在0°、60°和120°偏振度位置处进行拍摄，获取三张不同偏振度的偏振图像I₀，I₆₀和I₁₂₀。需要说明的是，相机在拍摄偏振图像的同时能够记录下每个像素点的色彩值。

S2：根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息；

将步骤S1中获得的偏振图像I₀，I₆₀和I₁₂₀读入计算机中。

根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的偏振度。具体地，采用斯托克斯公式，根据三幅偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的斯托克斯矢量I、Q和U：

根据所述斯托克斯矢量I、Q和U计算所述待重建目标的偏振度P：

随后，利用所述偏振度获得所述待重建目标的结构三维信息。

具体地，首先利用偏振度P计算所述待重建目标表面入射光的入射方位角和入射天顶角θ：

其中，n为所述待重建目标表面的折射率。经过实验验证，大多数自然界物体的折射率在1.3-1.6，本实施例中n的取值为1.5。

接着，请参见图3，图3是本发明实施例提供的一种待重建目标表面一点的发现与该点的方位角和天顶角的关系示意图。根据所述入射方位角和所述入射天顶角θ可以计算所述待重建目标的表面法线

其中，p为表面函数Z(x,y)关于x轴的偏导数，q为表面函数Z(x,y)关于y轴的偏导数。

随后，根据所述表面法线计算所述待重建目标的结构三维信息。具体地，利用上述获得的表面法线通过表面积分Frankot-Chellappa算法(Frankot-Chellappa算法是一种从法线到高度的全局算法，可以从图像法线恢复物体表面高度信息)，假定待重建目标的表面函数为Z(x,y)，满足可积分条件，即表面函数Z(x,y)在其正交的两个方向(x，y方向上)的偏导数都存在。其将求表面积分的问题看作一个正交投影的过程，然后通过利用一系列的正交函数的组合来尽可能的逼近表面函数Z(x,y)，从而得到真实的待重建目标的结构三维信息：

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M，

N分别为拍摄的所述偏振图像的横向像素与纵向像素的个数，(u,v)为离散傅里叶变换中的频率坐标。频率坐标(u,v)的取值范围为：(-[N/2],-[M/2])至([N/2],[M/2])。

通过上述步骤，已经获得了待重建目标的结构三维信息，以下将详细描述待重建目标的颜色恢复过程。

S3：获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系；

所述S3具体包括：

S31：获得照射到所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系：

其中，(i,j)为偏振图像的坐标，表示映射函数，p为表面函数Z(x,y)关于x轴的偏导数，q为表面函数Z(x,y)关于y轴的偏导数，β为光照方向向量，l为待重建目标到相机的矢量，ρ为待重建目标表面材料的反照率或本征反射率；

S32：获取所述偏振图像I₀，I₆₀和I₁₂₀中的一张图像的色彩值Color(i,j)。

通过上述步骤S1和S2，已经获得了待重建目标的结构以及尺度信息，但是丢失了待重建目标表面的真实颜色信息。在这里，假设拍摄的偏振图像的平面P上的坐标为(i,j)，则读取I₀，I₆₀，I₁₂₀中的任意一副的色彩值记为Color(i,j)。如上所述，相机在拍摄偏振图像的同时能够记录下每个像素点的色彩值，这里只需要对已记录的色彩值进行读取即可，无需再去用另外的装置获取色彩数据。

S4：根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息。

进一步地，所述S4包括：

S41：利用所述映射函数获取所述结构三维信息中的三维空间点对应的二维偏振图像的位置，并对所对应的三维空间点进行色彩赋值；

具体地，遍历所述结构三维信息中的所有三维空间点，利用映射函数找出对应的二维图像位置，对所对应的三维空间点的颜色属性进行赋值：

Color(x,y,z)＝Color(i,j)，

其中，Color(x,y,z)为利用映射函数与Color(i,j)对应的结构三维信息中的色彩值。

S42：对所述三维空间点进行划分，将零散的三维空间点搭建为三维的网格；

本步骤对三维空间点进行划分，从而给零散的空间点搭起一个三维的网格，相当于对最终重建的三维结果进行细致的划分，以便于更好的处理与分析。

具体地，对于成像平面，即拍摄到的偏振图像表面上的每一个像素点都可以找到其最邻近的三个像素点构成一个非常小的四边形，并且将所述四边形认为是一个平面正方形，该正方形可认为是物体三维空间点投影在成像平面所得；将所述平面正方形对应到真实的三维空间将会得到一个空间四边形，由于其非常小，可以将所述空间四边形的四个顶点认为是在一个平面。从而完成将零散的三维空间点搭建为三维的网格。

示例性地，请参见图4，图4是本发明实施例提供的一种三维空间点划分示意图。考虑到相机像素分布是非常规则的按行按列对齐的，如图4所示，对于一个圆柱形物体，从不同角度去拍拍摄，将会得到不同的形状，假如我们自左向右拍摄将会得到一个矩形，在成像平面每一个像素点都记录了对应的光强值，对于每一个像素点都可以找到它附近最邻近的三个点构成一个非常小的矩形，对应到真实的物空间将会得到一个空间四边形，由于其非常小，可以近似认为是在一个平面。

在图像的平面P上，由于其坐标原点在左上角，如图4中的点a，因此可以将每个像素点同位于其右侧和下侧最邻近的三个点(点b、c、d)构成一个正方形，遍布平面图像中的所有像素点，从而实现从散点到网格的构建。

S43：利用双线性插值法，对每个所述网格的每条边使用插值颜色，且对每个所述网格的面积进行插补着色，以获得携带色彩信息的三维图像信息。

为了让颜色更加逼真，且进行缩放仍能有较好的视觉体验，需要对上述步骤中构建的每个网格的每条边使用插值颜色，每个网格的每个面积进行插补着色，以使颜色在呈现过渡样式。在本实施例中，利用双线性插值法进行颜色数据插值。具体地，对于一个目的像素，即待插值的像素，设置坐标通过反向变换得到其浮点坐标为(i+m,j+n)(其中，i、j均为浮点坐标的整数部分，m、n为浮点坐标的小数部分，是取值[0,1)区间的浮点数)，则该像素的值f(i+m,j+n)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：

f(i+m,j+n)＝(1-m)(1-n)f(i,j)+(1-m)nf(i,j+1)+m(1-n)f(i+1,j)+mnf(i+1,j+1)

其中f(i,j)表示源图像(i,j)处的色彩值，以此类推。

本实施例的计算方法是：首先根据要进行缩放的缩放比求得浮点坐标(m,n)，例如对于一副3x3的照片要放缩到4x6则，m＝3/4＝0.75，n＝3/6＝0.5，然后根据双线性插值算法，在j方向上进行两次线性插值计算，然后在i方向上进行一次插值计算。请参见图5，图5是本发明实施例提供的一种线性插值过程示意图。示例性地，假设Q11、Q12、Q21和Q22是四个已经知道像素值(颜色跟结构信息)的点，现要在其周围插入新的像素点，则根据下述公式即可求出插入的新的像素点P的像素值：

f(i,j+n)≈(1-n)f(Q₁₁)+nf(Q₁₂)，

f(i+1,j+n)≈(1-n)f(Q₂₁)+nf(Q₂₂)，

f(i+m,j+n)≈(1-m)f(i,j+n)+mf(i+1,j+n)

≈(1-m)(1-n)f(Q₁₁)+(1-m)nf(Q₁₂)+m(1-n)f(Q₂₁)+mnf(Q₂₂)。

类似地，可以通过上述步骤，对每个所述网格的每条边使用插值颜色，且对每个所述网格的面积进行插补着色，以使颜色更加逼真，且具有较好的视觉体验，例如，可以在Q11、Q12、Q21和Q22所围成的四边形的每条边上进行色彩插值。

需要说明的是，f(Q)(例如，f(Q11)、f(Q12)、f(Q21)和f(Q22))的像素值可以是颜色信息也可以是结构信息，因此要对某一局部进行细致研究时，需要对重建结果进行放大缩小，可以通过插值的方法在已知像素点具有颜色信息跟结构信息的基础上进行填补，从而将三维空间点的色彩值扩充至三维待重建目标表面的面色彩值，不会造成失真。

综上，本实施例的方法仅需利用普通相机跟一个偏振片，就可以进行彩色物体的三维重建，实现三维物体的颜色恢复，且对场景没有具体的要求，应用场景广，成本低。该方法能够建立数据点与邻近点的拓扑关系，这种拓扑连接关系将有效揭示散乱数据集所蕴涵的原始物体表面的形状和拓扑结构，利用这种关系可以通过插值方法利用已有的色彩值，恢复出待重建目标表面任何一点的颜色值，此外，由于利用的是相机直接获取的物体表面每点的真实色彩值，故可以保证最终的色彩恢复结果真实准确。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于偏振的彩色物体三维重建方法，其特征在于，包括：

获取待重建目标的多张不同偏振度的偏振图像；

根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息；

获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系；

根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息。

2.根据权利要求1所述的基于偏振的彩色物体三维重建方法，其特征在于，获取待重建目标的多张不同偏振度的偏振图像，包括：

选定待重建目标；

选取相机清晰拍摄的位置，并在所述相机与所述待重建目标之间设置等高同轴的偏振片；

旋转所述偏振片，依次在0°、60°和120°偏振度位置处进行拍摄，获取三张不同偏振度的偏振图像I₀，I₆₀和I₁₂₀。

3.根据权利要求2所述的基于偏振的彩色物体三维重建方法，其特征在于，根据所述偏振图像进行所述待重建目标的结构三维重建，获得所述待重建目标的结构三维信息，包括：

根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的偏振度；

利用所述偏振度获得所述待重建目标的结构三维信息。

4.根据权利要求1所述的基于偏振的彩色物体三维重建方法，其特征在于，根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的偏振度，包括：

采用斯托克斯公式，根据所述偏振图像I₀，I₆₀和I₁₂₀计算所述待重建目标的斯托克斯矢量I、Q和U：

根据所述斯托克斯矢量I、Q和U计算所述待重建目标的偏振度P：

5.根据权利要求4所述的基于偏振的彩色物体三维重建方法，其特征在于，利用所述偏振度获得所述待重建目标的结构三维信息，包括：

利用所述偏振度P计算所述待重建目标表面入射光的入射方位角和入射天顶角θ：

其中，n为所述待重建目标表面的折射率；

根据所述入射方位角和所述入射天顶角θ计算所述待重建目标的表面法线

其中，p为待重建目标的表面函数Z(x,y)关于x轴的偏导数，q为待重建目标的表面函数Z(x,y)关于y轴的偏导数；

根据所述表面法线计算所述待重建目标的结构三维信息：

其中，F{·}表示离散傅里叶变换，F^-1{·}表示离散傅里叶逆变换，M，N分别为拍摄的所述偏振图像的横向像素与纵向像素的个数，(u,v)为离散傅里叶变换中的频率坐标。

6.根据权利要求1所述的基于偏振的彩色物体三维重建方法，其特征在于，获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系，包括：

获得照射到所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系：

其中，(i,j)为偏振图像的坐标，表示映射函数，p，q为目标表面函数的偏导数，β为光照方向向量，l为待重建目标到相机的矢量，ρ为待重建目标表面材料的反照率或本征反射率；

获取所述偏振图像I₀，I₆₀和I₁₂₀中的一张图像的色彩值Color(i,j)。

7.根据权利要求6所述的基于偏振的彩色物体三维重建方法，其特征在于，根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中，获得携带色彩信息的三维图像信息，包括：

利用所述映射函数获取所述结构三维信息中的三维空间点对应的二维偏振图像的位置，并对所对应的三维空间点进行色彩赋值；

对所述三维空间点进行划分，将零散的三维空间点搭建为三维的网格；

利用双线性插值法，对每个所述网格的每条边使用插值颜色，且对每个所述网格的面积进行插补着色，以获得携带色彩信息的三维图像信息。

8.根据权利要求7所述的基于偏振的彩色物体三维重建方法，其特征在于，对所述三维空间点进行划分，将零散的三维空间点搭建为三维的网格，包括：

对于所述偏振图像表面的每个像素点找到其最邻近的三个像素点构成一个四边形结构，并且将所述四边形认为是一个平面正方形；

将所述平面正方形对应到三维空间中得到一个空间四边形，将所述空间四边形的四个顶点认为是在同一平面上，从而将零散的三维空间点搭建为三维的网格。