CN112396687B - 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 - Google Patents

Abstract

本发明公开了一种基于红外微偏振片阵列的双目立体视觉三维重建系统及方法，其利用瞬时视场误差偏振信息增加图像匹配的细节信息。本发明的方法包含如下步骤：(1)：用红外微偏振片阵列双目相机获取实时偏振图像数据；(2)：用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集；(3)：对步骤(2)得到的数据进行预处理；(4)：分别对瞬时视场误差偏振度ρ_IFOVE图像和瞬时视场误差S_0IFOVE图像进行像素级融合；步骤(5)：采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配；(6)：利用得到的是视差图和标定好的相机参数，然后利用网格对三维重建结果进行优化，通过纹理映射技术显示三维模型纹理。

Description

基于红外微偏振片阵列的双目立体视觉三维重建系统及方法

技术领域

本发明属于计算机视觉和偏振光学技术领域，涉及一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法。

背景技术

双目立体视觉是计算机视觉中的一个重要分支。双目立体视觉利用一个能进行平移运动的相机，或者是两个摆放在不同位置的相机来模拟人眼，通过相机获取三维物体不同位置角度的两幅二维图像。双目立体视觉通过计算三维空间中一点在两个相机焦平面上像点的位置偏差，计算出空间点的三维坐标值，进而实现物体的三维重建。与其他获取物体三维信息的方法相比，双目立体视觉技术直接模拟人眼，系统更加简单可靠，因而在多个领域有着广泛的应用。

目前，双目立体视觉技术的研究和应用主要集中在可见光波段。受成像器件的限制，可见光波段的双目立体视觉系统只能应用在白天或者有主动可见光光源的场景。而在没有可见光照的情况下，可见光波段的双目立体视觉系统就不再起作用。因此极大的限制了双目立体视觉的应用范围。任何物体当温度高于绝对零度的时候，都会向外界发射红外辐射，且物体温度越高，辐射越强。红外相机正是利用红外探测器件接受物体发出的红外辐射，经过转化，将不可见的红外辐射转变成可见的图像。然而红外图像噪声大、纹理信息和细节信息缺失严重，导致双目立体匹配算法效果不理想。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提出一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建系统及方法，利用瞬时视场误差偏振信息增加图像匹配的细节信息。以解决现有技术中存在的红外双目立体视觉在匹配过程中存在的细节信息严重缺失问题。

为了达到上述目的，本发明公开的方法采用以下技术方案予以实现：

基于红外微偏振片阵列的双目立体视觉三维重建方法，其特征在于，包含如下步骤：

步骤(1)：用红外微偏振片阵列双目相机获取实时偏振图像数据，I₀、I₄₅、I₉₀、I₁₃₅分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值，(i,j)表示像素位置；

步骤(2)：用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集，左右相机各采集15组，然后标定，解算出相机的内外参数；

步骤(3)：对步骤(2)得到的数据进行预处理；

步骤(4)：分别对步骤(3)红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρ_IFOVE图像和瞬时视场误差S_0IFOVE图像进行像素级融合，得到融合后的图像；

步骤(5)：采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配，然后通过视差可靠性检测得到物体更加准确的视差图；

步骤(6)：利用得到的是视差图和标定好的相机参数，然后利用网格对三维重建结果进行优化，通过纹理映射技术显示三维模型纹理，使得重建效果更加准确。

作为本发明公开的方法的一种优选实施方式：所述步骤(3)包含如下数据处理流程：

步骤(3a)：对左右相机获取的红外偏振图像进行去噪；

步骤(3b)：计算去噪后左右红外偏振图像的瞬时视场误差斯托克斯矢量，采用每4个偏振像元为一组，每4个像元都包含I₀、I₄₅、I₉₀、I₁₃₅依次计算其瞬时视场误差斯托克斯矢量；(i,j)表示像素位置，其计算公式如下：

利用得到的瞬时视场误差斯托克斯矢量计算瞬时视场误差偏振信息，偏振度计算公式为：

本发明还公开了基于红外微偏振片阵列的双目立体视觉三维重建系统，用于执行任一上述的基于红外微偏振片阵列的双目立体视觉三维重建方法，包含以下模块：

(1)红外微偏振片阵列双目相机数据获取模块：红外微偏振片阵列相机通过千兆网口传输数据，通过千兆网口交换机连接两个红外微偏振片阵列相机，然后采集获得数据；

(2)红外微偏振片阵列双目相机标定模块：红外标定板采用在玻璃板上镀金属棋盘格，然后通过红外标定板标定获取双目相机的内外参数；

(3)红外微偏振片阵列双目数据预处理模块：由于微偏振片阵列图像噪声比较严重，对红外微偏振片阵列双目数据进行降噪处理；对采集到的图像以4个像元为单元，通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息；

(4)瞬时视场误差红外偏振图像与瞬时视场误差S_0IFOVE图像融合模块：物体的瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度ρ_IFOVE图像存在差异性和互补性；通过融合瞬时视场误差红外偏振度ρ_IFOVE图像与瞬时视场误差S_0IFOVE图像，增加双目匹配的准确性；

(5)图像对匹配模块：通过图像对匹配算法，得到物体视差图；

(6)物体三维重建模块：用相机的参数以及视差图，生成物体的三维结构图。

本发明有益效果是：

本发明公开的系统及方法具备同样的有益效果，具体的引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法，由两个红外微偏振片阵列相机组成双目立体视觉系统，通过对左右红外微偏振片阵列相机进行标定，获取相机内外参数。然后获取目标的红外偏振数据，对获得的数据进行预处理，然后利用每4个像元为一组，依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度图像细节边缘信息更加丰富，瞬时视场误差S_0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度图像进行像素级融合，得到的融合图像细节边缘更加丰富。对处理后的图像进行特征点匹配，再结合相机标定参数，得到物体的三维模型。

本发明针对目前在双目立体视觉中，红外图像噪声大、纹理信息和细节信息缺失严重，导致双目立体匹配算法效果不理想。本发明提出一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法，利用每4个像元为一组，引入瞬时视场误差，依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度ρ_IFOVE图像细节边缘信息更加丰富，瞬时视场误差S_0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度ρ_IFOVE图像进行像素级融合，得到的融合图像细节边缘更加丰富。分别用左右相机得到的融合图像进行立体匹配，使得最终得到的物体的三维模型更加准确。

附图说明

图1是本发明的方法的流程图。

图2是本发明的微偏振片阵列相机像元的示意图。

图3是本发明的红外标定板示意图。

附图标记说明：

1-金属镀膜，2-玻璃基底。

具体实施方式

下面结合附图及实施例描述本发明具体实施方式：

本发明公开的基于红外微偏振片阵列的双目立体视觉三维重建方法，步骤如下：

步骤(1)用红外微偏振片阵列双目相机获取实时偏振图像数据，如图2所示I₀、I₄₅、I₉₀、I₁₃₅分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值，(i,j)表示像素位置。

步骤(2)如图3所示，用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集，左右相机各采集15组，然后标定，解算出相机的内外参数。

步骤(3a)对左右相机获取的红外偏振图像进行去噪。由于红外微偏振片阵列图像噪声比较严重，所以需要对得到的红外偏振数据进行降噪处理。

步骤(3b)计算去噪后左右红外偏振图像的瞬时视场误差斯托克斯矢量，和传统的去马赛克算法不同，本发明采用每4个偏振像元为一组，每4个像元都包含I₀、I₄₅、I₉₀、I₁₃₅依次计算其瞬时视场误差斯托克斯矢量。如图2所示，(i,j)表示像素位置。其计算公式如下：

利用得到的瞬时视场误差斯托克斯矢量计算瞬时视场误差偏振信息，偏振度计算公式为：

步骤(4)分别对红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρ_IFOVE图像和瞬时视场误差S_0IFOVE图像进行像素级融合，得到融合后的图像。

步骤(5)采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配，然后通过视差可靠性检测得到物体更加准确的视差图。

步骤(6)利用得到的是视差图和标定好的相机参数，然后利用网格对三维重建结果进行优化，通过纹理映射技术显示三维模型纹理，使得重建效果更加准确。

本发明公开的系统用于执行上述的方法，本发明公开的系统采用以下技术方案：基于红外微偏振片阵列的双目立体视觉三维重建系统及方法，由两个红外微偏振片阵列相机组成双目立体视觉系统，通过对左右红外微偏振片阵列相机进行标定，获取相机内外参数。然后获取目标的红外偏振数据，对获得的数据进行预处理，然后利用每4个像元为一组，依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度图像细节边缘信息更加丰富，瞬时视场误差S_0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度图像进行像素级融合，得到的融合图像细节边缘更加丰富。对处理后的图像进行特征点匹配，再结合相机标定参数，得到物体的三维模型。

本发明公开的系统采用以下模块给与实现：

(1)红外微偏振片阵列双目相机数据获取模块：本发明的的红外微偏振片阵列相机通过千兆网口传输数据，通过千兆网口交换机连接两个红外微偏振片阵列相机，然后采集获得数据；

(2)红外微偏振片阵列双目相机标定模块：本发明的红外标定板采用在玻璃板上镀金属棋盘格，然后通过红外标定板标定获取双目相机的内外参数。

(3)红外微偏振片阵列双目数据预处理模块：

(3a)由于微偏振片阵列图像噪声比较严重，对红外微偏振片阵列双目数据进行降噪处理；

(3b)对采集到的图像以4个像元为单元，通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息。

(4)瞬时视场误差红外偏振图像与瞬时视场误差S_0IFOVE图像融合模块：物体的瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度ρ_IFOVE图像存在差异性和互补性。通过本发明解算的瞬时视场误差偏振度图像细节边缘信息更加丰富，瞬时视场误差S_0IFOVE图像可以显示物体的能量分布，但细节特征和边缘模糊。通过融合瞬时视场误差红外偏振度ρ_IFOVE图像与瞬时视场误差S_0IFOVE图像，可以有效的增加双目匹配的准确性。

(5)图像对匹配模块：通过图像对匹配算法，得到物体视差图。

(6)物体三维重建模块：用相机的参数以及视差图，生成物体的三维结构图。

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (3)

1.基于红外微偏振片阵列的双目立体视觉三维重建方法，其特征在于，包含如下步骤：

步骤(1)：用红外微偏振片阵列双目相机获取实时偏振图像数据，I₀、I₄₅、I₉₀、I₁₃₅分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值，(i,j)表示像素位置；

步骤(2)：用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集，左右相机各采集15组，然后标定，解算出相机的内外参数；

步骤(3)：对步骤(2)得到的数据进行预处理；

步骤(4)：分别对步骤(3)红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρ_IFOVE图像和瞬时视场误差S_0IFOVE图像进行像素级融合，得到融合后的图像；

步骤(5)：采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配，然后通过视差可靠性检测得到物体更加准确的视差图；

步骤(6)：利用得到的是视差图和标定好的相机参数，然后利用网格对三维重建结果进行优化，通过纹理映射技术显示三维模型纹理，使得重建效果更加准确。

2.如权利要求1所述的基于红外微偏振片阵列的双目立体视觉三维重建方法，其特征在于：所述步骤(3)包含如下数据处理流程：

步骤(3a)：对左右相机获取的红外偏振图像进行去噪；

步骤(3b)：计算去噪后左右红外偏振图像的瞬时视场误差斯托克斯矢量，采用每4个偏振像元为一组，每4个像元都包含I₀、I₄₅、I₉₀、I₁₃₅依次计算其瞬时视场误差斯托克斯矢量；(i,j)表示像素位置，其计算公式如下：

利用得到的瞬时视场误差斯托克斯矢量计算瞬时视场误差偏振信息，偏振度计算公式为：

3.基于红外微偏振片阵列的双目立体视觉三维重建系统，用于执行如权利要求1或2的方法，其特征在于：包含以下模块：

(1)红外微偏振片阵列双目相机数据获取模块：红外微偏振片阵列相机通过千兆网口传输数据，通过千兆网口交换机连接两个红外微偏振片阵列相机，然后采集获得数据；

(2)红外微偏振片阵列双目相机标定模块：红外标定板采用在玻璃板上镀金属棋盘格，然后通过红外标定板标定获取双目相机的内外参数；

(3)红外微偏振片阵列双目数据预处理模块：由于微偏振片阵列图像噪声比较严重，对红外微偏振片阵列双目数据进行降噪处理；对采集到的图像以4个像元为单元，通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息；

(4)瞬时视场误差红外偏振图像与瞬时视场误差S_0IFOVE图像融合模块：物体的瞬时视场误差S_0IFOVE图像和瞬时视场误差偏振度ρ_IFOVE图像存在差异性和互补性；通过融合瞬时视场误差红外偏振度ρ_IFOVE图像与瞬时视场误差S_0IFOVE图像，增加双目匹配的准确性；

(5)图像对匹配模块：通过图像对匹配算法，得到物体视差图；

(6)物体三维重建模块：用相机的参数以及视差图，生成物体的三维结构图。