CN109099838B - 一种基于折反射的单目立体视觉系统三维信息测量方法 - Google Patents

Abstract

本发明涉及一种基于折反射的单目立体视觉系统三维信息测量方法，根据待测物体大小建立折反射的单目立体视觉系统，折反射的单目立体视觉系统包括奇数个反射镜和一个摄像机，其中反射镜的位置和参数已知，通过反射镜反射光线和分割摄像机视野，摄像机同时拍摄物体和物体在镜子中的虚像，在一幅图像上获取物体的若干个映像，且这些映像来源于不同的视点，通过这些映像、摄像机的位置信息和反射镜的位置信息获取包含物体的场景信息。本发明通过单台摄像机即可获得三维场景信息，只需要标定一组摄像机参数，减少了工作量，属于机器视觉测量领域。

Description

一种基于折反射的单目立体视觉系统三维信息测量方法

技术领域

本发明涉及机器视觉测量领域，尤其涉及一种基于折反射立体视觉系统的三维信息测量方法。

背景技术

基于机器视觉的三维信息测量技术是人工智能以及模式识别的领域的研究热点，研究成果已经在品质检测等许多领域得到广泛应用，其研究价值日益凸显。模仿人类的视觉系统，使用两台相机(两幅图像)的双目立体视觉是一种常用的三维信息测量方法。在已知相机内部参数和外部参数(可以通过系统标定获得)的条件下，通过估计物体的特征点在两幅图像上的投影视差，利用三角测量原理可以计算出物体点的三维空间距离。该方法系统构造简单、理论清晰，是该类研究的经典配置。但是多相机配置增加了系统造价，同时增加了系统标定的难度和工作量。

使用一台相机的单目立体视觉系统可以有效避免多相机系统的诸多缺点。使用一台相机的结构光主动视觉方法，可以高精度地计算距离信息，但是系统价格昂贵，且无法实现实时系统。多重曝光方法原理类似于共焦点显微镜，利用不同景深的物体合焦距不同的特点，微小间隔可以改变相机焦点距离并同时连续拍摄图像，检测对应不同焦点距离的图像合焦部分，可以求得场景的三维信息。此方法有效测量范围窄，需要精密控制焦距变化，系统非常复杂，不易操作。

发明内容

为克服现有技术存在的缺陷，本发明的目的是提供一种通过单台相机直接获取三维信息的基于折反射的单目立体视觉系统三维信息测量方法。

本发明采用如下技术方案：

一种基于折反射的单目立体视觉系统三维信息测量方法，根据待测物体大小建立折反射的单目立体视觉系统，折反射的单目立体视觉系统包括奇数个反射镜和一个摄像机，其中反射镜的位置和参数已知，通过反射镜反射光线和分割摄像机视野，摄像机同时拍摄物体和物体在镜子中的虚像，在一幅图像上获取物体的若干个映像，且这些映像来源于不同的视点，通过这些映像、摄像机的位置信息和反射镜的位置信息获取包含物体的场景信息。

作为一种优选，一种基于折反射的单目立体视觉系统三维信息测量方法，包括如下步骤：(1)确定采集场景信息所需的反射镜数量；(2)计算反射镜与摄像机的摆放位置和角度；(3)使用摄像机采集场景信息；(4)对采集到的信息进行处理；(5)得到所需场景信息。

作为一种优选，步骤(1)中，反射镜的数量为三个，折反射的单目立体视觉系统确保视场在两个虚拟相机之间均等共享，每个虚拟相机的视场是真实摄像机的视场的一半。

作为一种优选，步骤(2)中，通过约束条件计算反射镜的摆放位置，通过自动化工具对摆放位置进行校正，使得折反射的单目立体视觉系统尺寸最小化。

作为一种优选，约束条件为必须使用奇数个反射镜构成折反射的单目立体视觉系统；当采用三镜系统时，首先要保证反射镜的放置使得虚拟相机之间没有旋转，即满足

其次是保证虚拟相机之间的平移方向是沿着X轴的，

其中n₁、n₂、n₃分别为三面反射镜的法向量；

-n_3yd₃+(2(n₃·n₂)n_3y-n_2y)d₂+n_1yd₁＝0

-n_3zd₃+(2(n₃·n₂)n_3z-n_2z)d₂+n_1zd₁＝0

其中，d_i为第i个反射镜到真实摄像机坐标系的距离；n_iy为第i个反射镜沿Y轴方向的法线分量；n_iz为第i个反射镜沿Z轴方向的法线分量。

作为一种优选，自动化工具为为了找到最佳配置进行的搜索计算；通过第一反射镜所有可能的位置(θ_i，d_i)和第二个反射镜的角度θ₂进行搜索；通过求解以下式子找到剩余的三个参数、距离第二个反射镜距离d₂、到第三个反射镜距离d₃以及角度θ₃，其中n_ix＝cosθ₁，n_iz＝sinθ_i；

θ₃-θ₂＝θ₁

-n_3zd₃+(2(n₃·n₂)n_3z-n_2z)d₂+n_1zd₁＝0

2n_2xd₂+(2n_2x-4(n₂·n₂)n_2x)d₂+2n_1xd₁＝b

式中，θ_i为第i面反射镜与X轴的夹角；n₁、n₂、n₃分别为三面反射镜的法向量；n_ix为第i个反射镜沿X轴方向的法线分量；n_iz为第i个反射镜沿Z轴方向的法线分量；b为基线；

对于每一组计算参数，通过追踪光轴和视场的限制光线并与反射镜相交来确定反射镜的端点，以确定整个视觉系统的周长，选择最小周长设计。

本发明的优点是：

1.通过单台摄像机即可获得三维场景信息，只需要标定一组摄像机参数，减少了工作量。

2.通过自动化工具，使得折反射的单目立体视觉系统尺寸最小化。

3.单台摄像机运算量小、编程方便、容易实现大批量数据的自动化处理。

4.通过摄像机与反射镜的结合测量，可以获得更广泛的视野，与构建传统的双目或多目视觉系统相比，更简单经济。

附图说明

图1是一种基于折反射的单目立体视觉系统三维信息测量方法的流程图。

图2是一种基于折反射的单目立体视觉系统摆放角度示意图。反射镜采用五个，如图所示的顺序排列，并且每个反射镜被限定在附连到左虚拟摄像机的坐标系中，其中X轴沿着扫描线，Z轴在光轴的方向上。其中，1-5为反射镜，6为摄像机，7为左侧虚拟相机，8为右侧虚拟相机。

图3是一种基于折反射的单目立体视觉系统中反射镜间角度关系示意图。

图4是一种基于折反射的单目立体视觉系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

有现有技术做支撑，本发明采用如下技术方案：

一种基于折反射的单目立体视觉系统三维信息测量方法，包括如下步骤：根据需要测量物体大小建立折反射的单目立体视觉系统，折反射的单目立体视觉系统只能用奇数个位置与参数已知的反射镜和一个摄像机构成，因为当两个反射镜反映场景点时，通过应用两个连续反射变换找到虚拟相机。所得变换为平面刚性运动时，这意味着平移方向与旋转轴正交。旋转轴是(N₁×N₂)，其中N₁和N₂是两个反射镜的法线。在两个反射镜的情况下，变换相互抵消。因此，对于每一个附加的反射镜，通过应用另一个反射变换找到虚拟相机。一般来说，如果反射镜的数目是奇数，则可得到变换转换坐标系，从而产生场景的镜像。

本发明举例使用三个反射镜时的用法，三个反射镜的单目立体视觉系统可以确保视场在两个虚拟相机之间均等共享，对反射镜的位置进行校准计算得到最优的单目立体视觉系统设计方案。

在折反射立体视觉系统的应用中，系统的紧凑性尤为重要，我们需要得到一个折反射的单目立体视觉系统的自动化工具，也就是在给定设计参数，如基线、视场和实际相机的尺寸，我们可以经过计算反射镜的最佳位置，使得虚拟相机被校正，并且整个折反射的单目立体视觉系统尺寸被最小化。

通过平面镜成像原理解释图像行成。当反射镜反射场景点时形成的图像是由位于反射镜相对侧的虚拟相机拍摄的相同透视图像。通过应用反射变换发现虚拟相机相对于实际摄像机坐标系的位置。若用普通的N代替反射镜，并且从真实的摄像机中心测量距离D，则发现反射变换D是

式中，I为单位矩阵，n代表反射镜法线，T为转置符号，d为反射镜到真实坐标系的距离。

真实摄像机坐标系与虚拟相机坐标系之间的转换D是一个刚性变换的组合从左到右(反之亦然)坐标系统的转换，则反射变换是自己的逆：

DD＝I

为了采集到有效的图像，立体视觉系统必须满足几个要求。两个摄像机之间不必有相对旋转，平移必须平行于图像平面的扫描线，如图2所示，反射镜如图所示的顺序排列，并且每个反射镜被限定在附连到左虚拟摄像机的坐标系中，其中X轴沿着扫描线，Z轴在光轴的方向上(，并且两个摄像机的内部参数必须是相同的。在折反射的单目立体视觉系统中，满足了最后的要求，因为只使用了一个摄像机。为了保证前两个要求，镜子必须满足一下条件。

其中b是基线，m是使用的反射镜的数目，而D_i是由i^th反射镜产生的反射变换。反射镜按图2所示的顺序排列，并且每个反射镜被限定在附连到左虚拟相机的坐标系统中，其中X轴沿着扫描线，Z轴在光轴的方向上。

虽然满足(2)足以确保单目立体视觉系统的可行性，但是在两个虚拟相机之间分割真实摄像机的视场时，必须保证视场正确地重叠。当其中两个虚拟相机进行采集图像，但不共享视场。视场在两个不同的反射镜系统之间分裂时，每个虚拟相机都能看到真实摄像机视场的一半。所以，在实践中，两个半视场必须重叠。

两个虚拟相机有三种可能的配置，这取决于所使用的反射镜的数量。然而，只有左边或右边的一个可以得到一个实用的立体视觉系统。为了获得一个可用的立体视觉系统，必须使用奇数个反射镜。我们通过翻转X轴的方向来实现这一点。

简单地表明，对于任意数量的奇数镜，存在一种解决方案。对于m＝1，镜像只有一个特解n₁＝[1，0，0]T。对于所有奇数m(m＞1)，可以通过增加M-1/2对相同的反射变换来获得通解；因为反射变换是其自身的倒数，每对都将抵消。其中，T为转置符号，M为任意正整数。

虽然有许多解决方案，但大多数不是物理情况下由于遮挡和交叉镜无法实现。接下来，我们讲解使用三个反射镜的解决方案。可以使用五个或更多的反射镜，但是这些系统是复杂的，并且它们的优点尚不清楚。

为了获得单个反射镜的校正图像，反射镜的平面必须满足。

其中n₁和d₁是反射镜和摄像机坐标系的距离，D₁为真实摄像机与虚拟相机坐标系之间第一次通过反射变换的条件矩阵，I为单位矩阵。公式成立的条件，n₁＝[1，0，0]^T。只需一个反射镜便可获得校正图像唯有当镜面的法线平行于摄像机的扫描线(X轴)时才能成立。无论距离n₁的数值是多少，这一单目立体视觉系统都能够完全图像的矫正，只需把基线b的数值改为d₁的两倍。

通过增加反射镜来克服单镜立体视觉系统的局限性。三镜立体视觉系统，通过使用三个反射镜，可以设计一个整合的立体系统，其中每个虚拟相机的视场是真实摄像机的视场的一半，确保视场在两个虚拟相机之间均等地共享。此外，可以使用相对小的反射镜获得大的基线。反射镜不能随意摆放，为了获得校正的单目立体视觉系统，必须满足反射镜和摄像机之间的五个约束。从(3)我们知道反射镜必须这样放置。

根据式(5)首先通过确定如何放置反射镜来获得三个约束，从而在虚拟相机之间没有旋转。然后剩下的两个约束则是如何按要求平行于扫描线(X轴)。在(5)中矩阵的左上3×3块是要求在虚拟相机之间没有旋转的要求：

式中，R_i为第i面反射镜间的旋转矩阵，n_i代表第i个反射镜的反射变换关系矩阵。

其中，

R₁R₂是旋转矩阵，旋转轴由n₁×n₂定义。

这意味着

也就是说，

因此，代入式(6)可得

(n₁×n₂)＝λ(n₃×[1，0，0]^T) (10)

利用带n₁或n₃的点积可得到两个独立的约束，

λ(n₃×[1，0，0]^T)＝0(11)去掉比例因子得到n₃·(n₁×n₂)＝0(12)

式中，λ为比例因子。

由式(12)可知三个反射镜n₁、n₂和n₃和X轴的法线都是共面的。当法线是共面的时，反射镜使虚拟相机绕公共轴旋转。其次我们只需要确定反射镜的方向，以消除旋转角度。通过在包含法线和X轴的平面的两个维度可以简化分析。在二维平面中，反射镜使用直线来描绘，其中θ_i是第i个平面镜法线与实际摄像机的X轴之间的夹角，为了简洁起见，我们就把坐标系的X轴平移到了实际摄像机处。

角度α为偏离光心射线的角度，考虑在角度α离开摄像机中心的射线和离开摄像机的相应光线在角度π-α上，那么反射镜必须是倾斜的，这样两个反射光线是平行的，从而确保虚拟相机之间没有旋转(见图3)。在角度为θ1时，左光线的角度为

α₁＝2θ₁-α+π (13)

由两个反射镜反射后的右光线α2的角度为

α₂＝2θ₃-2θ₂-α+π (14)

如果α₁＝α₂，则这两条射线是平行的。因此，如果取消旋转，

θ₃-θ₂＝θ₁ (15)

我们可以用反射镜的法线来表示(15)，

n₃·n₂＝n₁·[1，0，0]^T (16)

综上所述，如果反射镜的法线满足三个约束(11)、(12)和(16)，则两个虚拟相机之间不会有旋转。

此外，折反射的单目立体视觉系统的成立还需要确保虚拟相机之间的平移方向是沿着X轴。(5)的变换部分，即：

式中，d_i为第i个反射镜到真实摄像机坐标系的距离。

在与R₃R₂R₁相乘后代入(6)得：

接着，我们用(7)代替R_i可得：

由于基线b是任意的，所以在D1、D2和D3上只有两个线性约束，即

-n_3yd₃+(2(n₃·n₂)n_3y-n_2y)d₂+n_1yd₁＝0 (20)

和-n_3zd₃+(2(n₃·n₂)n_3z-n_2z)d₂+n_1zd₁＝0 (21)

式中，n_iy为第i个反射镜沿y轴方向的法线分量，n_iy为第i个反射镜沿Z轴方向的法线分量。

综上所述，如果三个反射镜的法线与X轴共面，则反射镜之间的角度满足(16)，并且选择到反射镜的距离，使得(20)和(21)满足，然后将校正两个虚拟相机。

对于许多立体系统的应用，系统的紧凑性尤为重要的。本发明介绍了一个折反射的单目立体视觉系统设计的自动化工具。给定的设计参数，如基线、视场和实际相机的尺寸，我们计算反射镜的最佳位置，使得虚拟相机被校正，并且使得整个单目立体视觉系统尺寸被最小化。

为了简化和优化设计，假设包含反射镜法线的平面是X-Z平面，这意味着摄像机和反射镜之间没有倾斜。现在，三个反射镜中的每一个都用一条线表示，所以只有六个参数：θ₁、θ₂，θ₃，d₁，d₂和d₃。

因为我们只限于X-Z平面，(11)、(12)和(20)满足，因此只有两个校正约束，一个在镜子的角度上，一个在距离上。给定期望的基线b，我们得到另一个约束条件(19)。

2n_3xd₃+(2n_2x-4(n₃·n₂)n_3x)d₂+2n_1xd₁＝b (22)

式中，n_iy为第i个反射镜沿X轴方向的法线分量。

为了找到最佳的配置，我们通过第一反射镜的所有可能的位置(θ₁，d₁)和第二反射镜的可能角度θ₂进行搜索。通过求解(15)、(21)和(22)找到剩余的三个参数、距离第二反射镜距离d₂、到第三反射镜的距离d₃以及角度θ₃，其中n_ix＝cosθ_i和n_iz＝sinθ_i。对于每一组计算参数，通过跟踪光轴和视场的限制光线并与镜相交来确定反射镜的端点。一旦找到端点，可计算出整个立体视觉系统的外围周长，选择最小周长的设计。

本发明只承认镜子不互相遮挡的解决方案，这反映了场景的光线不被遮挡的镜子是很重要的。同时，本发明只考虑实际摄像机没有看到自身的解决方案。本发明提出一种利用若干个反射镜反射光线、分割摄像机视野的被动式单目立体视觉系统。可以通过同时拍摄物体和物体在镜子中的虚像，在一幅图像上获取物体的若干个映像(取决于使用的镜子个数)，且这些映像来源于不同的视点。此外，在一个折反射光学系统中，只有一个模拟或数字信道传送所获取的图像，因此带宽特性和光感器件的失真等参数完全相同；实际使用中，只需要标定一组相机参数，减少了工作量，针对此系统的特点和系统参数，可以使用简单的SAD(Sum of Absolute Differences)方法进行匹配，可实现高质量的匹配和快速计算的能力。

Claims (1)

1.一种基于折反射的单目立体视觉系统三维信息测量方法，其特征在于：根据待测物体大小建立折反射的单目立体视觉系统，折反射的单目立体视觉系统包括奇数个反射镜和一个摄像机，其中反射镜的位置和参数已知，通过反射镜反射光线和分割摄像机视野，摄像机同时拍摄物体和物体在镜子中的虚像，在一幅图像上获取物体的若干个映像，且这些映像来源于不同的视点，通过这些映像、摄像机的位置信息和反射镜的位置信息获取包含物体的场景信息；

一种基于折反射的单目立体视觉系统三维信息测量方法，包括如下步骤：

(1)确定采集场景信息所需的反射镜数量；

(2)计算反射镜与摄像机的摆放位置和角度；

(3)使用摄像机采集场景信息；

(4)对采集到的信息进行处理；

(5)得到所需场景信息；

步骤(1)中，反射镜的数量为三个，折反射的单目立体视觉系统确保视场在两个虚拟相机之间均等共享，每个虚拟相机的视场是真实摄像机的视场的一半；

步骤(2)中，通过约束条件计算反射镜的摆放位置，通过自动化工具对摆放位置进行校正，使得折反射的单目立体视觉系统尺寸最小化；

约束条件为必须使用奇数个反射镜构成折反射的单目立体视觉系统；当采用三镜系统时，首先要保证反射镜的放置使得虚拟相机之间没有旋转，即满足

其次是保证虚拟相机之间的平移方向是沿着X轴的，n₃·n₂＝n₁·[1，0，0]^T，其中n₁、n₂、n₃分别为三面反射镜的法向量；

-n_3yd₃+(2(n₃·n₂)n_3y-n_2y)d₂+n_1yd₁＝0

-n_3zd₃+(2(n₃·n₂)n_3z-n_2z)d₂+n_1zd₁＝0

其中，d_i为第i个反射镜到真实摄像机坐标系的距离；n_iy为第i个反射镜沿Y轴方向的法线分量；n_iz为第i个反射镜沿Z轴方向的法线分量；

自动化工具为为了找到最佳配置进行的搜索计算；通过第一反射镜所有可能的位置(θ_i，d_i)和第二个反射镜的角度θ₂进行搜索；通过求解以下式子找到剩余的三个参数、距离第二个反射镜距离d₂、到第三个反射镜距离d₃以及角度θ₃，其中n_ix＝cosθ₁，n_iz＝sinθ_i；

θ₃-θ₂＝θ₁

-n_3zd₃+(2(n₃·n₂)n_3z-n_2z)d₂+n_1zd₁＝0

2n_3xd₃+(2n_2x-4(n₃·n₂)n_3x)d₂+2n_1xd₁＝b

式中，θ_i为第i面反射镜与X轴的夹角；₁、n₂、n₃分别为三面反射镜的法向量；n_ix为第i个反射镜沿X轴方向的法线分量；n_iz为第i个反射镜沿Z轴方向的法线分量；b为基线；

对于每一组计算参数，通过追踪光轴和视场的限制光线并与反射镜相交来确定反射镜的端点，以确定整个视觉系统的周长，选择最小周长设计。

Images