CN104034269A - 一种单目视觉测量方法与装置 - Google Patents

Abstract

本发明公开一种单目视觉测量方法，该方法包括步骤：S1、获取成像设备所拍摄的图像；S2、计算所述图像在X轴、Y轴和Z轴方向上的消失点；S3、根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；S4、提取所述图像中的待检测目标以及参考物体的距离和高度；S5、根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；S6、根据所述逆矩阵计算待检测目标的高度和宽度。本发明还公开一种单目视觉测量装置。本发明测量方法和装置无需使用标定板，标定过程更加灵活方便。

Description

一种单目视觉测量方法与装置

技术领域

本发明涉及计算机图像处理领域，特别是涉及一种单目视觉测量方法与装置。

背景技术

视觉测量技术是计算机视觉技术的关键应用之一。在视觉测量技术中，采用畸变小、低噪声的图像传感器进行实时快速的图像采集，并通过图像处理系统对采集的图像进行分析处理来完成目标的测量。视觉测量根据摄像机的数量可以分为单目、双目和多目视觉测量系统。单目视觉测量通过相机拍摄被测物体，通过图像处理获得被测物体的成像信息，通过二维成像平面与三维物体空间的对应关系，获得被测物体的尺寸信息，由于二维成像平面丢失了被测物体的深度信息，无法完全获得三维物体尺寸的信息，我们需要对目标增加相应的约束来测量目标尺寸。视觉测量可以应用于目标识别、目标尺寸检测和其他(如完整性检测)。视觉测量技术中的重要技术包括相机标定技术和图像处理技术。通过相机标定，得到相机的内部参数和外部参数，能够把三维构建模型确定。传统的相机标定方法需要通过选取场景中的标定点以及图像中的坐标来进行相机标定，通过建立线性或者非线性方程来求解相机的参数。但传统的相机标定方法需要用到标定板，因此标定的过程复杂，并且在一些场合如如在高速公路上，繁忙的马路下无法使用标定板，因此就无法完成目标物的测量。

发明内容

为解决上述技术问题，本发明提供一种不需要标定板就能实现目标物视觉测量的单目视觉测量的方法与装置。

本发明的技术方案为：

一种单目视觉测量方法，包括步骤：S1、获取成像设备所拍摄的图像；S2、计算所述图像在X轴、Y轴和Z轴方向上的消失点；S3、根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；S4、提取所述图像中的待检测目标以及参考物体的距离和高度；S5、根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；S6、根据所述逆矩阵计算待检测目标的高度和宽度。

为解决上述技术问题，本发明提供的另一技术方案为：

一种单目视觉测量装置，包括图像获取模块、消失点计算模块、转换矩阵生成模块、提取模块、逆矩阵生成模块和计算模块；所述图像获取模块用于获取成像设备所拍摄的图像；所述消失点计算模块用于计算所述图像在X轴、Y轴和Z轴方向上的消失点；所述转换矩阵生成模块用于根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；所述提取模块用于提取所述图像中的待检测目标以及参考物体的距离和高度；所述逆矩阵生成模块用于根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；所述计算模块用于根据所述逆矩阵计算待检测目标的高度和宽度。

本发明的有益效果为：区别于现有技术中通过标定板进行目标物的视觉测量，本发明通过计算图像的消失点得到从世界坐标到图像坐标的转换矩阵，并根据参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵，从而计算出待检测目标的高度和宽度。本发明单目视觉测量方法无需使用标定板，检测方便，应用范围广。

附图说明

图1为本发明一实施方式中单目视觉测量方法的方法流程图；

图2为本发明一实施方式中单目视觉测量装置的功能结构框图；

图3为本发明一实施方式中具体示例的图像；

图4为本发明一实施方式中交比定律的示意图；

主要标号说明：

10-图像获取模块；20-消失点计算模块；30-转换矩阵生成模块；40-提取模块；50-逆矩阵生成模块；60-计算模块。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

名词解释：

相机标定公式：在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)，目前最为流行的离线相机标定算法是Tsai在1987年提出的[Tsai1987]，Tsai方法使用一个带有非共面专用标定标识的三维标定物来提供图像点和其对应的三维空间点的对应并计算标定参数。

本发明的最主要创新点在于：通过图像的消失点计算图像从世界坐标到图像坐标的转换矩阵，并根据已知的参考物体和从图像坐标到世界坐标的逆矩阵计算出待检测目标的高度和宽度，本发明测量方法无需使用标定板，测量方便，使用范围广。

请参阅图1，本实施方式一种单目视觉测量方法，包括步骤：

S1、获取成像设备所拍摄的图像，其中，所述成像设备包括摄相机或照相机；

S2、计算所述图像在X轴、Y轴和Z轴方向上的消失点；

在欧氏空间中两平行直线永不相交，但在射影几何中两平行直线相交于无穷远处一点M∞(X，Y，Z，O)。该点在图像上的投影称为消去点。也就是说在3维空间中的平行线，在图像中通常都会交会于一点，所以通过3D中的平行线来求得图像中的消失点，其计算方法是通过图像中直线的叉乘来得到的。首先，通过人工绘制或者计算机自动检测的方式，在所述图像中提取关键线或关键点的信息，其中，所述关键线包括图像中的平行线，计算机自动检测关键线的方式包括霍夫变换，计算机自动检测关键点的方式包括Harris角点检测法；

其次，通过所述关键线和关键点计算所述图像在X轴、Y轴和Z轴方向上的消失点。例如，在3D空间中，直线L1平行于直线L2，相对于在图像中心的投影L1、L2，他们的消失点VP为L1与L2的叉乘结果，即VP＝L1×L2。通过步骤1中寻找的直线，如果有2条或者2条以上的直线平行，他们必定相交于一个消失点。分别提取X轴方向，Y轴方向和Z轴方向的消失点。用齐次坐标来表示X轴、Y轴、Z轴方向上的消失方向可以表示为：

$e_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right],e_2=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right],e_3=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$

S3、根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；

把基于参考平面的X轴方向和Y轴方向的消失点连接起来就是消失线，如果以地平面为参考平面的话，该参考平面消失线就是水平线。消失线计算由是两个消失点的叉乘。VPL＝VP1×VP2。

首先，通过消失点计算相机的内部参数：

依照相机标定公式，我们可以有： ${\mathrm{\λv}}_i=K\left[R\right|t]\left[\begin{array}{c}{e}_i\\ 0\end{array}\right]={\mathrm{KRe}}_i$

其中，v_i表示的是图像上的消失点，而e_i表示的是3D世界上的方向；

由于λv_i＝KRe_i

我们可以得到e_i＝λR^TK^-1v_i，

再由于e_i个点都是消失线上的点，由

我们可以得到：

$v_i^T{K}^{-T}{\mathrm{RR}}^T{K}^{-1}{v}_j=v_i^T{K}^{-T}{K}^{-1}{v}_j=0$

如果有3个消失点，可以通过消失点计算出相机的内部参数f以及u0，v0

如果有2个消失点，可以计算出f以及多组u0和v0，取最靠近中心的u0和v0。

通过相机的内部参数和外部参数即可得到相机的转换矩阵。

S4、提取所述图像中的待检测目标以及参考物体的距离和高度；

可以通过提取待测量目标的关键点、关键线来确定待检测目标，甚至可以通过移动目标检测来提取。例如，我们可以通过手工标定路灯和灯泡来提取待测量目标，对于行人等运动目标，可以采用移动目标来提取得到。

S5、根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；

根据已知参考物体的高度、宽度等信息，以及步骤S3得到的转换矩阵K，选择矩阵R和平衡量t，根据图像中获得的图像坐标，计算逆矩阵。

S6、根据所述逆矩阵计算待检测目标的高度和宽度；根据所述逆矩阵就可得到图像的世界坐标系，因此，就可计算出待测量物的高度和宽度。

由上述描述可得，本发明通过计算图像的消失点得到从世界坐标到图像坐标的转换矩阵，并根据参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵，从而计算出待检测目标的高度和宽度，本发明单目视觉测量方法可以测量空间中任意目标的高度和平面内目标的尺寸，并且，测量时无需使用标定板，检测方便，同时应用范围广。

在本实施方式中，当待测量目标和参考物体相互平行时，即待测量目标和参考物体同时垂直于参考平面时，可以通过交比定律快速的计算出待测量目标的尺寸。交比定律如图4所示：

图中点A、B、C、D共线，A’、B’、C’、D’为点A、B、C、D的投影，那么交比定律定义为：

$\frac{\left|\right|C-A\left|\right|\left|\right|D-B\left|\right|}{\left|\right|C-B\left|\right|\left|\right|D-A\left|\right|}=\frac{\left|\right|C^{\′}-A^{\′}\left|\right|\left|\right|D^{\′}-B^{\′}\left|\right|}{\left|\right|C^{\′}-B^{\′}\left|\right|\left|\right|D^{\′}-A^{\′}\left|\right|}.$

如图2所示，本发明还提供一种单目视觉测量装置，包括图像获取模块10、消失点计算模块20、转换矩阵生成模块30、提取模块40、逆矩阵生成模块50和计算模块60；

所述图像获取模块10用于获取成像设备所拍摄的图像；

所述消失点计算模块20用于计算所述图像在X轴、Y轴和Z轴方向上的消失点；

所述转换矩阵生成模块30用于根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；

所述提取模块40用于提取所述图像中的待检测目标以及参考物体的距离和高度；

所述逆矩阵生成模块50用于根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；

所述计算模块60用于根据所述逆矩阵计算待检测目标的高度和宽度。

进一步的，所述消失点计算模块20包括平行线获取单元和叉乘单元；

所述平行线获取单元用于分别获取所述图像在X轴、Y轴和Z轴方向的平行线；

所述叉乘单元用于分别将所述X轴向、Y轴向和Z轴向的平行线进行叉乘，得到X轴、Y轴和Z轴方向上的消失点。

进一步的，所述平行线获取单元通过人工提取平行线或通过计算机自动提取平行线，其中，通过计算机自动提取包括采用霍夫变换提取和采用Harris角点检测法提取。

进一步的，所述提取模块40通过手动标定待检测目标或采用移动目标提取来选定待检测目标。

进一步的，所述成像设备包括摄像机和照相机。

本发明单目视觉测量装置可以测量空间中任意目标的高度和平面内目标的尺寸，并且，测量时无需使用标定板，检测方便，同时应用范围广。

请参阅图3，以下我们以一具体的例子来阐述本发明的实现过程：

在图3中，我们已知楼房的高度h1和宽度k1，假设所述h1＝20m、k1＝10m，我们所选择的待测量物为图中的路灯灯泡。

首先，计算机获取相机或摄像机拍摄的所述图3；

提取图像中的关键的点和线，如平行线，Harris角点,在图3中，可以通过霍夫直线检测或者人的鼠标标定楼房上平行的点构成相互平行直线L1和L2，同时，在图3中另选两条平行线L3和L4；

接着，计算图3中L1和L2的消失点，以及L3和L4的消失点。L1和L2的是一组现实中的平行线，在图3中相交于某点VP1，L3和L4在图3中相交于某点VP2，消失点VP1和VP2所构成的直线是我们本图的消失线。消失线VP＝VP1*VP2，用齐次坐标来表示X轴、Y轴和Z轴方向上的消失方向可以表示为：

$e_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right],e_2=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right],e_3=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$

假设消失点vp1的坐标为(x1、y1、z1)和vp2的坐标为(x2、y2、z2)，依据相机标定公式： ${\mathrm{\λv}}_i=K\left[R\right|t]\left[\begin{array}{c}{e}_i\\ 0\end{array}\right]={\mathrm{KRe}}_i$ 和计算世界坐标到图像坐标的转换矩阵。

提取待测量目标，可以通过提取待检测目标的关键点、关键线，甚至可以通过移动目标检测来提取，如在图3中，我们可以通过手工标定路灯的灯泡为待测量目标。

根据已知参考物体房子的高度h1＝20m和宽度k1＝10m，和步骤4得到的相机的内参矩阵K，选择矩阵R和平移量t，根据图像中获得的图像坐标，计算逆矩阵，得到世界坐标系，然后计算路灯的灯泡的高度h2和宽度k2。

综上所述，本发明单目视觉测量方法和装置无需标定板即可计算成像设备所拍摄的图像中待测量物的尺寸，测量方便，使得标定过程更加灵活，应用范围广，同时，本发明待测量目标和参考物体选择灵活方便。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种单目视觉测量方法，其特征在于，包括步骤：

S1、获取成像设备所拍摄的图像；

S2、计算所述图像在X轴、Y轴和Z轴方向上的消失点；

S3、根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；

S4、提取所述图像中的待检测目标以及参考物体的距离和高度；

S5、根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；

S6、根据所述逆矩阵计算待检测目标的高度和宽度。

2.根据权利要求1所述的单目视觉测量方法，其特征在于，所述步骤“计算所述图像在X轴、Y轴和Z轴方向上的消失点”的具体方法为：

分别获取所述图像在X轴、Y轴和Z轴方向的平行线；

分别将所述X轴向、Y轴向和Z轴向的平行线进行叉乘，得到X轴、Y轴和Z轴方向上的消失点。

3.根据权利要求2所述的单目视觉测量方法，其特征在于，所述“分别获取所述图像在X轴、Y轴和Z轴方向的平行线”的方法包括通过人工提取平行线或通过计算机自动提取平行线，其中，通过计算机自动提取包括采用霍夫变换提取和采用Harris角点检测法提取。

4.根据权利要求2所述的单目视觉测量方法，其特征在于，所述“提取所述图像中的待检测目标”的具体方法包括：通过手动标定待检测目标和采用移动目标提取来选定待检测目标。

5.根据权利要求1所述的单目视觉测量方法，其特征在于，所述成像设备包括摄像机和照相机。

6.一种单目视觉测量装置，其特征在于，包括图像获取模块、消失点计算模块、转换矩阵生成模块、提取模块、逆矩阵生成模块和计算模块；

所述图像获取模块用于获取成像设备所拍摄的图像；

所述消失点计算模块用于计算所述图像在X轴、Y轴和Z轴方向上的消失点；

所述转换矩阵生成模块用于根据相机标定公式和所述消失点计算图像从世界坐标到图像坐标的转换矩阵；

所述提取模块用于提取所述图像中的待检测目标以及参考物体的距离和高度；

所述逆矩阵生成模块用于根据所述参考物体的距离、高度和所述转换矩阵计算从图像坐标到世界坐标的逆矩阵；

所述计算模块用于根据所述逆矩阵计算待检测目标的高度和宽度。

7.根据权利要求6所述的单目视觉测量装置，其特征在于，所述消失点计算模块包括平行线获取单元和叉乘单元；

所述平行线获取单元用于分别获取所述图像在X轴、Y轴和Z轴方向的平行线；

所述叉乘单元用于分别将所述X轴向、Y轴向和Z轴向的平行线进行叉乘，得到X轴、Y轴和Z轴方向上的消失点。

8.根据权利要求7所述的单目视觉测量装置，其特征在于，所述平行线获取单元通过人工提取平行线或通过计算机自动提取平行线，其中，通过计算机自动提取包括采用霍夫变换提取和采用Harris角点检测法提取。

9.根据权利要求7所述的单目视觉测量装置，其特征在于，所述提取模块通过手动标定待检测目标或采用移动目标提取来选定待检测目标。

10.根据权利要求6所述的单目视觉测量装置，其特征在于，所述成像设备包括摄像机和照相机。