CN102650518B - 测量方法和设备 - Google Patents

Abstract

公开了测量方法和设备。所述测量方法包括如下步骤：由用户在左图像或右图像中选择待测点和参考点；根据左、右图像中的视差计算待测点和参考点的三维坐标；根据参考点的三维坐标计算参考点所在的参考平面；以及根据待测点的三维坐标以及参考平面，计算待测点相对于参考平面的高度，其中所述左、右图像是由左、右成像单元在同一时刻对同一物体进行拍摄而获得的图像，并且所述待测点和参考点同时出现在左、右图像中。通过这样的测量方法和设备，普通用户可以容易地获得他/她期望测量的三维信息。

Description

测量方法和设备

技术领域

本发明涉及测量方法和设备，更具体地说，涉及能够进行用户交互的、测量高度和/或宽度的方法和设备。

背景技术

通常，人们希望知道一些物体(如，建筑物、树的尺寸)。但是由于物体的尺寸比较大，一般不容易得到这样的数据。另外，当人们观看照片时，由于照片是物体在像平面上的一个投影，因此无法仅仅依靠照片自身来得到物体的确切尺寸。

近年来，立体视觉技术已得到了快速发展。通过专业的三维测量设备，可以得到目标点的三维坐标(例如，参见Three-dimensional(3-D)coordinatemeasuring method，3-D coordinate measuring apparatus，and large-structurebuilding method.NKK Corporation，Tokyo(JP)，US 6559931，May.6，2003，在下文中称为专利文档1)。

在专利文档1中，展示了一种量测设备。该设备包括一个距离测量装置和一个角度测量装置。距离测量装置可以量测直线距离，角度测量装置可以量测到光轴的偏角。在专利文档1中，利用距离和角度来计算物体的高度。这是量测高度或宽度的通用方法。但是，专利文档1中的设备过于专业，普通人没有机会使用这样的设备。

另外，在现有技术中，还可以使用立体视觉来检测障碍物(例如，参见Obstacle detection using stereo vision.Deere&Company，Moline，IL(US)，US7248968，Jul.24，2007，在下文中称为专利文档2)。

在专利文档2中，提出了一种用于检测物体高度超过植被高度的系统，用来估计物体的范围和高度，从而建立一个障碍物躲避区域。该专利文档2把障碍物考虑成图像上的一个区域，这个区域可以通过边和颜色检出。专利文档2通过立体视觉来估计障碍物的高度和范围，而没有得到高度和宽度的确切数据，并且该专利主要用于躲避障碍物。

专利文档3(一种利用双目视觉技术检测猪成长的方法，CN200710119509.8，2007年7月25日，中国农业大学)提出了一种基于猪背面积和猪的高度来估计它的重量的方法。系统通过固定在猪圈顶部的立体相机来估计猪的高度。首先找到猪背，然后计算猪到相机的高度。因为相机的高度已知，所以猪的高度等于相机高度减去猪到相机的高度。在这个方法里，通过视差来计算三维坐标。然而，只能计算待测点到相机的距离，而不能计算二维照片上任意点到任意平面的距离。并且，相机被固定在一个具体的位置，不能随意移动。

发明内容

鉴于以上问题，本发明提出了新的测量方法和设备，其能够在用户交互的情况下、以与专利文档1-3中所述的方式不同的方式来测量用户期望测量的高度和/或宽度。

根据本发明的一个方面，提供了一种测量方法，包括如下步骤：由用户在左图像或右图像中选择待测点和参考点；根据左、右图像中的视差计算待测点和参考点的三维坐标；根据参考点的三维坐标计算参考点所在的参考平面；以及根据待测点的三维坐标以及参考平面，计算待测点相对于参考平面的高度，其中所述左、右图像是由左、右成像单元在同一时刻对同一物体进行拍摄而获得的图像，并且所述待测点和参考点同时出现在左、右图像中。

根据本发明的该方面，在所述测量方法中，所述待测点的数量可以为2，并且所述测量方法进一步包括：根据两个待测点相对于参考平面的高度之差以及所述两个待测点的直线距离，计算所述两个待测点相对于参考平面的宽度。

根据本发明的该方面，在所述测量方法中，参考点的数量可以大于等于3。

根据本发明的该方面，所述测量方法可以进一步包括对左、右图像进行畸形校正和行对齐。

根据本发明的另一个方面，提供了一种测量设备，包括：交互单元，接收左、右图像以向用户显示左、右图像，并且用户通过所述交互单元在左图像或右图像中选择待测点和参考点；以及处理单元，接收左、右图像以及来自交互单元的待测点和参考点，并且包括计算单元，用于根据左、右图像中的视差计算待测点和参考点的三维坐标，根据参考点的三维坐标计算参考点所在的参考平面，进而根据待测点的三维坐标和参考平面，计算待测点相对于参考平面的高度，其中所述左、右图像是由左、右成像单元在同一时刻对同一物体进行拍摄而获得的图像，并且所述待测点和参考点同时出现在左、右图像中。

根据本发明的该方面，在所述测量设备中，所述待测点的数量为2，计算单元进一步根据所述两个待测点相对于参考平面的高度之差以及所述两个待测点的直线距离，计算所述两个待测点相对于参考平面的宽度。

根据本发明的该方面，在所述测量设备中，所述参考点的数量大于等于3。

根据本发明的该方面，所述左、右成像单元可以包括在所述测量设备中。

根据本发明的测量设备，其中，所述交互单元还可以用于向用户显示从处理单元输出的测量结果。

根据本发明的测量设备，其中，所述交互单元可以为触摸屏。

根据本发明的测量设备，其中，所述处理单元可以进一步包括：畸形校正单元，用于对左、右图像进行畸形校正；以及行对齐单元，用于对左、右图像进行行对齐。

通过这样的测量方法和设备，普通用户可以容易地获得他/她期望测量的三维信息。

附图说明

图1是示出了根据本发明实施例的测量设备的功能框图；

图2是示出了图1中的处理单元的详细配置的功能框图；

图3示出了经过行对齐后的左、右图像；

图4是双摄像头模型的立体视图；

图5示出了由用户选择的待测点和参考点的一个示例；

图6是计算待测点到参考平面的距离的原理图；

图7示出了由用户选择的待测点和参考点的另一个示例；

图8是计算两个待测点在参考平面上的投影距离的原理图；

图9是示出了根据本发明实施例的高度测量方法的流程图；以及

图10是示出了根据本发明实施例的宽度测量方法的流程图。

具体实施方式

下面参照附图描述本发明的优选实施例。

图1是示出了根据本发明实施例的测量设备100的功能框图。测量设备100包括左成像单元101、右成像单元102、交互单元103、输入/输出接口104、和处理单元105。

左成像单元103和右成像单元104构成双目系统，并同时对同一待测物体进行拍摄，从而获得左图像和右图像。待测物体可以是一栋建筑、一个植物或一辆车等等，人们希望知道它的高度和宽度数据。例如，左成像单元103和右成像单元104可以通过现有技术中的双目相机来实现。双目相机在镜头侧装有两个平行的镜头，这种相机可能随着3-D技术的广泛采用而普及。另外，左、右成像单元也可以简单地通过相隔预定距离的两个摄像头来实现。这种获取左、右图像的方式已知为“双目”技术。经由输入/输出接口104，将获取的左、右图像输入到处理单元105以及交互单元103。

下面参照图2进一步描述处理单元105。图2是示出了处理单元105的详细配置的功能框图。处理单元105包括畸形校正单元106、行对齐单元107和计算单元108。畸形校正单元106用于校正左、右图像中的畸形。相机的畸变参数可以在出厂前设置在相机里，或后期进行标定，用这些参数可以计算并实现畸形校正。行对齐单元对双目系统进行标定，可以得到基础矩阵，用来对经过畸形校正的左、右图像进行行对齐。

图3示出了经过行对齐后的左、右图像。如图3所示，同一点将出现在左、右图像的同一行上。畸形校正单元106和行对齐单元107可以通过现有技术来实现。由于其与本发明并不紧密相关，因此不对其详细描述。

计算单元108进一步包括三维坐标计算模块1081、参考平面计算模块1082以及高度和/或宽度计算模块1083。三维坐标计算模块1081根据经过畸形校正和行对齐的左、右图像，可以计算任一点的三维坐标。

以在左、右图像中均出现的点P为例，参照图4描述计算三维坐标的原理如下。

图4是双摄像头模型的立体视图。首先，找出P点在左、右图像中的对应点，计算P点的视差。视差公式为：

d＝x_l-x_r    ......(公式1)

其中d为P点在左、右图像中的视差，x_l、x_r是P点分别在左、右图像中的x坐标，具体可参照图3。在图3中，左右图中的(c_x，c_y)分别表示左右光轴中心在各自像平面上的投影点，称为主点。

通过下面的齐次坐标方程计算点P在3维坐标系中的坐标值。

$\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& -1/T_x& (c_x-{c^{\′}}_x)/T_x\end{array}\right]\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]......$ (公式2)

点P的三维坐标是(X/W，Y/W，Z/W)。其中，T_x、c_x、c_y等是立体标定的结果参数。立体标定用来确认两个镜头的成像关系。这里，除c′_x外的所有参数都来自左图像，c′_x是主点在右图像上的x坐标。

用户通过交互单元103在左图像或右图像中选择用于建立参考平面的3个或以上的参考点。另外，用户还通过交互单元103在左图像或右图像中选择想要计算高度或宽度的待测点，以便计算一个待测点到参考平面的距离或两个待测点在参考平面上的投影距离。当用户选择水平面作为参考平面时，待测点到参考平面的距离就是通常意义上的高度，待测点在参考平面上的投影距离就是通常意义上的宽度。所述参考点和待测点应该在左、右图像里都包含。例如，交互单元103可以是触摸屏，用户直接通过手指或触笔在触摸屏上选择待测点和参考点。替代地，交互单元103也可以是简单的显示屏，用户通过使用鼠标在屏幕上点击来完成待测点和参考点的选择。

图5示出了由用户选择的待测点和参考点的一个示例。在图5中，用户选择点P作为想要计算高度的待测点，选择点R1、R2和R3作为参考点。

将用户所选择的待测点和参考点输入到处理单元105，处理单元105中的计算单元108的三维坐标计算模块1081首先根据上述三维坐标计算方法，计算待测点和参考点的三维坐标。然后，计算单元108中的参考平面计算模块1082依据三维坐标计算模块1081计算出的参考点的三维坐标，来计算这些点所在的空间平面。例如，当用户选择3个参考点时，参考平面的定义如下：

AX+BY+CZ+D＝0        ......(公式3)

代入各参考点的坐标可以解出A、B、C、D的值。

可替代地，由于3个参考点并不一定能够准确地确定用户期望的参考平面，因此用户也可以选择更多的参考点来更精确地逼近期望的参考平面。

当用户选择三个以上的点时，参考平面可以采用最小二乘法建立。令参考平面方程为：AX+BY+CZ+D＝0。

用户选择的各个点为：R_i(x_i，y_i，z_i)，i＝1，2，3，...，N。

每个点到参考平面的距离： $d_i=|A\·x_i+B\·y_i+C\·z_i+D|/\sqrt{A^2+B^2+C^2}$

根据最小二乘原理，要为最小

将S分别关于A、B、C求偏导，求解如下三元一次方程组即可获得A、B、C、D的值，从而获得参考平面。

$\left\{\begin{array}{c}\frac{\∂S}{\∂A}=0\\ \frac{\∂S}{\∂B}=0\\ \frac{\∂S}{\∂C}=0\end{array}\right.$

然后，计算单元108中的高度和/或宽度计算模块1083根据三维坐标计算模块1081计算出的待测点的三维坐标以及参考平面计算模块1082计算出的参考平面的方程，计算待测点到参考平面的距离。

图6示出了计算点到平面的距离的原理。根据几何关系可以得到点P(x，y，z)到参考平面的距离H为：

$H=\frac{|\mathrm{Ax}+\mathrm{By}+\mathrm{Cz}+D|}{\sqrt{A^2+B^2+C^2}}......$ (公式4)

图7示出了由用户选择的待测点和参考点的另一个示例。在图7中，用户选择两个待测点M和N作为想要计算宽度的待测点。在这种情况下，首先，三维坐标计算模块1081和参考平面计算模块1082与之前所述类似地，计算待测点M和N的三维坐标以及参考平面的方程。然后，高度和/或宽度计算模块1083计算点M和N到参考平面的距离H₁、H₂，并进一步计算点M和N的直线距离，然后计算出点M和N在参考平面上的投影距离，即点M和N相对于参考平面的宽度。

图8示出了计算两点在参考平面上的投影距离的原理。根据几何关系可以得到点M和N在参考平面上的投影距离W为：

W＝D_MN*cos(arcsin(H2-H1)/D_MN)

......(公式5)

$D_{\mathrm{MN}}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中D_MN是M、N两点之间的直线距离。

在处理单元105根据用户所选择的待测点和参考平面，计算出待测点相对于参考平面的高度和宽度之后，经由输入/输出接口104将测量结果输出到交互单元103，以便在交互单元103上向用户呈现测量结果。例如，可以在交互单元103上向用户显示测量结果，也可以通过交互单元103向用户语音提示测量结果。

下面，参照图9描述根据本发明实施例的高度测量方法的流程。

在步骤S901，对左、右图像进行畸形校正。

在步骤S902，对畸形校正后的左、右图像进行行对齐。

在步骤S903，通过用户选择想要计算高度的待测点和用于建立参考平面的参考点。

在步骤S904，通过视差计算待测点和参考点的三维坐标。

在步骤S905，根据参考点的三维坐标计算参考平面。

在步骤S906，根据以上公式(4)计算待测点相对于参考平面的高度。

接下来，参照图10描述根据本发明实施例的宽度计算方法。

图10中的步骤S1001至步骤S1006与图9中的步骤S901至步骤S906类似。为了简明起见，省略对其的描述。在步骤S1007，根据两个待测点的三维坐标计算其之间的直线距离。在步骤S1008，根据两个待测点相对于参考平面的高度之差以及两个待测点之间的直线距离，计算两个待测点相对于参考平面的宽度，即两个待测点在参考平面上的投影距离。

以上参照附图描述了本发明的优选实施例。通过根据本发明的测量方法和设备，普通用户可以更容易地获得他/她期望测量的高度和/或宽度。

尽管本发明是参照其特定的优选实施例来描述的，但本领域的技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。

例如，根据本发明实施例的测量设备的发明点在于处理单元105和交互单元。因此，尽管图1中所示的测量设备100包括左成像单元101和右成像单元102，但是也可以省略这两个单元，只要能够提供由左、右成像单元对同一物体同时拍摄的左、右图像作为输入即可。

Claims (11)

1.一种测量方法，包括如下步骤：

由用户在左图像或右图像中选择待测点和参考点；

根据左、右图像中的视差计算待测点和参考点的三维坐标；

根据参考点的三维坐标计算参考点所在的参考平面；以及

根据待测点的三维坐标以及参考平面，计算待测点相对于参考平面的高度，

其中所述左、右图像是由左、右成像单元在同一时刻对同一物体进行拍摄而获得的图像，并且所述待测点和参考点同时出现在左、右图像中。

2.根据权利要求1所述的测量方法，其中所述待测点的数量为2，所述测量方法进一步包括：根据两个待测点相对于参考平面的高度之差以及所述两个待测点的直线距离，计算所述两个待测点相对于参考平面的宽度，即两个待测点在参考平面上的投影距离。

3.根据权利要求1所述的测量方法，其中参考点的数量大于等于3。

4.根据权利要求1或2所述的测量方法，进一步包括对左、右图像进行畸形校正和行对齐。

5.一种测量设备，包括：

交互单元，接收左、右图像以向用户显示左、右图像，并且用户通过所述交互单元在左图像或右图像中选择待测点和参考点；以及

处理单元，接收左、右图像以及来自交互单元的待测点和参考点，并且包括计算单元，用于根据左、右图像中的视差计算待测点和参考点的三维坐标，根据参考点的三维坐标计算参考点所在的参考平面，进而根据待测点的三维坐标和参考平面，计算待测点相对于参考平面的高度，

其中所述左、右图像是由左、右成像单元在同一时刻对同一物体进行拍摄而获得的图像，并且所述待测点和参考点同时出现在左、右图像中。

6.根据权利要求5所述的测量设备，其中所述待测点的数量为2，计算单元进一步根据所述两个待测点相对于参考平面的高度之差以及所述两个待测点的直线距离，计算所述两个待测点相对于参考平面的宽度，即两个待测点在参考平面上的投影距离。

7.根据权利要求5所述的测量设备，其中所述参考点的数量大于等于3。

8.根据权利要求5所述的测量设备，其中所述左、右成像单元包括在所述测量设备中。

9.根据权利要求5所述的测量设备，其中所述交互单元还用于向用户呈现从处理单元输出的测量结果。

10.根据权利要求5的测量设备，其中所述交互单元为触摸屏。

11.根据权利要求5所述的测量设备，其中所述处理单元进一步包括：

畸形校正单元，用于对左、右图像进行畸形校正；以及

行对齐单元，用于对左、右图像进行行对齐。