CN102012213A - 单副图像测量前景高度的方法 - Google Patents

Abstract

本发明公开了一种利用单摄像头传回的图片，自动测量前景物体高度的新方法。此方法采用数字图像处理技术，在计算前景高度的过程中，首先通过标定，取得图像平面和世界坐标系之间像素点的映射关系，即计算出：单应矩阵HgMatix，竖直方向的消影点mv，横向的消影点mx，纵向的消影点my，进而计算出世界坐标系和图像平面坐标系之间的投影矩阵ProMatix；然后，取得前景区域的高点highnod和低点lownod，再计算绝对高点truehigh及高点highnod在地平面上的投影点即绝对低点truelow；最后计算出绝对高点truehigh的Z值和lownod与truelow所对应的时间坐标点之间的距离值，通过勾股定理，就可取得前景物体高度的较精确的估计值。此方法解决了倾斜前景物体的高度测量问题，提高前景物体高度估计测量的精确度；又由于本方法采用的是单摄像头的测量方法，降低了实际应用时的成本。

Description

单副图像测量前景高度的方法

技术领域

本发明方法涉及一种通过单摄像头传回的图片，自动测量前景物体高度的新方法，广泛适用于单摄像头估测前景高度的问题，如：草的高度估测，牛羊高度的估测等等；同时，本方法考虑到现实中前景不一定都垂直的情况，对于倾斜前景也给出了比较好的估测精度。

背景技术

随着计算软硬件的发展，利用计算机视觉方法对场景进行测量已发展成为计算机视觉中的一个重要课题，计算机视觉测量已引起越来越多的学者兴趣和关注。目前计算机视觉测量方法主要有下面几种：一是：通过同一场景的两幅或多幅图像，重建场景的三维结构，得到前景物体的三维数据从而达到测量目的。这种方法的估测精度对图像间匹配点的定位精度要求很高，这样参数误差都会对测量的结果的影响就比较大，但是图像匹配点的精确定位又是计算机视觉领域的经典难题；二是采用单幅图像测量方法，通过图像平面和世界坐标系间的投影矩阵计算出物体的三维结构，这种方法避开了图像间匹配点的定位问题，从而有比较高的测量精度。

发明内容

本发明的目的是为了通过单幅图像测量前景物体的高度，实现了对倾斜物体高度的较高精度测量。扩展了单幅图像测量的应用范围。

本发明公开了一种利用单摄像头传回的图片，自动测量前景物体高度的新方法。此方法采用数字图像处理技术，在计算前景高度的过程中，首先通过标定，取得图像平面和世界坐标系之间像素点的映射关系，即计算出：单应矩阵HgMatix，竖直方向的消影点mv，横向的消影点mx，纵向的消影点my，进而计算出世界坐标系和图像平面坐标系之间的投影矩阵ProMatix；然后，取得前景区域的高点highnod和低点lownod，再计算绝对高点truehigh和highnod点对应的投影点truelow；最后计算出绝对高点truehigh的Z值和lownod与truelow所对应的时间坐标点之间的距离值，通过勾股定理，就可取得前景物体高度的较精确的估计值。此方法解决了倾斜前景物体的高度测量问题，提高前景物体高度估计测量的精确度；又由于本方法采用的是单摄像头的测量方法，降低了实际应用时的成本。

本发明方法的条件和步骤如下：

1.所需设备：待校正的成像系统，的普通PC机，标定模版；其中成像系统可以是相机或摄像机等(本文采用的是摄像头)；标定模版为自制的黑白起棋盘板。

2.实现步骤：

本发明方法(010)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵Hg，以及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint，具体步骤如下：

步骤C011：开始，利用摄像头拍摄标定模板包含的棋盘纸，这里要拍摄的包含两个方向的标定模板图像，水平放置即放置在地平面上的标定模板图像plane_Img，和垂直地平面放置的垂直模板图像vertical_Img。通过普通PC机读取包含这两个方向的标定模板的图片——之后摄像头固定不动。

步骤C012：对于水平放置的标定模板图像plane_Img，找到模板图像plane_Img上的角点及其在图像平面上的坐标corner[i*j]，并显示出来；对于垂直放置的标定模板图像vertical_Img，找到模板图像vertical_Img上的角点及其在图像平面上的坐标corner_1[i*j]，并显示出来；其中i＝1，2，…，m，这里m表示网格上横向角点个数，j＝1，2，…，n，这里n表示网格上纵向角点个数；

步骤C013：接着上步C012得出的corner[i*j]，假定找到的第一个角点坐标对应的地平面齐次坐标为(0，0，0，1)，第二个角点坐标对应的地平面齐次坐标为(0，1，0，1)，依次类推，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点，计算出图像平面与地平面之间的单应矩阵HgMatix。

步骤C014：接着C012得出的corner[i*j]，分别拟合横向直线和纵向直线，由拟合出的一系列横向直线，应用最小二乘，算出它们的交点即横向消影点mxPoint；由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点myPoint；

步骤C015：接着C012得出的corner_1[i*j]，拟合出纵向直线，由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即垂直方向的消影点mvPoint；

本发明方法(020)部分，计算摄像头的内部参数Intri和世界坐标系与图像平面坐标系之间的投影矩阵ProMatix，具体步骤如下：

步骤C021：根据步骤C013得到的单应矩阵Hg和步骤C015得到的mvPoint，由单应矩阵与摄像头内参数之间的关系、旋转矩阵的特性，列出三组线性方程，计算出内部参数Intri。

步骤C022：根据步骤C013得到的单应矩阵HgMatix和步骤C015得到的mvPoint，以及步骤C021得出的Intri，由单应矩阵HgMatix与投影矩阵ProMatix、垂直方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之间的投影矩阵ProMatix。

本发明方法(030)部分，计算前景的高度high具体步骤如下：

步骤C031：对于前景的提取，不同的应用环境有不同的方法。本文采用的是高斯混合模型的前景提取法，提取前景区域front_Img。

步骤C032：计算垂直消影点mvPoint和前景区域front_Img所有点之间的距离，取最大值hH和最小值1H对应的图像点。如果消影点的纵向值大于零，则取最大值对应的点为最高点highnod，最小值对应的图像点为最低点lownod；如消影点的纵向值小于零，则相反。

步骤C033：计算C032中最大值hH和最小值1H的差值length，在最低点lownod和垂直消影点mvPoint连线上，从最低点lownod向最高点所在方向取长度为length的线段，交点为绝对高点truehigh；

步骤C034：垂直消影点mvPoint与最高点highnod的连线L1，横向消影点mxPoint与最低点lownod的连线L2，纵向消影点myPoint与最低点lownod的连线L3；分别计算L1与L2的交点P1和L1与L3的交点P2；再计算lownod与P1的距离和lownod与P2的距离，取其距离值小者对应的交点(P1或P2)作为绝对低点truelow；

步骤C035：根据单应矩阵HgMatix计算最低点lownod和绝对低点truelow在地平面上的坐标，并计算出在地平面上的距离lengthL；由算出的最低点lownod对应在地平面上的坐标和绝对高点truehigh，计算出绝对高点truehigh在世界坐标系上的Z值truehighZ；

步骤C036：上步的lengthL和truehighZ，根据勾股定理，计算出图像上最高点highnod和最低点lownod对应的世界坐标系中的距离，即前景的高度high。

有益效果：

本发明的目的是提供一种能够计算任意放置(包括倾斜放置)物体的高度。其优点在于采用数字图像处理技术，方法灵活，易于实现，成本较低；同时使用该方法简单通用，对于任意相机或摄像机，任意分辨率的图像都可使用。

附图说明

图1为水平标定模板图像plane_Img，和垂直模板图像vertical_Img；

图2为地平面上的横向消影点mxPoint和纵向消影点myPoint与各个角点的连线，垂直消影点mvPoint与各个角点的连线；

图3为系统处理计算时的流程图

图4为前景所在测量区域图像和计算的结果显示图。

具体实施方式

由图3所示的前景物体高度计算的流程分为三部分。

一、(010)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵Hg，以及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint：

首先，利用摄像头拍摄包含两个方向的标定模板图像——水平放置即放置在地平面上的标定模板图像plane_Img，和垂直地平面放置的垂直模板图像vertical_Img(C011)；

然后，分别找到模板图像的角点及其在图像平面上的坐标corner[i*j]、corner_1[i*j]，并显示出来(C012)；

接着，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点，计算出图像平面与地平面之间的单应矩阵HgMatix(C013)；由corner[i*j]分别拟合横向直线和纵向直线，由拟合出的一系列横向直线，应用最小二乘，算出它们的交点即横向消影点mxPoint；由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点myPoint(C014)；由corner_1[i*j]，拟合出纵向直线，由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即垂直方向的消影点mvPoint(C015)；

图1所示为原始标定图像plane_Img和vertical_Img，图2所示为各向消影点与各个角点的连线。

二、(020)部分，由单应矩阵与摄像头内参数之间的关系、旋转矩阵的特性，列出三组线性方程，计算出内部参数Intri(C021)；由单应矩阵HgMatix与投影矩阵ProMatix、垂直方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之间的投影矩阵ProMatix(C022)。

三、(030)部分，计算前景的高度high。首先取得前景的最高点highnod和最低点lownod(C032)，然后求得绝对高点truehigh(C033)和绝对低点truelow(C034)，接着计算出绝对高点truehigh在世界坐标系上的Z值truehighZ(C035)；最后由勾股定理计算出最高点与最低点在世界坐标系中的距离即前景高度值high(C036).

图4为使用本发明方法对某个前景的计算结果。

Claims (1)

1.单副图像测量前景高度的方法，设备由待校正的成像系统，普通PC机，标定模版组成；其中成像系统可以是相机或摄像机等(本文采用的是摄像头)；标定模版为自制的黑白起棋盘板。其步骤如下：

1.实现步骤：

本发明方法(010)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵Hg，以及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint，具体步骤如下：

步骤C011：开始，利用摄像头拍摄标定模板包含的棋盘纸，这里要拍摄的包含两个方向的标定模板图像，水平放置即放置在地平面上的标定模板图像plane_Img，和垂直地平面放置的垂直模板图像vertical_Img。通过普通PC机读取包含这两个方向的标定模板的图片——之后摄像头固定不动。

步骤C012：对于水平放置的标定模板图像plane_Img，找到模板图像plane_Img上的角点及其在图像平面上的坐标corner[i*j]，并显示出来；对于垂直放置的标定模板图像vertical_Img，找到模板图像vertical_Img上的角点及其在图像平面上的坐标corner_1[i*j]，并显示出来；其中i＝1，2，…，m，这里m表示网格上横向角点个数，j＝1，2，…，n，这里n表示网格上纵向角点个数；

步骤C013：接着上步C012得出的corner[i*j]，假定找到的第一个角点坐标对应的地平面齐次坐标为(0，0，0，1)，第二个角点坐标对应的地平面齐次坐标为(0，1，0，1)，依次类推，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点，计算出图像平面与地平面之间的单应矩阵HgMatix。

步骤C014：接着C012得出的corner[i*j]，分别拟合横向直线和纵向直线，由拟合出的一系列横向直线，应用最小二乘，算出它们的交点即横向消影点mxPoint；由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点myPoint；

步骤C015：接着C012得出的corner_1[i*j]，拟合出纵向直线，由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即垂直方向的消影点mvPoint；

本发明方法(020)部分，计算摄像头的内部参数Intri和世界坐标系与图像平面坐标系之间的投影矩阵ProMatix，具体步骤如下：

步骤C021：根据步骤C013得到的单应矩阵Hg和步骤C015得到的mvPoint，由单应矩阵与摄像头内参数之间的关系、旋转矩阵的特性，列出三组线性方程，计算出内部参数Intri。

步骤C022：根据步骤C013得到的单应矩阵HgMatix和步骤C015得到的mvPoint，以及步骤C021得出的Intri，由单应矩阵HgMatix与投影矩阵ProMatix、垂直方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之间的投影矩阵ProMatix。

本发明方法(030)部分，计算前景的高度high具体步骤如下：

步骤C031：对于前景的提取，不同的应用环境有不同的方法。本文采用的是高斯混合模型的前景提取法，提取前景区域front_Img。

步骤C032：计算垂直消影点mvPoint和前景区域front_Img所有点之间的距离，取最大值hH和最小值1H对应的图像点。如果消影点的纵向值大于零，则取最大值对应的点为最高点highnod，最小值对应的图像点为最低点lownod；如消影点的纵向值小于零，则相反。

步骤C033：计算C032中最大值hH和最小值1H的差值length，在最低点lownod和垂直消影点mvPoint连线上，从最低点lownod向最高点所在方向取长度为length的线段，交点为绝对高点truehigh；

步骤C034：垂直消影点mvPoint与最高点highnod的连线L1，横向消影点mxPoint与最低点lownod的连线L2，纵向消影点myPoint与最低点lownod的连线L3；分别计算L1与L2的交点P1和L1与L3的交点P2；再计算lownod与P1的距离和lownod与P2的距离，取其距离值小者对应的交点(P1或P2)作为绝对低点truelow；

步骤C035：根据单应矩阵HgMatix计算最低点lownod和绝对低点truelow在地平面上的坐标，并计算出在地平面上的距离lengthL；由算出的最低点lownod对应在地平面上的坐标和绝对高点truehigh，计算出绝对高点truehigh在世界坐标系上的Z值truehighZ；

步骤C036：上步的lengthL和truehighZ，根据勾股定理，计算出图像上最高点highnod和最低点lownod对应的世界坐标系中的距离，即前景的高度high。

Images