CN102074005A - 一种面向兴趣区域的立体匹配方法 - Google Patents

Abstract

本发明涉及一种面向兴趣区域的立体匹配方法。传统的立体匹配往往对整幅图像进行匹配，并从中选择感兴趣的那部分重建。本发明首先把三维空间虚拟高度线投影到平行双目立体视觉系统参考像机图像中生成虚拟投影线；然后根据虚拟高度线确定三维空间兴趣区域的扩展投影区域；最后对兴趣区域的扩展投影区域进行立体匹配。本发明只需对兴趣区域的扩展投影区域进行立体匹配，比整图匹配更容易实现实时性，且在相同运行时间条件下，与现有立体匹配方法相比，本发明可以节省出时间用于检测和减少视差图中的误匹配点。

Description

一种面向兴趣区域的立体匹配方法

技术领域

本发明属于计算机视觉领域，具体涉及一种面向兴趣区域的立体匹配方法。

背景技术

立体匹配解决的是两幅或多幅图像中寻找对应的匹配点，由于其在三维测量、机器人导航、虚拟现实等领域有着广泛的应用，一直受到重视。实时性是立体匹配的一个重要研究方向。目前，为达到实时性要求，多采用DSP和FPGA等硬件加速技术以及设计专用图像处理芯片等手段对立体匹配进行加速，这种方法以牺牲硬件成本换取速度，同时由于使用专用硬件，会使算法缺乏灵活性。

目前，传统的立体匹配往往对整幅图像进行匹配，利用得到的视差图进行三维重建获得场景的三维信息。但是，一般情况下人们并不对整个三维场景感兴趣，而是只对其中的一个或某些区域感兴趣，按传统方法则需先对整个场景进行三维重建，并从中选择感兴趣的那部分重建结果，因此，除了用于重建感兴趣区域的视差值以外，其余视差值都是冗余信息。并且，如果在视差图中的冗余信息中存在误匹配，会引起重建结果错误。

发明内容

本发明针对现有技术的不足，提供了一种面向兴趣区域的立体匹配方法。该方法只需对兴趣区域在二维图像中的扩展投影区域内的像素进行匹配，节省了计算时间。

为解决上述技术问题，本发明提供的技术方案如下：首先，把三维空间虚拟高度线投影到平行双目立体视觉系统参考像机图像中生成虚拟投影线；然后根据虚拟高度线确定三维空间兴趣区域的扩展投影区域；最后对兴趣区域的扩展投影区域进行立体匹配；具体包括以下步骤：

步骤(1)将三维空间虚拟高度线投影到平行双目立体视觉系统的参考像机图像中，生成虚拟投影线。

世界坐标系O_WX_WY_WZ_W(O_W是坐标系原点)中任意一点P的三维坐标(x_w，y_w，z_w)与其在参考像机图像中投影点在图像坐标系OUV(O是坐标系原点)下的坐标(u，v)有式(1)所示关系式：

$\left\{\begin{array}{c}v=v_0-\frac{f\·[(-x_w\sin \mathrm{\γ}+y_w\cos \mathrm{\γ})\cos (\mathrm{\α}+\mathrm{\β})+z_w\sin (\mathrm{\α}+\mathrm{\β})-(D_y\cos \mathrm{\α}+D_z\sin \mathrm{\α})]}{[(x_w\sin \mathrm{\γ}-y_w\cos \mathrm{\γ})\sin (\mathrm{\α}+\mathrm{\β})+z_w\cos (\mathrm{\α}+\mathrm{\β})+D_y\sin \mathrm{\α}-D_z\cos \mathrm{\α}]}\\ u=u_0+\frac{f\·(x_w\cos \mathrm{\γ}+y_w\sin \mathrm{\γ}-D_x)}{[(x_w\sin \mathrm{\γ}-y_w\cos \mathrm{\γ})\sin (\mathrm{\α}+\mathrm{\β})+z_w\cos (\mathrm{\α}+\mathrm{\β})+D_y\sin \mathrm{\α}-D_z\cos \mathrm{\α}]}\end{array}\right.---\left(1\right)$

其中α是参考摄像机俯仰角，β是O_CZ_C绕O_CX_C的旋转角(参考像机坐标系为O_CX_CY_CZ_C，像机光轴与O_CZ_C轴重合，即俯仰角是α+β)，γ是O_CX_C绕O_CZ_C的旋转角，(D_x，D_y，D_z)是参考摄像机坐标系原点在世界坐标系中的位置，f是参考摄像机的焦距，(u₀，v₀)是图像中心在OUV坐标系下的坐标，对求得的(u，v)四舍五入取整即得投影点在图像坐标系OUV下的位置。

虚拟高度线是一条假想的在三维空间中的一条竖直线段，它垂直于世界坐标系O_WX_WY_WZ_W中的X_WO_WZ_W平面，将虚拟高度线的最高点和最低点分别投影到参考像机图像中，在二维图像中将这两个投影点连接形成一条虚拟投影线。

步骤(2)虚拟高度线确定兴趣区域的扩展投影区域。

当平行双目立体视觉系统确定以后，在世界坐标系O_WX_WY_WZ_W内其可见的O_WX_WZ_W平面范围X_min、X_max、Z_min、Z_max也即被确定。设三维空间中所感兴趣的区域为由[x_min，x_max]、[y_min，y_max]和[z_min，z_max]所围成的立体区间，其中X_min＜＝x_min＜x_max＜＝X_max和Z_min＜＝z_min＜z_max＜＝Z_max，即三维兴趣区域在平行双目立体视觉系统的可见范围之内。由以上立体区间可以确定三维兴趣区域的8个顶点，其三维坐标分别为：Ab(x_min，y_min，z_min)、Bb(x_max，y_min，z_min)、Cb(x_max，y_min，z_max)、Db(x_min，y_min，z_max)、At(x_min，y_max，z_min)、Bt(x_max，y_max，z_min)、Ct(x_max，y_max，z_max)、Dt(x_min，y_max，z_max)。分别连接AtAb、BtBb、CtCb和DtDb形成4条虚拟高度线AtAb、BtBb、CtCb和DtDb。将8个顶点的三维坐标值分别代入式(1)得到在参考图像中8个投影点的图像坐标，对8个投影点的图像坐标四舍五入取整得到它们在参考图像中的位置。

将三维空间中具有相同x坐标值和z坐标值的点的投影点位置连接起来，分别形成4条虚拟投影线A_tRA_bR、B_tRB_bR、C_tRC_bR和D_tRD_bR，依次连接A_tR、B_tR、C_tR、D_tR、A_tR，然后依次连接A_bR、B_bR、C_bR、D_bR、A_bR。这样，在图像坐标系OUV中形成一个由12条线段构成的图形，选择包含该图形的最外围线段构成的封闭多边形即为投影区域，该投影区域是不规则的，为便于像素寻址和匹配加速，对该区域进行延伸，使其成为包含投影区域的最小矩形区域，且使矩形区域的水平边界与图像扫描线平行，该矩形区域即为扩展投影区域。至此，确定了三维空间中兴趣区域在二维图像中的扩展投影区域，立体匹配被限定在矩形区域中进行。

步骤(3)以扩展投影区域为参考区域进行立体匹配。

以扩展投影区域作为参考区域，采用局部匹配方法，如零均值归一化交叉相关(ZNCC)，也可以是SAD等局部匹配方法，或采用全局匹配方法，在待匹配图(以右像机为参考像机，左摄像机中形成的图像为待匹配图像)中进行立体匹配。这样，立体匹配的对象就由整图降低到一个矩形区域，使得匹配的像素数减少，从而减少计算量。

本发明的有益效果：本发明只需对兴趣区域的扩展投影区域进行立体匹配，比整图匹配更容易实现实时性，且在相同运行时间条件下，与现有立体匹配方法相比，本发明可以节省出时间用于检测和减少视差图中的误匹配点。

附图说明

图1为针孔摄像机模型投影图；

图2为摄像机坐标系与世界坐标系之间位置关系图；

图3为虚拟投影线示意图；

图4为虚拟投影线所构成的图形示意图；

图5为投影线确定的投影区域示意图；

图6为不规则的投影区域示意图；

图7为扩展投影区域示意图。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

本实施例中假设以右摄像机为参考摄像机，其成像的右图为参考图。

针孔摄像机模型投影如图1所示。OcXcYcZc为摄像机坐标系，Zc为光轴方向，OUV坐标系为参考摄像机的成像面，OcO′的长度为参考摄像机焦距f。经过任意物点P垂直光轴Zc的平面M交光轴于D点，则OcD即为P点在摄像机坐标系下的zc坐标。连接光心Oc和物点P的直线交成像面于P′点，P′点就是P在摄像机中所成的像。过P点向x′轴作垂线，垂足为H，连接OcH交图像平面于H′，根据三角形的相似性：

$\frac{{\mathrm{OcO}}^{\′}}{\mathrm{OcD}}=\frac{O^{\′}{H}^{\′}}{\mathrm{DH}}=\frac{{\mathrm{OcP}}^{\′}}{\mathrm{OcP}}=\frac{P^{\′}{H}^{\′}}{\mathrm{PH}}---\left(2\right)$

其中，DH即为P点在摄像机坐标系下的xc坐标，-PH为yc坐标；O′H′为图像坐标系下的u坐标，P′H′为v坐标，O’的坐标为(uO，vO)。

在平行双目立体视觉系统中，当摄像机的焦距f已知的情况下，任意物点P的深度信息，即P点在参考摄像机坐标系zc轴上的坐标可由下式得到：

$\mathrm{zc}=\frac{\mathrm{bf}}{d}---\left(3\right)$

其中，b是平行双目立体视觉系统中两个摄像机之间的水平基线长度，该参数都可通过摄像机定标获得，d是视差值。

因此，有：

$\left\{\begin{array}{c}{x}_c=\frac{b\×(u-u_0)}{d}\\ y_c=\frac{b\×(v_0-v)}{d}\\ z_c=\frac{b\×f}{d}\end{array}\right.---\left(4\right)$

设摄像机坐标系与世界坐标系之间位置关系如图2所示，Xw和Xc垂直纸面向外。由图2知，

$\left\{\begin{array}{c}{x}_c=x_w\cos \mathrm{\γ}+y_w\sin \mathrm{\γ}-D_x\\ y_c=(-x_w\sin \mathrm{\γ}+y_w\cos \mathrm{\γ})\cos (\mathrm{\α}+\mathrm{\β})+z_w\sin (\mathrm{\α}+\mathrm{\β})-(D_y\cos \mathrm{\α}+D_z\sin \mathrm{\α})\\ z_c=(x_w\sin \mathrm{\γ}-y_w\cos \mathrm{\γ})\sin (\mathrm{\α}+\mathrm{\β})+z_w\cos (\mathrm{\α}+\mathrm{\β})+D_y\sin \mathrm{\α}-D_z\cos \mathrm{\α}\end{array}\right.---\left(5\right)$

其中α是摄像机俯仰角，β是O_CZ_C绕O_CX_C的旋转角(即俯仰角是α+β)，γ是O_CX_C绕O_CZ_C的旋转角。(D_x，D_y，D_z)是摄像机坐标系原点在世界坐标系中的位置。将式(5)代入式(4)，即得到公式(1)。

(一)三维空间虚拟高度线投影到平行双目立体视觉系统参考像机图像中生成虚拟投影线

以兴趣区域为由0.25m≤xw≤1.75m，7m≤zw≤9m，-0.1m≤yw≤1m所确定的三维区域为例，设(D_x，D_y，D_z)＝(b/2，H，O)，f是摄像机的焦距，由摄像机定标获得，b是水平基线长度，由对平行双目立体视觉系统定标或测量获得，H和(α，β，γ)由测量获得，由以上三维区域可以确定三维兴趣区域内8个顶点的三维坐标分别为Ab(0.25，-0.1，7)，Bb(1.75，-0.1，7)，Cb(1.75，-0.1，9)，Db(0.25，-0.1，9)，At(0.25，1，7)，Bt(1.75，1，7)，Ct(1.75，1，9)，Dt(0.25，1，9)。分别连接AtAb、BtBb、CtCb和DtDb形成4条虚拟高度线AtAb、BtBb、CtCb和DtDb。将8个顶点的(xw，yw，zw)值分别代入式(1)在参考图像中形成8个投影点的(u，v)值，对8个投影点的(u，v)值四舍五入取整得到它们在图像中的位置，将三维空间中具有相同(xw，zw)的点的投影点位置连接起来，形成4条虚拟投影线A_tRA_bR、B_tRB_bR、C_tRC_bR和D_tRD_bR，如图3所示。

(二)虚拟高度线确定兴趣区域的扩展投影区域

获得4条虚拟投影线A_tRA_bR、B_tRB_bR、C_tRC_bR和D_tRD_bR后，依次连接A_tR、B_tR、C_tR、D_tR、A_tR，然后依次连接A_bR、B_bR、C_bR、D_bR、A_bR。这样，在图像坐标系OUV中形成一个由12条线段构成的图形，如图4所示，选择包含该图形的最外围线段确定投影区域，如图5实线部分所示，由其确定的图像上的投影区域是不规则的，如图6所示，为便于像素寻址和匹配加速，对该区域进行延伸，使其成为包含投影区域的最小矩形区域，且使矩形区域的水平边界与图像扫描线平行，该矩形区域即为扩展投影区域，如图7所示。至此，确定了三维空间中兴趣区域在二维图像中的扩展投影区域，立体匹配被限定在矩形区域中进行。

(三)以参考图的扩展投影区域为参考区域进行立体匹配

以右图的矩形区域作为参考区域，采用局部匹配方法，如零均值归一化交叉相关(ZNCC)，也可以是SAD等局部匹配方法，或采用全局匹配方法，在左图中进行立体匹配。

Claims (1)

1.一种面向兴趣区域的立体匹配方法，其特征在于该方法包括如下步骤：

步骤(1)将三维空间虚拟高度线投影到平行双目立体视觉系统的参考像机图像中，生成虚拟投影线；

所述的虚拟高度线是在三维空间中的一条竖直线段，虚拟高度线垂直于世界坐标系O_WX_WY_WZ_W中的X_WO_WZ_W平面，将虚拟高度线的最高点和最低点分别投影到参考像机图像中，在二维图像中将这两个投影点连接形成一条虚拟投影线；

所述的投影方法为：首先设定参考像机坐标系为O_CX_CY_CZ_C，像机光轴与O_CZ_C轴重合，世界坐标系为O_WX_WY_WZ_W，参考像机图像坐标系为OUV，则世界坐标系中任意点P的三维坐标(x_w，y_w，z_w)与其在参考像机图像中投影点在图像坐标系OUV下的坐标(u，v)有以下关系：

$\left\{\begin{array}{c}v=v_0-\frac{f\·[(-x_w\sin \mathrm{\γ}+y_w\cos \mathrm{\γ})\cos (\mathrm{\α}+\mathrm{\β})+z_w\sin (\mathrm{\α}+\mathrm{\β})-(D_y\cos \mathrm{\α}+D_z\sin \mathrm{\α})]}{[(x_w\sin \mathrm{\γ}-y_w\cos \mathrm{\γ})\sin (\mathrm{\α}+\mathrm{\β})+z_w\cos (\mathrm{\α}+\mathrm{\β})+D_y\sin \mathrm{\α}-D_z\cos \mathrm{\α}]}\\ u=u_0+\frac{f\·(x_w\cos \mathrm{\γ}+y_w\sin \mathrm{\γ}-D_x)}{[(x_w\sin \mathrm{\γ}-y_w\cos \mathrm{\γ})\sin (\mathrm{\α}+\mathrm{\β})+z_w\cos (\mathrm{\α}+\mathrm{\β})+D_y\sin \mathrm{\α}-D_z\cos \mathrm{\α}]}\end{array}\right.$

其中α是参考像机俯仰角，β是O_CZ_C绕O_CX_C的旋转角，γ是O_CX_C绕O_CZ_C的旋转角，(D_x，D_y，D_z)是参考像机坐标系原点在世界坐标系中的位置，f是参考像机的焦距，(u₀，v₀)是图像中心在OUV坐标系下的坐标；

然后对求得的坐标(u，v)四舍五入取整即得投影点在图像坐标系OUV下的位置；

步骤(2)虚拟高度线确定兴趣区域的扩展投影区域，具体是：

当平行双目立体视觉系统确定后，在世界坐标系O_WX_WY_WZ_W内其可见的O_WX_WZ_W平面范围X_min、X_max、Z_min、Z_max也即被确定；设三维空间中所感兴趣的区域为由[x_min，x_max]、[y_min，y_max]和[z_min，z_max]所围成的立体区间，其中X_min＜＝x_min＜x_max＜＝X_max，Z_min＜＝z_min＜z_max＜＝Z_max，由立体区间确定三维兴趣区域的8个顶点，分别是：Ab、Bb、Cb、Db、At、Bt、Ct和Dt，每个顶点的三维坐标分别为：Ab(x_min，y_min，z_min)、Bb(x_max，y_min，z_min)、Cb(x_max，y_min，z_max)、Db(x_min，y_min，z_max)、At(x_min，y_max，z_min)、Bt(x_max，y_max，z_min)、Ct(x_max，y_max，z_max)、Dt(x_min，y_max，z_max)；

分别连接顶点At和顶点Ab、顶点Bt和顶点Bb、顶点Ct和顶点Cb、顶点Dt和顶点Db，形成4条虚拟高度线AtAb、BtBb、CtCb和DtDb，将8个顶点按照步骤(1)中的投影方法进行投影得到它们在参考图像中的位置；

将三维空间中具有相同x坐标值和z坐标值的点的投影点位置连接起来，分别形成4条虚拟投影线A_tRA_bR、B_tRB_bR、C_tRC_bR和D_tRD_bR，依次连接A_tR、B_tR、C_tR、D_tR、A_tR，然后依次连接A_bR、B_bR、C_bR、D_bR、A_bR，从而在图像坐标系OUV中形成一个由12条线段构成的图形，选择包含该图形的最外围线段构成的封闭多边形即为投影区域，对该投影区域进行延伸，使其成为包含投影区域的最小矩形区域，且使矩形区域的水平边界与图像扫描线平行，该矩形区域即为扩展投影区域；

步骤(3)以扩展投影区域作为参考区域，采用局部匹配方法或采用全局匹配方法，在待匹配图中进行立体匹配。

Images