CN106570908A

CN106570908A - 一种测试子母飞行物抛撒面积的立体视觉装置

Info

Publication number: CN106570908A
Application number: CN201611033890.1A
Authority: CN
Inventors: 王明泉; 李光亚; 郝利华; 王玉; 张俊生; 杨顺民; 路晓冬
Original assignee: North University of China
Current assignee: North University of China
Priority date: 2016-11-14
Filing date: 2016-11-14
Publication date: 2017-04-19

Abstract

本发明公开一种测试子母飞行物抛撒面积的立体视觉装置，包含两个CCD摄像机、同步控制电路、数字图像采集卡和计算机，首先，根据双目立体视觉的成像原理，建立了包括最佳的图像坐标系、摄像机坐标系和世界坐标系的双目立体视觉数学模型；其次，建立基于双目立体视觉技术的测试系统数学模型，同步控制电路保证两个CCD摄像机同时启动，确保获取子飞行物左右图像对的同时性；对获取到的子飞行物图像进行预处理和极线校正后，进行特征提取、立体匹配和三维重建，得到子飞行物飞行轨迹和落点位置，最后通过计算得到抛撒面积。它能获得一种子母飞行物性能的评价方法。

Description

一种测试子母飞行物抛撒面积的立体视觉装置

技术领域

本发明涉及一种子母飞行物性能的评价方法，具体涉及一种测试子母飞行物抛撒面积的立体视觉装置。

背景技术

子母飞行物效应的大小通常用子飞行物的抛撒面积来表示。由于子飞行物结构构成与体积等各方面的限制，无法在其内部或表面安装测量设备，因此只能选用非接触外测法。

而高速摄像测量可以充分利用计算机技术、立体视觉技术和图像处理等先进的测量原理和技术。但目前行业内还没有高速摄像测量应用于子母飞行物性能评价的技术。

发明内容

本发明的目的是提供一种测试子母飞行物抛撒面积的立体视觉装置，它通过放置在落飞行物区域附近高速摄像拍摄子飞行物抛撒后的飞行序列图像，并对其进行后期处理，得到抛撒面积，获得一种子母飞行物性能的评价方法。

为了解决背景技术所存在的问题，本发明是采用以下技术方案：一种测试子母飞行物抛撒面积的立体视觉装置，包含两个CCD摄像机、同步控制电路、数字图像采集卡和计算机，同步控制电路分别与两个CCD摄像机连接，两个CCD摄像机与数字图像采集卡连接，数字图像采集卡与计算机连接；

首先，根据双目立体视觉的成像原理，建立了包括最佳的图像坐标系、摄像机坐标系和世界坐标系的双目立体视觉数学模型；

其次，建立基于双目立体视觉技术的测试系统数学模型，同步控制电路保证两个CCD摄像机同时启动，确保获取子飞行物左右图像对的同时性；对获取到的子飞行物图像进行预处理和极线校正后，进行特征提取、立体匹配和三维重建，得到子飞行物飞行轨迹和落点位置，最后通过计算得到抛撒面积。

采用上述技术方案后，本发明具有以下有益效果：

通过放置在落飞行物区域附近的双目视觉摄像机，高速摄像拍摄子飞行物抛撒后的飞行序列图像，并对其进行后期处理，得到抛撒面积，获得一种子母飞行物性能的评价方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的双目立体视觉模型示意图；

图2为本发明的抛撒面积测量系统原理框图；

图3为本发明的测试流程原理框图；

图4(a)为本发明所提供的实施例左图像的图像预处理结果图；

图4(b)为本发明所提供的实施例右图像的图像预处理结果图；

图5(a)为本发明所提供的实施例左图像的立体匹配结果图；

图5(b)为本发明所提供的实施例右图像的立体匹配结果图；

图6为本发明所提供的实施例对空间物体的重建结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图、具体实施方式及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式和实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1-图3，本具体实施方式采用以下技术方案：

首先根据双目立体视觉的成像原理，建立了包括最佳的图像坐标系、摄像机坐标系和世界坐标系的双目立体视觉数学模型，如图1所示。

设左摄像机的摄像机坐标系O-xyz与世界坐标系O_w-X_wY_wZ_w重合，原点位于左摄像机的光心处，图像坐标系为O_l-X_lY_l，焦距为f_l；右摄像机2的摄像机坐标系为o_r-x_ry_rz_r，图像坐标系为O_r-X_rY_r，焦距为f_r。坐标系O-xyz和坐标系o_r-x_ry_rz_r之间的相互位置可以通过空间转换矩阵M表示为

M＝[R T] (2)

其中，和T＝[T_x T_y T_z]^T分别表示坐标系O-xyz和o_r-x_ry_rz_r之间的旋转矩阵和两个坐标系原点之间的平移向量。

根据摄像机的投影传输模型，可得世界坐标系某一点P(x，y，z)的三维空间坐标为

其次，建立了基于双目立体视觉技术的测试系统数学模型，如图2所示。该系统包括左摄像机、右摄像机(两个CCD摄像机)、同步控制电路、数字图像采集卡(图未视出)和计算机处理(图未视出)等模块；同步控制电路分别与左摄像机、右摄像机连接，左摄像机、右摄像机与数字图像采集卡(图未视出)连接，数字图像采集卡(图未视出)与计算机处理模块(图未视出)连接。

同步控制电路保证左摄像机、右摄像机同时启动，确保获取子飞行物左右图像对的同时性；对获取到的子飞行物图像进行预处理和极线校正后，进行特征提取、立体匹配和三维重建，得到子飞行物飞行轨迹和落点位置，最后通过计算得到抛撒面积。

要完成以上任务，需要完成以下六个步骤，如图3所示：

(一)、摄像机的选择和图像获取。

(二)、摄像机标定：

在充分分析了摄像机模型的基础上，并考虑透镜的径向畸变和切向畸变的影响；对不同类型的棋盘格图像进行标定实验，完成双目立体视觉摄像机的标定，得到左摄像机、右两台摄像机的投影矩阵和以及双目立体视觉系统的旋转矩阵和平移向量T＝[T_x T_y T_z]^T。

(三)、图像预处理和特征提取：

图像预处理是为了改善图像的视觉效果，提高图像的清晰度，使图像更有利于各种特征的分析和提取；特征提取是为了得到匹配赖以进行的图像特征，如点状特征、线状特征和区域特征；图像校正是为了更好的利用对极几何约束，使匹配搜索在两幅图像的同一扫描线方向上进行，以此大幅度降低匹配的计算量。

(四)、立体匹配：

选择正确的匹配特征，寻找特征间的本质属性，建立能正确匹配所选特征的匹配算法，提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度和计算量。

(五)、三维恢复：

计算出子飞行物在飞行过程中的空间坐标后，并在已知摄像机成像集合模型和匹配关系后，采用计算机三维显示技术对子飞行物的飞行轨迹进行重建，获取子飞行物的落点位置，计算子飞行物的抛撒面积。

通过摄像机的标定，得到了左摄像机1和右摄像机投2影矩阵分别为和空间任一点，则P(x，y，z)在左摄像机和右摄像机图像平面上的投影点p_l(u_l，v_l)和p_r(u_r，v_r)互为对应特征点，则有

上式可以表示为其次坐标的形式

或者矩阵形式

A·X＝B (8)

利用伪逆矩阵可以求出

X＝(A^TA)A^-1B (9)

(六)、抛撒面积的计算：

通过以上步骤，可以得到子飞行物抛撒后的飞行轨迹和散布形状，从而得到抛撒面积。

本具体实施方式通过放置在落飞行物区域附近的双目视觉摄像机，高速摄像拍摄子飞行物抛撒后的飞行序列图像，并对其进行后期处理，得到抛撒面积，获得一种子母飞行物性能的评价方法。

实施例：

通过对子母飞行物抛撒散布规律的研究，得知子飞行物的飞行轨迹遵循抛物落体，并在地面落点正态分布于一个圆内，因此利用雨伞撑开时的抛物体代替子飞行物抛撒后的飞行轨迹，进行了仿真实验，具体实验步骤如下：

步骤一：将测量硬件按实验要求进行系统搭建，并保证计算机可以实时采集图像。测试系统采用两台高速工业彩色数字相机(AFT-VD078CS)，已知焦距为12mm，两镜头中心间的距离为26cm，镜头仰视30°，并保证光轴夹角20°，将两个摄像机连接台式计算机USB接口进行图像实时采集，采集到图像的大小为1024×768。

步骤二：测量平台搭建好之后，首先对待测物进行摄像机标定，并保证图像采集系统可以对左右摄像机进行同时采集，标定精度达到0.01mm。

步骤三：将标定好的摄像机保持不动，被测物按测量要求直立放置，并保证整个物体在两个摄像机视野内，开动同时采集图像界面，进行图像采集。对采集的彩色图像进行图像预处理，将图像转化为灰度图像后做平滑处理，预处理后的左右摄像机图像分别如图4(a)和图4(b)所示。

步骤四：图像预处理后图像变的平滑，边缘特征点相对突出，随后将对预处理后的图像进行特征点匹配，本发明采用Harris匹配方法进行特征点的匹配。图5(a)和图5(b)分别为左右摄像机图像特征点匹配后的图像。

步骤五：在对图像进行匹配后，特征点出现许多盲点，因此需要对有用特征点进行选取，实验选取后得到对应特征点的二维坐标如表1所示：

表1匹配特征点二维坐标和重建空间点三维坐标

步骤六：根据左右图像特征点匹配的结果，将选取的5层特征点进行重建，计算得到特征点的空间坐标如表1所示。对所取的特征点进行每层椭圆拟合，再利用逐层纵向恢复将被测物体表面重构，结果如图6所示。

步骤七：通过图6对空间物体的重建，可以通过计算得出物体对地面的投影面积S＝1.25m²，计算所得结果与实际雨伞大小数据存在一定的误差，但从计算结果上看基本吻合，则验证了此测量系统的可行性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种测试子母飞行物抛撒面积的立体视觉装置，其特征在于，它包含两个CCD摄像机、同步控制电路、数字图像采集卡和计算机，同步控制电路分别与两个CCD摄像机连接，两个CCD摄像机与数字图像采集卡连接，数字图像采集卡与计算机连接。

2.根据权利要求1所述的一种测试子母飞行物抛撒面积的立体视觉装置，其特征在于，它的工作原理为：首先，根据双目立体视觉的成像原理，建立了包括最佳的图像坐标系、摄像机坐标系和世界坐标系的双目立体视觉数学模型；

3.根据权利要求2所述的一种测试子母飞行物抛撒面积的立体视觉装置，其特征在于，所述的双目立体视觉数学模型中，设左摄像机的摄像机坐标系O-xyz与世界坐标系O_w-X_wY_wZ_w重合，原点位于左摄像机的光心处，图像坐标系为O_l-X_lY_l，焦距为f_l；右摄像机的摄像机坐标系为o_r-x_ry_rz_r，图像坐标系为O_r-X_rY_r，焦距为f_r；坐标系O-xyz和坐标系o_r-x_ry_rz_r之间的相互位置可以通过空间转换矩阵M表示为

[\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \\ 1 \end{matrix}] = [\begin{matrix} r_{11} & r_{12} & r_{13} & T_{x} \\ r_{21} & r_{22} & r_{23} & T_{y} \\ r_{31} & r_{32} & r_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ z \\ 1 \end{matrix}] - - - (1)

M = [\begin{matrix} R & T \end{matrix}] - - - (2)

其中，和分别表示坐标系O-xyz和o_r-x_ry_rz_r之间的旋转矩阵和两个坐标系原点之间的平移向量；

x = \frac{{zX}_{l}}{f_{l}} - - - (3)

y = \frac{{zY}_{l}}{f_{l}} - - - (4)

\begin{matrix} z = \frac{f_{l} (f_{r} T_{x} - X_{r} T_{z})}{X_{r} (r_{31} X_{l} + r_{32} Y_{l} + r_{33} f_{l}) - f_{r} (r_{11} X_{l} + r_{12} Y_{l} + r_{13} f_{l})} \\ = \frac{f_{l} (f_{r} T_{y} - X_{r} T_{z})}{Y_{r} (r_{31} X_{l} + r_{32} Y_{l} + r_{33} f_{l}) - f_{r} (r_{21} X_{l} + r_{22} Y_{l} + r_{23} f_{l})} \end{matrix} - - - (5) .