CN106019264A

CN106019264A - 一种基于双目视觉的无人机危险车距识别系统及方法

Info

Publication number: CN106019264A
Application number: CN201610337852.9A
Authority: CN
Inventors: 李彦玮; 江志奇; 刘怡萱; 谷亚茹; 廖羽乔
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-05-22
Filing date: 2016-05-22
Publication date: 2016-10-12

Abstract

一种基于双目视觉的无人机危险车距识别系统及方法，搭载GPS模块、无线传输模块和机载摄像机，采用双目测距和三维重建技术结合GPS定位技术实现测距和测速以及车辆的危险预警。本系统采用基于双目测距和三维重建技术结合GPS定位技术实现对车辆的测距和测速，具体步骤如下：摄像机的标定、目标图像的获取、特征提取、立体校正、立体匹配、距离和速度测量。在判断两车处在危险距离后通过无线传输模块把摄像头捕捉到的视频实时传输给交通管理部门。本发明在高效精准的作业同时大大提高了交通智能化程度，降低了交通管理部门的工作强度。

Description

一种基于双目视觉的无人机危险车距识别系统及方法

技术领域

本发明涉及危险车距识别领域，具体涉及一种基于双目视觉的无人机危险车距识别系统及方法。

背景技术

随着社会经济的发展和人们生活水平的提高，车辆的数量急剧增加，随之而来的是越来越多的追尾等交通事故的发生，由于信息传输的滞后、交通事故造成的拥堵等情况常常使执法部门无详细的凭据去了解事故发生的整个过程。

目前，已有各种有关测量安全车距方法、装置及系统等，但这些大都用于辅助驾驶，且不能实时进行两车间距预警并反馈给执法部门。因此急需一种系统来辅助执法部门执法，提高执法效率，并确保执法部门准确无误的掌握交通事故的整个过程，有利于做出公平、公正的判断。

发明内容

针对现有技术的上述不足，本发明旨在提供一种可动态实时监测车距、车速，当出现危险车距时，把视频实时传输给交警部门并进行提醒，辅助执法部门快速、有效执法的一种基于双目视觉的无人机危险车距识别系统及方法。

本发明所采用的技术方案是：一种基于双目视觉的无人机危险车距识别系统及方法，结合无人机机载GPS和机载摄像机，采用双目测距和三维重建技术结合GPS定位技术实现距离和速度测量以及车辆的危险距离预警。

所述双目测距和三维重建的步骤包括摄像机的标定、目标图像的获取、特征提取、立体校正、立体匹配、距离和速度测量。

所述速度测量是通过解析无人机机载GPS模块所接收到的数据包获得无人机所飞行的相对于地面静止物体的速度加上所测车辆相对于无人机的相对速度即为车辆相对于地面的绝对速度。

所述危险距离预警是本发明利用机载GPS沿指定路段巡航时对路段进行监测，采用双目测距和三维重建技术结合GPS定位技术实现距离和速度测量以及车辆的危险距离预警，在判断存在危险距离后通过无线传输模块把摄像头捕捉到的视频实时传输给交通管理部门。

本发明与现有技术相比，有益效果在于：

1. 在监测成本及准确性以及操作便利性方面具有明显的优势；

2. 可以动态地实时检测车距、车速，当出现危险车距时，把视频实时传输给交警部门并进行提醒，辅助交警快速、有效的执法；

3. 由于本发明具有自动检测并提醒的功能，大大提高了交通智能化程度，降低了交通管理部门的工作强度。

附图说明

图1是本发明系统总体结构简图。

图2是本发明所采用双目定位技术中极线约束原理示意图。

图3是本发明所采用双摄像头模型的俯视图。

图4是本发明所采用双摄像头模型的立体视图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。

本发明为一种基于双目视觉的无人机危险车距识别系统及方法，搭载GPS模块、无线传输模块和机载摄像机，采用双目测距和三维重建技术结合GPS定位技术实现测距和测速以及车辆的危险预警。

如图1所示，一种基于双目视觉的无人机危险车距预警系统，包括嵌入式平台A、无人机A1、GPS模块A2、无线传输模块A3、双目摄像头A4。其中嵌入式平台A应采用minnowboardturbot高性能运算平台进行无人机A1飞行姿态的控制及巡航路线规划、解析GPS模块A2所接收的数据包、分析双目摄像头A4所采集到的数据并将处理后的数据通过无线传输模块A3发送回地面;无人机A1搭载所需要的模块进行巡航监测；GPS模块A2接收相关地理信息的数据包并传输给嵌入式平台A进行解析；无线传输模块A3应采用4G通信模块或5.8GHz的无线传输模块将处理后的数据传输给地面接收端；双目摄像头A4用来进行车辆坐标的定位和目标车辆距离的测量。

本系统采用基于双目测距和三维重建技术结合GPS定位技术实现对车辆的测距和测速，具体步骤如下：摄像机的标定、目标图像的获取、特征提取、立体校正、立体匹配、距离和速度测量。

首先在地面对嵌入式平台A设定巡航路线对指定路段进行巡航，利用双目视觉定位技术对车辆进行测距和测速，如发现车辆超速或两车处于危险车距则启动摄像头进行视频捕捉，并将捕捉到的视频通过无线传输模块A3传输给地面接收端。

下面对基于双目视觉的测距和测速的实现方法进行详细阐述。

首先进行摄像机标定，具体实现方法如下：

在实际使用的摄像机中，因为制造工艺的限制主点不能保证在成像设备的正中心位置，所以引入两个参数和表示真实主点与理想主点间的偏移。因为像素点在一个普通摄像机上不能保证是正方形，所以使用两个不同的焦距和。假设成像平面上的点为q =［x y 1］^T，目标物体点为Q =［X Y Z 1］，引入参数s(比例因子)和单应性矩阵H，其定义如下q = sHQ其中H由两个矩阵表示: H = MW

(1)

M为摄像机内参数矩阵

(2)

W用于目标物体平面与摄像机平面的旋转平移变换，即摄像机外参数矩阵。

考虑到透镜畸变，假设q _p(x _p ,y _p)为校正后的点，q _d(x _d, y _d)为畸变后的点，则有

(3)

其中构成一个5x1的矩阵，该矩阵就是摄像机的畸变矩阵。

标定是为得到摄像机的上述参数。OpenCV 使用平面物体( 例如平面黑白棋盘)标定摄像机。使用立体相机从不同角度不同距离拍摄左右棋盘图像进行标定。在OpenCV中调用findChessboardCorners()函数可找到棋盘角点信息的近似值，再使用cornerSubPix()函数得到棋盘角点的亚像素坐标。使用drawChessboardCorners()函数绘制出检测到的棋盘角点，以便在实验中观察结果，然后使用stereoCalibrate()函数完成双目标定。

目标图像由机载摄像机采集并传输至嵌入式平台，并在嵌入式平台中使用OpenCV库函数进行特征提取。

接着进行立体校正，具体实现方法如下：

有了旋转矩阵R 和平移向量T ，立体校正Bouguet算法就能简单地使左右图像中的每幅重投影次数最小且重投影畸变最大，所以使立体匹配更加准确和快速，并使左右图像的观测面积最大。

通过投影矩阵把三维点变换成可以在平面上显示的二维点。

(4)

投影平面上的点坐标为(x/w，y/w)。同理，二维点也可通过重投影矩阵Q 重投影为三维点：

(5)

(6)

其中(,)为主点在左图像上的坐标，为焦距，为双目间距，为主点在右图像的x坐标。根据式(5)得到三维坐标为: (X /W，Y /W，Z /W)。在OpenCV中可通过stereoRectify()函数完成以上校正功能，该函数输入参数是前面标定返回的结果:摄像机矩阵，畸变向量，左右旋转矩阵Ｒ和平移向量 T 。输出参数有式(4)中投影矩阵P ，分别为P _left和 P _right，以及重投影矩阵Q 。可调用函数InitUndistortRectifyMap()生成图像校正所需的映射矩阵。

然后进行立体匹配，具体实现方法如下：

立体匹配是寻求同一空间景物在不同视点下投影图像的像间的一一对应关系。立体匹配可采用BM算法,SGBM算法,GC算法等。

要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，我们可以利用极线约束使得对应点的匹配由二维搜索降为一维搜索。极线约束原理如图2所示，空间中任意一点在图像平面上的投影点，必然处于由该点和两个摄像头中心组成的对极平面上。对于图像上的某一特征点，其在另一视图上的匹配点必处于对应的对极线上，这称为极线约束。极线约束使得特征匹配由二维搜索降低为一维搜索，从而大大加快计算速度，并且减少误匹配。

最后进行距离和速度测量，具体实现方法如下：

双摄像头测距的原理如图3及图4所示，其中，图4中Z是目标点到成像平面的距离，f是摄像头焦距，T是两摄像头光心的距离。目标点在左右两幅视图上成像的横向坐标直接存在的差异（即视差），与目标点到成像平面的距离Z存在着反比例的关系：Z=fT/d。在OpenCV中，f的量纲是像素点，T的量纲由定标板棋盘格的实际尺寸和用户输入值确定，一般是以毫米为单位（当然为了精度提高也可以设置为0.1毫米量级），的量纲也是像素点。因此分子分母约去，Z的量纲与T相同。

假设S1为图像平面上两辆车之间的距离，S2为两辆车之间的实际距离，则：

(7)

假设L为车在图像平面上在时间t里行驶的路程，为车辆相对于无人机的实际速度，则：

(8)

而无人机的的绝对运动速度可由机载GPS得出，假设x为无人机机载GPS所获得数据包经解析后在时间t内所经过的位移，则：

(9)

车辆实际运动速度V可由车辆相对于无人机的相对运动速度和无人机的绝对运动速度得出，即：

(10)

在得出车辆的绝对运动速度后与设定的车道限速进行对比，若车辆速度大于限速则进行违章抓拍；若得出两车间实际距离小于所设定的安全距离则启动摄像头将画面通过无线传输模块A3传输回地面接收端进行预警，并调整无人机飞行速度使之与车辆速度接近并继续进行判断和预警。

Claims

1.一种基于双目视觉的无人机危险车距识别系统及方法，具有危险车距识别及预警功能，其特征在于无人机上搭载摄像头并利用GPS定位技术沿路段巡航，使用机载嵌入式平台对采集到的视频进行实时分析处理，得出相邻两车距离以及每辆车的车速，对危险车距进行实时报警和追踪，并利用无线传输技术将视频实时传输给交通管理部门。

2.根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特征在于所述无人机搭载摄像头为双目摄像头。

3.根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特征在于所述测距方法采用基于双目定位和三维重建技术结合GPS定位技术的测距。

4.根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特征在于所述双目测距和三维重建的步骤如下：摄像机标定、目标图像获取、特征提取、立体校正、立体匹配、距离和速度测量。