CN105512628A - 基于无人机的车辆环境感知系统及方法 - Google Patents

Abstract

本发明是一种基于无人机的车辆环境感知系统及方法，用于快速获取车辆周围道路环境信息。感知系统包括无人飞行器和地面站，无人飞行器与车辆通过系留绳连接，通过无人飞行器对路面进行拍摄，并传输视频图像给地面站；地面站放置在目标车辆上，对视频图像处理获得车辆环境信息，并计算飞行控制参数给无人飞行器，以使得无人飞行器和车辆一同前行。感知方法基于感知系统，无人飞行器起飞悬停在车辆上方，建立通信进行环境感知，回传视频图像到地面站处理，地面站计算车辆环境信息传输给车辆、计算飞行控制参数给无人飞行器。本发明从垂直于车辆平面方向进行广域观察，覆盖面广，易于感知目标车辆周边道路环境信息，可精准计算出图像中物体间距离。

Description

基于无人机的车辆环境感知系统及方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于无人机空中平台的对地面选定车辆的环境感知技术，能够快速获取该车辆周围道路环境信息。

背景技术

车辆在现代社会中已经发展成为不可缺少的代步工具。车辆行驶过程中稳定并且快速，但是需要获取相应的外围环境信息以确保其运行的安全性。现阶段对车辆外部环境的感知，主要依靠驾驶员人为观察。虽然人为观察可以迅速判断出周围的其他车辆、行人、交通信号与标志，但是人类的感知依赖自身状态，酒精、疲劳与经验缺失会降低环境感知的准确性，此时通常导致交通事故。此外，随着智能车辆与交通技术的发展，无人驾驶将会普及，人工感知将会被逐渐替代。

与此同时，智能车辆环境感知技术正在被研究。通过激光或超声波测距已经相当成熟，基于机器视觉的交通标志识别也在逐渐发展，红外行人感知也颇有成效。这些技术精度高、实时性强，一定程度上辅助了车辆的环境感知，并对驾驶员进行提醒，或直接将数据输入车辆控制系统，以进行避障和保证安全。

虽然现代汽车搭载这些装置，但该装置的使用范围有限，其大多数搭载在车辆上进行感知，容易受到遮挡，感知范围有限，无法大尺度获得车辆周围各个物体相对位置信息，同时易受自身车辆运动干扰，影响感知准确度。

发明内容

本发明针对现有车辆环境感知技术中的感知范围有限并且容易被干扰等不足，提供了一种基于无人机的车辆环境感知系统及方法。本发明基于无人机的空中平台，利用观察高度优势，从垂直于车辆平面方向进行广域观察，工作状态稳定，能够获得一个全面的目标车辆与其他车辆、行人和障碍物的位置关系信息；同时也能获得前方道路方向、车辆占有率、能否通行等交通信息。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于无人机的车辆环境感知系统，包括：无人飞行器和地面站。

所述的无人飞行器上搭载增稳云台和摄像装置、第一无线通信模块、第一图像传输模块；通过摄像装置对路面进行拍摄，获得车辆、道路的视频图像；通过第一无线通信模块接收飞行控制信号；通过第一图像传输模块将拍摄的视频图像传输至地面站。无人飞行器与车辆通过系留绳连接，由车载供电系统为无人飞行器供电。所述的摄像装置同时进行彩色视频拍摄和红外拍摄。

所述的地面站装有第二无线通信模块、第二图像传输模块和计算机模块；通过第二无线通信模块传输飞行控制信号给无人飞行器；通过第二图像传输模块接收无人飞行器传来视频图像；通过计算机模块，对接收的视频图像进行处理，得到车辆环境信息，并通过数据线与无人驾驶车辆进行信息交互。地面站放置在车辆上，由车载供电系统供电。所述的车辆环境信息包括目标车辆与道路的位置关系、目标车辆与行人、其他车辆的距离。所述的计算机模块计算飞行控制参数给无人飞行器，以使得无人飞行器和车辆一同前行。

基于上述系统实现的基于无人机的车辆环境感知方法的流程包括以下几个步骤：

步骤(1)感知系统启动后，无人飞行器起飞，悬停后与车辆中地面站建立通信，同时开始进行环境感知。

步骤(2)无人飞行器搭载摄像装置，通过摄像装置对路面进行拍摄，获得车辆、道路的视频图像，并通过所搭载的第一图像传输模块将视频图像传回地面站。

步骤(3)地面站通过计算机模块对收到的视频图像进行图像处理，并通过数据线将车辆环境信息传输给车辆。

步骤(4)计算机模块通过图像处理得到无人飞行器与车辆的位置关系，然后计算无人飞行器飞行控制参数并发送，使无人飞行器和车辆一同前行，且无人飞行器实时以车辆为中心进行环境感知。

所述的步骤(3)进行图像处理的过程如下：

步骤3.1、通过图像配准进行增稳，跟踪图像中的特征点获取图像背景的运动，通过仿射变换方法消除抖动。

步骤3.2、镜头垂直地面拍摄，可以避免透视运算与坐标变换，从而通过比例变换获得图像中道路长度、车辆距离等信息。

步骤3.3、图像处理时，从彩色视频中提取道路位置以及车辆位置，从红外图像提取行人位置，获得图像中物体坐标后，通过比例计算得到目标车辆与道路的位置关系、目标车辆与行人、其它车辆的距离。

所述的步骤(4)中实现无人飞行器和车辆一同前行，包括如下方面：

(1)、简化无人飞行器的控制，计算机模块只对无人机的俯仰与偏航两个参数进行控制，控制采用双模参数自校正模糊PID控制。

(2)、计算无人飞行器与车辆的相对位置时，以画面中心作为无人飞行器所处位置，在设定的区域范围内，寻找用特殊颜色标记车顶的目标车辆。发现目标车辆位置后，计算无人飞行器与车辆在现实中的偏移距离与偏移方向。

(3)、根据得到的偏移距离与偏移方向，计算机模块计算PID控制算法的比例、积分和微分值，给出无人飞行器的飞行控制参数，通过第二无线通信模块传输给无人飞行器，实现无人飞行器的自动跟车飞行。

(4)、当无人飞行器丢失目标车辆后，通过系留绳能够提供对无人飞行器的引导。

本发明技术方案，有如下创新点与优势：

(1)本发明基于无人机空中平台，工作状态稳定，利用高度优势，从垂直于车辆平面方向进行广域观察，覆盖面广，易于感知目标车辆周边道路环境信息。该角度下所观察到的车辆相对位置信息清晰明确，准确率高。同时很好避免视角过低导致的机器视觉盲区增大，范围受限。同时根据选定车辆的车身长度与宽度参数可以精准计算出图像中物体间的距离信息。

(2)本发明对地面拍摄时，同时进行彩色视频和红外视频拍摄。普通彩色视频适合用来提取道路方向与车辆轨迹信息，红外视频适合用来进行行人与车辆检测，从而增强不同目标的图像特征，降低图像识别的难度，同时分组识别可以避免图像处理时所需要提取信息的互相干扰造成的误检与遗漏。

(3)本发明所采用的无人飞行器跟随目标车辆移动，可以实时感知车辆周围环境信息。由于无人飞行器的速度有限，同时出于安全性考虑，目前车辆行驶速度需要控制在40km/h以下。

(4)本发明采用车载装置供电。地面站可以将充电接口与信息交互接口集成，以简化地面站结构，同时解决供电问题。环境感知需要长时间滞空，现行无人飞行器电池续航时间有限，通过系留绳供电以延长无人飞行器飞行时间。此外，系留绳可以在无人飞行器丢失目标车辆时进行航向引导，避免无人飞行器与车辆失散。

(5)本发明系统含有无人飞行器与地面站两部分，无人飞行器仅负责飞行、拍摄和回传图像，处理进程较少，能够最大化优化飞行控制过程以提升飞行精度与飞行安全。地面站负责控制、接收图像、处理图像、信息交互，其计算量能力较强，稳定性高，适合承当大部分主要感知工作。两部分装置互相协调以实现本发明系统的流畅工作。

附图说明

图1是本发明的基于无人机的车辆环境感知系统的组成示意图；

图2是本发明的基于无人机的车辆环境感知方法的流程示意图；

图3a为提取道路信息的示意图；

图3b为提取车辆位置信息的示意图；

图3c为提取行人位置信息的示意图；

图4是本发明的进行距离计算的示意图。

图中：1-需要被环境感知的目标车辆，2-地面站，3-系留绳，4-无人飞行器。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明提供一种基于无人机的车辆环境感知系统，其包括：需要环境感知的目标车辆1，地面站2，系留绳3，无人飞行器4。所述的地面站2与无人飞行器4通过无线通信，并进行图像传输。地面站2放置在目标车辆1上，由目标车辆1供电，无人飞行器4由目标车辆1通过系留绳3供电。

无人飞行器4为一架四旋翼无人飞行器。无人飞行器4上搭载GPS(全球定位系统)模块、AHRS(航姿参考系统)模块和飞行控制装置，以保证无人飞行器的稳定安全飞行。无人飞行器4上搭载增稳云台和摄像装置，以实现无人飞行器4对路面的稳定拍摄，从而获得车辆、道路的视频图像。其中所述摄像装置可同时进行彩色视频拍摄与红外视频拍摄。无人飞行器4上搭载第一无线通信模块，实现飞行控制信号的接收。无人飞行器4上搭载第一图像传输模块，将无人飞行器拍摄的视频图像传输至地面站。无人飞行器4与车辆1通过系留绳3连接，由车载供电系统供电。

地面站2装有第二无线通信模块，用于传输飞行控制信号给无人飞行器4。地面站2装有第二图像传输模块，用于接收无人飞行器4传来视频图像。地面站2内置计算机模块，对视频图像进行处理，得到车辆环境信息，并能够通过数据线与无人驾驶车辆1进行信息交互。地面站2由无人驾驶车辆1的车载供电系统供电。地面站2可以将充电接口与信息交互接口集成，以简化地面站结构，同时解决供电问题。

图2为利用上述车辆环境感知系统，实现的基于无人机的车辆环境感知方法的流程图，包括步骤(1)—步骤(4)。下面详细对各步骤进行说明：

步骤(1)感知系统启动后，无人飞行器4将立即起飞至地面站2所在车辆1上方100-200米处悬停，并与地面站2建立通信，然后开始进行环境感知。

取无人飞行器飞行高度为150米，镜头角度为60°，则位于该高度时，无人飞行器的视野半径在85米，可以拍摄到周围大量的物体，以保证能够充分感知环境。同时，在该高度范围内，无人飞行器能够在较短时间内到达目标点，灵活机动，控制信号强，有利于安全飞行，避免失控。

步骤(2)无人飞行器4通过所搭载的摄像装置，对路面进行拍摄，获得车辆、道路的视频图像，并通过所搭载的第一图像传输模块将视频图像传回地面站。

无人飞行器4搭载摄像装置，摄像装置的单目镜头需要进行标定，以修正在其拍摄过程中直线产生的弧度，还原道路与车辆变形，降低环境感知的干扰与误检率。此外，摄像装置可以同时采集路面彩色视频影像和红外视频影像，无人飞行器4进行拍摄时，将会覆盖包含目标车辆在内的极大范围，并通过第一图像传输模块将视频图像传回地面站2。地面站2的计算机模块将立即进行图像处理，以获得环境信息。

步骤(3)地面站2的计算机模块对收到的视频图像进行图像处理，然后地面站2通过数据线将得到的车辆环境信息传输给车辆1。在进行图像处理时，先将图像配准增稳；然后，分别从彩色视频中提取输出车辆与道路信息，从红外图像提取输出行人位置。

步骤(3)的工作原理如下：

步骤3.1、通过图像配准进行增稳，跟踪图像中的特征点获取图像背景的运动，从而通过仿射变换方法消除抖动。

步骤3.2、镜头垂直地面拍摄，可以避免透视运算与坐标变换，从而通过简单比例计算获得图像中道路长度、车辆距离等信息。

步骤3.3、如图3a～图3c所示，是本发明的进行图像处理感知车辆环境的示意图，图像处理时：

①、对于彩色视频，通过颜色空间变换、阈值分割以及形态学操作等图像处理方法提取道路位置信息。如图3a所示，通过：

将拍摄的图像从RGB(红，绿，蓝)颜色空间转换到HSV(色调，饱和度，亮度)颜色空间。对于转换后的图像，选取图像中饱和度值在0％-5％内的区域，(在一般光照条件下，高空拍摄的图像中路面区域颜色阈值在上述区间内，其他条件下阈值区间可能有所不同，需要调整)得到道路二值化图像。

对上述二值化图像进行形态学膨胀与腐蚀运算，消除道路上车辆造成的空洞，同时平滑道路边界。其中，形态学操作的结构元素定义为圆形，圆的半径为车辆宽度的1/4。

然后进行边缘检测，根据图像梯度的骤变检测到二值图像黑白交错出，此处则为边缘。由于道路边缘可能为不规则曲线，可以通过霍夫变换绘制边缘直线，从而获得规则的道路区域。霍夫变换过程：对于道路边缘线a上的若干个点A₁(x₁,y₁,),A₂(x₂,y₂,),…,A_n(x_n,y_n,)，近似满足直线：Xcosθ+Ysinθ＝r，其中θ、r是参数。以点A₁(x₁,y₁,)为例，将x₁、y₁作为参数，则在r-θ参数平面上，可以得到曲线：r＝Xcosθ+Ysinθ。由此，可以将点集A(A₁,A₂,…,A_n)转换成r-θ平面上的若干曲线，这些曲线过同一点(θ,r)。经过霍夫变换后，统计r-θ平面上的峰值点，获取该点坐标，即直线的参数θ、r，从而绘制出直线。

②、对于彩色视频，采用基于Haar特征级联分类器提取车辆位置信息，如图3b所示。采用基于Haar特征级联分类器进行车辆检测，从而获取各车辆在图像中的坐标、长、宽。其中分类器检测时，寻找图形中的某一大型车辆，设定搜索窗口的长为该大型车辆长度的1.2倍，搜索窗口的宽为该大型车辆宽度的1.2倍，并保持搜索窗口的形状和大小不变，以完成精确检测。

③、对于红外图像，提取行人位置信息，采用基于融合HOG(梯度方向直方图)与DCT(离散余弦变换)特征的SVM分类器进行提取。其中，融合特征V＝[10V_HOG,3V_DCT]，V_HOG为HOG特征，V_DCT为DCT特征。此时，该特征同时包含梯度方向与边缘方向信息，对航拍红外线行人目标具有良好的识别能力，从而得到行人坐标，如图3c所示。

④、获取图像中物体坐标后，进行距离计算。

例如图4中所示，已知目标车辆1长为W，宽为H，其与另一辆车横向距离为S₁，纵向距离为S₂，道路宽度为L。

根据比例k如下：

$k=\frac{1}{2}\left(\right|\frac{W}{w}|+|\frac{H}{h}\left|\right)$

其中，w为车辆实际长度，h为车辆实际宽度。

可获得实际道路宽度l＝kL；目标车辆1与另一辆车的实际横向距离s₁＝kS₁，实际纵向距离s₂＝kS₂。

通过上面步骤3.1～3.3，从而可以计算得到目标车辆与道路的位置关系、目标车辆与行人、其它车辆的距离信息。整体如图3所示。

步骤(4)计算机模块通过图像处理得到无人飞行器4与车辆1的位置关系，得到偏移距离与偏移方向，根据该值计算无人飞行器4的飞行控制参数并发送，使无人飞行器4和车辆1一同前行，以实时以车辆为中心进行环境感知。

步骤(4)中实现无人飞行器和车辆一同前行的工作原理包括如下方面：

(1)、为了简化无人飞行器4的控制，只对无人飞行器4的俯仰与偏航两个参数进行控制。控制采用双模参数自校正模糊PID(比例-积分-微分)控制。

(2)、计算相对位置时，以画面中心作为无人飞行器4所处位置，可在画面中心附近设定一个感兴趣区域范围，在该区域范围内寻找用特殊颜色标记车顶的目标车辆1。发现目标车辆1位置后，进行无人飞行器4与目标车辆1在现实中的偏移距离与方向的计算。

(3)、根据得到的位置数据，计算机模块将计算PID控制算法的比例、积分、微分值，给出无人飞行器4的飞行控制参数，通过无线通信模块传输给无人飞行器4，实现无人飞行器4的自动跟车飞行。

(4)、当无人飞行器4丢失目标车辆1后，系留绳3能够在一定程度上提供对无人飞行器4的引导。

Claims (7)

1.一种基于无人机的车辆环境感知系统，包括：无人飞行器和地面站；其特征在于：

所述的无人飞行器上搭载增稳云台和摄像装置、第一无线通信模块、第一图像传输模块；通过摄像装置对路面进行拍摄，获得车辆和道路的视频图像；通过第一无线通信模块接收飞行控制信号；通过第一图像传输模块将拍摄的视频图像传输至地面站；所述的无人飞行器与车辆通过系留绳连接，由车载供电系统为无人飞行器供电；所述的摄像装置同时进行彩色视频拍摄和红外拍摄；

所述的地面站装有第二无线通信模块、第二图像传输模块和计算机模块；通过第二无线通信模块传输飞行控制信号给无人飞行器；通过第二图像传输模块接收无人飞行器传来视频图像；通过计算机模块，对接收的视频图像进行处理，得到车辆环境信息，并通过数据线与无人驾驶车辆进行信息交互；所述的地面站放置在车辆上，由车载供电系统供电；所述的车辆环境信息包括目标车辆与道路的位置关系、目标车辆与行人、其他车辆的距离；所述的计算机模块计算飞行控制参数给无人飞行器，以使得无人飞行器和车辆一同前行。

2.根据权利要求1所述的一种基于无人机的车辆环境感知系统，其特征在于：所述的计算机模块，从彩色视频中提取道路位置以及车辆位置，从红外图像提取行人位置，获得图像中物体坐标后，通过比例计算得到目标车辆与道路的位置关系、目标车辆与行人、其它车辆的距离。

3.一种基于权利要求1所述的车辆环境感知系统的车辆环境感知方法，其特征在于：该感知方法的实现步骤如下：

步骤1，感知系统启动后，无人飞行器起飞，悬停后与车辆中的地面站建立通信，同时开始进行环境感知；

步骤2，无人飞行器搭载摄像装置，通过摄像装置对路面进行拍摄，获得车辆和道路的视频图像，并通过所搭载的第一图像传输模块将视频图像传回地面站；

步骤3，地面站通过计算机模块对收到的视频图像进行图像处理，并通过数据线将车辆环境信息传输给车辆；

步骤4，计算机模块通过图像处理得到无人飞行器与车辆的位置关系，然后计算无人飞行器飞行控制参数并发送，使无人飞行器和车辆一同前行，且无人飞行器实时以车辆为中心进行环境感知。

4.根据权利要求3所述的车辆环境感知方法，其特征在于：所述的步骤1中，无人飞行器起飞至地面站所在车辆上方100-200米处悬停。

5.根据权利要求3所述的车辆环境感知方法，其特征在于：所述的步骤3中，进行图像处理的步骤为：

步骤3.1、通过图像配准进行增稳，跟踪图像中的特征点获取图像背景的运动，通过仿射变换方法消除抖动；

步骤3.2、镜头垂直地面拍摄，避免透视运算与坐标变换，通过比例变换获得图像中道路长度和车辆距离；

步骤3.3、图像处理时，从彩色视频中提取道路位置以及车辆位置，从红外图像提取行人位置，获得图像中物体坐标后，通过比例计算得到目标车辆与道路的位置关系、目标车辆与行人、其它车辆的距离。

6.根据权利要求5所述的所述的车辆环境感知方法，其特征在于：所述的步骤3.3中，采用基于Haar特征级联分类器提取车辆位置，分类器检测时，寻找图形中的某一大型车辆，设定搜索窗口的长为该大型车辆长度的1.2倍，搜索窗口的宽为该大型车辆宽度的1.2倍。

7.根据权利要求3所述的车辆环境感知方法，其特征在于：所述的步骤4中，实现无人飞行器和车辆一同前行，包括如下方面：

(1)简化无人飞行器的控制，计算机模块只对无人飞行机的俯仰与偏航两个参数进行控制，控制采用双模参数自校正模糊PID控制；

(2)计算无人飞行器与车辆相对位置时，以画面中心作为无人飞行器所处位置，在设定的区域范围内寻找用特殊颜色标记车顶的目标车辆，发现目标车辆位置后，计算无人飞行器与车辆在现实中的偏移距离与方向；

(3)根据得到的偏移距离与偏移方向，计算机模块计算PID控制算法的比例、积分和微分值，给出无人飞行机的飞行控制参数，通过第二无线通信模块传输给无人飞行器，实现无人飞行机的自动跟车飞行；

(4)当无人飞行器丢失目标车辆后，通过系留绳提供对无人飞行器的引导。