CN112488029A - 一种基于空地协同的车辆检测方法 - Google Patents

Abstract

本发明涉及一种基于空地协同的车辆检测方法，属于无人驾驶技术中的道路环境感知领域。该方法包括：获取空地视角下的车辆检测结果，并构建空地视角下的目标检测点阵；对空地视角下的目标检测点阵进行配准融合一体化；最后利用前一帧的目标检测融合结果滤除当前帧目标检测融合点阵中的误检测目标点。本发明可以准确地在障碍物遮挡、相机抖动及转弯的情况下对目标车辆实现检测，提升了目标检测系统的准确率、精度和鲁棒性。

Description

一种基于空地协同的车辆检测方法

技术领域

本发明属于无人驾驶技术中的道路环境感知领域，涉及一种基于空地协同的车辆检测方法。

背景技术

近年来，人工智能技术被应用于汽车领域中，无人驾驶技术应运而生。智能车环境感知系统作为无人驾驶技术中的重要组成部分，对无人驾驶技术的发展起到至关重要的作用。而由于摄像头的成本相对较低，因此基于图像的目标检测技术在智能车环境感知领域中的应用愈加广泛，并在我国无人驾驶和智能车环境感知领域中取得了举足轻重的地位。

目前，随着小型无人机航拍技术的发展，航拍技术已成为获取图像的重要途径之一。无人机在获取图像时，具有机动灵活、观测范围大、观测死角少、起降方便等特点，因此无人机航拍技术已经成为智能车环境感知领域的重要帮手。无人机视角下的目标检测技术在智能车环境感知系统中主要用于对车载目标检测识别系统进行辅助和补充，解决基于车载目标检测识别系统因前方障碍物遮挡、车辆颠簸所带来的图像出现离群值、仿射变换和非刚性变换的问题。但是，现有的检测识别系统中，无人机和车辆是两套独立的识别系统，不能将采集的地空视角数据融合处理，其协同效果不佳。

发明内容

有鉴于此，本发明的目的在于提供一种基于空地协同的车辆检测方法，主要针对目标车辆被障碍物遮挡和车辆颠簸导致摄像头抖动等情况下的车辆检测问题。可应用于普通道路场景下对目标车辆进行检测，还可应用于智能口岸系统中的无人跨运车行驶场景以及警用监控追踪场景等环境复杂、障碍物较多、干扰较大的场景当中；用于提升智能车目标检测系统的准确率、精度和鲁棒性，及时发现智能车在行驶时的潜在碰撞威胁。

为达到上述目的，本发明提供如下技术方案：

一种基于空地协同的车辆检测方法，具体包括以下步骤：

S1：获取无人机和智能车视角下的车辆检测结果；

S2：构建空地视角下的目标检测点阵；

S3：对空地视角下的目标检测点阵进行配准融合一体化；

S4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，获取当前帧的空地目标检测融合结果。

进一步，步骤S1中，获取无人机和智能车视角下的车辆检测结果，具体包括：

S11：采用微光摄像头采集道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方以及无人机机身正下方，无人机位于智能车正上方；

S12：将空地视角下采集到的图像数据输入至Faster R-CNN网络中，分别获取空地视角下的目标检测矩形框。

进一步，步骤S2中，构建空地视角下的目标检测点阵，具体包括：

S21：根据获取的空地视角下的车辆检测矩形框，计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；

S22：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{a_i,i＝1,2,…,n}和b＝{b_j,j＝1,2,…,m}，其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数。

进一步，步骤S3中，对空地视角下的目标检测点阵进行配准融合一体化，具体包括：

S31：获取空地视角下同一帧点阵之间的全局结构差异矩阵G_ab，该矩阵中第i行第j列元素

表示a_i和b_j之间的全局结构差异；

S32：获取空地视角下同一帧点阵之间的局部结构差异矩阵L_ab，该矩阵中第i行第j列元素

表示a_i和b_j之间的局部结构差异；

S33：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵C_ab，该矩阵中第i行第j列元素

表示检测目标a_i和b_j之间的颜色特征差异；最后，对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理；

S34：混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为M，构建基于混合特征的成本函数E(M)；随后最小化成本函数的值，求解出空地点阵目标的对应关系矩阵。

S35：构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；

S36：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值T₁；

S37：计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；

S38：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T₂，最后获取空地目标检测融合点阵c。

更进一步，步骤S34中，构建的基于混合特征的成本函数为：

其中，G_aibj+α(L_aibj+C_aibj)表示空地目标之间的混合特征差异，M_ij是对应关系矩阵中的元素且满足：

和

α表示权重系数，用于调节全局结构差异和颜色特征差异在成本函数中的比重。

更进一步，步骤S35中，构建空地目标检测点阵之间的配准融合一体化目标函数为：

其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，

是n维行向量且在二维图像中的定义为：

a_c是从点阵a中选出来的一组控制点；正规化参数λ用于调节非刚性形变系数矩阵ω，其目的是通过控制ω的大小从而对点阵a进行非刚性或刚性变换。

进一步，步骤S4中，利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体包括：

S41：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；

S42：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算所有离群目标点和椭圆模型的距离，将距离大于阈值T₃的离群目标点滤除；

S43：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式。

本发明的有益效果在于：

1)与基于车载摄像头的目标车辆检测系统相比，本发明利用无人机机载摄像头对智能车平台的目标车辆检测系统进行辅助和补充，不仅拓宽了智能车平台车辆检测系统的检测视野范围，还可以及时检测到被障碍物遮挡的目标车辆，使得智能车在行驶过程中发现更多的潜在碰撞威胁。

2)本发明利用点阵配准和图像决策级融合的思想，首先提取Faster R-CNN网络检测矩形框的中心点构建空地目标检测点阵，然后利用检测目标的颜色特征和点阵的结构特征以及变换融合函数和薄板样条插值函数，将无人机视角下的目标检测点阵同时配准并融合至智能车视角的目标检测点阵中，提升了智能车平台目标车辆检测的范围、准确率和鲁棒性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于空地协同的车辆检测方法的结构图；

图2为本发明涉及的场景示意图；

图3为本发明基于空地协同的车辆检测方法的整体流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，本实施例选用微光摄像机作为图像数据采集传感器，并在VS2013环境中编写算法以实现本发明设计的基于空地协同的车辆检测方法。空地协同检测的场景示意图如图2所示。

本发明设计的基于空地协同的车辆检测方法，其思路结构如图1所示，具体包括以下步骤：

步骤1：获取无人机和智能车视角下的车辆检测结果，具体过程如下：

步骤1.1：采用机载和车载摄像头获取道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方和无人机机身正下方，无人机位于智能车正上方3-12米处，摄像头的摄像广角大于110度，分辨率大于640*480，以每秒钟30帧的速率采集道路车辆图像数据。

步骤1.2：将空地视角下采集到的图像数据输入至Faster R-CNN网络中，分别获取空地视角下的目标检测矩形框。

步骤2：构建空地视角下的目标检测点阵，具体过程如下：

步骤2.1：获取空地视角下的车辆检测矩形框，然后计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；

步骤2.2：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{a_i,i＝1,2,…,n}和b＝{b_j,j＝1,2,…,m}，其中n和m分别是空地目标检测点阵的目标中心点点数。

步骤3：对空地视角下的目标检测点阵进行配准融合一体化，具体过程如下：

步骤3.1：获取空地视角下同一帧点阵之间的全局结构差异矩阵G_ab，该矩阵中第i行第j列元素

的含义为a_i和b_j点之间的全局结构差异，该差异定义为a_i和b_j的全局结构特征之差的绝对值，空地目标检测点阵中某一点的全局结构特征被定义为：首先计算该点与点阵中其余点的欧氏距离的平方和，随后以该点为角点并获取该角点的最近点，依次计算角点及其最近点和点阵中其余各点所构成角度的角度和，将距离平方和以及角度和相加即为某一点的全局结构特征；

步骤3.2：获取空地视角下同一帧点阵之间的局部结构差异矩阵L_ab，该矩阵中第i行第j列元素

表示a_i和b_j之间的局部结构差异。a_i和b_j之间的局部结构差异被定义为：将a_i点及其K个最近点保持其拓扑结构不变，通过a_i和b_j点之间的向量平移至b_j点的坐标中，使a_i和b_j点重合，然后计算a_i和b_j点各自K个最近点之间的欧式距离的平方和，同时以重合点为角点，计算K对最近点之间的角度的和，最后将距离平方和与角度和相加表示a_i和b_j点之间的局部结构差异。其中，K的取值可依据点阵中目标点的数量自由调整，当某一帧点阵的目标点少于4时，则K的值取为n-1或m-1；

步骤3.3：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵C_ab，该矩阵中第i行第j列的元素

表示检测目标a_i和检测目标b_j之间的颜色特征差异。检测目标a_i的颜色特征采用颜色统计直方图

表示，其中S表示检测点a_i所对应的目标矩形检测框内的像素个数，

分别表示检测框内的R、G、B颜色直方图中色阶为l的像素个数。因此检测目标a_i和b_j之间的颜色特征差异定义为：

最后，对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理；

步骤3.4：首先混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地目标检测点阵之间的目标点对应关系矩阵为M，然后构建基于混合特征的成本函数如下公式所示：

其中，

表示空地目标之间的混合特征差异，M_ij是对应关系矩阵中的元素且满足：

和

α表示权重系数，用于调节全局结构差异和颜色特征差异在成本函数中的比重。随后，采用线性分配方法最小化函数的值，求解出空地点阵目标的对应关系矩阵M。

步骤3.5：构建空地目标检测点阵之间的配准融合一体化目标函数如下公式所示：

其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，

是n维行向量且在二维图像中的定义为：

a_c是从点阵a中选出来的一组控制点；正规化参数λ用于调节非刚性形变系数矩阵ω，其目的是通过控制ω的大小从而使得点阵a进行非刚性或刚性变换。随后，对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；

步骤3.6：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值T₁，该阈值设定为点阵b中最近两点间距离的1/10；

步骤3.7：计算空地目标检测点阵中每一对相对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；

步骤3.8：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T₂，该阈值取值可依据融合情况自由设置且需满足T₂≤T₁，最后获取空地目标检测融合点阵c。

步骤4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体过程如下：

步骤4.1：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；

步骤4.2：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算离群目标点和椭圆模型的距离，将距离大于阈值T₃的目标点滤除，阈值T₃设定为椭圆模型短轴长度的1/2；

步骤4.3：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式，某目标点矩形框的尺寸设定为该目标点在空地视角下检测矩形框的最大一方。

如图3所示，本发明基于空地协同的车辆检测方法的整体流程为：

1)采集空地视角下的图像数据，利用Faster R-CNN网络获取目标车辆的检测矩形框，然后利用所有矩形框的中心点，分别构建空地视角下同一帧的目标检测点阵a和b；

2)获取空地视角下同一帧目标检测点阵之间的全局结构特征差异矩阵G_ab、局部结构特征差异矩阵L_ab，和每个目标点所表征的检测目标之间的颜色特征差异矩阵C_ab；

3)混合颜色特征差异和点阵的全局、局部结构特征差异，建立混合特征差异矩阵，进而构建基于混合特征的成本函数E(M)，随后最小化成本函数的值，求解出空地目标检测点阵之间的目标点对应关系矩阵M；

4)构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；

5)迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值T₁；否则返回步骤2)；

6)计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；

7)分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用于构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T₂；否则返回步骤6)；

8)获取融合点阵c，并利用前一帧的检测融合结果，滤除目标检测融合点阵c的离群目标点，获取当前帧的目标检测融合结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于空地协同的车辆检测方法，其特征在于，该方法具体包括以下步骤：

S1：获取无人机和智能车视角下的车辆检测结果；

S2：构建空地视角下的目标检测点阵；

S3：对空地视角下的目标检测点阵进行配准融合一体化；

S4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，获取当前帧的空地目标检测融合结果。

2.根据权利要求1所述的基于空地协同的车辆检测方法，其特征在于，步骤S1中，获取无人机和智能车视角下的车辆检测结果，具体包括：

S11：采用摄像头采集道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方以及无人机机身正下方，无人机位于智能车正上方；

S12：将空地视角下采集到的图像数据输入至Faster R-CNN网络中，分别获取空地视角下的目标检测矩形框。

3.根据权利要求2所述的基于空地协同的车辆检测方法，其特征在于，步骤S2中，构建空地视角下的目标检测点阵，具体包括：

S21：根据获取的空地视角下的车辆检测矩形框，计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；

S22：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{a_i,i＝1,2,…,n}和b＝{b_j,j＝1,2,…,m}，其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数。

4.根据权利要求3所述的基于空地协同的车辆检测方法，其特征在于，步骤S3中，对空地视角下的目标检测点阵进行配准融合一体化，具体包括：

S31：获取空地视角下同一帧点阵之间的全局结构差异矩阵G_ab，该矩阵中第i行第j列元素G_aibj表示a_i和b_j之间的全局结构差异；

S32：获取空地视角下同一帧点阵之间的局部结构差异矩阵L_ab，该矩阵中第i行第j列元素L_aibj表示a_i和b_j之间的局部结构差异；

S33：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵C_ab，该矩阵中第i行第j列元素C_aibj表示检测目标a_i和b_j之间的颜色特征差异；最后，对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理；

S34：混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为M，构建基于混合特征的成本函数E(M)；随后最小化成本函数的值，求解出空地点阵目标的对应关系矩阵；

S35：构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；

S36：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值T₁；

S37：计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；

S38：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T₂，最后获取空地目标检测融合点阵c。

5.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤S34中，构建的基于混合特征的成本函数为：

其中，

表示空地目标之间的混合特征差异，M_ij是对应关系矩阵中的元素且满足：

和

α表示权重系数，用于调节全局结构差异和颜色特征差异在成本函数中的比重。

6.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤S35中，构建空地目标检测点阵之间的配准融合一体化目标函数为：

其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，

是n维行向量且在二维图像中的定义为：

a_c是从点阵a中选出来的一组控制点；正规化参数λ用于调节非刚性形变系数矩阵ω，其目的是通过控制ω的大小从而对点阵a进行非刚性或刚性变换。

7.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤S4中，利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体包括：

S41：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；

S42：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算所有离群目标点和椭圆模型的距离，将距离大于阈值T₃的离群目标点滤除；

S43：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式。

Images