CN110949395B - 一种基于多传感器融合的弯道acc目标车辆识别方法 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的弯道ACC目标车辆识别方法，属于辅助驾驶领域。将车载摄像头与毫米波雷达按照一定的要求安装在车辆上，使用CAN总线获取其输出信息，并将雷达输出的空目标、无效目标及对向车辆目标予以剔除得到有效跟踪目标。将车载摄像头与毫米波雷达进行空间同步使两传感器数据处于同一坐标系中，再对其进行时间同步以解决两传感器采样时间点不同步的问题。根据车载摄像头的数据建立弯道行驶区域，将雷达输出的目标数据与之匹配，确定处于当前车道的车辆，最后根据距离最近原则确定主车的最终跟踪目标。本发明利用车载摄像头与毫米波雷达的融合技术，通过建立弯道行驶区域与雷达数据匹配，实现弯道中目标跟踪车辆的有效识别。

Description

一种基于多传感器融合的弯道ACC目标车辆识别方法

技术领域

本发明涉及弯道行驶工况下的ACC车辆有效目标识别方法，具体为一种基于多传感器融合的弯道ACC目标车辆识别方法。

背景技术

弯道中的目标识别与跟踪是环境感知领域一个重要的课题，对ADAS(AdvancedDriving Assistant System)系统的开发具有重要影响。以ACC(Adaptive CruiseControl)系统为例，现有方法主要根据毫米波雷达信息，自适应调节巡航车车速，并保持与本车道前方车辆的安全距离。然而，在弯道路段，巡航车前方通常会存在多个目标车辆或目标车辆超出预设的车道范围，此时，系统经常会出现目标车辆ID跳变或目标丢失的情况，从而导致巡航车因非正常加速或减速而造成事故。除此之外，考虑到雷达自身特性，弯道两侧的如护栏、建筑物和标志牌等金属物体信息也会被雷达传递回来，这些目标可能会对车辆控制产生虚警，进而造成交通事故，影响高速公路正常运行。

现有方法大多采用机器视觉识别技术，或毫米波雷达数据的标志位(移动、新目标等指示位)对车辆前方目标进行识别，对于直道处的物体，有较高的识别率，但在弯道处，准确率会大大降低。若能结合车载摄像头输出的车道线来确定当前弯道行驶区域，对区域内物体进行分析，将雷达输出目标与弯道行驶区域进行匹配，则能有效提高目标识别的准确率，确定在弯道中巡航车的主跟踪目标。

发明内容

为解决现有技术中存在的问题，本发明的目的在于提供一种基于多传感器融合的弯道ACC目标车辆识别方法，利用车载摄像头与毫米波雷达的融合技术，通过建立弯道行驶区域与雷达数据匹配，实现弯道中目标跟踪车辆的有效识别。

为了达到上述目的，本发明采用如下技术方案：

一种基于多传感器融合的弯道ACC目标车辆识别方法，具体包括如下步骤：

步骤一：按照一定的要求安装车载摄像头与毫米波雷达。

步骤二：通过CAN总线获取车载摄像头与毫米波雷达数据。车载摄像头获取的数据包括：车道中心线位置、标识点A_i、标识点处的弯道离去角β_i、左车轮距离左车道线的位置l_l、右车轮距离右车道线的位置l_r；毫米波雷达获取的数据包括：前方物体相对本车的距离R_j、相对速度v_j以及与前方物体相对车辆中轴线的夹角α_j。

步骤三：剔除毫米波雷达的空目标、无效目标与对向车道行驶的目标，从而得到同方向行驶的有效目标。

步骤四：车载摄像头与毫米波雷达安装在车辆上的位置不同，因此将车载摄像头安装位置以及毫米波雷达安装位置通过矩阵旋转、向量平移等处理，最终实现雷达与视觉信息的空间融合。

步骤五：毫米波雷达与车载摄像头有各自单独的运行频率，两传感器采集到的往往是不同时刻数据，造成了数据在时间上的偏差，本发明选取多线程同步的方法，以两传感器较短的采样周期作为最终的融合周期，即50ms。雷达采集模块以雷达数据采集周期正常运行，图像处理模块将其各采样点获取的数据放置在缓冲区中供融合微处理器调取，融合微处理器在每个融合线程时间点对雷达数据及缓冲区中上一个车载摄像头采样点的数据进行获取，以此达到同一时刻采集数据的目的。

步骤六：以标识点A_i为旋转中心的平行四边形φ_i，其底边长为

锐角γ_i＝90°-β_i。由以各标识点为中心建立的平行四边形φ_i作为行驶区域，邻接各行驶区域可得弯道行驶区域φ。

步骤七：根据步骤六建立的弯道行驶区域φ，若X_j∈φ∩Y_j∈φ，则判断该物体位于本车前方弯道车道线范围内，即该物体处于当前车道，进一步的，筛选出距离主车R_j最小的车辆，即为ACC车辆的主跟踪目标。

与现有技术相比，本发明具有如下有益效果：

本发明首先按照一定的要求安装车载摄像头与毫米波雷达，并通过CAN总线获取其数据。而后剔除毫米波雷达的空目标、无效目标与对向车道行驶的目标，得到同方向行驶的有效目标。再对车载摄像头与毫米波雷达进行空间、时间融合，保证两传感器的同步输出，最后建立了当前弯道行驶区域，保证了毫米波雷达在弯道中对主跟踪目标数据的连续输出，解决了在弯道路段系统经常会出现目标车辆ID跳变或目标丢失的问题。

附图说明

图1为本发明采用的硬件电路连接示意图。

图2为本发明的传感器的探测范围示意图。

图3为本发明的标识点、弯道离去角检测示意图。

图4为本发明的前方物体检测示意图。

图5为本发明的各坐标系示意图。

图6为本发明的传感器时间同步示意图。

图7为本发明建立的弯道行驶区域示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的弯道ACC目标车辆识别方法，包括以下步骤：

步骤一：车载摄像头与毫米波雷达安装

车载摄像头(本发明实施例选用Minieye)安装在车内后视镜正下方1-3厘米处，且车载摄像头的光轴需与车辆的中轴线重合，对车载摄像头俯仰角进行调节，当车辆处于直道场景时，图像下部分2/3区域为道路；毫米波雷达(可选用Delphi生产的频率为77GHz的ESR毫米波雷达)安装在车辆前端中心处，离地高度在35cm-65cm之间，安装平面尽量与地面垂直，且与车体纵向平面垂直，即俯仰角和横摆角均接近0°。如图1所示，车载摄像头通过图像处理模块与融合微处理器连接，毫米波雷达通过信号处理模块与融合微处理器连接，数据以CAN总线传输。

车载摄像头与毫米波雷达的探测范围如图2所示，图中：1为车载摄像头；2为77GHz毫米波雷达。车载摄像头探测范围为S1，检测距离为d1约为50m，毫米波雷达探测范围为S2，检测距离d2约为200m，S3为车载摄像头与毫米波雷达的探测重叠范围，也就是可进行目标数据融合的范围。

步骤二：车载摄像头与毫米波雷达数据获取

车载摄像头可实时追踪车道线并得到车道中心线位置，沿中轴线每隔2米在车道中心线上采集标识点A_i，A_i为车道中心线上标识点，i为正整数；通过车载摄像头识别前方各道路标识点的弯道离去角β_i，即为各标识点与车载摄像头的连线与中轴线之间的夹角；此外，车载摄像头可实时获取左右车轮距离左右车道线的位置l_l、l_r。如图3所示，A_i、A_i+1为车道中心线上标识点，β_i为车载摄像头获取的标识点处的弯道离去角。

如图4所示，通过毫米波雷达检测本车前方物体的位置与速度信息，将每个前方物体作为单独采样点，采样点的序号为j，采样点的位置与速度信息包括前方物体相对本车的距离R_j、相对速度v_j以及与前方物体相对车辆中轴线的夹角α_j，其中，设定雷达检测目标远离毫米波雷达的速度v_j为正，接近毫米波雷达的速度v_j为负。ESR毫米波雷达最大能检测到64个目标，即j∈[1,64]，且j为正整数。

步骤三：剔除毫米波雷达的空目标、无效目标与对向车道行驶的目标

毫米波雷达的采样点信息发送周期为50ms，将第n+1次采样点的信息与第n次采样点的信息对比，剔除空目标和无效目标的采样点，其中，n为采样点信息发送次数。空目标的条件为:α_j＝0，R_j＝0；无效目标的条件为：(1)采样点的目标信号连续出现的次数小于5；(2)α_j(n+1)-α_j(n)≥3°；(3)R_j(n+1)-R_j(n)≥3m；(4)v_j(n+1)-v_j(n)≥3m/s。由于ESR毫米波雷达最多能检测64个目标，即j为从1到64之间的整数，采样点的信息包括了大量的空目标与无效目标，将满足上述任一条件的目标剔除。

对向车道行驶车辆采样点的目标条件为：V+v_j＜0m/s。其中，V为本车当前车速。由于本发明的目标是同车道的车辆，因此需要根据V+v_j＜0m/s来剔除对向车道驶来的车辆。

步骤四：空间同步

由于车载摄像头与毫米波雷达安装在车辆上的位置不同，因此，为了使车载摄像头与毫米波雷达采集到的信息在空间位置上一致，需对两传感器进行空间同步，即将车载摄像头安装位置以及毫米波雷达安装位置通过矩阵旋转、向量平移等处理，最终实现雷达与视觉信息的空间融合。图5表示了雷达坐标系X_rO_rY_r，摄像机坐标系O_c-X_cY_cZ_c和世界坐标系O_w-X_wY_wZ_w之间关系。

O_w-X_wY_w表示世界坐标系的二维平面，O_r-X_rY_r表示雷达坐标系的二维平面，两坐标系的位置关系有如下四点同步要求：

(1)世界坐标系的X_w轴与雷达坐标系的X_r轴重合。

(2)两坐标系的X_wO_wY_w面与X_rO_rY_r面平行，两坐标原点之间距离为X₀。

(3)雷达识别出的物体P_j与雷达直接距离设为R_j，目标与雷达安装位置之间角度设为α_j，其中P_j-O_r＝R_j，∠P_jO_rX_r＝α_j。

(4)将目标P_j从雷达的极坐标系变换为三维世界坐标系位置的公式为：

经过车载摄像头坐标系与世界坐标系的转换与车载摄像头坐标系和图像像素坐标系的转换，最终能够得到世界坐标系与像素坐标系间的转换关系为：

其中，(X_w,Y_w,Z_w)为世界坐标系坐标，(u,v)为图像像素坐标系坐标，(X_c,Y_c,Z_c)为相机坐标系坐标，R表示旋转矩阵，t表示平移矩阵，f表示焦距，d_x和d_y表示图像物理坐标系的x方向和y方向的一个像素所占的长度单位，u₀和v₀表示图像的中心像素坐标(O₁)和图像原点像素坐标(O₀)之间相差的横向和纵向像素数，α_x＝f/d_x，α_y＝f/d_y，M₁和M₂分别为摄像机的内、外部参数；

本发明实施例采用的Minieye这款摄像头的旋转矩阵与平移矩阵如下：

步骤五：时间同步

毫米波雷达与车载摄像头有各自单独的运行频率，ESR毫米波雷达的采样周期为50ms，而车载摄像头对车道线的采样周期为100ms。两传感器采样频率不同，所以两传感器采集到的往往是不同时刻数据，造成了数据在时间上的偏差。因此，本发明选取多线程同步的方法解决上述毫米波雷达与车载摄像头采集信息时间不同步的问题，该方法过程如图6所示，以两传感器较短的采样周期作为最终的融合周期，即50ms。因车载摄像头的采样周期较长，因此图像处理模块将其各采样点获取的数据放置在缓冲区中供融合微处理器调取；雷达采集模块以雷达数据采集周期正常运行，并将采样时间记录在融合线程上。确定了融合线程的采样时间点，融合微处理器再从缓冲区中调取每个融合线程时间点上一个车载摄像头采样点获取的数据，以此达到同一时刻采集数据的目的。

步骤六：弯道行驶区域建立

由步骤二可得标识点A_i到车头纵向距离为2i米，进一步可得车道中线与中轴线距离为：Dis_{Lane_xi}＝(2i)×tanβ_i。因此，车道中心线上的标识点相对自车的坐标为(Dis_{Lane_xi}，2i)。高速公路的曲率往往较小，因此弯道行驶区域φ可近似由25个以标识点为旋转中心的平行四边形φ_i邻接而成，即φ＝∑φ_i。车载摄像头获取自车左前轮至左侧车道线的距离为l_l，自车右前轮至右侧车道线的距离为l_r，根据预先存储的车宽为l_v，计算得车道宽l_Lane为：l_Lane＝l_l+l_r+l_v。高速公路的同车道宽度基本保持不变，因而标识点A_i处的车道宽度也可认为是l_Lane。如图7所示，车载摄像头实际探测距离并不远，因而角θ_i可近似等于β_i，则平行四边形的底边长计算得

平行四边形的锐角γ_i＝90°-β_i。由此即确定了平行四边形的形状以及大小，即确定了以标识点A_i为中心的行驶区域φ_i。同样的，确定其他各标识点为中心建立行驶区域φ_i，邻接各行驶区域φ_i可得弯道行驶区域φ。

步骤七：雷达数据匹配

根据步骤六建立了弯道行驶区域φ，若X_j∈φ∩Y_j∈φ，则判断该物体位于本车前方弯道车道线范围内，即该物体处于当前车道，若

则判断该物体处于当前车道之外。根据以上条件，可筛选得到融合区域内当前车道内的前方车辆。

对符合以上条件的车辆进行进一步筛选，将距离主车的R_j最小的车辆判定为ACC车辆的主跟踪目标。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，包括如下步骤：

步骤1：按照特定的要求安装车载摄像头与毫米波雷达；

步骤2：通过CAN总线获取车载摄像头与毫米波雷达数据；车载摄像头获取的数据包括：车道中心线位置、标识点A_i、标识点处的弯道离去角β_i、左车轮距离左车道线的位置l_l、右车轮距离右车道线的位置l_r；毫米波雷达获取的数据包括：前方物体相对本车的距离R_j、相对速度v_j以及与前方物体相对车辆中轴线的夹角α_j；

步骤3：剔除毫米波雷达的空目标、无效目标与对向车道行驶的目标，得到同方向行驶的有效目标；

步骤4：针对车载摄像头与毫米波雷达安装在车辆上的位置不同，将车载摄像头安装位置以及毫米波雷达安装位置通过矩阵旋转、向量平移处理，实现雷达与视觉信息的空间融合；

步骤5：将车载摄像头和毫米波雷达采样时间同步化处理；

步骤6：以标识点A_i为旋转中心的平行四边形φ_i，其底边长为

锐角γ_i＝90°-β_i，由以各标识点为中心建立的平行四边形φ_i作为行驶区域，邻接各行驶区域可得总的弯道行驶区域φ；

步骤7：根据步骤6建立的弯道行驶区域φ，结合雷达实时检测到物体的信息，判断得出ACC车辆的主跟踪目标；

步骤7的实现方法包括：若雷达检测的物体P_j的坐标X_j和Y_j满足X_j∈φ∩Y_j∈φ，则判断该物体位于本车前方弯道车道线范围内，即该物体处于当前车道，进一步筛选出距离主车R_j最小的车辆，即为ACC车辆的主跟踪目标。

2.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤1中，所述车载摄像头与毫米波雷达的具体安装方式为：

车载摄像头安装在车内后视镜正下方1-3厘米处，且车载摄像头的光轴需与车辆的中轴线重合，对车载摄像头俯仰角进行调节，使得当车辆处于直道场景时，图像下部分2/3区域为道路；毫米波雷达安装在车辆前端中心处，离地高度在35cm-65cm之间，安装平面尽量与地面垂直，且与车体纵向平面垂直，即俯仰角和横摆角均接近0°。

3.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤2中，所述标识点A_i是沿中轴线每隔2米在车道中心线上采集的点；所述弯道离去角β_i为各标识点与车载摄像头的连线与中轴线之间的夹角。

4.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤3中，所述空目标、无效目标与对向车道行驶的目标的剔除方法为：

将毫米波雷达第n+1次采样点的信息与第n次采样点的信息对比，剔除空目标和无效目标的采样点，其中，

空目标的条件为:α_j＝0，R_j＝0；

无效目标的条件为：(1)采样点的目标信号连续出现的次数小于5；(2)α_j(n＝1)-α_j(n)≥3°；(3)R_j(n+1)-R_j(n)≥3m；(4)v_j(n+1)-v_j(n)≥3m/s；

对向车道行驶车辆采样点的目标条件为：V+v_j＜0m/s；其中，V为本车当前车速；

将满足上述任一条件的目标剔除。

5.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤4的实现方法包括如下：

设雷达坐标系为X_rO_rY_r，摄像机坐标系为O_c-X_cY_cZ_c和世界坐标系为O_w-X_wY_wZ_w，

O_w-X_wY_w表示世界坐标系的二维平面，O_r-X_rY_r表示雷达坐标系的二维平面，两坐标系的位置关系有如下四点同步要求：

(1)世界坐标系的X_w轴与雷达坐标系的X_r轴重合；

(2)两坐标系的X_wO_wY_w面与X_rO_rY_r面平行，两坐标原点之间距离为X₀；

(3)雷达识别出的物体P_j与雷达直接距离设为R_j，目标与雷达安装位置之间角度设为α_j，其中P_j-O_r＝R_j，∠P_jO_rX_r＝α_j；

(4)将目标P_j从雷达的极坐标系变换为三维世界坐标系位置的公式为：

经过车载摄像头坐标系与世界坐标系的转换与车载摄像头坐标系和图像像素坐标系的转换，最终能够得到世界坐标系与像素坐标系间的转换关系为：

其中，(X_w,Y_w,Z_w)为世界坐标系坐标，(u,v)为图像像素坐标系坐标，(X_c,Y_c,Z_c)为相机坐标系坐标，R表示旋转矩阵，t表示平移矩阵，f表示焦距，d_x和d_y表示图像物理坐标系的x方向和y方向的一个像素所占的长度单位，u₀和v₀表示图像的中心像素坐标(O₁)和图像原点像素坐标(O₀)之间相差的横向和纵向像素数，α_x＝f/d_x，α_y＝f/d_y，M₁和M₂分别为摄像机的内、外部参数；

6.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤5的具体实现方法包括如下：

采用多线程同步的方法，以车载摄像头与毫米波雷达较短的采样周期作为最终的融合周期，雷达采集模块以雷达数据采集周期正常运行，图像处理模块将其各采样点获取的数据放置在缓冲区中供融合微处理器调取，融合微处理器在每个融合线程时间点对雷达数据及缓冲区中上一个车载摄像头采样点的数据进行获取，实现同步化采集数据。

7.根据权利要求1所述的一种基于多传感器融合的弯道ACC目标车辆识别方法，其特征在于，步骤6中，所述平行四边形φ_i的确定方法包括如下：

标识点A_i到车头纵向距离为2i米(i＝1,2,3…)，可得车道中线与中轴线距离为：Dis_{Lane_xi}＝(2i)×tanβ_i，因此，车道中心线上的标识点相对自车的坐标为(Dis_{Lane_xi}，2i)；车载摄像头获取自车左前轮至左侧车道线的距离为l_l，自车右前轮至右侧车道线的距离为l_r，根据预先存储的车宽为l_v，计算得车道宽l_Lane为：l_Lane＝l_l+l_r+l_v；车载摄像头实际探测距离并不远，因而将角θ_i近似等于β_i，则平行四边形的底边长计算得

平行四边形的锐角γ_i＝90°-β_i，由此确定平行四边形的形状以及大小。

Images