CN111610484A - 一种基于occ的自动驾驶车辆跟踪定位方法 - Google Patents

Abstract

本发明涉及一种基于OCC的自动驾驶车辆跟踪定位方法，该方法包括以下步骤：将光源LED在世界坐标系中的位置坐标经曼彻斯特编码和OOK调制后通过驱动电路驱动光源LED发出高速明暗变化的可见光信号；自动驾驶车辆通过车载CMOS图像传感器获取包含至少一个光源LED信息的图像，利用霍夫圆变换检测图像中的LED光斑；对检测出的LED光斑进行跟踪解码，得到至少一个光源LED在世界坐标系中的位置坐标；根据光源LED的坐标信息计算自动驾驶车辆位置信息。本发明可以降低LED误检概率，节省数据处理时间，有效提高系统定位精度。

Description

一种基于OCC的自动驾驶车辆跟踪定位方法

技术领域

本发明属于可见光通信和智能交通领域，涉及一种基于OCC的自动驾驶车辆跟踪定位方法。

背景技术

可见光相机通信(Optical Camera Communication，OCC)属于可见光通信(Visible Light Communication，VLC)技术的一种，是一种通过图像传感器接收光信号的无线光通信技术，具有不受射频干扰、无需频谱认证、无电磁辐射、时延低、绿色环保等优点，可以有效弥补无线射频通信的不足，在未来的智能交通、室内定位及局域网通信领域有着巨大的发展潜力。所以OCC吸引了很多研究人员的关注，成为VLC领域的研究热点之一。

在2018年1月国家发改委将智能汽车发展提升至国家战略层面后，车辆智能化被普遍认为是智能交通领域的重要环节。在自动驾驶车辆包含的各项技术中，自主定位技术主要实现对车辆行驶过程中的位置估计，该技术是车辆感知环节必不可少的部分，是实现自动导航和驾驶辅助的重要条件。目前，被广泛研究的车辆定位方法主要有三种：第一种是使用较广泛的卫星定位系统，它具有覆盖广和全天候的优点，但在建筑物密集或隧道等场景，由于障碍物的遮挡以及多径效应，功率衰减及多径衰落非常严重，且定位精度较低，一般约5～10米；第二种是使用雷达进行定位，虽然这种方法具有实时性好、定位精度高的优点，但需要安装额外昂贵的收发装置，并且复杂的传感系统造成的大量数据处理需求、存储需求以及较高的车辆制造维护成本很大程度地阻碍了自动驾驶车辆的发展；第三种是使用VLC技术实现车辆自主定位，根据接收装置的不同还可分为基于光电二极管(Photo Diode，PD)的定位系统和基于图像传感器的定位系统。PD通过接收到的发光二极管(Light-Emitting Diode，LED)光强信息进行定位，成本较低，但在室外情况下易受太阳光等背景光的干扰，导致定位精度下降。基于图像传感器的定位系统直接用车载相机捕获LED光源，具有较好的抗干扰能力。近年来随着固态照明技术的不断发展，LED由于其高可靠、高能效、长寿命的特性，已经被广泛应用于道路照明和车辆照明。车载相机也成为越来越多汽车的标配，用于行车记录和驾驶辅助。LED和车载相机的广泛应用为基于OCC的自动驾驶车辆实现自主定位提供了天然的硬件条件。

目前，学者们针对基于OCC的自动驾驶车辆定位系统的研究较少，现有研究成果中多采用陀螺仪、角度传感器等作为辅助传感器与车载相机结合进行信息接收，并且要求车载相机视野内至少三个LED光源以恢复LED的尺度信息。虽然这种系统的定位精度较高，但是它复杂度高，硬件要求高，且陀螺仪、角度传感器等辅助传感器的大量数据处理和存储需求仍需进一步研究。因此，亟需研究一种只依靠车载相机实现自动驾驶车辆自主定位的高精度定位方法。

发明内容

本发明要解决的技术问题是提供一种基于OCC的自动驾驶车辆跟踪定位方法。该方法通过车载CMOS(Complementary Metal Oxide Semiconductor)图像传感器对检测到的多个光源LED(路灯、交通灯、车辆尾灯等)同时进行跟踪，根据阈值图像帧数内成功解码的光源LED信息进行定位计算，能够有效地减少LED误检概率，降低外界背景光的干扰；当视野内只有一个成功解码的光源LED信息时就可以实现自动驾驶车辆的自主定位，不限定光源LED类别，当视野内存在两个及两个以上成功解码的光源LED时，引入像素坐标加权因子计算车辆位置坐标，以提高定位精度。

为解决上述技术问题，本发明的基于OCC的自动驾驶车辆跟踪定位方法包括以下步骤：

步骤1)将光源LED在世界坐标系中的位置坐标经曼彻斯特编码和OOK调制后通过驱动电路驱动光源LED发出高速明暗变化的可见光信号；

步骤2)自动驾驶车辆通过车载CMOS图像传感器获取包含至少一个光源LED信息的图像，利用霍夫圆变换检测图像中的LED光斑；

步骤3)对检测出的LED光斑进行跟踪解码，得到至少一个光源LED在世界坐标系中的位置坐标；

步骤4)根据光源LED在世界坐标系中的位置坐标计算自动驾驶车辆位置信息，方法如下：

(1)建立三个主要坐标系：世界坐标系、图像坐标系和相机坐标系；世界坐标系(X_w,Y_w,Z_w)是3D空间的基准坐标系；图像坐标系(x,y)的横纵坐标轴分别平行于成像平面的长和宽，坐标原点为图像中心；相机坐标系(X_c,Y_c,Z_c)的Z_c轴为相机光轴，X_c,Y_c轴分别平行于图像坐标系x,y轴，坐标原点为透镜光心，透镜焦距为f；

(2)设车载CMOS图像传感器中心在世界坐标系下的坐标(自动驾驶车辆位置信息)为N_s＝(X_s,Y_s,Z_s)^T，其中X_s,Y_s为待求的车载CMOS图像传感器的位置坐标，Z_s为已知的车载CMOS图像传感器的高度；设第k个光源LED在世界坐标系下的位置坐标为P_wk＝(X_wk,Y_wk,Z_wk)^T，该光源LED的成像点在图像坐标系下的坐标为p_k＝(x_k,y_k)^T，该光源LED在相机坐标系下的坐标为P_ck＝(X_ck,Y_ck,Z_ck)^T，根据该光源求出的自动驾驶车辆位置信息为N_sk＝(X_sk,Y_sk,Z_sk)^T，其中Z_sk＝Z_s；P_wk,P_ck和N_sk三者之间的坐标转换关系为：

P_wk＝RP_ck+N_sk (4-1)

即：

其中，R为相机旋转矩阵：

其中，ω,φ,θ分别表示相机坐标系相对于世界坐标系X轴，Y轴，Z轴方向的偏角；

根据公式(4-6)求出由第k个光源LED获得的CMOS图像传感器中心在世界坐标系下的坐标N_sk＝(X_sk,Y_sk,Z_s)^T；

(3)判断图像内有效LED光斑数量是否为1，若为1，即k＝1，直接根据公式(4-6)计算得到CMOS图像传感器中心在世界坐标系下的坐标N_s＝(X_s,Y_s,Z_s)^T＝(X_s1,Y_s1,Z_s)^T；否则执行步骤(4)；

(4)设图像内有效LED光斑数量为n，根据公式(4-8)计算车载CMOS图像传感器中心在世界坐标系下的坐标N_s＝(X_s,Y_s,Z_s)^T：

其中，

为像素坐标加权因子。

所述的步骤3)中，对检测出的LED光斑进行跟踪解码的方法如下：

(1)对接收到的图像进行阈值判决得到二值化图像，对处理后的图像每个LED光斑区域使用独立的线程实现曼彻斯特解码，解码后输出各光源LED在世界坐标系中的位置坐标信息的比特序列；

(2)利用光源LED的高速明暗变化特性，通过帧差法对连续的图像帧序列进行差值的计算，将LED光斑从背景图像中区分出来，实现对图像内多个LED光斑的跟踪；

(3)判断3帧(阈值图像帧数)内是否已经从检测到的LED光斑中成功解码出各光源LED的坐标信息，若未从检测到的LED光斑中成功解码出光源LED的坐标信息则判定为跟踪失效，将该LED光斑移除；若当前帧内所有检测到的LED光斑均跟踪失效，移除该帧图像，返回步骤2)；若至少一个LED光斑信息被成功解码则判定跟踪结束，缓存已解码的光源LED位置坐标信息，进入步骤4)。

与现有技术相比，本发明的有益效果体现在：

(1)在进行信息解码时采用跟踪解码策略，对阈值图像帧数内不能成功解码的LED以及所有检测到的LED均跟踪失效的帧进行移除操作，能够降低误检概率，节省数据处理时间与存储需求；

(2)在进行定位计算时，当只有一个有效光源LED信息时就可以实现自动驾驶车辆的自主定位，不限定光源LED类别，应用场景广泛；当有效光源LED大于1时，根据每一个光源LED坐标计算出一个车辆位置坐标，再利用像素坐标加权因子计算出最终的车辆位置坐标，有效提高系统的定位精度；

(3)本发明提出的方法可操作性高，便于实现。相比其他自动驾驶车辆定位技术，无需增添陀螺仪、角度传感器等附加硬件，只依靠车载相机即可实现自动驾驶车辆自主定位，成本较低，可行性更高。

本发明涉及一种基于OCC的自动驾驶车辆跟踪定位方法，该方法如下：光源LED(路灯、交通灯、车辆尾灯等)通过LED高速明暗变化发送位置坐标信息；车载CMOS图像传感器通过跟踪解码策略判断图像内检测到的LED光斑是否解码成功，对阈值图像帧数内未成功解码的LED光斑进行移除操作；将成功解码的LED光斑视为有效的LED光斑，并缓存其位置坐标信息；图像内只有一个有效的LED光斑时，根据光源LED在世界坐标系中的位置坐标进行定位计算；图像内有效的LED光斑数量大于1时，根据每一个光源LED坐标计算出一个对应的车辆位置坐标，再利用像素坐标加权因子计算出最终的自动驾驶车辆位置信息。本发明可以降低LED误检概率，节省数据处理时间，有效提高系统定位精度。

该方法对检测到的多个LED光斑同时进行跟踪，根据阈值图像帧数内成功解码的光源LED信息进行定位计算，能够有效地减少LED误检概率，降低外界背景光的干扰；当视野内只有一个成功解码的LED光斑时就可以实现自动驾驶车辆的自主定位，不限定光源LED类别，当视野内存在两个及两个以上成功解码的光源LED时，引入像素坐标加权因子计算车辆位置坐标，以提高定位精度。

附图说明

图1(a)为基于OCC的自动驾驶车辆跟踪定位场景示意图，图1(b)为自动驾驶车辆示意图。

图2为本发明的基于OCC的自动驾驶车辆跟踪定位方法的总流程图。

图3为数据帧结构。

图4为透镜成像原理示意图。

图中：1.光源LED；11.智能交通灯和路灯；12.尾灯LED；2.车载CMOS图像传感器。

具体实施方式

为使本发明的发明技术方案、优点和目的更加清楚明确，下面将结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式及详细的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，基于OCC的自动驾驶车辆跟踪定位场景如下：车辆A～车辆D行驶在一个有智能交通灯和智能路灯a～c的道路上；以车辆D为例进行分析，车辆D可以通过车载CMOS图像传感器捕获到智能交通灯、智能路灯a、智能路灯b以及车辆A～C的尾灯LED发出的可见光信号，车辆D的车载CMOS图像传感器所捕获到的可见光信号包含光源LED的自身位置坐标，根据光源LED的位置坐标信息可实现车辆D的自主定位。

如图2所示，本发明的基于OCC的自动驾驶车辆跟踪定位方法，包括如下步骤：

步骤1)将智能交通灯、智能路灯a～c、车辆A～D的尾灯LED在世界坐标系中的位置坐标进行曼彻斯特编码并封装，将封装后的数据包通过串口传输到嵌入式单片机，嵌入式单片机通过二进制开关键控(On-Off Keying,OOK)调制方式将数据包调制为模拟电平信号，通过LED驱动电路为光源LED提供电流，利用光源LED高速明暗变化发出可见光信号，如图3所示为位置坐标的数据帧结构；

步骤2)对车辆D通过车载CMOS图像传感器获取的图像进行常规校正，消除畸变，对图像进行预处理,去除噪声以及其他干扰信息，利用霍夫圆变换检测图像中的LED光斑，包括智能交通灯、智能路灯a、智能路灯b以及车辆A～C尾灯LED形成的LED光斑；

步骤3)对检测出的LED光斑进行跟踪解码，方法如下：

(1)对接收到的图像进行阈值判决得到二值化图像，对处理后的图像每个LED光斑区域使用独立的线程实现曼彻斯特解码，解码后输出各光源LED在世界坐标系中的位置坐标信息的比特序列；

(2)利用光源LED的高速明暗变化特性，通过帧差法对连续的图像帧序列进行差值计算，将LED光斑从背景图像中区分出来，实现对图像内多个LED光斑的跟踪；

(3)判断3帧内是否已经从检测到的LED光斑中成功解码出各光源LED的坐标信息，若未从检测到的LED光斑中成功解码出光源LED的坐标信息则判定为跟踪失效，将该LED光斑移除；若当前帧内所有检测到的LED光斑均跟踪失效，移除该帧图像，返回步骤2)；若至少一个LED光斑信息被成功解码则判定跟踪结束，进入步骤4)，并缓存已解码的光源LED位置坐标信息；由于图1场景下车辆D与智能交通灯和车辆B距离较远，未能在3帧内成功解码出光源LED的位置坐标信息，因此将智能交通灯和车辆B尾灯LED形成的LED光斑进行移除操作，不再跟踪解码；此时，车辆D的车载CMOS图像传感器已经从获取的图像中成功解码出智能路灯a、智能路灯b、车辆A以及车辆C的位置坐标信息，即跟踪的有效LED光斑数量为4，大于1，进入步骤4)；

步骤4)根据光源LED在世界坐标系中的位置坐标计算自动驾驶车辆位置信息。

(1)建立三个主要坐标系：世界坐标系、图像坐标系和相机坐标系；世界坐标系(X_w,Y_w,Z_w)是3D空间的基准坐标系，依据计算的方便性或者描述的简便性来确定；图像坐标系(x,y)的横纵坐标轴分别平行于成像平面的长和宽，坐标原点为图像中心；相机坐标系(X_c,Y_c,Z_c)的Z_c轴为相机光轴，X_c,Y_c轴与图像坐标系x,y轴分别平行，坐标原点为透镜光心，透镜焦距为f；

(2)设智能路灯a、智能路灯b、车辆A以及车辆C的尾灯LED在世界坐标系下的坐标依次为P_w1＝(X_w1,Y_w1,Z_w1)^T，P_w2＝(X_w2,Y_w2,Z_w2)^T，P_w3＝(X_w3,Y_w3,Z_w3)^T，P_w4＝(X_w4,Y_w4,Z_w4)^T，智能路灯a、智能路灯b、车辆A以及车辆C的尾灯LED的成像点在图像坐标系下的坐标依次为p₁＝(x₁,y₁)^T，p₂＝(x₂,y₂)^T，p₃＝(x₃,y₃)^T，p₄＝(x₄,y₄)^T，智能路灯a、智能路灯b、车辆A以及车辆C的尾灯LED在相机坐标系下的坐标依次为P_c1＝(X_c1,Y_c1,Z_c1)^T，P_c2＝(X_c2,Y_c2,Z_c2)^T，P_c3＝(X_c3,Y_c3,Z_c3)^T，P_c4＝(X_c4,Y_c4,Z_c4)^T，车辆D的车载CMOS图像传感器中心在世界坐标系下的坐标为N_s＝(X_s,Y_s,Z_s)^T,其中X_s,Y_s为待求的车载CMOS图像传感器的位置坐标，Z_s为已知的车载CMOS图像传感器的高度，根据智能路灯a、智能路灯b、车辆A以及车辆C的尾灯LED坐标信息计算得到的车载CMOS图像传感器中心在世界坐标系下的坐标依次为：N_s1＝(X_s1,Y_s1,Z_s)^T，N_s2＝(X_s2,Y_s2,Z_s)^T，N_s3＝(X_s3,Y_s3,Z_s)^T，N_s4＝(X_s4,Y_s4,Z_s)^T。以智能路灯a为例，如图4所示为透镜成像原理，从图4中可以看出，P_w1,P_c1和N_s1三者之间的坐标转换关系为：

P_w1＝RP_c1+N_s1 (4-1)

即：

其中，R为相机旋转矩阵：

其中，ω,φ,θ分别表示相机坐标系X_c、Y_c、Z_c轴相对于世界坐标系的X_w、Y_w、Zw轴方向的偏角。

根据小孔成像原理可知，光源LED与其成像点之间满足的透镜成像关系：

联立式(4-2)和(4-4)可以得出：

化简式(4-5)得：

因此可将光源LED在世界坐标系下的位置坐标信息带入公式(4-6)求出车载CMOS图像传感器中心在世界坐标系下的坐标N_s1＝(X_s1,Y_s1,Z_s)^T。以智能路灯a为例：

依此类推，可分别求出根据智能路灯b、车辆A以及车辆C的尾灯LED坐标信息计算得到的车载CMOS图像传感器中心在世界坐标系下的坐标为：N_s2＝(X_s2,Y_s2,Z_s)^T，N_s3＝(X_s3,Y_s3,Z_s)^T，N_s4＝(X_s4,Y_s4,Z_s)^T；

(3)图像内有效LED光斑数量为4，大于1，计算智能路灯a、智能路灯b、车辆A以及车辆C的尾灯LED在图像中的成像点与图像中心的距离l_k，k＝1,2,3,4，则车载CMOS图像传感器中心在世界坐标系下最终求得的坐标为：

其中，像素坐标加权因子为：

Claims (2)

1.一种基于OCC的自动驾驶车辆跟踪定位方法，其特征在于包括以下步骤：

步骤1)将光源LED在世界坐标系中的位置坐标经曼彻斯特编码和OOK调制后通过驱动电路驱动光源LED发出高速明暗变化的可见光信号；

步骤2)自动驾驶车辆通过车载CMOS图像传感器获取包含至少一个光源LED信息的图像，利用霍夫圆变换检测图像中的LED光斑；

步骤3)对检测出的LED光斑进行跟踪解码，得到至少一个光源LED在世界坐标系中的位置坐标；

步骤4)根据光源LED在世界坐标系中的位置坐标计算自动驾驶车辆位置信息，方法如下：

(1)建立三个主要坐标系：世界坐标系、图像坐标系和相机坐标系；世界坐标系(X_w,Y_w,Z_w)是3D空间的基准坐标系；图像坐标系(x,y)的横纵坐标轴分别平行于成像平面的长和宽，坐标原点为图像中心；相机坐标系(X_c,Y_c,Z_c)的Z_c轴为相机光轴，X_c,Y_c轴分别平行于图像坐标系x,y轴，坐标原点为透镜光心，透镜焦距为f；

(2)设车载CMOS图像传感器中心在世界坐标系下的坐标(自动驾驶车辆位置信息)为N_s＝(X_s,Y_s,Z_s)^T，其中X_s,Y_s为待求的车载CMOS图像传感器的位置坐标，Z_s为已知的车载CMOS图像传感器的高度；设第k个光源LED在世界坐标系下的位置坐标为P_wk＝(X_wk,Y_wk,Z_wk)^T，该光源LED的成像点在图像坐标系下的坐标为p_k＝(x_k,y_k)^T，该光源LED在相机坐标系下的坐标为P_ck＝(X_ck,Y_ck,Z_ck)^T，根据该光源求出的自动驾驶车辆位置信息为N_sk＝(X_sk,Y_sk,Z_sk)^T，其中Z_sk＝Z_s；P_wk,P_ck和N_sk三者之间的坐标转换关系为：

P_wk＝RP_ck+N_sk (4-1)

即：

其中，R为相机旋转矩阵：

其中，ω,φ,θ分别表示相机坐标系相对于世界坐标系X轴，Y轴，Z轴方向的偏角；

根据公式(4-6)求出由第k个光源LED获得的CMOS图像传感器中心在世界坐标系下的坐标N_sk＝(X_sk,Y_sk,Z_s)^T；

(3)判断图像内有效LED光斑数量是否为1，若为1，即k＝1，直接根据公式(4-6)计算得到CMOS图像传感器中心在世界坐标系下的坐标N_s＝(X_s,Y_s,Z_s)^T＝(X_s1,Y_s1,Z_s)^T；否则执行步骤(4)；

(4)设图像内有效LED光斑数量为n，根据公式(4-8)计算车载CMOS图像传感器中心在世界坐标系下的坐标N_s＝(X_s,Y_s,Z_s)^T：

其中，

为像素坐标加权因子。

2.根据权利要求1所述的基于OCC的自动驾驶车辆跟踪定位方法，其特征在于所述的步骤3)中，对检测出的LED光斑进行跟踪解码的方法如下：

(1)对接收到的图像进行阈值判决得到二值化图像，对处理后的图像每个LED光斑区域使用独立的线程实现曼彻斯特解码，解码后输出各光源LED在世界坐标系中的位置坐标信息的比特序列；

(2)利用光源LED的高速明暗变化特性，通过帧差法对连续的图像帧序列进行差值的计算，将LED光斑从背景图像中区分出来，实现对图像内多个LED光斑的跟踪；

(3)判断3帧(阈值图像帧数)内是否已经从检测到的LED光斑中成功解码出各光源LED的坐标信息，若未从检测到的LED光斑中成功解码出光源LED的坐标信息则判定为跟踪失效，将该LED光斑移除；若当前帧内所有检测到的LED光斑均跟踪失效，移除该帧图像，返回步骤2)；若至少一个LED光斑信息被成功解码则判定跟踪结束，缓存已解码的光源LED位置坐标信息，进入步骤4)。

Images