CN114062961B - 一种基于occ的自动驾驶车辆多特征解调方法 - Google Patents

Abstract

本发明涉及一种基于OCC的自动驾驶车辆多特征解调方法，该方法如下：对LED阵列进行拍摄，获取包含LED阵列区域的原始图像数据信息并进行边缘检测，确定LED阵列区域；将LED阵列区域平均划分，确定LED阵列中各LED灯对应的LED区域的边缘及位置信息，计算每个LED区域的梯度径向向内量和平均灰度比并构成对应的LED区域特征向量；采用Fisher线性判别法识别各LED灯状态。本发明可提高传输距离，降低误码率。

Description

一种基于OCC的自动驾驶车辆多特征解调方法

技术领域

本发明涉及可见光通信和智能交通技术领域，特别涉及一种基于OCC的车对车通信系统的多特征解调方法。

背景技术

车辆通信是一种中短程通信系统，能够在车辆之间交换安全警告信息和交通信息。例如，车辆可以根据前车发送的位置信息，及时调整行驶方向。紧急制动时，可向其他车辆发送紧急制动信号。当车辆提高或降低速度时，也可向其他车辆发送警告信号。当车辆通信系统与车辆跟踪技术一起使用时，可以将车辆ID发送给其他车辆，以建立街道上移动车辆的地图。车辆通信系统与车辆跟踪和其他传感技术(如车道检测、行人检测等)相互结合，给人们带来更安全、更协调的交通网络，并最终实现智能交通系统。

可见光相机通信(Optical Camera Communication，OCC)是一种采用发光二极管(Light Emitting Diode，LED)发射光信号，通过图像传感器阵列接收光信号的无线光通信技术，能够同时识别多个发射光源，实现信号的并行接收。OCC技术以光为载体，具有无射频干扰、无需频谱认证、无电磁辐射、绿色环保等优点，可以有效弥补无线射频通信的不足。随着LED及车载相机在汽车领域中的广泛应用，OCC技术已经成为实现车对车通信、预防交通事故的一种关键性技术，并且受到学术界的广泛关注。

虽然OCC是一种很有前景的车载通信技术，但对OCC的研究还处于起步阶段。因此，OCC的许多方面还没有得到深入的研究。例如，在现有研究中对LED状态识别所使用的算法均采用LED的单一特征(LED灰度)，并将其与预定阈值进行比较以确定LED状态。但是，具有不同LED面板和不同摄像头的不同车辆会导致相同LED的灰度不同。当同一个LED面板中的灰度由于各种类型的图像模糊引起的LED晕染干扰而改变时，其误差将急剧增大。因此，灰度不是LED检测的单一的可靠特征，基于灰度的算法在不利条件下性能较差。因此，亟需研究一种可通过LED多个灰度特征来识别LED状态的方法。

发明内容

本发明要解决的技术问题是提供一种基于OCC的自动驾驶车辆多特征解调方法，该方法采用汽车LED尾灯阵列发送光信号，图像传感器作为光电检测器件接收光信号来实现车与车之间的通信，能够实时传递汽车安全信息，实现安全预警，降低交通事故的发生。

为了解决上述技术问题，本发明的基于OCC的自动驾驶车辆多特征解调方法如下：

对LED阵列进行拍摄，获取包含LED阵列区域的原始图像数据信息并进行边缘检测，确定LED阵列区域；将LED阵列区域平均划分，确定LED阵列中各LED灯对应的LED区域的边缘及位置信息，计算每个LED区域的梯度径向向内量和平均灰度比并构成对应的LED区域特征向量；采用Fisher线性判别法识别各LED灯状态。

对原始图像数据信息进行边缘检测并确定LED阵列区域的方法如下：

对原始图像进行二值化处理获得A二值图像；对A二值图像进行矩形膨胀、腐蚀处理，获得包含候选区域G₁，G₂，…G_h，…，G_M的B二值图像；

令候选区域G₁，G₂，…G_h，…，G_M左上角坐标分别为(X_min1，Y_min1)，(X_min2，Y_min2)，…(X_minh，Y_minh)，…(X_minM，Y_minM)，右下角坐标分别为(X_max1，Y_max1)，(X_max2，Y_max2)，…，(X_maxh，Y_maxh)，…(X_maxM，Y_maxM)，各候选区域在B二值图像上的像素值之和为P_T1，P_T2，…P_Th，…，P_TM；

针对任一候选区域G_h，计算该候选区域G_h的宽度W_h及高度H_h：

该候选区域G_h的中心坐标为(X_Ch，Y_Ch))：

B二值图像上候选区域G_h的平均像素值为P_TAh：

其中h＝1，2，…，M；

如果任意候选区域G_h满足下述筛选条件，则判定该候选区域为LED阵列区域：长宽比在之间，W_min≤W_h≤W_max，/>P_TAh≥200；其中a、b分别为LED阵列中LED灯的行数和列数；W_max表示前车与后车之间的车间距等于设定的最小车间距时LED阵列区域在原始图像中的宽度，W_min表示前车与后车之间的车间距等于设定的最大车间距时LED阵列区域在原始图像中的宽度；H_image为原始图像高度。

每个LED区域的梯度径向向内量的获得方法如下：

令LED区域宽度高度/>针对第i行第j列LED灯对应的LED区域n，其左上角坐标可表示为：

(X_LLn，Y_LLn)＝(X_LPmin+(j-1)×W_L，Y_LPmin+(i-1)×H_L)

第i行第j列LED灯对应的LED区域的右下角坐标可表示为：

(X_LRn，Y_LRn)＝(X_LPmin+j×W_L，Y_LPmin+i×H_L)

第i行第j列LED灯对应的LED区域的中心坐标为：

其中i＝1，2，…，a。j＝1，2，…，b；

计算LED区域n的梯度径向向内量GRI_n，对于LED区域n内任意图像像素点(x，y)，其相对于该区域中心的方向向量r_n(x，y)为：

r_n(x，y)＝(X_LCn-x，Y_LCn-y)

设图像像素点(x，y)处像素值为f(x，y)，则其像素强度变化方向向量Δf_n(x，y)为：

图像像素点(x，y)处的梯度径向向内量GRI(x，y)_n为：

其中n＝1，2，…，a×b；|r_n(x，y)|为LED区域n中心的方向向量r_n(x，y)的模长；

LED区域n的梯度径向向内量GRI_n等于该区域内所有图像像素点处的梯度径向向内量之和。

每个LED区域的平均灰度比的获得方法如下：

计算LED区域n的平均灰度比AGR_n；令各LED区域在灰度图像上所有像素点的像素值之和分别为P_GL1，P_GL2，…，P_GLn，…，P_GL(a×b)，则LED区域n的平均像素值P_GLAn为：

设LED阵列区域在灰度图像上所有像素点的像素值之和为P_GLP，则LED阵列区域的平均像素值P_GLPA为：

LED区域n的平均灰度比AGR_n为：

其中n＝1，2，…，a×b。

采用Fisher线性判别法识别各LED灯状态的方法如下：

根据下式获得LED灯状态识别数据Status：

其中ω_w为判别向量，μk为当前帧原始图像提取的任一LED区域k的LED区域特征向量S_k(AGR_k，GRI_k)，AGR_k为LED区域k的平均灰度比，GRI_k为LED区域k的梯度径向向内量；thres为LED区域特征向量训练集中所有LED区域特征向量投影的平均值：

LED区域特征向量训练集构成方法如下：

根据多幅原始图像数据信息获取对应的多个LED阵列区域，提取所有原始图像数据信息的LED阵列区域中所有LED区域的平均灰度比和梯度径向向内量数据，构成LED区域特征向量训练集S；

S＝{S_1p(AGR_1p，GRI_1p)，S_2p(AGR_2p，GRI_2p)，...，S_qp(AGR_qp，GRI_qp)，...S_Qp(AGR_Qp，GRI_Qp)}

其中，p＝1或者p＝0，分别对应LED亮灭两个类别；Q为所有原始图像中LED区域数量之和，S_qp(AGR_qp，GRI_qp)为LED区域特征向量训练集S中的第q个特征向量，AGR_qp为第q个LED区域的平均灰度比，GRI_qp为第q个LED区域的梯度径向向内量；

m₀、m₁分别为LED区域特征向量训练集S中灭、亮两个类别LED区域特征向量的平均值；

S_w为类内协方差矩阵：

S_w＝C₀+C₁

令集合S_p为LED区域特征向量训练集S中所有p类别LED区域特征向量构成的集合，p＝0或1；则C_p为集合S_p中所有特征向量的协方差矩阵：

其中为集合S_p中所有平均灰度比间协方差，/>为集合S_p中所有平均灰度比和梯度径向向内量间的协方差，/>为集合S_p中所有LED区域梯度径向向内量和平均灰度比间的协方差，/>为集合S_p中所有梯度径向向内量间的协方差。

有益效果：本发明采用多特征解调方法对LED状态进行识别，能够提高传输距离，降低误码率。

附图说明

下面结合附图和具体实施方式对本发明法作进一步详细说明。

图1为A车和B车通信示意图；

图2为对原始图像数据信息进行处理获得各候选区域过程示意图。

图3a、图3b为Fisher线性判别原理示意图。

图4为本发明的基于OCC的多特征解调方法的总流程图。

具体实施方式

如图1所示，基于OCC的车对车通信系统，前车1采用尾灯中的LED阵列11发送光信号，后车2采用图像传感器21作为光电检测器件接收光信号实现前车1与后车2之间的通信，能够实时传递汽车安全信息，实现安全预警，降低交通事故的发生。前车的发射机采用OOK调制技术对所要发送的数据进行调制并通过规格为a×b的LED阵列并行发出，后车的接收机采用图像处理技术完成对LED阵列图像边缘的检测以及LED阵列中各LED状态的识别，实现前后两车间实时信息传递；LED阵列安装在汽车尾灯中，采用808nm光波波段但不限于808nm光波波段。

前车的发射机将汽车转向状态、速度、加速度、发动机转速、刹车等汽车安全信息数据经OOK调制后通过驱动电路驱动LED阵列中各LED灯发出高速明暗变化的可见光信号；发送信号时，LED阵列四角的LED灯保持常亮，用于对LED阵列边缘进行检测。其它LED灯由驱动电路控制，传输已调制信号。

后车采用相机作为图像传感器获得原始图像数据信息，接收机采用汽车CPU或者单独的CPU，对原始图像数据信息进行处理获得各LED灯状态识别数据，对各LED灯状态识别数据进行解调解码获得前方车辆安全信息，以供汽车驾驶辅助系统处理分析。相机可以采用CMOS相机，通过在相机镜头前配置808nm光学滤片组成窄带滤波相机，消除投射到图像传感器上的杂光。

如图4所示，本发明的基于OCC的自动驾驶车辆多特征解调方法具体如下：

步骤1)获取包含LED阵列区域的原始图像数据信息；

步骤2)采用传统图像处理方法对原始图像数据信息进行处理，获得LED阵列区域的边缘信息，原始图像可以为灰度图像，也可以为RGB图像；获取LED阵列区域边缘信息的步骤如下：

(1)如图2所示，原始图像为RGB图像时先将捕获到的RGB图像转化为灰度图像，之后通过自适应阈值对灰度图像进行处理，获得A二值图像。对A二值图像进行矩形膨胀、腐蚀处理，获得包含LED阵列及其他噪声组成的候选区域G₁，G₂，…G_h，…，G_M的B二值图像；

(2)令候选区域G₁，G₂，…G_h，…，G_M左上角坐标分别为(X_min1，Y_min1)，(X_min2，Y_min2)，…(X_minh，Y_minh)，…(X_minM，Y_minM)，右下角坐标分别为(X_max1，Y_max1)，(X_max2，Y_max2)，…，(X_maxh，Y_maxh)，…(X_maxM，Y_maxM)，各候选区域在B二值图像上的像素值之和为P_T1，P_T2，…P_Th，…，P_TM；

(3)针对任一候选区域G_h，根据式(1)计算该候选区域G_h的宽度W_h及高度H_h：

该候选区域G_h的中心坐标为(X_Ch，Y_Ch)：

B二值图像上候选区域G_h的平均像素值为P_TAh：

其中h＝1，2，…，M。

(4)由于LED阵列采用a×b个LED灯，且相邻LED间间距相等，故阵列形状应为矩形，长宽比为考虑到LED灯发光产生的光晕影响，LED阵列区域长宽比(即/>)应在之间。设定通信距离为5m～11m，在实验室条件下(即没有噪声干扰条件下，采用相机拍摄前车尾灯获得原始图像，进而得到车辆间距最小时LED阵列区域在捕获图像中的宽度W_max，及车辆间距最大时LED阵列区域在捕获图像中的宽度W_min；如果任意候选区域G_h满足下述筛选条件，则判定该候选区域为LED阵列区域：长宽比在/>之间，W_min≤W_h≤W_max，/>P_TAh≥200；其中H_image为捕获的原始图像高度；

令LED阵列区域高度为H_LP，宽度为W_LP，左上角坐标(X_LPmin，Y_LPmin)，右下角坐标为(X_LPmax，Y_LPmax)。

步骤3)确定LED阵列区域后，计算LED阵列中各个LED灯的图像像素特征，方法如下：

(1)根据LED灯数量a×b，将LED阵列区域平均划分，确定各LED区域的边缘及位置信息。令LED区域宽度高度/>针对第i行第j列LED灯对应的LED区域n，其左上角坐标可表示为：

(X_LLn，Y_LLn)＝(X_LPmin+(j-1)×W_L，Y_LPmin+(i-1)×H_L) (4)

第i行第j列LED灯对应的LED区域的右下角坐标可表示为：

(X_LRn，Y_LRn)＝(X_LPmin+j×W_L，Y_LPmin+i×H_L) (5)

第i行第j列LED灯对应的LED区域的中心坐标为：

其中i＝1，2，…，a。j＝1，2，…，b。

(2)计算LED区域n的梯度径向向内量GRI_n(Gradient Radial Inwardness)，对于LED区域n内任意图像像素点(x，y)，其相对于该区域中心的方向向量r_n(x，y)为：

r_n(x，y)＝(X_LCn-x，Y_LCn-y) (7)

设图像像素点(x，y)处像素值为f(x，y)，则其像素强度变化方向向量Δf_n(x，y)为：

故图像像素点(x，y)处的梯度径向向内量GRI(x，y)_n为：

其中n＝1，2，…，a×b。|r_n(x，y)|为LED区域n中心的方向向量r_n(x，y)的模长；

则LED区域n的梯度径向向内量GRI_n为该区域内所有图像像素点处的梯度径向向内量之和。

(3)计算LED区域n的平均灰度比AGR_n(Average Greyscale Ratio)；令各LED区域在灰度图像上所有像素点的像素值之和分别为P_GL1，P_GL2，…，P_GLn，…，P_GL(a×b)，则LED区域n的平均像素值P_GLAn为：

设LED阵列区域在灰度图像上所有像素点的像素值之和为P_GLP，则LED阵列区域的平均像素值P_GLPA为：

故LED区域n的平均灰度比AGR_n为：

其中n＝1，2，…，a×b。

步骤4)如图3a、3b所示，采用Fisher线性判别法识别LED灯状态，步骤如下：

(1)根据多幅原始图像数据信息获取对应的多个LED阵列区域，由于传输的数据为预先设置，故所有原始图像数据信息中对应的LED灯实际状态为已知。提取所有原始图像数据信息的LED阵列区域中所有LED区域的平均灰度比和梯度径向向内量数据，构建LED区域特征向量训练集S；

S＝{S_1p(AGR_1p，GRI_1p)，S_2p(AGR_2p，GRI_2p)，...，S_qp(AGR_qp，GRI_qp)，...S_Qp(AGR_Qp，GRI_Qp)}

其中，p＝1或者p＝0，分别对应LED亮灭两个类别，即S_q1(AGR_q1，GRI_q1)代表LED灯亮时该LED灯对应的LED区域特征向量，S_q0(AGR_q0，GRI_q0)代表LED灯灭时该LED灯对应的LED区域特征向量，Q为所有原始图像中LED区域数量之和(假设拍摄到100幅原始图像，每个LED阵列中有4个LED灯，则LED区域特征向量训练集中包含400个特征向量，即Q＝400)，S_qp(AGR_qp，GRI_qp)为特征向量训练集中的第q个特征向量，即第q个LED区域的特征向量，AGR_qp为第q个LED区域的平均灰度比，GRI_qp为第q个LED区域的梯度径向向内量。

如图3a所示，在平均灰度比为纵坐标、梯度径向向内量为坐标的平面直角坐标系中，取任一二维向量ω，设S_qp(AGR_qp，GRI_qp)对应该坐标系中的点为x_qp，p＝0或1，则该点到ω的投影可以表达为p(x_qp)：

p(x_qp)＝ω·x_qp (13)

如图3b所示，令μ₀和μ₁分别表示ω上灭、亮两个类别LED区域特征向量投影的平均值，则：

μ_p＝ω·m_p (14)

其中m₀、m₁分别为灭、亮两个类别LED区域特征向量的平均值；令σ₀和σ₁分别表示ω上灭、亮两个类别LED区域特征向量投影的方差，则：

，S_p是训练集中属于p类的所有特征向量的集合，p＝0或1。

图3a、图3b中，class0表示LED灯灭时平面直角坐标系中的各点，class1表示LED灯亮时平面直角坐标系中的各点。

(2)采用Fisher判别法找到一个二维向量ω，使两个类别特征向量投影之间的方差最大，同一类别特征向量之间的投影方差最小，即方差判别值G(ω)最大时对应的二维向量ω，将该二维向量作为判别向量ω_W；

根据上述方法找到的判别向量ω_w表达式如下：

S_w为类内协方差矩阵：

S_w＝C₀+C₁ (18)

C_p为集合S_p中所有特征向量的协方差矩阵：

其中为集合S_p中所有AGR间的协方差，/>为集合S_p中所有AGR和GRI间的协方差，/>为集合S_p中所有GRI和AGR间的协方差，/>为集合S_p中所有GRI间的协方差，p＝0或1。

(3)找到判别向量ω_W后，根据公式(20)获得LED灯状态识别数据Status：

其中μ_k为当前帧提取的任一LED区域特征向量；thres为LED区域特征向量训练集中所有LED区域特征向量投影的平均值，为：

对每帧图像上获得的LED灯状态识别数据进行解调解码，即可获得前方车辆安全信息，以供汽车驾驶辅助系统处理分析。

Claims (4)

1.一种基于OCC的自动驾驶车辆多特征解调方法，其特征在于，所述方法如下：

对LED阵列进行拍摄，获取包含LED阵列区域的原始图像数据信息并进行边缘检测，确定LED阵列区域；将LED阵列区域平均划分，确定LED阵列中各LED灯对应的LED区域的边缘及位置信息，计算每个LED区域的梯度径向向内量和平均灰度比并构成对应的LED区域特征向量；采用Fisher线性判别法识别各LED灯状态；对原始图像数据信息进行边缘检测并确定LED阵列区域的方法如下：

对原始图像进行二值化处理获得A二值图像；对A二值图像进行矩形膨胀、腐蚀处理，获得包含候选区域G₁，G₂，...G_h，...，G_M的B二值图像；

令候选区域G₁，G₂，...G_h，...，G_M左上角坐标分别为(X_min1，Y_min1)，(X_min2，Y_min2)，…(X_minh，Y_minh)，…(X_minM，Y_minM)，右下角坐标分别为(X_max1，Y_max1)，(X_max2，Y_max2)，…，(X_maxh，Y_maxh)，…(X_maxM，Y_maxM)，各候选区域在B二值图像上的像素值之和为P_T1，P_T2，…P_Th，…，P_TM；

针对任一候选区域G_h，计算该候选区域G_h的宽度W_h及高度H_h：

该候选区域G_h的中心坐标为(X_ch，Y_Ch)：

B二值图像上候选区域G_h的平均像素值为P_TAh：

其中h＝1，2，…，M；

如果任意候选区域G_h满足下述筛选条件，则判定该候选区域为LED阵列区域：长宽比在之间，W_min≤W_h≤W_max，/>P_TAh≥200；其中a、b分别为LED阵列中LED灯的行数和列数；W_max表示前车与后车之间的车间距等于设定的最小车间距时LED阵列区域在原始图像中的宽度，W_min表示前车与后车之间的车间距等于设定的最大车间距时LED阵列区域在原始图像中的宽度；H_image为原始图像高度。

2.根据权利要求1所述的基于OCC的自动驾驶车辆多特征解调方法，其特征在于，每个LED区域的梯度径向向内量的获得方法如下：

令LED区域宽度高度/>W_LP为LED阵列区域的宽度，H_LP为LED阵列区域的高度，针对第i行第j列LED灯对应的LED区域n，其左上角坐标可表示为：

(X_LLn，Y_LLn)＝(X_LPmin+(j-1)×W_L，Y_LPmin+(i-1)×H_L)

其中，(X_LPmin,Y_LPmin)为LED阵列区域的左上角坐标，第i行第j列LED灯对应的LED区域的右下角坐标可表示为：

(X_LRn，Y_LRn)＝(X_LPmin+j×W_L，Y_LPmin+i×H_L)

第i行第j列LED灯对应的LED区域的中心坐标为：

其中i＝1，2，…，a，j＝1，2，…，b；

计算LED区域n的梯度径向向内量GRI_n，对于LED区域n内任意图像像素点(x，y)，其相对于该区域中心的方向向量r_n(x，y)为：

r_n(x，y)＝(X_LCn-x，Y_LCn-y)

设图像像素点(x，y)处像素值为f(x,y)，则其像素强度变化方向向量Δf_n(x,y)为：

图像像素点(x，y)处的梯度径向向内量GRI(x，y)_n为：

其中n＝1，2，…a×b；|r_n(x，y)|为LED区域n中心的方向向量r_n(x，y)的模长；

LED区域n的梯度径向向内量FRI_n等于该区域内所有图像像素点处的梯度径向向内量之和。

3.根据权利要求2所述的基于OCC的自动驾驶车辆多特征解调方法，其特征在于，每个LED区域的平均灰度比的获得方法如下：

计算LED区域n的平均灰度比AGR_n；令各LED区域在灰度图像上所有像素点的像素值之和分别为P_GL1，P_GL2，…，P_GLn，…，P_GL(a×b)，则LED区域n的平均像素值P_GLAn为：

设LED阵列区域在灰度图像上所有像素点的像素值之和为P_GLP，则LED阵列区域的平均像素值P_GLPA为：

LED区域n的平均灰度比AGR_n为：

其中n＝1，2，…，a×b。

4.根据权利要求1所述的基于OCC的自动驾驶车辆多特征解调方法，其特征在于，采用Fisher线性判别法识别各LED灯状态的方法如下：

根据下式获得LED灯状态识别数据Status：

其中ω_W为判别向量，μ_k为当前帧原始图像提取的任一LED区域k的LED区域特征向量S_k(AGR_k，GRI_k),AGR_k为LED区域k的平均灰度比，GRI_k为LED区域k的梯度径向向内量；thres为LED区域特征向量训练集中所有LED区域特征向量投影的平均值：

LED区域特征向量训练集构成方法如下：

根据多幅原始图像数据信息获取对应的多个LED阵列区域，提取所有原始图像数据信息的LED阵列区域中所有LED区域的平均灰度比和梯度径向向内量数据，构成LED区域特征向量训练集S；

S＝{S_1p(AGR_1p，GRI_1p)，S_2p(AGR_2p，GRI_2p)，...，S_qp(AGR_qp，GRI_qp)，...S_Qp(AGR_Qp，GRI_Qp)}

其中，p＝1或者p＝0，分别对应LED亮灭两个类别；Q为所有原始图像中LED区域数量之和，S_qp(AGR_qp，GRI_qp)为LED区域特征向量训练集S中的第q个特征向量，AGR_qp为第q个LED区域的平均灰度比，GRI_qp为第q个LED区域的梯度径向向内量；

m₀、m₁分别为LED区域特征向量训练集S中灭、亮两个类别LED区域特征向量的平均值；

S_w为类内协方差矩阵：

S_w＝C₀+C₁

令集合S_p为LED区域特征向量训练集S中所有p类别LED区域特征向量构成的集合，p＝0或1；则C_p为集合S_p中所有特征向量的协方差矩阵：

其中为集合S_p中所有平均灰度比间协方差，/>为集合S_p中所有平均灰度比和梯度径向向内量间的协方差，/>为集合S_p中所有LED区域梯度径向向内量和平均灰度比间的协方差，/>为集合S_p中所有梯度径向向内量间的协方差。