CN114954756A - 一种基于ar-hmd的智能头盔盲区检测系统和方法 - Google Patents

Abstract

本发明公开一种基于AR‑HMD的智能头盔盲区检测系统和方法，包括头盔与移动终端两部分，其中头盔部分由摄像装置、传输模块、报警模块组成，移动终端部分由目标检测与跟踪模块组成。所述摄像装置安装在智能头盔的两侧，用于拍摄智能头盔侧后方的图像；所述传输模块安装在智能头盔中，用于将图像发送给目标检测与跟踪模块，并接收安全报警信息；报警模块将安全报警信息通过AR‑HMD显示进行安全预警；目标检测与跟踪模块用于检测出目标并生成安全报警信息。本发明将后方目标的安全报警信息直接显示在智能头盔的AR‑HMD中，供驾驶员左右变道时参考，可有效提高高速行驶的摩托车驾驶员安全性。

Description

一种基于AR-HMD的智能头盔盲区检测系统和方法

技术领域

本发明涉及辅助驾驶技术领域，特别涉及一种基于AR-HMD(Augmented Reality-Head Mounted Display，增强现实-头盔显示器)的智能头盔盲区检测系统和方法。

背景技术

摩托车在行驶途中会遇到快速变道的情况，但由于头盔的限制导致驾驶员存在盲区，不能清楚地知道道路后方的情况。

随着技术的发展，主要在头盔上安装摄像头，通过将后方盲区视野投射到头盔前方显示面板让驾驶员进行判断。上述方法虽然省去了驾驶员观察后视镜或转头的方向，但是此技术仍然需要驾驶人观察图像进行判断可否变道，这对于高速行驶的摩托车来说优势并不明显。

还有使用广角摄像头以360°覆盖摩托车周围，结合图像识别和人工智能算法进行目标判断，当检测到后方有目标时，会将变道预警信息显示到对应的后视镜上通过LED灯显示。但是这种技术需要增加昂贵的人工智能运算模块，并且不能识别距离很近甚至贴近摄像头的物体，仍然需要驾驶人偏头看后视镜上的LED灯。

因此，现有技术的盲区检测功能和变道辅助功能准确率较低或成本过高，不能真正有效的节省驾驶人对于变道时盲区的感知时间。

发明内容

针对现有技术中智能头盔盲区检测实时性较低的问题，本发明提出一种基于AR-HMD的智能头盔盲区检测系统和方法，通过在智能头盔中设置传输模块，将拍摄画面传输到移动终端的目标检测与跟踪模块进行目标识别与跟踪，并投影显示在智能头盔的AR-HMD中，从而节省驾驶员对盲区的观察判断时间，提高了盲区检测实时性。

为了实现上述目的，本发明提供以下技术方案：

一种基于AR-HMD的智能头盔盲区检测系统，其包括头盔与移动终端两部分，其中头盔部分由摄像装置、传输模块、报警模块组成，移动终端部分由目标检测与跟踪模块组成。

进一步的，所述摄像装置安装在智能头盔的两侧，用于拍摄智能头盔侧后方的图像；所述传输模块安装在智能头盔中，用于将图像发送给目标检测与跟踪模块，并接收安全报警信息；报警模块将安全报警信息通过AR-HMD显示进行安全预警；目标检测与跟踪模块用于检测出目标并生成安全报警信息。

进一步的，所述目标检测与跟踪模块通过双目视觉检测出后方目标并计算目标距离，首先通过相机标定，得出每个摄像头的内部参数(包括焦距、成像原点、畸变系数)以及两个摄像头之间的相对位置，即右摄像头相对于左摄像头的旋转矩阵R、平移向量t；然后根据摄像头的单目内参数据和双目相对位置关系分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；最后通过双目匹配把同一场景在左右视图上对应的像点匹配起来，根据双目测距原理进行图像像素距离的恢复，得到每个像素点的距离信息，最终获取目标与摄像头的距离。

进一步的，建立与头盔固联的坐标系，在坐标系下建立目标运动状态模型与量测模型来描述目标运动：

x_k＝Ax_k-1+Bu_k-1+w_k-1 (1)

z_k＝Hx_k+v_k (2)

其中x_k表示k时刻的目标状态，z_k表示k时刻的目标测量，A为状态转移矩阵，u_k-1为系统输入，B为将输入转换为状态的矩阵，H为量测矩阵，w_k-1和v_k分别为相互独立的过程噪声和量测噪声。

进一步的，以双目摄像头检测的目标位置为量测，利用卡尔曼滤波器估计各目标的运动状态：

P_k ^-＝AP_k-1A^T+Q (4)

其中，

为目标k-1时刻的最优状态估计，

为目标k时刻的状态预测值，Q为服从正态分布的过程噪声，P_k ^-为k时刻的先验估计协方差，P_k-1表示k-1时刻的后验估计协方差。

计算卡尔曼增益K_k，通过先验估计和量测的到目标的最优状态估计，更新最优估计协方差：

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1 (5)

P_k＝(I-K_kH)P_k ^- (7)

其中，R为测量噪声协方差，H为状态变量到测量的转换矩阵，I为单位矩阵。

一种基于AR-HMD的智能头盔盲区检测方法，其特征在于，具体包括以下步骤：

将智能头盔与移动终端进行通信连接；

摄像装置实时检测驾驶员两侧及后方的图像，并将图像传输到移动终端；

移动终端的目标检测与跟踪模块进行目标检测，计算感兴趣的目标距离作为量测值，并通过目标跟踪估计目标速度，判断目标威胁程度；

移动终端将目标及其威胁程度信息传输到智能头盔，由报警模块将目标及其威胁程度信息投射到AR-HMD前屏并输出不同等级提示。

进一步的，根据目标运动状态，筛选出感兴趣的目标集合T＝{T_l，T_m，T_r}，分别表示相邻左车道、本车道及相邻右车道的后方满足以下条件的最近目标：

其中，D及v为相对距离及相对速度，Tc为给定的碰撞时间门限。

进一步的，根据目标检测情况进行车辆变道趋势判断方法，其步骤包括：

(1)定义变道趋势计数向量L＝[C_l,C_r]，分别表示左、右车道变道趋势的累计情况；

(2)计算当前时刻感兴趣目标的的方位角之和：

θ(k)＝∑θ_Ti(k),T_i∈T

其中，θ(k)表示k时刻的方位角之和，T_i表示第i个目标，θ_Ti(k)表示第i个目标的方位角；

(3)与上一时刻比较，计算当前时刻方位角变化情况，其中，θ_Th为给定的门限值：

如|θ(k)-θ(k-1)|<θ_Th，C_l,C_r清零；

如θ(k)-θ(k-1)<θ_Th，C_r加1；

如θ(k)-θ(k-1)>θ_Th，C_l加1；

(4)判断变道趋势，其中N为给定的门限值：

如C_r>N，车辆右转；

如C_l>N，车辆左转；

否则，车辆不转向。

进一步的，根据车辆变道趋势与目标特征，AR-HMD显示进行安全预警的方法为：

若驾驶员有或无变道趋势且无目标，输出第一等级提示并显示绿色；

若驾驶员无变道趋势且有目标，输出第二等级提示并显示黄色；

若驾驶员有变道趋势且有目标，输出第三等级提示并显示红色。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

1.本发明使用移动端处理图像识别目标，比目前大多数智能头盔将处理器安装在头盔上的方法成本更低且头盔更轻。

2.本发明将处理后的目标画面直接显示在智能头盔的AR-HMD中，省去了驾驶员对左右变道时盲区的判断时间，对于高速行驶的摩托车驾驶员安全十分重要。

3.本发明在头盔上仅使用传输模块进行通信，功耗较低，故不会影响智能头盔续航问题，且传输模组成本较低。

4.本发明在目标检测算法上针对智能头盔进行了算法优化，对于移动端的低功耗低算力采用了较为合理的结构，并在输出结果的后处理进行了目标跟踪，最大力度避免误检导致的误判断。

附图说明：

图1为根据本发明示例性实施例的一种基于AR-HMD的智能头盔盲区检测系统示意图。

图2为本发明一种基于AR-HMD的智能头盔盲区检测方法流程图。

图3为本发明变道趋势检测示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于AR-HMD的智能头盔盲区检测系统，包括头盔与移动终端两部分，其中头盔部分由摄像装置、传输模块、报警模块组成，移动终端部分由目标检测与跟踪模块组成。

本实施例中，摄像装置(可采用摄像头)安装在智能头盔的两侧(优先为两侧斜后方，拍摄角度为水平向下10-20度，这是考虑驾驶人驾驶摩托车佩戴头盔时身体前倾的一个最佳角度)，用于拍摄智能头盔侧后方的画面；

传输模块，用于与移动终端进行通信配对，配对成功后，将摄像装置拍摄的画面实时传输到移动终端进行存储和处理，并接收安全报警信息；本发明在头盔上仅使用传输模块进行通信，功耗较低，故不会影响智能头盔续航问题，且传输模组成本较低。

本实施例中，还可把摄像装置、传输模块及CPU、电源模块集成为独立部件，用魔术贴将独立部件粘贴在车辆尾部或行李箱上，其它不变。即通过独立部件采集图像，并将图像传输到智能头盔或移动终端，纳入保护范围，这样的优点是可进一步消除偏头时摄像装置对盲区检测范围的影响，且可将独立部件进行销售，提高实用性。

移动端内置有目标检测与跟踪模块，用于检测图像画面中的目标，目标包括车辆、行人等，并经跟踪滤波估计出目标速度，生成安全报警信息。

头盔上的报警模块会根据接收到的安全报警信息发出报警信号(例如声光信号，若驾驶员不进行变道则显示黄色，若驾驶员变道则显示红色且进行声音提示)，且将目标位置信息投射到AR-HMD的前屏上。

目前的智能头盔方案的目标检测与跟踪模块一般是直接安装在智能头盔上，但这样会额外增加人工智能运算模块和控制器，导致成本过高，此外还会减少头盔续航并导致头盔较重。本实施例中，通过将目标检测与跟踪模块内置到移动终端，由移动终端上的控制器对图像画面进行处理，从而减少了在智能头盔上重新布置控制器的成本。

本实施例中，如图2所示，为本发明一种基于AR-HMD的智能头盔盲区检测方法的流程图，其步骤为：

(1)将智能头盔与移动终端进行通信连接；

(2)摄像装置实时检测驾驶员两侧及后方的图像，并将图像传输到移动终端；

(3)移动终端的目标检测与跟踪模块进行目标检测，计算感兴趣的目标距离作为量测值，并通过目标跟踪估计目标速度，判断目标威胁程度。

本实施例中，筛选出感兴趣的目标集合T＝{T_l，T_m，T_r}，分别表示相邻左车道、本车道及相邻右车道的后方满足以下条件的最近目标：

其中，D及v为相对距离及相对速度，Tc为给定的碰撞时间门限；

(4)移动终端将目标及其威胁程度信息传输到智能头盔，由报警模块将目标及其威胁程度信息投射到AR-HMD前屏并输出不同等级提示。

本实施例中，如图3所示，为对车辆进行变道趋势检测的原理图，方法为根据后方目标与车辆的相对角度变化来检测，其流程为：

(1)定义变道趋势计数向量L＝[C_l,C_r]，分别表示左、右车道变道趋势的累计情况；

(2)计算当前时刻感兴趣目标的方位角之和：

θ(k)＝∑θ_Ti(k),T_i∈T

图中为3个目标的情况，累计方位角为θ₁～θ₃之和；

(3)与上一时刻比较，计算当前时刻方位角变化情况，其中θ_Th为给定的门限值：

如|θ(k)-θ(k-1)|<θ_Th，C_l,C_r清零；

如θ(k)-θ(k-1)<θ_Th，C_r加1；

如θ(k)-θ(k-1)>θ_Th，C_l加1；θk-1)表述k-1时刻的方位角之和；

(4)判断变道趋势，其中N为给定的门限值：

如C_r>N，车辆右转；

如C_l>N，车辆左转；

否则，车辆不转向。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (6)

1.一种基于AR-HMD的智能头盔盲区检测系统，其特征在于，包括智能头盔与移动终端；所述智能头盔包括摄像装置、传输模块、报警模块；所述移动终端包括目标检测与跟踪模块；

所述摄像装置安装在智能头盔的两侧，用于拍摄智能头盔侧后方的图像；所述传输模块安装在智能头盔内部，用于将图像发送给移动端的目标检测与跟踪模块，并接收安全报警信息；报警模块将安全报警信息通过AR-HMD显示进行安全预警；

所述目标检测与跟踪模块用于检测出目标并生成安全报警信息。

2.如权利要求1所述的一种基于AR-HMD的智能头盔盲区检测系统，其特征在于，还包括独立采集装置，安装在车辆尾部或行李箱；所述独立采集装置上集成有摄像装置、传输模块，用于将采集的车辆后方的图像传输到移动终端进行处理以生成安全报警信息。

3.一种基于AR-HMD的智能头盔盲区检测方法，其特征在于，具体包括以下步骤：

S1：将智能头盔与移动终端进行通信连接；

S2：摄像装置实时检测驾驶员两侧及后方的图像，并将图像传输到移动终端；

S3：移动终端的目标检测与跟踪模块进行目标检测，计算感兴趣的目标距离作为测量值，并通过目标跟踪估计目标速度，判断目标车辆变道趋势以及目标威胁程度；

S4：移动终端将目标及其威胁程度信息传输到智能头盔，由报警模块将目标及其威胁程度信息投射到AR-HMD前屏并输出不同等级提示。

4.如权利要求3所述的一种基于AR-HMD的智能头盔盲区检测方法，其特征在于，步骤S3中感兴趣的目标集合T＝{T_l，T_m，T_r}，T_l、T_m、T_r分别表示相邻左车道、本车道及相邻右车道的后方满足以下条件的最近目标：

公式(1)中，D表示相对距离，v表示相对速度，Tc为给定的碰撞时间门限。

5.如权利要求3所述的一种基于AR-HMD的智能头盔盲区检测方法，其特征在于，所述S3中，目标车辆变道趋势判断方法为：

S3-1：定义变道趋势计数向量L＝[C_l,C_r]，C_l、C_r分别表示左、右车道变道趋势的累计情况；

S3-2：计算当前时刻感兴趣目标的的方位角之和

θ(k)＝∑θ_Ti(k),T_i∈T (2)

公式(2)中，θ(k)表示k时刻的方位角之和，T_i表示第i个目标，θ_Ti(k)表示第i个目标的方位角；

S3-3：与上一时刻比较，计算当前时刻方位角变化情况，其中θ_Th为给定的门限值：如|θ(k)-θ(k-1)|<θ_Th，C_l、C_r清零；如θ(k)-θ(k-1)<θ_Th，C_r加1；如θ(k)-θ(k-1)>θ_Th，C_l加1；θ(k-1)表述k-1时刻的方位角之和；

S3-4：判断变道趋势，其中N为给定的门限值：如C_r>N，车辆右转；如C_l>N，车辆左转；否则，车辆不转向。

6.如权利要求3所述的一种基于AR-HMD的智能头盔盲区检测方法，其特征在于，所述步骤S4中，输出不同等级提示包括：

若驾驶员有或无变道趋势且无目标，输出第一等级提示并显示绿色；

若驾驶员无变道趋势且有目标，输出第二等级提示并显示黄色；

若驾驶员有变道趋势且有目标，输出第三等级提示并显示红色。

Images