CN109733283A - 基于ar的被遮挡障碍物识别预警系统及识别预警方法 - Google Patents

Abstract

本发明提供一种基于AR的被遮挡障碍物识别预警系统及识别预警方法，其中的系统包括：分别安装在汽车上的车载GPS、车载摄像头、雷达传感器、车载单元、中央处理器、通信网络设备、全息投影仪和全息投影膜。利用上述本发明的基于AR的被遮挡障碍物识别预警系统及识别预警方法，通过视频采集技术对驾驶员现实的道路环境进行图像采集，对行人、自行车等移动障碍物进行识别，基于智能网联技术对多个车辆的视频采集信息进行共享并基于AR技术进行图像信息的叠加，增强驾驶员的视觉显示，为驾驶员提供丰富的视觉服务和交互环境，为驾驶员对被遮挡的障碍物的避让提供一个安全的行驶策略。

Description

基于AR的被遮挡障碍物识别预警系统及识别预警方法

技术领域

本发明涉及智能交通技术领域，更为具体地，涉及一种基于AR的被遮挡障碍物识别预警系统及识别预警方法。

背景技术

提高道路交通安全，减少交通事故是普遍被重视的一个话题。驾驶员视线受阻是诱发道路交通事故的原因之一，并且交通事故呈现伤亡大、破坏力强和突发概率高的特点，对交通参与者的安全构成了极大威胁。究其原因在于视线受阻条件下驾驶员对障碍物，例如过街行人的视认距离减小，驾驶人来不及采取安全措施，导致事故发生。目前，许多车辆已具备障碍物检测功能以及防碰撞安全系统，但是都基于可观测或检测器可检测的障碍物，对于被遮挡的障碍物，目前还没有一个切实可行的识别方案。本发明涉及一种基于AR技术及智能网联技术的驾驶员对被遮挡障碍物的识别及预警方法，基于AR技术与智能网联技术，增强驾驶员的可视范围，尤其是辅助驾驶员识别被遮挡的障碍物，并对其对驾驶员的威胁进行声音预警，从而使得驾驶员提前做好对障碍物的避让准备，提高驾驶安全性。

发明内容

鉴于上述问题，本发明的目的是提供一种基于AR的被遮挡障碍物识别预警系统及识别预警方法，以解决上述背景技术所指出的问题。

本发明提供的基于AR的被遮挡障碍物识别预警系统，包括：分别安装在汽车上的车载GPS、车载摄像头、雷达传感器、车载单元、中央处理器、通信网络设备、全息投影仪和全息投影膜；其中，每辆汽车上安装的车载GPS分别用于实时采集本车的定位信息；每辆汽车上安装的车载摄像头分别用于实时采集车前的视频图像信息；每辆汽车上安装的雷达传感器分别用于检测障碍物信息，障碍物信息包括障碍物相对于本车的距离、障碍物的当前速度、障碍物相对于本车的角度；每辆汽车上安装的通信网络设备分别用于搭建智能网联环境，实现与其它车辆之间的信息交互；每辆汽车上安装的车载单元用于与其他车辆的车载单元进行通信，接收其他车辆的车载单元发送的视频图像信息以及障碍物信息；每辆汽车上安装的中央处理器用于对信息进行运算、处理、判断后输出指令；中央处理器包括视频分析器、预警控制器和AR控制器；其中，视频分析器用于识别视频图像信息中的障碍物的类型及障碍物的种类，并形成显示图像；预警控制器用于计算障碍物与本车的相对距离，并与预设的安全距离阈值进行比对，当超出安全距离阈值时，控制车辆发出声音预警；AR控制器用于开启全息投影仪，还用于根据障碍物的距离和类型生成带有显示3D障碍物的虚拟图像数据，以及用于根据本车的车载单元接收其它车道临近的车辆的车载单元发送的虚拟图像数据，与自身的虚拟图像数据进行叠加，并传送至全息投影仪；全息投影仪，用于将叠加后的虚拟图像数据投影到全息投影膜上；全息投影膜贴在挡风玻璃的内侧，用于显示全息投影仪投影的虚拟图像数据。

本发明提供的基于AR的被遮挡障碍物识别预警方法，障碍物位于B车的右侧，A车位于B车左侧的车道内，包括如下步骤：

步骤S1：通过A车的车载GPS采集A车的定位信息，通过A车的摄像头采集车前的视频图像信息；

步骤S2：通过B车的雷达传感器检测B车与障碍物之间的相对直线距离D_BP；

步骤S3：通过B车的车载GPS采集B车的定位信息，通过B车的摄像头采集车前的视频图像信息；

步骤S4：通过B车的中央处理器将车载GPS采集B车的定位信息和摄像头采集车前的视频图像信息传递给B车的车载单元；

步骤S5：借助于B车的通信网络设备，由B车的车载单元将接收到的信息传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器；

步骤S6：A车的预警控制器将采集到的A车的定位信息匹配至直角坐标系中，得到A车的坐标为(x_A，y_A)，B车的预警控制器将采集到的B车的定位信息匹配至直角坐标系中，得到B车的坐标为(x_B，y_B)，再结合B车与障碍物之间的相对位置信息，计算得到A车与障碍物的距离信息L；其中，距离信息L的计算过程为：

在直角坐标系中，A车与障碍物的X轴位移为L_x，A车与障碍物的Y轴位移为L_y，则

其中，L_x＝D_BP·cosβ+(x_B-x_A)，L_y＝D_BP·sinβ+(y_B-y_A)；

步骤S7：通过A车的预警控制器判断该距离信息L是否小于A车预设的安全距离阈值L_c，如果小于，转至步骤S8，否转至步骤S17；

步骤S8：A车的视频分析器对A车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第一层显示图像；

步骤S9：B车视频分析器对B车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第二层显示图像；

步骤S10：基于B车的雷达传感器检测到的B车与动态的障碍物之间的相对直线距离D_BP，在第二层显示图像上通过B车的AR控制器提取动态的障碍物的特征信息、动态的障碍物与B车的距离信息，形成带有障碍物3D显示的第三层显示图像；

步骤S11：B车的AR控制器将第三层显示图像传递给B车的车载单元；

步骤S12：借助于通信网络设备，B车的车载单元将第三层显示图像传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器；

步骤S13：A车的中央处理器将第三层显示图像传输给A车的AR控制器，A车的AR控制器将第三层显示图像与自身的第一层显示图像进行叠加，形成第四层显示图像；

步骤S14：A车的AR控制器开启全息投影仪；

步骤S15：全息投影仪将第四层显示图像映射到全息投影膜上进行显示；

步骤S16：A车的预警控制器控制A车发出声音预警；

步骤S17：车辆正常行驶，不对车辆进行图像及声音预警。

利用上述本发明的基于AR的被遮挡障碍物识别预警系统及识别预警方法，通过视频采集技术对驾驶员现实的道路环境进行图像采集，对行人、自行车等移动障碍物进行识别，基于智能网联技术对多个车辆的视频采集信息进行共享并基于AR技术进行图像信息的叠加，增强驾驶员的视觉显示，为驾驶员提供丰富的视觉服务和交互环境，为驾驶员对被遮挡的障碍物的避让提供一个安全的行驶策略。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于AR的被遮挡障碍物识别预警系统的逻辑结构示意图；

图2为根据本发明实施例的基于AR的被遮挡障碍物识别预警系统的模块图；

图3为根据本发明实施例的基于AR的被遮挡障碍物识别预警方法的流程示意图；

图4为根据本发明实施例的基于AR的被遮挡障碍物识别预警方法的情景示意图。

其中的附图标记包括：车载GPS1、车载摄像头2、雷达传感器3、车载单元4、车载单元4-1、车载单元4-2、中央处理器5、视频分析器5-1、预警控制器5-2、AR控制器5-3、通信网络设备6、全息投影仪7、全息投影膜8。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

图1和图2分别示出了根据本发明实施例的基于AR的被遮挡障碍物识别预警系统的逻辑结构和模块。

如图1和图2所示，本发明提供的基于AR的被遮挡障碍物识别预警系统，包括：分别安装在汽车上的车载GPS1、车载摄像头2、雷达传感器3、车载单元4、中央处理器5、通信网络设备6、全息投影仪7和全息投影膜8；其中，

车载GPS1用于采集汽车的定位信息。

车载摄像头2设置在车头的左侧或右侧，用于拍摄记录车辆当前的道路环境，实时采集车前的视频图像信息。

雷达传感器3用于检测障碍物信息，障碍物信息包括障碍物相对于本车的距离、障碍物的当前速度、障碍物相对于本车的角度；雷达传感器3可以为超声波雷达、毫米波雷达、激光雷达等雷达，用以对障碍物(如车辆、行人、自行车等物体)相对于车的距离、当前速度、角度等信息的检测。

车载单元4，其为OBU(On board Unit)或OBD(On Board Diagnostic)诊断终端，采用短程通信网络DSRC(Dedicated Short Range Communication)技术，与其他车辆的车载单元进行通讯的微波装置。参考图4，道路上A车的车载单元4-1接收短程范围内B车的车载单元4-2发送的B车采集得到的视频图像信息，同时接收B车与其前方障碍物的距离信息，A车在接收到这些信息后传递给本车的中央处理器5。

中央处理器5，是车辆的CPU，将从外部设备采集得到的信息输入中央处理器5后，中央处理器5对信息进行运算、处理、判断，然后输出指令，辅助驾驶员驾驶。在本发明中，中央处理器有如下功能模块：

视频分析器5-1，对视频图像信息进行分析，包括对道路环境中动态的车辆、行人、自行车，静态的路缘石、标志、标线进行识别。

预警控制器5-2，内置有障碍物与本车的安全距离阈值，计算障碍物与本车的相对距离，并与安全距离阈值进行比对，当超出安全距离阈值时，控制车辆发出声音预警。

AR控制器5-3，在本发明中主要包括增强视觉与补充视觉的功能。增强视觉：根据障碍物的距离和类型生成虚拟图像数据，并将增强的信息叠加在现实道路环境的图像信息中，增强障碍物对驾驶员的视觉显示。补充视觉：参考图4，B车将其视觉图像信息传输给A车，通过与A车自身的图像信息叠加，补充A车的视觉显示，尤其是补充被B车遮挡的障碍物的图像信息；此外，AR控制器控制全息投影仪开启。

通信网络设备6用于实现智能网联环境，其主要依赖两方面的通信技术：短距离视频通信DSRC和远距离移动通信技术，前者主要是RFID传感设备及类似WIFI等2.4G通信技术，后者主要是GPRS、3G、LTE、4G等移动通信技术。借助通信网络设备6，实现道路中车辆与车辆之间的信息交互。

全息投影仪7设置在挡风玻璃下方台面上或悬挂在上方，对其按照位置不做具体限定。全息投影仪7投射出的光线经过全息投影膜8的反射就会到达驾驶员的眼位，因此，从驾驶员的角度来看，虚拟图像就像悬浮在车前环境中。

全息投影膜8贴合在挡风玻璃的内侧，其中透明全息投影膜拥有透明特性，不会影响驾驶员在正常行驶状态下的视线。

车载摄像头2与视频分析器5-1构成视频检测与识别模块；车载单元4与通信网络设备6构成信息交互模块；全息投影仪7、全息投影膜8与AR控制器5-3构成遮挡障碍物AR显示模块；车载GPS1、雷达传感器3与预警控制器5-2构成障碍物检测及驾驶预警模块。

在视频检测与识别模块中，车载摄像头2采集车辆外部道路环境图像信息，视频分析器5-1将图像信息进行分析处理，提取动态、静态物体的外形、颜色等特征，与知识库进行匹配，最终识别物体的种类。其中，基于A车的车载摄像头采集到的图形信息经过A车的视频分析器5-1分析后形成第一层显示图像；B车的车载摄像头2采集到的图形信息经过B车的视频分析器分析后形成第二层显示图像。

信息交互模块是车辆与车辆之间信息交互的媒介，图像与距离信息借助于通信网络设备6，通过两个车的车载单元4-1、车载单元4-2在A车与B车之间进行交互，支撑A车与B车的遮挡障碍物AR显示模块、障碍物检测及驾驶预警模块的功能实现。

遮挡障碍物AR显示模块将障碍物的距离、类型等特性信息经过B车的AR控制器5-3分析后在第二层图像中标记障碍物的位置，并进行3D显示，形成第三层显示图像；基于信息交互模块的信息传递，A车的AR控制器5-3将第一层与第三层显示图像进行AR图像叠加，形成第四层显示图像，A车的AR控制器5-3将最终的图像叠加结果传输给A车的全息投影仪7，全息投影仪7将图像投影至全息投影膜8，完成A车驾驶员对被遮挡的障碍物识别。

在障碍物检测及驾驶预警模块中，车载GPS1采集车辆定位信息，B车的雷达传感器3检测车辆与动态的障碍物的距离，基于信息交换模块的信息传递，A车的预警控制器5-2将A车与B车的相对距离信息、B车与该障碍物的相对距离信息进行融合，计算得到A车与该障碍物的相对距离信息。A车的预警控制器5-2中内置障碍物与A车的安全距离阈值，将该障碍物与A车的间距与安全距离阈值进行比对，在该障碍物与A车的间距超出安全距离阈值时，控制车辆发出声音预警，提示驾驶员对障碍物进行避让。

上述内容详细说明了本发明提供的基于AR的被遮挡障碍物识别预警系统的逻辑结构，与该系统相对应，本发明还提供一种基于AR的被遮挡障碍物识别预警方法。

图3和图4分别示出了根据本发明实施例的基于AR的被遮挡障碍物识别预警方法的流程和情景。

如图3和图4所示，本发明实施例的基于AR的被遮挡障碍物识别预警方法，包括：

步骤S1：通过A车的车载GPS采集A车的定位信息，通过A车的摄像头采集车前的视频图像信息。

步骤S2：通过B车的雷达传感器检测B车与障碍物之间的相对直线距离D_BP。

步骤S3：通过B车的车载GPS采集B车的定位信息，通过B车的摄像头采集车前的视频图像信息。

基于视频数据处理，分析B车与障碍物之间的相对位置关系，以B车为基准点，B车与障碍物形成的角度为β。

步骤S4：通过B车的中央处理器将车载GPS采集B车的定位信息和摄像头采集车前的视频图像信息传递给B车的车载单元。

步骤S5：借助于B车的通信网络设备，由B车的车载单元将接收到的信息传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器。

步骤S6：A车的预警控制器将采集到的A车的定位信息的匹配至直角坐标系中，得到A车的坐标为(x_A，y_A)，B车的预警控制器将采集到的B车的定位信息匹配至直角坐标系中，得到B车的坐标为(x_B，y_B)，再结合B车与障碍物之间的相对位置信息，计算得到A车与障碍物的距离信息L。

其中，距离信息L的计算过程为：

在直角坐标系中，A车与障碍物的X轴位移为L_x，A车与障碍物的Y轴位移为L_y，则

其中，L_x＝D_BP·cosβ+(x_B-x_A)，L_y＝D_BP·sinβ+(y_B-y_A)。

步骤S7：通过A车的预警控制器判断该距离信息L是否小于A车预设的安全距离阈值L_c，如果小于，转至步骤S8，否转至步骤S17。

步骤S8：A车的视频分析器对A车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第一层显示图像。

步骤S9：B车视频分析器对B车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第二层显示图像。

步骤S10：基于B车的雷达传感器检测到的B车与动态的障碍物之间的相对直线距离D_BP，在第二层显示图像上通过B车的AR控制器提取动态的障碍物的特征信息、动态的障碍物与B车的距离信息形成带有障碍物3D显示的第三层显示图像。

步骤S11：B车的AR控制器将第三层显示图像传递给B车的车载单元。

步骤S12：借助于通信网络设备，B车的车载单元将第三层显示图像传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器。

步骤S13：A车的中央处理器将第三层显示图像传输给A车的AR控制器，A车的AR控制器将第三层显示图像与自身的第一层显示图像进行叠加，形成第四层显示图像。

步骤S14：A车的AR控制器开启全息投影仪。

步骤S15：全息投影仪将第四层显示图像映射到全息投影膜上进行显示。

步骤S16：A车的预警控制器控制A车发出声音预警。

步骤S17：车辆正常行驶，不对车辆进行图像及声音预警。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (2)

1.一种基于AR的被遮挡障碍物识别预警系统，其特征在于，包括：

分别安装在汽车上的车载GPS、车载摄像头、雷达传感器、车载单元、中央处理器、通信网络设备、全息投影仪和全息投影膜；其中，

每辆汽车上安装的车载GPS分别用于实时采集本车的定位信息；

每辆汽车上安装的车载摄像头分别用于实时采集车前的视频图像信息；

每辆汽车上安装的雷达传感器分别用于检测障碍物信息，障碍物信息包括障碍物相对于本车的距离、障碍物的当前速度、障碍物相对于本车的角度；

每辆汽车上安装的通信网络设备分别用于搭建智能网联环境，实现与其它车辆之间的信息交互；

每辆汽车上安装的车载单元用于与其他车辆的车载单元进行通信，接收其他车辆的车载单元发送的视频图像信息以及障碍物信息；

每辆汽车上安装的中央处理器用于对信息进行运算、处理、判断后输出指令；所述中央处理器包括视频分析器、预警控制器和AR控制器；其中，

所述视频分析器用于识别所述视频图像信息中的障碍物的类型及障碍物的种类，并形成显示图像；

所述预警控制器用于计算障碍物与本车的相对距离，并与预设的安全距离阈值进行比对，当超出安全距离阈值时，控制车辆发出声音预警；

所述AR控制器用于开启所述全息投影仪，还用于所述根据障碍物的距离和类型生成带有显示3D障碍物的虚拟图像数据，以及用于根据本车的车载单元接收其它车道临近的车辆的车载单元发送的虚拟图像数据，与自身的虚拟图像数据进行叠加，并传送至所述全息投影仪；

所述全息投影仪，用于将叠加后的虚拟图像数据投影到所述全息投影膜上；

所述全息投影膜贴在挡风玻璃的内侧，用于显示所述全息投影仪投影的虚拟图像数据。

2.一种基于AR的被遮挡障碍物识别预警方法，障碍物位于B车的右侧，A车位于B车左侧的车道内，该预警方法包括如下步骤：

步骤S1：通过A车的车载GPS采集A车的定位信息，通过A车的摄像头采集车前的视频图像信息；

步骤S2：通过B车的雷达传感器检测B车与障碍物之间的相对直线距离D_BP；

步骤S3：通过B车的车载GPS采集B车的定位信息，通过B车的摄像头采集车前的视频图像信息；

步骤S4：通过B车的中央处理器将车载GPS采集B车的定位信息和摄像头采集车前的视频图像信息传递给B车的车载单元；

步骤S5：借助于B车的通信网络设备，由B车的车载单元将接收到的信息传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器；

步骤S6：A车的预警控制器将采集到的A车的定位信息匹配至直角坐标系中，得到A车的坐标为(x_A，y_A)，B车的预警控制器将采集到的B车的定位信息匹配至直角坐标系中，得到B车的坐标为(x_B，y_B)，再结合B车与障碍物之间的相对位置信息，计算得到A车与障碍物的距离信息L；其中，距离信息L的计算过程为：

在直角坐标系中，A车与障碍物的X轴位移为L_x,A车与障碍物的Y轴位移为L_y，则

其中，L_x＝D_BP·cosβ+(x_B-x_A),L_y＝D_BP·sinβ+(y_B-y_A)；

步骤S7：通过A车的预警控制器判断该距离信息L是否小于A车预设的安全距离阈值L_c，如果小于，转至步骤S8，否转至步骤S17；

步骤S8：A车的视频分析器对A车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第一层显示图像；

步骤S9：B车视频分析器对B车的摄像头采集到的车前的视频图像信息进行处理，对动态的障碍物进行识别，对静态的道路标线、标志进行识别，形成第二层显示图像；

步骤S10：基于B车的雷达传感器检测到的B车与动态的障碍物之间的相对直线距离D_BP，在第二层显示图像上通过B车的AR控制器提取动态的障碍物的特征信息、动态的障碍物与B车的距离信息，形成带有障碍物3D显示的第三层显示图像；

步骤S11：B车的AR控制器将第三层显示图像传递给B车的车载单元；

步骤S12：借助于通信网络设备，B车的车载单元将第三层显示图像传递给A车的车载单元，A车的车载单元接收信息后传输给A车的中央处理器；

步骤S13：A车的中央处理器将第三层显示图像传输给A车的AR控制器，A车的AR控制器将第三层显示图像与自身的第一层显示图像进行叠加，形成第四层显示图像；

步骤S14：A车的AR控制器开启全息投影仪；

步骤S15：全息投影仪将第四层显示图像映射到全息投影膜上进行显示；

步骤S16：A车的预警控制器控制A车发出声音预警；

步骤S17：车辆正常行驶，不对车辆进行图像及声音预警。