CN111231833A - 一种基于全息投影与ar结合的汽车辅助驾驶系统 - Google Patents

一种基于全息投影与ar结合的汽车辅助驾驶系统 Download PDF

Info

Publication number
CN111231833A
CN111231833A CN202010077525.0A CN202010077525A CN111231833A CN 111231833 A CN111231833 A CN 111231833A CN 202010077525 A CN202010077525 A CN 202010077525A CN 111231833 A CN111231833 A CN 111231833A
Authority
CN
China
Prior art keywords
image
circuit board
control circuit
information
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010077525.0A
Other languages
English (en)
Inventor
胡军
郇海瑶
梁康玉
高云博
杨俊杰
郭成成
施斌缘
徐帆
仓尖措
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202010077525.0A priority Critical patent/CN111231833A/zh
Publication of CN111231833A publication Critical patent/CN111231833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于全息投影与AR结合的汽车辅助驾驶系统,在汽车车顶前、左、右三个方向安装三个相同的摄像头来采集汽车的路况图像信息,并将采集到的图像信息传输给控制电路板进行图像处理,增强驾驶员的视觉感知,并利用K波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板,在实像上画出道路标志线和车距信息,当汽车与其他车辆车距低于预设值时向驾驶员提供视觉和听觉上的报警信息,当控制电路板识别到车辆超出道路标志线时,控制电路板控制语音报警器发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,将虚像叠加到实像上的方案以达到增强现实环境的目的。

Description

一种基于全息投影与AR结合的汽车辅助驾驶系统
技术领域
本发明涉及全息投影和AR领域,尤其涉及一种基于全息投影与AR结合的汽车辅助驾驶系统。
背景技术
随着我国经济发展,汽车越来越多的汽车进入寻常百姓家,为公路运营带来了一定的压力。车辆的虚拟仪表将车辆的工作状态展现给驾驶人员,是驾驶人员与车辆进行信息交流的重要接口和界面,是车辆安全行驶的重要保障。同时行车辅助驾驶系统为驾驶人员提供车辆以外的环境信息,为驾驶人员提供更高的预见能力。
驾驶人员在驾驶汽车的过程中,常常因驾驶车头限制视线导致车轮压标志线行驶,占用其他车道,影响了其他车辆的正常行驶,极易造成车辆刮擦事故。此外,公路上画出的边缘线主要用于为驾驶员提供路边缘参考线,防止驾驶员因不能够准确识别出道路边缘而发生侧翻、碰撞等交通事故。
现有技术中,主要采用车载显示屏显示摄像头采集到的道路图像信息,用于为驾驶员提供道路标志线信息,该方法给驾驶员的视觉感知较差,且需要驾驶员低头查看显示屏,容易分散驾驶员的注意力,尤其是在高速公路上行驶时,视线短暂的转移都将可能造成交通安全事故。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于全息投影与AR结合的汽车辅助驾驶系统,采用全息投影技术和AR技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶,将当前车辆与附近车辆间距信息标记在实像上,并在实像上画出道路标志线,增强驾驶员的视觉感知,使驾驶员更加准确的得知当前车辆所处环境。AR为增强现实技术,可用于辅助驾驶员驾驶车辆,将驾驶员所需要得知的路况信息凸显在驾驶员视线前方,增强驾驶员的视觉感知能力,大大提高了驾驶员驾驶车辆的警觉性。
为了实现上述目的,本发明提供的一种基于全息投影与AR结合的汽车辅助驾驶系统是这样实现的:
一种基于全息投影与AR结合的汽车辅助驾驶系统,包括语音报警器、控制电路板、投影仪、透明全息膜、摄像头、激光发射器、扩束镜、K波段雷达,在汽车顶盖上安装三个相同的摄像头,分别采集汽车前、左、右三个方位的道路图像信息,摄像头与控制电路板连接在一起,摄像头将采集到的图像信息传输给控制电路板,由控制电路板对三个摄像头采集到的图像信息进行融合,将汽车前、左、右三个方位的道路图像信息显示在一张图片上,采用三个K波段雷达检测汽车距前车距离、左车距离、右车距离,检测前车距离的K波段雷达安装在汽车前面品牌标志下方,检测左车距离的K波段雷达安装在汽车左前门防擦条上,检测右车距离的K波段雷达安装在汽车右前门防擦条上,语音报警器、控制电路板、投影仪安装在汽车上面杂物箱中,透明全息膜贴附在前风挡玻璃内侧,激光发射器安装在室内镜上方,用于向透明全息膜发射激光束,激光发射器镜头上安装扩束镜,用于对激光发射器发出的激光束进行扩束后照射到透明全息膜上,控制电路板控制投影仪将处理后的图像信息投射到透明全息膜上,投影仪投射出的图像光线和激光发射器发出的激光束在透明全息膜上产生干涉反应,将摄像头采集到的图像再现出来,驾驶员透过透明全息膜即可查看到汽车当前的路况信息,K波段雷达将采集到的车间距信息传输给控制电路板,由控制电路板在融合后的图像上标记出汽车与前车、左车、右车的距离信息,并在图像上标记道路标志线,并将道路标志线标志成白色或者蓝色图案,增加驾驶员的视觉感知,当识别到车间距低于预设值时或者汽车超出标志线时,控制电路板控制语音报警器为驾驶员提供报警信息。
本发明辅助驾驶员驾驶汽车的方案在于:开启本系统后,控制电路板先自我进行初始化处理,控制器电路板控制激光发射器向透明全息膜上发射激光束,车顶上的三个摄像头将采集到的信息传输给控制电路板进行图像处理,并识别出道路标志线的位置,并将标志线标记在图像上,三个K波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板,完成车距的采集,控制电路板在图像上标记出车距信息,这样即将虚拟图像和真实图像叠加在一起,其中摄像头采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,通过虚像叠加在实像上来增强现实空间的感知,达到增强驾驶员的视觉感知的目的,使驾驶员更加准确的得知当前车辆所处环境,当三个K波段雷达中的其中一个检测到车距低于预设值时,控制电路板将图像是标记的对应车距信息显示成红色,并控制语音报警器向驾驶员发出报警信息,提醒驾驶员注意车距,当驾驶员调节车距后,控制电路板控制语音报警器解除报警,并将图像上的车距显示为白色或者蓝色图案信息;当控制电路板识别到车辆超出道路标志线时,控制电路板控制语音报警器发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,当驾驶员将车辆控制到道路标志线内时,控制电路板控制语音报警器解除报警,并将图像上标记出的道路标志线显示为白色或者蓝色图案。
本发明的控制电路板对三个摄像头采集到的图像信息进行图像融合后,再进行图像识别,具体步骤如下:
(1)图像预处理阶段:三个摄像头采集到的图像信息传输给控制电路板,由于采集到的图像含有大量干扰信息,这些干扰信息会影响车道线的检测,且三个摄像头采集到的图像信息有重叠的地方,需要将这三张图像融合到一张图上,便于处理,所以需要对图像进行灰度化、图像融合、平滑滤波、图像增强、边缘检测及二值化处理;在图像灰度化后利用了小波图像融合算法将三个摄像头采集到的图像进行融合,使它们成为一张图,再采用垂直灰度均值分布的方法选取分割线去除了图像天空部分;针对光照强弱的情况分别对图像进行了拉伸和均衡处理,提高图像的对比度;选取Canny算子对图像进行边缘检测;根据图像底部中间是道路的前提下利用其灰度特征优化阂值的选取来实现图像的二值化,增强道路线与道路的对比度;
(2)道路标志线边缘检测阶段:针对二值化后边缘图像依然含有大量噪声边缘的问题,再利用车道线在图像中成一定角度的特点进行边缘筛选,将图像平均划分成若干子区域,选取子区域中边缘线角度异常的线加以排除,再利用形态学处理算法对去噪后的图像加以补偿,利用分块的思想,对每个子区域判断边缘线方向,去除异常方向的子区域,最后利用加权的最小二乘法求取消失线;
(3)车道线检测和跟踪:对已有的车道线模型匹配方法进行改进,针对直线模型,利用改进的Hough变换和改进的概率Hough变换进行车道线的识别,在传统Hough变换下建立极角约束区域限制边缘点搜索区域,避免了车道外部边缘的干扰,而在利用概率Hough变换时设置了累加阂值和车道线长度闭值这两个阂值以提高实时性,改进后的Hough变换和概率Hough变换加快了识别的速度,且大大提高了识别的准确率;针对弯道建立了抛物线模型,分别采用改进的RANSAC算法结合最小二乘法还有LMedSquare算法进行拟合,限制RANSAC的随机取点,删除己经用过的特征点,加快识别速度,实验显示,在检测一些道路时依然会出现较多错误;针对直线一抛物线模型,采用二分图像模型分界线的提取方法,利用车道弯曲时斜率发生改变的现象,基于子区域边缘方向,寻找最大区分度的方式来获取分界线,接着采用最小二乘法来拟合模型;利用Kalman滤波来跟踪道路图像,利用前一帧获取的车道线预测下一帧车道线的范围。
由于本发明采用全息投影技术和AR技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶,的结构,从而可以得到以下有益效果:
本发明采用摄像头采集汽车前、左、右三个方向的路况图像信息,并将采集到的图像信息传输给控制电路板进行融合、识别处理,在实像上画出道路标志线,增强驾驶员的视觉感知,并利用K波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板,控制电路板在图像上标记出车距信息,这样即将虚拟图像和真实图像叠加在一起,其中摄像头采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,当汽车与其他车辆车距低于预设值时向驾驶员提供视觉和听觉上的报警信息,防止司机麻痹大意与其他车辆发生剐蹭等交通事故,当控制电路板识别到车辆超出道路标志线时,控制电路板控制语音报警器发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,同样在视觉和听觉上提醒司机谨慎驾驶。由于透明全息膜贴附在前风挡玻璃内侧,即虚拟现实图像展示在前风挡玻璃上,无需驾驶员低头查看显示屏,提升安全性。
附图说明
图1为本发明一种基于全息投影与AR结合的汽车辅助驾驶系统的车内安装结构示意图;
图2为本发明一种基于全息投影与AR结合的汽车辅助驾驶系统的车外安装结构示意图;
图3为本发明一种基于全息投影与AR结合的汽车辅助驾驶系统的辅助驾驶员驾驶汽车的方案流程图;
图4为本发明一种基于全息投影与AR结合的汽车辅助驾驶系统的图像融合及识别的流程图;
图5为本发明一种基于全息投影与AR结合的汽车辅助驾驶系统的工作原理图。
主要元件符号说明。
语音报警器 1 控制电路板 2
投影仪 3 透明全息膜 4
摄像头 5 激光发射器 6
扩束镜 7 K波段雷达 8
具体实施方式
下面结合实施例并对照附图对本发明作进一步详细说明。
请参阅图1至图5所示为本发明中的一种基于全息投影与AR结合的汽车辅助驾驶系统,包括语音报警器1、控制电路板2、投影仪3、透明全息膜4、摄像头5、激光发射器6、扩束镜7、K波段雷达8。
如图1和图2所示,所述的摄像头5安装在车顶上,且在汽车顶盖上安装三个相同的摄像头5,分别采集汽车前、左、右三个方位的道路图像信息,摄像头5与控制电路板2连接在一起,摄像头5将采集到的图像信息传输给控制电路板2,由控制电路板2对三个摄像头5采集到的图像信息进行融合,将汽车前、左、右三个方位的道路图像信息显示在一张图片上,采用三个K波段雷达8检测汽车距前车距离、左车距离、右车距离,检测前车距离的K波段雷达8安装在汽车前面品牌标志下方,检测左车距离的K波段雷达8安装在汽车左前门防擦条上,检测右车距离的K波段雷达8安装在汽车右前门防擦条上,语音报警器1、控制电路板2、投影仪3安装在汽车上面杂物箱中,透明全息膜4贴附在前风挡玻璃内侧,激光发射器6安装在室内镜上方,用于向透明全息膜4发射激光束,激光发射器6镜头上安装扩束镜7,用于对激光发射器6发出的激光束进行扩束后照射到透明全息膜4上,控制电路板2控制投影仪3将处理后的图像信息投射到透明全息膜4上,投影仪3投射出的图像光线和激光发射器6发出的激光束在透明全息膜4上产生干涉反应,将摄像头5采集到的图像再现出来,驾驶员透过透明全息膜4即可查看到汽车当前的路况信息,K波段雷达8将采集到的车间距信息传输给控制电路板2,由控制电路板2在融合后的图像上标记出汽车与前车、左车、右车的距离信息,并在图像上标记道路标志线,并将道路标志线标志成白色或者蓝色图案,增加驾驶员的视觉感知,当识别到车间距低于预设值时或者汽车超出标志线时,控制电路板2控制语音报警器1为驾驶员提供报警信息。语音报警器1、投影仪3、摄像头5、激光发射器6、K波段雷达8均与控制电路板2连接,摄像头5向下倾斜安装,便于采集到路面的图像信息,语音报警器1提醒驾驶员车距过低信息以及车轮车辆占道信息,为驾驶员提供视觉和听觉上的结合,提高驾驶员对路况的认知能力,减少交通事故。
所述的摄像头5采用高清摄像头5,可以清晰的拍摄出道路的图像信息。
如图3所示,所述的辅助驾驶员驾驶汽车的方案在于:开启本系统后,控制电路板2先自我进行初始化处理,控制器电路板控制激光发射器6向透明全息膜4上发射激光束,车顶上的三个摄像头5将采集到的信息传输给控制电路板2进行图像处理,并识别出道路标志线的位置,并将标志线标记在图像上,三个K波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2,完成车距的采集,控制电路板2在图像上标记出车距信息,这样即将虚拟图像和真实图像叠加在一起,其中摄像头5采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,当三个K波段雷达8中的其中一个检测到车距低于预设值时,控制电路板2将图像是标记的对应车距信息显示成红色,并控制语音报警器1向驾驶员发出报警信息,提醒驾驶员注意车距,当驾驶员调节车距后,控制电路板2控制语音报警器1解除报警,并将图像上的车距显示为白色或者蓝色图案信息;当控制电路板2识别到车辆超出道路标志线时,控制电路板2控制语音报警器1发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,当驾驶员将车辆控制到道路标志线内时,控制电路板2控制语音报警器1解除报警,并将图像上标记出的道路标志线显示为白色或者蓝色图案。在视觉和听觉上给驾驶员提供汽车的路况信息,使驾驶员更加准确的得知当前车辆所处环境,防止司机因不能够准确得知与前、左、右方向的车距信息而发生剐蹭事故,也能防止司机因不知道车辆超过道路标志线而影响其他车辆行驶的情况,驾驶员无需频繁低头即可查看汽车当前的路况信息。
本发明的控制电路板2还可以与汽车中控台连接,将汽车的车速、油量、水温等重要参数信息作为虚拟图像叠加到采集到的的真实图像上,便于司机在不低头的情况下能够查看到汽车的运行参数信息。
本发明的控制电路板2采用FPGA控制板,能对采集到的图像进行快速处理。
如图4所示,所述的控制电路板2对三个摄像头5采集到的图像信息进行图像融合后,再进行图像识别,具体步骤如下:
(1)图像预处理阶段:三个摄像头5采集到的图像信息传输给控制电路板2,由于采集到的图像含有大量干扰信息,这些干扰信息会影响车道线的检测,且三个摄像头5采集到的图像信息有重叠的地方,需要将这三张图像融合到一张图上,便于处理,所以需要对图像进行灰度化、图像融合、平滑滤波、图像增强、边缘检测及二值化处理;在图像灰度化后利用了小波图像融合算法将三个摄像头5采集到的图像进行融合,使它们成为一张图,再采用垂直灰度均值分布的方法选取分割线去除了图像天空部分;针对光照强弱的情况分别对图像进行了拉伸和均衡处理,提高图像的对比度;选取Canny算子对图像进行边缘检测;根据图像底部中间是道路的前提下利用其灰度特征优化阂值的选取来实现图像的二值化,增强道路线与道路的对比度;
(2)道路标志线边缘检测阶段:针对二值化后边缘图像依然含有大量噪声边缘的问题,再利用车道线在图像中成一定角度的特点进行边缘筛选,将图像平均划分成若干子区域,选取子区域中边缘线角度异常的线加以排除,再利用形态学处理算法对去噪后的图像加以补偿,利用分块技术,对每个子区域判断边缘线方向,去除异常方向的子区域,最后利用加权的最小二乘法求取消失线;
(3)车道线检测和跟踪:对已有的车道线模型匹配方法进行改进,针对直线模型,利用改进的Hough变换和改进的概率Hough变换进行车道线的识别,改进的Hough变换为在传统Hough变换下建立极角约束区域限制边缘点搜索区域,避免了车道外部边缘的干扰,改进的概率Hough变换为在利用概率Hough变换时设置了累加阂值和车道线长度闭值这两个阂值以提高实时性,改进后的Hough变换和概率Hough变换加快了识别的速度,且大大提高了识别的准确率;针对弯道建立了抛物线模型,分别采用改进的RANSAC算法结合最小二乘法还有LMedSquare算法进行拟合,限制RANSAC的随机取点,删除己经用过的特征点,加快识别速度,实验显示,在检测一些道路时依然会出现较多错误;针对直线一抛物线模型,采用二分图像模型分界线的提取方法,利用车道弯曲时斜率发生改变的现象,基于子区域边缘方向,寻找最大区分度的方式来获取分界线,接着采用最小二乘法来拟合模型;利用Kalman滤波来跟踪道路图像,利用前一帧获取的车道线预测下一帧车道线的范围。
由于本发明采用全息投影技术和AR技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶,从而可以得到以下有益效果:
本发明采用摄像头5采集汽车前、左、右三个方向的路况图像信息,并将采集到的图像信息传输给控制电路板2进行融合、识别处理,在实像上画出道路标志线,增强驾驶员的视觉感知,并利用K波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2,控制电路板2在图像上标记出车距信息,这样即将虚拟图像和真实图像叠加在一起,其中摄像头5采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,当汽车与其他车辆车距低于预设值时向驾驶员提供视觉和听觉上的报警信息,防止司机麻痹大意与其他车辆发生剐蹭等交通事故,当控制电路板2识别到车辆超出道路标志线时,控制电路板2控制语音报警器1发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,同样在视觉和听觉上提醒司机谨慎驾驶。由于透明全息膜贴附在前风挡玻璃内侧,即虚拟现实图像展示在前风挡玻璃上,无需驾驶员低头查看显示屏,提升安全性。具体实施时,虚拟现实图像显示在不影响驾驶员视线的位置,例如前风挡玻璃的偏下方位置。
本发明的工作原理与工作过程如下:
如图5所示,控制器电路板控制激光发射器6向透明全息膜4上发射激光束,车顶上的三个摄像头5将采集到的信息传输给控制电路板2进行图像处理,并识别出道路标志线的位置,并将标志线标记在图像上,三个K波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2,完成车距的采集,控制电路板2在图像上标记出车距信息,这样即将虚拟图像和真实图像叠加在一起,其中摄像头5采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,由控制电路板2控制投影仪3将控制电路板2中叠加的虚实图像投射到透明全息膜4上,投影仪3投射出的图像光线和激光发射器6发出的激光束在透明全息膜4上产生干涉反应,将摄像头5采集到的图像再现出来,当三个K波段雷达8中的其中一个检测到车距低于预设值时,控制电路板2将图像是标记的对应车距信息显示成红色,并控制语音报警器1向驾驶员发出报警信息,提醒驾驶员注意车距,当驾驶员调节车距后,控制电路板2控制语音报警器1解除报警,并将图像上的车距显示为白色或者蓝色图案信息;当控制电路板2识别到车辆超出道路标志线时,控制电路板2控制语音报警器1发出偏移的信息,并将图像上标记出的道路标志线显示为红色,提醒司机超出了道路标志线的信息,当驾驶员将车辆控制到道路标志线内时,控制电路板2控制语音报警器1解除报警,并将图像上标记出的道路标志线显示为白色或者蓝色图案。

Claims (7)

1.一种基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:包括语音报警器、控制电路板、投影仪、透明全息膜、摄像头、激光发射器、扩束镜、K波段雷达,在汽车顶盖上安装三个相同的摄像头,分别采集汽车前、左、右三个方位的道路图像信息,摄像头与控制电路板连接在一起,摄像头将采集到的图像信息传输给控制电路板,由控制电路板对三个摄像头采集到的图像信息进行融合,将汽车前、左、右三个方位的道路图像信息显示在一张图片上,采用三个K波段雷达检测汽车距前车距离、左车距离、右车距离,透明全息膜贴附在前风挡玻璃内侧,激光发射器安装在室内镜上方,用于向透明全息膜发射激光束,激光发射器镜头上安装扩束镜,用于对激光发射器发出的激光束进行扩束后照射到透明全息膜上,控制电路板控制投影仪将处理后的图像信息投射到透明全息膜上,投影仪投射出的图像光线和激光发射器发出的激光束在透明全息膜上产生干涉反应,将摄像头采集到的图像再现出来,K波段雷达将采集到的车间距信息传输给控制电路板,由控制电路板在融合后的图像上标记出汽车与前车、左车、右车的距离信息,并在图像上标记道路标志线,并将道路标志线标志成白色或者蓝色图案,摄像头采集到的道路图像信息为实像,标记在图像上的车距信息和凸显的道路标志信息为虚像,当识别到车间距低于预设值时或者汽车超出标志线时,控制电路板控制语音报警器为驾驶员提供报警信息。
2.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:所述汽车辅助驾驶系统的工作步骤为:开启本系统后,控制电路板先进行初始化处理,控制器电路板控制激光发射器向透明全息膜上发射激光束,车顶上的三个摄像头将采集到的信息传输给控制电路板进行图像处理,并识别出道路标志线的位置,并将标志线标记在图像上,三个K波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板,完成车距的采集,控制电路板在图像上标记出车距信息,将虚拟图像和真实图像叠加在一起,当三个K波段雷达中的其中一个检测到车距低于预设值时,控制电路板将图像是标记的对应车距信息显示成红色,并控制语音报警器向驾驶员发出报警信息,以提醒驾驶员注意车距,当驾驶员调节车距后,控制电路板控制语音报警器解除报警,并将图像上的车距显示为白色或者蓝色图案信息;当控制电路板识别到车辆超出道路标志线时,控制电路板控制语音报警器发出偏移的信息,并将图像上标记出的道路标志线显示为红色,以提醒司机超出了道路标志线的信息,当驾驶员将车辆控制到道路标志线内时,控制电路板控制语音报警器解除报警,并将图像上标记出的道路标志线显示为白色或者蓝色图案。
3.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:所述控制电路板对三个摄像头采集到的图像信息进行图像融合后,再进行图像识别,具体步骤如下:
(1)图像预处理阶段:三个摄像头采集到的图像信息传输给控制电路板,控制电路板将这三张图像融合到一张图上,对图像进行灰度化、图像融合、平滑滤波、图像增强、边缘检测及二值化处理;在图像灰度化后利用小波图像融合算法将三个摄像头采集到的图像进行融合,使它们成为一张图,再采用垂直灰度均值分布的方法选取分割线去除了图像天空部分;针对光照强弱的情况分别对图像进行了拉伸和均衡处理,提高图像的对比度;选取Canny算子对图像进行边缘检测;根据图像底部中间是道路的前提下利用其灰度特征优化阂值的选取来实现图像的二值化,增强道路线与道路的对比度;
(2)道路标志线边缘检测阶段:利用车道线在图像中成一定角度的特点进行边缘筛选,将图像平均划分成若干子区域,选取子区域中边缘线角度异常的线加以排除,再利用形态学处理算法对去噪后的图像加以补偿,利用分块技术,对每个子区域判断边缘线方向,去除异常方向的子区域,最后利用加权的最小二乘法求取消失线;
(3)车道线检测和跟踪:对已有的车道线模型匹配方法进行改进,针对直线模型,利用改进的Hough变换和改进的概率Hough变换进行车道线的识别,改进的Hough变换为在传统Hough变换下建立极角约束区域限制边缘点搜索区域,改进的概率Hough变换为在利用概率Hough变换时设置累加阂值和车道线长度闭值这两个阂值以提高实时性;针对弯道建立抛物线模型,分别采用改进的RANSAC算法结合最小二乘法还有LMedSquare算法进行拟合,限制RANSAC的随机取点,删除己经用过的特征点,加快识别速度,实验显示,在检测一些道路时依然会出现较多错误;针对直线一抛物线模型,采用二分图像模型分界线的提取方法,利用车道弯曲时斜率发生改变的现象,基于子区域边缘方向,寻找最大区分度的方式来获取分界线,接着采用最小二乘法来拟合模型;利用Kalman滤波来跟踪道路图像,利用前一帧获取的车道线预测下一帧车道线的范围。
4.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:检测前车距离的K波段雷达安装在汽车前面品牌标志下方,检测左车距离的K波段雷达安装在汽车左前门防擦条上,检测右车距离的K波段雷达安装在汽车右前门防擦条上。
5.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:所述语音报警器、控制电路板、投影仪安装在汽车上面杂物箱中。
6.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:所述控制电路板采用FPGA控制板。
7.根据权利要求1所述的基于全息投影与AR结合的汽车辅助驾驶系统,其特征在于:所述控制电路板与汽车中控台连接,汽车的车速、油量、水温信息作为虚拟图像叠加到采集到的真实图像上。
CN202010077525.0A 2020-01-30 2020-01-30 一种基于全息投影与ar结合的汽车辅助驾驶系统 Pending CN111231833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010077525.0A CN111231833A (zh) 2020-01-30 2020-01-30 一种基于全息投影与ar结合的汽车辅助驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010077525.0A CN111231833A (zh) 2020-01-30 2020-01-30 一种基于全息投影与ar结合的汽车辅助驾驶系统

Publications (1)

Publication Number Publication Date
CN111231833A true CN111231833A (zh) 2020-06-05

Family

ID=70876526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077525.0A Pending CN111231833A (zh) 2020-01-30 2020-01-30 一种基于全息投影与ar结合的汽车辅助驾驶系统

Country Status (1)

Country Link
CN (1) CN111231833A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111717028A (zh) * 2020-06-29 2020-09-29 深圳市元征科技股份有限公司 一种ar系统控制方法及相关装置
CN112954207A (zh) * 2021-02-05 2021-06-11 北京瞰瞰科技有限公司 驾驶沿途景观抓拍方法、装置以及汽车中控台
CN112937486A (zh) * 2021-03-16 2021-06-11 吉林大学 一种道路积水车载在线监测与驾驶辅助系统及方法
CN113147597A (zh) * 2021-04-15 2021-07-23 恒大恒驰新能源汽车研究院(上海)有限公司 车辆电子后视镜显示系统、方法及车辆
CN113715733A (zh) * 2021-08-31 2021-11-30 江苏高瞻数据科技有限公司 用于在无人驾驶中呈现媒体内容的系统和方法
CN118004035A (zh) * 2024-04-09 2024-05-10 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102815267A (zh) * 2012-07-30 2012-12-12 江西好帮手电子科技有限公司 一种全息投影倒车影像方法及其系统
CN202911636U (zh) * 2012-06-21 2013-05-01 浙江吉利汽车研究院有限公司杭州分公司 基于全息投影技术的抬头显示系统
WO2018030320A1 (ja) * 2016-08-10 2018-02-15 日本精機株式会社 車両用表示装置
CN110017846A (zh) * 2019-03-19 2019-07-16 深圳市谙达信息技术有限公司 一种基于全息投影技术的导航系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202911636U (zh) * 2012-06-21 2013-05-01 浙江吉利汽车研究院有限公司杭州分公司 基于全息投影技术的抬头显示系统
CN102815267A (zh) * 2012-07-30 2012-12-12 江西好帮手电子科技有限公司 一种全息投影倒车影像方法及其系统
WO2018030320A1 (ja) * 2016-08-10 2018-02-15 日本精機株式会社 車両用表示装置
CN110017846A (zh) * 2019-03-19 2019-07-16 深圳市谙达信息技术有限公司 一种基于全息投影技术的导航系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张杰: "激光显示+全息+真3D", 《智能建筑与智慧城市》 *
成剑: "基于机器视觉的道路线识别算法研究", 《万方学位论文》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111717028A (zh) * 2020-06-29 2020-09-29 深圳市元征科技股份有限公司 一种ar系统控制方法及相关装置
CN112954207A (zh) * 2021-02-05 2021-06-11 北京瞰瞰科技有限公司 驾驶沿途景观抓拍方法、装置以及汽车中控台
CN112937486A (zh) * 2021-03-16 2021-06-11 吉林大学 一种道路积水车载在线监测与驾驶辅助系统及方法
CN112937486B (zh) * 2021-03-16 2022-09-02 吉林大学 一种道路积水车载在线监测与驾驶辅助系统及方法
CN113147597A (zh) * 2021-04-15 2021-07-23 恒大恒驰新能源汽车研究院(上海)有限公司 车辆电子后视镜显示系统、方法及车辆
CN113715733A (zh) * 2021-08-31 2021-11-30 江苏高瞻数据科技有限公司 用于在无人驾驶中呈现媒体内容的系统和方法
CN118004035A (zh) * 2024-04-09 2024-05-10 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备
CN118004035B (zh) * 2024-04-09 2024-06-07 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111231833A (zh) 一种基于全息投影与ar结合的汽车辅助驾驶系统
CN105799574B (zh) 夜间智能辅助驾驶系统
US9569675B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
US9251426B2 (en) Three-dimensional object detection device, three-dimensional object detection method
US9384401B2 (en) Method for fog detection
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
O'Malley et al. Vehicle detection at night based on tail-light detection
JP5809785B2 (ja) 車両用外界認識装置およびそれを用いた配光制御システム
WO2020125178A1 (zh) 车辆驾驶提示方法及装置
CN104583012B (zh) 用于响应于对小型卡车的检测来控制外部车辆灯的系统和方法
CN106627585B (zh) 一种基于图像处理的车辆变道辅助装置及其工作方法
WO2021114799A1 (zh) 一种基于计算机视觉的矩阵车灯识别方法
CN112406687A (zh) 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法
CN102865824B (zh) 一种计算车辆间相对距离的方法和装置
CN205768952U (zh) 夜间智能辅助驾驶装置
CN112896159A (zh) 行车安全预警方法及系统
CN106985819A (zh) 车辆行驶意图的判断方法和装置
CN109552319B (zh) 一种夜间智能辅助驾驶系统及方法
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
CN111137236A (zh) 一种基于汽车前挡风非透明液晶显示方法及系统
CN116142186A (zh) 不良环境下车辆安全行驶预警方法、装置、介质和设备
CN114290990A (zh) 车辆a柱盲区的障碍物预警系统、方法和信号处理装置
CN110647863B (zh) 用于智能驾驶的视觉信号采集分析系统
CN116552516A (zh) 一种基于激光雷达的驾驶员盲区智能补偿系统
CN111469765A (zh) 一种具有去除车身阴影功能的检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605