CN201780482U - 车辆环视及车道检测报警系统 - Google Patents

Abstract

本实用新型提供一种车辆环视及车道检测报警系统，包括若干个摄像头、主控制器FPGA、嵌入式处理器ARM，临时存储器和输出设备，摄像头将采集到的图像信息输出到主控制器FPGA，本实用新型还包括FLASH存储芯片、铁电存储器和报警器，主控制器FPGA将接收到的图像信息处理后直接输出显示，同时主控制器FPGA利用软件程序完成车道偏离报警及周边物体测距功能。本系统采用了FPGA配合ARM处理器，可通过多路摄像头对信息进行采集和处理，FPGA的处理延迟可达到纳秒级，非常适合超高速和实时信号处理的汽车领域。另外，FPGA以其灵活的开发特性可大大节约开发成本，由于其价格相对较低，所以可大大降低产品成本。

Description

车辆环视及车道检测报警系统 

技术领域

本实用新型涉及多媒体信息采集与处理技术领域，尤其涉及车辆环视及车道检测报警系统。 

背景技术

目前，视频图像处理与分析技术已是一门较为成熟的二维信号处理技术，现已被广泛应用于通信、生物医学、工业检测和军事等各个方面，当然在汽车电子中也涉及到大量的视频图像处理。 

随着FPGA制作工艺的发展，其应用领域也在不断的扩展，在汽车电子领域也有它广泛的应用舞台。由于FPGA具有极强的实时性，也使其对语音、图像的实时处理成为可能。由于它是通过面向芯片结构指令的软件编程来实现其功能的，因而仅修改软件而不需改硬件平台就可以改进系统原有设计方案或原有功能，具有极大的灵活性。又由于FPGA芯片并非专门为某种功能设计的，因而使用范围广、产量大、价格可以降到很低。所以，FPGA在汽车电子系统中大量应用，将会极大地促进汽车电子技术的发展。FPGA在汽车电子系统中大量应用，将会极大地促进汽车电子技术的发展。 

目前，大多数图像处理采用的是DSP处理器，虽然DSP处理器很强的处理能力，但其价格十分昂贵，另一方面，国内现阶段尚无车载的全景车道偏离摄像及报警系统的产品，所以搭建适合这种应用的硬件平台显得尤其可贵。 

实用新型内容

为解决现有技术中对车辆周围实时的图像信息采集单一及在现有技术中采用的DSP处理器成本高的问题，本实用新型提供一种系统集成度高、成本相对 低、适合多路摄像头根据不同的需求进行全景图像采集处理并且实现车道偏离报警、周边物体测距等后端应用的车辆环视及车道检测报警系统。 

为解决上述问题，本实用新型包括若干个用于采集图像信息的摄像头，主控制器FPGA和输出设备，所述摄像头输出数字信号到所述主控制器FPGA，所述车辆环视及车道检测报警系统还包括处理器ARM、临时存储器和FLASH芯片，所述处理器ARM中存储有用于初始化摄像头的配置程序，所述处理器ARM通过主控制器FPGA配置所述摄像头，所述FLASH芯片中存储有用于配置主控制器FPGA的执行程序，所述临时存储器通过主控制器FPGA接收并存储所述摄像头采集的图像信息，所述主控制器FPGA读入所述临时存储器中的图像信息，并对图像信息进行处理，所述输出设备输出所述主控制器FPGA对图像信息的处理结果。 

所述输出设备包括显示设备和报警器，所述主控制器FPGA对图像信息的处理结果包括由显示设备输出的车身周围实时画面和周围物体距离车身的距离，以及由报警器输出的车道偏离警报和危险距离警报。 

所述报警器为一个翁鸣器，所述报警器接收主控制器FPGA发出的报警信号，并发出报警声响。 

所述摄像头包括用于完成实时画面显示的显示摄像头和用于完成车道偏离检测报警、车身周围物体测距的功能摄像头，所述显示摄像头的个数设置为四个，其中，一个安装于两个车辆前灯的中点位置，两个分别安装于车身左右两侧的车窗与车顶交界处位置，一个安装于车身后部车窗与车顶交界处位置，所述功能摄像头的个数设置为一个，所述功能摄像头安装于车身前部的车窗与车顶的交接处中点位置。 

所述车辆环视及车道检测报警系统还包括用于信号格式转换的第一芯片组和第二芯片组，所述第一芯片组和所述第二芯片组分别包括与所述摄像头数目相同的芯片，所述第一芯片组中各芯片的一端分别与各所述显示摄像头一一对应连接，另一端与所述第二芯片组中各芯片对应连接，所述第二芯片组中各芯片连接于主控制器FPGA；所述第一芯片组将所述显示摄像头输出的数字信号转 化成低压差分信号并输出低压差分信号到第二芯片组，所述第二芯片组将接收到的低压差分信号转化为数字信号并输出数字信号到主控制器FPGA。 

所述功能摄像头直接与主控制器FPGA相连。 

所述临时存储器为两个DDR2RAM，主控制器FPGA将图像信息以帧为单位存储至两个进行乒乓操作的DDR2SDRAM中用以作为帧信息的缓存。 

所述车辆环视及车道检测报警系统还包括一个与主控制器FPGA相连的铁电存储器，所述铁电存储器中存储有用于显示在显示设备上的车身模拟图像。 

所述显示设备采用TFT显示模块或VGA显示模块。 

采用了本实用新型提供的车辆环视及车道检测报警系统后，由于系统中采用了FPGA配合ARM处理器，可对多路摄像头根据不同的需求进行端接并进行相应的图像处理，FPGA的时钟延迟可以达到纳秒级，非常适合超高速和实时信号处理的汽车领域，此外，本实用新型还可实现周围情景显示、车道偏离报警、周边物体测距等功能，在车载摄像功能的基础上进行了很大的功能扩充。另一方面，由于FPGA价格相对便宜，还可大大降低产品成本。 

附图说明

图1是本实用新型提供的车辆环视及车道检测报警系统一种实施方式的结构框架图； 

图2是本实用新型提供的车辆环视及车道检测报警系统一种实施方式的硬件连接图； 

图3是本实用新型提供的车辆环视及车道检测报警系统一种实施方式的车道偏离报警系统软件流程图； 

图4是本实用新型提供的车辆环视及车道检测报警系统一种实施方式的单目测距软件流程图。 

具体实施方式

为了使本实用新型所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。 

如图1、图2所示，根据本实用新型的车辆环视及车道检测报警系统的一种实施方式，包括若干个用于采集图像信息的摄像头1，主控制器FPGA 5和输出设备13，摄像头1包括用于完成实时画面显示的显示摄像头11和用于完成车道偏离检测报警、车身周围物体测距的功能摄像头12，由于功能摄像头12采集的图像信息直接用于软件程序中的分析运算，程序中对图像的像素及分辨率要求较高，因此本实施方式下，功能摄像头采用要求较高的VL5510，显示摄像头11采用OV9710，摄像头1输出数字信号到所述主控制器FPGA 5，主控制器FPGA 5选用XC3SD1800A-FG676芯片。 

本实用新型的此种实施方式下，上述显示摄像头11的个数设置为四个，其中，一个安装于两个车辆前灯的中点位置，两个分别安装于车身左右两侧的车窗与车顶交界处位置，一个安装于车身后部车窗与车顶交界处位置；上述功能摄像头12的个数设置为一个，其安装于车身前部的车窗与车顶的交接处中点位置。 

直接与XC3SD1800A-FG676芯片相连的输出设备13包括显示设备7和报警器10，输出设备13用于输出主控制器FPGA 5对图像信息的处理结果，处理结果包括由显示设备7输出的车身周围的实时画面和周围物体距离车身的距离，以及由报警器10输出的车道偏离警报和危险距离警报。上述显示设备7采用TFT液晶屏显示图像输出，当然，也可采用VGA显示模块显示输出。报警器10与主控制器FPGA 5连接，报警器10在接收到主控制器FPGA 5的报警指令后，作出报警相应，本实施方式下，该报警器10为一个嗡鸣器，其接收到报警指令后，会发出嗡鸣声。 

该车辆环视及车道检测报警系统还包括分别与主控制器FPGA 5相连接的处理器ARM 4、临时存储器8和FLASH芯片6，在摄像头1开始正常传输数据前， 需要对主控制器FPGA 5进行程序下载，处理器ARM 4采用STM32F103C芯片，其中存储有用于初始化摄像头1的配置程序，上述处理器ARM 4将配置程序通过串口传输至主控制器FPGA 5，然后由主控制器FPGA 5将配置程序转换成多路配置信息同时配置各摄像头1。 

临时存储器8为若干个DDR2 SDRAM，本实用新型中为两片MT47H32M16芯片，两片MT47H32M16芯片作为图像信息的缓存通过主控制器FPGA 5进行乒乓操作接收摄像头1采集到的图像信息，并将图像信息以帧为单位进行存储。主控制器FPGA 5依次读入两片MT47H32M16芯片中的图像信息，并对图像信息进行处理。 

上述FLASH芯片6选用M25P64芯片，其中存储有主控制器FPGA 5的执行程序，主控制器FPGA 5通过SPI方式读取FLASH芯片6中的程序完成配置。 

由于上述各显示摄像头11分别安装于车身的不同位置，并且各自完成图像采集功能，因此，图像信息在进入主控制器FPGA 5之前，有必要将各显示摄像头11采集的图像信息转换成适合较长距离传输的低压差分信号用于传输并汇总。该车辆环视及车道检测报警系统还包括用于信号格式转换的第一芯片组2和第二芯片组3，第一芯片组2和第二芯片组3分别包括与上述显示摄像头11数目相同的芯片，本实用新型的此种实施方式下，第一芯片组2采用MAX9257芯片，第二芯片组3采用MAX9258芯片，上述第一芯片组2中各MAX9257芯片的一端分别与各显示摄像头1一一对应连接，另一端与第二芯片组3中的各MAX9258芯片对应连接，同时，第二芯片组3中的MAX9258芯片又与主控制器FPGA 5相连接，上述四路显示摄像头11分别将采集的图像信息经MAX9257转换成适合较长距离传输的低压差分信号传输至MAX9258，MAX9258芯片将接收到的低压差分信号转化为数字信号并将数字信号汇总输出到主控制器FPGA 5一同完成相应处理。由于用于将采集到的图像信息输出至主控制器FPGA 5中完成车道偏离报警和车身周围物体测距功能的功能摄像头12数目仅有一个，因此，该功能摄像头12可直接与主控制器FPGA 5相连接。 

本实用新型的该种实施方式下，还包括一个与主控制器FPGA 5相连的铁电存储器9，该铁电存储器9中存储有车身模拟图像，经主控制器FPGA 5处理后的图像信息与铁电存储器9中存储的车身模拟图像叠加显示在车载TFT液晶屏上。 

本实用新型的工作原理为，安装于车身前、后、左、右4个显示摄像头11对车身周边360度范围内的实时场景进行图像采集并输出数字信号的图像，显示摄像头11将图像信息发送到MAX9257，MAX9257将接收到的数据转换成为低压差分信号进行长距离传输到MAX9258，其中MAX9257最高支持70M的像素频率，一般摄像头的时钟在27MHz以内，所以传输部分的时间延迟会很短，MAX9258将低压差分信号重新还原为数字信号并将信号传输至主控制器FPGA 5。主控制器FPGA 5读入图像信息后，图像信息以帧为单位传输至作为临时存储器8的DDR2SDRAM中作为帧信息的缓存，设计包含有两个DDR2 SDRAM，可以采用乒乓操作以利于主控制器FPGA 5的读取与写入，由于DDR2 SDRAM的读取与写入速度很快，单沿触发时可达到133-400MHz的工作频率，并且采用并行数据传输的方式，所以非常适合作为帧缓存的存储器，如此，可以大大降低图像信息的延迟时间；其后，主控制器FPGA 5重新读入存储在DDR2 SDRAM中的图像信息并与铁电存储器9中存储的车身模拟图像叠加显示在TFT液晶屏上。此功能可以给驾驶员提供实时的车身周边的图像信息。 

功能摄像头12将采集到的图像信息经过主控制器FPGA 5传输至DDR2 SDRAM中作为缓存，主控制器FPGA 5也可读入存储在DDR2 SDRAM中的该图像信息并对读入的图像信息进行相应程序处理，处理完成后输出结果至TFT液晶屏上进行显示，用以完成车道偏离报警及单目测距功能。由于主控制器FPGA 5采用并行处理模式，而且其工作频率高达125MHz，处理数据的时间延迟在纳秒级，所以为高速图像处理的实时性奠定了稳固的基础。 

如图3所示车道偏离报警系统软件流程图，车道偏离检测的功能实现主要借助于常用的图像处理算法。对于输入到主控制器FPGA 5的图像，选择合适的 掩膜进行平滑运算，以消除或尽量减少噪声；在此基础上去掉完全不包含道路信息的天空部分，并对图像进行分窗口处理，计算各图像的对比度，衡量该矩形窗口的复杂程度，结合道路图像的实际情况，预测其是否包含车道标线，即感兴趣区域的提取；然后对处理后的图像进行边缘检测，选择sobel算子，并通过非最大值抑制进行边缘的细化处理，进一步减少后期处理的复杂度；再选择大津法计算合适的阈值对图像进行二值化处理；最后是车道线的提取和偏离的判断：选用hough变换检测直线的方法提取出图像中的车道线，通过前后帧直线斜率的变化是否超出阈值判断报警与否。本过程通过功能摄像头实时获取路况信息，图像信息中检测的车道线作为安全提醒的依据之一，当汽车偏离正常的车道位置，或者超过其他限制因素的阈值时，系统作出报警提示，此时，主控制器FPGA 5发出车道偏离报警指令到报警器10，报警器10发出嗡鸣声。 

图4所示为单目测距软件流程图，首先对摄像头1的标定，根据实际需要确定合适的内外参数，主控制器FPGA 5对于获取的图像信息进行滤波处理和边缘检测，再通过ostu法进行二值化，之后结合实际中各车体的一般特征，选取出感兴趣区域，最后通过图像坐标系、相机坐标系及世界坐标系三者间的关系结合前面确定的参数计算实际的距离，该距离值被输出到TFT液晶屏上用于显示。通过车身上的功能摄像头获取道路情况，同时通过相关算法获取需要的图像，对图像中出现的物体，如路标、警示牌、路障等进行单目测距，并且实时显示在TFT液晶屏上。当车辆与物体达到危险距离使得危机驾驶安全时，主控制器FPGA便发出危险距离报警指令驱动报警器10报警以提醒驾驶人员。 

采用了本实用新型提供的车辆环视及车道检测报警系统后，由于系统中采用了FPGA配合ARM处理器，可对多路摄像头根据不同的需求进行端接并进行相应的图像处理，FPGA的时钟延迟可以达到纳秒级，非常适合超高速和实时信号处理的汽车领域，此外，本实用新型还可实现周围情景显示、车道偏离报警、周边物体测距等功能，在车载摄像功能的基础上进行了很大的功能扩充。另一方面，由于FPGA价格相对便宜，还可大大降低产品成本。 

以上内容是结合具体的优选实施方式对本实用新型所做的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本领域的普通技术人员而言，可以在不脱离本实用新型的原理的情况下对此实施例进行多种变化、修改、替换和变形，但都应当视为属于本实用新型的保护范围。 

Claims (9)

1.车辆环视及车道检测报警系统，包括若干个用于采集图像信息的摄像头(1)，主控制器FPGA(5)和输出设备(7)，所述摄像头(1)输出数字信号到所述主控制器FPGA(5)，其特征在于，所述车辆环视及车道检测报警系统还包括处理器ARM(4)、临时存储器(8)和FLASH芯片(6)，所述处理器ARM(4)中存储有用于初始化摄像头(1)的配置程序，所述处理器ARM(4)通过主控制器FPGA(5)配置所述摄像头(1)，所述FLASH芯片(6)中存储有用于配置主控制器FPGA(5)的执行程序，所述临时存储器(8)通过主控制器FPGA(5)接收并存储所述摄像头(1)采集的图像信息，所述主控制器FPGA(5)读入所述临时存储器(8)中的图像信息，并对图像信息进行处理，所述输出设备(13)输出所述主控制器FPGA(5)对图像信息的处理结果。

2.如权利要求1所述的车辆环视及车道检测报警系统，其特征在于，所述输出设备(13)包括显示设备(7)和报警器(10)，

所述主控制器FPGA(5)对图像信息的处理结果包括由显示设备(7)输出的车身周围实时画面和周围物体距离车身的距离，以及由报警器(10)输出的车道偏离警报和危险距离警报。

3.如权利要求2所述的车辆环视及车道检测报警系统，其特征在于，所述报警器(10)为一个嗡鸣器，所述报警器(10)接收主控制器FPGA(5)发出的报警信号，并发出报警声响。

4.如权利要求1所述的车辆环视及车道检测报警系统，其特征在于，所述摄像头(1)包括用于完成实时画面显示的显示摄像头(11)和用于完成车道偏离检测报警、车身周围物体测距的功能摄像头(12)，

所述显示摄像头(11)的个数设置为四个，其中，一个安装于两个车辆前灯的中点位置，两个分别安装于车身左右两侧的车窗与车顶交界处位置，一个安装于车身后部车窗与车顶交界处位置， 

所述功能摄像头(12)的个数设置为一个，所述功能摄像头(12)安装于车身前部的车窗与车顶的交接处中点位置。

5.如权利要求4所述的车辆环视及车道检测报警系统，其特征在于，所述车辆环视及车道检测报警系统还包括用于信号格式转换的第一芯片组(2)和第二芯片组(3)，所述第一芯片组(2)和所述第二芯片组(3)分别包括与所述摄像头数目相同的芯片，所述第一芯片组(2)中各芯片的一端分别与各所述显示摄像头(11)一一对应连接，另一端与所述第二芯片组(3)中各芯片对应连接，所述第二芯片组(3)中各芯片连接于主控制器FPGA(5)；

所述第一芯片组(2)将所述显示摄像头(11)输出的数字信号转化成低压差分信号并输出低压差分信号到第二芯片组(3)，所述第二芯片组(3)将接收到的低压差分信号转化为数字信号并输出数字信号到主控制器FPGA(5)。

6.如权利要求4所述的车辆环视及车道检测报警系统，其特征在于，所述功能摄像头(12)直接与主控制器FPGA(5)相连。

7.如权利要求1所述的车辆环视及车道检测报警系统，其特征在于，所述临时存储器(8)为两个DDR2 RAM，主控制器FPGA(5)将图像信息以帧为单位存储至两个进行乒乓操作的DDR2 SDRAM中用以作为帧信息的缓存。

8.如权利要求1所述的车辆环视及车道检测报警系统，其特征在于，所述车辆环视及车道检测报警系统还包括一个与主控制器FPGA(5)相连的铁电存储器(9)，所述铁电存储器(9)中存储有用于显示在显示设备(7)上的车身模拟图像。

9.如权利要求1所述的车辆环视及车道检测报警系统，其特征在于，所述显示设备(7)采用TFT显示模块或VGA显示模块。 

Images