CN102320298A - 一种基于单芯片的车道偏离提醒装置 - Google Patents

Abstract

一种基于单芯片的车道偏离提醒装置，包括FPGA芯片单元、数字摄像机以及外部通讯控制器。FPGA芯片单元用于控制数字摄像机的工作；当FPGA芯片单元得到数字摄像机的图像信息后，在FPGA芯片单元中完成所有车道偏离提醒的计算任务，然后通过FPGA单元控制外部通讯控制器实施告警。本发明利用可编程逻辑门阵列FPGA芯片的大规模并行工作特性使车道偏离提醒的视觉任务在一块芯片内部快速完成，又具有可重构的特性进，而使系统性能升级和拓展变的很灵活。

Description

一种基于单芯片的车道偏离提醒装置

技术领域

本发明主要涉及到车辆主动安全系统领域，特指一种能在可编程逻辑门阵列(FPGA)上实现的车道偏离提醒装置。

背景技术

随着汽车工业的日益发展，汽车越来越成为社会生产与日常生活中的重要组成部分。与此同时，汽车的安全问题也逐渐成为人们关注的焦点。根据统计，道路交通事故中大约有75％是由于人为失误导致的，而在这些人为导致的事故中，又有19％是由于无意识的车道跑偏导致的，26％是由于前向追尾导致的。这两类事故的发生都直接与驾驶员的精神状态有关，最终表现为驾驶员对车辆运行环境估计不准和驾驶员的反应滞后等。

目前，有从业者相续研发或者已经推出了相关研究成果，比如“车道偏离提醒装置”。这种“车道偏离提醒装置”的目的就是对驾驶员精神不集中时无意识的车道偏离行为进行提醒，让驾驶员及时纠正行车路线，避免发生车祸。现有的技术成果中，存在各种形式的设计。例如，中国专利申请号为20071013321.9的技术方案，它主要通过CCD摄像机得到模拟信号，然后经过模数转化芯片得到数字信号，采用了DSP(Digital Signal Processor)作为其核心处理器；当处理完后再通过数模转换成模拟信号进行显示。类似的还有中国专利申请号为200720088218.2的专利，也是以DSP(Digital Signal Processor)作为核心处理器，通过模数转化芯片把模拟摄像机的信号转换成数字信号后进行处理。

在上述两个技术方案中，均是采用DSP作为处理芯片，DSP(Digital Signal Processor)虽然在处理数字信号的能力上有一定的增强，但是DSP基于哈佛串行计算结构的本质并没有改变，运算的时间随着数据量的增大而成指数增长，难以满足在实时性要求较高的场合使用；而且，模拟信号到数字信号的转换也需要额外的时间。

再比如，中国专利申请号为201010033968.6的技术方案，是一种基于并行处理的快速车道线检测装置，其通过构造并行的处理单元(PE)阵列和两个专用的精简指令集(RISC)微处理器系统来实现快速的车道线检测。这个装置的好处是效率很高，但是缺乏通用性，算法的实现受制于硬件的结构，没有办法对图像处理算法进行更新。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种利用可编程逻辑门阵列FPGA芯片的大规模并行工作特性使车道偏离提醒的视觉任务在一块芯片内部快速完成，又具有可重构的特性，进而使基于单芯片的车道偏离提醒装置的系统性能升级和拓展变的很灵活。

为解决上述技术问题，本发明采用以下技术方案：

一种基于单芯片的车道偏离提醒装置，其特征在于：包括FPGA芯片单元、数字摄像机以及外部通讯控制器。所述FPGA芯片单元用于控制数字摄像机的工作；当FPGA芯片单元得到数字摄像机的图像信息后，在FPGA芯片单元中完成所有车道偏离提醒的计算任务，然后通过FPGA芯片单元控制外部通讯控制器实施告警。

作为本发明的进一步改进：

所述FPGA芯片单元包括自定义功能逻辑单元和软处理器单元，所述自定义功能逻辑单元用来对目标图像进行中值滤波和边缘二值化，并对二值化图像进行Hough变换，得到图像中所有直线的位置信息；所述软处理器单元用来对直线进行匹配、筛选，得到车道线位置，并对车体与车道线之间的关系进行判断，根据告警策略给出告警信息；所述自定义功能逻辑单元获得软处理器单元给出的告警信息，并把该信息传递给外部通讯控制器。

所述自定义功能逻辑单元进行中值滤波和边缘二值化的步骤为：所述数字摄像机的数据随着系统时钟依次流水进入卷积结构中，通过行移位寄存器和触发器，得到图像中相邻3×3窗口中的数据；然后对这些数据在自定义功能逻辑单元中进行中值滤波或者边缘检测处理。

所述自定义功能逻辑单元进行Hough变换时，首先记录边缘图像中边缘点的位置，然后根据FPGA并行运算的特点，采用分区域的方式同时实现多组Hough变换，在每一组Hough变换的实现过程中，采用流水线的结构。

所述Hough变换的具体步骤为：(1)设置初始参数，所述初始参数包括初始消失点位置(x₀，y₀)、并行度n、约束范围P；(2)对实时采集的图像进行预处理得到边缘图像Iⁱ _edge，对边缘图像Iⁱ _edge进行坐标平移：已知上一帧图像的消失点位置(x_i-1，y_i-1)，以该点为坐标原点的坐标系P_X2Y2来替换传统以图像左上角为原点的坐标系P_X1Y1，实现坐标平移；(3)在P_X2Y2中进行并行Hough变换运算；对于第i帧图像，通过公式ρ＝(x-x_i-1)×cos(θ)+(y-y_i-1)×sin(θ)得到ρ，当ρ满足约束|ρ|＜P，则保存参数(θ，ρ)，否则就舍去；(4)找出参数空间中的极大值位置，得到对应的直线，即需要检测的车道线；更新当前帧的消失点(x_i，y_i)；(5)转到步骤(2)，进行下一帧图像的处理。

所述外部通讯控制器为CAN控制器。

与现有技术相比，本发明的优点在于：

1、本发明采用FPGA作为核心处理单元，通过并行的系统架构和与之相适应的高度并行的算法，可以实现在不同环境下车道线的快速识别与跟踪；

2、本发明采用了数字CMOS摄像机作为传感器。与模拟摄像机相比，数字摄像机的数据不需要通过模数转换芯片进行转换就能够直接使用，节省了处理环节和处理时间，降低了系统风险；

3、本发明的所有算法在一块FPGA芯片上实现，整个系统中软、硬件修改灵活，具有逻辑可重构功能，通过软件就可以达到硬件升级的目的，从而使系统功能拓展和系统升级变的很灵活；

4、本发明整个系统在一块芯片上完成，其具有结构简单、环节少、体积小、重量轻、功耗低等优点，可以直接安装到各种车辆中作为汽车辅助驾驶系统使用，具有很高的经济效益。

附图说明

图1是本发明车道偏离提醒装置的框架结构示意图；

图2是本发明中FPGA芯片单元与数字摄像机连接的框架结构示意图；

图3是FPGA芯片单元通过CAN控制器实现CAN通讯的接口结构示意图；

图4是本发明中的系统功能流程图；

图5是自定义功能逻辑单元实现中值滤波和边缘二值化的结构图；

图6是自定义功能逻辑单元实现并行Hough变换检测直线的结构图；

图7是自定义功能逻辑单元中并行Hough变换的流程图；

图8是消失点分布状态统计示意图；其中8(a)为车辆换道过程中消失点位置变化状态图，8(b)是消失点位置变化分布模型图；

图9是本发明中的告警策略示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明基于单芯片的车道偏离提醒装置，包括FPGA芯片单元、数字摄像机以及外部通讯控制器，外部通讯控制器可以采用CAN控制器，FPGA芯片单元用于控制数字摄像机的工作和系统的所有计算任务；当FPGA芯片单元得到数字摄像机的图像信息后，在FPGA芯片单元中完成所有车道偏离提醒的计算任务，结合CAN控制器得到的车体信息，根据告警策略，当发现车辆即将发生越道事件时，通过CAN控制器向CAN总线发出告警信息，从而实现车道偏离告警的功能。

本实施例中，数字摄像机可以直接采用Melexis公司的数字摄像机(75307)；FPGA芯片单元可以采用Xilinx公司的Spatarn3adsp或更高资源的替代产品；外部通讯CAN控制器为Microchip公司的CAN控制器MCP2515。

如图2所示，本实施例中，首先把数字摄像机的控制信号与FPGA芯片的bank0相连接，FPGA芯片单元通过对数字摄像机的SPI控制总线与SPI控制时钟写控制字，来控制摄像机的曝光参数，通过对数字摄像机发送帧请求信号，来启动摄像机的工作。数字摄像机的数据总线直接与FPGA芯片单元的bank0上的IO口相连，通过时钟同步信号、帧有效信号和行有效信号把图像数据传送给FPGA芯片单元。

当FPGA芯片单元得到图像信息后，通过自定义功能逻辑模块单元对图像进行并行处理，检测出图像中的车道线信息，判断车体与车道线之间的位置和方向关系，并且结合通过CAN总线得到的车体信息(车速、转向灯等)，计算车辆可能越出车道的时间，当该越道时间小于一定的值时，FPGA芯片单元通过CAN控制器向CAN总线上发送告警信息，提醒驾驶员行车安全。

如图3所示，本实施例中，FPGA芯片单元与CAN总线的连接是通过CAN控制器实现。在FPGA芯片单元端通过SPI总线实现对CAN控制器的控制，其硬件连线如图3所示：首先，在FPGA芯片单元中通过自定义功能逻辑单元对外部的CAN控制器进行初始化设置，包括波特率、发送端ID码、接收过滤标准等参数，这些设置都通过SPI总线实现；然后，在每一次得到告警信息后，自定义功能逻辑单元把告警信息通过SPI数据输入端口(对CAN控制器而言)发送到CAN控制器中，然后由该功能逻辑单元启动外部CAN发送请求，CAN控制器就自动完成告警信息发送到CAN总线上的任务。

本发明的工作流程如图4所示，可以分为以下几个步骤：

1)FPGA芯片单元控制数字摄像机工作，得到前方道路的信息；

2)通过FPGA芯片单元中自定义功能逻辑单元对目标图像进行中值滤波和边缘二值化；

3)通过FPGA芯片单元中自定义功能逻辑单元对二值化图像进行Hough变换，得到图像中所有直线的位置信息；

4)把步骤3得到的直线参数传递给FPGA芯片单元中内建的软处理器单元MicroBlaze，在MicroBlaze中对直线进行匹配、筛选，得到车道线位置；

5)在MicroBlaze中对车体与车道线之间的关系进行判断。经过对图像的处理，得到车道线的在图像坐标系下的位置之后，根据公式(1)，计算得到车道线在大地坐标系下的位置，其中公式(1)中Q的值由摄像机标定得到，(x，y)为大地坐标系下的坐标值，(c，r)为图像坐标系下的坐标值，t为变换系数。如图9所示，在大地坐标系下，就可以直观的得到车道线与车辆之间的关系，然后结合当前的车速、转向灯信号，根据告警策略给出告警信息；

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=Q\left[\begin{array}{c}\mathrm{tc}\\ \mathrm{tr}\\ t\end{array}\right],$ 其中 $Q=\left[\begin{array}{ccc}k11& k12& k13\\ k21& k22& k23\\ k31& k32& k33\end{array}\right]---\left(1\right)$

6)通过FPGA芯片单元中自定义功能逻辑单元获得MicroBlaze给出的告警信息，并把该信息传递给CAN控制器，发送到CAN总线上。

本发明中算法的实现：

1)自定义功能逻辑单元中实现中值滤波和边缘二值化的结构如图5所示，数字摄像机的数据随着系统时钟依次流水进入卷积结构中，通过行移位寄存器和触发器，得到图像中相邻3×3窗口中的数据，然后对这些数据在自定义功能逻辑单元中进行中值滤波或者边缘检测处理。该结构充分利用了FPGA芯片单元流水线运算的特点，在图像输入的过程中完成中值滤波和边缘二值化的功能，并不额外增加运算时间，这在DSP或者其他处理平台上是无法实现的。

2)自定义功能逻辑单元中实现Hough变换的结构如图6所示，首先记录边缘图像中边缘点的位置，然后根据FPGA并行运算的特点，采用分区域的方式同时实现多组Hough变换，在每一组Hough变换的实现过程中，采用流水线的结构，提高计算的实时性。该并行Hough变换算法是本发明中针对FPGA并行运算和流水线结构的特点而专门设计，充分发挥了FPGA的特点，其工作效率远远高于在DSP中实现。以拥有硬件乘加器的TI公司芯片C6416DSP为例，其进行一次乘法操作需要10个时钟周期，一次除法操作需要16个时钟周期，而一次三角运算需要600多个时钟周期，计算一次ρ值总共需要1300多个时钟周期，而实现同样的功能，本发明只需要一个时钟周期。

为了进一步降低Hough变换的存储空间，提高Hough变换的效率，在该逻辑单元中对Hough变换的算法进行改进，其步骤如图7所示：(1)设置初始参数，所述初始参数包括初始消失点位置(x₀，y₀)、并行度n、约束范围P；(2)对实时采集的图像进行预处理得到边缘图像Iⁱ _edge，对边缘图像Iⁱ _edge进行坐标平移：已知上一帧图像的消失点位置(x_i-1，y_i-1)，以该点为坐标原点的坐标系P_X2Y2来替换传统以图像左上角为原点的坐标系P_X1Y1，实现坐标平移；(3)在P_X2Y2中进行并行Hough变换运算；对于第i帧图像，通过公式ρ＝(x-x_i-1)×cos(θ)+(y-y_i-1)×sin(θ)得到ρ，当ρ满足约束|ρ|＜P，则保存参数(θ，ρ)，否则就舍去。(4)找出参数空间中的极大值位置，得到对应的直线，即需要检测的车道线；更新当前帧的消失点(x_i，y_i)；(5)转到步骤(2)，进行下一帧图像的处理。

通过对Hough变换的改进，使其使用的资源变为原来的二十分之一，极大的提高了整个系统的性能。

3)MicroBlaze中对车道线的筛选过程如下：首先，把步骤3中检测到的所有直线进行两两配对，然后，利用设置好的筛选准则排除非车道线，保留准确的车道线。本发明中的筛选准则如下：

准则1：两条车道线应位于车辆两侧，即θ₁≤90°，θ₂≥90°，θ₁、θ₂分别是直线的斜率；

准则2：两条车道线与Y轴的交点Y1、Y2满足如下关系：Y1≤W/2，Y2≥W/2，这里W为图像的宽度；

准则3：两车道线交点(消失点)的位置应该在地平线上，且系统安装好之后，其变化必然在一定的范围之内，因此应该满足{x，y|x∈(K₁，K₂)，y∈(P₁，P₂)}，其中(x，y)表示两条直线的交点，K、P为只与摄像机安装有关系的参数；

准则4：在高速公路或者规范的高等级公路中，道路宽度是一个不变的常值，即Y2-Y1＝R，其中R为跟道路宽度有关的常值参数；

准则5：两车道线交点(消失点)的位置在实时系统中(帧率大于15帧)不会发生突变，相邻帧消失点应该满足{|x_i-x_i-1|＜R₁，|y_i-y_i-1|＜R₂}，其中(x_i，y_i)表示第i帧中消失点的位置，R₁和R₂为系统设定的参数；本发明中，通过对大量的实验数据进行统计后发现，消失点的分布基本上可以由高斯分布N(μ，δ²)来近似。消失点分布如图8所示，图8中的横坐标表示帧号，纵坐标表示消失点位置的变化值，单位为像素个数。图8(a)为车辆换道过程中统计得到的消失点位置变化状态，图8(b)是在较长一段时间内，在车速变化且故意左右摇晃的行车过程中，得到的消失点位置分布状态。从图中可以看出，即使在车速变化、换道、测量精度等因素干扰下，其消失点的变化在一个可以确定的范围之内，高斯分布的参数为μ＝0，δ＝4.25。因此所述R₁和R₂的值可取R₁＝R₂＝4δ＝17。

4)本发明装置的告警策略实现。本发明装置的告警策略在FPGA中的MicroBlaze中实现，其策略如图9所示，通过步骤5)得到了车路的相对关系后，预测出车辆的越道时间和越道点P，同时，在实际车轮外侧设置虚拟车轮，使系统能够在越道发生前若干时间发出报警，此处的提前若干时间即为预警时间，预警时间的长短就是所谓的灵敏度。本发明通过灵活的设置虚拟车轮的位置，使得系统的灵敏度可以针对驾驶员的驾驶习惯进行个性化设置。

本发明的车道偏离提醒装置用来实现以下功能：当车辆时速大于设定值(如30公里/小时)时启动工作，当车辆朝一边车道线运动且没有打该方向的转向灯时，装置在车辆前轮完全越过车道线之前0.5-1.5s(敏感度可以由用户设置)向CAN总线发出告警信息，该信息在用户终端可以被转化成声音、光或者震动等方式来实现对用户的提醒。

本发明的车道偏离提醒装置在实践中进行了大量的工况测试，在白天一般光照条件下的工作帧率为40帧/s左右，基本能够适应各种道路环境和光照情况，能够在白天、晚上、阴天、小雨天气下正常工作，对道路损坏、车道线标记退化、只有单边道路标记线、车辆、栏杆阴影或其他标记线干扰等情况，该装置具有较强的鲁棒性，对于光照条件的变化具有一定的适应性，其告警准确率达到95％以上。

本发明的车道偏离提醒装置装置体积为8cm×6cm×1cm(不包括镜头高度)，重量不超过100克，工作电压为5V，功率不到1W，可以直接安装到各类车辆中作为汽车辅助驾驶系统使用，具有很高的经济效益。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于单芯片的车道偏离提醒装置，其特征在于：包括FPGA芯片单元、数字摄像机以及外部通讯控制器，所述FPGA芯片单元用于控制数字摄像机的工作；当FPGA芯片单元得到数字摄像机的图像信息后，在FPGA芯片单元中完成所有车道偏离提醒的计算任务，然后通过FPGA芯片单元控制外部通讯控制器实施告警。

2.根据权利要求1所述的基于单芯片的车道偏离提醒装置，其特征在于：所述FPGA芯片单元包括自定义功能逻辑单元和软处理器单元，所述自定义功能逻辑单元用来对目标图像进行中值滤波和边缘二值化，并对二值化图像进行Hough变换，得到图像中所有直线的位置信息；所述软处理器单元用来对直线进行匹配、筛选，得到车道线位置，并对车体与车道线之间的关系进行判断，根据告警策略给出告警信息；所述自定义功能逻辑单元获得软处理器单元给出的告警信息，并把该信息传递给外部通讯控制器。

3.根据权利要求2所述的基于单芯片的车道偏离提醒装置，其特征在于所述自定义功能逻辑单元进行中值滤波和边缘二值化的步骤为：所述数字摄像机的数据随着系统时钟依次流水进入卷积结构中，通过行移位寄存器和触发器，得到图像中相邻3×3窗口中的数据；然后对这些数据在自定义功能逻辑单元中进行中值滤波或者边缘检测处理。

4.根据权利要求2所述的基于单芯片的车道偏离提醒装置，其特征在于：所述自定义功能逻辑单元进行Hough变换时，首先记录边缘图像中边缘点的位置，然后根据FPGA并行运算的特点，采用分区域的方式同时实现多组Hough变换，在每一组Hough变换的实现过程中，采用流水线的结构。

5.根据权利要求4所述的基于单芯片的车道偏离提醒装置，其特征在于所述Hough变换的具体步骤为：(1)设置初始参数，所述初始参数包括初始消失点位置(x₀，y₀)、并行度n、约束范围P；(2)对实时采集的图像进行预处理得到边缘图像Iⁱ _edge，对边缘图像Iⁱ _edge进行坐标平移：已知上一帧图像的消失点位置(x_i-1，y_i-1)，以该点为坐标原点的坐标系P_X2Y2来替换传统以图像左上角为原点的坐标系P_X1Y1，实现坐标平移；(3)在P_X2Y2中进行并行Hough变换运算；对于第i帧图像，通过公式ρ＝(x-x_i-1)×cos(θ)+(y-y_i-1)×sin(θ)得到ρ，当ρ满足约束|ρ|＜P，则保存参数(θ，ρ)，否则就舍去；(4)找出参数空间中的极大值位置，得到对应的直线，即需要检测的车道线；更新当前帧的消失点(x_i，y_i)；(5)转到步骤(2)，进行下一帧图像的处理。

6.根据权利要求1～5中任意一项所述的基于单芯片的车道偏离提醒装置，其特征在于：所述外部通讯控制器为CAN控制器。

Images