CN101811502B - 基于并行处理的快速车道线检测装置 - Google Patents

Abstract

本发明公开了一种基于并行处理的快速车道线检测装置，包含一个二维的处理器单元(PE)阵列和两个精简指令集(RISC)微处理器子系统。PE阵列是一个二维的大并行系统，负责完成各种可以并行进行的车道线图像预处理任务，包括车道线图像滤波，边缘提取和增强等。两个RISC微处理器子系统对经过边缘增强后的左右车道线边缘图像并行进行车道线的检测。PE阵列和RISC处理子系统之间通过先进的高性能总线互连。车道线图像数据从PE阵列的输入端输入，经PE阵列滤波，边缘提取和增强后，输出到两个并行的RISC核子系统内，由RISC核子系统检测车道线。利用以上提到的检测系统和相应的算法，能够实现车道线的快速检测。

Description

基于并行处理的快速车道线检测装置

技术领域

本发明涉及车道线的快速检测以及相应的应用车道偏离预警系统及车道保持系统等辅助安全驾驶技术领域，尤其涉及一种基于并行处理的快速车道线检测装置。

背景技术

随着近年来汽车保有量的快速增长，由汽车导致的交通事故越来越多，使得汽车安全问题日趋重要。如何提高汽车驾驶安全是一个重要的社会问题和科技发展的重要研究领域。辅助安全驾驶近年来是解决汽车安全的一种行之有效的方法之一，而其中得到最广泛应用的就是车道偏离预警系统。在这个系统中，关键的问题是车道的实时快速检测。现有的各种关于车道线检测的方法都是基于计算机平台实现，算法复杂，速度很慢，难以达到实时性的应用要求，而且用计算机体积庞大，难于在汽车上安装，可靠性也不能保证。基于此，在现实中，安全辅助驾驶的各种系统都还停留在实验阶段，没能走入现实，应用到各种车辆中。

随着近年来信息技术的快速发展，利用大规模高性能的现场可编程门阵列(FPGA)，数字信号处理器(DSP)以及嵌入式处理器的硬件系统正成为研究的热点。然而受限于现有架构系统，其能达到的速度还是有限。

发明内容

(一)要解决的技术问题

针对以上问题，本发明提供了一种基于并行处理的快速车道线检测装置，通过并行的设计架构和与之相适应的高度并行的算法，可以实现在不同环境下的车道线的快速准确识别，能够应用于各种车辆辅助驾驶系统中去。

(二)技术方案

为达到上述目的，本发明提供了一种基于并行处理的快速车道线检测装置，该装置包括：

车道线图像输入模块；

接收车道线图像输入模块输入的二维全并行阵列处理器；

用于控制二维全并行阵列处理器的阵列控制器；

实现二维全并行阵列处理器输出选择的第二多路选择器；

接收第二多路选择器输出结果的第一精简指令集处理器子系统；

接收第二多路选择器输出结果的第二精简指令集处理器子系统；

实现第一精简指令集处理器子系统与第二精简指令集处理器子系统之间总线切换的仲裁器；

实现第一精简指令集处理器子系统和第二精简指令集处理器子系统的车道线检测结果输出选择的第一多路选择器；以及

接收第一多路选择器车道线检测结果并输出的检测结果输出模块；

其中，该装置利用全并行阵列处理的大规模并行运算实现快速的车道线图像的预处理，利用两个精简指令集处理器子系统RISC根据预处理结果实现车道上两条车道线的并行检测，使得检测速度远快于基于单个处理器的检测装置，实现车道线的快速检测；

所述二维全并行阵列处理器包含呈二维阵列排列的多个处理单元，每一处理单元均接受控制指令，并与近邻的处理单元互连实现数据交换，其中：

处理单元阵列呈二维规则排列，阵列能存储一幅或多幅图像，每一个处理单元对应图像的一个像素或多个像素；

通过将复杂的多位的数学运算或逻辑运算分解成为多个简单的较少位数的数学运算或逻辑运算，每个处理单元在多个周期内能完成任意位数的数学运算和逻辑运算；

每个处理单元的数据可被传递到其上、下、左、右的近邻处理单元，并与这些处理单元做运算，通过多次的近邻传递处理单元的数据，每个处理单元可与任意间隔的其他处理单元做运算；

处理单元阵列能并行的对存储在单元阵列中的图像完成适合于全并行处理的图像操作。

所述第一精简指令集处理器子系统包括：

一个精简指令集处理器核；

一个随机只读存储器，用于存储精简指令集处理器核的程序；

一个随机存储器，用于实现精简指令集处理器核处理过程中的数据存储和读取；以及

实现互连的高性能总线，用于将精简指令集处理器核、随机只读存储器和随机存储器三者互连，构成第一精简指令集处理器子系统；该装置采用一种适合于并行快速实现的车道线检测算法，该算法包括：

车道线图像感兴趣区域的选取；

对感兴趣区域进行至少包括滤波、边缘提取和增强的预处理；以及

根据预处理结果，检测车道线，并输出检测结果；

其中：车道线图像感兴趣区域的滤波、边缘提取和增强，均适用于单指令多数据体系结构的并行实现；

根据预处理结果检测车道线采用第一精简指令集处理器子系统或第二精简指令集处理器子系统完成，两条车道线利用第一精简指令集处理器子系统和第二精简指令集处理器子系统并行检测。

上述方案中，所述处理单元包括：

算术逻辑部件，用于实现至少包括求和、求或、求与或求非的算术逻辑操作；

第一双口静态随机存储器，用于存储和输出处理单元的数据；

第二双口静态随机存储器，用于存储和输出处理单元的数据；

五个与近邻相连的互连端口，包括上近邻、右近邻、左近邻、下近邻四个输入端口，以及一个近邻输出端口；

控制指令输入端口，接受来自阵列控制器给出的控制指令；以及

双口静态随机存储器的读写地址端口，接受来自阵列控制器给出的读写地址信号。

上述方案中，所述第一双口静态随机存储器和第二双口静态随机存储器分别包括：

用于接收待存储的数据的输入端口，该输入端口连接到所述算术逻辑部件的一个输出端口；

用于从存储器中输出数据的输出端口，该输出端口连接到所述算术逻辑部件的一个输入端口；以及

用于读取存储器数据的读地址信号和用于写入存储器数据的写地址信号，该读地址信号和该写地址信号由阵列控制器结合控制指令一起给出。

上述方案中，所述算术逻辑部件包括：

六个数据输入端口；

三个数据输出端口；

一个加法器；

一个与门；

一个或门；

一个非门；

一个进位寄存器；

操作数选择多路选择器；

运算结果选择多路选择器；

输入模块和结果输出模块；

其中：

一个输入和一个输出用于实现与第一双口静态随机存储器的互连，实现数据存储和读取；

一个输入和一个输出用于实现与第二双口静态随机存储器的互连，实现数据存储和读取；

其他四个近邻输入和一个近邻输出用于实现与近邻处理单元的输入输出互连；

该进位寄存器用于保存算术逻辑单元中求和运算产生的进位信息。

上述方案中，所述仲裁器包括：

两个总线接口，用于向第一精简指令集处理器子系统和第二精简指令集处理器子系统提供访问需求；以及

两个控制输出端口，用于实现对第二多路选择器和第一多路选择器的选择控制。

上述方案中，所述第二多路选择器和第一多路选择器分别包括两条总线接口、一个对外接口和一个受控输入端口，其中，在受控输入端口的作用下，实现两条总线与对外接口或受控输入端口的互连切换。

(三)有益效果

本发明提出的基于并行处理的快速车道线检测装置，包括二维处理单元(PE)阵列和两个并行的RISC子系统，以及实现快速检测的高并行度算法。其中每个PE由算术逻辑部件和存储器组成，能够完成简单的运算；每个PE可以向近邻的PE传输数据或从近邻的PE接收数据。PE阵列可以并行的完成对车道线图像的各种预处理，包括滤波，边缘提取和增强等。每个RISC子系统均有一个RISC核和程序存储器ROM和数据存储器RAM构成，能够完成复杂的高级图像处理，进行车道线的检测。在本发明提出的算法作用下，首先利用PE阵列完成车道线图像的预处理，其次利用两个RISC核子系统实现对经过预处理的两条车道线的并行检测。由于大量的PE的并行运算，二维的PE阵列能够在很快的时间内完成图像的预处理任务，而两个RISC子系统能够并行的根据预处理的结果进行左右两条车道线的检测，从而可以快速完成车道线的检测，其检测速度比已有的方法提高2倍以上。

附图说明

下面结合附图及实施例对本发明作详细说明。

图1是本发明提出的基于并行处理的快速车道线检测系统架构图；

图2是本发明提出的图1中PE实施例结构图；

图3是本发明提出的图2中ALU实施例结构图；

图4是本发明提出的适合于并行快速实现的车道线检测算法流图；

图5是本发明提出的图4的实施例过程示意图；

图6是本发明提出的快速车道线检测实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1所示为基于并行处理的快速车道线检测装置的系统架构图，包含有一个二维的全并行阵列处理器10和阵列控制器101，两个精简指令集处理器(RISC)子系统11和13，实现总线切换的仲裁器14和两个多路选择器12和15，车道线图像输入和检测结果输出模块。在一种适合与并行实现的车道线快速检测算法的作用下，首先利用全并行阵列处理器的大规模并行运算实现快速的车道线图像的预处理，其次利用两个RISC子系统根据预处理结果实现车道上两条车道线的并行检测，结果使得检测速度远快于基于单个处理器的检测系统，从而可以实现车道线的快速检测。

图1中的全并行阵列处理器10，是包含有成二维阵列排列的多个处理单元(PE)100。每一处理单元(PE)均接受控制指令，并和近邻的处理单元互连实现数据交换。PE阵列成二维N×M(N，M是大于1的正整数)规则排列，阵列可以存储一幅或多幅图像，每一个PE单元对应图像的一个像素或多个像素。通过将复杂的多位的数学运算或逻辑运算分解成为多个简单的较少位数的数学运算或逻辑运算，每个PE单元可以在多个周期内完成任意位数的数学运算和逻辑运算。每个PE单元的数据可以被传递到其上、下、左、右的近邻PE单元，并与这些单元做运算，通过多次的近邻传递PE的数据，每个PE单元可以与任意间隔的其他PE单元做运算。PE阵列可以并行的对存储在单元阵列中的图像完成适合于全并行处理的图像操作。

如在本实施例中要处理2幅160×96的图像，可以设计32×32的PE阵列，将每幅图像分成15个32×32的图像块，一共有30块32×32的图像块，每个PE单元对应30个像素。PE单元在实现8位的加法运算时，将8位的运算分解成8次1位的加法运算和1次进位操作共9次完成。PE和PE之间传递数据是通过一次或多次的近邻之间互相传递实现的。而适合于PE阵列完成的全并行处理图像操作包含有滤波，边缘提取和增强等。

如图2所示为PE的实施例结构图。包括有处理位数为R的算术逻辑部件(ALU)21，可以实现求和，求或，求与，求非等算术逻辑操作，左边一个存储容量为S的双口静态随机存储器(SRAM)A 20和右边一个存储容量为T的双口SRAM B 22，用于存储和输出处理单元的数据(R，S，T均是大于1的正整数)。通过左右两边这种双存储器的方式，能够实现同时获取两个操作数，并且采用的是双口SRAM，即能同时进行读写操作，从而实现在单周期内完成取操作数，运算和写回结果的过程。另外五个与近邻相连的互连端口，包括上近邻，右近邻，左近邻，下近邻四个输入端口，一个近邻输出端口，实现和近邻PE之间的操作。而这些操作，都是由来自阵列控制器101给出的控制指令和双口SRAM读写地址信号的作用下完成的。其中控制指令和读写地址通过相应的端口送到PE里去。

如本实施例中采用的是1位处理能力的ALU，SRAM A 20的容量是256比特(bit)，SRAM B 22的存储容量是32比特，即R＝I，S＝256，T＝32。这样可以实现一个PE对应30个像素240比特(30×8)的存储要求，另外还富于48比特用于处理过程中的中间变量存储。而1位的ALU便宜在多个时钟周期实现复杂的多位运算，如可以在9个时钟周期内完成8位的加法运算。

如图3所示为PE中ALU的实施例结构图，包括六个数据输入端口，其中两个分别和双口SRAMA20和SRAM B 22的输出端口相连，另四个则分别和近邻PE的输出端口相连；三个数据输出端口，其中两个和双口SRAM A 20和SRAM B 22的输入端口相连，实现数据的写回，另外一个是输出到近邻的端口，实现数据在近邻PE之间的传递；另外有一个加法器，一个与门，一个或门，一个非门，一个进位寄存器，操作数选择多路选择器30，输入模块31，运算结果选择多路选择器32和结果输出模块33。由这些组成实现求和，与，或，非等操作。其操作过程在控制指令的作用下，首先从六个数据输入端口中选择2个操作数和进位输入，然后进行相应的加，与，或，非操作，在控制指令的作用下选择相应的结果，并且根据控制指令的要求输出到对应的输出端口。

如在本实施例中要进行1位的加法运算，加数来自SRAM A 20中地址1对应存储的数，被加数来自SRAM B 22中地址2对应存储的数，相加所得和存储到SRAM A 20中地址3对应的存储位置，所得进位存储到SRAM B 22中地址4对应的存储位置。其过程如下，首先阵列控制器101给出求和的控制指令，同时分别给出SRAM A 20和SRAM B 22的读地址1和2和写地址3和4。SRAM A 20和SRAM B 22在读地址1和2的作用下输出对应的加数和被加数，在求和控制指令的作用下被选择为操作数1和操作数2，同时进位输入为0，接着进行相加求和，在求和控制指令的作用下选择求和作为结果输出，且将和输出到SRAMA20，进位输出到SRAM B 22，在相应的写地址3和4的作用下，求和结果(和，进位)写入到SRAM A 20和SRAM B 22中的相应位置。至此，1位加法运算完成。

图1中的RISC子系统11，它有一个处理能力为X位的RISC核110，一个存储容量为Y的随机只读存储器(ROM)111，和一个存储容量为Z的随机存储器(RAM)112组成(X，Y，Z是大于1的正整数)。它们之间通过先进的高性能总线互连。其中RISC核是一个处理器，ROM是程序存储器，RAM是数据存储器。RISC核从ROM中获取程序，并按照程序进行相应的处理和运算操作，最终完成程序所规范的各种处理，将结果存放到RAM中去。RISC子系统13和RISC子系统11是一样的子系统，两者之间是平行等价的关系。它们和PE阵列以及外部输出端口之间的互连切换是通过仲裁器和多路选择器14，12实现的。多路选择器的控制权是通过仲裁器对两个RISC核的请求进行仲裁获取的。

如本实施例中选择32位的RISC核，64千字节(KB)的ROM，128KB的RAM，即X＝32，Y＝64KB，Z＝128KB。32位的RISC核，能够一次处理一个字，4个字节，速度快，性能好，64KB的ROM空间，可以存放算法所要求的程序空间，128KB的RAM则提供足够大的空间供处理过程中各种中间变量的存储。在本实施例中，RISC核的主要任务是对经过PE阵列预先处理过的车道线图像进行高层次的处理，实现车道线的检测。首先RISC核通过向仲裁器申请，获取和PE阵列的互连，其次从PE阵列中获取经过预处理的车道线图像，并存储到RAM中，再次根据RAM中的存储图像，进行相应的车道线检测，最后将检测结果存放在RAM中或者输出车道线参数并重绘车道线。两个RISC核子系统交替从PE阵列处理器10中获取经过预处理的左右车道线图像，并行进行车道线的检测。

如图4所示的是适合于并行快速实现的车道线检测算法的流图。首先选取车道线图像中感兴趣区域的图像，其次并行实现车道线图像的预处理，包括图像的滤波，边缘提取和增强等；然后根据预处理的结果实现左右车道线的并行检测，最后输出检测结果。

在本实施例中如图5以图形化的方式示意了图4所述的过程。其中(a)是选取的车道线图像中感兴趣区域，即车道线所在的区域，而(b)，(c)和(d)则展示了利用PE阵列处理器10进行图像预处理的过程，包括滤波，边缘提取和增强，(e)则是利用RISC核子系统11和13通过霍夫(Hough)变换的方式实现了车道线的检测。

如图6则是利用本发明提及的系统架构和相应的算法进行实施例示意。分别在强光，正常光照，夜间和弱光条件下的检测结果示例。图中黑线标识的是检测结果。由此可以看到和原有的车道线是吻合的，即能够适应不同的环境进行正确的检测。

在本实施例中，整个硬件系统工作在100兆赫兹(Mhz)，由PE阵列处理器10实现的图像预处理时间最长不超过1个毫秒(ms)，而由两个RISC核子系统11和13通过Hough变换检测车道线时间最长不超过19ms，总耗时不超过20ms，即能够达到每秒大于50帧的检测速率，满足车道线检测的实时性要求，比现有的技术提高了2到5倍的速率。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于并行处理的快速车道线检测装置，其特征在于，该装置包括：

车道线图像输入模块；

接收车道线图像输入模块输入的二维全并行阵列处理器(10)；

用于控制二维全并行阵列处理器(10)的阵列控制器(101)；

实现二维全并行阵列处理器(10)输出选择的第二多路选择器(15)；

接收第二多路选择器(15)输出结果的第一精简指令集处理器子系统(11)；

接收第二多路选择器(15)输出结果的第二精简指令集处理器子系统(13)；

实现第一精简指令集处理器子系统(11)与第二精简指令集处理器子系统(13)之间总线切换的仲裁器(14)；

实现第一精简指令集处理器子系统(11)和第二精简指令集处理器子系统(13)的车道线检测结果输出选择的第一多路选择器(12)；以及

接收第一多路选择器(12)车道线检测结果并输出的检测结果输出模块；

其中，该装置利用全并行阵列处理的大规模并行运算实现快速的车道线图像的预处理，利用两个精简指令集处理器子系统RISC根据预处理结果实现车道上两条车道线的并行检测，使得检测速度远快于基于单个处理器的检测装置，实现车道线的快速检测；

所述二维全并行阵列处理器(10)包含呈二维阵列排列的多个处理单元(100)，每一处理单元均接受控制指令，并与近邻的处理单元互连实现数据交换，其中：

处理单元阵列呈二维规则排列，阵列能存储一幅或多幅图像，每一个处理单元对应图像的一个像素或多个像素；

通过将复杂的多位的数学运算或逻辑运算分解成为多个简单的较少位数的数学运算或逻辑运算，每个处理单元在多个周期内能完成任意位数的数学运算和逻辑运算；

每个处理单元的数据可被传递到其上、下、左、右的近邻处理单元，并与这些处理单元做运算，通过多次的近邻传递处理单元的数据，每个处理单元可与任意间隔的其他处理单元做运算；

处理单元阵列能并行的对存储在单元阵列中的图像完成适合于全并行处理的图像操作；

所述第一精简指令集处理器子系统(11)包括：

一个精简指令集处理器核(110)；

一个随机只读存储器(111)，用于存储精简指令集处理器核(110)的程序；

一个随机存储器(112)，用于实现精简指令集处理器核(110)处理过程中的数据存储和读取；以及

实现互连的高性能总线，用于将精简指令集处理器核(110)、随机只读存储器(111)和随机存储器(112)三者互连，构成第一精简指令集处理器子系统；

该装置采用一种适合于并行快速实现的车道线检测算法，该算法包括：

车道线图像感兴趣区域的选取；

对感兴趣区域进行至少包括滤波、边缘提取和增强的预处理；以及

根据预处理结果，检测车道线，并输出检测结果；

其中：车道线图像感兴趣区域的滤波、边缘提取和增强，均适用于单指令多数据体系结构的并行实现；

根据预处理结果检测车道线采用第一精简指令集处理器子系统(11)或第二精简指令集处理器子系统(13)完成，两条车道线利用第一精简指令集处理器子系统(11)和第二精简指令集处理器子系统(13)并行检测。

2.根据权利要求1所述的基于并行处理的快速车道线检测装置，其特征在于，所述处理单元包括：

算术逻辑部件(21)，用于实现至少包括求和、求或、求与或求非的算术逻辑操作；

第一双口静态随机存储器(20)，用于存储和输出处理单元的数据；

第二双口静态随机存储器(22)，用于存储和输出处理单元的数据；

五个与近邻相连的互连端口，包括上近邻、右近邻、左近邻、下近邻四个输入端口，以及一个近邻输出端口；

控制指令输入端口，接受来自阵列控制器(101)给出的控制指令；以及

双口静态随机存储器的读写地址端口，接受来自阵列控制器(101)给出的读写地址信号。

3.根据权利要求2所述的基于并行处理的快速车道线检测装置，其特征在于，所述第一双口静态随机存储器(20)和第二双口静态随机存储器(22)分别包括：

用于接收待存储的数据的输入端口，该输入端口连接到所述算术逻辑部件(21)的一个输出端口；

用于从存储器中输出数据的输出端口，该输出端口连接到所述算术逻辑部件(21)的一个输入端口；以及

用于读取存储器数据的读地址信号和用于写入存储器数据的写地址信号，该读地址信号和该写地址信号由阵列控制器(101)结合控制指令一起给出。

4.根据权利要求2所述的基于并行处理的快速车道线检测装置，其特征在于，所述算术逻辑部件包括：

六个数据输入端口；

三个数据输出端口；

一个加法器；

一个与门；

一个或门；

一个非门；

一个进位寄存器；

操作数选择多路选择器(30)；

运算结果选择多路选择器(32)；

输入模块(31)和结果输出模块(33)；

其中：

一个输入和一个输出用于实现与第一双口静态随机存储器(20)的互连，实现数据存储和读取；

一个输入和一个输出用于实现与第二双口静态随机存储器(22)的互连，实现数据存储和读取；

其他四个近邻输入和一个近邻输出用于实现与近邻处理单元的输入输出互连；

该进位寄存器用于保存算术逻辑单元中求和运算产生的进位信息。

5.根据权利要求1所述的基于并行处理的快速车道线检测装置，其特征在于，所述仲裁器包括：

两个总线接口，用于向第一精简指令集处理器子系统(11)和第二精简指令集处理器子系统(13)提供访问需求；以及

两个控制输出端口，用于实现对第二多路选择器(15)和第一多路选择器(12)的选择控制。

6.根据权利要求1所述的基于并行处理的快速车道线检测装置，其特征在于，所述第二多路选择器(15)和第一多路选择器(12)分别包括两条总线接口、一个对外接口和一个受控输入端口，其中，在受控输入端口的作用下，实现两条总线与对外接口或受控输入端口的互连切换。

Images