CN113771753A - 一种用于路口绿灯提醒的辅助驾驶方法和系统 - Google Patents

Abstract

本发明公开了一种用于路口绿灯提醒的辅助驾驶方法和系统。该方法包括：采集图像数据；分析图像，确定当前车道和红绿灯信息；若存在红绿灯，确定红绿灯的颜色；若红绿灯颜色为绿色，判断绿灯形状，若绿灯为圆形或绿灯为箭头形且该形状与车道信息匹配时，检测车辆当前速度；若距离大于等于设定值，等待第一反应时间后，检测车辆当前速度；若车辆当前速度等于零，生成提示信息。该系统包括：图像采集模块、信息处理与控制模块、距离采集模块、速度采集模块和提示模块。本发明可以帮助未意识到路口信号灯已变绿的驾驶人员快速调整驾驶状态，从而可以有效避免后方车辆积压，在一定程度上缓解城市道路交通压力。

Description

一种用于路口绿灯提醒的辅助驾驶方法和系统

技术领域

本发明涉及车辆的辅助驾驶领域，尤其涉及一种用于路口绿灯提醒的辅助驾驶方法和系统。

背景技术

随着人民生活水平的不断提高，科技的不断发展，机动车在数量和质量外观上不断突破创新的同时，交通拥堵的负面影响也凸显的尤为明显。其中，由于车辆驾驶人员在路口等待绿灯期间，走神、玩手机、看书等，导致车辆未在信号灯由红转绿后及时通过路口或向前行驶，致使后方车辆积压严重，堵塞交通的现象非常普遍，同时该现象也成为了当今道路交通拥堵的主要原因之一。

然而目前只有部分具备自动驾驶功能的豪车才会采用全路况感知系统，普通家用车辆的车辆辅助控制系统主要偏重车辆行驶安全方面。且现有的全路况感知能力的系统需要借助市面上成熟的导航系统，才能正确且及时的检测道路状况，车载系统无法独立工作，具有相当的局限性；而普通家用车辆的辅助控制系统由于无法及时获取道路信息，也不会提醒驾驶人员及时对车辆状态做出反应。

对比文件CN105185140B提供了一种辅助驾驶方法和系统，通过摄像、导航定位、图像分析和驾驶提醒等功能，及时提醒车辆驾驶员红绿灯的变化，方便车辆的行止。但该技术方案依然是主要依靠导航系统来进行车辆定位，这样就需要外接GPS来完成，不仅涉及到版权问题，还会使系统变得更加复杂，不能普遍适用。

发明内容

本发明的目的在于提供一种用于路口绿灯提醒的辅助驾驶的方法和系统，能够在车辆等待红灯时，实时辨别十字路口的道路状况，辅助驾驶人员及时对车辆做出相应动作，降低因前车未及时通行而导致的后方交通拥堵情况的发生。

为实现上述目的，根据本发明的第一方面，提供一种用于路口绿灯提醒的辅助驾驶方法，包括：S10采集图像数据；S20分析图像，确定当前车道信息并判断图像中是否存在红绿灯；S30若存在红绿灯，确定所述红绿灯的颜色；S40若所述红绿灯颜色为绿色，执行以下步骤：响应于检测到第一事件的发生，则检测车辆与前方物体的距离，其中所述第一事件为红绿灯的形状为圆形；响应于检测到第二事件的发生，判断此时车道信息是否满足第二条件，如果满足第二条件，则检测车辆与前方物体的距离，其中所述第二事件为红绿灯的形状为箭头形，所述第二条件为车道信息与所亮绿灯的形状匹配；S50若距离大于等于设定值，等待第一反应时间后，检测车辆当前速度；S60若车辆当前速度等于零，生成提示信息。

进一步的，步骤S20中确定当前车道信息还包括如下步骤：图像灰度化处理；

图像滤波；图像二值化处理；获取感兴趣区域；获取车道轮廓；采用Shi-Tomasi角点检测法检测出当前车道；获取车道间感兴趣区域图像；提取边缘信息；利用Hu不变矩计算出七个特征值；马氏距离计算相似度；识别出当前车道标志。

进一步的，步骤S20中判断图像中是否存在红绿灯还包括如下步骤：对图像进行颜色分割；用圆形度法对图像进行过滤；利用形状特征确认红绿灯区域。

进一步的，所述提示信息为蜂鸣器持续想起、LED灯持续闪烁。

根据本发明的第二方面，提供一种用于执行上述方法的辅助驾驶系统，包括：

图像采集模块，被配置为采集图像数据；信息处理与控制模块，被配置在采集图像数据后，分析车道和红绿灯信息；距离采集模块，被配置在响应于检测到第一事件的发生后，检测车辆与前方物体的距离，其中所述第一事件为红绿灯的形状为圆形；所述距离采集模块还被配置在响应于检测到第二事件的发生后，通过信息处理与控制模块判断此时车道信息是否满足第二条件，以及如果满足第二条件，检测车辆与前方物体的距离，其中所述第二条件为车道信息与所亮绿灯的形状匹配；速度采集模块，被配置在通过信息处理与控制模块确定距离大于等于第一设定值并等待了第一反应时间后，检测车辆当前速度；提示模块，被配置在检测出车辆当前速度为零后，通过信息处理与控制模块生成提示信息。

进一步的，所述图像采集模块采用型号为OV7670的CMOS图像传感芯片；所述信息处理与控制模块采用型号为STM32F407ZET6的主控芯片；所述距离采集模块采用型号为UCM-40-R压电陶瓷的超声波传感器；所述速度采集模块采用芯片型号为A3144的霍尔测速传感器；所述提示模块包括蜂鸣器和LED灯。

进一步的，所述图像传感芯片各信号脚与所述主控芯片的连接关系为：

OV SDA接PG13；

OV SCL接PD3；

FIFO RCLK接PB4；

FIFO WEN接PB3；

FIFO WRST接PD6；

FIFO RRST接PG14；

FIFO OE接PG15；

OV VSYNC接PA8；

OV D[7:0]接PC[7:0]。

进一步的，所述超声波传感器包括两片UCM-40-R压电陶瓷；一片的信号输入口与主控芯片的PA1口相连，另一片的信号输入口与主控芯片的PA2口相连。

进一步的，所述霍尔测速传感器的电源端与系统电源相连，接地端与系统地相连，输出端与主控芯片的PF0口相连。

进一步的，所述蜂鸣器与主控芯片的PE0口通过电阻和三级管相连；所述LED灯与主控芯片的PF9口通过电阻相连。

与现有技术相比，本发明的有益效果是：

1、本发明能够在车辆等待红灯时，实时辨别十字路口的道路状况，辅助驾驶人员及时对车辆做出相应动作，降低因前车未及时通行而导致的后方交通拥堵情况的发生；

2、本发明能独立运行，无需依赖于车辆本身行车控制系统和外接导航，只需借助车辆电源提供电力供应，因此即使车辆出厂时未配备该系统，如车主有需要，也可通过后期车辆升级，将本发明装入车辆；

3、本发明价格低廉，系统所用硬件全为目前市场上普遍存在的设备；

4、本发明逻辑结构简单，开发周期和开发成本较小。

附图说明

为了更清楚地说明本发明的技术方案，下面对本发明所需的附图做简要介绍，显而易见地，下面描述中的附图仅仅是本发明中的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明根据一示例性实施例提供的辅助驾驶方法的流程示意图。

图2是本发明根据一示例性实施例提供的辅助驾驶系统的结构示意图。

图3是本发明根据一示例性实施例提供的辅助驾驶方法中车道图像识别处理示意图。

图4是本发明根据一示例性实施例提供的辅助驾驶方法中红绿灯图像识别处理示意图。

图5是本发明根据一示例性实施例提供的辅助驾驶系统的整体硬件电路图。

图6是本发明根据一示例性实施例提供的辅助驾驶系统的图像采集模块电路图。

图7是本发明根据一示例性实施例提供的辅助驾驶系统的距离采集模块电路图。

图8是本发明根据一示例性实施例提供的辅助驾驶系统的速度采集模块电路图

图9是本发明根据一示例性实施例提供的辅助驾驶系统的提示模块电路图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所述方法的流程如图1所示。首先进行步骤S10采集图像数据，接着进行步骤S20对得到的图像数据进行分析，检测目前车道，得到目前车道中地面引导箭头的信息，为后续系统判断做准备。然后继续对得到的图像数据进行分析，判断是否检测到红绿灯，如果否，说明车辆并未处于红绿灯路口，则无需做出反应，继续检测目前车道；如果是，则系统向下运行。开始进行步骤S30检测红绿灯颜色，对当前红绿灯是否为绿色进行判断，如果否，说明当前红绿灯还处于红灯状态，车辆无法通行，无需做出反应；如果是，则开始执行步骤S40检测红绿灯形状。目前道路上绿灯点亮后的形状只有圆形和箭头形，如果圆形的绿灯被点亮，那无需进行车道匹配，直接执行下一步骤；若检测的形状为箭头形，则需要开始判断是否绿灯形状与当前车道匹配，比如：当前地面道路导向箭头为左转箭头，绿灯点亮后形状也为左转箭头，说明信息匹配；或者当前地面道路导向箭头为直行箭头，绿灯点亮后形状也为左转箭头，说明信息不匹配。如果不匹配，则说明目前本车道尚不具备同行条件，无需做出反应，继续重新检测红绿灯颜色；如果匹配，则说明目前本车道从交规上来说，已允许同行，但车辆能否行驶，还需由具体道路情况决定。因此，还需要判断前方路况。此时进行步骤S50雷达检测与前方物体距离，然后判断是否前方物体距本车距离达到设定值，如果否，说明前方尚不具备行驶条件；如果是，则说明前方无车辆或前方车辆已驶出一段距离，先已具备行驶条件。此时会给予驾驶人员一定的反应时间。步骤S60在等待第一反应时间后，速度传感器开始采集车辆速度，根据速度判断车辆是否启动。如果检测出速度为零，则说明驾驶人员还未恢复驾驶状态，执行步骤S70生成提示信息，发出声音和灯光提醒，控制蜂鸣器连续响起， LED灯连续闪烁；如果速度不为零，则说明驾驶人员目前驾驶状态良好，无需系统提醒。

进一步的，本发明所述方法中的车道图像识别处理流程如图3所示。首先进行步骤S201将得到的车道图像进行图像灰度化处理，灰度化处理的图像更容易后期对图像进行处理和检测，提高运算效率。然后进行步骤S202图像滤波，由于拍摄的图像受到光照、树木阴影等因素的影响，会产生无用的噪声。这些噪声可能会干扰车道线的检测，导致部分车道线无法检测出来。想要解除这些噪声的影响，需要使用滤波的方法去除图像中的噪声。图像可以分为前景和背景，要将前景从无用的背景中分割出来。此时需要进行步骤S203对滤波后的图像进行图像的二值化处理。在分割出有用的前景数据后，需要对数据做进一步筛选，实施步骤S204获取感兴趣区域，大致区分出车道线所在位置可以提高效率，先找到路面有用的信息然后对其进行检测，既可以消除掉没用信息，又可以提高检测效率。接着进行步骤S205采用Canny边缘检测算子提取车道轮廓，为后续车道检测做准备。为了确保图像处理的实时性，还需实施步骤S206采用Shi-Tomasi角点检测法检测出当前车道，Shi-Tomasi角点检测，通过对比两个图像的角点信息，可以将车道线实时检测出来，增加了检测的鲁棒性。地面道路导向箭头只会存在于车道之间，因此在完成了对车道的检测后，接下来就要实施步骤S207获取车道间感兴趣区域图像，主要通过对车道线中间区域进行扫描，如果发现白色区域，即可初步认定为地面道路导向箭头所在区域。然后实施步骤S208在感兴趣区域进行对图像提取边缘信息和步骤S209利用Hu不变矩计算出七个特征值，采用Hu不变矩特征值的方法对感兴趣区域内的图像的集合特征进行图像变换，并且用来作为目标分类的依据。然后由相似度量对Hu不变矩值进行对比与分类。再通过步骤S210马氏测距计算相似度，进行图像的相似度匹配,最后得到步骤S211识别出当前车道标志。

本发明所述方法中对红绿灯的图像识别处理流程如图4所示，由于RGB色彩空间颜色与光照相互影响较大，本发明的步骤S212中选择受光照影响较小的HSV色彩空间，对图像进行颜色分割，HSV色彩空间符合人眼对色彩的感知，它的三个色彩通道分别是色调H（Hue），饱和度S（Saturation）和亮度V（Value），三个分量之间相互独立，能满足红绿灯检测和识别系统对色彩空间独立性和均匀性的要求。然后进行步骤S213用圆度法对图像进行过滤，对于圆形红绿灯使用圆形度检测，过滤圆形度过低的区域。接着进行步骤S214利用形状特征确认红绿灯区域，红绿灯在形状上有个显著特征，即其灯板为黑色矩形框，根据红绿灯的设计规范，该黑色矩形框有特定的长宽比，利用该特征将之前圆度法过滤出的红绿灯区域进行再次确认。再进行步骤S30识别红绿灯颜色，使用颜色直方图统计候选区域的H分量，对红绿灯颜色进行相应的识别。最后使用匹配模板，进行步骤S40识别绿灯点亮后形状。

本发明所述系统的结构如图2所示，系统包括图像采集模块1、信息处理与控制模块2、距离采集模块3、速度采集模块4和提示模块5。图像采集模块1设置于车辆前挡风玻璃上端，主要是利用CMOS相机对路口的画面进行拍摄，方便进行其他操作。信息处理与控制模块2与其他各模块均有联系，设置于车辆中控台内部，主要用于对接收到的信息进行处理分析，再将接下来的指令发布给各个模块，对它们进行控制。包括前文中提及的车道和红绿灯的图像识别处理均是由信息处理与控制模块2完成的。信息处理与控制模块2会在图像采集模块1进行图像采集后，对车道信息和是否有红绿灯进行判断，若存在红绿灯，则会对红绿灯的颜色和形状逐次进行分析；若判断出圆形绿灯亮起或亮起的箭头形绿灯与所在车道匹配，信息处理与控制模块2会对距离采集模块3发布测距指令。距离采集模块3设置于车头偏下位置，主要用于测量车辆与前方物体的距离，该模块可以是毫米波雷达，也可以是其他用于测距的零部件。距离采集模块3接到测距指令后，立刻进行距离测量，并将采集到的结果再反馈给信息处理与控制模块2。若信息处理与控制模块2判断出该距离超过或等于设定值，则会在等待第一反应时间后，对速度采集模块4发出测速指令。第一反应时间一般设定为10秒以下。速度采集模块4可以设置为速度传感器，也可以直接通过仪表盘进行速度采集，一般设置于车头中间位置。速度采集模块4进行测速操作后，同样需要再次将数据反馈给信息处理与控制模块2，若此时速度为零，信息处理与控制模块2会对提示模块5发出指令。提示模块5设置于车辆仪表盘附近。

以下公布本发明系统的硬件电路布置方式，为使叙述更清楚，以下会把本发明所述系统所用的零配件加以具体限定，但其并不代表本发明的唯一实施方式。

本发明所述系统整体硬件电路如图5所示，包括图像采集模块1、信息处理与控制模块2、距离采集模块3、速度采集模块4和提示模块5。图像采集模块1采用型号为OV7670的CMOS 图像传感芯片；信息处理与控制模块2中的主控芯片MCU采用STM32F407ZET6；距离采集模块3采用超声波测距传感器，其中用于发射和接收信号的超声波传感器采用UCM-40-R压电陶瓷；速度采集模块4采用芯片为A3144的霍尔测速传感器；提示模块5采用LED灯和蜂鸣器。

图像采集模块1部分电路如图6所示，因为OV7670的像素时钟（PCLK）最高可达24Mhz，用STM32F407ZET6的IO口直接抓取是非常困难的，也十分占耗CPU，所以，并不是采取直接抓取来自OV7670的数据，而是通过FIFO读取，ALIENTEK OV7670摄像头模块自带了一个FIFO芯片，用于暂存图像数据，有了这个芯片，就可以很方便的获取图像数据，而不再需要单片机具有高速IO，也不会耗费多少CPU。

OV7670芯片的各信号脚与MCU的连接关系为：

OV SDA接PG13；

OV SCL接PD3；

FIFO RCLK接PB4；

FIFO WEN接PB3；

FIFO WRST接PD6；

FIFO RRST接PG14；

FIFO OE接PG15；

OV VSYNC接PA8；

OV D[7:0]接PC[7:0]。

距离采集模块3部分电路如图7所示，该超声波传感器包括两片UCM-40-R压电陶瓷，一片用于发射信号，信号输入口与MCU的PA1口相连；另一片用于接收信号，接收到的信号通过二级放大电路放大，输入至MCU的PA2口。

速度采集模块4部分电路如图8所示，霍尔测速芯片A3144电源端与系统电源相连，接地端与系统地相连，输出端与MCU的PF0口相连。

提示模块5部分电路如图9所示，蜂鸣器部分，MCU的PE0口，通过电阻和三级管与蜂鸣器Buzzer相连。LED灯部分，MCU的PF9口，通过电阻与LED相连。 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种用于路口绿灯提醒的辅助驾驶方法，其特征在于，包括：

S10采集图像数据；S20分析图像，确定当前车道信息并判断图像中是否存在红绿灯；

S30若存在红绿灯，确定所述红绿灯的颜色；S40若所述红绿灯颜色为绿色，执行以下步骤：

响应于检测到第一事件的发生，则检测车辆与前方物体的距离，其中所述第一事件为红绿灯的形状为圆形；响应于检测到第二事件的发生，判断此时车道信息是否满足第二条件，如果满足第二条件，则检测车辆与前方物体的距离，其中所述第二事件为红绿灯的形状为箭头形，所述第二条件为车道信息与所亮绿灯的形状匹配；S50若距离大于等于设定值，等待第一反应时间后，检测车辆当前速度；S60若车辆当前速度等于零，生成提示信息。

2.根据权利要求1所述的一种用于路口绿灯提醒的辅助驾驶方法，其特征在于，步骤S20中确定当前车道信息还包括如下步骤：图像灰度化处理；图像滤波；图像二值化处理；获取感兴趣区域；获取车道轮廓；采用Shi-Tomasi角点检测法检测出当前车道；获取车道间感兴趣区域图像；提取边缘信息；利用Hu不变矩计算出七个特征值；马氏距离计算相似度；识别出当前车道标志。

3.根据权利要求1所述的一种用于路口绿灯提醒的辅助驾驶方法，其特征在于，步骤S20中判断图像中是否存在红绿灯还包括如下步骤：对图像进行颜色分割；用圆形度法对图像进行过滤；利用形状特征确认红绿灯区域。

4.根据权利要求1所述的一种用于路口绿灯提醒的辅助驾驶方法，其特征在于，所述提示信息为蜂鸣器持续响起、LED灯持续闪烁。

5.一种用于执行权利要求1-4中任一项方法的辅助驾驶系统，其特征在于，包括：

图像采集模块，被配置为采集图像数据；信息处理与控制模块，被配置在采集图像数据后，分析车道和红绿灯信息；距离采集模块，被配置在响应于检测到第一事件的发生后，检测车辆与前方物体的距离，其中所述第一事件为红绿灯的形状为圆形； 所述距离采集模块还被配置在响应于检测到第二事件的发生后，通过信息处理与控制模块判断此时车道信息是否满足第二条件，以及如果满足第二条件，检测车辆与前方物体的距离，其中所述第二条件为车道信息与所亮绿灯的形状匹配；速度采集模块，被配置在通过信息处理与控制模块确定距离大于等于第一设定值并等待了第一反应时间后，检测车辆当前速度；提示模块，被配置在检测出车辆当前速度为零后，通过信息处理与控制模块生成提示信息。

6.根据权利要求5所述的一种辅助驾驶系统，其特征在于，所述图像采集模块采用型号为OV7670的CMOS图像传感芯片；所述信息处理与控制模块采用型号为STM32F407ZET6的主控芯片；所述距离采集模块采用型号为UCM-40-R压电陶瓷的超声波传感器；所述速度采集模块采用芯片型号为A3144的霍尔测速传感器；所述提示模块包括蜂鸣器和LED灯。

7.根据权利要求6所述的一种辅助驾驶系统，其特征在于，所述图像传感芯片各信号脚与所述主控芯片的连接关系为：

OV SDA接PG13；

OV SCL接PD3；

FIFO RCLK接PB4；

FIFO WEN接PB3；

FIFO WRST接PD6；

FIFO RRST接PG14；

FIFO OE接PG15；

OV VSYNC接PA8；

OV D[7:0]接PC[7:0]。

8.根据权利要求6所述的一种辅助驾驶系统，其特征在于，所述超声波传感器包括两片UCM-40-R压电陶瓷；一片的信号输入口与主控芯片的PA1口相连，另一片的信号输入口与主控芯片的PA2口相连。

9.根据权利要求6所述的一种辅助驾驶系统，其特征在于，所述霍尔测速传感器的输出端与主控芯片的PF0口相连。

10.根据权利要求6所述的一种辅助驾驶系统，其特征在于，所述蜂鸣器与主控芯片的PE0口相连；所述LED灯与主控芯片的PF9口相连。

Images