CN107886034B

CN107886034B - 行车提醒方法、装置及车辆

Info

Publication number: CN107886034B
Application number: CN201610874333.6A
Authority: CN
Inventors: 张旭; 黄忠伟; 姜波
Original assignee: BYD Co Ltd
Current assignee: BYD Co Ltd
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2020-10-20
Anticipated expiration: 2036-09-30
Also published as: CN107886034A

Abstract

本公开公开了一种行车提醒方法、装置及车辆，所述方法包括：实时采集道路图像；对采集的道路图像进行预处理；根据预处理后的图像，进行人行横道识别和交通信号灯识别；根据人行横道识别结果和交通信号灯识别结果，进行行车提醒。本公开通过实时采集车辆前方的道路图像，对道路图像进行人行横道识别和交通信号灯识别，并结合车辆的运行信息，进行相应的判断，为驾驶员在穿越路口时，进行不同的状况下的行车提醒，大大提高了驾驶员行车判断的准确率。

Description

行车提醒方法、装置及车辆

技术领域

本公开涉及汽车控制技术领域，具体地，涉及一种行车提醒方法、装置及车辆。

背景技术

随着汽车电子产品的快速发展，车辆的安全行驶越来越重要。对于交通路口等复杂的行车环境，进行行车提醒对行车安全起到重要的作用。

相关技术中的路口行车提醒，对红绿灯目标的处理一般只限于识别，且只限于判别单一的红绿灯目标。即车载的嵌入式处理器根据摄像头采集到包含路口路况的图像进行处理，进而做出预警判别，并根据判别结果给用户发送预警信息，以此作为辅助驾驶车辆的手段。但是，这种方式存在明显的误报风险。

在相关技术的另一些路口行车提醒技术中，需要结合安装在路口交通信号灯上的信号发生装置，在车辆经过路口时由此装置发送交通信号灯状态信息给车辆。车辆获得交通信号灯状态信息后，再结合车速等自身状态数据进行判别处理，实现预警功能。但这种方式，依赖于外置的信号发生装置，可行性低且增加了实施的复杂度。

发明内容

本公开的目的是提供一种行车提醒方法、装置及车辆，以提高行车提醒的准确性。

为了实现上述目的，第一方面，本公开提供一种行车提醒方法，包括：

实时采集道路图像；

对采集的道路图像进行预处理；

根据预处理后的图像，进行人行横道识别和交通信号灯识别；

根据人行横道识别结果和交通信号灯识别结果，进行行车提醒。

在一个实施例中，所述根据预处理后的图像进行人行横道识别的步骤包括：

利用双极性对预处理后的道路图像进行分割，提取双极性高的图像块作为候选区域图像；

将候选区域图像与二值化图像进行融合，获取人行横道图像；

根据人行横道的特征信息，从人行横道图像中提取出人行横道轮廓图像；

根据人行横道轮廓图像，从道路图像中提取人行横道。

在一个实施例中，所述根据预处理后的图像进行交通信号灯识别的步骤包括：

根据交通信号灯在道路图像中出现的高频位置，确定预处理后的道路图像的感兴趣区域；

将感兴趣区域的图像由RGB空间转换到HSI颜色空间，以得到感兴趣区域的HIS图像；

根据感兴趣区域的HIS图像，获取交通信号灯候选区域图像；

对获取的交通信号灯候选区域图像进行去噪处理；

采用预设模板图像，对进行了去噪处理的交通信号灯候选区域图像进行交通信号灯特征匹配，提取交通信号灯。

在一个实施例中，所述根据人行横道识别结果和交通信号灯识别结果，进行行车提醒的步骤包括：

当识别到人行横道并识别到交通信号灯时，根据人行横道的识别结果，获取车辆到人行横道的距离；

根据获取的车辆的实时车速信息和所述车辆到人行横道的距离，获取车辆到达人行横道的时间；

根据所述车辆到达人行横道的时间以及交通信号灯识别结果，判断车辆到达人行横道时交通信号灯的状态；

根据交通信号灯的状态进行行车提醒。

在一个实施例中，所述根据交通信号灯的状态进行行车提醒的步骤包括：

若交通信号灯的状态为红灯，则当识别到的人行横道与车辆之间的距离小于预设预警距离，且车辆的转向角度小于预设角度时，发出报警提示和/或发出减速信号；

若交通信号灯的状态为黄灯，则当识别到人行横道与车辆之间的距离小于预设预警距离时，发出预警提示信息。

根据人行横道的识别结果，获取人行横道与车辆之间的距离；

当人行横道与车辆之间的距离小于预设预警距离时，根据交通信号灯的识别结果，获取交通信号灯的状态；

在交通信号灯的状态为红灯时，发出报警提示和/或减速信号；

在交通信号灯的状态为黄灯时，发出预警提示信息。

在一个实施例中，所述对采集的道路图像进行预处理的步骤包括：

对采集的图像进行灰度变换和灰度动态范围调整，以及进行形态学顶帽操作。

第二方面，提供一种行车提醒装置，包括：

图像采集模块，用于实时采集道路图像；

图像预处理模块，用于对采集的道路图像进行预处理；

识别模块，用于根据预处理后的图像，进行人行横道识别和交通信号灯识别；

提醒控制模块，用于根据人行横道识别结果和交通信号灯识别结果，进行行车提醒。

在一个实施例中，所述识别模块包括：

候选区域提取子模块，用于利用双极性对预处理后的道路图像进行分割，提取双极性高的图像块作为候选区域图像；

人行横道图像获取子模块，用于将候选区域图像与二值化图像进行融合，获取人行横道图像；

人行横道轮廓图像提取子模块，用于根据人行横道的特征信息，从人行横道图像中提取出人行横道轮廓图像；

人行横道提取子模块，用于根据人行横道轮廓图像，从道路图像中提取人行横道。

在一个实施例中，所述识别模块包括：

感兴趣区域确定子模块，用于根据交通信号灯在道路图像中出现的高频位置，确定预处理后的道路图像的感兴趣区域；

感兴趣区域的HIS图像获取子模块，用于将感兴趣区域的图像由RGB空间转换到HSI颜色空间，以得到感兴趣区域的HIS图像；

交通信号灯候选区域图像获取子模块，用于根据感兴趣区域的HIS图像，获取交通信号灯候选区域图像；

去噪处理子模块，用于对获取的交通信号灯候选区域图像进行去噪处理；

交通信号灯提取子模块，用于采用预设模板图像，对进行了去噪处理的交通信号灯候选区域图像进行交通信号灯特征匹配，提取交通信号灯。

在一个实施例中，所述提醒控制模块包括：

第一距离确定子模块，用于当识别到人行横道并识别到交通信号灯时，根据人行横道的识别结果，获取车辆到人行横道的距离；

时间确定子模块，用于根据获取的车辆的实时车速信息和所述车辆到人行横道的距离，获取车辆到达人行横道的时间；

第一交通信号灯状态确定子模块，用于根据所述车辆到达人行横道的时间以及交通信号灯识别结果，判断车辆到达人行横道时交通信号灯的状态；

第一提醒子模块，用于根据交通信号灯的状态进行行车提醒。

在一个实施例中，所述第一提醒子模块，用于若交通信号灯的状态为红灯，则当识别到的人行横道与车辆之间的距离小于预设预警距离，且车辆的转向角度小于预设角度时，发出报警提示和/或发出减速信号；若交通信号灯的状态为黄灯，则当识别到人行横道与车辆之间的距离小于预设预警距离时，发出预警提示信息。

在一个实施例中，所述提醒控制模块包括：

第一距离确定子模块，用于根据人行横道的识别结果，获取人行横道与车辆之间的距离；

第二交通信号灯状态确定子模块，用于在人行横道与车辆之间的距离小于预设预警距离时，根据交通信号灯的识别结果，获取交通信号灯的状态；

第二提醒子模块，用于在交通信号灯的状态为红灯时，发出报警提示和/或减速信号；在交通信号灯的状态为黄灯时，发出预警提示信息。

在一个实施例中，所述图像预处理模块，用于对采集的图像进行灰度变换和灰度动态范围调整，以及进行形态学顶帽操作。

第三方面，提供一种车辆，包括上述行车提醒装置。

通过上述技术方案，通过实时采集车辆前方的道路图像，对道路图像进行人行横道识别和交通信号灯识别，并结合车辆的运行信息，进行相应的判断，为驾驶员在穿越路口时，进行不同的状况下的行车提醒，大大提高了驾驶员行车判断的准确率；同时，即使驾驶员判断失误执意勉强穿越路口，可根据预设预警距离，实现自动控制车辆减速制动，避免汽车碰撞事故的发生，保证了驾驶员和他人的人生安全。另一方面，根据采集的道路图像进行提醒，降低了实施复杂度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开一实施例的行车提醒方法的流程示意图；

图2是本公开一实施例的人行横道识别的流程示意图；

图3是本公开一实施例的人行横道轮廓图像的流程示意图；

图4是本公开一实施例的交通信号灯识别的流程示意图；

图5是本公开一实施例的行车提醒装置的结构示意图；

图6是本公开另一实施例的行车提醒装置的结构示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

参见图1，本公开一实施例的行车提醒方法的流程示意图。其包括以下步骤：

在步骤11中，实时采集道路图像。

在本公开的实施例中，通过在车辆上设置摄像头和飞行时间(TOF)传感器，以实时对车辆行进路上的道路图像进行采集。其中，采用飞行时间(TOF)传感器可获取道路图像的深度图像。TOF传感器是TOF像素传感器的阵列或集合。TOF传感器可为光传感器、相位检测器等，以检测来自脉冲光源、调制光源的光在TOF像素传感器与被检测物体之间传播的飞行时间，从而检测物体的距离并获取深度图像。

由此，通过摄像头采集的道路图像和通过TOF传感器采集的道路图像的深度图像可得到三维彩色的道路图像。

在一个实施例中，摄像头和TOF传感器可安装于车辆的后视镜上，以实时采集车辆行驶过程中的道路图像。摄像头的安装高度和角度，可根据实际情况进行调整，以使摄像头可精准的进行道路图像的采集。

道路图像的采集时间间隔为20帧/秒～30帧/秒。

在步骤12中，对采集的道路图像进行预处理。

在一个实施例中，预处理包括：对采集的图像进行灰度变换和灰度动态范围调整，以及进行形态学顶帽操作。

对采集的图像进行灰度变换和灰度动态范围调整：

在本公开的实施例中，通过式(1)对采集的道路图像进行灰度变换，将三维彩色的道路图像映射到一维灰度空间。

g(x,y)＝R1×R(x,y)+G1×G(x,y)+B1×B(x,y) (1)

其中，R(x,y)、G(x,y)和B(x,y)分别为道路图像的R、G、B值。R1、G1和B1分别为R、G、B值的调整系数。在一个实施例中，R1为0.2989，G1为0.5870，B1为0.1140。

在一个实施例中，可通过对图像灰度进行线性展宽，实现图像灰度动态范围的调整，提高图像的对比度。

形态学顶帽操作：

在本公开的实施例中，通过形态学顶帽操作，从局部空间分布和灰度差异两方面体现潜在显著物与周围背景的差异。

形态学顶帽操作包括腐蚀和膨胀两种运算，通过不同的组合构成开、闭等基本运算，再通过组合基本的运算进行图像处理。设f为图像集合，s为结构元素，膨胀算子为

f被s膨胀记为

膨胀的作用是用来扩大图像。腐蚀算子为Θ，f被s腐蚀记为fΘs，腐蚀的作用是用来收缩图像，能够消除原图像边界上不光滑的凸起部分，以及把小于结构元素的部分去掉。

在本公开的实施例中，对经灰度变换和调整后的原图像f，先腐蚀后膨胀，移除结构元素s的显著亮特征，再用原图像f与开运算的图像做减法，实现在暗背景中得到显著的亮区域，其运算公式为式(2)所示。

其中，f为经灰度变换和调整后的原图像，s为结构元素。

通过上述形态学顶帽操作，可滤除随机噪声，减少对图像的影响，同时能够分割或者连接图像中的相邻区域，便于图像的后期处理。

继续参见图1，在步骤13中，根据预处理后的图像，进行人行横道识别和交通信号灯识别。

人行横道识别：

参见图2，本公开一实施例的人行横道识别包括以下步骤：

在步骤21中，利用双极性对预处理后的道路图像进行分割，提取双极性高的图像块作为候选区域图像。

将预处理后的道路图像进行分块后，根据预设的双极性对每块图像区域进行双极性分析，以将双极性高的区域从图像中提取出来，作为获取人行横道的候选区域。

在一个实施例中，图像分块可采用50×50像素的分割尺寸。

在一个实施例中，预设的双极性γ如式(3)所示。

其中，μ和σ²分别代表均值和方差，σ₀ ²表示总的方差，定义为：σ₀ ²＝ασ₁ ²+(1-α)σ₂ ²+α(1-α)(μ₁-μ₂)²；

其中，n₁和n_h分别表示灰度图像块的低像素区域和高像素区域的像素数。

γ的取值范围为：0≤γ≤1。如果γ＝1，则σ₁＝σ₂＝0，此时具有很好的双极性，若γ＝0则表示不具有双极性。

遍历整幅图像，对每个图像块区域进行双极性分析，计算其双极性大小γ_i(i＝1,…,100)，并将计算出每个图像块的双极性值与预设分割阈值进行比较。若图像块的双极性值大于预设分割阈值，则双极性较高，将其保留下来；否则，若图像块的双极性值小于预设分割阈值，则该图像块不具有高双极性，将该图像块去除。在一个实施例中，预设分割阈值可设为0.69。

在步骤22中，将候选区域图像与二值化图像进行融合，获取人行横道图像。

步骤21中得到的候选区域图像是包括黑白像素的图像，候选区域图像中的目标信息部分为白色像素，非目标信息部分为黑色像素。将双极性分割后的候选区域图像与二值化图像进行融合处理，可消除更多复杂的背景信息和噪声，精确得到人行横道区域的分割结果。

在步骤23中，根据人行横道的特征信息，从人行横道图像中提取出人行横道轮廓图像。

在一个实施例中，人行横道的特征信息包括：人行横道条纹的宽度、人行横道条纹的高度、人行横道条纹的宽高比和人行横道的深度信息。

在本公开的实施例中，将检测到人行横道的特征信息与预设特征阈值进行比较，将符合预设特征阈值的轮廓提取出来，把不符合预设特征阈值的轮廓去除掉。

参见图3，在本公开的一实施例中，步骤23包括：

在步骤231中，统计人行横道图像中灰度跳变点的个数，若个数小于预设值，则认为不是人行横道区域；若个数大于或等于预设值，则执行步骤232。

在步骤232中，根据人行横道的深度信息，获取黑白矩形条纹的宽度均值。

在本公开的实施例中，人行横道的深度信息由飞行时间(TOF)传感器获取。

根据人行横道的深度信息，可得到黑白矩形条纹的宽度，由此，获取黑白矩形条纹的宽度均值。

在本公开的实施例中，为了准确区分人行横道区域，将获取的宽度均值与预设宽度阈值进行比较，以判定其是否是人行横道区域。若不是，则结束，若是，则执行步骤233。

在步骤233中，根据黑白矩形条纹的宽度均值，获取黑白矩形条纹的宽度比。

黑白矩形条纹的宽度比可由式(4)获得。

其中，white_width表示白色条纹的宽度均值，black_width示黑色条纹的宽度均值。

在一个实施例中，黑白矩形条纹的宽度比为恒定值，其宽度比的比例阈值在0至3之间变化。由此，若黑白矩形条纹的宽度比满足0<ratio<3，则将其作为人行橫道轮廓图像；否则，舍弃该图像。

在步骤24中，根据人行横道轮廓图像，从道路图像中提取人行横道。

根据提取的人行横道，计算出人行横道区域的宽度和高度，若宽度和高度满足预设阈值限定条件，则确定其为人行横道区域。并用矩形框将目标区域(人行横道区域)标记出来，并将矩形框信息反馈给控制系统(例如，ECU)。

在一个实施例中，矩形框信息包括：目标区域的左下角的横左坐标、目标区域的列坐标、目标区域的宽度、目标区域的高度以及目标区域的与车辆距离信息。

在本公开的实施例中，以车辆作为坐标原点，建立坐标系，根据采集的道路图像的深度信息可确定所采集的道路图像中的各物体(例如，人行横道)的三维坐标值。由此，用矩形框将目标区域标记后，可获得目标区域的左下角的横坐标、目标区域的列坐标、目标区域的宽度、目标区域的高度和目标区域与车辆的距离信息。

交通信号灯识别：

参见图4，在一个实施例中，交通信号灯识别包括以下步骤：

在步骤41中，根据交通信号灯在道路图像中出现的高频位置，确定预处理后的道路图像的感兴趣区域(ROI)。

在本公开的一实施例中，对交通信号灯的判别依赖于对人行横道进行识别的结果，以避免识别过程中的大部分干扰信息，使得识别结果更加准确合理。即，该步骤中，是在识别出人行横道的道路图像基础上进行感兴趣区域的确定。可将识别到人行横道后的图像可作为目标图像，由此，可根据交通信号灯在道路图像中出现的高频位置，确定该目标图像的感兴趣区域。

在本公开的一实施例中，通过对道路图像进行切割、深度信息排除和阈值分割等实现感兴趣区域的确定。

在一个实施例中，由于交通信号灯一般出现在道路图像的上部，为了排除路面上的荧光灯、霓虹灯、广告牌、路标、箭头等的干扰，将道路图像的1/4至3/4自底向上区域作为感兴趣区域，将其它部分切割掉。

对于深度信息排除，深度信息在预设范围内的区域作为感兴趣区域。在一个实施例中，深度信息的预设范围为：距离车辆5m至200m的空间范围。当距离在预设范围之外时，则不属于感兴趣区域(ROI)。

由此，经过切割和深度信息排除，可节省系统处理时间，避免误检测，保障系统的实时性。

对于阈值分割，在本公开的实施例中，采用最大类间方差法对经切割和深度信息排除后的图像进行自适应阈值分割，找到最佳图像分割阈值。具体的，首先，设定灰度级阈值T，根据灰度级阈值T将预处理后的图像划分为两个区域R1和R2，参见式5。

其中，f_min，f_max为图像灰度像素值的最小值和最大值，f为预处理后的图像。

设N_i为灰度级i的像素个数，则图像总像素为

各灰度级出现的概率为P_i＝N_i/N。

R₁区域灰度级i出现的总概率为

期望为

R₂区域灰度级i出现的总概率为

期望为

图像全部的灰度级i的期望为式(6)所示。

两个区域R₁和R₂区域间方差为：

σ²(T)＝ρ₁(T)(E-E₁)²+ρ₂(T)(E-E₂)²，当σ²取最大值时，可以得出最佳阈值，作为最终的图像分割阈值。

根据最佳阈值，进行图像分割，并对灰度增强后的图像全局二值化，得到最终确定的预处理后的道路图像的感兴趣区域，实现基于全局对比度的视觉焦点显著性计算。

在步骤42中，将感兴趣区域的图像由RGB空间转换到HSI颜色空间，以得到感兴趣区域的HIS图像。

将感兴趣区域的RGB图像转换到HSI颜色空间，利用HSI空间中的亮度、色度和饱和度的可分离特性，分别突出候选目标(红、黄、绿交通信号灯)的亮度显著性、色度显著性和饱和度显著性。

HSI颜色空间的转换公式如式(7)、式(8)、式(9)和式(10)所示。

其中，R、G和B分别为感兴趣区域的像素点的R值、G值和B值。

在步骤43中，根据感兴趣区域的HIS图像，获取交通信号灯候选区域图像。

采集交通信号灯红、绿、黄颜色样本，分别用直方图统计的其H、S、I分量值，设各分量的色度阈值为0<TH1<TH3<TH4<TH2<1，饱和度阈值TS∈[0,1]，亮度阈值TI∈[0,1]。其中，TH1、TH2、TH3、TH4为色度阈值，TS为饱和度阈值，TI为亮度阈值。

在一个实施例中，可将TH1设为0.05，TH2设为0.9，TH3设为0.4，TH4设为0.6。

根据HIS图像，以及色度阈值、饱和度阈值和亮度阈值，获取交通信号灯候选区域图像f。在一个实施例中，交通信号灯候选区域图像f如式(11)所示。

其中，f_R，f_G，f_Y分别为红色，绿色和黄色交通信号灯候选区域。

在步骤44中，对获取的交通信号灯候选区域图像进行去噪处理。

根据实际交通信号灯的长宽比属性和面积属性，进行去噪处理。

对于面积属性，设定一面积阈值，例如，面积阈值设定为20个像素点。由此，将交通信号灯候选区域图像的图像块与该面积阈值相比，若图像块的面积小于面积阈值，则将该图像块去除，以去除噪点。

在本公开的实施例中，可将面积阈值设置为较小的值，用以过滤掉一些孤立的点和一些很小的图像块。

对于长宽比属性，图像块的最小外接矩形是依据图像块的X向最大距离和Y向最大距离为长和宽的矩形。长宽比即该最小外接矩形的长度与宽度之比。根据实际交通信号灯的情况，可将长宽比设为2.2至2.8之间的任意值，从而保留长宽比为2.2至2.8范围内的图像块。

在步骤45中，采用预设模板图像，对进行了去噪处理的交通信号灯候选区域图像进行交通信号灯特征匹配，获取交通信号灯。

交通信号灯将进行了去噪处理的交通信号灯候选区域图像作为原始图像。根据式(12)计算原始图像的待匹配区域和预设模板图像的匹配程度。根据式(12)，模板图像在原始图像中滑动，并计算其归一化的匹配程度。

其中，P表示匹配结果，是一个0到1之间的值，T'表示模板图像，I表示原始图像，(x′,y′)表示模板中的坐标，(x+x′,y+y′)表示原始图像中的坐标。

上式表示模板图像在原始图像中滑动，并计算其归一化的匹配程度。如果待匹配区域和模板图像的匹配结果大于阈值R，则确认待匹配区域为交通信号灯，并且其状态和模板图像相同。

根据获取的交通信号灯和摄像头采集到的深度图像，获取交通信号灯的识别结果。

在本公开的实施例中，交通信号灯的识别结果包括：交通信号灯与摄像头的距离信息和交通信号灯的颜色信息。

交通信号灯的颜色信息可通过上述步骤42和43获得。交通信号灯与摄像头的距离信息，可根据深度图像的深度信息获得。

本公开实施例中，在进行交通信号灯识别时，改进了基于HSI颜色空间中的阈值分割算法，在HSI的各分量空间中，结合最大类间方差法自适应阈值分割，分割出道路标线信息，并将分割图像与边缘检测信息融合处理，提高了识别效率和准确率。

继续参见图1，在步骤14中，根据人行横道识别结果和交通信号灯识别结果，进行行车提醒。

在本公开的实施例中，行车提醒可包括：输出相关提示信息、进行预警等。例如，可将人行横道与车辆的距离输出，以提示驾驶者。

本公开的一实施例中，根据交通信号灯检测过程的充分程度，并结合从道路图像中提取的车辆与人行横道的距离信息、交通信号灯的颜色信息、红绿灯周期信息、交通信号灯与摄像头的距离信息、车辆的车速信息、车辆的转向角度信息，将行车提醒分为精确的行车提醒和简略的行车提醒。

其中，人行横道的距离信息、交通信号灯的颜色信息、红绿灯周期信息和交通信号灯与摄像头的距离信息可从人行横道和交通信号灯的识别结果中获取。车辆的车速信息可通过车辆的轮速传感器获取，车辆的转向角度信息可通过车辆的方向盘转角传感器获取。

在一个实施例中，当能够连续稳定地侦测到交通信号灯目标，直至获得完整的红绿灯周期时，执行精确的行车提醒，否则，执行简略的行车提醒。完整的红绿灯周期是指道路交通信号灯的红灯、黄灯、绿灯三者全部显示一遍所用时长。

精确的行车提醒：

在实际中，精确的行车提醒可适用于车辆行驶缓慢的城市中心道路以及主干道。

车辆行驶过程中，对前方道路路况进行实时检测，根据交通信号灯的识别结果，在摄像头采集到包含交通信号灯图像并锁定交通信号灯目标后，即开始计时，直至获得一个红绿灯周期，得到红绿灯周期后，计算每种颜色的交通信号灯的持续时间。

在一个实施例中，当检测到人行横道并且检测到交通信号灯时，根据人行横道的识别结果，获取车辆到人行横道的距离R1。

根据车辆的实时车速信息Vr和车辆到人行横道的距离R1，可获得车辆到达人行横道的时间t1。

根据时间t1可估计出车辆(前轮)到达人行横道后的交通信号灯状态。若交通信号灯的状态为红灯，则车辆当检测到的人行横道与车辆之间的距离小于预设预警距离(例如，30米至50米)，且车辆的转向角度小于预设角度(例如，±30度)时，车辆发出报警提示并发出减速信号。

若交通信号灯的状态为黄灯，则当检测到人行横道与车辆之间的距离小于预设预警距离时，发出预警提示信息。

在本公开的一实施例中，可通过车辆的扬声器播放对应的提示语音。发动机系统可根据减速信号，控制输出功率以使使车辆减速。

简略的行车提醒：

在实际中，简略的行车提醒可适用于车流量较少，车辆行驶速度相对较高的快速路、次干道或支干道。在车辆快速通过交通路口的情况下，摄像头不能获得充足的时间捕获交通信号灯的信息，因而一般不能获得路口红绿灯的周期，此时，进行粗略的行车提醒。

根据检测到的人行横道与车辆的距离进行判断，当距离小于预设预警距离时，检测交通信号灯的显示状态，若交通信号灯的状态为红灯，则发出报警提示并发出减速信号。若交通信号灯的状态为黄灯，则发出预警提示信息。报警提示和预警提示信息均可为声光提醒。在本公开的一实施例中，可通过车辆的扬声器播放对应的提示语音。发动机系统可根据减速信号，控制输出功率以使使车辆减速。

在其它实施例中，还可根据交通信号灯的识别结果，获取车辆到交通信号灯垂直于地面中心点的直线距离R2。并根据车辆的实时车速信息Vr与车辆到交通信号灯垂直于地面中心点的直线距离R2，获得车辆到达交通信号灯的时间t2。

本公开实施例的行车提醒方法，通过实时采集车辆前方的道路图像，对道路图像进行人行横道识别和交通信号灯识别，并结合车辆的运行信息，进行相应的判断，为驾驶员在穿越路口时，进行不同的状况下的行车提醒，大大提高了驾驶员行车判断的准确率；同时，即使驾驶员判断失误执意勉强穿越路口，可根据预设预警距离，实现自动控制车辆减速制动，避免汽车碰撞事故的发生，保证了驾驶员和他人的人生安全。另一方面，根据采集的道路图像进行提醒，降低了实施复杂度。其中，交通信号灯的识别依赖于人行横道的识别，避免了判别过程中的大部分干扰信息，使得判别结果更加准确合理。且将从道路图像中识别人行横道和交通信号灯建立在原始图像的基础上，不再依赖于目标的分割效果，而直接对灰度图处理，这样可以减少环境因素对检测结果的影响而且能够增强检测效果的稳定性。

参见图5，为本公开一实施例的行车提醒装置的结构示意图。该行车提醒装置500包括：

图像采集模块501，用于实时采集道路图像；

图像预处理模块502，用于对采集的道路图像进行预处理；

识别模块503，用于根据预处理后的图像，进行人行横道识别和交通信号灯识别；

提醒控制模块504，用于根据人行横道识别结果和交通信号灯识别结果，进行行车提醒。

在一个实施例中，识别模块503包括：

候选区域提取子模块5031，用于利用双极性对预处理后的道路图像进行分割，提取双极性高的图像块作为候选区域图像；

人行横道图像获取子模块5032，用于将候选区域图像与二值化图像进行融合，获取人行横道图像；

人行横道轮廓图像提取子模块5033，用于根据人行横道的特征信息，从人行横道图像中提取出人行横道轮廓图像；

人行横道提取子模块5034，用于根据人行横道轮廓图像，从道路图像中提取人行横道。

在一个实施例中，识别模块503包括：

感兴趣区域确定子模块5035，用于根据交通信号灯在道路图像中出现的高频位置，确定预处理后的道路图像的感兴趣区域；

感兴趣区域的HIS图像获取子模块5036，用于将感兴趣区域的图像由RGB空间转换到HSI颜色空间，以得到感兴趣区域的HIS图像；

交通信号灯候选区域图像获取子模块5037，用于根据感兴趣区域的HIS图像，获取交通信号灯候选区域图像；

去噪处理子模块5038，用于对获取的交通信号灯候选区域图像进行去噪处理；

交通信号灯提取子模块5039，用于采用预设模板图像，对进行了去噪处理的交通信号灯候选区域图像进行交通信号灯特征匹配，提取交通信号灯。

在一个实施例中，提醒控制模块504包括：

第一距离确定子模块5041，用于当识别到人行横道并识别到交通信号灯时，根据人行横道的识别结果，获取车辆到人行横道的距离；

时间确定子模块5042，用于根据获取的车辆的实时车速信息和所述车辆到人行横道的距离，获取车辆到达人行横道的时间；

第一交通信号灯状态确定子模块5043，用于根据所述车辆到达人行横道的时间以及交通信号灯识别结果，判断车辆到达人行横道时交通信号灯的状态；

第一提醒子模块5044，用于根据交通信号灯的状态进行行车提醒。

在一个实施例中，第一提醒子模块5044，用于若交通信号灯的状态为红灯，则当识别到的人行横道与车辆之间的距离小于预设预警距离，且车辆的转向角度小于预设角度时，发出报警提示和/或发出减速信号；若交通信号灯的状态为黄灯，则当识别到人行横道与车辆之间的距离小于预设预警距离时，发出预警提示信息。

在一个实施例中，提醒控制模块504包括：

第一距离确定子模块5045，用于根据人行横道的识别结果，获取人行横道与车辆之间的距离；

第二交通信号灯状态确定子模块5046，用于在人行横道与车辆之间的距离小于预设预警距离时，根据交通信号灯的识别结果，获取交通信号灯的状态；

第二提醒子模块5047，用于在交通信号灯的状态为红灯时，发出报警提示和/或减速信号；在交通信号灯的状态为黄灯时，发出预警提示信息。

在一个实施例中，图像预处理模块501，用于对采集的图像进行灰度变换和灰度动态范围调整，以及进行形态学顶帽操作。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种用于行车提醒方法的装置600的框图。例如，装置600可以被提供为车辆。参照图6，装置600包括：电子控制单元601、摄像头602、处理器603、汽车刹车系统604、方向盘转角传感器605、轮速传感器606、发动机系统607和CAN总线608。

摄像头602可用于执行上述道路图像的实时采集。处理器603可用于执行人行横道和交通信号灯的识别。电子控制单元可根据识别结果执行行车提醒。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims

1.一种行车提醒方法，其特征在于，包括：

实时采集道路图像；

对采集的道路图像进行预处理；

所述根据预处理后的图像进行交通信号灯识别的步骤包括：

针对识别到所述人行横道的所述道路图像，将该道路图像的1/4至3/4自底向上区域作为第一感兴趣区域；

对所述第一感兴趣区域依次进行深度信息排除处理、阈值分割处理以及全局二值化处理以确定感兴趣区域；

根据感兴趣区域的HIS图像，获取交通信号灯候选区域图像；

对获取的交通信号灯候选区域图像进行去噪处理；

采用预设模板图像，对进行了去噪处理的交通信号灯候选区域图像进行交通信号灯特征匹配，提取交通信号灯；

2.根据权利要求1所述的方法，其特征在于，所述根据预处理后的图像进行人行横道识别的步骤包括：

根据人行横道轮廓图像，从道路图像中提取人行横道。

3.根据权利要求1所述的方法，其特征在于，所述根据人行横道识别结果和交通信号灯识别结果，进行行车提醒的步骤包括：

根据交通信号灯的状态进行行车提醒。

4.根据权利要求3所述的方法，其特征在于，所述根据交通信号灯的状态进行行车提醒的步骤包括：

5.根据权利要求1所述的方法，其特征在于，所述根据人行横道识别结果和交通信号灯识别结果，进行行车提醒的步骤包括：

在交通信号灯的状态为黄灯时，发出预警提示信息。

6.根据权利要求1-5任一项权利要求所述的方法，其特征在于，所述对采集的道路图像进行预处理的步骤包括：

7.一种行车提醒装置，其特征在于，包括：

图像采集模块，用于实时采集道路图像；

图像预处理模块，用于对采集的道路图像进行预处理；

提醒控制模块，用于根据人行横道识别结果和交通信号灯识别结果，进行行车提醒；

所述识别模块包括：

感兴趣区域确定子模块，用于针对识别到所述人行横道的所述道路图像，将该道路图像的1/4至3/4自底向上区域作为第一感兴趣区域；

所述感兴趣区域确定子模块，还用于对所述第一感兴趣区域依次进行深度信息排除处理、阈值分割处理以及全局二值化处理以确定感兴趣区域；

8.根据权利要求7所述的装置，其特征在于，所述识别模块包括：

9.根据权利要求7所述的装置，其特征在于，所述提醒控制模块包括：

10.根据权利要求9所述的装置，其特征在于，所述第一提醒子模块，用于若交通信号灯的状态为红灯，则当识别到的人行横道与车辆之间的距离小于预设预警距离，且车辆的转向角度小于预设角度时，发出报警提示和/或发出减速信号；若交通信号灯的状态为黄灯，则当识别到人行横道与车辆之间的距离小于预设预警距离时，发出预警提示信息。

11.根据权利要求7所述的装置，其特征在于，所述提醒控制模块包括：

12.根据权利要求7-11任一项权利要求所述的装置，其特征在于，所述图像预处理模块，用于对采集的图像进行灰度变换和灰度动态范围调整，以及进行形态学顶帽操作。

13.一种车辆，其特征在于，包括上述权利要求7-12任一项所述的行车提醒装置。