CN113859175A - 一种基于重卡adas系统的自动雨刮控制方法 - Google Patents

Abstract

本发明涉及一种基于重卡ADAS系统的自动雨刮控制方法，该控制方法具体步骤：第一步：将采集的落在车辆挡风玻璃上的雨滴视频图像数字化成YUV格式；第二步：识别出车辆挡风玻璃上雨滴的边缘；获得每帧单帧图像中雨滴的Gx，Gy和N值；第三步：匹配出每帧单帧图像的雨滴类型，统计雨滴类型和相应的雨滴数量；第四步：根据统计的雨滴类型及相应的雨滴数量确定雨量计算值A＝F*P；第五步：依据雨量确定情况，控制雨刷的转动频率。本发明实现了控制不受雨势和风势的影响，能够直观的得出重卡行车环境中准确的雨点数量，更为有效，低成本控制方法。

Description

一种基于重卡ADAS系统的自动雨刮控制方法

技术领域

本发明属于车辆电子技术领域，具体涉及一种基于重卡ADAS系统的自动雨刮控制方法。

背景技术

现有的自动雨刮控制技术中，一般采用雨量传感器来调整雨刷的动作频率。雨量传感器属于一种电子传感器，目前重卡全部采用发光二极管发送远红外线和光电二级管接收的玻璃表面反射光线的多少来确定雨刷的动作频率，具体来说，当玻璃表面干燥时，光线几乎是全部被反射回来，这样光电二级管就能接收到大量的反射光线；当玻璃上的雨水越多，反射回来的光线就越少，其结果是雨刷动作越快。因此，雨量传感器在能覆盖到的区域有雨水时能根据落在玻璃上雨水量的大小来调整雨刷的动作。

但是，雨量传感器远红外线的覆盖区域是有限的，其并不能作用到整个汽车前档玻璃面。所以，当雨水落至雨量传感器未覆盖区域，就不能及时控制雨刮进行动作，导致雨刮动作迟滞，在一定程度上会影响行车安全。而且重卡上大部分车型都需要单独设置雨量传感器贴在前风挡玻璃上,成本价高，而且传感器的布置会对驾驶员视线有一定的影响，增加行车安全隐患。由于基于图像的处理具有更直观的特点，不受雨势、风势的影响，能够直观的得出重卡行车环境中准确的的雨点数量判断。

发明内容

本发明的目的是提供一种基于重卡ADAS系统的自动雨刮控制方法，实现了控制不受雨势和风势的影响，能够直观的得出重卡行车环境中准确的雨点数量，更为有效，低成本控制方法，提高安全性。

本发明的技术方案是，一种基于重卡ADAS系统的自动雨刮控制方法具体步骤如下：

第一步：将采集的落在车辆挡风玻璃上的雨滴视频图像数字化；通过车载ADAS摄像处理模块采集挡风玻璃上的雨滴视频图像，并从采集的视频流中提取10帧单帧图像，对10帧单帧图像数字化处理成YUV格式；

第二步：识别出车辆挡风玻璃上雨滴的边缘；根据数字化处理后图像中的雨滴，提取每个单帧YUV格式图像中所有雨滴的Y数据，对Y数据进行边缘检测，识别出雨滴边缘，获得每帧单帧图像中雨滴的Gx，Gy和N 值，N为每帧单帧图像上的雨滴数量加1；

第三步：根据算法样本库，匹配出每帧单帧图像的雨滴类型，统计雨滴类型和相应的雨滴数量；即确定10帧单帧图像中无雨、小雨、中雨、大雨四个雨量类别数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于10/2，若是，则确定数量最多的雨量类别为当前雨量类别，将当前雨量类别作为雨刷控制指令的控制依据之一；

雨滴数量是通过统计得到每幅单帧图像中N值的累计值，计算雨点的总数量M，M值为1 0幅单帧图像中每幅单帧图中N值之和，计算得出每帧图中雨点的平均密度值F＝M/10，将F值作为雨刷控制指令的控制依据之二；

第四步：根据统计的雨滴类型及相应的雨滴数量确定雨量计算值；通过第三步得到P值的大小及每帧图中雨点的平均密度值F，得到雨量计算值A＝F*P；

第五步：依据雨量确定情况，控制雨刷的转动频率。

所述第二步中识别出车辆挡风玻璃上雨滴的边缘是，把经过处理的单帧YUV格式图像，通过ADAS摄像处理模块从YUV数据中将Y信号分量分离出来，得到仅含有Y信号分量的Y数据，使用Soble算法程序对Y数据进行边缘检测，识别出雨滴边缘；

所述雨滴边缘检测的方法是对每个雨滴的Y数据所对应图像的横向及纵向分别进行卷积运算，分别得到横向及纵向的边缘检测图像Gx与Gy，进而将检测出来的雨滴所对应的雨滴区域逐个与算法样本库中包含有各种雨滴类型的Gx与Gy进行匹配，

所述第二步中每帧单帧图像中雨滴数是指，当雨滴区域的像素个数不大于该单帧YUV格式图像总像素数的0.05％，并且匹配相似度达到70％则认为是一个雨滴。

所述第三步中雨滴类型是通过将所述10幅单帧图像输入ADAS摄像处理模块中预置的卷积神经网络模型，得到所述单帧图像的雨量场景类别；

所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小定义。按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别，并雨量类别数字化定义为P值，对应1、2、3、4四个数值。

所述第五步中控制雨刷的转动频率的具体控制步骤如下：

若所述雨量计算值A为大雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为3，则开启雨刮并调整雨刮速度至快档；

若所述雨量计算值A为中雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为2，则开启雨刮并调整雨刮速度至标准档；

若所述雨量计算值A为小雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为1，则开启雨刮并调整雨刮速度至慢档；

若所述雨量雨量计算值A非以上三种情形之一，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为0，则关闭雨刮并将雨刮速度置零。

本发明的有益效果是，本发明的方法通过结合雨量场景类别和雨滴数量统计，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮，并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。由于基于图像的处理具有更直观的特点，不受雨势、风势的影响，能够直观的得出重卡行车环境中准确的的雨点数量判断；本发明更为有效，低成本自动雨刮控制方法；本发明使用ADAS摄像处理模块采集的数据，而不必再单独配置其它单独硬件或传感器，整体成本极低，且对数据的直接复用，所做的处理环节相对较少，减少了ADAS摄像处理模块整体算力资源的占用，也相应提高了处理效率。而且基于算法应用的控制方法，具有更好的可移植性和经济效益。

具体实施方式

下面对本发明的技术方案作进一步详细描述。

本发明一种基于重卡ADAS系统的自动雨刮控制方法，创建雨滴算法样本库及算法程序，进而通过ADAS摄像处理模块对雨刮实现自动控制方法包括以下步骤：

第一步：将采集的落在车辆挡风玻璃上的雨滴视频图像数字化。通过车载ADAS摄像处理模块采集挡风玻璃上的雨滴视频图像，并从采集的视频流中提取10帧单帧图像，按照预设的时间序列获得10帧单帧图像的雨量图像，从得到10帧间隔均匀的单帧图像，对10帧单帧图像数字化处理成YUV格式，实现对视频图像数字化处理。根据处理芯片性能，可以取10- 20之间自然数，一般取值10。YUV格式图像是一种普遍的图像编码方式， Y表示亮度，U代表色度，V表示饱和度，雨滴在图片中Y值会使边缘区域值高。

第二步：识别出车辆挡风玻璃上雨滴的边缘。即根据数字化处理后图像中的雨滴，提取每个单帧YUV格式图像中所有雨滴的Y数据，对Y数据进行边缘检测，识别出雨滴边缘。

把经过处理的单帧YUV格式图像，通过ADAS摄像处理模块从YUV数据中将Y信号分量分离出来，以减少计算量，得到仅含有Y信号分量的Y 数据，进而，使用Soble算法程序对Y数据进行边缘检测，识别出雨滴边缘。

所述雨滴边缘检测的方法是对每个雨滴的Y数据所对应图像的横向及纵向分别进行卷积运算，分别得到横向及纵向的边缘检测图像Gx与Gy，进而将检测出来的雨滴所对应的雨滴区域逐个与算法样本库中包含有各种雨滴类型的Gx与Gy进行匹配，得出每帧单帧图像中雨滴的Gx,Gy和N值。即当雨滴区域的像素个数不大于该单帧YUV格式图像总像素数的0.05％，并且匹配相似度达到70％则认为是一个雨滴。N为每帧单帧图像上的雨滴数量加1，因此N为大于0的自然数。

第三步：根据算法样本库，匹配出每帧单帧图像的雨滴类型，统计雨滴类型和相应的雨滴数量。算法样本库中包含有各种雨滴类型Gx与Gy的统计遍历图像。

雨滴类型是通过将所述10幅单帧图像输入ADAS摄像处理模块中预置的卷积神经网络模型(即算法样本库)，得到所述单帧图像的雨量场景类别。

所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小定义。按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别，并雨量类别数字化定义为P值，对应1，2，3，4四个数值。

确定10帧单帧图像中无雨、小雨、中雨、大雨四个雨量类别数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于10/2，若是，则确定数量最多的雨量类别为当前雨量类别，将它作为雨刷控制指令的控制依据之一。

雨滴数量是通过统计得到每幅单帧图像中N值的累计值，计算雨点的总数量M，M值为1 0幅单帧图像中每幅单帧图中N值之和，其中M值为大于0的自然数，计算得出每帧图中雨点的平均密度值F＝M/10，将F值作为雨刷控制指令的控制依据之二。

第四步：根据统计的雨滴类型及相应的雨滴数量确定雨量计算值；

通过第三步得到P值的大小及每帧图中雨点的平均密度值F，得到雨量计算值A＝F*P。

第五步：依据雨量确定情况，调整雨刷的转动频率。

根据第四步雨量计算值A生成雨刮控制指令，以控制雨刮的动作。具体控制步骤如下：

若所述雨量计算值A为大雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为3，则开启雨刮并调整雨刮速度至快档；

若所述雨量计算值A为中雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为2，则开启雨刮并调整雨刮速度至标准档；

若所述雨量计算值A为小雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为1，则开启雨刮并调整雨刮速度至慢档；

若所述雨量雨量计算值A非以上三种情形之一，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为0，则关闭雨刮并将雨刮速度置零。

所述ADAS系统中集成预置的卷积神经网络模型(算法样本库)的创建步骤如下：

首先，使用车载ADAS系统前视模块采集大量雨天图片序列，并人工按照生活常识对图片序列按照雨量大小划分为无雨、小雨、中雨和大雨四类并标注；同时，对图像中出现的雨滴，使用最小外接矩形边界框的方式进行目标标注；

其次，使用平移、旋转、缩放、图像亮度调整等方法，扩充已标注数据集，然后按照对应训练平台caffe或tensorflow的要求，制作训练数据集；

再次，设计卷积神经网络模型，在caffe或tensorflow上利用制作好的训练数据集，训练卷积神经网络模型的参数，过程中不断调整卷积神经网络模型训练超参，并反复测试和调整训练，直至卷积神经网络模型效果达到预期；

最后，将训练好的卷积神经网络模型部署在车载ADAS系统前视模块中。

这样，车载前视模块实时采集图像，并将其输入到卷积神经网络模型中经计算，就可以得到雨量场景类别以及统计雨滴数量，计算雨量P值。

考虑到本发明实施例的使用场景是车载ADAS系统前视模块中，目的是控制自动雨刮动作，而非进行所有场景的雨量监测。当汽车前档玻璃洁净无雨滴时，并没有必要进行雨刮动作。当且仅当，由于下雨可能干扰驾驶员视线时，才需要进行雨刮动作。而此时，上面两种无法分类的场景就可以通过是否有雨滴来进行判断，若有，则刮动雨刮，若无，则不挂动雨刮。从而有效实现了汽车雨刮的控制，保证驾驶员的安全。

Claims (5)

1.一种基于重卡ADAS系统的自动雨刮控制方法，其特征是：所述控制方法具体步骤如下：

第一步：将采集的落在车辆挡风玻璃上的雨滴视频图像数字化；通过车载ADAS摄像处理模块采集挡风玻璃上的雨滴视频图像，并从采集的视频流中提取10帧单帧图像，对10帧单帧图像数字化处理成YUV格式；

第二步：识别出车辆挡风玻璃上雨滴的边缘；根据数字化处理后图像中的雨滴，提取每个单帧YUV格式图像中所有雨滴的Y数据，对Y数据进行边缘检测，识别出雨滴边缘，获得每帧单帧图像中雨滴的Gx，Gy和N值，N为每帧单帧图像上的雨滴数量加1；

第三步：根据算法样本库，匹配出每帧单帧图像的雨滴类型，统计雨滴类型和相应的雨滴数量；即确定10帧单帧图像中无雨、小雨、中雨、大雨四个雨量类别数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于10/2，若是，则确定数量最多的雨量类别为当前雨量类别，将当前雨量类别作为雨刷控制指令的控制依据之一；

雨滴数量是通过统计得到每幅单帧图像中N值的累计值，计算雨点的总数量M，M值为10幅单帧图像中每幅单帧图中N值之和，计算得出每帧图中雨点的平均密度值F＝M/10，将F值作为雨刷控制指令的控制依据之二；

第四步：根据统计的雨滴类型及相应的雨滴数量确定雨量计算值；通过第三步得到P值的大小及每帧图中雨点的平均密度值F，得到雨量计算值A＝F*P；

第五步：依据雨量确定情况，控制雨刷的转动频率。

2.按照权利要求1所述一种基于重卡ADAS系统的自动雨刮控制方法，其特征在于：所述第二步中识别出车辆挡风玻璃上雨滴的边缘是，把经过处理的单帧YUV格式图像，通过ADAS摄像处理模块从YUV数据中将Y信号分量分离出来，得到仅含有Y信号分量的Y数据，使用Soble算法程序对Y数据进行边缘检测，识别出雨滴边缘；

所述雨滴边缘检测的方法是对每个雨滴的Y数据所对应图像的横向及纵向分别进行卷积运算，分别得到横向及纵向的边缘检测图像Gx与Gy，进而将检测出来的雨滴所对应的雨滴区域逐个与算法样本库中包含有各种雨滴类型的Gx与Gy进行匹配。

3.按照权利要求1所述一种基于重卡ADAS系统的自动雨刮控制方法，其特征在于：所述第二步中每帧单帧图像中雨滴数是指，当雨滴区域的像素个数不大于该单帧YUV格式图像总像素数的0.05％，并且匹配相似度达到70％则认为是一个雨滴。

4.按照权利要求1所述一种基于重卡ADAS系统的自动雨刮控制方法，其特征在于：所述第三步中雨滴类型是通过将所述10幅单帧图像输入ADAS摄像处理模块中预置的卷积神经网络模型，得到所述单帧图像的雨量场景类别；

所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小定义。按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别，并雨量类别数字化定义为P值，对应1、2、3、4四个数值。

5.按照权利要求1所述一种基于重卡ADAS系统的自动雨刮控制方法，其特征在于：所述第五步中控制雨刷的转动频率的具体控制步骤如下：

若所述雨量计算值A为大雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为3，则开启雨刮并调整雨刮速度至快档；

若所述雨量计算值A为中雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为2，则开启雨刮并调整雨刮速度至标准档；

若所述雨量计算值A为小雨，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为1，则开启雨刮并调整雨刮速度至慢档；

若所述雨量雨量计算值A非以上三种情形之一，通过ADAS摄像处理模块中CAN网络向车身控制器发送报文标志位为0，则关闭雨刮并将雨刮速度置零。