CN113673361A - 一种雨雾识别方法、清扫系统和计算机可读存储介质 - Google Patents

一种雨雾识别方法、清扫系统和计算机可读存储介质 Download PDF

Info

Publication number
CN113673361A
CN113673361A CN202110856222.3A CN202110856222A CN113673361A CN 113673361 A CN113673361 A CN 113673361A CN 202110856222 A CN202110856222 A CN 202110856222A CN 113673361 A CN113673361 A CN 113673361A
Authority
CN
China
Prior art keywords
rain
data
image data
fog
wiping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110856222.3A
Other languages
English (en)
Inventor
张冬冬
代佳
韩杨
汤保良
王朝锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202110856222.3A priority Critical patent/CN113673361A/zh
Publication of CN113673361A publication Critical patent/CN113673361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种雨雾识别方法、清扫系统和计算机可读存储介质，属于汽车设备控制技术领域。该雨雾识别方法能够基于前挡风玻璃上的实际雨雾图像对雨刮的刮刷速度进行实时控制，保证和提供驾驶员清晰的前方视野，避免其分心操作，提高驾驶员的驾驶体验。该清扫系统具有实现上述雨雾识别方法的功能。该计算机可读存储介质能够存储计算机指令，该计算机指令被处理器执行时能够实现上述雨雾识别方法。

Description

一种雨雾识别方法、清扫系统和计算机可读存储介质
技术领域
本发明涉及汽车设备控制技术领域，特别涉及一种雨雾识别方法、清扫系统和计算机可读存储介质。
背景技术
前挡风玻璃是驾驶员的行车视野区，在外界处于恶劣天气状况下，飘落和聚集在前挡风玻璃上的雨水或雾水会对视野安全带来较大影响。传统的手动雨刮、除雾装置需要手动调节，操作较繁琐且需驾驶员分心来实时关注和调节。
在相关技术中，在中高配车型中，广泛采用自动雨刮进行前挡风玻璃的刮刷清理，其原理是通过雨量传感器对前挡风玻璃上的雨水或者雾水进行侦测，依靠发光二极管发出的光经过透镜系统调整后，成平行光状态照射到挡风玻璃上，当玻璃干燥时、光线将发生全反射，并经过透镜系统成平行光状态被接收器件接收；当玻璃上有雨水、雾水时，由于折射率改变，光线将不能发生全反射，而是视水滴面积大小发生部分反射，此时接收器只收到部分信号，按照百分率比值能够计算出雨量大小，进而控制刮刷速度。
雨滴大小和密度往往具有一定随机性，特别是小雨的时候，通过入射\反射光的变化来控制刮刷速度不能完全符合用户预期，经常出现需要慢的时候刮得过快，需要快的时候刮得过慢，最终还是需要进一步手动介入对雨刮的刮刷速度进行调整，导致驾驶体验差。
发明内容
本发明实施例提供了一种雨雾识别方法和清扫系统和计算机可读存储介质，能够基于前挡风玻璃上的实际雨雾图像对雨刮的刮刷速度进行实时控制，保证和提供驾驶员清晰的前方视野，避免其分心操作，提高驾驶员的驾驶体验。所述技术方案如下：
第一方面，本发明实施例提供了一种雨雾识别方法，包括：
获取多组刮刷数据，所述多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度；
获取多组雨雾图像数据，所述多组雨雾图像数据与所述多组刮刷数据一一对应，每组所述雨雾图像数据均包括所述雨刮刮刷前的雨雾图像和刮刷后的雨雾图像；
基于所述多组刮刷数据和所述多组雨雾图像数据建立神经网络模型；
获取第一实时图像数据，所述第一实时图像数据包括所述刮刷前的雨雾图像；
遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度。
可选地，所述遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度，包括：
将所述第一实时图像数据与所述第一输出数据进行对比，若所述第一实时图像数据与所述第一输出数据相匹配，输出第一控制指令，所述第一控制指令用于指示启动所述雨刮；
获取第二实时图像数据，所述第二实时图像数据包括所述刮刷后的雨雾图像；
将所述第二实时图像数据与所述第一输出数据进行对比，若所述第二实时图像数据与所述第一输出数据相匹配，输出第二控制指令，所述第二控制指令用于指示所述雨刮保持所述刮刷速度；或者，
若所述第二实时图像数据与所述第一输出数据不匹配，输出第三控制指令，所述第三控制指令用于指示对所述雨刮的速度进行调节，直到所述第二实时图像数据与所述第一输出数据相匹配。
可选地，所述雨雾识别方法还包括：
若遍历所述神经网络模型中的多组雨雾图像数据，无法找到与所述第一实时图像数据相匹配的一组所述雨雾图像数据，则获取手动调节数据，所述手动调节数据为所述驾驶员将雨刮实时调节到的所述刮刷速度，并将所述手动调节数据输入所述神经网络模型中，对所述神经网络模型进行训练；
使用训练好的所述神经网络模型确定第二输出数据，所述第二输出数据包括所述手动调节数据、所述刮刷前的雨雾图像和所述刮刷后的雨雾图像，基于所述第二输出数据对所述雨刮的速度进行调节，以调节到与所述第二输出数据相对应的所述刮刷速度。
第二方面，本发明提供了一种清扫系统，包括：
数据获取模块，用于获取多组刮刷数据，所述多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度；
摄像模块，用于获取多组雨雾图像数据和第一实时图像数据，所述多组雨雾图像数据与所述多组刮刷数据一一对应，每组所述雨雾图像数据均包括所述雨刮刮刷前的雨雾图像和刮刷后的雨雾图像，所述第一实时图像数据包括所述刮刷前的雨雾图像；
模型建立模块，用于基于所述多组刮刷数据和所述多组雨雾图像数据建立神经网络模型；
电子控制单元，用于遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度。
可选地，所述摄像模块还用于获取第二实时图像数据，所述第二实时图像数据包括所述刮刷后的雨雾图像；
所述电子控制单元还用于，将所述第一实时图像数据与所述第一输出数据进行对比，若所述第一实时图像数据与所述第一输出数据相匹配，输出第一控制指令，所述第一控制指令用于指示启动所述雨刮；
将所述第二实时图像数据与所述第一输出数据进行对比，若所述第二实时图像数据与所述第一输出数据相匹配，输出第二控制指令，所述第二控制指令用于指示所述雨刮保持所述刮刷速度；或者，
若所述第二实时图像数据与所述第一输出数据不匹配，输出第三控制指令，所述第三控制指令用于指示对所述雨刮的速度进行调节，直到所述第二实时图像数据与所述第一输出数据相匹配。
可选地，所述数据获取模块还用于获取手动调节数据，所述手动调节数据为所述驾驶员将雨刮实时调节到的所述刮刷速度；
所述电子控制单元还用于，若遍历所述神经网络模型中的多组雨雾图像数据，无法找到与所述第一实时图像数据相匹配的一组所述雨雾图像数据，则获取手动调节数据，并将所述手动调节数据输入所述神经网络模型中，对所述神经网络模型进行训练；
使用训练好的所述神经网络模型确定第二输出数据，所述第二输出数据包括所述手动调节数据、所述刮刷前的雨雾图像和所述刮刷后的雨雾图像，基于所述第二输出数据对所述雨刮的速度进行调节，以调节到与所述第二输出数据相对应的所述刮刷速度。
可选地，所述摄像模块包括高清摄像装置，所述高清摄像装置与所述电子控制单元电连接，所述高清摄像装置设置在汽车仪表板和前挡风玻璃之间，用于对位于所述驾驶员的主视野区内的所述刮刷前的雨雾图像和所述刮刷后的雨雾图像进行拍摄。
可选地，所述清扫系统还包括云计算服务器，所述模型建立模块和所述电子控制单元均与所述云计算服务器通信连接。
第三方面，本发明还提供了一种清扫系统，所述清扫系统包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为执行前述第一方面所述的雨雾识别方法。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现前述第一方面所述的雨雾识别方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
在实际驾驶员进入汽车驾驶之前，会首先通过ECU(Electronic Control Unit，电子控制单元)，也即是行车电脑收集多组刮刷数据以及与多组刮刷数据一一对应的多组雨雾图像数据。多组刮刷数据与其对应的多组雨雾图像数据分别对多种不同雨雾大小情况下，驾驶员将雨刮所调节到的刮刷速度，也即是驾驶员在调节后认为最优的刮刷速度，以及雨刮刮刷前的雨雾图像和刮刷后的雨雾图像进行记录，并发送的ECU中，ECU在获取上述数据可以建立对应的神经网络模型。而在驾驶员实际驾驶车辆行驶时，ECU则可以通过摄像头等模块设备对驾驶员主视野内的雨雾情况进行监测，并获取第一实时图像数据。若出现雨雾天气，ECU在接收到第一实时图像数据后，通过遍历神经网络模型中已经输入的组雨雾图像数据，搜索到与该第一实时图像数据所拍摄到的雨雾图像相同的一组雨雾图像数据。进而确定第一输出数据，也即是与第一实时图像数据相匹配的一组雨雾图像数据，以及与该组雨雾图像数据对应的刮刷数据。最后ECU基于该第一输出数据对雨刮进行启动和速度调节，使雨刮的刮刷速度调节到与第一输出数据中的刮刷数据相同，实现雨刮自动调节到令驾驶员感觉最优的刮刷速度，保证驾驶员的前方视野清晰。
该雨雾识别方法能够基于前挡风玻璃上的实际雨雾图像对雨刮的刮刷速度进行实时控制，保证和提供驾驶员清晰的前方视野，避免其分心操作，提高乘员的驾驶体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种雨雾识别方法的流程图；
图2是本发明实施例提供的另一种雨雾识别方法的流程图；
图3是本发明实施例提供的一种数据信息矩阵示意图；
图4是本发明实施例提供的一种清扫系统的控制结构框图；
图5是本发明实施例提供的一种清扫系统的车内结构示意图；
图6是本发明实施例提供的另一种扶手的控制结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种雨雾识别方法的流程图。如图1所示，通过实践，本申请人提供了一种雨雾识别方法，该雨雾识别方法包括：
步骤S11，获取多组刮刷数据，多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度。
步骤S12，获取多组雨雾图像数据，多组雨雾图像数据与多组刮刷数据一一对应，每组雨雾图像数据均包括雨刮刮刷前的雨雾图像和刮刷后的雨雾图像。
步骤S13，基于多组刮刷数据和多组雨雾图像数据建立神经网络模型。
步骤S14，获取第一实时图像数据，第一实时图像数据包括刮刷前的雨雾图像。
步骤S15，遍历神经网络模型中的多组雨雾图像数据，利用神经网络模型确定第一输出数据，第一输出数据为与第一实时图像数据相匹配的一组雨雾图像数据以及与该组雨雾图像数据对应的刮刷数据，基于第一输出数据对雨刮的速度进行调节，以调节到与第一输出数据相对应的刮刷速度。
本发明实施例提供的雨雾识别方法，在实际驾驶员进入汽车驾驶之前，会首先通过ECU(Electronic Control Unit，电子控制单元)，也即是行车电脑收集多组刮刷数据以及与多组刮刷数据一一对应的多组雨雾图像数据。多组刮刷数据与其对应的多组雨雾图像数据分别对多种不同雨雾大小情况下，驾驶员将雨刮所调节到的刮刷速度，也即是驾驶员在调节后认为最优的刮刷速度，以及雨刮刮刷前的雨雾图像和刮刷后的雨雾图像进行记录，并发送的ECU中，ECU在获取上述数据可以建立对应的神经网络模型。而在驾驶员实际驾驶车辆行驶时，ECU则可以通过摄像头等模块设备对驾驶员主视野内的雨雾情况进行监测，并获取第一实时图像数据。若出现雨雾天气，ECU在接收到第一实时图像数据后，通过遍历神经网络模型中已经输入的组雨雾图像数据，搜索到与该第一实时图像数据所拍摄到的雨雾图像相同的一组雨雾图像数据。进而确定第一输出数据，也即是与第一实时图像数据相匹配的一组雨雾图像数据，以及与该组雨雾图像数据对应的刮刷数据。最后ECU基于该第一输出数据对雨刮进行启动和速度调节，使雨刮的刮刷速度调节到与第一输出数据中的刮刷数据相同，实现雨刮自动调节到令驾驶员感觉最优的刮刷速度，保证驾驶员的前方视野清晰。该雨雾识别方法能够基于前挡风玻璃上的实际雨雾图像对雨刮的刮刷速度进行实时控制，保证和提供驾驶员清晰的前方视野，避免其分心操作，提高乘员的驾驶体验。
图2是本发明实施例提供的另一种雨雾识别方法的流程图。如图2所示，该雨雾识别方法包括：
S21，获取多组刮刷数据，多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度。
在本步骤中，在实际驾驶员进入汽车驾驶之前，会首先通过ECU(ElectronicControl Unit，电子控制单元)，也即是行车电脑收集多组刮刷数据。多组刮刷数据分别对多种不同雨雾大小情况下，驾驶员将雨刮所调节到的刮刷速度，也即是驾驶员在调节后认为最优的刮刷速度，进行记录，并发送的ECU中进行储存，完成对多组刮刷数据的获取。
S22，获取多组雨雾图像数据，多组雨雾图像数据与多组刮刷数据一一对应，每组雨雾图像数据均包括雨刮刮刷前的雨雾图像和刮刷后的雨雾图像。
在本步骤中，在对刮刷数据进行获取的同时，ECU则可以通过摄像头等模块设备对驾驶员主视野内的雨雾情况进行拍摄，进而记录驾驶员主视野中的雨雾特征图像，特别是在雨刮刮刷前的雨雾图像和刮刷后的雨雾图像，并发送的ECU中进行储存，完成对多组雨雾图像数据的获取。
示例性地，在本发明中，对多组刮刷数据以及一一对应的多组雨雾图像数据的获取可以配合搭载有雨刮的试验车辆在不同的雨雾天气中进行数据获取，在完成数据获取后再将数据导入到实车使用的ECU中。在其他可能实现的方式中，也可以直接通过车辆上所装载的ECU对上述数据进行实时获取，本发明对此不作限定。
S23，基于多组刮刷数据和多组雨雾图像数据建立神经网络模型。
在本步骤中，ECU在获取多组刮刷数据和与之一一对应的多组雨雾图像数据后后，将多组刮刷数据中的刮刷速度和多组雨雾图像数据中的刮刷前的雨雾图像和刮刷后的雨雾图像进行排列并构成数据集，并利用相应的计算机程序建立神经网络模型。
示例性地，对本发明实施例中的神经网络模型的建立过程进行简要阐述：
图3是本发明实施例提供的一种数据信息矩阵示意图。如图2至图3所示，在完成S21和S22两部的数据收集后，首先基于多个雨雾天气、多个用户、多辆车辆，可搜集到大样本量的雨刮刮刷前、后的雨雾图像和最优刮刷速度的矩阵数据信息：如第1用户的第1个雨雾工况，包括刮刷前的雨雾图像P1-1、所调节的最优刮刷速度V1-1、以及刮刷后的雨雾图像P'1-1；如第X用户的第Y个雨雾工况，包括刮刷前的雨雾图像PX-Y、所调节的刮刷速度VX-Y、以及刮刷后的雨雾图像P'X-Y。之后，通过对对采集到的刮刷前、后的雨雾图像进行前处理，包括去噪、平滑处理等，保证图像精准可用。再然后，将处理后的刮刷前、后的雨雾图像和刮刷速度数据矩阵分为训练集和验证集两部分，初步定义为训练集占70％，验证集占30％。再然后，构建神经网络，导入训练集的雨雾图像进行特征提取，特征提取的综合因子是图像模糊度。而图像模糊度综合因子又可分为多个子因子，包括图像梯度、图像灰度、能量分布等。其中，图像灰度以图像所有像素的灰度平均值为参考，对每个像素点的灰度值求差后求平方和，然后用像素总数标准化，它表征了图像灰度变化的平均程度，灰度变化的平均程度越大，图像越清晰，灰度变化平均程度越小，图像越模糊。图像梯度计算相邻两个像素灰度差的平方模糊程度，梯度越大图像越清晰，梯度越小越模糊。由此构建出图像模糊度的模型，其中定义P为刮刷前的图像模糊度、P'为刮刷后的图像模糊度。再然后，经过前述图像模糊度的模型构建以及训练集数据的导入和训练，最终利用神经网络模型得到最优刮刷速度与刮刷前、后图像模糊度的初步函数对应关系V＝f(P，P')。其中，刮刷前的图像模糊度P可以作为雨刮刮刷速度的触发条件，刮刷后的图像模糊度P'则可以作为最优的刮刷速度V进行实时调节的依据。最后，将前述30％的验证集进一步导入该刮刷速度和刮刷前、后图像模糊度的模型进行符合度验证，如相符，则说明初步函数对应关系准确；如不符，根据验证情况实时返回和修正初步函数对应关系中各个因子的权重，并得到最终的图像模糊度与刮刷速度的函数对应关系。
S24，获取第一实时图像数据，第一实时图像数据包括刮刷前的雨雾图像。
在本步骤中，在驾驶员实际驾驶车辆行驶时，ECU则可以通过摄像头等模块设备对驾驶员主视野内的雨雾情况进行监测，并获取第一实时图像数据，即在出现雨雾天气时，雨刮未启动进行刮刷时驾驶员主视野内的雨雾图像。并将该第一实时图像数据发送的ECU中进行储存，完成对第一实时图像数据的获取。
S25，遍历神经网络模型中的多组雨雾图像数据，利用神经网络模型确定第一输出数据，第一输出数据为与第一实时图像数据相匹配的一组雨雾图像数据以及与该组雨雾图像数据对应的刮刷数据，基于第一输出数据对雨刮的速度进行调节，以调节到与第一输出数据相对应刮刷速度。
在本发明实施例中，该步骤可以具体分为以下步骤：
S251，将第一实时图像数据与第一输出数据进行对比，若第一实时图像数据与第一输出数据相匹配，输出第一控制指令，第一控制指令用于指示启动雨刮。
在本步骤中，当雨雾天气出现后，ECU在接收到第一实时图像数据后，通过遍历神经网络模型中已经输入的组雨雾图像数据，搜索到与该第一实时图像数据所拍摄到的雨雾图像相同的一组雨雾图像数据。进而确定第一输出数据，也即是与第一实时图像数据相匹配的一组雨雾图像数据，以及与该组雨雾图像数据对应的刮刷数据。之后即向雨刮的控制机构输出第一控制指令，指示启动雨刮对落在汽车前挡风玻璃上的雨雾进行刮刷。
S252，获取第二实时图像数据，第二实时图像数据包括刮刷后的雨雾图像。
在本步骤中，当雨刮启动对雨雾进行刮刷的同时，ECU可以通过摄像头等模块设备对驾驶员主视野内的雨雾情况进行拍摄，进而记录在经过雨刮刮刷后的雨雾图像。
S253，将第二实时图像数据与第一输出数据进行对比，若第二实时图像数据与第一输出数据相匹配，输出第二控制指令，第二控制指令用于指示雨刮保持刮刷速度；或者，若第二实时图像数据与第一输出数据不匹配，输出第三控制指令，第三控制指令用于指示对雨刮的速度进行调节，直到第二实时图像数据与第一输出数据相匹配。
在本步骤中，ECU将接受到的第二实时图像数据与第一输出数据中的刮刷后的雨雾图像进行对比。若第二实时图像数据与第一输出数据相匹配，也即是经过雨刮的刮刷后驾驶员的主视野区的清晰度能够达到驾驶员满意的程度，则判断雨刮的刮刷速度已经调节到了驾驶员认为最优的刮刷速度。即输出第二控制指令指示雨刮保持该最优的刮刷速度进行刮刷；而若实时图像数据与第一输出数据不匹配，则判断此时对雨刮的刮刷速度调整不够准确，以此刮刷速度继续进行刮刷无法保证驾驶员的主视野区的清晰度另驾驶员满意。即输出第三控制指令指示对雨刮的刮刷速度继续进行调节，直到实时图像数据与第一输出数据相匹配为止。保证驾驶员的前方视野清晰，提高驾驶员的驾驶体验。
S26，若遍历神经网络模型中的多组雨雾图像数据，无法找到与第一实时图像数据相匹配的一组雨雾图像数据，则获取手动调节数据，手动调节数据为驾驶员将雨刮实时调节到的刮刷速度，并将手动调节数据输入神经网络模型中，对神经网络模型进行训练；
使用训练好的神经网络模型确定第二输出数据，第二输出数据包括手动调节数据、刮刷前的雨雾图像和刮刷后的雨雾图像，基于第二输出数据对雨刮的速度进行调节，以调节到与第二输出数据相对应刮刷速度。
在本步骤中，由于雨雾大小情况各异，难免会出现在获取第一实时图像数据后，将第一实时图像与多组雨雾图像数据进行对比后，无法找到与之对应匹配的刮刷前的雨雾图像的情况，无法直接确定第一输出数据并对雨刮的刮刷速度进行自动调整。此时ECU即会对驾驶员手动对雨刮的速度调节进行记录，并将实时调节的刮刷速度进行记录，并输入到神经网络模型中。相应的，该第一实时图像数据也会作为与该手动调节数据相对应的刮刷前的雨雾图像进行获取和记录，同时经过驾驶员手动调节的雨刮在进行刮刷后，其刮刷后的雨雾图像也会同时进行获取和记录，并代入到步骤S23中的函数对应关系中对神经网络模型进行迭代优化训练。训练完成后的神经网络模型在再次输入与上述第一实时图像数据相同的第一实时图像数据时，即可输出对应的第二输出数据，基于该第二输出数据即可控制雨刮自动调节到与该手动调节数据相对应的刮刷速度，保证驾驶员的前方视野清晰。当驾驶员手动调节雨刮速度时，有限以驾驶员的手动调节为准，并同时记录调节数据对神经网络模型进行迭代优化训练，进一步提高驾驶员的驾驶体验。
图4是本发明实施例提供的一种清扫系统的控制结构框图。如图4所示，该清扫系统具有实现上述雨雾识别方法的功能。该清扫系统包括数据获取模块1、摄像模块2、模型建立模块3和电子控制单元4。其中，数据获取模块1用于获取多组刮刷数据，多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度。摄像模块2用于获取多组雨雾图像数据和第一实时图像数据，多组雨雾图像数据与多组刮刷数据一一对应，每组雨雾图像数据均包括雨刮刮刷前的雨雾图像和刮刷后的雨雾图像，第一实时图像数据包括刮刷前的雨雾图像。模型建立模块3用于基于多组刮刷数据和多组雨雾图像数据建立神经网络模型。电子控制单元4用于遍历神经网络模型中的多组雨雾图像数据，利用神经网络模型确定第一输出数据，第一输出数据为与第一实时图像数据相匹配的一组雨雾图像数据以及与该组雨雾图像数据对应的刮刷数据，基于第一输出数据对雨刮的速度进行调节，以调节到与第一输出数据相对应刮刷速度。
示例性地，在本发明实施例中，数据获取模块1、摄像模块2、模型建立模块3均与电子控制单元4电连接。
可选地，摄像模块2还用于获取第二实时图像数据，第二实时图像数据包括刮刷后的雨雾图像。电子控制单元4还用于将第一实时图像数据与第一输出数据进行对比，若第一实时图像数据与第一输出数据相匹配，输出第一控制指令，第一控制指令用于指示启动雨刮；将第二实时图像数据与第一输出数据进行对比，若第二实时图像数据与第一输出数据相匹配，输出第二控制指令，第二控制指令用于指示雨刮保持刮刷速度；或者，若第二实时图像数据与第一输出数据不匹配，输出第三控制指令，第三控制指令用于指示对雨刮的速度进行调节，直到第二实时图像数据与第一输出数据相匹配。
可选地，数据获取模块1还用于获取手动调节数据，手动调节数据为驾驶员将雨刮实时调节到的刮刷速度。电子控制单元4还用于若遍历神经网络模型中的多组雨雾图像数据，无法找到与第一实时图像数据相匹配的一组雨雾图像数据，则获取手动调节数据，并将手动调节数据输入神经网络模型中，对神经网络模型进行训练；使用训练好的神经网络模型确定第二输出数据，第二输出数据包括手动调节数据、刮刷前的雨雾图像和刮刷后的雨雾图像，基于第二输出数据对雨刮的速度进行调节，以调节到与第二输出数据相对应刮刷速度。
图5是本发明实施例提供的一种清扫系统的车内结构示意图。如图5所示，可选地，摄像模块2包括高清摄像装置21，高清摄像装置21与电子控制单元4电连接，高清摄像装置21设置在汽车仪表板m和前挡风玻璃n之间，用于对位于驾驶员的主视野区内的刮刷前的雨雾图像和刮刷后的雨雾图像进行拍摄。示例性地，在本发明实施例中，高清摄像装置设置在汽车仪表板m和前挡风玻璃n之间，并正对主驾驶位正前方的前挡风玻璃n处，以实现对驾驶员的主视野区n1内的刮刷前的雨雾图像和刮刷后的雨雾图像进行拍摄，提高识别精确度。
可选地，清扫系统还包括云计算服务器5，模型建立模块3和电子控制单元4均与云计算服务器5通信连接。示例性地，在本发明实施例中，在获取多组刮刷数据、雨雾图像数据和第一实时图像数据后，神经网络模型的建立、训练和保存，以及第一输出数据的输出，均可以通过远程信号发送到云计算服务器5中进行，避免上述操作全部在本地进行上述步骤。减少了汽车上的本地数据处理设备的设置费用，在保证其数据处理和计算性能的同时，降低了制造成本，可靠性、灵活性以及性价比高。
图6是本发明实施例提供的另一种清扫系统的控制结构示意图。如图6所示，该清扫系统还包括处理器以及用于存储处理器可执行的指令的存储器。该清扫系统6100可以为计算机设备，该清扫系统6100可以包括以下一个或多个组件：处理器6101、存储器6102、通信接口6103和总线6104。
处理器6101包括一个或者一个以上处理核心，处理器6101通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。存储器6102和通信接口6103通过总线6104与处理器6101相连。存储器6102可用于存储至少一个指令，处理器6101用于执行该至少一个指令，以实现上述方法实施例中的各个步骤。
此外，存储器6102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，静态随时存取存储器(SRAM)，只读存储器(ROM)，磁存储器，快闪存储器，可编程只读存储器(PROM)。
示例性地，在本发明实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行前述的雨雾识别方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则所述相对位置关系也可能相应地改变。
以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种雨雾识别方法，其特征在于，包括：
获取多组刮刷数据，所述多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度；
获取多组雨雾图像数据，所述多组雨雾图像数据与所述多组刮刷数据一一对应，每组所述雨雾图像数据均包括所述雨刮刮刷前的雨雾图像和刮刷后的雨雾图像；
基于所述多组刮刷数据和所述多组雨雾图像数据建立神经网络模型；
获取第一实时图像数据，所述第一实时图像数据包括所述刮刷前的雨雾图像；
遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度。
2.根据权利要求1所述的雨雾识别方法，其特征在于，所述遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度，包括：
将所述第一实时图像数据与所述第一输出数据进行对比，若所述第一实时图像数据与所述第一输出数据相匹配，输出第一控制指令，所述第一控制指令用于指示启动所述雨刮；
获取第二实时图像数据，所述第二实时图像数据包括所述刮刷后的雨雾图像；
将所述第二实时图像数据与所述第一输出数据进行对比，若所述第二实时图像数据与所述第一输出数据相匹配，输出第二控制指令，所述第二控制指令用于指示所述雨刮保持所述刮刷速度；或者，
若所述第二实时图像数据与所述第一输出数据不匹配，输出第三控制指令，所述第三控制指令用于指示对所述雨刮的速度进行调节，直到所述第二实时图像数据与所述第一输出数据相匹配。
3.根据权利要求2所述的雨雾识别方法，其特征在于，所述雨雾识别方法还包括：
若遍历所述神经网络模型中的多组雨雾图像数据，无法找到与所述第一实时图像数据相匹配的一组所述雨雾图像数据，则获取手动调节数据，所述手动调节数据为所述驾驶员将雨刮实时调节到的所述刮刷速度，并将所述手动调节数据输入所述神经网络模型中，对所述神经网络模型进行训练；
使用训练好的所述神经网络模型确定第二输出数据，所述第二输出数据包括所述手动调节数据、所述刮刷前的雨雾图像和所述刮刷后的雨雾图像，基于所述第二输出数据对所述雨刮的速度进行调节，以调节到与所述第二输出数据相对应的所述刮刷速度。
4.一种清扫系统，其特征在于，包括：
数据获取模块，用于获取多组刮刷数据，所述多组刮刷数据包括多种不同雨雾大小情况下，驾驶员将雨刮调节到的刮刷速度；
摄像模块，用于获取多组雨雾图像数据和第一实时图像数据，所述多组雨雾图像数据与所述多组刮刷数据一一对应，每组所述雨雾图像数据均包括所述雨刮刮刷前的雨雾图像和刮刷后的雨雾图像，所述第一实时图像数据包括所述刮刷前的雨雾图像；
模型建立模块，用于基于所述多组刮刷数据和所述多组雨雾图像数据建立神经网络模型；
电子控制单元，用于遍历所述神经网络模型中的所述多组雨雾图像数据，利用所述神经网络模型确定第一输出数据，所述第一输出数据为与所述第一实时图像数据相匹配的一组所述雨雾图像数据以及与该组所述雨雾图像数据对应的所述刮刷数据，基于所述第一输出数据对所述雨刮的速度进行调节，以调节到与所述第一输出数据相对应的所述刮刷速度。
5.根据权利要求4所述的清扫系统，其特征在于，所述摄像模块还用于获取第二实时图像数据，所述第二实时图像数据包括所述刮刷后的雨雾图像；
所述电子控制单元还用于，将所述第一实时图像数据与所述第一输出数据进行对比，若所述第一实时图像数据与所述第一输出数据相匹配，输出第一控制指令，所述第一控制指令用于指示启动所述雨刮；
将所述第二实时图像数据与所述第一输出数据进行对比，若所述第二实时图像数据与所述第一输出数据相匹配，输出第二控制指令，所述第二控制指令用于指示所述雨刮保持所述刮刷速度；或者，
若所述第二实时图像数据与所述第一输出数据不匹配，输出第三控制指令，所述第三控制指令用于指示对所述雨刮的速度进行调节，直到所述第二实时图像数据与所述第一输出数据相匹配。
6.根据权利要求4所述的清扫系统，其特征在于，所述数据获取模块还用于获取手动调节数据，所述手动调节数据为所述驾驶员将雨刮实时调节到的所述刮刷速度；
所述电子控制单元还用于，若遍历所述神经网络模型中的多组雨雾图像数据，无法找到与所述第一实时图像数据相匹配的一组所述雨雾图像数据，则获取手动调节数据，并将所述手动调节数据输入所述神经网络模型中，对所述神经网络模型进行训练；
使用训练好的所述神经网络模型确定第二输出数据，所述第二输出数据包括所述手动调节数据、所述刮刷前的雨雾图像和所述刮刷后的雨雾图像，基于所述第二输出数据对所述雨刮的速度进行调节，以调节到与所述第二输出数据相对应的所述刮刷速度。
7.根据权利要求4所述的清扫系统，其特征在于，所述摄像模块包括高清摄像装置，所述高清摄像装置与所述电子控制单元电连接，所述高清摄像装置设置在汽车仪表板和前挡风玻璃之间，用于对位于所述驾驶员的主视野区内的所述刮刷前的雨雾图像和所述刮刷后的雨雾图像进行拍摄。
8.根据权利要求4所述的清扫系统，其特征在于，所述清扫系统还包括云计算服务器，所述模型建立模块和所述电子控制单元均与所述云计算服务器通信连接。
9.一种清扫系统，其特征在于，所述清扫系统包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为执行权利要求1至3任一项所述的雨雾识别方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至3任一项所述的雨雾识别方法。
CN202110856222.3A 2021-07-28 2021-07-28 一种雨雾识别方法、清扫系统和计算机可读存储介质 Pending CN113673361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856222.3A CN113673361A (zh) 2021-07-28 2021-07-28 一种雨雾识别方法、清扫系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856222.3A CN113673361A (zh) 2021-07-28 2021-07-28 一种雨雾识别方法、清扫系统和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113673361A true CN113673361A (zh) 2021-11-19

Family

ID=78540440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856222.3A Pending CN113673361A (zh) 2021-07-28 2021-07-28 一种雨雾识别方法、清扫系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113673361A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09240433A (ja) * 1996-03-08 1997-09-16 Yazaki Corp ワイパー制御装置
US20170293808A1 (en) * 2016-04-11 2017-10-12 Ford Global Technologies, Llc Vision-based rain detection using deep learning
US20180099646A1 (en) * 2016-10-06 2018-04-12 Ford Global Technologies, Llc Multi-Sensor Precipitation-Classification Apparatus and Method
CN107933507A (zh) * 2017-11-26 2018-04-20 佛山市洛克威特科技有限公司 一种智能雨刷启动方法
US20190270431A1 (en) * 2018-03-05 2019-09-05 Tesla, Inc. Electromagnetic windshield wiper system
CN110562202A (zh) * 2019-09-19 2019-12-13 广州小鹏汽车科技有限公司 雨刮器的控制方法、控制装置和车辆
CN110852274A (zh) * 2019-11-12 2020-02-28 上海智驾汽车科技有限公司 一种基于图像识别的智能雨量感知方法及装置
CN112572356A (zh) * 2020-12-11 2021-03-30 江苏联成开拓集团有限公司 一种基于行车记录仪的雨刮控制系统及其方法
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09240433A (ja) * 1996-03-08 1997-09-16 Yazaki Corp ワイパー制御装置
US20170293808A1 (en) * 2016-04-11 2017-10-12 Ford Global Technologies, Llc Vision-based rain detection using deep learning
US20180099646A1 (en) * 2016-10-06 2018-04-12 Ford Global Technologies, Llc Multi-Sensor Precipitation-Classification Apparatus and Method
CN107933507A (zh) * 2017-11-26 2018-04-20 佛山市洛克威特科技有限公司 一种智能雨刷启动方法
US20190270431A1 (en) * 2018-03-05 2019-09-05 Tesla, Inc. Electromagnetic windshield wiper system
CN110562202A (zh) * 2019-09-19 2019-12-13 广州小鹏汽车科技有限公司 雨刮器的控制方法、控制装置和车辆
CN110852274A (zh) * 2019-11-12 2020-02-28 上海智驾汽车科技有限公司 一种基于图像识别的智能雨量感知方法及装置
CN112572356A (zh) * 2020-12-11 2021-03-30 江苏联成开拓集团有限公司 一种基于行车记录仪的雨刮控制系统及其方法
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许霜霜 等: "汽车智能雨刷模糊控制系统设计", 《软件导刊》, vol. 16, no. 07, pages 113 - 115 *
魏俞涌 等: "BP神经网络在智能雨刮器上的应用及MATLAB仿真研究", 《科技通报》, vol. 28, no. 5, pages 162 - 164 *

Similar Documents

Publication Publication Date Title
CN110427850B (zh) 驾驶员高速道路换道意图预测方法、系统、装置
CN108270970B (zh) 一种图像采集控制方法及装置、图像采集系统
CN112417943A (zh) 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作
CN105224908A (zh) 一种基于正射投影的道路标线采集方法及装置
CN112614192B (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
CN110562201A (zh) 雨刮器的控制方法、控制装置和车辆
US20150178902A1 (en) Image processing apparatus and image processing method for removing rain streaks from image data
US20240029444A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
CN112793540B (zh) 电动汽车的雨刮器控制方法及装置
CN108986249B (zh) 基于全景环视图像的车辆远程定损方法和系统
CN113673361A (zh) 一种雨雾识别方法、清扫系统和计算机可读存储介质
CN210822158U (zh) 机动车雨刷自动控制系统
CN111881748A (zh) 一种基于vbai平台建模的车道线视觉识别方法和系统
CN116229404A (zh) 一种基于距离传感器的图像去雾优化方法
CN115272284A (zh) 基于图像质量评估的输电线路缺陷识别方法
CN116547726A (zh) 在下雨、入射光线和脏污时对摄像装置的图像的修正
CN115147675A (zh) 显示方法、装置及电子后视镜系统
CN108062528A (zh) 一种基于流媒体内后视镜系统的车道识别系统及方法
CN114037834A (zh) 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN113052118A (zh) 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
CN117152707B (zh) 一种车辆偏移距离的计算方法、装置以及处理设备
WO2022193154A1 (zh) 雨刷控制方法、汽车及计算机可读存储介质
CN115147685B (zh) 一种甘蔗收获机运行状态的识别预测方法
CN117710954A (zh) 一种结合图像修复的车牌识别方法、装置、设备、介质
CN114296152B (zh) 一种雨量确定方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination