CN110852274B - 一种基于图像识别的智能雨量感知方法及装置 - Google Patents

一种基于图像识别的智能雨量感知方法及装置 Download PDF

Info

Publication number
CN110852274B
CN110852274B CN201911099724.5A CN201911099724A CN110852274B CN 110852274 B CN110852274 B CN 110852274B CN 201911099724 A CN201911099724 A CN 201911099724A CN 110852274 B CN110852274 B CN 110852274B
Authority
CN
China
Prior art keywords
rainfall
raindrop
rain
wiper
tracking information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911099724.5A
Other languages
English (en)
Other versions
CN110852274A (zh
Inventor
叶春兰
冯凯
周天一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maxieye Automobile Technology Co ltd
Original Assignee
Shanghai Maxieye Automobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maxieye Automobile Technology Co ltd filed Critical Shanghai Maxieye Automobile Technology Co ltd
Priority to CN201911099724.5A priority Critical patent/CN110852274B/zh
Publication of CN110852274A publication Critical patent/CN110852274A/zh
Application granted granted Critical
Publication of CN110852274B publication Critical patent/CN110852274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像识别的智能雨量感知方法及装置，目的在于寻找更为有效的雨刮控制的实现方案，其中方法包括如下步骤：检测单帧图像得到雨量场景类别并识别每一个雨滴的雨滴边界框；按照预设时间序列获得N帧单帧图像的雨量类别，基于数量最多的雨量类别生成雨量场景跟踪信息；结合前后连续帧间的雨滴识别结果，获得稳定雨滴跟踪信息；基于雨量场景跟踪信息和稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。本发明通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。

Description

一种基于图像识别的智能雨量感知方法及装置
技术领域
本发明涉及智能驾驶领域，具体而言，本发明涉及一种基于图像识别的智能雨量感知方法及装置。
背景技术
在现有的自动雨刮控制技术中，一般采用雨量传感器来调整雨刷的动作。雨量传感器属于一种电子传感器，其采用发光二极管发送远红外线和光电二级管接收的玻璃表面反射光线的多少来调整雨刷的动作，具体地，当玻璃表面干燥时，光线几乎是全部被反射回来，这样光电二级管就能接收到大量的反射光线；当玻璃上的雨水越多，反射回来的光线就越少，其结果是雨刷动作越快。因此，雨量传感器在能覆盖到的区域有雨水时能根据落在玻璃上雨水量的大小来调整雨刷的动作。
但是，雨量传感器远红外线的覆盖区域是有限的，其并不能作用到整个汽车前档玻璃面。所以，当雨水落至雨量传感器未覆盖区域，就不能及时控制雨刮进行动作，导致雨刮动作迟滞，在一定程度上会影响行车安全。
发明内容
为了寻找更为有效的雨刮控制的实现方案，本发明提供了一种基于图像识别的智能雨量感知方法及装置。
方案一：
提供一种基于图像识别的智能雨量感知方法，该基于图像识别的智能雨量感知方法包括如下步骤：
检测从车载摄像模块采集的视频信息中提取的单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框，所述雨量场景类别包括至少两个雨量类别；
按照预设时间序列获得N帧单帧图像的雨量类别，统计各个雨量类别的数量得到数量最多的雨量类别，并判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息；其中N为大于0的自然数；
判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴，若是，则生成稳定雨滴跟踪信息，其中M为不小于1的自然数；
基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。
优选地，所述雨滴边界框为包含雨滴的最小外接矩形边界框，所述检测单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框包括如下步骤：
将所述单帧图像输入预置的卷积神经网络模型得到所述单帧图像的雨量场景类别，并标注所述单帧图像中每一个雨滴的最小外接矩形边界框。
优选地，所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小自定义。
优选地，所述预设阈值为N/2；所述判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息包括如下步骤：
统计无雨、小雨、中雨、大雨四个雨量类别的数目，按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别；
确认所述无雨、小雨、中雨、大雨四个雨量类别中数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于N/2，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息。
优选地，所述判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴包括如下步骤：
基于第一帧单帧图像检测到K个雨滴创建包括K个被跟踪雨滴目标的跟踪序列，记录所述K个雨滴的雨滴边界框位置，并设置所述K个雨滴的生命计数器为1，初始化为非稳定雨滴；其中所述K为自然数；
将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配，若存在被跟踪雨滴目标与对应检测目标的交并比大于第一预置阈值，则该被跟踪目标的生命计数器加1，并更新对应的雨滴边界框位置；
若所述被跟踪雨滴目标生命计数器数值大于第二预置阈值，则设置所述被跟踪雨滴目标为稳定雨滴，否则设置为非稳定雨滴。
优选地，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
若不存在任何被跟踪雨滴目标与对应检测目标匹配，则在跟踪序列中创建一个新的被跟踪雨滴目标。
优选地，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
若被跟踪雨滴目标没有检测到对应检测目标，则所述被跟踪雨滴目标的生命计数器减1，并设置该被跟踪雨滴目标为非稳定雨滴；
判断更新后的被跟踪雨滴目标的生命计数器是否小于1，若是，则在跟踪序列中删除该被跟踪雨滴目标。
优选地，所述生成稳定雨滴跟踪信息包括如下步骤：
对跟踪序列中的稳定雨滴的总面积和个数进行统计，基于所述稳定雨滴的总面积和个数生成稳定雨滴跟踪信息。
优选地，所述基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作包括如下步骤：
若所述雨量场景跟踪信息为大雨，则开启雨刮并调整雨刮速度至快档；
若所述雨量场景跟踪信息为中雨，则开启雨刮并调整雨刮速度至标准档；
若所述雨量场景跟踪信息为小雨且稳定雨滴跟踪信息中的稳定雨滴的总面积和个数满足预设条件，则开启雨刮并调整雨刮速度至慢档；
若所述雨量场景跟踪信息和所述稳定雨滴跟踪信息非以上三种情形之一，则关闭雨刮并将雨刮速度置零。
方案二：
提供一种基于图像识别的智能雨量感知装置，其包括车载摄像处理模块，与所述车载摄像处理模块连接的车辆雨刮控制电机、与所述车辆雨刮控制电机连接的雨刮，其中，所述车载摄像处理模块包括车载摄像模块、一个或多个处理器、存储器、一个或多个应用程序；
所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行方案一所述的基于图像识别的智能雨量感知方法。
与现有技术相比，本发明一种基于图像识别的智能雨量感知方法及装置具有如下有益效果：
本发明一种基于图像识别的智能雨量感知方法及装置通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一种基于图像识别的智能雨量感知方法的流程示意图；
图2为本发明另一实施例一种基于图像识别的智能雨量感知装置的模块结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
请参阅图1，图1示出了本发明实施例一种基于图像识别的智能雨量感知方法的流程示意图，如图1所示，本发明实施例一种基于图像识别的智能雨量感知方法，其包括如下步骤：
步骤S101：检测从车载摄像模块采集的视频信息中提取的单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框，所述雨量场景类别包括至少两个雨量类别。
优选地，雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，无雨、小雨、中雨、大雨基于雨量大小自定义。
优选地，车载摄像模块优选为上海智驾汽车科技有限公司的IFVS500系列车载前视模块。应当理解的是，车载摄像模块也可为车载后视模块，本发明实施例对此不做限制。
在一些实施方式中，雨滴边界框为包含雨滴的最小外接矩形边界框，则检测单帧图像得到单帧图像的雨量场景类别并识别单帧图像中每一个雨滴的雨滴边界框包括如下步骤：
将单帧图像输入预置的卷积神经网络模型得到单帧图像的雨量场景类别，并识别单帧图像中每一个雨滴的最小外接矩形边界框。
示例地，预置的卷积神经网络模型基于深度学习检测模型创建，其可以通过如下步骤实现：
首先，使用IFVS500系列车载前视模块采集大量雨天图片序列，并人工按照生活常识对图片序列按照雨量大小划分为无雨、小雨、中雨和大雨四类并标注；同时，对图像中出现的雨滴，使用最小外接矩形边界框的方式进行目标标注；
其次，使用平移、旋转、缩放、图像亮度调整等方法，扩充已标注数据集，然后按照对应训练平台Caffe或TensorFlow的要求，制作训练数据集；
再次，设计卷积神经网络模型，在Caffe或TensorFlow上利用制作好的训练数据集，训练卷积神经网络模型的参数，过程中不断调整卷积神经网络模型训练超参，并反复测试和调整训练，直至卷积神经网络模型效果达到预期；
最后，将训练好的卷积神经网络模型部署在IFVS500系列产品上。
这样，车载前视模块实时采集图像，并将其输入到卷积神经网络模型中经计算，就可以得到雨量场景类别以及识别每一个雨滴的雨滴边界框。
值得注意的是，此处预置的卷积神经网络模型仅为示例，本领域技术人员还可以通过其他深度学习架构进行训练得到，本发明实施例对此不做限制。
步骤S103：按照预设时间序列获得N帧单帧图像的雨量类别，统计各个雨量类别的数量得到数量最多的雨量类别，并判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息；其中N为大于0的自然数。
优选地，预设阈值为N/2。
在一些实施方式中，判断数量最多的雨量类别的数目是否大于预设阈值，若是，则基于数量最多的雨量类别生成雨量场景跟踪信息包括如下步骤：
统计无雨、小雨、中雨、大雨四个雨量类别的数目，按照从大到小的排序无雨、小雨、中雨、大雨四个雨量类别；
确认无雨、小雨、中雨、大雨四个雨量类别中数目最多的雨量类别，并判断数目最多的雨量类别的数目是否大于N/2，若是，则基于数量最多的雨量类别生成雨量场景跟踪信息。
示例地，假设无雨的个数n1、小雨的个数n2、中雨的个数n3及大雨的个数n4，那么，按照从大到小的排序无雨、小雨、中雨、大雨四个雨量类别就是对n1、n2、n3、n4进行排序。
在一些实施方式中，为了避免偶然因素的影响以及能耗的浪费，当n1、n2、n3、n4均小于N/2时，则将雨量类别拟制为无雨。
步骤S105：判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴，若是，则生成稳定雨滴跟踪信息，其中M为不小于1的自然数。
优选地，M的值为2。
在一些实施方式中，判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴采用交并比(Intersection over Union，简称IOU)的方式，其中，IoU分数是对象类别分割问题的标准性能度量，给定一组图像，IOU测量给出了在该组图像中存在的对象的预测区域和当前实况区域之间的相似性。具体地，判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴包括如下步骤：
基于第一帧单帧图像检测到K个雨滴创建包括K个被跟踪雨滴目标的跟踪序列，记录K个雨滴的雨滴边界框位置，并设置K个雨滴的生命计数器为1，初始化为非稳定雨滴；其中K为自然数；
将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配，若存在被跟踪雨滴目标与对应检测目标的交并比大于第一预置阈值，则该被跟踪目标的生命计数器加1，并更新对应的雨滴边界框位置；
若被跟踪雨滴目标生命计数器数值大于第二预置阈值，则设置被跟踪雨滴目标为稳定雨滴，否则设置为非稳定雨滴。
优选地，第一预置阈值为0.5；第二预置阈值用户可以基于相关精度要求进行设置。
在一些实施方式中，考虑到雨滴多目标跟踪是个连续的过程同时天气是变化的，因此在整个雨滴目标跟踪时需要进行跟踪序列的调整，因此，将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
若不存在任何被跟踪雨滴目标与对应检测目标匹配，则在跟踪序列中创建一个新的被跟踪雨滴目标；
若被跟踪雨滴目标没有检测到对应检测目标，则被跟踪雨滴目标的生命计数器减1，并设置该被跟踪雨滴目标为非稳定雨滴；判断更新后的被跟踪雨滴目标的生命计数器是否小于1，若是，则在跟踪序列中删除该被跟踪雨滴目标。
在一些实施方式中，生成稳定雨滴跟踪信息包括如下步骤：
对跟踪序列中的稳定雨滴的总面积和个数进行统计，基于稳定雨滴的总面积和个数生成稳定雨滴跟踪信息。
值得注意的是，步骤S103和步骤S105是两个相互独立的步骤，在具体实施过程中，两者的步骤可以进行调换，本发明实施例对此不作限制。
步骤S107：基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。
详细地，基于雨量场景跟踪信息和稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作包括如下步骤：
若雨量场景跟踪信息为大雨，则开启雨刮并调整雨刮速度至快档；
若雨量场景跟踪信息为中雨，则开启雨刮并调整雨刮速度至标准档；
若雨量场景跟踪信息为小雨且稳定雨滴跟踪信息中的稳定雨滴的总面积和个数满足预设条件，则开启雨刮并调整雨刮速度至慢档；
若雨量场景跟踪信息和稳定雨滴跟踪信息非以上三种情形之一，则关闭雨刮并将雨刮速度置零。
需要解释的是，在步骤S101中有雨和无雨的分界线使用的判断标准是地面潮湿，地面整体潮湿即判定为有雨，然后根据雨量情况分为小雨、中雨、大雨三个雨量类别；反之，地面不是整体潮湿即判定为无雨。这种分类图像特征明显，便于卷积神经网络模型学习。但存在两种场景无法解决，易出现误判：
1)刚下雨初始阶段，地面尚未潮湿，卷积神经网络模型分类会将其分类为无雨；
2)雨已经停了，但是地面潮湿，卷积神经网络模型分类会将其分类为小雨；
这两种情况都是错误的。
这两种场景在车窗前档玻璃上洁净时，单纯从图像上，人眼都难以区分到底是有没有下雨。前者是正在下小雨还是只是天阴，后者是在下小雨还是雨后，都无法确认。如果将这两种场景强制放入卷积神经网络模型的训练数据中进行卷积神经网络模型训练，会导致雨量场景类别准确率明显下降。
考虑到本发明实施例的使用场景是车载摄像模块，目的是控制雨刮动作，而非进行所有场景的雨量监测。当汽车前档玻璃洁净无雨滴时，并没有必要进行雨刮动作。当且仅当，由于下雨可能干扰驾驶员视线时，才需要进行雨刮动作。而此时，上面两种无法分类的场景就可以通过是否有雨滴来进行判断，若有，则刮动雨刮，若无，则不挂动雨刮。从而有效实现了汽车雨刮的控制，保证驾驶员的安全。
与现有技术相比，本发明实施例一种基于图像识别的智能雨量感知方法具有如下有益效果：
本发明实施例一种基于图像识别的智能雨量感知方法通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明实施例克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
请参阅图2，基于同本发明实施例一种基于图像识别的智能雨量感知方法相同的发明构思，本发明另一实施例提供一种基于图像识别的智能雨量感知装置，其包括车载摄像处理模块202，与车载摄像处理模块202连接的车辆雨刮控制电机204、与车辆雨刮控制电机204连接的雨刮206，其中，车载摄像处理模块202包括车载摄像模块、一个或多个处理器、存储器、一个或多个应用程序；
一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述一种基于图像识别的智能雨量感知方法。
值得注意的是，考虑两个实施例构思相同，因此，此处就不对车载摄像处理模块做过多的说明解释，其具体实现可以参照上述基于图像识别的智能雨量感知方法。
与现有技术相比，本发明实施例一种基于图像识别的智能雨量感知装置具有如下有益效果：
本发明实施例一种基于图像识别的智能雨量感知装置通过车载摄像处理模块202实现了在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。同时，本发明实施例克服了传统车载雨量电子传感器迟滞效应，在一定程度上保证了行车安全。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于图像识别的智能雨量感知方法，其特征在于，该基于图像识别的智能雨量感知方法包括如下步骤：
检测从车载摄像模块采集的视频信息中提取的单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框，所述雨量场景类别包括至少两个雨量类别；
按照预设时间序列获得N帧单帧图像的雨量类别，统计各个雨量类别的数量得到数量最多的雨量类别，并判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息；其中N为大于0的自然数；
判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴，若是，则生成稳定雨滴跟踪信息，其中M为不小于1的自然数；
基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。
2.如权利要求1所述的基于图像识别的智能雨量感知方法，其特征在于，所述雨滴边界框为包含雨滴的最小外接矩形边界框，所述检测单帧图像得到所述单帧图像的雨量场景类别并识别所述单帧图像中每一个雨滴的雨滴边界框包括如下步骤：
将所述单帧图像输入预置的卷积神经网络模型得到所述单帧图像的雨量场景类别，并识别所述单帧图像中每一个雨滴的最小外接矩形边界框。
3.如权利要求1所述的基于图像识别的智能雨量感知方法，其特征在于，所述雨量场景类别包括无雨、小雨、中雨、大雨四个雨量类别，所述无雨、小雨、中雨、大雨基于雨量大小自定义。
4.如权利要求3所述的基于图像识别的智能雨量感知方法，其特征在于，所述预设阈值为N/2；所述判断所述数量最多的雨量类别的数目是否大于预设阈值，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息包括如下步骤：
统计无雨、小雨、中雨、大雨四个雨量类别的数目，按照从大到小的排序所述无雨、小雨、中雨、大雨四个雨量类别；
确认所述无雨、小雨、中雨、大雨四个雨量类别中数目最多的雨量类别，并判断所述数目最多的雨量类别的数目是否大于N/2，若是，则基于所述数量最多的雨量类别生成雨量场景跟踪信息。
5.如权利要求4所述的基于图像识别的智能雨量感知方法，其特征在于，所述判断前后连续M帧单帧图像中雨滴边界框包含的雨滴是否为稳定雨滴包括如下步骤：
基于第一帧单帧图像检测到K个雨滴创建包括K个被跟踪雨滴目标的跟踪序列，记录所述K个雨滴的雨滴边界框位置，并设置所述K个雨滴的生命计数器为1，初始化为非稳定雨滴；其中所述K为自然数；
将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配，若存在被跟踪雨滴目标与对应检测目标的交并比大于第一预置阈值，则该被跟踪目标的生命计数器加1，并更新对应的雨滴边界框位置；
若所述被跟踪雨滴目标生命计数器数值大于第二预置阈值，则设置所述被跟踪雨滴目标为稳定雨滴，否则设置为非稳定雨滴。
6.如权利要求5所述的基于图像识别的智能雨量感知方法，其特征在于，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
若不存在任何被跟踪雨滴目标与对应检测目标匹配，则在跟踪序列中创建一个新的被跟踪雨滴目标。
7.如权利要求5所述的基于图像识别的智能雨量感知方法，其特征在于，所述将从当前单帧图像中检测出的雨滴边界框与K个被跟踪雨滴目标逐一进行目标匹配之后，还包括如下步骤：
若被跟踪雨滴目标没有检测到对应检测目标，则所述被跟踪雨滴目标的生命计数器减1，并设置该被跟踪雨滴目标为非稳定雨滴；
判断更新后的被跟踪雨滴目标的生命计数器是否小于1，若是，则在跟踪序列中删除该被跟踪雨滴目标。
8.如权利要求5所述的基于图像识别的智能雨量感知方法，其特征在于，所述生成稳定雨滴跟踪信息包括如下步骤：
对跟踪序列中的稳定雨滴的总面积和个数进行统计，基于所述稳定雨滴的总面积和个数生成稳定雨滴跟踪信息。
9.如权利要求8所述的基于图像识别的智能雨量感知方法，其特征在于，所述基于所述雨量场景跟踪信息和所述稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作包括如下步骤：
若所述雨量场景跟踪信息为大雨，则开启雨刮并调整雨刮速度至快档；
若所述雨量场景跟踪信息为中雨，则开启雨刮并调整雨刮速度至标准档；
若所述雨量场景跟踪信息为小雨且稳定雨滴跟踪信息中的稳定雨滴的总面积和个数满足预设条件，则开启雨刮并调整雨刮速度至慢档；
若所述雨量场景跟踪信息和所述稳定雨滴跟踪信息非以上三种情形之一，则关闭雨刮并将雨刮速度置零。
10.一种基于图像识别的智能雨量感知装置，其特征在于，所述基于图像识别的智能雨量感知装置包括车载摄像处理模块，与所述车载摄像处理模块连接的车辆雨刮控制电机、与所述车辆雨刮控制电机连接的雨刮，其中，所述车载摄像处理模块包括车载摄像模块、一个或多个处理器、存储器、一个或多个应用程序；
所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1～9任一项所述的基于图像识别的智能雨量感知方法。
CN201911099724.5A 2019-11-12 2019-11-12 一种基于图像识别的智能雨量感知方法及装置 Active CN110852274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911099724.5A CN110852274B (zh) 2019-11-12 2019-11-12 一种基于图像识别的智能雨量感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911099724.5A CN110852274B (zh) 2019-11-12 2019-11-12 一种基于图像识别的智能雨量感知方法及装置

Publications (2)

Publication Number Publication Date
CN110852274A CN110852274A (zh) 2020-02-28
CN110852274B true CN110852274B (zh) 2023-04-28

Family

ID=69600509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099724.5A Active CN110852274B (zh) 2019-11-12 2019-11-12 一种基于图像识别的智能雨量感知方法及装置

Country Status (1)

Country Link
CN (1) CN110852274B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111559344A (zh) * 2020-04-21 2020-08-21 汉腾汽车有限公司 一种基于图像识别的自动雨刮系统
CN112162337B (zh) * 2020-09-27 2022-05-27 航天新气象科技有限公司 一种基于全天空成像仪的降雨测量方法及系统
CN114620007B (zh) * 2020-12-10 2024-03-05 北京汽车股份有限公司 雨刮电机控制方法、装置及车辆
CN113362274B (zh) * 2021-02-19 2023-09-22 西北工业大学 一种雨量监测计算方法
CN113022496A (zh) * 2021-04-09 2021-06-25 一汽奔腾轿车有限公司 一种基于图像的智能雨刮系统及控制方法
CN113421437B (zh) * 2021-06-03 2023-03-21 上海大学 一种基于计算机视觉的雨天路况监测方法及系统
CN113673361A (zh) * 2021-07-28 2021-11-19 东风汽车集团股份有限公司 一种雨雾识别方法、清扫系统和计算机可读存储介质
CN113859175A (zh) * 2021-11-10 2021-12-31 北奔重型汽车集团有限公司 一种基于重卡adas系统的自动雨刮控制方法
CN114296152B (zh) * 2021-12-16 2023-09-15 中汽创智科技有限公司 一种雨量确定方法、装置、设备以及存储介质
CN115320625A (zh) * 2022-08-23 2022-11-11 一汽奔腾轿车有限公司 一种优化智能驾驶系统雨天场景的识别判定方法
CN117376677B (zh) * 2023-12-07 2024-04-16 深圳金三立视频科技股份有限公司 一种智能除水方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147278A (ja) * 1999-11-19 2001-05-29 Nippon Seiki Co Ltd 雨滴検出装置
CN103543638A (zh) * 2013-10-10 2014-01-29 山东神戎电子股份有限公司 一种自动雨刷控制方法
CN104318537A (zh) * 2014-09-30 2015-01-28 中国科学院深圳先进技术研究院 大雨场景视频数据中雨滴的检测和去除方法及系统
CN109143413A (zh) * 2018-09-11 2019-01-04 深圳市银河系科技有限公司 一种基于图像识别的雨量测量方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147278A (ja) * 1999-11-19 2001-05-29 Nippon Seiki Co Ltd 雨滴検出装置
CN103543638A (zh) * 2013-10-10 2014-01-29 山东神戎电子股份有限公司 一种自动雨刷控制方法
CN104318537A (zh) * 2014-09-30 2015-01-28 中国科学院深圳先进技术研究院 大雨场景视频数据中雨滴的检测和去除方法及系统
CN109143413A (zh) * 2018-09-11 2019-01-04 深圳市银河系科技有限公司 一种基于图像识别的雨量测量方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
艾凯文 ; 胡桂明 ; 李维维 ; .一种融合雨滴检测算法的混合高斯模型.装备制造技术.2012,(05),全文. *

Also Published As

Publication number Publication date
CN110852274A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110852274B (zh) 一种基于图像识别的智能雨量感知方法及装置
Nienaber et al. Detecting potholes using simple image processing techniques and real-world footage
US7724962B2 (en) Context adaptive approach in vehicle detection under various visibility conditions
US8457360B2 (en) Detection of vehicles in an image
JP7272226B2 (ja) 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
TWI607901B (zh) 影像修補系統及其方法
US9224052B2 (en) Method for in-image periodic noise pixel inpainting
CN112758046B (zh) 一种基于智能识别的挡风玻璃清晰度控制方法与系统
Cord et al. Detecting unfocused raindrops: In-vehicle multipurpose cameras
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
JP2014013454A (ja) 車載用環境認識装置
CN112446246B (zh) 一种图像遮挡检测方法及车载终端
US20190318490A1 (en) Distance estimation of vehicle headlights
TWI826723B (zh) 用於產生物件之物件分類的方法和裝置
CN111046741A (zh) 车道线识别的方法和装置
Cheng et al. Sparse coding of weather and illuminations for ADAS and autonomous driving
CN113936257A (zh) 车辆违章行为的检测方法及检测装置、车载电子设备
CN110774975B (zh) 一种基于图像识别的智能灯光控制方法及装置
Brophy et al. A review of the impact of rain on camera-based perception in automated driving systems
Acunzo et al. Context-adaptive approach for vehicle detection under varying lighting conditions
Lai et al. Video-based windshield rain detection and wiper control using holistic-view deep learning
CN113859175A (zh) 一种基于重卡adas系统的自动雨刮控制方法
CN113581059A (zh) 灯光调节方法及相关装置
JPH10261064A (ja) 雨滴検出装置における付着物識別方法
CN115871544A (zh) 基于adas摄像头的车辆控制方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant