CN112380930B - 一种雨天识别方法和系统 - Google Patents

一种雨天识别方法和系统 Download PDF

Info

Publication number
CN112380930B
CN112380930B CN202011195377.9A CN202011195377A CN112380930B CN 112380930 B CN112380930 B CN 112380930B CN 202011195377 A CN202011195377 A CN 202011195377A CN 112380930 B CN112380930 B CN 112380930B
Authority
CN
China
Prior art keywords
rainy
pictures
vehicle tail
rainy day
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011195377.9A
Other languages
English (en)
Other versions
CN112380930A (zh
Inventor
丁连涛
王弘玥
郑永宏
于晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yuce Technology Co ltd
Original Assignee
Zhejiang Yuce Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yuce Technology Co ltd filed Critical Zhejiang Yuce Technology Co ltd
Priority to CN202011195377.9A priority Critical patent/CN112380930B/zh
Publication of CN112380930A publication Critical patent/CN112380930A/zh
Application granted granted Critical
Publication of CN112380930B publication Critical patent/CN112380930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种雨天识别方法、系统、计算机设备和计算机可读存储介质，其中，所述雨天识别方法包括：获取道路监控实时视频；从所述道路监控实时视频中提取多张车辆尾部图片；基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。通过本申请，解决了雨天识别结果准确率低的问题。

Description

一种雨天识别方法和系统
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种雨天识别方法、系统、计算机设备和计算机可读存储介质。
背景技术
伴随经济与科技的快速发展，汽车在人们生活中越来越普及，为人们日常出行带来了极大的便利。特别是高速公路的投入建设，极大的提升了通行运输的效率。雨天会导致道路能见度低、路面湿滑，影响通行效率，容易引发交通事故。虽然气候传感器已经在多处高速公路使用，但是现实状况是部分气候传感器因为硬件、寿命等原因失效，并且部署的气候传感器有限，无法解决气候传感器盲点区域的局部阵雨识别报警问题。随着道路监控摄像头的逐步升级，高清摄像头已经在多条高速公路上实现了全覆盖，使用视频监控对雨天进行识别报警成为一种可行有效的方式。
在现有技术中，主要依据夜间下雨时路面亮度减小，或者夜间下雨时路面会产生反光等图像特征来检测高速公路上是否下雨。例如在白天通过标记雨天检测区域后，提取检测区域中的图像亮度、梯度方差信息作为特征；计算特征协方差矩阵，初始化和更新天气阈值，根据阈值判断是否为雨天。或者在夜间提取灯光反光的像素点；对提取的灯光反光像素点的RGB像素值做聚类识别是否是雨天。但是，一方面，路面亮度减小和路面反光这种图像特征在未下雨时也有很大概率会出现，所以这种图像特征并不可靠。另一方面，提取检测区域的亮度和梯度特征识别雨天，特征可分性较低。所以，上述两方面原因导致现有的雨天识别方法识别结果准确率比较低。
目前针对相关技术中雨天识别结果准确率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种雨天识别方法、计算机设备和计算机可读存储介质，以至少解决相关技术中雨天识别结果准确率低的问题。
第一方面，本申请实施例提供了一种雨天识别方法，包括：
获取道路监控实时视频；
从所述道路监控实时视频中提取多张车辆尾部图片；
基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
在其中一些实施例中，所述从所述道路监控实时视频中提取多张车辆尾部图片，包括：
按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片；
从所述多张抽帧图片中扣取出所述多张车辆尾部图片。
在其中一些实施例中，还包括以下步骤：
获取雨天道路监控视频和非雨天道路监控视频，制作训练数据；
利用所述训练数据对深度神经网络进行训练，得到所述训练完备的识别模型。
在其中一些实施例中，所述获取雨天道路监控视频和非雨天道路监控视频，制作训练数据，包括：
采集不同位置且不同时间段的多个道路监控视频段，其中，所述多个道路监控视频段中包括雨天视频段和非雨天视频段，对所述雨天视频段和进行标注，获得已标注的雨天视频段；
按照预设频率，从所述非雨天视频段和所述已标注的雨天视频段中抽取图片，得到雨天车辆尾部图片和非雨天车辆尾部图片，将所述雨天车辆尾部图片和所述非雨天车辆尾部图片作为所述训练数据。
在其中一些实施例中，从所述多张抽帧图片中扣取出所述多张车辆尾部图片，包括：
在所述多张抽帧图片中检测第一车辆尾部图片的位置和大小，并选取第一车辆尾部图片的大小满足第一预设阈值的第一车辆尾部图片的检测框进行外扩，扣取得到所述多张车辆尾部图片。
在其中一些实施例中，所述基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，包括：
将所述多张车辆尾部图片输入至所述训练完备的识别模型中，基于所述水雾特征，获得所述多张车辆尾部图片的雨天检测值；
对所述多张车辆尾部图片的雨天检测值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值；
在所述道路监控实时视频的雨天检测值大于第二预设阈值时，输出所述雨天识别结果为雨天；
在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天；
其中，所述第二预设阈值大于所述第三预设阈值。
在其中一些实施例中，所述对所述多张车辆尾部图片的雨天检测值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值，包括：
对所述多张车辆尾部图片的雨天检测值取平均值，得到所述多张抽帧图片的雨天检测均值；
对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值。
在其中一些实施例中，该方法还包括：
当所述雨天识别结果为雨天时，进行报警。
第二方面，本申请实施例提供了一种雨天识别系统，包括视频获取模块、图片提取模块以及特征识别模块；
所述视频获取模块，用于获取道路监控实时视频；
所述图片提取模块，用于从所述道路监控实时视频中提取多张车辆尾部图片；
所述特征识别模块，用于基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的雨天识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的雨天识别方法。
相比于相关技术，本申请实施例提供的雨天识别方法、系统、计算机设备和计算机存储介质，通过获取道路实时监控视频后，从所述道路监控实时视频中提取多多张车辆尾部图片，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，解决中雨天识别方法识别结果准确率低的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种雨天识别方法的流程图；
图2是本申请实施例提供的雨天的一车辆尾部图片；
图3是本申请实施例提供的非雨天的一车辆尾部图片；
图4是根据本申请实施例的一种雨天识别系统的结构图；
图5是根据本发明实施例中一种雨天识别方法的计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所提供的一种雨天识别方法、系统、计算机设备和计算机可读存储介质，可根据高速公路上的实时监控视频识别出高速公路上是否在下雨，若识别结果为雨天，还可以进行告警，提示人员在雨天安全驾驶。此外，本申请提供的一种雨天识别方法、系统、计算机设备和计算机可读存储介质，除了适用于高速公路外，还适用于其他安装有道路监控视频的可供车辆通行的户外场所，例如室外停车场道路、园区道路、普通公路等，只要车辆处于行驶状态时，均可根据车辆尾部的水雾特征，进行雨天识别。
此处需要说明的是，在城市道路中，如果道路发生拥堵或车辆遇到红灯等情况停驶时，车辆尾部是没有水雾特征的，这种情况采用本申请提供的方法进行雨天识别时，需要先对车辆的运动状态进行判断，过滤掉停驶车辆。
本实施例提供了一种雨天识别方法，用于根据道路监控实时视频识别雨天，图1是根据本申请实施例的一种雨天识别方法的流程图，如图1所示，该方法包括：
步骤S101，获取道路监控实时视频。
随着道路监控摄像头的逐步升级，高清摄像头已经在多条高速公路上实现了全覆盖，这里获取的道路实时视频则可以是高速公路上的道路实时监控视频，也可以是其他可供车辆通行的户外场所，例如室外停车场、园区道路、普通公路等上安装的道路实时监控视频。
步骤S102，从所述道路监控实时视频中提取多张车辆尾部图片。
从道路监控实时视频中提取处于行驶状态下的车辆的多张车辆尾部图片，这里的多张车辆尾图片是指符合预设图像识别标准的包括车辆尾部的图片。
步骤S103，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
参见图2和图3，图2是雨天的车辆尾部图片，图3是未下雨的车辆尾部图片。对比图2和图3可见，车辆在雨天行驶过程中，特别是在雨天且高速行驶过程中，车尾有明显的水雾产生。因此，水雾特征具有高可分性，基于水雾特征识别车辆尾部图片，能够得到准确的雨天识别结果。
需要补充说明的是，对于短时间的小雨，路面积水量较少，从而不会使得车尾溅起水雾，所以本申请中的雨天范围不包括这种情况。短时间的小雨天气，本质上也不会导致路面能见度低等状况，不会影响车辆的正常通行。
通过上述步骤S101至步骤S103，通过获取道路实时监控视频后，从所述道路监控实时视频中提取多张车辆尾部图片，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，可以更加准确的识别雨天。
在其中一些可选实施例中，上述步骤S102可以通过以下步骤实现，包括：
步骤S1021，按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片。该预设频率指的是按照一定时间内从道路实时监控视频中抽取一定数量的抽帧图片。例如，每秒钟从该道路实时监控视频中抽取一帧图片。
步骤S1022，从所述多张抽帧图片中扣取出所述多张车辆尾部图片。
需要说明的是，步骤S1022中从多张抽帧图片中扣取出所述多张车辆尾部图片可以采用现有的目标检测算法中的SSD(Single Shot MultiBox Detector)实现，本领域技术人员应该知晓，故在此不再冗述。此外，道路实时监控视频中包含的车辆信息是随机的，一张抽帧图片中可能包含有多个车尾尾部，也可能没有车辆尾部，所以需要从多张抽帧图片中扣取出多张车辆尾部图片。
在其中一些可选实施例中，所述雨天识别方法，还包括：
获取雨天道路监控视频和非雨天道路监控视频，制作训练数据。可以获取相等数量的雨天监控视频和非雨天道路监控视频，制作训练数据，然后利用所述训练数据对深度神经网络进行训练，得到所述训练完备的识别模型。该识别模型可以采用简化的ResNet 18网络结构，损失函数使用交叉熵损失函数。对该ResNet 18网络结构的简化操作即将残差模块通道数减少为标准版本的二分一。将制作的训练数据做随机的水平翻转扰动、亮度扰动和对比度扰动，将所述训练数据中的图片大小缩放为128*128像素大小后，输入到ResNet18网络结构中。
上述水平翻转扰动、亮度扰动和对比度扰动是图像算法常用的扰动方法，上述的扰动方法用于样本增广，提高训练结果的鲁棒性和泛化能力。该泛化能力指的是模型识别没有见过的样本，也能有较好的预测结果的能力。
进一步地，所述获取雨天道路监控视频和非雨天道路监控视频，制作训练数据，包括：
采集不同位置且不同时间段的多个道路监控视频段，其中，所述多个道路监控视频段中包括雨天视频段和非雨天视频段，对所述雨天视频段进行标注，获得已标注的雨天视频段。对所述雨天视频段进行标注即标注视频中雨天的开始时间与结束时间，其中，上述雨天视频段中并非一直是雨天状态。例如，可以采集500段不同位置且不同时间段的高速公路监控视频，每段监控视频录制时长1小时，其中250段是雨天视频段，250段是非雨天视频段，再对雨天视频段进行标注。
按照预设频率，从所述非雨天视频段和所述已标注的雨天视频段中抽取图片，得到雨天车辆尾部图片和非雨天车辆尾部图片，将所述雨天车辆尾部图片和所述非雨天车辆尾部图片作为所述训练数据。上述预设频率指的是在一定时间内抽取一定数量的图片，例如，每隔1s抽取一帧图片。所述已标注的雨天视频段中所扣取的图片包括雨天车辆尾部图片和非雨天车辆尾部图片，是因为雨天视频段中并非一直在下雨。扣取出车辆尾部图片后，结合标注时间，可以得到雨天车辆尾部图片。对雨天车辆尾部图片和非雨天车辆尾部图片进行采样，使得雨天车辆尾部图片和非雨天车辆尾部图片样本比例均匀。最终，选用比例均匀的雨天车辆尾部图片和非雨天车辆尾部图片构成所述训练数据。
在其中一些可选实施例中，上述步骤S1022，还可以通过以下方式实现：
在所述多张抽帧图片中检测第一车辆尾部图片的位置和大小，并选取第一车辆尾部图片的大小满足第一预设阈值的第一车辆尾部图片的检测框进行外扩，扣取得到所述多张车辆尾部图片。
具体地，所述第一车辆尾部图片的位置和大小指的是，该第一车辆尾部图片位于抽帧图片中的位置，该第一辆车辆尾部图片的大小指的是该第一车辆尾部图片的像素大小。上述第一阈值可以是64*64的像素，选取出像素大小不小于64*64的第一车辆尾部图片，再将检测框外扩，获得车辆尾部照片。
在其中一些可选实施例中，上述步骤S103，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，可以通过以下步骤实现：
步骤S1031，将所述多张车辆尾部图片输入至所述训练完备的识别模型中，基于所述水雾特征，获得所述多张车辆尾部图片的雨天检测值。将多张车辆尾部图片输入至识别模型中，识别完成后，每张车辆尾部图片都会得到自己的雨天检测值。
步骤S1032，对所述多张车辆尾部图片的雨天检测值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值。由于每张抽帧图片中可能含有多张车辆尾部图片，所以先在时间点上融合，根据一张抽帧图片中含有的车辆尾部图片的雨天检测值计算抽帧图片的雨天检测值。然后在时间段的时间维度上融合，通过多张抽帧图片的雨天检测值和一些经验参数，得出所述道路监控实时视频的雨天检测值。
步骤S1033，在所述道路监控实时视频的雨天检测值大于第二预设阈值时，输出所述雨天识别结果为雨天。上述第二预设阈值是经验参数。
步骤S1034，在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天。其中，所述第二预设阈值大于所述第三预设阈值。上述第三预设阈值是经验参数。
此外，当上述道路健康实时视频的雨天检测值处于第二预设阈值和第三预设阈值之间时，保持雨天识别结果为前一次的识别结果不变。
在其中一些可选实施例中，上述步骤S1034，在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天，可以通过以下步骤实现：
步骤S10341，对所述多张车辆尾部图片的雨天检测值取平均值，得到所述多张抽帧图片的雨天检测均值。一张抽帧图片中可能包含多张车辆尾部图片，计算出上述多张车辆尾部图片的雨天检测值的平均值，该平均值就是该抽帧图片的雨天检测值。
步骤S10342，对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值。采用以下公式将多张抽帧图片的雨天检测均值在时间维度上进行融合：
qi＝α×qi-1+(1-α)×si
其中，i表示时间；Si表示i时刻的抽帧图片的雨天检测值；qi表示i时刻道路监控实时视频的雨天检测值；α表示道路健康实时视频的雨天检测值的衰减系数，是一个经验参数。上述道路监控实时视频的雨天检测值的初始值为0。的雨天检测值此外，此时若抽帧图片中未检测到车辆尾部图片，此抽帧图片无雨天检测值。
基于同一发明构思，本申请还提供了一种雨天识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供了一种在雨天识别系统，用于根据道路监控实时视频识别雨天，图4是根据本申请实施例的一种雨天识别系统的结构图，如图4所示，该系统包括：视频获取模块41、图片提取模块42以及特征识别模块43。
所述视频获取模块41，用于获取道路监控实时视频。
所述图片提取模块42，用于从所述道路监控实时视频中提取多张车辆尾部图片。
所述特征识别模块43，用于基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
在一个实施例中，提供了一种计算机设备，图5是根据本发明实施例中一种雨天识别方法的计算机设备的结构示意图，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片和雨天检测值。该计算机设备的网络接口用于与外部的终端通过网络连接通信。所述处理器执行所述计算机程序时实现一种雨天识别方法，包括以下步骤：
S1，获取道路监控实时视频。
S2，从所述道路监控实时视频中提取多张车辆尾部图片。
S3，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
作为一种可实施方式，上述步骤S2可以通过以下步骤实现：
S21，按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片。
S22，从所述多张抽帧图片中扣取出所述多张车辆尾部图片。
作为一种可实施方式，上述方法还包括：
获取雨天道路监控视频和非雨天道路监控视频，制作训练数据。
利用所述训练数据对深度神经网络进行训练，得到所述训练完备的识别模型。
作为一种可实施方式，上述步骤，获取雨天道路监控视频和非雨天道路监控视频，制作训练数据，可以通过以下步骤实现：
采集不同位置且不同时间段的多个道路监控视频段，其中，所述多个道路监控视频段中包括雨天视频段和非雨天视频段，对所述雨天视频段和进行标注，获得已标注的雨天视频段；
按照预设频率，从所述非雨天视频段和所述已标注的雨天视频段中抽取图片，得到雨天车辆尾部图片和非雨天车辆尾部图片，将所述雨天车辆尾部图片和所述非雨天车辆尾部图片作为所述训练数据。
作为一种可实施方式，上述步骤S22可以通过以下步骤实现：
在所述多张抽帧图片中检测第一车辆尾部图片的位置和大小，并选取第一车辆尾部图片的大小满足第一预设阈值的第一车辆尾部图片的检测框进行外扩，扣取得到所述多张车辆尾部图片。
作为一种可实施方式，上述步骤S3可以通过以下方式实现：
S31，将所述多张车辆尾部图片输入至所述训练完备的识别模型中，基于所述水雾特征，获得所述多张车辆尾部图片的雨天检测值；
S32，对所述多张车辆尾部图片的雨天检测值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值；
S33，在所述道路监控实时视频的雨天检测值大于第二预设阈值时，输出所述雨天识别结果为雨天；
S34，在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天；
其中，所述第二预设阈值大于所述第三预设阈值。
作为一种可实施方式，上述步骤S32可以通过以下步骤实现：
S321，对所述多张车辆尾部图片的雨天检测值取平均值，得到所述多张抽帧图片的雨天检测均值；
S322，对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值。
作为一种可实施方式，所述一种雨天识别方法还包括：
当所述雨天识别结果为雨天时，进行报警。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种雨天识别方法，包括以下步骤：
S1，获取道路监控实时视频。
S2，从所述道路监控实时视频中提取多张车辆尾部图片。
S3，基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果。
作为一种可实施方式，上述步骤S2可以通过以下步骤实现：
S21，按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片。
S22，从所述多张抽帧图片中扣取出所述多张车辆尾部图片。
作为一种可实施方式，上述方法还包括：
获取雨天道路监控视频和非雨天道路监控视频，制作训练数据。
利用所述训练数据对深度神经网络进行训练，得到所述训练完备的识别模型。
作为一种可实施方式，上述步骤，获取雨天道路监控视频和非雨天道路监控视频，制作训练数据，可以通过以下步骤实现：
采集不同位置且不同时间段的多个道路监控视频段，其中，所述多个道路监控视频段中包括雨天视频段和非雨天视频段，对所述雨天视频段和进行标注，获得已标注的雨天视频段；
按照预设频率，从所述非雨天视频段和所述已标注的雨天视频段中抽取图片，得到雨天车辆尾部图片和非雨天车辆尾部图片，将所述雨天车辆尾部图片和所述非雨天车辆尾部图片作为所述训练数据。
作为一种可实施方式，上述步骤S22可以通过以下步骤实现：
在所述多张抽帧图片中检测第一车辆尾部图片的位置和大小，并选取第一车辆尾部图片的大小满足第一预设阈值的第一车辆尾部图片的检测框进行外扩，扣取得到所述多张车辆尾部图片。
作为一种可实施方式，上述步骤S3可以通过以下方式实现：
S31，将所述多张车辆尾部图片输入至所述训练完备的识别模型中，基于所述水雾特征，获得所述多张车辆尾部图片的雨天检测值；
S32，对所述多张车辆尾部图片的雨天检测值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值；
S33，在所述道路监控实时视频的雨天检测值大于第二预设阈值时，输出所述雨天识别结果为雨天；
S34，在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天；
其中，所述第二预设阈值大于所述第三预设阈值。
作为一种可实施方式，上述步骤S32可以通过以下步骤实现：
S321，对所述多张车辆尾部图片的雨天检测值取平均值，得到所述多张抽帧图片的雨天检测均值；
S322，对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值。
作为一种可实施方式，所述一种雨天识别方法还包括：
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种雨天识别方法，其特征在于，包括：
获取道路监控实时视频；
从所述道路监控实时视频中提取多张车辆尾部图片，包括：
按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片；
从所述多张抽帧图片中扣取出所述多张车辆尾部图片；
基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，包括：
基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，获得所述多张车辆尾部图片的雨天检测值；
对所述多张车辆尾部图片的雨天检测值取平均值，得到多张抽帧图片的雨天检测均值；其中，一张抽帧图片中包含多张车辆尾部图片，计算出所述一张抽帧图片中的上述多张车辆尾部图片的雨天检测值的平均值，所述平均值就是所述一张抽帧图片的雨天检测均值；
对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值，并根据所述道路监控实时视频的雨天检测值输出所述雨天识别结果。
2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
获取雨天道路监控视频和非雨天道路监控视频，制作训练数据；
利用所述训练数据对深度神经网络进行训练，得到所述训练完备的识别模型。
3.根据权利要求2所述的方法，其特征在于，所述获取雨天道路监控视频和非雨天道路监控视频，制作训练数据，包括：
采集不同位置且不同时间段的多个道路监控视频段，其中，所述多个道路监控视频段中包括雨天视频段和非雨天视频段，对所述雨天视频段进行标注，获得已标注的雨天视频段；
按照预设频率，从所述非雨天视频段和所述已标注的雨天视频段中抽取图片，得到雨天车辆尾部图片和非雨天车辆尾部图片，将所述雨天车辆尾部图片和所述非雨天车辆尾部图片作为所述训练数据。
4.根据权利要求1所述的方法，其特征在于，从所述多张抽帧图片中扣取出所述多张车辆尾部图片，包括：
在所述多张抽帧图片中检测第一车辆尾部图片的位置和大小，并选取第一车辆尾部图片的大小满足第一预设阈值的第一车辆尾部图片的检测框进行外扩，扣取得到所述多张车辆尾部图片。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，包括：
将所述多张车辆尾部图片输入至所述训练完备的识别模型中，基于所述水雾特征，获得所述多张车辆尾部图片的雨天检测值；
对所述多张车辆尾部图片的雨天检测值取平均值，得到多张抽帧图片的雨天检测均值，对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值；
在所述道路监控实时视频的雨天检测值大于第二预设阈值时，输出所述雨天识别结果为雨天；
在所述道路监控实时视频的雨天检测值小于第三预设阈值时，输出所述雨天识别结果为非雨天；
其中，所述第二预设阈值大于所述第三预设阈值。
6.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
当所述雨天识别结果为雨天时，进行报警。
7.一种雨天识别系统，其特征在于，包括视频获取模块、图片提取模块以及特征识别模块；
所述视频获取模块，用于获取道路监控实时视频；
所述图片提取模块，用于从所述道路监控实时视频中提取多张车辆尾部图片，包括：
按照预设频率从所述道路监控实时视频中抽取图片，得到多张抽帧图片；
从所述多张抽帧图片中扣取出所述多张车辆尾部图片；
所述特征识别模块，用于基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，得到雨天识别结果，包括：
基于所述多张车辆尾部图片中的水雾特征，利用训练完备的识别模型，获得所述多张车辆尾部图片的雨天检测值；
对所述多张车辆尾部图片的雨天检测值取平均值，得到多张抽帧图片的雨天检测均值；其中，一张抽帧图片中包含多张车辆尾部图片，计算出所述一张抽帧图片中的上述多张车辆尾部图片的雨天检测值的平均值，所述平均值就是所述一张抽帧图片的雨天检测均值；
对所述多张抽帧图片的雨天检测均值在时间维度上进行融合，得到所述道路监控实时视频的雨天检测值，并根据所述道路监控实时视频的雨天检测值输出所述雨天识别结果。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的一种雨天识别方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的一种雨天识别方法。
CN202011195377.9A 2020-10-30 2020-10-30 一种雨天识别方法和系统 Active CN112380930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011195377.9A CN112380930B (zh) 2020-10-30 2020-10-30 一种雨天识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011195377.9A CN112380930B (zh) 2020-10-30 2020-10-30 一种雨天识别方法和系统

Publications (2)

Publication Number Publication Date
CN112380930A CN112380930A (zh) 2021-02-19
CN112380930B true CN112380930B (zh) 2022-04-29

Family

ID=74577132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011195377.9A Active CN112380930B (zh) 2020-10-30 2020-10-30 一种雨天识别方法和系统

Country Status (1)

Country Link
CN (1) CN112380930B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379065A1 (en) * 2013-11-15 2016-12-29 Continental Teves Ag & Co. Ohg Method and Device for Determining a Roadway State by Means of a Vehicle Camera System
CN107093180A (zh) * 2015-12-03 2017-08-25 通用汽车环球科技运作有限责任公司 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测
CN107292386A (zh) * 2016-04-11 2017-10-24 福特全球技术公司 使用深度学习的基于视觉的雨水检测
US20180060676A1 (en) * 2015-05-06 2018-03-01 Continental Teves Ag & Co. Ohg Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003995A (ja) * 2004-06-15 2006-01-05 Calsonic Kansei Corp 先行車両水しぶき認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379065A1 (en) * 2013-11-15 2016-12-29 Continental Teves Ag & Co. Ohg Method and Device for Determining a Roadway State by Means of a Vehicle Camera System
US20180060676A1 (en) * 2015-05-06 2018-03-01 Continental Teves Ag & Co. Ohg Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings
CN107093180A (zh) * 2015-12-03 2017-08-25 通用汽车环球科技运作有限责任公司 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测
CN107292386A (zh) * 2016-04-11 2017-10-24 福特全球技术公司 使用深度学习的基于视觉的雨水检测

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SWNet: A Deep Learning Based Approach for Splashed Water Detection on Road;Jian-Jun Qiao et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS(Early Access)》;20201029;第1-14页 *

Also Published As

Publication number Publication date
CN112380930A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN105405298B (zh) 一种车牌标识的识别方法和装置
WO2018153211A1 (zh) 获取交通路况信息的方法及装置、计算机存储介质
KR102043089B1 (ko) 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
EP1930863A2 (en) Detecting and recognizing traffic signs
CN110852177B (zh) 基于单目相机的障碍物检测方法及系统
US20210374441A1 (en) Method and Device for Supporting an Advanced Driver Assistance System in a Motor Vehicle
CN113011255B (zh) 基于rgb图像的路面检测方法、系统和智能终端
CN114299457A (zh) 积水深度检测方法及装置
US20150117705A1 (en) Hybrid Parking Detection
CN113723273A (zh) 一种车辆轨迹信息确定方法、装置及计算机设备
CN110276318A (zh) 夜间公路下雨识别方法、装置、计算机设备及存储介质
CN204856897U (zh) 一种机动车即停即离区域的违章检测装置
CN110782653A (zh) 一种道路信息采集方法和系统
CN114511821A (zh) 一种上下车人数统计方法、系统、计算机设备和存储介质
CN112380930B (zh) 一种雨天识别方法和系统
CN117953470A (zh) 全景拼接相机的高速公路事件识别方法及装置
CN114092885A (zh) 基于视频分析的高速服务区车辆防护方法及系统
CN117576674A (zh) 车牌识别方法、装置、设备及介质
CN114419906B (zh) 一种基于大数据的智能交通实现方法、设备、存储介质
CN113537238B (zh) 一种信息处理方法及图像识别装置
CN117893978A (zh) 环境感知方法、装置、存储介质及车辆
CN105740841B (zh) 一种车辆检测模式的确定方法和装置
CN114519381A (zh) 基于多任务学习网络的感知方法及装置、存储介质、终端
CN113743233A (zh) 基于YOLOv5和MobileNetV2的车辆型号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant