CN116580296A - 一种道路积水区域的检测方法、装置、设备及存储介质 - Google Patents

一种道路积水区域的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116580296A
CN116580296A CN202310365508.0A CN202310365508A CN116580296A CN 116580296 A CN116580296 A CN 116580296A CN 202310365508 A CN202310365508 A CN 202310365508A CN 116580296 A CN116580296 A CN 116580296A
Authority
CN
China
Prior art keywords
ponding
detection
detection model
road environment
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310365508.0A
Other languages
English (en)
Inventor
闫文睿
宫宁
金戈
朱敬聪
关磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Safety Science and Technology CASST
Original Assignee
China Academy of Safety Science and Technology CASST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Safety Science and Technology CASST filed Critical China Academy of Safety Science and Technology CASST
Priority to CN202310365508.0A priority Critical patent/CN116580296A/zh
Publication of CN116580296A publication Critical patent/CN116580296A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种道路积水区域的检测方法、装置、设备及存储介质。该方法应用于边缘设备，包括：获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；构建基于YOLOv7‑tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；其中，所述积水检测模型使用Mobileone模块替换YOLOv7‑tiny网络的骨干网络中的第一个特征提取结构ELAN‑lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。本发明实施例的技术方案，可以提升积水检测模型的检测准确率和模型部署能力。

Description

一种道路积水区域的检测方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种道路积水区域的检测方法、装置、设备及存储介质。
背景技术
由于城市化进程加快，我国很多城市的地面透水率大大降低，并且由于排水管道容易堵塞，导致排水系统有滞后性，因此如果碰上短时间强降雨很容易导致积水，严重时危害人民生命财产安全。
目前，在我国城市实际应用的道路积水检测模型较少，并且受环境变化影响较大，一般存在模型检测精度不高和模型部署范围受限等缺陷。
发明内容
本发明提供了一种道路积水区域的检测方法、装置、设备及存储介质，以提升积水检测模型的检测准确率和模型部署能力。
根据本发明的一方面，提供了一种道路积水区域的检测方法，应用于边缘设备，包括：
获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；
构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS(Distance-IoU_Non-Maximum Suppression，基于距离和交并比的非极大抑制)检测框筛选算法；
使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
可选的，所述Mobileone模块分为深度卷积部分和点卷积部分；
在使用所述训练集对所述积水检测模型进行训练的过程中，
所述深度卷积部分包括三条分支，上层分支是一个包含BN层的跳跃连接，中间层分支是1×1卷积结合BN层，下层分支是过参数化的3×3卷积结合BN层；
所述点卷积部分包括两条分支，上层分支是一个包含BN层的跳跃连接，下层分支是过参数化的1×1卷积结合BN层。
可选的，在使用所述训练集对所述积水检测模型进行训练之后，还包括：
将所述Mobileone模块中所有分支的BN层的参数合并到卷积层，并将超参数相同的多个过参数化的卷积合并为一个卷积。
可选的，所述Mobileone模块中采用HardSwish激活函数；
所述HardSwish激活函数是基于分段线性函数HardSigmoid生成的。
可选的，所述Mobileone模块中采用meta-ACON-C激活函数；
所述meta-ACON-C激活函数能够自适应选择是否激活神经元。
可选的，所述使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，包括：
将所述测试集中的道路环境图片输入训练好的积水检测模型中；
通过所述积水检测模型，使用DIoU_NMS检测框筛选算法，对所述道路环境图片中的各个检测框的置信度进行调整，并筛选出置信度不为零的检测框作为积水区域的检测框；
在所述道路环境图片中标记出各个积水区域的检测框以及检测框的置信度，作为积水区域识别结果。
可选的，所述边缘设备包括视频监控设备。
根据本发明的另一方面，提供了一种道路积水区域的检测装置，应用于边缘设备，包括：
数据获取模块，用于执行获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；
模型构建训练模块，用于执行构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；
积水检测模块，用于执行使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的道路积水区域的检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的道路积水区域的检测方法。
本发明实施例的技术方案，应用于边缘设备，通过获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，解决了现有的道路积水检测模型的检测精度不高和模型部署范围受限的问题，提升了积水检测模型的检测准确率和模型部署能力。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种道路积水区域的检测方法的流程图；
图2是本发明实施例所适用的一种道路环境图片；
图3是根据本发明实施例所适用的一种YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite的结构示意图；
图4是根据本发明实施例所适用的一种Mobileone模块的结构示意图；
图5是根据本发明实施例所适用的一种过参数化的流程图；
图6是根据本发明实施例所适用的一种过参数化简化的示意图；
图7是根据本发明实施例所适应的一种DIoU_NMS的原理图；
图8是根据本发明实施例所适应的一种标记积水区域识别结果的道路环境图片；
图9是根据本发明实施例二提供的一种道路积水区域的检测装置的结构示意图；
图10是实现本发明实施例的道路积水区域的检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种道路积水区域的检测方法的流程图，本实施例可适用于利用边缘设备中部署的积水检测模型，分布式地检测道路中的积水区域的情况，该方法可以由道路积水区域的检测装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中，例如边缘设备中。如图1所示，该方法包括：
S110、获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集。
本实施例中，包含有积水区域的道路环境图片可以是从网络上下载的，也可以是道路监控设备拍摄到的。包含有积水区域的道路环境图片可以如图2所示。为了能使用获取的包含积水区域的道路环境图片训练出灵敏度高、检测准确率高且模型体量小的积水检测模型，可以在获取包含积水区域的道路环境图片后，将这些道路环境图片划分为训练集和测试集。
在一个可选实施方式中，所述边缘设备包括视频监控设备。当然，边缘设备也可以是图像监控设备，或者其他类型的道路监控设备。通过在边缘设备中部署上述检测精度高且体量小的积水检测模型，使得边缘设备既可以采集监控范围内的道路环境图片，又能使用部署的积水检测模型对采集的道路环境图片进行积水区域的检测识别。
S120、构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练。
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法。
本实施例中，为了使得最终得到的积水检测模型能够在提高检测精度的同时，具有较小的模型体量，更容易部署在边缘设备上，在YOLOv7-tiny网络的基础上，将图3所示的骨干网络中的第一个特征提取结构ELAN-lite，替换为如图4所示的Mobileone模块，以减轻网络体量，并且，利用DIoU_NMS检测框筛选算法来代替原YOLOv7-tiny网络中头部网络使用的传统检测框筛选算法，以降低漏检率，提高目标检测的准确率。
其中，YOLOv7-tiny网络模型主要分为三个部分，分别为输入网络、骨干网络、头部网络。其中，输入网络用于数据接收，骨干网络主要用于特征提取，头部网络主要用于网络预测。骨干网络包括激活函数、卷积模块、上采样模块和Concat连接模块等。
本实施例中，在模型训练过程中，网络在经过两层卷积核大小3*3，步长为2的卷积后，进入如图4所示的Mobileone模块中。Mobileone模块利用过参数化以及深度可分离卷积，能够在保持相同推理结构的基础上，增加在训练时模型的复杂度。同时在模型训练结束后，Mobileone模块能够利用重参数化有效提高轻量级网络的性能，降低模型权重文件大小，更容易部署。
可选的，所述Mobileone模块分为深度卷积部分和点卷积部分；在使用所述训练集对所述积水检测模型进行训练的过程中，所述深度卷积部分包括三条分支，上层分支是一个包含BN层的跳跃连接，中间层分支是1×1卷积结合BN层，下层分支是过参数化的3×3卷积结合BN层；所述点卷积部分包括两条分支，上层分支是一个包含BN层的跳跃连接，下层分支是过参数化的1×1卷积结合BN层。
本实施例中，如图5所示，过参数化指的是使用了多个相同的并行分支，然后将所有分支的输出相加后再进入激活函数的过程。其中，BN层在卷积层之后，将数据归一化，能够有效解决梯度消失与梯度爆炸问题。
可选的，在使用所述训练集对所述积水检测模型进行训练之后，还包括：将所述Mobileone模块中所有分支的BN层的参数合并到卷积层，并将超参数相同的多个过参数化的卷积合并为一个卷积。
本实施例中，虽然BN层在模型训练时起到了积极作用，但是在使用训练好的模型进行预测时，增加了层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。因此，有必要如图6所示，将每个分支的卷积和BN层进行合并，然后对于多个超参数相同的过参数化的卷积，如果它们的输出是直接相加，则将这些卷积合并为一个新的卷积，来简化网络，提升模型前向推断的速度。
在一个可选实施方式中，所述Mobileone模块中采用HardSwish激活函数；所述HardSwish激活函数是基于分段线性函数HardSigmoid生成的。
本实施例中，Mobileone模块中采用HardSwish激活函数替换原先的激活函数，HardSwish激活函数由Swish激活函数改进得到的，继承Swish激活函数的诸多优点。首先，它具有更强的局部奇异性，能够更好地处理非线性问题，从而提高模型准确性；其次，它在微调中更具有稳定性，能够避免梯度爆炸和梯度消失的情况；最后，它也能够降低模型的损失和噪声，从而提高模型的精确率。其中，Swish(x)＝x*sigmoid(x)，由于sigmoid函数是由指数构成的，在移动设备上的计算成本比较高，因此，本实施例用分段线性函数HardSigmoid替代sigmoid函数来减少运算成本，得到HardSwish激活函数，即HardSwish(x)＝x*HardSigmoid(x)。
本实施例中，Mobileone模块中采用的HardSwish激活函数可以实现为分段功能，减少内存访问次数，从而大大降低了等待时间成本。
在另一个可选实施方式中，所述Mobileone模块中采用meta-ACON-C激活函数；所述meta-ACON-C激活函数能够自适应选择是否激活神经元。
S130、使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
本实施例中，在对积水区域进行检测识别时，由于道路环境图片中可能会有多个位置重叠或者位置十分接近的积水区域，使得道路环境图片中具有大量重叠或靠近的检测框，而仅仅使用NMS(Non-Maximum Suppression，非极大抑制)算法是无法检测到重叠或接近的积水区域的，容易将一部分积水区域的检测框误删，出现漏检的情况。因此，积水检测模型的头部网络采用DIoU_NMS检测框筛选算法，考虑了检测框的重叠面积、中心点距离，解决了NMS算法无法检测到重叠且过分接近的积水区域，容易出现漏检的情况，使得模型对道路环境图片中的积水区域的检测效果更加准确，收敛速度更加快速。
可选的，所述使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，包括：将所述测试集中的道路环境图片输入训练好的积水检测模型中；通过所述积水检测模型，使用DIoU_NMS检测框筛选算法，对所述道路环境图片中的各个检测框的置信度进行调整，并筛选出置信度不为零的检测框作为积水区域的检测框；在所述道路环境图片中标记出各个积水区域的检测框以及检测框的置信度，作为积水区域识别结果。
本实施例中，DIoU_NMS就是将DIoU替代IoU作为NMS的评判准则，公式如下：
其中，A代表当前检测框，Bi是除了当前检测框A之外的其余检测框的集合B中的第i个检测框，Si表示检测框Bi的置信度，thresh表示预设的NMS阈值。DIoU(A，Bi)的表达式如下：
其中，ρ表示检测框Bi的中心d2与当前检测框A的中心d1之间的距离，L表示检测框Bi和当前检测框A的最小外接矩形的对角线长度，IoU(A，Bi)表示检测框Bi与当前检测框A的相交的面积除以两者相并的面积。
如图7所示，积水检测模型使用的DIoU_NMS检测框筛选算法考虑了两个检测框的重叠面积和中心点距离，当检测到当前检测框A和检测框Bi之间的IoU比较大，但是当前检测框A的中心点与检测框Bi的中心点之间的距离较远时，DIoU-NMS认为这两个检测框可能位于不同的对象上，不应将检测框Bi删除，从而改善漏检情况。
本实施例中，将测试集中的道路环境图片输入积水检测模型中之后，在各道路环境图片中生成多个检测框，然后通过DIoU_NMS检测框筛选算法对每个检测框的置信度进行调整，并保留置信度不为零的检测框作为积水区域的检测框。最后如图8所示，在道路环境图片中标记出各个积水区域的检测框以及检测框的置信度，作为积水区域识别结果。
本实施例中，通过在YOLOv7-tiny网络模型中引入Mobileone模块，虽然可以将积水区域全部检出，但是检测准确率极差，检测框只能大概检测出积水区域的位置，甚至可能将不同积水区域用同一个检测框标出，因此仅在YOLOv7-tiny网络模型中引入Mobileone模块无法被实际应用。然后在上述基础上继续加入DIoU_NMS，由于DIoU_NMS算法引入了重复检测框的重叠面积、中心点距离，使得积水区域的检测效果更加准确，但是仍然会出现同一图片中多个积水区域的漏检问题。因此，又继续引入了HardSwish激活函数，或者也可以引入meta-ACON-C激活函数，通过自适应调整神经元的激活与否，来进一步提升网络性能，提升检测的准确率。实验表明，引入Mobileone模块、DIoU_NMS算法和HardSwish激活函数或meta-ACON-C激活函数的YOLOv7-tiny积水检测模型，可以准确的检测出多种环境下的积水问题。
本发明实施例的技术方案，应用于边缘设备，通过获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，解决了现有的道路积水检测模型的检测精度不高和模型部署范围受限的问题，提升了积水检测模型的检测准确率和模型部署能力。
实施例二
图9是根据本发明实施例二提供的一种道路积水区域的检测装置的结构示意图。如图9所示，该装置包括：
数据获取模块910，用于执行获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；
模型构建训练模块920，用于执行构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；
积水检测模块930，用于执行使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
本发明实施例的技术方案，应用于边缘设备，通过获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，解决了现有的道路积水检测模型的检测精度不高和模型部署范围受限的问题，提升了积水检测模型的检测准确率和模型部署能力。
可选的，所述Mobileone模块分为深度卷积部分和点卷积部分；
在使用所述训练集对所述积水检测模型进行训练的过程中，
所述深度卷积部分包括三条分支，上层分支是一个包含BN层的跳跃连接，中间层分支是1×1卷积结合BN层，下层分支是过参数化的3×3卷积结合BN层；
所述点卷积部分包括两条分支，上层分支是一个包含BN层的跳跃连接，下层分支是过参数化的1×1卷积结合BN层。
可选的，还包括：
结构简化模块，用于在使用所述训练集对所述积水检测模型进行训练之后，将所述Mobileone模块中所有分支的BN层的参数合并到卷积层，并将超参数相同的多个过参数化的卷积合并为一个卷积。
可选的，所述Mobileone模块中采用HardSwish激活函数；
所述HardSwish激活函数是基于分段线性函数HardSigmoid生成的。
可选的，所述Mobileone模块中采用meta-ACON-C激活函数；
所述meta-ACON-C激活函数能够自适应选择是否激活神经元。
可选的，积水检测模块930，用于执行：
将所述测试集中的道路环境图片输入训练好的积水检测模型中；
通过所述积水检测模型，使用DIoU_NMS检测框筛选算法，对所述道路环境图片中的各个检测框的置信度进行调整，并筛选出置信度不为零的检测框作为积水区域的检测框；
在所述道路环境图片中标记出各个积水区域的检测框以及检测框的置信度，作为积水区域识别结果。
可选的，所述边缘设备包括视频监控设备。
本发明实施例所提供的道路积水区域的检测装置可执行本发明任意实施例所提供的道路积水区域的检测方法，具备执行方法相应的功能模块和有益效果。
实施例三
图10示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如道路积水区域的检测方法。
在一些实施例中，道路积水区域的检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的道路积水区域的检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行道路积水区域的检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种道路积水区域的检测方法，其特征在于，应用于边缘设备，包括：
获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；
构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；
使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
2.根据权利要求1所述的方法，其特征在于，所述Mobileone模块分为深度卷积部分和点卷积部分；
在使用所述训练集对所述积水检测模型进行训练的过程中，
所述深度卷积部分包括三条分支，上层分支是一个包含BN层的跳跃连接，中间层分支是1×1卷积结合BN层，下层分支是过参数化的3×3卷积结合BN层；
所述点卷积部分包括两条分支，上层分支是一个包含BN层的跳跃连接，下层分支是过参数化的1×1卷积结合BN层。
3.根据权利要求2所述的方法，其特征在于，在使用所述训练集对所述积水检测模型进行训练之后，还包括：
将所述Mobileone模块中所有分支的BN层的参数合并到卷积层，并将超参数相同的多个过参数化的卷积合并为一个卷积。
4.根据权利要求1所述的方法，其特征在于，
所述Mobileone模块中采用HardSwish激活函数；
所述HardSwish激活函数是基于分段线性函数HardSigmoid生成的。
5.根据权利要求1所述的方法，其特征在于，
所述Mobileone模块中采用meta-ACON-C激活函数；
所述meta-ACON-C激活函数能够自适应选择是否激活神经元。
6.根据权利要求1所述的方法，其特征在于，所述使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果，包括：
将所述测试集中的道路环境图片输入训练好的积水检测模型中；
通过所述积水检测模型，使用DIoU_NMS检测框筛选算法，对所述道路环境图片中的各个检测框的置信度进行调整，并筛选出置信度不为零的检测框作为积水区域的检测框；
在所述道路环境图片中标记出各个积水区域的检测框以及检测框的置信度，作为积水区域识别结果。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述边缘设备包括视频监控设备。
8.一种道路积水区域的检测装置，其特征在于，应用于边缘设备，包括：
数据获取模块，用于执行获取包含积水区域的道路环境图片，并将所述道路环境图片划分为训练集和测试集；
模型构建训练模块，用于执行构建基于YOLOv7-tiny网络改进后的积水检测模型，并使用所述训练集对所述积水检测模型进行训练；
其中，所述积水检测模型使用Mobileone模块替换YOLOv7-tiny网络的骨干网络中的第一个特征提取结构ELAN-lite，所述积水检测模型的头部网络采用DIoU_NMS检测框筛选算法；
积水检测模块，用于执行使用训练好的积水检测模型，对所述测试集中的道路环境图片进行积水区域的检测识别，得到积水区域识别结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的道路积水区域的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的道路积水区域的检测方法。
CN202310365508.0A 2023-04-07 2023-04-07 一种道路积水区域的检测方法、装置、设备及存储介质 Pending CN116580296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310365508.0A CN116580296A (zh) 2023-04-07 2023-04-07 一种道路积水区域的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310365508.0A CN116580296A (zh) 2023-04-07 2023-04-07 一种道路积水区域的检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116580296A true CN116580296A (zh) 2023-08-11

Family

ID=87538492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310365508.0A Pending CN116580296A (zh) 2023-04-07 2023-04-07 一种道路积水区域的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116580296A (zh)

Similar Documents

Publication Publication Date Title
CN109117876B (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
US20210390296A1 (en) Optical character recognition method and apparatus, electronic device and storage medium
CN113936256A (zh) 一种图像目标检测方法、装置、设备以及存储介质
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN113705628B (zh) 预训练模型的确定方法、装置、电子设备以及存储介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN115294332A (zh) 一种图像处理方法、装置、设备和存储介质
CN116740355A (zh) 自动驾驶图像的分割方法、装置、设备及存储介质
CN115063656A (zh) 图像检测方法、装置、计算机可读存储介质及电子设备
CN116703925B (zh) 一种轴承缺陷检测方法、装置、电子设备及存储介质
CN117152453A (zh) 道路病害的检测方法、装置、电子设备和存储介质
CN116580296A (zh) 一种道路积水区域的检测方法、装置、设备及存储介质
CN115410140A (zh) 基于海上目标的图像检测方法、装置、设备及介质
CN113139483B (zh) 人体行为识别方法、装置、设备、存储介质以及程序产品
CN114820488A (zh) 一种样本成分分析方法、装置、设备及存储介质
CN115018784A (zh) 一种导线散股缺陷的检测方法、装置、设备及介质
CN114445711A (zh) 图像检测方法、装置、电子设备和存储介质
CN114049518A (zh) 图像分类方法、装置、电子设备和存储介质
CN112990327A (zh) 特征融合方法、装置、设备、存储介质以及程序产品
CN116758386B (zh) 一种电缆隧道渗水检测方法、装置、设备和存储介质
CN117333487B (zh) 一种痘痘分级方法、装置、设备及存储介质
CN117593780B (zh) 一种皱纹深度指数确定方法、装置、电子设备及存储介质
CN116052181A (zh) 图像方向的确定方法、装置、电子设备和介质
CN116704465A (zh) 路况风险检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination