CN114973138B - 一种基于高位相机的路面异常物体检测方法 - Google Patents

一种基于高位相机的路面异常物体检测方法 Download PDF

Info

Publication number
CN114973138B
CN114973138B CN202210617878.4A CN202210617878A CN114973138B CN 114973138 B CN114973138 B CN 114973138B CN 202210617878 A CN202210617878 A CN 202210617878A CN 114973138 B CN114973138 B CN 114973138B
Authority
CN
China
Prior art keywords
convolution
road
image
abnormal
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210617878.4A
Other languages
English (en)
Other versions
CN114973138A (zh
Inventor
刘寒松
王国强
王永
刘瑞
翟贵乾
李贤超
谭连胜
焦安健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210617878.4A priority Critical patent/CN114973138B/zh
Publication of CN114973138A publication Critical patent/CN114973138A/zh
Application granted granted Critical
Publication of CN114973138B publication Critical patent/CN114973138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于路面异常物体检测技术领域，涉及一种基于高位相机的路面异常物体检测方法，先构建数据集，再基于编码器‑解码器结构的图像分割网络，固定编码器得到的特征，并重新利用解码器对提取的特征进行图像重建，利用分割结果和重建的结果联合送入卷积网络提取特征凸显道路中的异常物体，然后利用时间段信息判断该物体是异常的还是已经处理掉的异常物体，提高了异常物体检测的精度。

Description

一种基于高位相机的路面异常物体检测方法
技术领域
本发明属于路面异常物体检测技术领域，涉及一种基于高位相机的路面异常物体检测方法，特别是一种基于高位相机图像语义分割及重建的路面异常物体检测方法。
背景技术
随着人工智能与计算机视觉等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，智慧交通涵盖了城市中道路的方方面面，而道路上会经常出现异常物体，比如异常抛物等等，还有像渣土车掉下的渣土和石块等，一般小的物体不足以影响城市交通，但是大的物体会对城市交通产生非常大的危害，不仅对路面造成污染，还会增加道路安全隐患。因此，对这种物体的检测显得尤为重要。CN111783700A公开了一种路面异物自动识别预警方法和系统，该方法包括以下步骤：数据采集单元通过各地灾隐患点安装摄像头获取图像信息；将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；通过结构相似度识别相邻时间段获取的图像信息的差异性；采用数学形态学方法简化提取的特征信息；采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测，通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而识别和检测路面落石及其他地质灾害；CN106448162B公开一种道路监控方法，采用信息层级结构实现，信息层级结构包括环境感知层、地理标志层、对象层及语义层，方法包括：获取监控图像及拍摄地点并存储于环境感知层；从监控图像提取车道图像并存储于地理标志层；根据监控图像判断是否存在异物抛洒情况；若存在，从监控图像提取异物区域图像并存储于对象层；综合处理异物区域图像及车道图像以获取异物覆盖路面的情况并存储于语义层；产生提示信息，通过对监控图像进行处理及识别，可分析是否发生异物抛洒情况，并产生预警或建议信息；但是上述方法仍存在检测精度低的缺点。
高位相机在视角范围内能够覆盖非常大的道路面积，随着高位相机的普及，城市道路的覆盖面也越来越大，因此亟需一种基于高位相机图像进行道路异常物体检测的方法，提高检测精度。
发明内容
本发明的目的在于克服现有技术存在的缺点，设计提供一种基于高位相机的路面异常物体检测方法，利用路测停车场高位相机采集图像，对采集到的图像进行特征提取和依据特征进行图像重建，再利用重建图像和原图像联合估计图像中的异常信息，并对异常信息进行报警和提示。
为实现上述目的，本发明实现路面异常物体检测的具体过程为：
（1）数据集构建：收集路测停车场高位相机的图像，并对图像进行语义标注，将图像中的像素分类成汽车、行人和路面得到数据集，并将数据集划分为训练集、验证集和测试集；
（2）设计语义分割的网络结构：语义分割采用编码器-解码器结构，输入图像分辨 率为1024512，编码器结构为三级卷积，解码器结构为二级卷积，解码器后面加一个1×1 卷积，实现图像像素分割得到分割图像；
（3）重建图像：固定步骤（2）中的编码器，从解码器最后一层重新接入一个解码器，重新接入的解码器结构与步骤（2）的解码器结构一样，对重新接入的解码器进行训练得到重建图像；利用步骤（1）中构建的数据集，将图像中位置为道路的像素标注为1，不是道路的像素标注为2，用MSE作为能量损失，构建能量损失函数，将非道路部分的物体更好的凸显出来；
（4）利用重建图像与分割图像结果联合进行异常物体检测：将步骤（3）中重建的结果与步骤（2）中分割的结果一起送入卷积模块进行进一步的特征提取，其中卷积模块包含两个含有128个3×3卷积核的卷积层和两个Relu层，排列方式依次为卷积层、Relu层、卷积层和Relu层，经过卷积模块提取后的特征将道路中的异常物体凸显出来，该异常物体如果连续出现超过五分钟（通过实验测试五分钟为合理的值），则认为是异常物体需要人工干预处理该异常物体，如果该异常物体在五分钟内消失，则说明该异常物体已被处理掉；
（5）训练网络，得到训练好的道路异常检测网络模型：将数据集中训练集的图像尺 寸由192010243缩放成9605123，按照256张图像一个批次依次输入到整个网络中，整 个网络的输入为，输出为道路异常的分割结果；经过设定次数完整训练集 训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练 好的道路异常分割网络模型；
（6）通过推理得到结果：把高位监控相机的图像输入到训练好的道路异常分割网络模型进行前向推理得到道路异常物体的分割结果，完成路面异常物体检测。
进一步的，步骤（2）中所述编码器结构的第一级卷积包含三个卷积层，每层卷积数目为128个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第二级卷积包含三个卷积层，每层卷积数目为256个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第三级卷积包含三个卷积层，每层卷积数目为512个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2；解码器的第一级卷积包含三个卷积层，第一层为上卷积，卷积数为256个3×3卷积，后两层为一般卷积，卷积数目为256个3×3卷积，第二级卷积包含三个卷积层，第一层为上卷积，卷积数为128个3×3卷积，后两层为一般卷积，卷积数目为128个3×3卷积。
进一步的，步骤（3）中构建的能量损失函数：
，
其中和分别为道路区域和非道路区域，为输入的原始图像， 和 分 别为图像中道路区域和非道路区域中的像素数量，为均方误差函数，能量损失函数第 一部分表示输入图像和重建图像的道路部分差距，值越小越好，第二部分表述重建图像和 输入图像的非道路部分差距，值越大越好。
进一步的，步骤（5）中所述网络中的分割损失采用Softmax损失，重建损失采用步骤（3）中的能量损失函数。
与现有技术相比，本发明先构建数据集，再基于编码器-解码器结构的图像分割网络，固定编码器得到的特征，并重新利用解码器对提取的特征进行图像重建，利用分割结果和重建的结果联合送入卷积网络提取特征凸显道路中的异常物体，然后利用时间段信息判断该物体是异常的还是已经处理掉的异常物体，与现有技术中常用的YOLO V4方法相比，对路面异常物体的检测精度从81%提升至92%。
附图说明
图1为本发明的工作网络结构图。
具体实施方式
下面通过实施例并结合附图对本发明作进一步描述，但不以任何方式限制本发明的范围。
实施例：
本实施例基于高位相机的路面异常检测过程如图1所示，具体包括如下步骤：
（1）数据集构建：收集路测停车场高位相机的图像，并对图像进行语义标注，将图像中的像素分类成汽车、行人、路面得到数据集，将数据集划分为训练集、验证集和测试集；
（2）设计语义分割的网络结构：语义分割采用编码器-解码器结构，输入图像分辨率为1024×512，编码器结构为三级卷积，第一级卷积包含三个卷积层，每层卷积数目为128个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第二级卷积包含三个卷积层，每层卷积数目为256个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第三级卷积包含三个卷积层，每层卷积数目为512个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2；解码器结构为二级卷积，第一级卷积包含三个卷积层，第一层为上卷积，卷积数为256个3×3卷积，后两层为一般卷积，卷积数目为256个3×3卷积，第二级卷积包含三个卷积层，第一层为上卷积，卷积数为128个3×3卷积，后两层为一般卷积，卷积数目为128个3×3卷积，解码器后面加一个1×1卷积，使得提取的特征最终实现图像像素分割；
（3）重建图像：固定步骤（2）中的编码器，从解码器最后一层重新接入一个解码器， 重新接入的解码器结构与步骤（2）的解码器结构一样，对重新接入的解码器进行训练得到 重建图像，再利用步骤（1）中构建的数据集，将图像中位置为道路的标注设置为1，不是道路 的像素标注为2，用MSE作为能量损失，构建能量损失函数：
，
其中和分别为道路区域和非道路区域，为输入的原始图像， 和 分 别为图像中道路区域和非道路区域中的像素数量，MSE为均方误差函数，能量损失函数第一 部分表示输入图像和重建图像的道路部分差距，差距越小越好，第二部分表述重建图像和 输入图像的非道路部分差距，差距越大越好，这样非道路部分的物体就能够更好的凸显出 来；
（4）利用重建图像与分割图像结果联合进行异常物体检测：步骤（3）中的重建结果基本能够凸显道路中的异常物体，将步骤（3）中重建的结果与步骤（2）中的分割结果一起送入卷积模块中进行进一步的特征提取，该卷积模块包含两个含有128个3×3卷积核的卷积层和两个Relu层，排列方式先是卷积层，再是Relu层，再是卷积层，最后加一个Relu层；经过卷积模块处理后的特征能把道路中的异常物体凸显出来，该异常物体如果连续出现超过五分钟（通过实验测试五分钟为合理的值），则认为是异常物体需要人工干预处理该异常物体，如果该异常物体在五分钟内消失，则说明该异常物体已被处理掉；
（5）训练网络，得到训练好的道路异常检测网络模型：将数据集中训练集的图像尺 寸由192010243缩放成9605123，按照批次尺寸（B），选取的批次尺寸为256张图像一 个批次，依次输入到网络中，整个网络的输入，输出为道路异常的分割结 果，网络中的分割损失采用Softmax损失，重建损失采用步骤（3）中的能量损失函数，经过设 定次数200次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训 练好的参数，即得到训练好的道路异常分割网络模型；
（6）通过推理得到结果：将高位监控相机的图像输入到训练好的道路异常分割网络模型进行前向推理得到道路异常物体的分割结果。
本文中未详细描述的算法、过程均为本领域通用技术。
需要注意的是，本实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于高位相机的路面异常物体检测方法，其特征在于，具体过程为：
（1）数据集构建：收集停车场高位相机的视频图像，并对图像进行语义标注，将图像中的像素分类成汽车、行人和路面得到数据集，并将数据集划分为训练集、验证集和测试集；
（2）设计语义分割的网络结构：语义分割采用编码器-解码器结构，输入图像分辨率为1024×512，编码器结构为三级卷积，解码器结构为二级卷积，译码器后面加一个1×1卷积，实现图像像素分割得到分割图像；
（3）重建图像：固定步骤（2）中的编码器，从解码器最后一层重新接入一个解码器，重新接入的解码器结构与步骤（2）的解码器结构一样，对重新接入的解码器进行训练得到重建图像；利用步骤（1）中构建的数据集，将图像中位置为道路的像素标注为1，不是道路的像素标注为2，用MSE作为能量损失，构建能量损失函数，将非道路部分的物体更好的凸显出来；
（4）利用重建图像与分割图像结果联合进行异常物体检测：将步骤（3）中重建的结果与步骤（2）中分割的结果一起送入卷积模块进行进一步的特征提取，提取后的特征将道路中的异常物体凸显出来，该异常物体如果连续出现在五分钟内，则认为是异常物体需要处理，如果该异常物体在五分钟内消失，则说明该异常物体已被处理掉；
（5）训练网络，得到训练好的道路异常分割网络模型：将数据集中训练集的图像尺寸由 1920×1024×3缩放成9605123，按照256张图像一个批次依次输入到整个网络中，整个 网络的输入为，输出为道路异常的分割结果；经过设定次数完整训练集训练 迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的 道路异常分割网络模型；
（6）通过推理得到结果：把高位监控相机的视频图像输入到训练好的道路异常分割网络模型进行前向推理得到道路异常物体的分割结果，完成路面异常物体检测。
2.根据权利要求1所述基于高位相机的路面异常物体检测方法，其特征在于，步骤（2）中所述编码器结构的第一级卷积包含三个卷积层，每层卷积数目为128个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第二级卷积包含三个卷积层，每层卷积数目为256个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2，第三级卷积包含三个卷积层，每层卷积数目为512个3×3卷积，前两层的卷积步长为1，第三层的卷积步长为2；解码器的第一级卷积包含三个卷积层，第一层为上卷积卷积数为256个3×3卷积，后两层为一般卷积，卷积数目为256个3×3卷积，第二级卷积包含三个卷积层，第一层为上卷积，卷积数为128个3×3卷积，后两层为一般卷积，卷积数目为128个3×3卷积。
3.根据权利要求2所述基于高位相机的路面异常物体检测方法，其特征在于，步骤（3）中构建的能量损失函数L：
)，
其中和分别为道路区域和非道路区域，为输入的原始图像，和分别为图 像中道路区域和非道路区域中的像素数量，MSE 为均方误差函数，能量损失函数第一部分 表示输入图像和重建图像的道路部分差距，第二部分表述重建图像和输入图像的非道路部 分差距。
4.根据权利要求1所述基于高位相机的路面异常物体检测方法，其特征在于，步骤（4）中所述卷积模块包含两个含有128个3×3卷积核的卷积层和两个Relu层，排列方式依次为卷积层、Relu层、卷积层和Relu层。
CN202210617878.4A 2022-06-02 2022-06-02 一种基于高位相机的路面异常物体检测方法 Active CN114973138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210617878.4A CN114973138B (zh) 2022-06-02 2022-06-02 一种基于高位相机的路面异常物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210617878.4A CN114973138B (zh) 2022-06-02 2022-06-02 一种基于高位相机的路面异常物体检测方法

Publications (2)

Publication Number Publication Date
CN114973138A CN114973138A (zh) 2022-08-30
CN114973138B true CN114973138B (zh) 2024-03-29

Family

ID=82959526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210617878.4A Active CN114973138B (zh) 2022-06-02 2022-06-02 一种基于高位相机的路面异常物体检测方法

Country Status (1)

Country Link
CN (1) CN114973138B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797803A (zh) * 2020-07-15 2020-10-20 郑州昂达信息科技有限公司 基于人工智能和图像处理的道路护栏异常检测方法
CN112419318A (zh) * 2020-12-17 2021-02-26 深圳市华汉伟业科技有限公司 一种基于多路级联反馈的异常检测方法及装置、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019106625A1 (de) * 2019-03-15 2020-09-17 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Ermitteln einer Gefahrenquelle auf einer Fahrbahn
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797803A (zh) * 2020-07-15 2020-10-20 郑州昂达信息科技有限公司 基于人工智能和图像处理的道路护栏异常检测方法
CN112419318A (zh) * 2020-12-17 2021-02-26 深圳市华汉伟业科技有限公司 一种基于多路级联反馈的异常检测方法及装置、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
云台场景下高速公路异常事件自动检测系统;王俊健;王莹;王以好;;中国交通信息化;20181015(第10期);全文 *
多尺度深度特征融合的变化检测;樊玮;周末;黄睿;;中国图象图形学报;20200415(第04期);全文 *

Also Published As

Publication number Publication date
CN114973138A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Bang et al. Encoder–decoder network for pixel‐level road crack detection in black‐box images
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Arya et al. Transfer learning-based road damage detection for multiple countries
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
Guo et al. Pavement crack detection based on transformer network
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
Zhang et al. Pavement distress detection using convolutional neural network (CNN): A case study in Montreal, Canada
Shaghouri et al. Real-time pothole detection using deep learning
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
Gerhardinger et al. Vehicles detection from very high resolution satellite imagery
CN114140625A (zh) 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
Gupta et al. Image-based crack detection approaches: a comprehensive survey
Mertz et al. City-wide road distress monitoring with smartphones
CN110991414B (zh) 一种交通要素高精度分割方法、电子设备及存储介质
CN114581886A (zh) 结合语义分割和频域分析的能见度判别方法、装置及介质
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
Huang et al. Change detection with absolute difference of multiscale deep features
Mansourifar et al. Gan-based satellite imaging: A survey on techniques and applications
CN114973138B (zh) 一种基于高位相机的路面异常物体检测方法
CN112597996A (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
JP6681965B2 (ja) 自律走行のための学習対象イメージ抽出装置及び方法
Gorintla et al. Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system
Subhashini et al. A review on road extraction based on neural and non-neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant