CN114926755A - 融合神经网络和时序图像分析的危险车辆检测系统及方法 - Google Patents

融合神经网络和时序图像分析的危险车辆检测系统及方法 Download PDF

Info

Publication number
CN114926755A
CN114926755A CN202210136910.7A CN202210136910A CN114926755A CN 114926755 A CN114926755 A CN 114926755A CN 202210136910 A CN202210136910 A CN 202210136910A CN 114926755 A CN114926755 A CN 114926755A
Authority
CN
China
Prior art keywords
excavator
module
neural network
dangerous
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210136910.7A
Other languages
English (en)
Inventor
戴相龙
何成虎
王晓鹏
蒋勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202210136910.7A priority Critical patent/CN114926755A/zh
Publication of CN114926755A publication Critical patent/CN114926755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了融合神经网络和时序图像分析的危险车辆检测系统及方法,包括与控制模块相连的图像采集模块、挖掘机识别模型以及报警模块,所述图像采集模块,用于采集输电线路危险源范围内的视频图像,并输出至所述控制模块;所述挖掘机识别模型,经所述控制模块处理的所述视频图像输出至所述挖掘机识别模型,所述挖掘机识别模型用于识别所述输电线路危险源范围内是否有挖掘机进入。本发明的融合神经网络和时序图像分析的危险车辆检测系统及方法,用户使用卷积神经网络可以快速的识别危险源范围内挖掘机并报警,提醒用户及时处理,避免安全事故的产生,防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。

Description

融合神经网络和时序图像分析的危险车辆检测系统及方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及融合神经网络和时序图像分析的危险车辆检测系统及方法。
背景技术
输电线路长期暴露在户外环境中,不仅承受正常的机械荷载和电流冲击,而且还不可避免的遭受外界各种侵害,如在环境恶劣、人迹罕至处,则易受到自然环境中强风、冰冻、雷击、沙土、洪水、暴晒、鸟兽等各种侵害;在人口聚居地,除受自然侵害外,又易受到人为的破坏。
输电通道的安全运行是保证输电线路安全稳定运行的基础,近年来输电线路通道内因机械施工等外部因素引起的输电线路跳闸率占各类跳闸的首位。此外,随着经济发展,线路通道内高速铁路、高速公路、高电压等级线路越来越多,由于线路运维不到位,造成的重大社会影响的事故越来越多,传统运维方式难以有效管控。
目前输电通道巡检的技术手段主要有直升机巡检技术、无人机巡检技术、激光扫描技术和在线监测技术,在输电线路运维方面得到了一定的应用,但单一的技术手段很难实现危险源的及时辨识和持续跟踪,存在以下问题。
一、直升机巡检技术、无人机巡检技术、激光扫描技术能够有效发现线路本体缺陷和通道缺陷,受巡视频次限制,不能保证发现缺陷的及时性,并且监测周期长、投资成本高。
二、在线监测技术通过传感器对线路进行动态监测和诊断,具有一定的预知设备故障的能力,但在线监测技术无法获取通道内静态和动态目标距离的量测,无法对危险源进行准确识别和动态跟踪。
发明内容
为了解决上述问题,本发明提供融合神经网络和时序图像分析的危险车辆检测系统及方法,用户使用卷积神经网络可以快速的识别危险源范围内挖掘机并报警,提醒用户及时处理,避免安全事故的产生,防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。
为了实现以上目的,本发明采取的一种技术方案是:
融合神经网络和时序图像分析的危险车辆检测系统,包括与控制模块相连的图像采集模块、挖掘机识别模型以及报警模块,所述图像采集模块,用于采集输电线路危险源范围内的视频图像,并输出至所述控制模块;所述挖掘机识别模型,经所述控制模块处理的所述视频图像输出至所述挖掘机识别模型,所述挖掘机识别模型用于识别所述输电线路危险源范围内是否有挖掘机进入;所述报警模块,当所述挖掘机识别模型识别出有挖掘机进入所述输电线路危险源范围内时,所述控制模块启动报警模块报警,所述报警模块的输入端;其中,使用危险源范围内若干个预先收集的含有挖掘机的图片作为训练图片训练卷积神经网络获得所述挖掘机识别模型。
进一步地,所述图像采集模块为单目摄像头,所述单目摄像头设置在所述危险源范围区。
进一步地,所述报警模块为声音报警模块。
进一步地,所述训练图片包括输电线路危险源范围内实时收集的含有挖掘机的图片以及输电线路危险源范围内实时收集的含有挖掘机的图片随机旋转-15°~15°旋转获得的扩充图片。
进一步地,对所述训练图片增加高斯随机噪声。
进一步地,所述控制模块基于android平台。
本发明还提供了融合神经网络和时序图像分析的危险车辆检测系统的检测方法,包括如下步骤:S10图片采集,通过单目摄像头采集输电线路危险源范围内的实时视频数据;S20挖掘机识别模型训练,人工收集若干个危险源范围内含有挖掘机的图片作为训练图片,采用训练图片训练神经网络模型获得挖掘机识别模型;S30将所述实时视频数据经控制模块处理后输出至所述挖掘机识别模型,使用所述挖掘机识别模型识别所述实时视频数据是否含有危险源挖掘机,并将识别结果输出至控制模块。
进一步地,还包括S40当所述控制模块获得的所述挖掘机识别模型的识别结果为实时视频数据中包含挖掘机的图片时,所述控制模块控制报警模块报警,所述S40步骤位于所述S30步骤之后。
进一步地,所述S20步骤包括:S21人工收集若干个危险源范围内含有挖掘机的图片作为训练图片;S22构建残差网络模块Rblock,当所述残差网络模块Rblock输入为x,则输出为F(F(x))+x,其中weight layer为3*3卷积层;S23构建Iblock模块,所述Iblock模块分别经1*1卷积核、3*3卷积核、5*5卷积核和7*7卷积核处理后,得到U1、U2、U3、U4,模块输入为U=U1+U2+U3+U4;S24构建卷积神经网络,定义损失函数如下:
Figure BDA0003504746470000031
其中:M为类别的数量2,分别表示有挖掘机和无挖掘机;yic指示变量(0或1),如果该类别和样本i的类别相同就是1,否则是0;pic对于观测样本i属于类别c的预测概率;S25利用所述S21步骤中的所述训练图片对卷积神经网络进行训练得到所述挖掘机识别模型。
进一步地,所述S30步骤包括如下步骤:S31通过图像采集模块实时采集所述危险源范围内的视频数据并输出至所述控制模块;S32获得差值图fd=|ft+1-ft|,其中t为时间,ft+1为当前时刻t+1所述图像采集模块读取的视频图像,ft为上一时刻t所述图像采集模块读取的视频图像;S33对fd进行二值化处理,并依次进行腐蚀和膨胀操作,消除孤立点;S34对所述步骤S33的处理结果进行图像八连通域检测,得到最大连通域,如最大连通域大小超过阈值t,则执行步骤S35,否则继续返回步骤S31;S35所述控制模块将经步骤S33处理的差值图输入所述挖掘机识别模型进行识别,并获得识别结果。
本发明的上述技术方案相比现有技术具有以下优点:
本发明的融合神经网络和时序图像分析的危险车辆检测系统及方法,用户使用卷积神经网络可以快速的识别危险源范围内挖掘机并报警,提醒用户及时处理,避免安全事故的产生,防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的结构图;
图2所示为本发明一实施例的流程图;
图3所示为本发明一实施例的Iblock模块的结构图;
图4所示为本发明一实施例的卷积神经网络结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供了融合神经网络和时序图像分析的危险车辆检测系统,如图1所示,包括与控制模块相连的图像采集模块、挖掘机识别模型以及报警模块,所述图像采集模块,用于采集输电线路危险源范围内的视频图像,并输出至所述控制模块。所述挖掘机识别模型,经所述控制模块处理的所述视频图像输出至所述挖掘机识别模型,所述挖掘机识别模型用于识别所述输电线路危险源范围内是否有挖掘机进入。所述报警模块,当所述挖掘机识别模型识别出有挖掘机进入所述输电线路危险源范围内时,所述控制模块启动报警模块报警,所述报警模块的输入端。其中,使用危险源范围内若干个预先收集的含有挖掘机的图片作为训练图片训练卷积神经网络获得所述挖掘机识别模型。
所述控制模块基于android平台。所述图像采集模块为单目摄像头,所述单目摄像头设置在所述危险源范围区。所述报警模块为声音报警模块。所述训练图片包括输电线路危险源范围内实时收集的含有挖掘机的图片以及输电线路危险源范围内实时收集的含有挖掘机的图片随机旋转-15°~15°旋转获得的扩充图片,对所述训练图片增加高斯随机噪声。
如图2所示,本发明还提供了融合神经网络和时序图像分析的危险车辆检测系统的检测方法,包括如下步骤:S10图片采集,通过单目摄像头采集输电线路危险源范围内的实时视频数据。S20挖掘机识别模型训练,人工收集若干个危险源范围内含有挖掘机的图片作为训练图片,采用训练图片训练神经网络模型获得挖掘机识别模型。S30将所述实时视频数据经控制模块处理后输出至所述挖掘机识别模型,使用所述挖掘机识别模型识别所述实时视频数据是否含有危险源挖掘机,并将识别结果输出至控制模块。S40当所述控制模块获得的所述挖掘机识别模型的识别结果为实时视频数据中包含挖掘机的图片时,所述控制模块控制报警模块报警。
如图3~4所示,所述S20步骤包括:S21人工收集若干个危险源范围内含有挖掘机的图片作为训练图片。S22构建残差网络模块Rblock,当所述残差网络模块Rblock输入为x,则输出为F(F(x))+x,其中weight layer为3*3卷积层。S23构建Iblock模块,所述Iblock模块分别经1*1卷积核、3*3卷积核、5*5卷积核和7*7卷积核处理后,得到U1、U2、U3、U4,模块输入为U=U1+U2+U3+U4。S24构建卷积神经网络,定义损失函数如下:
Figure BDA0003504746470000061
其中:M为类别的数量2,分别表示有挖掘机和无挖掘机;yic指示变量(0或1),如果该类别和样本i的类别相同就是1,否则是0,pic对于观测样本i属于类别c的预测概率。S25利用所述S21步骤中的所述训练图片对卷积神经网络进行训练得到所述挖掘机识别模型。
所述S30步骤包括如下步骤:S31通过图像采集模块实时采集所述危险源范围内的视频数据并输出至所述控制模块。S32获得差值图fd=|ft+1-ft|,其中t为时间,ft+1为当前时刻t+1所述图像采集模块读取的视频图像,ft为上一时刻t所述图像采集模块读取的视频图像。S33对fd进行二值化处理,并依次进行腐蚀和膨胀操作,消除孤立点。S34对所述步骤S33的处理结果进行图像八连通域检测,得到最大连通域,如最大连通域大小超过阈值t,则执行步骤S35,否则继续返回步骤S31。S35所述控制模块将经步骤S33处理的差值图输入所述挖掘机识别模型进行识别,并获得识别结果。
以上所述仅为本发明的示例性实施例,并非因此限制本发明专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,包括与控制模块相连的图像采集模块、挖掘机识别模型以及报警模块,
所述图像采集模块,用于采集输电线路危险源范围内的视频图像,并输出至所述控制模块;
所述挖掘机识别模型,经所述控制模块处理的所述视频图像输出至所述挖掘机识别模型,所述挖掘机识别模型用于识别所述输电线路危险源范围内是否有挖掘机进入;
所述报警模块,当所述挖掘机识别模型识别出有挖掘机进入所述输电线路危险源范围内时,所述控制模块启动报警模块报警,所述报警模块的输入端;
其中,使用危险源范围内若干个预先收集的含有挖掘机的图片作为训练图片训练卷积神经网络获得所述挖掘机识别模型。
2.根据权利要求1所述的融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,所述图像采集模块为单目摄像头,所述单目摄像头设置在所述危险源范围区。
3.根据权利要求1所述的融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,所述报警模块为声音报警模块。
4.根据权利要求1所述的融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,所述训练图片包括输电线路危险源范围内实时收集的含有挖掘机的图片以及输电线路危险源范围内实时收集的含有挖掘机的图片随机旋转-15°~15°旋转获得的扩充图片。
5.根据权利要求4所述的融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,对所述训练图片增加高斯随机噪声。
6.根据权利要求1所述的融合神经网络和时序图像分析的危险车辆检测系统,其特征在于,所述控制模块基于android平台。
7.一种基于权利要求1~6中任意一项权利要求所述的融合神经网络和时序图像分析的危险车辆检测系统的检测方法,其特征在于,包括如下步骤:
S10图片采集,通过单目摄像头采集输电线路危险源范围内的实时视频数据;
S20挖掘机识别模型训练,人工收集若干个危险源范围内含有挖掘机的图片作为训练图片,采用训练图片训练神经网络模型获得挖掘机识别模型;
S30将所述实时视频数据经控制模块处理后输出至所述挖掘机识别模型,使用所述挖掘机识别模型识别所述实时视频数据是否含有危险源挖掘机,并将识别结果输出至控制模块。
8.根据权利要求7所述的融合神经网络和时序图像分析的危险车辆检测方法,其特征在于,还包括S40当所述控制模块获得的所述挖掘机识别模型的识别结果为实时视频数据中包含挖掘机的图片时,所述控制模块控制报警模块报警,所述S40步骤位于所述S30步骤之后。
9.根据权利要求7所述的融合神经网络和时序图像分析的危险车辆检测方法,其特征在于,所述S20步骤包括:
S21人工收集若干个危险源范围内含有挖掘机的图片作为训练图片;
S22构建残差网络模块Rblock,当所述残差网络模块Rblock输入为x,则输出为F(F(x))+x,其中weight layer为3*3卷积层;
S23构建Iblock模块,所述Iblock模块分别经1*1卷积核、3*3卷积核、5*5卷积核和7*7卷积核处理后,得到U1、U2、U3、U4,模块输入为U=U1+U2+U3+U4;
S24构建卷积神经网络,定义损失函数如下:
Figure FDA0003504746460000031
其中:M为类别的数量2,分别表示有挖掘机和无挖掘机;yic指示变量(0或1),如果该类别和样本i的类别相同就是1,否则是0;pic对于观测样本i属于类别c的预测概率;
S25利用所述S21步骤中的所述训练图片对卷积神经网络进行训练得到所述挖掘机识别模型。
10.根据根据权利要求7所述的融合神经网络和时序图像分析的危险车辆检测方法,其特征在于,所述S30步骤包括如下步骤:
S31通过图像采集模块实时采集所述危险源范围内的视频数据并输出至所述控制模块;
S32获得差值图fd=|ft+1-ft|,其中t为时间,ft+1为当前时刻t+1所述图像采集模块读取的视频图像,ft为上一时刻t所述图像采集模块读取的视频图像;
S33对fd进行二值化处理,并依次进行腐蚀和膨胀操作,消除孤立点;
S34对所述步骤S33的处理结果进行图像八连通域检测,得到最大连通域,如最大连通域大小超过阈值t,则执行步骤S35,否则继续返回步骤S31;
S35所述控制模块将经步骤S33处理的差值图输入所述挖掘机识别模型进行识别,并获得识别结果。
CN202210136910.7A 2022-02-15 2022-02-15 融合神经网络和时序图像分析的危险车辆检测系统及方法 Pending CN114926755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210136910.7A CN114926755A (zh) 2022-02-15 2022-02-15 融合神经网络和时序图像分析的危险车辆检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210136910.7A CN114926755A (zh) 2022-02-15 2022-02-15 融合神经网络和时序图像分析的危险车辆检测系统及方法

Publications (1)

Publication Number Publication Date
CN114926755A true CN114926755A (zh) 2022-08-19

Family

ID=82804930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210136910.7A Pending CN114926755A (zh) 2022-02-15 2022-02-15 融合神经网络和时序图像分析的危险车辆检测系统及方法

Country Status (1)

Country Link
CN (1) CN114926755A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055172A (zh) * 2020-08-19 2020-12-08 浙江大华技术股份有限公司 一种监控视频的处理方法、装置以及存储介质
CN113063791A (zh) * 2021-03-23 2021-07-02 南通大学 一种基于图像处理的布匹缺陷识别方法
WO2021146700A1 (en) * 2020-01-17 2021-07-22 Percipient.ai Inc. Systems for multiclass object detection and alerting and methods therefor
CN113179389A (zh) * 2021-04-15 2021-07-27 江苏濠汉信息技术有限公司 一种输电线路危险车辆吊车扬臂识别系统及识别方法
KR102373753B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 딥러닝 기반의 차량식별추적 방법, 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146700A1 (en) * 2020-01-17 2021-07-22 Percipient.ai Inc. Systems for multiclass object detection and alerting and methods therefor
CN112055172A (zh) * 2020-08-19 2020-12-08 浙江大华技术股份有限公司 一种监控视频的处理方法、装置以及存储介质
CN113063791A (zh) * 2021-03-23 2021-07-02 南通大学 一种基于图像处理的布匹缺陷识别方法
CN113179389A (zh) * 2021-04-15 2021-07-27 江苏濠汉信息技术有限公司 一种输电线路危险车辆吊车扬臂识别系统及识别方法
KR102373753B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 딥러닝 기반의 차량식별추적 방법, 및 시스템

Similar Documents

Publication Publication Date Title
US10269138B2 (en) UAV inspection method for power line based on human visual system
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
Zormpas et al. Power transmission lines inspection using properly equipped unmanned aerial vehicle (UAV)
CN102446390A (zh) 一种对输电线路附近监控区域进行安全检测、预警的方法和系统
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN114333424B (zh) 一种桥梁防船撞监测预警系统
CN113947555A (zh) 基于深度神经网络的红外与可见光融合的视觉系统及方法
CN109118039B (zh) 一种面向内河水域船舶自沉重要风险识别与防控装置及方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN115761537A (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN115909092A (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN115082813A (zh) 检测方法、无人机、检测系统及介质
CN113723701A (zh) 森林火灾监测预测方法及系统、电子设备及存储介质
CN114926755A (zh) 融合神经网络和时序图像分析的危险车辆检测系统及方法
CN114612855A (zh) 融合残差和多尺度网络的电力线路危险源检测系统及方法
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
CN114612853A (zh) 基于注意力机制和时序图像分析的车辆检测系统及方法
Yizhou et al. Application of the ssd algorithm in a people flow monitoring system
CN115100592A (zh) 一种输电通道外破隐患识别方法、装置及存储介质
CN106778693A (zh) 一种基于视频分析的泥石流监测预警方法及监测预警设备
CN112002100A (zh) 基于5g的智能安防系统
CN110674764A (zh) 一种工地裸露土方的检测方法、装置及系统
CN114722130B (zh) 一种基于gis系统的数字海洋海底电缆状态监控方法
CN116707143B (zh) 一种基于三维视觉信息处理的电网智能视频监控管理系统
CN118038153A (zh) 配电架空线路的防外破识别方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination