CN111340149B - 基于背景差分法和深度学习的挖掘机实时检测方法和系统 - Google Patents
基于背景差分法和深度学习的挖掘机实时检测方法和系统 Download PDFInfo
- Publication number
- CN111340149B CN111340149B CN202010440477.7A CN202010440477A CN111340149B CN 111340149 B CN111340149 B CN 111340149B CN 202010440477 A CN202010440477 A CN 202010440477A CN 111340149 B CN111340149 B CN 111340149B
- Authority
- CN
- China
- Prior art keywords
- infrared
- excavator
- visible light
- image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000011897 real-time detection Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000011410 subtraction method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract 2
- 238000012549 training Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003345 natural gas Substances 0.000 description 2
- 241001137251 Corvidae Species 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003034 coal gas Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000015108 pies Nutrition 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于背景差分法和深度学习的挖掘机实时检测方法和系统，采集管网区域在无挖掘机情况下的红外和可见光背景图像，并采集实时监测图像，通过背景差分法和深度学习检测管网区域，在红外图像分析初步判断有挖掘机后启动可见光图像分析，检测是否有挖掘机施工，降低管道事故风险。本发明具有的优点是：利用背景差分法和深度学习，结合红外图像分析和可见光图像分析，在较低计算投入成本下实现挖掘机的精确检测和实时动态监测。
Description
技术领域
本发明涉及管道巡检领域，尤其涉及一种基于背景差分法和深度学习的挖掘机实时检测方法和系统。
背景技术
近年来，随着国家和地方对许多新型燃气发电项目的投资和运营，“煤制气”等环保政策的执行力度加大，天然气得到了公众的广泛青睐。为了继续扩大天然气能源的利用，提高资源配置效率，必须加快油气管道网络系统的建设，确保管道的安全运行。多年的研究和管理经验降低了整体管道事故的可能性。 然而，挖掘机施工作业引起的管道事故仍然时有发生。如何实时正确地检测管道网络附近的挖掘机在改善管道风险管理中起着重要的作用。现有的技术主要是利用无人机在高空对管网进行航拍，获取带有挖掘机目标对象的图片制作成数据集，对数据集利用卷积神经网络的相关算法达到挖掘机检测的效果。例如，专利号为201811351933.X的专利公开了一种基于深度学习用于高空巡检下的挖掘机检测方法，使用网络抓取或飞行器实地采样获得高空拍摄下管网系统附近的图像，经深度学习图像识别后判断是否有挖掘机施工作业。但由于带有挖掘机目标图像的数据集是高空拍摄的，噪声多，数据集质量不高，导致挖掘机检测准确率不高，且高空巡检实时性不强，不能第一时间检测到挖掘机，因此由于准确率和动态性不足的缺陷，现有技术无法满足第三方破坏高风险区域对挖掘机的检测要求。
发明内容
本发明提供一种基于背景差分法和深度学习的挖掘机实时检测方法和系统，基于背景差分法，以红外背景库和可见光背景库作为数据集，通过红外背景库的挖掘机检测粗略的判断管网区域是否可能存在挖掘机施工作业，如果检测到可能有挖掘机，作为阈值触发信号，启用可见光背景库，进行精确且动态的挖掘机检测。
本发明的实现方法如下：
所述基于背景差分法和深度学习的挖掘机实时检测方法包括步骤：
S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；
S2.利用所述红外背景图像库建立管网区域的红外背景模型；
S3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；
S4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤S3；
S5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机。
进一步地，步骤S1具体包括：
S10.在管网区域安装红外摄像机和可见光摄像机；
S11.红外摄像机采集管网区域在无挖掘机情况下的红外背景图像，可见光摄像机采集管网区域在无挖掘机情况下的可见光背景图像；
S12.利用红外背景图像建立红外背景图像库，利用可见光背景图像建立可见光背景图像库。
进一步地，步骤S2，具体包括：
利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t
时刻图像中每个像素点的像素值为X t，所述高斯混合分布模型P(X t )为
；
上式中k是高斯混合模型中高斯概率密度函数的个数，w k,t 是第k个高斯概率密度
函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内
的积分之和为1；
是像素X t 在t时刻的第k个高斯概率密度函数，
是第k个高斯概率密度函数在t时刻的协方差矩阵，
是第k个高斯概率密度函数在t时
刻的样本均值。
进一步地，二值化图像为：
，上
式中E k (x,y)是二值化图像坐标处的像素值，T是进行二值化处理所需要的阈值，A k (x,y)及B k (x,y)分别是红外实时监测图像和红外背景模型在(x,y)处的像素值。
进一步地，卷积神经网络模型包括五层卷积层，分别使用32、64、64、128、128个3*3大小的卷积核。
进一步地，卷积层的激活函数采用修正线性单元，在修正线性单元激活函数之后执行批规一化，将其输出规范化到均值为0、方差为1的标准正态分布。
进一步地，在所述卷积神经网络模型的每一个卷积层后皆添加最大池化层，并在第三层、第四层、第五层和输出层采用Dropout技术。
进一步地，还包括步骤：
S6.检测到挖掘机后，发出警报信号。
本发明还提供一种基于背景差分法和深度学习的挖掘机实时检测系统，实现方法如下：
红外摄像机，用于采集管网区域的红外图像，以建立无挖掘机情况下的红外背景图像库及获取红外实时监测图像；
可见光摄像机，用于采集管网区域的可见光图像，以建立无挖掘机情况下的可见光背景图像库及获取可见光实时监测图像；
建模模块，用于根据所述红外背景图像库建立红外背景模型；
分析模块，用于对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；
判断模块，用于判断所述二值化图像是否有符合挖掘机尺寸的高亮区域；若是，则调用所述可见光摄像机获取管网区域的可见光实时监测图像；
所述分析模块还用于对所述可见光实时监测图像和所述可见光背景图像库进行背景差分，提取感兴趣区域；
所述判断模块还用于利用卷积神经网络模型对所述感兴趣区域进行图像分类，确定所述感兴趣区域是否为挖掘机。
进一步地，还包括：
警报模块，用于在检测到挖掘机时执行报警。
与现有技术相比，本发明的有益技术效果为：
本发明提供的方法和系统以红外背景库和可见光背景库作为数据集，数据集质量高，可以实现挖掘机的精确检测和实时动态监测，且基于红外背景图库的背景差分计算投入成本低。红外监测图像应用场景广泛、计算量较低，可以应用于树莓派等移动端，易于扩展；
通过红外监测图像的初步判断可以以较低计算资源排除大部分的常规情景，在检测到可疑图像时再启动占用资源较多的可见光摄像机和可见光图像处理流程；
基于可见光背景图库的背景差分法保留了大量颜色信息，提高了背景差分识别算法的准确率，并且结合了人工智能的图像分类算法，可以对挖掘机破坏施工进行更为准确的识别。
附图说明
图1是本发明实施例一的基于背景差分法和深度学习的挖掘机实时检测方法的流程图；
图2是本发明实施例一的基于背景差分法和深度学习的挖掘机实时检测系统的结构图；
图3是本发明实施例一的卷积神经网络模型的结构图；
图4是本发明实施例一的卷积模块的结构图；
图5是本发明实施例二的基于背景差分法和深度学习的挖掘机实时检测方法的流程图。
具体实施方式
以下将结合附图对根据本发明的优选实施例进行详细说明。通过附图以及相应的文字说明，本领域技术人员将会进一步理解本发明的特点和优势。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
实施例一
本实施例的基于背景差分法和深度学习的挖掘机实时检测方法，其流程图如图1所示，所述方法包括：
S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库，具体包括：
（1）在管网区域安装红外摄像机和可见光摄像机；
（2）调用红外摄像机采集无挖掘机情况下的红外背景图像；调用可见光摄像机采集无挖掘机情况下的可见光背景图像；
（3）利用所采集的红外背景图像和可见光背景图像分别建立红外背景图像库和可见光背景图像库。
S2.利用所述红外背景图像库建立管网区域的红外背景模型，具体包括：
利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻图像中每个像素点的像素值为X t ，则该时刻的高斯混合分布模型P（X t ）为：
高斯混合分布模型（GMM）可以将管网区域背景图像的每一个像素点按若干个高斯
分布的叠加来建模，每一种高斯分布都可以表示一种特定时刻的管网背景场景，多个高斯
分布模型混合使用就可以模拟出复杂场景中的多模态情形。上式中，k是高斯混合模型中高
斯概率密度函数的个数，k一般取值为3~5，在本实施例中取值为5，w k,t 为第k个高斯概率密
度函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域
内的积分之和为1；
是像素X t 在t时刻的第k个高斯概率密度函数，
是第k个高斯概率密度函数在t时刻的协方差矩阵，
是第k个高斯概率密度函数
在t时刻的样本均值。
S3.采集管网区域的红外实时监测图像，对红外实时监测图像和红外背景模型使用背景差分法处理，设E k (x,y)是二值化图像坐标处的像素值，A k 为实时监测图像中的第k帧图像，B k 为红外背景模型中的第k帧图像，(x,y)为图像中的坐标点，T是进行二值化处理所需要的阈值，背景差分后得到的“二值化”图像为：
S4.判断处理后的二值化图像是否具有面积符合挖掘机尺寸的高亮区域，如果不存在高亮区域或高亮区域面积不符合挖掘机尺寸，则返回步骤S3处理下一帧图像；如果高亮区域面积符合挖掘机尺寸，则转至S5；
S5.调用可见光摄像机采集管网区域的可见光实时监测图像，对可见光实时监测图像和可见光背景图像使用背景差分法处理，提取出感兴趣区域。通过红外监测图像的初步判断可以以较低计算资源排除大部分的常规情景，在检测到可疑图像时再启动占用资源较多的可见光摄像机和可见光图像处理流程。而基于可见光背景图库的背景差分法保留了大量颜色信息，提高了背景差分识别算法的准确率，通过红外背景图像及可见光背景图像的结合分析，在节省资源的基础上实现了识别算法的高准确率。
S6.使用卷积神经网络(CNN)对背景差分后提取的感兴趣区域进行图像分类，确定感兴趣区域是否为挖掘机。卷积神经网络模型的结构图如图3所示，依次包括输入层（InputLayer）、五个卷积层（Convolutional Layer）和输出层（Output Layer），五个卷积层从左至右依次为第一层到第五层，分别使用32、64、64、128、128个3*3大小的卷积核，通过多层叠加小卷积核，增强了模型容量和模型复杂度，并且减少了模型中参数的数量，加快训练和推理速度。每一个二维卷积层（Con2d Layer）依次连接一个激活层（Relu Layer）和一个批标准化层（BN Layer），构成卷积模块，如图4所示；每一个卷积层的激活函数采用修正线性单元（ReLU），使网络加入了非线性。此外，在ReLU激活函数之后执行批规一化，将其输出规范化至均值为0、方差为1的标准正态分布，以缓解网络训练中的梯度弥散和梯度爆炸，加快模型的训练速度。卷积神经网络模型的每一个卷积层后皆添加最大池化层（Pooling Layer），以减少特征图的尺寸。五层卷积层和池化层之后连接Flatten层（Flatten Layer）及全连接层（Fully Connected Layer），最后计算概率输出至输出层，在第三层、第四层、第五层和输出层采用Dropout技术。Dropout会随机丢弃一部分神经元及其连接，防止模型训练的过拟合。由于在训练过程中神经元的丢弃是随机的，因此每次训练都相当于处理一个全新的神经网络结构，显著提高卷积神经网络模型的泛化效果。利用上述设计的卷积神经网络模型，可以排除干扰因素引起的虚假检测，从而提高检测精度，精确判断感兴趣区域是否存在挖掘机。
对应于本实施例的挖掘机实时检测方法，本实施例还提供基于背景差分法和深度学习的挖掘机实时检测系统，其结构图如图2所示，所述系统包括：
太阳能电池板和蓄电池；太阳能电池板在白天对系统功能并向蓄电池储能，夜晚蓄电池放电，以供系统全天候运行。
红外摄像机，可见光摄像机，分别采集管网区域在无挖掘机情况下的红外背景图像和可见光背景图像。
CPU/GPU计算单元通过摄像机接口与红外摄像机和可见光摄像机连接，通过GPIO接口与IO板卡连接；CPU/GPU计算单元内设建模模块、分析模块、判断模块，以对图像进行处理；
建模模块，根据红外背景图像库使用高斯混合分布模型建立管网区域无挖掘机情况下的红外背景模型；
分析模块，根据红外背景模型对红外摄像机采集的红外实时监测图像进行基于背景差分法的红外图像识别，得到二值化图像；
判断模块，判断二值化图像是否具有面积符合挖掘机尺寸的高亮区域；若是，调用可见光摄像机采集管网区域的可见光实时监测图像并传递给第二分析模块；
分析模块还用于根据可见光实时监测图像对存储模块中的可见光背景图像库进行基于背景差分法的可见光图像识别并提取出感兴趣区域；
判断模块利用卷积神经网络模型对感兴趣区域进行图像分类以判断是否为挖掘机；卷积神经网络模型的结构图如图3所示，依次包括输入层（Input Layer）、五个卷积层（Convolutional Layer）和输出层（Output Layer），五个卷积层从左至右依次为第一层到第五层，分别使用32，64，64，128，128个3*3大小的卷积核，通过多层叠加小卷积核，增强了模型容量和模型复杂度，并且减少了模型中参数的数量，加快训练和推理速度。每一个二维卷积层（Con2d Layer）依次连接一个激活层（Relu Layer）和一个批标准化层（BN Layer），构成卷积模块，如图4所示；每一个卷积层的激活函数采用修正线性单元（ReLU），使网络加入了非线性。此外，在ReLU激活函数之后执行批规一化，将其输出规范化至均值为0、方差为1的标准正态分布，以缓解网络训练中的梯度弥散和梯度爆炸，加快模型的训练速度。卷积神经网络模型的每一个卷积层后皆添加最大池化层（Pooling Layer），以减少特征图的尺寸。五层卷积层和池化层之后连接Flatten层（Flatten Layer）及全连接层（FullyConnected Layer），最后计算概率输出至输出层，在第三层、第四层、第五层和输出层采用Dropout技术。Dropout会随机丢弃一部分神经元及其连接，防止模型训练的过拟合。由于在训练过程中神经元的丢弃是随机的，因此每次训练都相当于处理一个全新的神经网络结构，显著提高CNN模型的泛化效果。利用上述设计的CNN分类模型，可以排除干扰因素引起的虚假检测，从而提高检测精度，精确判断感兴趣区域是否存在挖掘机。
IO板卡上搭载有GPS和SIM模块，用于系统定位及与外部通信。
实施例二
本实施例的基于背景差分法和深度学习的挖掘机实时检测方法与实施例一的不同之处在于，如图5所示，还包括步骤S7：
S7.检测到挖掘机施工作业后发出警报信号，以通知巡线人员到施工现场进行保护，并使用可见光摄像机持续监测挖掘机，以随时掌握挖掘机位置或管网损坏区域。
另一方面，基于背景差分法和深度学习的挖掘机实时检测系统中，CPU/GPU计算模块还包括：
警报模块，调用可见光摄像机持续监测挖掘机，以随时掌握管网损坏区域或挖掘机位置并传输给巡线人员。
其他部分可以参考实施例一。
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。
Claims (4)
1.基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，包括步骤：
S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；
S2.利用所述红外背景图像库建立管网区域的红外背景模型；
S3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；
S4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤S3；
S5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机；
所述步骤S1，具体包括：
S10.在管网区域安装红外摄像机和可见光摄像机；
S11.红外摄像机采集管网区域在无挖掘机情况下的红外背景图像，可见光摄像机采集管网区域在无挖掘机情况下的可见光背景图像；
S12.利用红外背景图像建立红外背景图像库，利用可见光背景图像建立可见光背景图像库；
所述步骤S2，具体包括：
利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻图像中每个像素点的像素值为Xt，所述高斯混合分布模型P(Xt)为
上式中K是高斯混合模型中高斯概率密度函数的个数，wk,t是第k个高斯概率密度函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内的积分之和为1；η(Xt,μk,t,∑k,t)是像素Xt在t时刻的第k个高斯概率密度函数，∑k,t是第k个高斯概率密度函数在t时刻的协方差矩阵，μk,t是第k个高斯概率密度函数在t时刻的样本均值；
所述二值化图像为：
上式中Ek(x,y)是二值化图像坐标处的像素值，T是进行二值化处理所需要的阈值，Ak(x,y)及Bk(x,y)分别是红外实时监测图像和红外背景模型在(x,y)处的像素值；
所述卷积神经网络模型包括五层卷积层，分别使用32、64、64、128、128个3*3大小的卷积核；
所述卷积层的激活函数采用修正线性单元，在修正线性单元激活函数之后执行批规一化，将其输出规范化到均值为0、方差为1的标准正态分布；
在所述卷积神经网络模型的每一个卷积层后皆添加最大池化层，并在第三层、第四层、第五层和输出层采用Dropout技术。
2.根据权利要求1所述的基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，还包括步骤：
S6.检测到挖掘机后，发出警报信号。
3.基于背景差分法和深度学习的挖掘机实时检测系统，应用如权利要求1所述的挖掘机实时检测方法，其特征在于，所述挖掘机实时检测系统包括：
红外摄像机，用于采集管网区域的红外图像，以建立无挖掘机情况下的红外背景图像库及获取红外实时监测图像；
可见光摄像机，用于采集管网区域的可见光图像，以建立无挖掘机情况下的可见光背景图像库及获取可见光实时监测图像；
建模模块，用于根据所述红外背景图像库建立红外背景模型；
分析模块，用于对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；
判断模块，用于判断所述二值化图像是否有符合挖掘机尺寸的高亮区域；若是，则调用所述可见光摄像机获取管网区域的可见光实时监测图像；
所述分析模块还用于对所述可见光实时监测图像和所述可见光背景图像库进行背景差分，提取感兴趣区域；
所述判断模块还用于利用卷积神经网络模型对所述感兴趣区域进行图像分类，确定所述感兴趣区域是否为挖掘机。
4.根据权利要求3所述的基于背景差分法和深度学习的挖掘机实时检测系统，其特征在于，还包括：
警报模块，用于在检测到挖掘机时执行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440477.7A CN111340149B (zh) | 2020-05-22 | 2020-05-22 | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440477.7A CN111340149B (zh) | 2020-05-22 | 2020-05-22 | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340149A CN111340149A (zh) | 2020-06-26 |
| CN111340149B true CN111340149B (zh) | 2021-02-02 |
Family
ID=71186444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010440477.7A Active CN111340149B (zh) | 2020-05-22 | 2020-05-22 | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340149B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539395A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 一种基于光流法和支持向量机的挖掘机实时检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739550B (zh) * | 2009-02-11 | 2012-02-22 | 北京智安邦科技有限公司 | 运动目标检测方法及系统 |
| CN102739963B (zh) * | 2012-06-06 | 2016-01-27 | 山东神戎电子股份有限公司 | 一种昼夜两用型高温移动目标检测报警系统及检测方法 |
| CN109035232A (zh) * | 2018-07-24 | 2018-12-18 | 桂林电子科技大学 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
| CN110163836B (zh) * | 2018-11-14 | 2021-04-06 | 宁波大学 | 基于深度学习用于高空巡检下的挖掘机检测方法 |
-
2020
- 2020-05-22 CN CN202010440477.7A patent/CN111340149B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340149A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816695A (zh) | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN112149591B (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及系统 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN114299011A (zh) | 一种基于深度学习的遥感目标四边形框快速检测方法 | |
| CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
| CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
| CN115690564A (zh) | 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 | |
| CN116206223A (zh) | 一种基于无人机边缘计算的火灾检测方法及系统 | |
| CN115512387A (zh) | 基于改进yolov5模型的工地安全帽佩戴检测方法 | |
| CN115841629A (zh) | 一种基于卷积神经网络的sar图像舰船检测方法 | |
| CN111340149B (zh) | 基于背景差分法和深度学习的挖掘机实时检测方法和系统 | |
| Zhang et al. | An improved lightweight yolo-fastest V2 for engineering vehicle recognition fusing location enhancement and adaptive label assignment | |
| CN117423064A (zh) | 一种基于视觉的矿井低照度小目标人员检测方法和装置 | |
| CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| CN112101134A (zh) | 物体的检测方法及装置、电子设备和存储介质 | |
| CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
| CN117058620A (zh) | 一种城市内涝受灾状态监测方法及系统 | |
| CN116612413A (zh) | 一种基于改进YOLOv5和数据增强的停车场烟火检测方法、装置及存储介质 | |
| CN115171006B (zh) | 基于深度学习的自动识别人员进入电力危险区的检测方法 | |
| Sun et al. | YOLOv7-FIRE: A tiny-fire identification and detection method applied on UAV | |
| CN111988506B (zh) | 补光方法及装置、电子设备及存储介质 | |
| CN116106899B (zh) | 一种基于机器学习的港口航道小目标识别方法 | |
| CN113971755B (zh) | 基于改进yolov3模型的全天候海面目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231227 Address after: No. 1751 Binsheng Road, Binjiang District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Zhejiang Provincial Natural Gas Development Co.,Ltd. Patentee after: ZHEJIANG ENERGY GROUP CO.,LTD. Patentee after: ZHEJIANG University Address before: Zheneng second building, 1751 Binsheng Road, Binjiang District, Hangzhou City, Zhejiang Province 310052 Patentee before: ZHEJIANG ZHENENG NATURAL GAS OPERATION CO.,LTD. Patentee before: ZHEJIANG ENERGY GROUP CO.,LTD. Patentee before: ZHEJIANG University |
|
| TR01 | Transfer of patent right |