CN116895036A - 一种基于深度学习的耕地保护预警方法及装置 - Google Patents

一种基于深度学习的耕地保护预警方法及装置 Download PDF

Info

Publication number
CN116895036A
CN116895036A CN202310859823.9A CN202310859823A CN116895036A CN 116895036 A CN116895036 A CN 116895036A CN 202310859823 A CN202310859823 A CN 202310859823A CN 116895036 A CN116895036 A CN 116895036A
Authority
CN
China
Prior art keywords
early warning
image
target detection
attention
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310859823.9A
Other languages
English (en)
Inventor
何利文
步洪禧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310859823.9A priority Critical patent/CN116895036A/zh
Publication of CN116895036A publication Critical patent/CN116895036A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的耕地保护预警方法及装置，包括：根据采集到的视频截取多帧图像；利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果；根据每帧图像的目标检测结果计算每帧图像的预警率；根据所有图像的预警率和预设的预警阈值进行耕地保护预警；其中，目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测；优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。本发明能够精准、实时的识别出监测耕地区域内出现的目标，并通过合理的判断逻辑进行耕地保护预警。

Description

一种基于深度学习的耕地保护预警方法及装置
技术领域
本发明涉及一种基于深度学习的耕地保护预警方法及装置，属于国土资源信息监控技术领域。
背景技术
随着我国经济的迅猛发展，土地供需矛盾日益突出，违法建筑占用耕地、农村占用基本农田建房、非法审批占用耕地和耕地非粮化等现象屡禁不止。耕地的保护与监测，关系到经济社会的可持续发展、国家的粮食安全，因此必须对耕地相关的国土资源信息进行严格监控。
针对国土资源的监控可以分为从国家层面进行的宏观监管以及涉及到区域性的微观监管。宏观监管主要关注整个国家或地区的土地利用情况。在宏观层面，目前主要借助卫星遥感监测技术监测土地利用变化情况。卫星遥感监测技术可以提供广泛的地表观测信息，通过不同时间点的卫星图像对比，可以监测土地利用类型的改变、土地面积的增减以及土地利用结构的变化。这种方法通常由国家监管机构负责，用于追踪和评估全国范围内的土地利用状况。而卫星遥感监测技术普遍计算较复杂，效率不高，实时性较差。微观监管是对特定区域或目标的土地利用进行精细化监测和管理，这种监管一般由地方政府、农业部门或土地管理机构负责。在微观层面，视频图像分析成为一种常用的方法。通过监控摄像头或无人机获得的视频数据，结合图像处理和计算机视觉技术，可以实时识别和跟踪目标耕地区域的面积，然后根据目标耕地区域的面积变化判断违法占用情况。这种方法可以提供更详细、更准确的数据，帮助监管机构发现耕地非法占用、违规种植或其他违法行为。
目前，基于视频进行耕地识别、保护预警的方法有很多，但是受到耕地图像的复杂性、耕地非法占用相关目标的多样性等的影响，现有的视频识别方法的识别精度不足，很容易出现失误，因此，需要对视频识别方法进行优化，从而更准确、及时的进行耕地保护预警。
此外，现有的卫星遥感监测技术和视频监控系统大都是通过耕地面积变化来判断是否存在耕地占用，这种监测技术只能在违建及耕地占用行为发生后进行识别和预警，难以在违建及耕地占用行为发生时进行识别和预警，导致耕地保护预警的实时性不够，造成了不必要的损失，耕地保护能力较弱。
发明内容
本发明的目的在于提出一种基于深度学习的耕地保护预警方法及装置，旨在将深度学习领域的目标检测技术运用到视频监控方式中，通过优化后的算法模型精准、实时的识别出监测耕地区域内出现的可能会导致耕地占用、耕地破坏的目标，并通过合理的判断逻辑进行耕地保护预警，实现对耕地的实时保护。
为解决上述技术问题，本发明采用了如下技术手段：
第一方面，本发明提出了一种基于深度学习的耕地保护预警方法，包括如下步骤：
根据采集到的视频截取多帧图像；
利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果；
根据每帧图像的目标检测结果计算每帧图像的预警率；
根据所有图像的预警率和预设的预警阈值进行耕地保护预警；
其中，所述目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测；
所述优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。
结合第一方面，进一步的，利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果，包括：
通过所述骨干网络内的全维动态卷积模块对输入图像进行卷积处理，得到输入图像的初始特征图；
在所述ACmix注意力模块中，对所述初始特征图进行投影，并重塑后得到中间特征；通过卷积注意力分支和自注意力分支分别处理所述中间特征，并将卷积注意力分支和自注意力分支的输出相加，得到所述ACmix注意力模块的输出特征图；
根据所述ACmix注意力模块的输出特征图，利用模型分类器从输入图像识别目标，得到输入图像的目标检测结果，所述目标检测结果包括目标数量、目标类别和目标置信度。
结合第一方面，进一步的，通过卷积注意力分支处理所述中间特征，包括：将所述中间特征输入全连接层，生成k2个特征映射，对映射后特征进行移位和聚合；
所述卷积注意力分支的表达式如下：
其中，Kp，q为卷积核K中核位置(p，q)对应的核权重，p,q∈[1,k]，k为核尺寸，fmn为中间特征的映射F中对应像素(m，n)的特征张量，为fmn在核位置(p，q)处投影得到的特征张量，/>表示将/>根据核位置(p，q)进行平移后的特征张量，gmn(conv)表示将不同核位置(p，q)的/>聚合后得到的特征张量。
结合第一方面，进一步的，通过自注意力分支处理所述中间特征，包括：将中间特征投影为查询、键和值，对查询和键的投影矩阵进行注意力权重计算，并与值的投影矩阵聚合；
所述自注意力分支的表达式如下：
其中，gmn(att)为自注意力分支的输出特征，Nk(m，n)表示以像素(m，n)为中心、像素空间范围为k的局部区域，k为核尺寸，分别为查询、键和值的投影矩阵，fmn为中间特征的映射F中对应像素(m，n)的特征张量，fab为局部区域Nk(m，n)中位置(a,b)的特征向量。
结合第一方面，进一步的，根据每帧图像的目标检测结果计算每帧图像的预警率，包括：
根据所述目标检测结果中的目标类别获取每个目标对应的权重系数；
根据所述目标检测结果中的目标数量、目标置信度和每个目标对应的权重系数，计算每帧图像的预警率，计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值。
结合第一方面，进一步的，根据所有图像的预警率和预设的预警阈值进行耕地保护预警，包括：
根据所有图像的预警率计算本次检测的最终检测预警率
其中，为最终检测预警率，Pz为第z个图像的预警率，z＝1，2，...，w，w为输入目标检测模型的图像总数；
将最终检测预警率与预警阈值比较，如果最终检测预警率高于预警阈值，则进行耕地保护预警，将预警信息上传到服务器中；如果最终检测预警率不高于预警阈值，则不进行耕地保护预警。
结合第一方面，进一步的，所述目标检测模型的训练方法为：
获取人工标注的训练集；
将训练集中的图像输入到目标检测模型中，通过优化后的YOLOv7算法对输入图像进行目标检测，输出每一张图像的目标检测结果；
根据输入图像的目标检测结果与训练集中人工标注的目标，利用Varifocal Loss函数计算当前模型损失值；
根据当前模型损失值更新目标检测模型的参数，并进行下一轮训练，直至满足训练终止条件，得到训练好的目标检测模型。
第二方面，本发明提出了一种基于深度学习的耕地保护预警装置，包括：
采集模块，用于根据采集到的视频截取多帧图像；
目标检测模块，用于利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果；
预警率计算模块，用于根据每帧图像的目标检测结果计算每帧图像的预警率；
预警模块，用于根据所有图像的预警率和预设的预警阈值进行耕地保护预警；
在所述目标检测模块中，所述目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测；所述优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。
结合第二方面，进一步的，所述目标检测模块具体用于：
通过所述骨干网络内的全维动态卷积模块对输入图像进行卷积处理，得到输入图像的初始特征图；
在所述ACmix注意力模块中，对所述初始特征图进行投影，并重塑后得到中间特征；通过卷积注意力分支和自注意力分支分别处理所述中间特征，并将卷积注意力分支和自注意力分支的输出相加，得到所述ACmix注意力模块的输出特征图；
根据所述ACmix注意力模块的输出特征图，利用模型分类器从输入图像识别目标，得到输入图像的目标检测结果，所述目标检测结果包括目标数量、目标类别和目标置信度。
结合第二方面，进一步的，所述预警率计算模块具体用于：
根据所述目标检测结果中的目标类别获取每个目标对应的权重系数；
根据所述目标检测结果中的目标数量、目标置信度和每个目标对应的权重系数，计算每帧图像的预警率，计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值。
采用以上技术手段后可以获得以下优势：
本发明提出了一种基于深度学习的耕地保护预警方法及装置，本发明利用基于优化后的YOLOv7算法的目标检测模型进行目标检测，通过全维动态卷积模块提高算法对多个维度特征的提取能力，通过ACmix注意力模块更好地捕捉长期依赖关系和局部特征，快速查找图像中的小目标，从而提高目标检测模型的适应性、灵活性和准确性，实现更好的目标检测性能。本发明将基于深度学习的目标检测技术与视频监控相结合，能够捕捉与耕地占用、破坏相关的目标，再基于目标检测结果判断耕地占用情况，进行耕地保护预警，进而提高耕地保护的实时性和准确性，提高耕地保护能力。
附图说明
图1为本发明一种基于深度学习的耕地保护预警方法的步骤流程图；
图2为本发明实施例中优化后的YOLOv7算法的网络结构示意图；
图3为本发明实施例中目标检测模型的构建过程示意图；
图4为本发明实施例中ODConv模块的结构示意图；
图5为本发明实施例中ACmix注意力模块的结构示意图；
图6为本发明实施例中人工标注的样本的示意图；
图7为本发明实施例中目标检测结果的示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
实施例1：
本实施例介绍一种基于深度学习的耕地保护预警方法，如图1所示，具体包括如下步骤：
步骤A、根据采集到的视频截取多帧图像。
在本发明实施例中，为所要进行监测的区域安装摄像头，并保证每个摄像头通过旋转不同的角度可以覆盖到一个或多个监测区域，每个摄像头拍摄监测区域的角度称为预摄位。本发明读取摄像头在预摄位拍摄的视频，并将视频中每帧图像截取出来，得到多帧图像数据。
在本发明实施例中，为了实现更好的视频采集效果，本发明根据实际业务的需求以及现有的硬件资源，为每个摄像头设置预摄位切换的时间间隔、拍摄视频的时间间隔。本发明还预先设置了每一个预摄位所要检测的具体区域、检测的目标类别；在本发明中，目标主要包括挖掘机、推土机、渣土车、吊车等工程车辆，简易工棚与低矮建筑等构筑物，建筑材料、垃圾等堆放物，坑塘、施工围挡、硬化路面、以及在建的建筑物，等等。
本发明还预设检测目标置信度的阈值、检测目标数量的阈值等，以便在后续的目标检测过程中使用。
本发明在各个监控区域内不止摄像头并设置摄像相关参数，有规律的进行耕地保护监控，既不需要监测人员频繁巡查，又不需要无人机等昂贵设备，就能实现监测区域的实时、全面监控，解放了人力与物力，解决了人工巡查方式发现过程周期较长的问题。本发明可以适应不同硬件资源下的场景识别，能够在降低成本的同时缩短检测周期，为后续目标检测提供丰富、可靠、实时的图像数据。
步骤B、利用训练后的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果，目标检测结果包括检测到的目标数量、目标类别和目标置信度等。
在本发明实施例中，目标检测模型采用对现有的YOLOv7算法进行改进得到的优化后的YOLOv7算法进行目标检测，优化后的YOLOv7算法的优化内容主要包括3个方面：1、在骨干网络中加入全维动态卷积；2、注意力机制采用ACmix注意力模块；3、损失函数采用Varifocal Loss函数。优化后的YOLOv7算法的网络结构如图2所示，目标检测模型的构建过程如图3所示。
下面本发明实施例对优化后的YOLOv7算法的3个优化内容进行详细解释：
1、为了提高目标检测模型的性能，本发明将现有的YOLOv7骨干网络结构中的一部分卷积结构替换为全维动态卷积(Omni-Dimensional Dynamic Convolution,ODConv)模块。传统的动态卷积方法只能在一个维度上(即卷积核数量)赋予卷积核动态属性，而忽略了另外三个维度(即空间大小、输入通道数和输出通道数)，而ODConv可以在所有四个维度上学习互补的注意力，并将这些注意力逐步应用于相应的卷积核中。本发明ODConv加入到骨干网络中，将可以显著增强CNN的基本卷积操作的特征提取能力，与传统动态卷积相比，ODConv具有更高的灵活性和更好的性能。
ODConv模块的结构如图4所示，在ODConv中，对于卷积核Wi(i∈[1,r])：(1)αsi在k×k个空间位置为每个滤波器的卷积参数分配不同的注意标量；(2)αci为所有卷积滤波器的cin通道分配不同的注意标量；(3)αfi为cout卷积滤波器分配不同的注意标量；(4)αwi为整个卷积核分配一个注意标量。这四种类型的注意力机制是互补的，并按照位置、通道、滤波器和核的顺序逐步将它们乘以卷积核Wi，使得卷积操在所有空间位置、所有输入通道、所有过滤器和输入x的所有核上都是不同，为捕获丰富的上下文线索提供了性能保证。
ODConv对于动态卷积的定义如下所示：
y＝(aw1⊙af1⊙ac1⊙as1⊙W1+...+awr⊙afr⊙acr⊙asr⊙Wr)*x (1)
其中，x为全维动态卷积模块的输入，y为全维动态卷积模块的输出，αwi∈R表示对卷积核Wi的注意标量，αsi∈Rk×k表示对k×k卷积核空间上的注意力，表示对输入通道的注意力，/>表示对输出通道的注意力，r为预设的正整数，Ra×b为包含a行和b列的实数矩阵。
2、由于数据集是通过监控摄像头采集的，因此受天气和距离等因素的影响，小目标的出现频率较高。为了让网络更好地关注小目标，本发明引入了ACmix注意力模块，这种注意力机制将自注意力和卷积模块结合起来，能够更好地捕捉长期依赖关系和局部特征，从而提高模型性能。引入ACmix注意力机制后，可以使优化后的YOLOv7网络结构更加灵活和适应性更强。此外，ACmix注意力模块采用1x1卷积操作来生成中间特征，并在不同范式下重复使用和聚合这些特征，从而避免了昂贵的重复投影操作，可以降低计算成本并提高推理速度。
在优化后的YOLOv7算法中，如图5所示，ACmix注意力模块通过3个1×1卷积对输入特征进行投影，然后重塑为N个片段，得到包含3×N个特征映射的一组丰富的中间特征，之后通过两个分支分别对中间特征进行处理，在保留原始特征的同时，通过对它们进行不同角度的变换，提取更多的特征信息。
在卷积注意力分支中：
将中间特征输入到卷积注意力分支中，3×3卷积的输入可以分解为移位特征映射的总和，每个移位特征映射可以通过某一位置的核权值进行1×1卷积得到的。对于卷积核大小为k的卷积路径，采用轻量级全连接层生成k2个特征映射，通过对生成的特征进行移位和聚合，对输入特征进行卷积处理，并像传统的一样从局部感受野收集信息，得到卷积注意力分支的输出特征。
在卷积注意力分支中，采用核为的标准卷积，其中，k为核尺寸，cin、cout分别为卷积的输入通道尺寸、输出通道尺寸，则卷积注意力分支的卷积公式为：
其中，Kp，q为卷积核K中核位置(p，q)对应的核权重，p,q∈[1,k]，fmn为中间特征的映射F中对应像素(m，n)的特征张量，为fmn在核位置(p，q)处投影得到的特征张量，h、w分别为特征图的高度和宽度。/>表示将根据核位置进行平移后的特征张量，gmn(conv)表示将不同核位置(p，q)的/>聚合后得到的特征张量。
将不同像素位置的特征张量组合在一起可以得到卷积注意力分支的输出特征图
在自注意力分支中：
通过自注意力分支重组中间特征，将其分成N组，每组包含3个特征，每个特征来自1×1卷积，将输入特征投影为查询(query)、键(key)和值(value)，再进行注意力权重的计算和值矩阵的聚合操作，从而收集局部特征。自注意力公式如下:
其中，gmn(att)为自注意力分支的输出特征，分别是查询、键和值的投影矩阵，Nk(m，n)表示以像素(m，n)为中心、像素空间范围为k的局部区域，fab为Nk(m，n)中位置(a,b)的特征向量，/>是对应于Nk(m，n)内特征的注意力权重。
在自注意力分支中，查询和键在注意力机制中的匹配相似度决定了值所分配的注意力权重的大小。
将卷积注意力分支和自注意力分支的输出相加得到本发明ACmix注意力模块的输出特征，其强度由两个可学习标量α和β控制，具体公式如下：
gmn＝αgmn(conv)+βgmn(att) (6)
其中，gmn表示ACmix注意力模块的输出特征，参数α和β的值均为1。
3、为了进一步提高YOLOv7模型的性能，本发明将原有的Focal Loss损失函数替换为Varifocal Loss。相比Focal Loss，Varifocal Loss具有更好的适应性，因为它的焦点因子是可学习的，能够更好地适应不同的数据分布和难度分布，从而提高模型的泛化能力。此外，Varifocal Loss还采用了一种新的正则化策略，用于减少误差积累的影响，从而提高模型的稳定性和准确性。同时，在计算损失函数时，Varifocal Loss也更好地平衡了正样本和负样本，从而提高了模型的性能。
考虑到本发明是对耕地保护相关的目标进行检测，目标类别多且不平衡，本发明利用Varifocal Loss函数作为优化后的YOLOv7算法的损失函数，可以提高目标检测模型的性能和稳定性。
在本发明实施例中，Varifocal Loss函数定义如下所示：
其中，t为预测的IACS(IoU-awar classification score)评分，s为目标评分，δ为可调比例因子，γ为缩放因子。对于训练的正样本，将s设置为生成的边界框和gt_IoU之间的IoU值；然而，对于背景点，所有类的目标s设为0，通过缩放因子γ的调整，来减少负样本的影响。为了平衡正例和负例之间的损耗，在负损耗项中添加了一个可调比例因子δ。
在步骤B中，目标检测模型的训练方法如下：
(1)获取每个摄像头在不同预摄位下拍摄的不同季节的视频，将视频中每帧图像截取出来，通过人工对截取到的视频图像进行标注，将每一帧图像中所需检测的目标用矩形框标注，构成样本集，如图6所示。在本发明实施例中，每个目标类别的样本数量(图像数量)应不低于4000张，以保证模型精度。
按照8:1:1的比例将样本集随机划分为训练集、验证集和测试集。
(2)设置训练参数：训练轮数为200轮，一次训练所选取图像数量设置为16张，学习率设置为0.001。
(3)将训练集中的图像按每次16张输入目标检测模型。
(4)在目标检测模型中，通过优化后的YOLOv7算法对输入图像进行目标检测，输出每一张图像目标检测结果。具体的，通过骨干网络中的全维动态卷积对输入图像进行特征提取；再利用ACmix注意力模块从骨干网络输出的特征图中获得一组丰富的中间特征，然后根据不同范式，即分别以自注意和卷积方式重用和聚合中间特征，从而捕获到更多的信息特征，得到ACmix注意力模块的输出特征图；最终根据特征图，通过模型分类器检测出每一张图像中的目标。
(5)根据训练集中人工标注的目标和目标检测模型输出的目标，利用损失函数计算当前的模型损失值，根据当前模型损失值更新模型参数，并返回步骤(3)，继续进行下一轮训练，直至满足训练终止条件。在本发明中训练终止条件可以是到达最大训练轮数(200轮)，也可以是模型损失值达到预设阈值。
在本发明实施例中，将训练后的目标检测模型运用到实际场景的检测中，对实际截取的每帧图像进行检测，得到每帧图像的目标检测结果，如图7所示。
为了进一步提高模型精度，本发明可以在每次检测完新的图像之后，无论检测结果正确与否，人工都再次参与标定修改，将标定修改后的新图像数据作为新的训练数据，对目标检测模型进行训练，如此不断迭代，形成检测精度更高的模型。
步骤C、根据每帧图像的目标检测结果计算每帧图像的预警率。
本发明根据实际场景的需要，为挖掘机、推土机、坑塘、施工围挡等目标设置相应的权重系数。利用步骤B对步骤A中采集到的图像进行目标检测，获取每一帧图像对应的目标检测结果，根据检测到的目标类别获取该目标对应的权重系数，根据目标数量、目标置信度和对应的权重系数计算每一帧图像的预警率，具体计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值，T是根据经验设置的值。
步骤D、根据所有图像的预警率和预设的预警阈值进行耕地保护预警。本发明可以根据预设的时间间隔拍摄视频，从该视频中采集到一段连续时间内连续帧图像，然后根据所有图像的预警率计算本次检测的最终检测预警率，将最终检测预警率与预警阈值比较，如果最终检测预警率高于预警阈值，则说明存在耕地占用、耕地破坏情况，进行耕地保护预警，将预警信息(包括视频数据、耕地坐标、目标检测结果等)上传到服务器中，通知相关的监测人员作出进一步判断，如果最终检测预警率不高于预警阈值，则说明不存在耕地占用、耕地破坏情况，不进行耕地保护预警。
在步骤D中，最终检测预警率的计算公式如下：
其中，为最终检测预警率，w为输入目标检测模型的图像总数。
在本发明实施例中，将ODConv模块的定义写到common.py文件中，并在yolo.py文件中的parse_model函数中相应位置加入ODConv模块；将ACmix注意力机制的定义写到common.py文件中，并在yolo.py文件中的parse_model函数中相应位置加入ACmix注意力机制；将Varifocal Loss损失函数模块的定义写到loss.py文件中，并在loss.py文件中把原本调用的FocalLoss都换成Varifocal Loss，共8处替换。本发明可以按照图2的网络结构编写模型配置文件yolov7_change.yaml，修改YOLOv7中的detect.py，结合YOLOv7网络输出的特征，封装为一个检测函数，编写接口文件，外部调用时，其内部调用检测函数对目标进行检测，并收集检测出目标的图像。
实施例2：
与实施例1基于相同的发明构思，本实施例介绍一种基于深度学习的耕地保护预警装置，包括采集模块、目标检测模块、预警率计算模块和预警模块。
本发明装置通过采集模块采集需要监控的耕地区域的视频，并从采集的视频中截取多帧图像，作为目标检测对象。
目标检测模块主要用于利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果。
在本发明实施例中，目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测。优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。
目标检测模块的具体操作如下：通过所述骨干网络内的全维动态卷积模块对输入图像进行卷积处理，得到输入图像的初始特征图；在所述ACmix注意力模块中，对所述初始特征图进行投影，并重塑后得到中间特征；通过卷积注意力分支和自注意力分支分别处理所述中间特征，并将卷积注意力分支和自注意力分支的输出相加，得到所述ACmix注意力模块的输出特征图；根据所述ACmix注意力模块的输出特征图，利用模型分类器从输入图像识别目标，得到输入图像的目标检测结果，所述目标检测结果包括目标数量、目标类别和目标置信度。
预警率计算模块用于根据每帧图像的目标检测结果计算每帧图像的预警率，具体的，根据所述目标检测结果中的目标类别获取每个目标对应的权重系数；根据所述目标检测结果中的目标数量、目标置信度和每个目标对应的权重系数，计算每帧图像的预警率，计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值。
预警模块用于根据所有图像的预警率和预设的预警阈值进行耕地保护预警。根据所有图像的预警率计算本次检测的最终检测预警率，将最终检测预警率与预警阈值比较，如果最终检测预警率高于预警阈值，则说明存在耕地占用、耕地破坏情况，进行耕地保护预警，将预警信息(包括视频数据、耕地坐标、目标检测结果等)上传到服务器中，通知相关的监测人员作出进一步判断，如果最终检测预警率不高于预警阈值，则说明不存在耕地占用、耕地破坏情况，不进行耕地保护预警。
综上，本发明提出了一种优化后的YOLOv7算法和一种全新的判断逻辑，通过优化后的YOLOv7算法可以提高目标检测模型的检测精度，从图像中检测出更多与耕地占用、破坏相关的目标，为后续的分析判断提高可靠依据。本发明在检测出的目标的基础上使用全新的判断逻辑进行耕地保护判断，分析是否存在耕地占用、破坏情况，由于本发明检测的目标包括一些施工相关的目标，如挖掘机、简易工棚、建筑材料，所以本发明能够识别出正在进行的耕地占用、破坏行为，及时进行预警，提高工地保护的实时性。
本发明对现有的YOLOv7算法进行改进：1、通过全维动态卷积模块学习多个维度上的特征，提高图像特征提取能力，避免因初始特征提取不足影响模型检测性能；2、通过ACmix注意力模块更快的聚焦输入图像中的小目标，提高目标检测的准确性；3、通过Varifocal Loss函数帮助模型训练，减小误差积累的影响，提高模型的适应性和检测性能。本发明通过优化后的YOLOv7算法检测视频图像中的目标，实现了深度学习领域的目标检测技术与视频监控的结合，能够有效提高目标检测的准确度和速度，进而实现实时、可靠的耕地保护预警。在本发明中，考虑到可疑目标出现在监控内可能存在路过、暂停、施工等多种复杂情况，为了避免此类情况导致的目标检测结果造成错误预警，本发明利用一段时间内多幅图像的目标检测结果进行预警判断，从而提高耕地保护预警的合理性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的耕地保护预警方法，其特征在于，包括如下步骤：
根据采集到的视频截取多帧图像；
利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果；
根据每帧图像的目标检测结果计算每帧图像的预警率；
根据所有图像的预警率和预设的预警阈值进行耕地保护预警；
其中，所述目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测；
所述优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。
2.根据权利要求1所述的一种基于深度学习的耕地保护预警方法，其特征在于，利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果，包括：
通过所述骨干网络内的全维动态卷积模块对输入图像进行卷积处理，得到输入图像的初始特征图；
在所述ACmix注意力模块中，对所述初始特征图进行投影，并重塑后得到中间特征；通过卷积注意力分支和自注意力分支分别处理所述中间特征，并将卷积注意力分支和自注意力分支的输出相加，得到所述ACmix注意力模块的输出特征图；
根据所述ACmix注意力模块的输出特征图，利用模型分类器从输入图像识别目标，得到输入图像的目标检测结果，所述目标检测结果包括目标数量、目标类别和目标置信度。
3.根据权利要求2所述的一种基于深度学习的耕地保护预警方法，其特征在于，通过卷积注意力分支处理所述中间特征，包括：将所述中间特征输入全连接层，生成k2个特征映射，对映射后特征进行移位和聚合；
所述卷积注意力分支的表达式如下：
其中，Kp，q为卷积核K中核位置(p，q)对应的核权重，p，q∈[1，k]，k为核尺寸，fmn为中间特征的映射F中对应像素(m，n)的特征张量，为fmn在核位置(p，q)处投影得到的特征张量，/>表示将/>根据核位置(p，q)进行平移后的特征张量，gmn(conv)表示将不同核位置(p，q)的/>聚合后得到的特征张量。
4.根据权利要求2所述的一种基于深度学习的耕地保护预警方法，其特征在于，通过自注意力分支处理所述中间特征，包括：将中间特征投影为查询、键和值，对查询和键的投影矩阵进行注意力权重计算，并与值的投影矩阵聚合；
所述自注意力分支的表达式如下：
其中，gmn(att)为自注意力分支的输出特征，Nk(m，n)表示以像素(m，n)为中心、像素空间范围为k的局部区域，k为核尺寸，分别为查询、键和值的投影矩阵，fmn为中间特征的映射F中对应像素(m，n)的特征张量，fab为局部区域Nk(m，n)中位置(a，b)的特征向量。
5.根据权利要求1所述的一种基于深度学习的耕地保护预警方法，其特征在于，根据每帧图像的目标检测结果计算每帧图像的预警率，包括：
根据所述目标检测结果中的目标类别获取每个目标对应的权重系数；
根据所述目标检测结果中的目标数量、目标置信度和每个目标对应的权重系数，计算每帧图像的预警率，计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值。
6.根据权利要求1所述的一种基于深度学习的耕地保护预警方法，其特征在于，根据所有图像的预警率和预设的预警阈值进行耕地保护预警，包括：
根据所有图像的预警率计算本次检测的最终检测预警率
其中，为最终检测预警率，Pz为第z个图像的预警率，z＝1，2，...，w，w为输入目标检测模型的图像总数；
将最终检测预警率与预警阈值比较，如果最终检测预警率高于预警阈值，则进行耕地保护预警，将预警信息上传到服务器中；如果最终检测预警率不高于预警阈值，则不进行耕地保护预警。
7.根据权利要求1所述的一种基于深度学习的耕地保护预警方法，其特征在于，所述目标检测模型的训练方法为：
获取人工标注的训练集；
将训练集中的图像输入到目标检测模型中，通过优化后的YOLOv7算法对输入图像进行目标检测，输出每一张图像的目标检测结果；
根据输入图像的目标检测结果与训练集中人工标注的目标，利用Varifocal Loss函数计算当前模型损失值；
根据当前模型损失值更新目标检测模型的参数，并进行下一轮训练，直至满足训练终止条件，得到训练好的目标检测模型。
8.一种基于深度学习的耕地保护预警装置，其特征在于，包括：
采集模块，用于根据采集到的视频截取多帧图像；
目标检测模块，用于利用训练好的目标检测模型对截取的每帧图像进行检测，得到每帧图像的目标检测结果；
预警率计算模块，用于根据每帧图像的目标检测结果计算每帧图像的预警率；
预警模块，用于根据所有图像的预警率和预设的预警阈值进行耕地保护预警；
在所述目标检测模块中，所述目标检测模型通过优化后的YOLOv7算法对每帧图像进行目标检测；所述优化后的YOLOv7算法的优化内容包括：在骨干网络中加入全维动态卷积模块；注意力机制采用ACmix注意力模块；损失函数采用Varifocal Loss函数。
9.根据权利要求8所述的一种基于深度学习的耕地保护预警装置，其特征在于，所述目标检测模块具体用于：
通过所述骨干网络内的全维动态卷积模块对输入图像进行卷积处理，得到输入图像的初始特征图；
在所述ACmix注意力模块中，对所述初始特征图进行投影，并重塑后得到中间特征；通过卷积注意力分支和自注意力分支分别处理所述中间特征，并将卷积注意力分支和自注意力分支的输出相加，得到所述ACmix注意力模块的输出特征图；
根据所述ACmix注意力模块的输出特征图，利用模型分类器从输入图像识别目标，得到输入图像的目标检测结果，所述目标检测结果包括目标数量、目标类别和目标置信度。
10.根据权利要求8所述的一种基于深度学习的耕地保护预警装置，其特征在于，所述预警率计算模块具体用于：
根据所述目标检测结果中的目标类别获取每个目标对应的权重系数；
根据所述目标检测结果中的目标数量、目标置信度和每个目标对应的权重系数，计算每帧图像的预警率，计算公式如下：
其中，Pz为第z个图像的预警率，cze为第z个图像中检测到的第e个目标的置信度，wze为第z个图像中第e个目标的权重系数，hz为第z个图像中检测到的目标的总数，T为图像中检测到的目标数量的阈值。
CN202310859823.9A 2023-07-12 2023-07-12 一种基于深度学习的耕地保护预警方法及装置 Pending CN116895036A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310859823.9A CN116895036A (zh) 2023-07-12 2023-07-12 一种基于深度学习的耕地保护预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310859823.9A CN116895036A (zh) 2023-07-12 2023-07-12 一种基于深度学习的耕地保护预警方法及装置

Publications (1)

Publication Number Publication Date
CN116895036A true CN116895036A (zh) 2023-10-17

Family

ID=88311828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310859823.9A Pending CN116895036A (zh) 2023-07-12 2023-07-12 一种基于深度学习的耕地保护预警方法及装置

Country Status (1)

Country Link
CN (1) CN116895036A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611998A (zh) * 2023-11-22 2024-02-27 盐城工学院 一种基于改进YOLOv7的光学遥感图像目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611998A (zh) * 2023-11-22 2024-02-27 盐城工学院 一种基于改进YOLOv7的光学遥感图像目标检测方法

Similar Documents

Publication Publication Date Title
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN112183788B (zh) 一种域自适应设备运检系统和方法
CN111652097B (zh) 一种图像毫米波雷达融合目标检测方法
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN113159466B (zh) 一种短时光伏发电功率预测系统及方法
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN112070070B (zh) 一种用于城市遥感场景识别的lw-cnn方法和系统
CN108805864A (zh) 基于图像数据的违章建筑物的获取方法以及装置
Ren et al. YOLOv5s-M: A deep learning network model for road pavement damage detection from urban street-view imagery
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
CN109993134A (zh) 一种基于hog和svm分类器的道路交叉口车辆检测方法
CN112308040A (zh) 一种基于高清图像的河流排污口检测方法及系统
CN116385911A (zh) 一种用于无人机巡检绝缘子的轻量型目标检测方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN116977880A (zh) 一种基于无人机图像的草地鼠洞检测方法
CN114882490B (zh) 一种基于点引导定位的无受限场景车牌检测分类方法
CN117115727A (zh) 一种变电站缺陷判别方法及系统
CN116363532A (zh) 基于注意力机制和重参数化的无人机图像交通目标检测方法
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination