CN111723657A - 一种基于YOLOv3与自优化的河道异物检测方法及装置 - Google Patents
一种基于YOLOv3与自优化的河道异物检测方法及装置 Download PDFInfo
- Publication number
- CN111723657A CN111723657A CN202010399599.6A CN202010399599A CN111723657A CN 111723657 A CN111723657 A CN 111723657A CN 202010399599 A CN202010399599 A CN 202010399599A CN 111723657 A CN111723657 A CN 111723657A
- Authority
- CN
- China
- Prior art keywords
- foreign matter
- river
- model
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000005457 optimization Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012360 testing method Methods 0.000 claims abstract description 47
- 238000011282 treatment Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 115
- 238000012795 verification Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 3
- 239000008267 milk Substances 0.000 claims description 3
- 210000004080 milk Anatomy 0.000 claims description 3
- 235000013336 milk Nutrition 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 239000010813 municipal solid waste Substances 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 241001113556 Elodea Species 0.000 claims 1
- 241000209499 Lemna Species 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000001960 triggered effect Effects 0.000 abstract description 3
- 230000002269 spontaneous effect Effects 0.000 abstract 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 244000207740 Lemna minor Species 0.000 description 3
- 235000006439 Lemna minor Nutrition 0.000 description 3
- 235000001855 Portulaca oleracea Nutrition 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000013502 plastic waste Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLOv3与自优化的河道异物检测方法及装置。本发明涉及深度学习和计算机视觉技术领域，解决现有的河道异物检测方法不能通过自发优化的方法，提高异物检测模型准确率的问题。本发明采用无人机实时拍摄传回视频作为数据来源，减少了人工干预，同时将检测结果生成的异物图像实时反馈到给社会治理平台服务端，实现异物“早发现，早治理”目标。本发明基于YOLOv3网络，性能上较YOLOv2有所提升，且增加了自优化功能，能够将识别结果加以人工干预生成困难样本，当收集到的困难样本超过一定数量时，自优化会自动开启，随着测试过程的积累，不断触发自优化进程，提升模型准确率。
Description
技术领域
本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于YOLOv3与自优化的河道异物检测方法及装置。
背景技术
无人机的应用在现代生活中涉及的领域很广，它适应于各种地形，不拘泥于山川湖海、城市乡村，在各个领域都能有一席之地，而且对于一些人类难以完成的任务，无人机能完成的很好，因此在河道检测方面，应用无人机参与社会治理项目是一个创新大胆的尝试。所谓社会治理，就是政府、社会组织、企事业单位、社区以及个人等诸行为者，通过平等的合作型伙伴关系，依法对社会事务、社会组织和社会生活进行规范和管理，最终实现公共利益最大化的过程。在人工智能时代，社会治理需要大量的智能处理单元代替人力治理，由人治转变为“智”治。社会治理平台是社会治理项目的服务端，可将需要治理的资源至于社会治理平台中，由平台统一处理分析，将分析结果上报到处理人员。本发明将河道异物检测识别服务置于社会治理平台中，达到“治理联动，平台上报”的目的。
河道中常见的异物有浮萍、垃圾、落叶，这些异物会加剧水体污染，使水体富营养化，破坏水体生态环境以及其他物种的生存环境；此外，在河道中游泳、垂钓，冬季在冰面溜冰、奔跑等，若不及时处理，可能会威胁城市居民生命财产安全。目前河道治理多以人工为主，河面异物由专人定期处理，行为不规范的人群由专人劝阻，这些安排虽然解决了河道治理问题，但在河道治理效率方面还需要较大提升。而通过深度学习介入社会治理，将大大提升社会治理的效率，解放一部分人力，及时准确地定位河道异物，减少河道污染以及因河道游泳与垂钓带来的安全隐患。现有河道异物检测方法大多基于传统算法与YOLOv2算法且模型不能自发优化，从长远来看，模型准确率不高，且无法提升。
发明内容
本发明提供一种基于YOLOv3与自优化的河道异物检测方法及装置，以解决现有的河道异物检测方法不能自发优化，模型准确率不高的问题。
第一方面，本发明提供一种基于YOLOv3与自优化的河道异物检测方法，所述方法包括：
获取无人机拍摄的河道视频数据；
对所述河道视频数据按帧截取图片，得到初始数据集；
对所述始数据集进行预处理，得到河道图片数据集Q；
将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
对所述训练集及相应的标记数据集进行数据增强处理；
利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
获取无人机拍摄的实时河道视频数据；
将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述河道异物检测结果是否正确；
如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
判断困难样本的数量是否超过预设阈值；
如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理；
将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
结合第一方面，在第一方面的第一种可实现方式中，对所述始数据集进行预处理，得到河道图片数据集Q的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述得到河道图片数据集Q。
结合第一方面，在第一方面的第二种可实现方式中，将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集的步骤中，按照8:1:1的比例分将所述河道图片数据集Q为训练集，验证集和测试集。
结合第一方面，在第一方面的第三种可实现方式中，将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集包括：
对所述训练集，验证集和测试集的每一张图片中的每一个在异物类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。
结合第一方面的第三种可实现方式，在第一方面的第四种可实现方式中，所述异物类别包括桥梁、水草、船、浮萍、落叶、牛奶盒、树枝、瓶子、塑料垃圾、塑料袋、球形物体和人。
结合第一方面，在第一方面的第五种可实现方式中，对所述训练集及相应的标记数据集进行数据增强处理的步骤中，将标记好的训练集图片通过数据增强的方式增加至原始训练数据的2～10倍。
结合第一方面，在第一方面的第六种可实现方式中，对所述训练集及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及SamplePairing方法进行数据增强处理，所述SamplePairing方法为随机选择两个样本xa和xb，这两个样本对应的标签分别为ya和yb，从ya和yb中随机选择一个标签为y，则得出以下结论：(xa+xb)/2＝Z，Z为新样本，其标签为y。
结合第一方面，在第一方面的第七种可实现方式中，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型的步骤中，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有异物类别中的物体，不做标注，未标注的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的河道异物检测模型。
结合第一方面，在第一方面的第八种可实现方式中，对所述困难样本进行去重处理包括：
根据图像像素直方图分布计算困难样本之间的相似度，采用下式：
式中，P为相似度，gi，si分别为两张困难样本图片各自直方图曲线的第i个点，N为各自直方图曲线顶点的序号；
判断两个困难样本的相似度P是否大于0.8；
如果所述相似度P大于0.8，删除两个困难样本图片中任意一张图片。
第二方面，本发明提供一种基于YOLOv3与自优化的河道异物检测装置，所述装置包括：
第一获取单元，用于获取无人机拍摄的河道视频数据；
截取单元，用于对所述河道视频数据按帧截取图片，得到初始数据集；
预处理单元，用于对所述始数据集进行预处理，得到河道图片数据集Q；
分组单元，用于将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
标记单元，用于将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
数据增强单元，用于对所述训练集及相应的标记数据集进行数据增强处理；
模型训练单元，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
模型验证单元，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
模型测试单元，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
第二获取单元，用于获取无人机拍摄的实时河道视频数据；
检测单元，用于将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
返回单元，用于将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述河道异物检测结果是否正确；
通知单元，用于如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
修改单元，用于在所述河道异物检测结果不正确的情况下，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
第二判断单元，用于判断困难样本的数量是否超过预设阈值；
去重单元，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，对所述困难样本进行去重处理；
合并单元，用于将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
本发明具有以下有益效果：本发明的一种基于YOLOv3与自优化的河道异物检测方法及装置，基于YOLOv3网络，性能上较YOLOv2有所提升，且本发明增加了自优化功能，能够将识别结果加以人工干预生成困难样本，当收集到的困难样本超过一定数量时，自优化会自动开启，随着测试过程的积累，不断触发自优化，提升模型准确率。本发明采用无人机实时拍摄传回视频作为数据来源，减少了人工干预，同时将检测结果生成的异物图像实时反馈到给社会治理平台服务端，实现异物“早发现，早治理”目标。本发明在检测到异物后，平台上会有人工进行处置。本发明会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签。当收集到的物体图片数量到达指定的阈值后，本发明会自动开启模型训练的进程。随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。本发明以河道治理为主要目的，基于YOLOv3实时检测，模型稳定性高，检测识别性能好，能排除外界因素的影响，达到“精准治理”的目的。本发明与社会治理平台结合，治理联动实现异常自动上报预警功能，在水体治理、水域搜救、水域事故预警方面均有重大作用。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于YOLOv3与自优化的河道异物检测方法的流程图。
图2为本发明提供的基于YOLOv3与自优化的河道异物检测方法一实施例的流程图。
图3为本发明提供的基于YOLOv3与自优化的河道异物检测装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，为本发明提供的本发明提供一种基于YOLOv3与自优化的河道异物检测方法，所述方法包括：
步骤S101，获取无人机拍摄的河道视频数据。
步骤S102，对所述河道视频数据按帧截取图片，得到初始数据集。
步骤S103，对所述始数据集进行预处理，得到河道图片数据集Q。
具体地，可通过对失真、变形、模糊的图片数据进行筛选和校正，得到所述河道图片数据集Q。
步骤S104，将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集。
具体地，可以按照8:1:1的比例分将所述河道图片数据集Q为训练集，验证集和测试集。
步骤S105，将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息。
具体地，对所述训练集，验证集和测试集的每一张图片中的每一个在异物类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。异物类别由人为指定，根据河道治理需要将物体加入异物类别中，本发明中异物类别为桥梁、水草、船、浮萍、落叶、牛奶盒、树枝、瓶子、塑料垃圾、塑料袋、球形物体、人等12类物体。
步骤S106，对所述训练集及相应的标记数据集进行数据增强处理。
由于本专利的数据量远远小于一般深度学习所需数据量，因此本专利可归类于小样本学习(few_shot_learing)，本发明主要用数据增强进行小样本学习。在数据标记后，出于扩充数据量的目的，将标记好的训练集图片通过数据增强的方式增加至原始训练数据的2～10倍。
具体地，对所述训练集，及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及SamplePairing方法进行数据增强处理，所述SamplePairing方法为随机选择两个样本xa和xb，这两个样本对应的标签分别为ya和yb，从ya和yb中随机选择一个标签为y，则得出以下结论：(xa+xb)/2＝Z，Z为新样本，其标签为y。
步骤S107，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型。
YOLOv3网络的工作原理说明如下：YOLOv3主要由75个卷积层构成，并在网络中添加了resnet残差模块，在YOLOv1与YOLOv2的基础上调整了网络结构，利用多尺度特征进行对象检测，对象分类用Logistic取代了softmax。YOLOv3没有全连接层与池化层，可以对应任意大小的输入图像。
Resnet残差网络相当于在原始CNN网络结构中添加了一条捷径(shortcut path)，学习过程从直接学习特征，变成在之前学习的特征的基础上添加某些特征，来获得更好的特征。这样一来，一个复杂的特征H(x)，之前是独立一层一层学习的，现在就变成了这样一个模型H(x)＝F(x)+x，其中x是shortcut开始时的特征，而F(x)就是对x进行的填补与增加，成为残差。因此学习的目标就从学习完整的信息，变成学习残差了，这样有利于解决深层次网络的梯度问题。
YOLOv3用了3个不同尺度的特征图来检测对象，能够检测到更加细粒度的特征，YOLOv3采用FPN(Feature Pyramid Network)结构来对应多重尺度的不同精度，对不同深度的特征图(feature map)分别进行目标检测，当前层的特征图(feature map)会对未来层的特征图(feature map)进行上采样，并加以利用，将低阶特征与高阶特征融合起来，提升检测精度。
Softmax层被替换为一个1x1的卷积层+logistic激活函数的结构。可以对应多标签对象。YOLOv3对预选框bbox进行预测时，采用逻辑回归(logistic regression)，每个预选框包含五个元素bbox(x,y,w,h,c)其中前四个表示预选框的大小与坐标位置，最后一个值为置信度。
Pr(object)*IOU(bbox,object)＝σ(t0)；
其中Pr(object)*IOU(bbox,object)为置信度。logistic regression会对bbox包围部分进行一个目标性评分，找到目标存在可能性得分最高的一个。
具体地，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有异物类别中的物体，因此不做标注，未标记的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的河道异物检测模型。
步骤S108，将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型。
步骤S109，在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试。
本发明将数据集分为训练集、验证集和测试集。其中将训练集用于YOLOv3网络的训练，可获得多个权重模型；验证集用于调整模型参数，将多个权重模型对验证集进行预测，记录各个模型的准确率，通过比较准确率得出模型的最优参数，并通过该参数得到最优权重模型；用最优权重模型对测试集进行预测，并将最优权重模型用于河道异物实时检测中。
步骤S110，获取无人机拍摄的实时河道视频数据。
具体地，将无人机拍摄的视频流与社会治理平台服务器端视频流对接，用训练好的最优权重模型对解码后的视频流实时检测，将解码后的视频送入模型中，由模型对视频中的抽帧图片进行检测。
步骤S111，将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果。
步骤S112，将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核。
步骤S113，根据人工审核结果判断所述河道异物检测结果是否正确。
步骤S114，如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理。
步骤S115，如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本。
步骤S116，判断困难样本的数量是否超过预设阈值。
步骤S117，如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理。
如图2所示，对所述困难样本进行去重处理包括：
步骤S201，根据图像像素直方图分布计算困难样本之间的相似度，采用下式：
式中，P为相似度，gi，si分别为两张困难样本图片各自直方图曲线的第i个点，N为直方图曲线上的顶点序号。
步骤S202，判断两个困难样本的相似度P是否大于0.8。
步骤S203，如果所述相似度P大于0.8，删除两个困难样本图片中任意一张图片。
步骤S118，将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
本发明数据来源主要有三部分：标记好的图片样本，检测错误的图片样本与不包含目标物体的背景图片样本。标记好的图片样本为正样本，背景图片不做标注，为负样本，正负样本构成训练数据集X，一起送入YOLOv3网络中训练；检测错误的样本称为困难样本，困难样本由人工更改其标签，然后与数据集X合并迭代训练。本发明为基于YOLOv3网络的目标检测问题，由训练好的最优权重模型检测无人机实时拍摄的视频，由模型对视频检测，识别视频中异物类别与坐标信息，并返回异物类别与具体信息，而不是将物体分为异物与非异物的分类问题。
本发明基于YOLOv3网络，性能上较YOLOv2有所提升，且本发明增加了自优化功能，能够将识别结果加以人工干预生成困难样本，当收集到的困难样本超过一定数量时，自优化会自动开启，随着测试过程的积累，不断触发自优化，提升模型准确率。本发明采用无人机实时拍摄传回视频作为数据来源，减少了人工干预，同时将检测结果生成的异物图像实时反馈到给社会治理平台服务端，实现异物“早发现，早治理”目标。本发明在检测到异物后，平台上会有人工进行处置。本发明会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签。当收集到的物体图片数量到达指定的阈值后，本发明会自动开启模型训练的进程。随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。本发明以河道治理为主要目的，基于YOLOv3实时检测，模型稳定性高，检测识别性能好，能排除外界因素的影响，达到“精准治理”的目的。本发明与社会治理平台结合，治理联动实现异常自动上报预警功能，在水体治理、水域搜救、水域事故预警方面均有重大作用。
如图3所示，本发明提供一种基于YOLOv3与自优化的河道异物检测装置，所述装置包括：
第一获取单元301，用于获取无人机拍摄的河道视频数据；
截取单元302，用于对所述河道视频数据按帧截取图片，得到初始数据集；
预处理单元303，用于对所述初始数据集进行预处理，得到河道图片数据集Q；
分组单元304，用于将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
标记单元305，用于将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
数据增强单元306，用于对所述训练集及相应的标记数据集进行数据增强处理；
模型训练单元307，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
模型验证单元308，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
模型测试单元309，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
第二获取单元310，用于获取无人机拍摄的实时河道视频数据；
检测单元311，用于将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
返回单元312，用于将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元313，用于根据人工审核结果判断所述河道异物检测结果是否正确；
通知单元314，用于如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
修改单元315，用于在所述河道异物检测结果不正确的情况下，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
第二判断单元316，用于判断困难样本的数量是否超过预设阈值；
去重单元317，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，对所述困难样本进行去重处理；
合并单元318，用于将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于YOLOv3与自优化的河道异物检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于YOLOv3与自优化的河道异物检测装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (10)
1.一种基于YOLOv3与自优化的河道异物检测方法，其特征在于，所述方法包括：
获取无人机拍摄的河道视频数据；
对所述河道视频数据按帧截取图片，得到初始数据集；
对所述始数据集进行预处理，得到河道图片数据集Q；
将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
对所述训练集及相应的标记数据集进行数据增强处理；
利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
获取无人机拍摄的实时河道视频数据；
将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述河道异物检测结果是否正确；
如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
判断困难样本的数量是否超过预设阈值；
如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理；
将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
2.如权利要求1所述的方法，其特征在于，对所述始数据集进行预处理，得到河道图片数据集Q的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述河道图片数据集Q。
3.如权利要求1所述的方法，其特征在于，将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集的步骤中，按照8:1:1的比例将所述河道图片数据集Q分为训练集，验证集和测试集。
4.如权利要求1所述的方法，其特征在于，将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集包括：
对所述训练集，验证集和测试集的每一张图片中的每一个在异物类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。
5.如权利要求4所述的方法，其特征在于，所述异物类别包括桥梁、水草、船、浮萍、落叶、牛奶盒、树枝、瓶子、塑料垃圾、塑料袋、球形物体和人。
6.如权利要求1所述的方法，其特征在于，对所述训练集以及相应的标记数据集进行数据增强处理的步骤中，将标记好的训练集图片通过数据增强的方式增加至原始训练数据的2～10倍。
7.如权利要求1所述的方法，其特征在于，对所述训练集以及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及SamplePairing方法进行数据增强处理，所述SamplePairing方法为随机选择两个样本xa和xb，这两个样本对应的标签分别为ya和yb，从ya和yb中随机选择一个标签为y，则得出以下结论：(xa+xb)/2＝Z，Z为新样本，其标签为y。
8.如权利要求1所述的方法，其特征在于，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型的步骤中，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有异物类别中的物体，因此不做标注，未标注的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的河道异物检测模型。
9.如权利要求1所述的方法，其特征在于，对所述困难样本进行去重处理包括：
根据图像像素直方图分布计算困难样本之间的相似度，采用下式：
式中，P为相似度，gi，si分别为两张困难样本图片各自直方图曲线的第i个点，N为直方图曲线顶点的序号；
判断两个困难样本的相似度P是否大于0.8；
如果所述相似度P大于0.8，删除两个困难样本图片中任意一张图片。
10.一种基于YOLOv3与自优化的河道异物检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取无人机拍摄的河道视频数据；
截取单元，用于对所述河道视频数据按帧截取图片，得到初始数据集；
预处理单元，用于对所述始数据集进行预处理，得到河道图片数据集Q；
分组单元，用于将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
标记单元，用于将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
数据增强单元，用于对所述训练集及相应的标记数据集进行数据增强处理；
模型训练单元，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
模型验证单元，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
模型测试单元，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
第二获取单元，用于获取无人机拍摄的实时河道视频数据；
检测单元，用于将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
返回单元，用于将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述河道异物检测结果是否正确；
通知单元，用于如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
修改单元，用于在所述河道异物检测结果不正确的情况下，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
第二判断单元，用于判断困难样本的数量是否超过预设阈值；
去重单元，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，对所述困难样本进行去重处理；
合并单元，用于将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010399599.6A CN111723657B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLOv3与自优化的河道异物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010399599.6A CN111723657B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLOv3与自优化的河道异物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723657A true CN111723657A (zh) | 2020-09-29 |
| CN111723657B CN111723657B (zh) | 2023-04-07 |
Family
ID=72564326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010399599.6A Active CN111723657B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLOv3与自优化的河道异物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723657B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183463A (zh) * | 2020-10-23 | 2021-01-05 | 珠海大横琴科技发展有限公司 | 基于雷达图像的船只识别模型的验证方法及装置 |
| CN112733666A (zh) * | 2020-12-31 | 2021-04-30 | 湖北亿咖通科技有限公司 | 一种难例图像的搜集、及模型训练方法、设备及存储介质 |
| CN112766141A (zh) * | 2020-12-31 | 2021-05-07 | 北京中科晶上科技股份有限公司 | 一种烟草卷包设备异物检测方法及系统 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| CN115294536A (zh) * | 2022-08-10 | 2022-11-04 | 北京百度网讯科技有限公司 | 基于人工智能的违章检测方法、装置、设备及存储介质 |
| CN116091719A (zh) * | 2023-03-06 | 2023-05-09 | 山东建筑大学 | 一种基于物联网的河道数据管理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
| WO2018208947A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN110738230A (zh) * | 2019-04-15 | 2020-01-31 | 中国石油大学(华东) | 一种基于f-cdssd的衣物识别与分类方法 |
| CN110796048A (zh) * | 2019-10-18 | 2020-02-14 | 武汉大学 | 一种基于深度神经网络的船舰目标实时检测方法 |
-
2020
- 2020-05-12 CN CN202010399599.6A patent/CN111723657B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
| WO2018208947A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN110738230A (zh) * | 2019-04-15 | 2020-01-31 | 中国石油大学(华东) | 一种基于f-cdssd的衣物识别与分类方法 |
| CN110796048A (zh) * | 2019-10-18 | 2020-02-14 | 武汉大学 | 一种基于深度神经网络的船舰目标实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周雯等: "基于深度学习的动车组运行安全图像异物检测", 《交通信息与安全》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183463A (zh) * | 2020-10-23 | 2021-01-05 | 珠海大横琴科技发展有限公司 | 基于雷达图像的船只识别模型的验证方法及装置 |
| CN112733666A (zh) * | 2020-12-31 | 2021-04-30 | 湖北亿咖通科技有限公司 | 一种难例图像的搜集、及模型训练方法、设备及存储介质 |
| CN112766141A (zh) * | 2020-12-31 | 2021-05-07 | 北京中科晶上科技股份有限公司 | 一种烟草卷包设备异物检测方法及系统 |
| CN115294536A (zh) * | 2022-08-10 | 2022-11-04 | 北京百度网讯科技有限公司 | 基于人工智能的违章检测方法、装置、设备及存储介质 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| CN116091719A (zh) * | 2023-03-06 | 2023-05-09 | 山东建筑大学 | 一种基于物联网的河道数据管理方法及系统 |
| CN116091719B (zh) * | 2023-03-06 | 2023-06-20 | 山东建筑大学 | 一种基于物联网的河道数据管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723657B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723657B (zh) | 一种基于YOLOv3与自优化的河道异物检测方法及装置 | |
| CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
| CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
| CN109344753A (zh) | 一种基于深度学习的航拍图像输电线路细小金具识别方法 | |
| CN112837315B (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN113643228B (zh) | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 | |
| CN112560623B (zh) | 一种基于无人机的红树植物种类快速识别方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| Gleason et al. | A Fusion Approach for Tree Crown Delineation from Lidar Data. | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| Meng et al. | Physical knowledge-enhanced deep neural network for sea surface temperature prediction | |
| CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
| Zhang et al. | Land use and land cover classification base on image saliency map cooperated coding | |
| Lou et al. | Research on edge detection method based on improved HED network | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及系统 | |
| CN116580243A (zh) | 一种掩码图像建模引导域适应的跨域遥感场景分类方法 | |
| He et al. | An efficient urban flood mapping framework towards disaster response driven by weakly supervised semantic segmentation with decoupled training samples | |
| Deng et al. | A paddy field segmentation method combining attention mechanism and adaptive feature fusion | |
| Mu et al. | Small scale dog face detection using improved Faster RCNN | |
| Park et al. | Slash or burn: Power line and vegetation classification for wildfire prevention | |
| CN116071624B (zh) | 一种基于主动学习的抽烟检测数据标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240118 Address after: No. N3013, 3rd Floor, R&D Building N, Artificial Intelligence Science and Technology Park, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province, 430058 Patentee after: Zhongdian Cloud Computing Technology Co.,Ltd. Patentee after: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. Address before: No.49 Fuxing Road, Haidian District, Beijing 100036 Patentee before: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. |