CN112329605A - 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器 - Google Patents

一种城市容貌乱贴乱画行为识别方法，存储装置及服务器 Download PDF

Info

Publication number
CN112329605A
CN112329605A CN202011209200.XA CN202011209200A CN112329605A CN 112329605 A CN112329605 A CN 112329605A CN 202011209200 A CN202011209200 A CN 202011209200A CN 112329605 A CN112329605 A CN 112329605A
Authority
CN
China
Prior art keywords
random
model
pasting
city
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011209200.XA
Other languages
English (en)
Other versions
CN112329605B (zh
Inventor
孙德亮
陈雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Re Cloud Technology Co ltd
Original Assignee
China Re Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Re Cloud Technology Co ltd filed Critical China Re Cloud Technology Co ltd
Priority to CN202011209200.XA priority Critical patent/CN112329605B/zh
Publication of CN112329605A publication Critical patent/CN112329605A/zh
Application granted granted Critical
Publication of CN112329605B publication Critical patent/CN112329605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种城市容貌乱贴乱画行为识别方法，该方法包括以下步骤：S1:获取城市容貌乱贴乱画行为图像；S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；S3:采用零‑均值规范化数据预处理；S4:基于PP‑YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。本发明采用目标检测方式检测识别乱贴乱画行为，使得城市乱贴乱画行为得到监控监管，城市市容市貌得到有效监督规范，在迈进智能化文明城市上更进一步。

Description

一种城市容貌乱贴乱画行为识别方法，存储装置及服务器
技术领域
本发明涉及人工智能图像识别领域，属于智能化城市技术领域，具体涉及城市容貌乱贴乱画行为识别方法。
背景技术
在我国有很多地方存在乱贴乱画现象，诸如小广告、喷漆字样、广告牌。特别是这些乱贴乱画的小广告内容五花八门，广告内容也并不可信，不仅影响周边居住环境，而且破坏城市整洁文明。这些乱贴乱画的现象不仅加大清洁难度，而且影响整个城市的形象。
现有技术采用人工识别乱贴乱画行，成本高昂且效率低下不能满足城市市容市貌监督和智能化文明城市建设的需求。
发明内容
为了解决现有技术在城市管理过程中不能对乱贴乱画现象进行高效率监控监管监督问题，本发明提供一种可以自动对城市容貌乱贴乱画行为识别方法进行高效率识别的方法。
本发明提供一种城市容貌乱贴乱画行为识别方法，包括以下步骤：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
COCO的全称是Common Objects in COntext，是微软团队提供的一个可以用来进行图像识别的数据集。
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
YOLO最初是由约瑟夫·雷德蒙(Joseph Redmon)创作的，用于检测物体。物体检测是一种计算机视觉技术，它通过在对象周围绘制边框并标识给定框也属于的类标签来对对象进行定位和标记。与大型NLP不同，YOLO设计得很小，可以为设备上的部署提供实时推理速度。PP是PaddlePaddle(由百度编写的深度学习框架)的缩写。PP-YOLO是百度提供的一种深度学习模型。
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
进一步的，所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告。
进一步的，，所述步骤S4包括，
使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors(锚点)，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型。
PaddleSlim是PaddlePaddle框架的一个子模块。在PaddleSlim中，实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，主要用于压缩图像领域模型。
进一步的，所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure BDA0002758211870000031
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure BDA0002758211870000032
S44召回率计算,
Figure BDA0002758211870000033
S45以召回率R为横坐标，精确率P为纵坐标构成坐标图。采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure BDA0002758211870000034
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure BDA0002758211870000035
进一步的，所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
本发明还提供一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
进一步的，所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告；
所述步骤S4包括，使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型；
所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure BDA0002758211870000051
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure BDA0002758211870000052
S44召回率计算,
Figure BDA0002758211870000053
S45采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure BDA0002758211870000054
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure BDA0002758211870000055
所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
本发明还提供一种服务器，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
进一步的，所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告；
所述步骤S4包括，使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型；
所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure BDA0002758211870000071
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure BDA0002758211870000072
S44召回率计算,
Figure BDA0002758211870000073
S45采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure BDA0002758211870000074
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure BDA0002758211870000075
所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
本发明的有益效果是，采用目标检测方式检测识别乱贴乱画行为，使得城市乱贴乱画行为得到监控监管，城市市容市貌得到有效监督规范，在迈进智能化文明城市上更进一步。
附图说明
图1为本发明的一种城市容貌乱贴乱画行为识别方法的整体步骤图。
图2为本发明的一种城市容貌乱贴乱画行为识别基于PP-YOLO网络结构图。
具体实施方式
为了更清楚地说明本发明实施例火现有技术中的技术方案，下面将对附图说明本发明的具体实施过程。
目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。
参考图1来看，本申请提供了一种城市容貌乱贴乱画行为识别方法，包括一下步骤：
S1:采集、收集、整理城市容貌乱贴乱画行为若干图像。
S2:对若干图片中具有城市容貌乱贴乱画行为使用labelImg数据标注，并转换生成COCO格式数据集。
S3:采用零-均值规范化数据预处理。
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取验证mAP最好的训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型。
S5:通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为。
现对上述实施例详细说明，但不仅限于此。
本实例适用于智能化城市技术领域，对于乱贴乱画现象进行高效率监控监管监督问题，提高对城市容貌乱贴乱画行为识别效率，提升城市市容市貌。
在本实例步骤一中对数据收集，可以中摄像头视频监控场景、一张图片中收集，对于视频首先要抽帧得到图像。对于图像质量不好、过于模糊、分辨率太低、场景不符合的给予剔除，整理出符合要求的城市乱贴乱画图像。
在本实例步骤二中对数据标注，使用labelImg标注工具。labelImg是一个图形图像注释工具，采用Python编写而成，并使用Qt作为其图形界面。注释以PASCAL VOC格式保存为XML文件，格式使用了ImageNet。为更好区分具有方向引导性路标，整个数据中只有2类：乱贴乱画、方向引导。对于多而密集型的广告看着一个整体作为乱贴乱画类。对标注好的数据按照10:1的比例划分训练集与测试集，之后使用我们自己编写的voc2coco.py脚本程序转COCO格式数据集。
在本实例步骤三中对数据预处理采用零-均值规范化。具体公式如下
Figure BDA0002758211870000101
Figure BDA0002758211870000102
Figure BDA0002758211870000103
s＝[0.229 0.224 0.225]，
公式中x表示输入图片数据，m表示均值，s表示标准差；B表示图像蓝色通道，G表示图像绿色通道，R表示图像红色通道。
在本实例步骤四中基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型。首先下载官方提供的PP-YOLO预训练模型，然后使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors。再然后配置mixup、随机裁剪、颜色扭曲等数据增强。模型训练好后根据mAP指标选取在测试集中表现最好的模型。接着使用PaddleSlim对模型剪裁。最后模型裁剪后导出推理模型。
kmeans算法是现有技术中一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
本发明采用平均精度mAP(Mean Average Precision)作为模型检测精度的评价指标，AP(Average Precision)作为每一类别的检测精度的评价指标。mAP的计算分为6步：
1)IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，这里的并集指SA与SB面积之和减去SA与SB区域重叠面积。
Figure BDA0002758211870000111
2)TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，这个置信度一般为0.7。
3)精确率(Precision)计算,
Figure BDA0002758211870000112
4)召回率(Recall)计算,
Figure BDA0002758211870000113
5)AP计算，AP指类别下PR曲线的面积。COCO格式数据中计算AP采用的是101个插值点(插值AP法)，101个点是在recall坐标轴每个0.01取一个点。Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值。
Figure BDA0002758211870000114
6)mAP计算，mAP是AP平均后的值。C表示类别数量，AP(i)表示第i类害虫的AP。
Figure BDA0002758211870000121
PaddleSlim是PaddlePaddle框架的一个子模块，主要用于压缩图像领域模型。在PaddleSlim中，不仅实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，还实现了超参数搜索和小模型网络结构搜索功能。
S5:通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为。在导出推理模型后会得到“__model__”与“__params__”这2个文件，“__model__”文件中记录了模型的结构，“__params__”文件中记录了模型的权重。加载推理模型部署推理程序。通过一张本地图片或者监控图片就可以判断其是否存在乱贴乱画行为。
本发明的有益效果是，采用目标检测方式检测识别乱贴乱画行为，使得城市乱贴乱画行为得到监控监管，城市市容市貌得到有效监督规范，在迈进智能化文明城市上更进一步。

Claims (9)

1.一种城市容貌乱贴乱画行为识别方法，其特征在于，包括以下步骤：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
2.如权利要求1所述的一种城市容貌乱贴乱画行为识别方法，其特征在于，所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告。
3.如权利要求1所述的一种城市容貌乱贴乱画行为识别方法，其特征在于，所述步骤S4包括，
使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型。
4.如权利要求3所述的一种城市容貌乱贴乱画行为识别方法，其特征在于，所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure FDA0002758211860000021
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure FDA0002758211860000022
S44召回率计算,
Figure FDA0002758211860000023
S45采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure FDA0002758211860000024
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure FDA0002758211860000025
5.如权利要求1所述的一种城市容貌乱贴乱画行为识别方法，其特征在于，所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
6.一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
7.如权利要求6所述的一种存储设备，其特征在于，
所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告；
所述步骤S4包括，使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型；
所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure FDA0002758211860000041
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure FDA0002758211860000042
S44召回率计算,
Figure FDA0002758211860000043
S45采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure FDA0002758211860000044
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure FDA0002758211860000045
所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
8.一种服务器，其特征在于，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
S1:获取城市容貌乱贴乱画行为图像；
S2:对所述行为图像中具有城市容貌乱贴乱画行为的部分使用labelImg数据标注，并转换生成COCO格式数据集；
S3:采用零-均值规范化数据预处理；
S4:基于PP-YOLO训练城市容貌乱贴乱画行为数据集得到训练模型，在测试集上选取训练模型，对模型剪裁优化模型后转化成推理模型，得到城市容貌乱贴乱画行为识别模型；
S5:通过所述城市容貌乱贴乱画行为识别模型对城市场景图片进行识别，判断其是否存在乱贴乱画行为。
9.如权利要求8所述的一种服务器，其特征在于，
所述步骤S2中，城市容貌乱贴乱画行为包括,贴纸、横幅、小广告、方向引导路标性贴纸和复杂密集广告；
所述步骤S4包括，使用kmeans算法计算城市容貌乱贴乱画行为训练数据集anchors，模型训练好后根据mAP指标选取模型，使用PaddleSlim对模型剪裁，模型裁剪后导出推理模型；
所述步骤S4中，所述模型训练好后根据mAP指标选取模型包括，
S41:IOU计算，IOU等于预测区域面积SA与真实标注区域面积SB交集比并集，并集指SA与SB面积之和减去SA与SB区域重叠面积，
Figure FDA0002758211860000061
S42:TP、FP、TN的计算，其中TP表示被判定为正样本，实际也是正样本、FP表示被判定为正样本，实际是负样本、FN表示被判定为负样本，实际也是负样本，根据IOU判定为正样本还是负样本，置信度为0.7；
S43精确率计算,
Figure FDA0002758211860000062
S44召回率计算,
Figure FDA0002758211860000063
S45采用以下公式进行AP计算，计算AP采用的是101个插值点，101个点是在recall坐标轴每个0.01取一个点，Pi表示第i个点下精确率的值，Ri表示第i个点下召回率的值,Ri-1表示第i-1个点下召回率的值，
Figure FDA0002758211860000064
S46采用以下公式进行mAP计算，C表示类别数量，AP(i)表示第i类害虫的AP，
Figure FDA0002758211860000065
所述步骤S5包括，
通过城市容貌乱贴乱画行为识别模型对城市场景识别，判断其是否存在乱贴乱画行为，在导出推理模型后得到第一文件和第二文件，与第一文件中记录模型的结构，第二文件中记录模型的权重；
加载推理模型部署推理程序，通过一张本地图片或者监控图片就判断其是否存在乱贴乱画行为。
CN202011209200.XA 2020-11-03 2020-11-03 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器 Active CN112329605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011209200.XA CN112329605B (zh) 2020-11-03 2020-11-03 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011209200.XA CN112329605B (zh) 2020-11-03 2020-11-03 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器

Publications (2)

Publication Number Publication Date
CN112329605A true CN112329605A (zh) 2021-02-05
CN112329605B CN112329605B (zh) 2022-05-17

Family

ID=74322917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011209200.XA Active CN112329605B (zh) 2020-11-03 2020-11-03 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器

Country Status (1)

Country Link
CN (1) CN112329605B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255533A (zh) * 2021-05-31 2021-08-13 中再云图技术有限公司 一种禁区闯入行为识别方法，存储装置及服务器
CN113822169A (zh) * 2021-08-30 2021-12-21 江苏大学 一种基于改进pp-yolo的果园树木行人检测方法
CN117576569A (zh) * 2024-01-12 2024-02-20 城云科技（中国）有限公司 一种用于城市市容事件管理的多目标检测模型及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213443A1 (en) * 2018-01-05 2019-07-11 Whirlpool Corporation Detecting objects in images
CN110458082A (zh) * 2019-08-05 2019-11-15 城云科技（中国）有限公司 一种城市管理案件分类识别方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111291721A (zh) * 2020-03-11 2020-06-16 上海钧正网络科技有限公司 共享交通工具的出库检测方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213443A1 (en) * 2018-01-05 2019-07-11 Whirlpool Corporation Detecting objects in images
CN110458082A (zh) * 2019-08-05 2019-11-15 城云科技（中国）有限公司 一种城市管理案件分类识别方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111291721A (zh) * 2020-03-11 2020-06-16 上海钧正网络科技有限公司 共享交通工具的出库检测方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255533A (zh) * 2021-05-31 2021-08-13 中再云图技术有限公司 一种禁区闯入行为识别方法，存储装置及服务器
CN113822169A (zh) * 2021-08-30 2021-12-21 江苏大学 一种基于改进pp-yolo的果园树木行人检测方法
CN113822169B (zh) * 2021-08-30 2024-03-19 江苏大学 一种基于改进pp-yolo的果园树木行人检测方法
CN117576569A (zh) * 2024-01-12 2024-02-20 城云科技（中国）有限公司 一种用于城市市容事件管理的多目标检测模型及方法
CN117576569B (zh) * 2024-01-12 2024-04-02 城云科技（中国）有限公司 一种用于城市市容事件管理的多目标检测模型及方法

Also Published As

Publication number Publication date
CN112329605B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN112329605B (zh) 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器
CN111444821B (zh) 一种城市道路标志自动识别方法
CN109948707B (zh) 模型训练方法、装置、终端及存储介质
US20120263346A1 (en) Video-based detection of multiple object types under varying poses
CN112489081B (zh) 一种视觉目标跟踪方法及装置
EP4170605A1 (en) Multi-level transferable region-based domain adaptive object detection apparatus and method
CN110610165A (zh) 一种基于yolo模型的船舶行为分析方法
CN115830399B (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN113255533B (zh) 一种禁区闯入行为识别方法，存储装置及服务器
CN112801236A (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN111353273A (zh) 一种雷达数据标注方法、装置、设备及存储介质
CN114022509B (zh) 基于多个动物的监控视频的目标跟踪方法及相关设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN113298112B (zh) 一种一体化数据智能标注方法及系统
CN115631197A (zh) 一种图像处理方法、装置、介质、设备及系统
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
CN114758135A (zh) 一种基于注意力机制的无监督图像语义分割方法
CN115393379A (zh) 一种数据标注方法及相关产品
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN116597419B (zh) 一种基于参数化互近邻的车辆限高场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant