CN111597901A - 非法广告牌监控方法 - Google Patents

非法广告牌监控方法 Download PDF

Info

Publication number
CN111597901A
CN111597901A CN202010298948.5A CN202010298948A CN111597901A CN 111597901 A CN111597901 A CN 111597901A CN 202010298948 A CN202010298948 A CN 202010298948A CN 111597901 A CN111597901 A CN 111597901A
Authority
CN
China
Prior art keywords
billboard
network
sample
representing
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010298948.5A
Other languages
English (en)
Inventor
邵奇可
卢熠
颜世航
陈一苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010298948.5A priority Critical patent/CN111597901A/zh
Publication of CN111597901A publication Critical patent/CN111597901A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

非法广告牌监控方法，包括如下步骤：1)采集大量街道中高空摄像头的图像以及其他广告牌数据集，依据现场的管理需求进行数据集的标定，确定使用的一阶段目标检测算法模型。2)构建参数自适应的损失函数
Figure DDA0002453262720000011
和

Description

非法广告牌监控方法
技术领域
本发明属于图像识别与计算机视觉技术领域，涉及非法广告牌监控方法。
背景技术
目前，针对街道内一些商家，经常搭建非法广告牌，城市管理员难以监管的问题，传统监管方法主要通过城市管理员在街道内不间断的巡查，发现非法广告牌后，对其采取执法行动。但这种方式需要动用大量的人力、物力去执行，无法做到对整个街道实时性、全方位的监管。而利用现有街道内的高空安防摄像头对非法广告牌进行检测，不仅可以做到对商家的违法行为实时性监控，还能节约人力、物力成本，且设备维护与维修也很容易，因此这种基于视频的非法广告牌检测系统具有很好的推广价值。
利用安防摄像头的视频流对非法广告牌识别，对识别算法的精准度以及实时性要求较高。因此，采用基于深度学习的目标检测算法较合理。基于深度学习的目标检测算法分为二阶段模型与一阶段模型。虽然二阶段目标检测模型具有更好的检测精度，但其前向推理速度较慢，无法满足业务场景的实时性要求。在传统的一阶段目标检测算法模型中，算法的实时性较好，但无法达到二阶段目标检测算法模型的检测精度。在图像检测目标时含有大量的街道背景对象，街道背景对象的损失值虽然很小，但是数量远远超过广告牌样本，目前传统的目标检测方法在这种复杂场景下很难获得较高的识别准确度，因此迫切需要一种具有高度自适应性的街道非法广告牌识别方法。
发明内容
本发明要克服现有技术的上述缺点，提供一种具有高度自适应性、较高的识别准确度的非法广告牌监控方法。
本发明对一阶段目标检测算法模型中的损失函数进行改进。损失函数作为卷积神经网络中梯度下降过程的目标函数，直接影响着卷积神经网络的训练结果。而卷积神经网络训练的结果好坏直接关系着目标检测的识别精度，因此对损失函数的设计显现的尤为重要。在一阶段目标检测算法模型训练过程中，网络在图像检测目标时含有大量的街道背景对象，街道背景对象的损失值虽然很小，但是数量远远超过广告牌目标，因此在计算损失值时，概率值小的街道背景损失值压倒了广告牌的目标损失值，导致模型精度下降很多，因此在检测模型中嵌入焦点损失函数来提高训练精度。而在焦点损失函数中有超参数需要依据经验值去设置，无法依据预测出的类别概率值，自动调节自身的超参大小。
本发明针对焦点损失函数在训练过程中需要手动调节超参数，训练过程中的参数不具备自适应性的问题，提出了一种基于半监督学习的深度学习损失函数，该损失函数使用加权法对超参进行改进，使得网络在梯度下降过程中，能够自适应的调节网络超参数，进而提高网络的学习效率。
非法广告牌监控方法，包括如下步骤：
Step 1：构建广告牌样本数据集M，训练数据集T，验证数据集V，标注广告牌样本类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ。
Figure BDA0002453262700000021
Figure BDA0002453262700000022
其中：V∪T＝M，C∈N+，ζ∈(0,1)，batches∈N+,l_rate∈N+，batch∈N+，
Figure BDA0002453262700000023
表示图像的高和宽，r表示图像的通道数。
Step 2：确定待训练的一阶段目标检测模型，设卷积神经网络深度为L，网络卷积层卷积核集合G，网络输出层采用全连接方式，其卷积核集合A，网络特征图集合U，
Figure BDA0002453262700000031
表示第l层网络中第k个特征图
Figure BDA0002453262700000032
对应的网格数量，锚点集合M，具体定义如下：
Figure BDA0002453262700000033
Figure BDA0002453262700000034
Figure BDA0002453262700000035
Figure BDA0002453262700000036
Figure BDA0002453262700000037
其中：
Figure BDA0002453262700000038
分别表示第l层网络对应的卷积核、特征图和锚点的高、宽、维度。
Figure BDA0002453262700000039
表示第l层网络卷积核的填充大小，
Figure BDA00024532627000000310
表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N+表示第l层网络的锚点总数，Ξ∈N+表示输出层节点总数，Φ∈N+表示第l层网络特征图总数，Δ∈N+表示第l层卷积核的总数。
Step 3：设计参数自适应的焦点损失函数，具体包括：
Figure BDA00024532627000000311
其中：
Figure BDA00024532627000000312
Figure BDA00024532627000000313
Figure BDA00024532627000000314
Figure BDA00024532627000000315
表示第l层网络上第i个网格中第j个锚点在图像tk的广告牌样本与街道背景样本置信度的损失函数；同理，
Figure BDA00024532627000000316
表示广告牌样本预测框的损失函数，
Figure BDA0002453262700000041
表示广告牌样本类别的损失函数，λ∈Q为损失函数
Figure BDA0002453262700000042
参数。
Figure BDA0002453262700000043
和
Figure BDA0002453262700000044
分别表示广告牌样本目标和街道背景目标的损失函数，具体如下所示：
Figure BDA0002453262700000045
Figure BDA0002453262700000046
Figure BDA0002453262700000047
表示第l层网络上第i个网格中第j个锚点预测的前景广告牌样本概率值，同理，
Figure BDA0002453262700000048
表示相对应的街道背景概率值。
Figure BDA0002453262700000049
分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，同理
Figure BDA00024532627000000410
分别表示广告牌样本标定框的中心点横坐标与纵坐标；
Figure BDA00024532627000000411
分别表示第l层网络上第i个网格中第j个锚点的预测框中心点到该框边界的最短欧式距离，同理
Figure BDA00024532627000000412
分别表示广告牌样本标定框的中心点到该框边界的最短欧式距离；
Figure BDA00024532627000000413
表示第l层网络上第i个网格中第j个锚点预测的广告牌样本类别预测值。同理，
Figure BDA00024532627000000414
表示广告牌样本类别的标定状态，
Figure BDA00024532627000000415
表示广告牌样本进行预测，
Figure BDA00024532627000000416
表示是否对街道背景样本进行预测，具体计算如下：
Figure BDA00024532627000000417
Figure BDA00024532627000000418
Figure BDA00024532627000000419
其中参数α∈(0,1)；iouj表示锚点mj在第i个网格中锚点框与广告牌样本标定框的交叠率，miou表示最大交叠率。
Step 4：基于Step 3中的一阶段目标检测算法模型的损失函数，利用训练集对模型进行梯度下降法训练，直至模型收敛。在模型测试阶段，根据模型输出的广告牌的位置相关信息，判断该广告牌是否在合法区域内，如果不在合法区域内，则告警。
本发明的优点是：具有高度自适应性、较高的监控准确度。
附图说明
图1是本发明的卷积神经网络的网络结构图。
图2是本发明的卷积神经网络中损失函数结构图。
图3是本发明的基于卷积神经网络的非法广告牌检测算法部署流程图。
具体实施方式
为了更好的说明本发明的技术方案，下面结合附图，通过一个实施例，对本发明做进一步说明。
非法广告牌监控方法，包括如下步骤：
Step 1：采集大量高空拍摄的广告牌图像数据，构建出广告牌样本数据集M的数量为10000，训练数据集T的数量为8000，验证数据集V的数量为2000，标注广告牌类别数C取值为5，分别为理发店广告牌、餐厅广告牌、干洗店广告牌、小卖部广告牌和宾馆广告牌，训练数据批次大小batch取值为4，训练批次数batches取值为1000，学习率l_rate取值为0.001，训练数据集T与验证数据集V之间的比例系数ζ取值为0.25，所有图像的高、宽、通道数设置一致，图像的高hk和宽wk分别取值为416，416，图像的通道数r取值为3。
Step 2：确定一阶段目标检测模型为Yolov3，卷积神经网络深度L设置为139，其中，卷积核的高、宽和维度设置具体如图1所示，卷积核的填充大小
Figure BDA0002453262700000051
默认为1，卷积步长
Figure BDA0002453262700000052
默认为1，卷积神经元的激励函数f默认为leakly_relu激励函数；锚点在每一层网络中都共享，锚点集合M取值为{(10,13),(30,61),(156,198)}，即在每一层网络层中，锚点总数Λ取值为3；网络输出层采用全连接方式，其卷积核集合A取值为{(1,1,30),(1,1,30),(1,1,30)}，即输出层节点总数Ξ取值为3。
Step 3：如图2所示，构建参数自适应的焦点损失函数LOSS，参数α取值为0.25，参数λ取值为0.5。
Step 4：基于Step 3中的一阶段目标检测算法模型的损失函数，利用训练集对模型进行梯度下降法训练，直至模型收敛。参考图3，利用街道安放的摄像头的视频流进行实时检测，利用模型输出的广告牌位置信息判断广告牌是否在合法区域内，如果不在合法区域内，则告警，实现对非法广告牌的管理。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.非法广告牌监控方法，包括以下步骤：
Step1：构建广告牌样本数据集M，训练数据集T，验证数据集V，标注广告牌样本类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ；
Figure FDA0002453262690000011
Figure FDA0002453262690000012
ζ＝Card(V)/Card(T)
其中：V∪T＝M，C∈N+，ζ∈(0,1)，batches∈N+,l_rate∈N+，batch∈N+，
Figure FDA0002453262690000013
表示图像的高和宽，r表示图像的通道数；
Step2：确定待训练的一阶段目标检测模型，设卷积神经网络深度为L，网络卷积层卷积核集合G，网络输出层采用全连接方式，其卷积核集合A，网络特征图集合U，
Figure FDA0002453262690000014
表示第l层网络中第k个特征图
Figure FDA0002453262690000015
对应的网格数量，锚点集合M，具体定义如下：
Figure FDA0002453262690000016
Figure FDA0002453262690000017
Figure FDA0002453262690000018
Figure FDA0002453262690000019
Figure FDA00024532626900000110
其中：
Figure FDA00024532626900000111
分别表示第l层网络对应的卷积核、特征图和锚点的高、宽、维度；
Figure FDA00024532626900000112
表示第l层网络卷积核的填充大小，
Figure FDA00024532626900000113
表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N+表示第l层网络的锚点总数，Ξ∈N+表示输出层节点总数，Φ∈N+表示第l层网络特征图总数，Δ∈N+表示第l层卷积核的总数；
Step3：设计参数自适应的焦点损失函数，具体包括：
Figure FDA00024532626900000114
其中：
Figure FDA00024532626900000115
Figure FDA00024532626900000116
Figure FDA00024532626900000117
Figure FDA00024532626900000118
表示第l层网络上第i个网格中第j个锚点在图像tk的广告牌样本与街道背景样本置信度的损失函数；同理，
Figure FDA00024532626900000119
表示广告牌样本预测框的损失函数，
Figure FDA00024532626900000120
表示广告牌样本类别的损失函数，λ∈Q为损失函数
Figure FDA00024532626900000121
参数；
Figure FDA0002453262690000021
和
Figure FDA0002453262690000022
分别表示广告牌样本目标和街道背景目标的损失函数，具体如下所示：
Figure FDA0002453262690000023
Figure FDA0002453262690000024
Figure FDA0002453262690000025
表示第l层网络上第i个网格中第j个锚点预测的前景广告牌样本概率值，同理，
Figure FDA0002453262690000026
表示相对应的街道背景概率值；
Figure FDA0002453262690000027
分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，同理
Figure FDA0002453262690000028
分别表示广告牌样本标定框的中心点横坐标与纵坐标；
Figure FDA0002453262690000029
分别表示第l层网络上第i个网格中第j个锚点的预测框中心点到该框边界的最短欧式距离，同理
Figure FDA00024532626900000210
分别表示广告牌样本标定框的中心点到该框边界的最短欧式距离；
Figure FDA00024532626900000211
表示第l层网络上第i个网格中第j个锚点预测的广告牌样本类别预测值；同理，
Figure FDA00024532626900000212
表示广告牌样本类别的标定状态，
Figure FDA00024532626900000213
表示广告牌样本进行预测，
Figure FDA00024532626900000214
表示是否对街道背景样本进行预测，具体计算如下：
Figure FDA00024532626900000215
Figure FDA00024532626900000216
Figure FDA00024532626900000217
其中参数α∈(0,1)；iouj表示锚点mj在第i个网格中锚点框与广告牌样本标定框的交叠率，miou表示最大交叠率；
Step4：利用Step3中的一阶段目标检测算法模型的损失函数，对模型进行梯度下降法训练，直至模型收敛；在系统运行阶段，利用一阶目标检测模型提取网络特征值，并基于K-means聚类方法确定锚点，在系统运行阶段，根据模型输出的广告牌的位置相关信息，判断该广告牌是否在合法区域内，如果不在合法区域内，则告警。
CN202010298948.5A 2020-04-16 2020-04-16 非法广告牌监控方法 Withdrawn CN111597901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010298948.5A CN111597901A (zh) 2020-04-16 2020-04-16 非法广告牌监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010298948.5A CN111597901A (zh) 2020-04-16 2020-04-16 非法广告牌监控方法

Publications (1)

Publication Number Publication Date
CN111597901A true CN111597901A (zh) 2020-08-28

Family

ID=72184999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010298948.5A Withdrawn CN111597901A (zh) 2020-04-16 2020-04-16 非法广告牌监控方法

Country Status (1)

Country Link
CN (1) CN111597901A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270331A (zh) * 2020-11-04 2021-01-26 哈尔滨理工大学 一种基于yolov5改进的广告牌检测方法
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112995710A (zh) * 2021-02-04 2021-06-18 深圳信息职业技术学院 视频中广告牌自动提取方法、系统及存储介质
CN113705442A (zh) * 2021-10-09 2021-11-26 广东博媒广告传播有限公司 一种户外大牌广告画面监控识别系统及方法
CN114758216A (zh) * 2022-05-05 2022-07-15 北京容联易通信息技术有限公司 一种基于机器视觉的非法广告检测方法及系统
CN116721355A (zh) * 2023-08-09 2023-09-08 江西云眼视界科技股份有限公司 广告牌检测方法、系统、可读存储介质及计算机设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270331A (zh) * 2020-11-04 2021-01-26 哈尔滨理工大学 一种基于yolov5改进的广告牌检测方法
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112995710A (zh) * 2021-02-04 2021-06-18 深圳信息职业技术学院 视频中广告牌自动提取方法、系统及存储介质
CN112995710B (zh) * 2021-02-04 2021-11-30 深圳信息职业技术学院 视频中广告牌自动提取方法、系统及存储介质
CN113705442A (zh) * 2021-10-09 2021-11-26 广东博媒广告传播有限公司 一种户外大牌广告画面监控识别系统及方法
CN114758216A (zh) * 2022-05-05 2022-07-15 北京容联易通信息技术有限公司 一种基于机器视觉的非法广告检测方法及系统
CN114758216B (zh) * 2022-05-05 2023-01-13 北京容联易通信息技术有限公司 一种基于机器视觉的非法广告检测方法及系统
CN116721355A (zh) * 2023-08-09 2023-09-08 江西云眼视界科技股份有限公司 广告牌检测方法、系统、可读存储介质及计算机设备
CN116721355B (zh) * 2023-08-09 2023-10-24 江西云眼视界科技股份有限公司 广告牌检测方法、系统、可读存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN111597901A (zh) 非法广告牌监控方法
CN111353413B (zh) 一种输电设备低漏报率缺陷识别方法
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN111444848A (zh) 一种基于联邦学习的特定场景模型升级方法和系统
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及系统
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN109087510A (zh) 交通监测方法及装置
CN112950634B (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN111723654A (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN108133172A (zh) 视频中运动对象分类的方法、车流量的分析方法及装置
CN111709336B (zh) 一种高速公路行人检测方法、设备及可读存储介质
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN111597902A (zh) 机动车违停监测方法
CN112115957A (zh) 数据流识别方法及装置、计算机存储介质
CN111597900A (zh) 非法遛狗识别方法
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN113313110A (zh) 一种车牌类型识别模型构建及车牌类型识别方法
KR102261187B1 (ko) 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN111597897B (zh) 高速服务区车位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200828