CN116721355A - 广告牌检测方法、系统、可读存储介质及计算机设备 - Google Patents
广告牌检测方法、系统、可读存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116721355A CN116721355A CN202310993117.3A CN202310993117A CN116721355A CN 116721355 A CN116721355 A CN 116721355A CN 202310993117 A CN202310993117 A CN 202310993117A CN 116721355 A CN116721355 A CN 116721355A
- Authority
- CN
- China
- Prior art keywords
- billboard
- bracket
- detected
- pictures
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012795 verification Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种广告牌检测方法、系统、可读存储介质及计算机设备，方法包括收集实际场景下的占道广告牌图片，并进行标注后构造训练集及验证集，然后得到标签训练数据；接着对目标检测模型进行训练，并对目标检测模型的参数进行逐步调优，输出最优目标检测模型；对若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并构建支架库；通过交互式提取方法对待检测图片进行处理，以提取待检测区域；基于最优目标检测模型对待检测区域进行检测，并通过支架库对待检测区域进行特征匹配。本发明能够有效提升检测占道广告牌的效率，避免耗费大量人力物力，并且能够有效避免粘贴在墙面/物体表面的海报、标签等被错检为占道广告牌。
Description
技术领域
本发明涉及图像检测技术领域，特别涉及一种广告牌检测方法、系统、可读存储介质及计算机设备。
背景技术
在城市或城镇中，广告牌占用公共区域或人行道的行为屡见不鲜，同时威胁着行人安全。为了规范城镇户外广告设施和店招标牌设施的设置行为，确保广告设施的安全可靠，需要对占道的广告牌进行治理。
现有技术当中，通常是城市管理者通过实地考察发现并制止的方式来治理占道广告牌的行为，但是这种方式耗费大量人力物力且效率低，而通过摄像头进行检测，会将物体表面的海报及标签错检为占道广告牌。
发明内容
基于此，本发明的目的是提供一种广告牌检测方法、系统、可读存储介质及计算机设备，以至少解决上述现有技术当中的不足。
本发明提供一种广告牌检测方法，所述方法包括：
收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配。
与现有技术相比，本发明的有益效果是：通过收集占道广告牌图片，并标注占道广告牌图片并构造训练集及验证集，然后通过训练集及验证集得到目标检测模型的标签训练数据，以使目标检测模型经过训练后得到最优目标检测模型，提升检测占道广告牌时的准确性，然后通过广告牌支架图片构建支架库，在对待检测图片进行占道广告牌检测时，可以通过支架库的的特征匹配避免粘贴在墙面/物体表面的海报、标签等被错检为占道广告牌，而通过最优目标检测模型进行占道广告牌检测，有效提升了检测效率，并且避免了耗费大量人力物力。
进一步的，所述并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集的步骤包括：
采用标注工具对所述占道广告牌进行矩形框标注；
根据所述标注后的占道广告牌图片按预设比例分配所述训练集及所述验证集。
进一步的，所述基于所述标签训练数据对目标检测模型进行训练的步骤包括：
选取并确认网络模型结构，以得到所述目标检测模型，并初始化所述目标检测模型；
输入所述标签训练数据至所述目标检测模型，以使所述目标检测模型基于所述标签训练数据进行训练。
进一步的，所述并对所述若干种类的广告牌支架图片进行处理的步骤包括：
标注所述若干种类的广告牌支架图片，并裁剪所述若干种类的广告牌支架图片，得到裁剪广告牌支架图片；
基于所述裁剪广告牌支架图片提取支架背景图片，并将所述支架背景图片中的背景进行黑/白处理。
进一步的，所述通过交互式提取方法对待检测图片进行处理，以提取待检测区域的步骤包括：
对所述待检测图片进行SLIC超像素分割，得到若干超像素；
区分所述若干超像素，得到非背景区域及背景区域，并基于所述非背景区域及所述背景区域得到所述待检测区域。
进一步的，所述并通过所述支架库对所述待检测区域进行特征匹配的步骤之后，所述方法包括：
基于所述最优目标检测模型对所述待检测区域进行推理，以得到所述待检测区域中的广告牌位置，并对所述广告牌位置进行矩形框标记，得到目标矩形框；
对所述目标矩形框进行向下扩展，并将所述目标矩形框中的背景进行黑/白处理得到目标小图，并构建所述目标矩形框的坐标系；
将所述目标小图与所述支架库中的所述处理广告牌支架图片逐一进行特征比对。
进一步的，所述目标矩形框的表达式为：
其中，rect表示目标矩形框，表示所述目标矩形框中左上角的横坐标，/>表示所述目标矩形框中左上角的纵坐标，/>表示所述目标矩形框中右下角的横坐标，/>表示所述目标矩形框中右下角的纵坐标。
本发明还提供一种广告牌检测系统，所述系统包括：
收集模块，用于收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
训练模块，用于基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
构建模块，用于采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
处理模块，用于通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
检测模块，用于基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配。
本发明还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的广告牌检测方法。
本发明还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的广告牌检测方法。
附图说明
图1为本发明第一实施例中的广告牌检测方法的流程图；
图2为本发明第二实施例中的广告牌检测方法的流程图；
图3为本发明第三实施例中的广告牌检测系统的结构框图；
图4为本发明第四实施例中的计算机设备的结构框图。
主要元件符号说明：
100、收集模块；200、训练模块；300、构建模块；400、处理模块；500、检测模块；
10、存储器；20、处理器；30、计算机程序。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的广告牌检测方法，所述方法包括步骤S1至步骤S5：
S1，收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
可以理解的是，通过大量收集街面上的占道广告牌的图片，并将图片上的占道广告牌标注出来，得到标注后的占道广告牌图片，然后基于标注后的占道广告牌图片构造训练集及验证集，然后根据训练集及验证集生成用于检测模型参数的调优用的标签训练数据。
具体的，所述步骤S1具体包括步骤S11至步骤S12：
S11，采用标注工具对所述占道广告牌进行矩形框标注；
需要解释的是，标注工具可以为矩形框标注工具，利用该标注工具对占道广告牌进行矩形框标注，将占道广告牌圈出。
S12，根据所述标注后的占道广告牌图片按预设比例分配所述训练集及所述验证集；
需要解释的是，在本实施例中，训练集与验证集的比例为8:2，且在本实施例中，训练集与验证集为随机分配的。
S2，基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
具体的，所述步骤S2具体包括步骤S21至步骤S22：
S21，选取并确认网络模型结构，以得到所述目标检测模型，并初始化所述目标检测模型；
可以理解的是，根据实际项目需求确定目标检测模型的结构类型，可以是单阶段检测模型YOLO系列，也可以是双阶段检测模型RCNN系列，确认选定后随机对模型进行参数初始化。
S22，输入所述标签训练数据至所述目标检测模型，以使所述目标检测模型基于所述标签训练数据进行训练。
需要解释的是，将得到的标签训练数据输入至选定的目标检测模型后，利用反向误差传播算法将目标检测模型的参数逐步调优，以输出最优目标检测模型。
S3，采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
需要解释的是，单靠目标检测模型是难以将占道广告牌检测清楚的，无论是YOLO系列还是RCNN系列，训练后的最优目标检测模型对占道广告牌的牌面识别效果都比较好，但是对广告牌支架的检测效果不佳，这容易导致粘贴在墙面/物体表面的海报、标签等被错检为占道广告。因此可以通过采集大量的若干种类的广告牌支架图片，然后对若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并根据这些处理广告牌支架图片构建支架库。
具体的，所述步骤S3具体包括步骤S31至步骤S32：
S31，标注所述若干种类的广告牌支架图片，并裁剪所述若干种类的广告牌支架图片，得到裁剪广告牌支架图片；
S32，基于所述裁剪广告牌支架图片提取支架背景图片，并将所述支架背景图片中的背景进行黑/白处理。
值得说明的是，将支架背景图片中的背景黑/白处理，可以使得支架更加的明显有效。并且通过上述步骤可知，构建支架库的过程工作量较小，更加适合工程化。
S4，通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
具体的，所述步骤S4包括步骤S41至步骤S42：
S41，对所述待检测图片进行SLIC超像素分割，得到若干超像素；
S42，区分所述若干超像素，得到非背景区域及背景区域，并基于所述非背景区域及所述背景区域得到所述待检测区域。
需要解释的是，背景提取是为了减少背景像素对占道广告牌检测时的影响，所以背景提取进度越高越好，因此通过对待检测图片进行SLIC超像素分割，超像素是一群空间相邻以及特征相似的像素群，所以每个超像素对应一个不规则区域，然后选择哪些超像素是背景区域，哪些超像素是非背景区域，基于超像素而非像素进行背景区域选择，这种方式可以提高选择效率，并且能够保证城市管理等复杂场景下的背景提取精确度，从而能够得到更为精确的待检测区域。
S5，基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配；
可以理解的是，首先通过目标检测模型对待检测区域中的占道广告牌的牌面进行识别，当识别到为占道广告牌后，再将该待检测区域与支架库中的若干种类的占道广告牌支架进行特征匹配，若匹配成功，则认为是占道广告牌，若不成功，则认为是粘贴在墙面/物体表面的海报、标签等，有效提升了对占道广告牌的识别。
综上，本发明第一实施例当中的广告牌检测方法，通过收集占道广告牌图片，并标注占道广告牌图片并构造训练集及验证集，然后通过训练集及验证集得到目标检测模型的标签训练数据，以使目标检测模型经过训练后得到最优目标检测模型，提升检测占道广告牌时的准确性，然后通过广告牌支架图片构建支架库，在对待检测图片进行占道广告牌检测时，可以通过支架库的特征匹配避免粘贴在墙面/物体表面的海报、标签等被错检为占道广告牌，而通过最优目标检测模型进行占道广告牌检测，有效提升了检测效率，并且避免了耗费大量人力物力。
实施例二
请参阅图2，所示为本发明第二实施例中的广告牌检测方法，所述检测方法包括步骤S201至步骤S208：
S201，收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
可以理解的是，通过大量收集街面上的占道广告牌的图片，并将图片上的占道广告牌标注出来，得到标注后的占道广告牌图片，然后基于标注后的占道广告牌图片构造训练集及验证集，然后根据训练集及验证集生成用于检测模型参数的调优用的标签训练数据。
S202，基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
需要解释的是，在本实施例中，训练集与验证集的比例为8:2，且在本实施例中，训练集与验证集为随机分配的。
S203，采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
需要解释的是，单靠目标检测模型是难以将占道广告牌检测清楚的，无论是YOLO系列还是RCNN系列，训练后的最优目标检测模型对占道广告牌的牌面识别效果都比较好，但是对广告牌支架的检测效果不佳，这容易导致粘贴在墙面/物体表面的海报、标签等被错检为占道广告。因此可以通过采集大量的若干种类的广告牌支架图片，然后对若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并根据这些处理广告牌支架图片构建支架库。
S204，通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
S205，基于所述最优目标检测模型对所述待检测区域进行检测；
需要解释的是，通过训练完成输出的最优目标检测模型对待检测区域进行第一道的检测，以确认牌面是否为占道广告牌。
S206，基于所述最优目标检测模型对所述待检测区域进行推理，以得到所述待检测区域中的广告牌位置，并对所述广告牌位置进行矩形框标记，得到目标矩形框；
需要解释的是，通过训练完成后的最优目标检测模型对待检测区域进行推理，可以得到待检测区域中的广告牌的位置，并将广告牌的位置进行矩形框标记，得到目标矩形框。
S207，对所述目标矩形框进行向下扩展，并将所述目标矩形框中的背景进行黑/白处理得到目标小图，并构建所述目标矩形框的坐标系；
需要解释的是，考虑到目标矩形框可能只包含部分的占道广告牌支架甚至未包含占道广告牌支架，因此可以对目标矩形框进行向下扩展，以目标矩形框的左上角为原点、水平向右方向为横轴正向、垂直向下方向为纵轴正向构建坐标系，目标矩形框的表达式为：
；
其中，rect表示目标矩形框，表示所述目标矩形框中左上角的横坐标，/>表示所述目标矩形框中左上角的纵坐标，/>表示所述目标矩形框中右下角的横坐标，/>表示所述目标矩形框中右下角的纵坐标；
目标矩形框的向下扩展的规则为：
；
其中，，/>，/>，；
其中，表示扩展后的目标矩形框，/>表示扩展后的目标矩形框中左上角的横坐标，/>表示扩展后的目标矩形框中左上角的纵坐标，/>表示扩展后的目标矩形框中右下角的横坐标，/>表示扩展后的目标矩形框中右下角的纵坐标，/>为待检测区域中的水平像素数，/>为待检测区域中的垂直像素数，a为目标矩形框水平扩展系数，b为目标矩形框垂直扩展系数，扩展后的目标矩形框包含了广告牌牌面、广告牌支架以及背景像素，将扩展后的目标矩形框内属于背景的像素统一设置为黑/白，得到目标小图。
S208，将所述目标小图与所述支架库中的所述处理广告牌支架图片逐一进行特征比对；
值得说明的是，由于目标小图包含广告牌牌面以及广告牌支架，然后通过目标小图与支架库中的处理广告牌支架图片逐一进行SIFT特征比对特征匹配度高于设定阈值的认为目标小图中含有该支架，目标为占道广告牌；特征匹配度低于设定阈值的认为没有该支架，目标为粘贴海报/标签。
综上，本发明第二实施例中的广告牌检测方法与第一实施例中的广告牌检测方法的不同之处在于：通过向下扩展目标矩形框，使得扩展后的目标矩形框中包含广告牌以及支架，在对占道广告牌进行识别时，可以有效识别出占道广告牌的支架，避免出现将粘贴在墙面/物体表面的海报、标签等被错检为占道广告牌，有效提升了检测精度。
实施例三
请参阅图3，所示为本发明第三实施例中的广告检测系统，所述系统包括：
收集模块100，用于收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
训练模块200，用于基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
构建模块300，用于采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
处理模块400，用于通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
检测模块500，用于基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配。
在一些可选实施例中，所述收集模块100包括：
标注单元，用于采用标注工具对所述占道广告牌进行矩形框标注；
分配单元，用于根据所述标注后的占道广告牌图片按预设比例分配所述训练集及所述验证集；
所述训练模块200包括：
选取单元，用于选取并确认网络模型结构，以得到所述目标检测模型，并初始化所述目标检测模型；
训练单元，用于输入所述标签训练数据至所述目标检测模型，以使所述目标检测模型基于所述标签训练数据进行训练；
所述构建模块300包括：
裁剪单元，用于标注所述若干种类的广告牌支架图片，并裁剪所述若干种类的广告牌支架图片，得到裁剪广告牌支架图片；
处理单元，用于基于所述裁剪广告牌支架图片提取支架背景图片，并将所述支架背景图片中的背景进行黑/白处理；
所述处理模块400包括：
分割单元，用于对所述待检测图片进行SLIC超像素分割，得到若干超像素；
区分单元，用于区分所述若干超像素，得到非背景区域及背景区域，并基于所述非背景区域及所述背景区域得到所述待检测区域。
在一些可选实施例中，所述系统还包括：
推理模块，用于基于所述最优目标检测模型对所述待检测区域进行推理，以得到所述待检测区域中的广告牌位置，并对所述广告牌位置进行矩形框标记，得到目标矩形框；
扩展模块，对所述目标矩形框进行向下扩展，并将所述目标矩形框中的背景进行黑/白处理得到目标小图，并构建所述目标矩形框的坐标系；
比对模块，用于将所述目标小图与所述支架库中的所述处理广告牌支架图片逐一进行特征比对。
其中，目标矩形框的表达式为：
；
其中，rect表示目标矩形框，表示所述目标矩形框中左上角的横坐标，/>表示所述目标矩形框中左上角的纵坐标，/>表示所述目标矩形框中右下角的横坐标，/>表示所述目标矩形框中右下角的纵坐标；
目标矩形框的向下扩展的规则为：
；
其中，，/>，/>，；
其中，表示扩展后的目标矩形框，/>表示扩展后的目标矩形框中左上角的横坐标，/>表示扩展后的目标矩形框中左上角的纵坐标，/>表示扩展后的目标矩形框中右下角的横坐标，/>表示扩展后的目标矩形框中右下角的纵坐标，/>为待检测区域中的水平像素数，/>为待检测区域中的垂直像素数，a为目标矩形框水平扩展系数，b为目标矩形框垂直扩展系数。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
本发明实施例所提供的广告牌检测系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四
本发明还提出一种计算机设备，请参阅图4，所示为本发明第四实施例中的计算机设备，包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时实现上述的广告牌检测方法。
其中，存储器10至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机设备的内部存储单元，例如该计算机设备的硬盘。存储器10在另一些实施例中也可以是外部存储装置，例如插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器10还可以既包括计算机设备的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储的程序代码或处理数据，例如执行访问限制程序等。
需要指出的是，图4示出的结构并不构成对计算机设备的限定，在其它实施例当中，该计算机设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的广告牌检测方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种广告牌检测方法，其特征在于，所述方法包括：
收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配。
2.根据权利要求1所述的广告牌检测方法，其特征在于，所述并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集的步骤包括：
采用标注工具对所述占道广告牌进行矩形框标注；
根据所述标注后的占道广告牌图片按预设比例分配所述训练集及所述验证集。
3.根据权利要求1所述的广告牌检测方法，其特征在于，所述基于所述标签训练数据对目标检测模型进行训练的步骤包括：
选取并确认网络模型结构，以得到所述目标检测模型，并初始化所述目标检测模型；
输入所述标签训练数据至所述目标检测模型，以使所述目标检测模型基于所述标签训练数据进行训练。
4.根据权利要求1所述的广告牌检测方法，其特征在于，所述并对所述若干种类的广告牌支架图片进行处理的步骤包括：
标注所述若干种类的广告牌支架图片，并裁剪所述若干种类的广告牌支架图片，得到裁剪广告牌支架图片；
基于所述裁剪广告牌支架图片提取支架背景图片，并将所述支架背景图片中的背景进行黑/白处理。
5.根据权利要求1所述的广告牌检测方法，其特征在于，所述通过交互式提取方法对待检测图片进行处理，以提取待检测区域的步骤包括：
对所述待检测图片进行SLIC超像素分割，得到若干超像素；
区分所述若干超像素，得到非背景区域及背景区域，并基于所述非背景区域及所述背景区域得到所述待检测区域。
6.根据权利要求1所述的广告牌检测方法，其特征在于，所述并通过所述支架库对所述待检测区域进行特征匹配的步骤之后，所述方法包括：
基于所述最优目标检测模型对所述待检测区域进行推理，以得到所述待检测区域中的广告牌位置，并对所述广告牌位置进行矩形框标记，得到目标矩形框；
对所述目标矩形框进行向下扩展，并将所述目标矩形框中的背景进行黑/白处理得到目标小图，并构建所述目标矩形框的坐标系；
将所述目标小图与所述支架库中的所述处理广告牌支架图片逐一进行特征比对。
7.根据权利要求6所述的广告牌检测方法，其特征在于，所述目标矩形框的表达式为：
其中，rect表示目标矩形框，表示所述目标矩形框中左上角的横坐标，/>表示所述目标矩形框中左上角的纵坐标，/>表示所述目标矩形框中右下角的横坐标，/>表示所述目标矩形框中右下角的纵坐标。
8.一种广告牌检测系统，其特征在于，所述系统包括：
收集模块，用于收集实际场景下的占道广告牌图片，并对所述占道广告牌图片进行标注，根据标注后的占道广告牌图片构造训练集及验证集，并基于所述训练集及所述验证集得到标签训练数据；
训练模块，用于基于所述标签训练数据对目标检测模型进行训练，并基于反向误差传播算法对所述目标检测模型的参数进行逐步调优，以输出最优目标检测模型；
构建模块，用于采集若干种类的广告牌支架图片，并对所述若干种类的广告牌支架图片进行处理，得到处理广告牌支架图片，并基于所述处理广告牌支架图片构建支架库；
处理模块，用于通过交互式提取方法对待检测图片进行处理，以提取待检测区域；
检测模块，用于基于所述最优目标检测模型对所述待检测区域进行检测，并通过所述支架库对所述待检测区域进行特征匹配。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一所述的广告牌检测方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的广告牌检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310993117.3A CN116721355B (zh) | 2023-08-09 | 2023-08-09 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310993117.3A CN116721355B (zh) | 2023-08-09 | 2023-08-09 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721355A true CN116721355A (zh) | 2023-09-08 |
| CN116721355B CN116721355B (zh) | 2023-10-24 |
Family
ID=87870065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310993117.3A Active CN116721355B (zh) | 2023-08-09 | 2023-08-09 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721355B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330363A (zh) * | 2017-05-26 | 2017-11-07 | 浙江大学 | 一种快速的互联网广告牌检测方法 |
| CN111597901A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 非法广告牌监控方法 |
| CN111914834A (zh) * | 2020-06-18 | 2020-11-10 | 绍兴埃瓦科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN112270331A (zh) * | 2020-11-04 | 2021-01-26 | 哈尔滨理工大学 | 一种基于yolov5改进的广告牌检测方法 |
| CN112733830A (zh) * | 2020-12-31 | 2021-04-30 | 上海芯翌智能科技有限公司 | 店铺招牌识别方法及装置、存储介质和计算机设备 |
| CN113361643A (zh) * | 2021-07-02 | 2021-09-07 | 人民中科(济南)智能技术有限公司 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
| CN114120138A (zh) * | 2021-11-02 | 2022-03-01 | 中山大学·深圳 | 一种遥感影像目标检测识别方法、装置、设备及介质 |
| CN114898352A (zh) * | 2022-06-29 | 2022-08-12 | 松立控股集团股份有限公司 | 一种同时实现图像去雾与车牌检测的方法 |
| CN115731431A (zh) * | 2022-11-24 | 2023-03-03 | 广州市市政集团有限公司 | 一种隧道炮眼识别方法、装置、设备及存储介质 |
| CN115984699A (zh) * | 2023-01-05 | 2023-04-18 | 深圳市万物云科技有限公司 | 基于深度学习的违规广告牌检测方法、装置、设备及介质 |
| US20230129175A1 (en) * | 2021-10-25 | 2023-04-27 | Beijing Tusen Zhitu Technology Co., Ltd. | Traffic marker detection method and training method for traffic marker detection model |
| WO2023134097A1 (zh) * | 2022-01-11 | 2023-07-20 | 南方医科大学顺德医院(佛山市顺德区第一人民医院) | 基于残差网络结构的子宫肌瘤目标图像获取方法 |
-
2023
- 2023-08-09 CN CN202310993117.3A patent/CN116721355B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330363A (zh) * | 2017-05-26 | 2017-11-07 | 浙江大学 | 一种快速的互联网广告牌检测方法 |
| CN111597901A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 非法广告牌监控方法 |
| CN111914834A (zh) * | 2020-06-18 | 2020-11-10 | 绍兴埃瓦科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN112270331A (zh) * | 2020-11-04 | 2021-01-26 | 哈尔滨理工大学 | 一种基于yolov5改进的广告牌检测方法 |
| CN112733830A (zh) * | 2020-12-31 | 2021-04-30 | 上海芯翌智能科技有限公司 | 店铺招牌识别方法及装置、存储介质和计算机设备 |
| CN113361643A (zh) * | 2021-07-02 | 2021-09-07 | 人民中科(济南)智能技术有限公司 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
| US20230129175A1 (en) * | 2021-10-25 | 2023-04-27 | Beijing Tusen Zhitu Technology Co., Ltd. | Traffic marker detection method and training method for traffic marker detection model |
| CN114120138A (zh) * | 2021-11-02 | 2022-03-01 | 中山大学·深圳 | 一种遥感影像目标检测识别方法、装置、设备及介质 |
| WO2023134097A1 (zh) * | 2022-01-11 | 2023-07-20 | 南方医科大学顺德医院(佛山市顺德区第一人民医院) | 基于残差网络结构的子宫肌瘤目标图像获取方法 |
| CN114898352A (zh) * | 2022-06-29 | 2022-08-12 | 松立控股集团股份有限公司 | 一种同时实现图像去雾与车牌检测的方法 |
| CN115731431A (zh) * | 2022-11-24 | 2023-03-03 | 广州市市政集团有限公司 | 一种隧道炮眼识别方法、装置、设备及存储介质 |
| CN115984699A (zh) * | 2023-01-05 | 2023-04-18 | 深圳市万物云科技有限公司 | 基于深度学习的违规广告牌检测方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| MARK HUBENTHAL: "Image-Text Pre-Training for Logo Recognition", 《IEEE XPLORE》 * |
| 刘罗成: "基于轻量级卷积神经网络的违规广告牌检测算法研究", 《万方数据库》 * |
| 卜江;老松杨;白亮;TOLLARI SABRINA;MARSALA CHRISTOPHE;: "一种体育视频中广告牌商标的实时识别算法", 自动化学报, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721355B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102208023B (zh) | 基于边缘信息和分布熵的视频字幕识别设计方法 | |
| EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| Gazcón et al. | Automatic vehicle identification for Argentinean license plates using intelligent template matching | |
| CN105321350A (zh) | 套牌车检测方法及装置 | |
| CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
| CN112149649B (zh) | 一种道路抛洒物检测方法、计算机设备及存储介质 | |
| CN114332776B (zh) | 非机动车占用人行道检测方法、系统、设备及存储介质 | |
| CN112307989B (zh) | 路面物体识别方法、装置、计算机设备和存储介质 | |
| CN113011390A (zh) | 一种基于图像分区的道路行人小目标检测方法 | |
| CN113361643A (zh) | 基于深度学习的通用标志识别方法、系统、设备及存储介质 | |
| CN110852236A (zh) | 目标事件的确定方法及装置、存储介质、电子装置 | |
| CN113887438A (zh) | 人脸图像的水印检测方法、装置、设备及介质 | |
| Sferle et al. | Automatic number plate recognition for a smart service auto | |
| CN112132892B (zh) | 目标位置标注方法、装置及设备 | |
| CN116721355B (zh) | 广告牌检测方法、系统、可读存储介质及计算机设备 | |
| WO2002025575A9 (en) | Method and apparatus for portably recognizing text in an image sequence of scene imagery | |
| CN115909313A (zh) | 一种基于深度学习的违停车牌识别方法和装置 | |
| CN116843983A (zh) | 路面病害识别方法、模型训练方法、电子设备及介质 | |
| CN115294774A (zh) | 基于深度学习的非机动车道路违停检测方法及装置 | |
| CN114418950A (zh) | 道路病害检测方法、装置、设备及存储介质 | |
| CN114359147A (zh) | 裂缝检测方法、装置、服务器及存储介质 | |
| CN112149600A (zh) | 一种大数据汽车驾驶区域图像分析方法及系统 | |
| CN116977906B (zh) | 一种实时展示行人违规翻越道路隔离带方法 | |
| EP3309707A1 (en) | Device and method for gradient-based object recognition of an input image | |
| Ha | Grouping contents on Korean road signs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |