CN114022756A - 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 - Google Patents
排水盖周边垃圾的视觉识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114022756A CN114022756A CN202111121478.6A CN202111121478A CN114022756A CN 114022756 A CN114022756 A CN 114022756A CN 202111121478 A CN202111121478 A CN 202111121478A CN 114022756 A CN114022756 A CN 114022756A
- Authority
- CN
- China
- Prior art keywords
- detection model
- garbage
- target detection
- initial
- drainage cover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 238000003860 storage Methods 0.000 title claims description 22
- 238000012549 training Methods 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000005520 cutting process Methods 0.000 claims abstract description 6
- 230000002093 peripheral effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000008092 positive effect Effects 0.000 abstract 1
- 238000004140 cleaning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000012855 volatile organic compound Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请是关于一种排水盖周边垃圾的视觉识别方法。该方法包括：获取排水盖的图像数据以及排水盖的周边垃圾的图像数据，并进行增强处理，得到目标训练图像集；构建初始目标检测模型，将初始目标检测模型中的主干提取网络进行更新，得到更新目标检测模型；将目标训练图像集输入更新目标检测模型进行训练，得到可用目标检测模型；将待识别图像输入可用目标检测模型，确定排水盖的位置信息；根据位置信息对排水盖的区域进行局部剪裁，得到垃圾识别图像；根据垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号。本申请提供的方案，能够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖，对解决城市内涝起到积极作用。
Description
技术领域
本申请涉及视觉识别技术领域，尤其涉及排水盖周边垃圾的视觉识别方法、电子设备及存储介质。
背景技术
城市出现内涝现象最主要的原因是排水系统不能够及时的把雨水排出，影响排水系统性能的因素不仅仅局限于系统设计的好坏，在排水口附近的垃圾一旦在下大雨时堵住了下水道口，则势必会引起积水甚至内涝。目前并没有较好的智能化策略能够解决以上问题。
在现有技术中，公开号为CN112949517A的专利（基于深度迁移学习的植物气孔密度和开度识别方法及系统）中，将部分气孔图像进行气孔及气孔内壁双目标标注，作为训练集、验证集，其余作为测试集；基于训练集和验证集进行模型训练和优化，当损失函数收敛到最小值时，保存当前模型；载入训练后的模型，对测试集图像进行智能识别定位、标注，自动计算得到气孔密度。
上述现有技术存在以下缺点：
无法对排水盖周边的垃圾数量进行识别，不能够生成提前清理排水盖周边垃圾的预警信息，因此，需要研发一种能够识别排水盖周边垃圾数量的视觉识别方法，有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖。
发明内容
为克服相关技术中存在的问题，本申请提供一种排水盖周边垃圾的视觉识别方法，该排水盖周边垃圾的视觉识别方法，能够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖，对解决城市内涝起到积极作用。
本申请第一方面提供一种排水盖周边垃圾的视觉识别方法，包括：
获取排水盖的图像数据以及排水盖的周边垃圾的图像数据，得到初始训练图像集；
对初始训练图像集进行增强处理，得到目标训练图像集；
构建初始目标检测模型，将初始目标检测模型中的主干提取网络进行更新，得到更新目标检测模型；
将目标训练图像集输入更新目标检测模型进行训练，得到可用目标检测模型；
将待识别图像输入可用目标检测模型，确定排水盖的位置信息；
根据位置信息对排水盖的区域进行局部剪裁，得到垃圾识别图像；
根据垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号。
在一种实施方式中，将初始目标检测模型中的主干提取网络进行更新，包括：
将初始目标检测模型中初始主干提取网络更替为目标主干提取网络；
将目标主干提取网络中的初始激活函数更替为目标激活函数。
在一种实施方式中，将初始目标检测模型中初始主干提取网络更替为目标主干提取网络，包括：
将基于Yolov4的初始目标检测模型中的DarkNet53网络更替为CSPDarkNet53网络。
在一种实施方式中，将目标主干提取网络中的初始激活函数更替为目标激活函数，包括：
将CSPDarkNet53网络中的初始激活函数更替为Mish激活函数；
Mish激活函数可以采用公式A进行表示，公式A为：
其中，x为输入的图像数据对应的值。
在一种实施方式中，对初始训练图像集进行增强处理，包括：
将初始训练图像集分组，得到N个训练图像组，各个训练图像组中具有M个图像数据，M和N大于零；
通过Mosaic数据增强方法分别对各个训练图像组进行增强处理。
在一种实施方式中，通过Mosaic数据增强方法分别对各个训练图像组进行增强处理，包括：
读取M个图像数据；
分别对M个图像数据进行变化处理，变化处理包括翻转、缩放以及色域变化，得到M个增强图像数据；
将M个增强图像数据按照M个不同的方向进行放置并进行组合，得到增强训练图像组。
在一种实施方式中，将目标训练图像集输入更新目标检测模型进行训练，包括：
将目标训练图像集输入更新目标检测模型进行训练，直至更新目标检测模型输出的日志记录中，损失变量以变化量λ为增量进行变化，λ大于等于零且小于1；
损失变量根据更新目标检测模型的损失函数进行确定。
在一种实施方式中，根据垃圾数量确定预警级别信号，包括：
若垃圾数量大于S1，则确定预警级别信号为红色信号；
若垃圾数量大于S2且小于或等于S1，则确定预警级别信号为黄色信号；
若垃圾数量大于S3且小于或等于S2，则确定预警级别信号为绿色信号；
S1大于S2大于S3，S1、S2以及S3为大于零的整数。
本申请第二方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
通过获取排水盖的图像数据以及排水盖的周边垃圾的图像数据，并进行增强处理，得到目标训练图像集；构建初始目标检测模型，将初始目标检测模型中的主干提取网络进行更新，得到更新目标检测模型，优化网络层结构，降低了训练难度，提高模型拟合程度以及拟合效果，从而提高模型识别精度；将目标训练图像集输入更新目标检测模型进行训练，得到可用目标检测模型，将待识别图像输入可用目标检测模型，确定排水盖的位置信息，根据位置信息对排水盖进行聚焦成像，识别垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号，能够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖，对解决城市内涝起到积极作用。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的排水盖周边垃圾的视觉识别方法实施例一的流程示意图；
图2是本申请实施例示出的排水盖周边垃圾的视觉识别方法实施例二的流程示意图；
图3是本申请实施例示出的排水盖周边垃圾的视觉识别方法实施例三的流程示意图；
图4是本申请实施例示出的排水盖周边垃圾的视觉识别方法实施例四的流程示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
城市出现内涝现象最主要的原因是排水系统不能够及时的把雨水排出，影响排水系统性能的因素不仅仅局限于系统设计的好坏，在排水口附近的垃圾一旦在下大雨时堵住了下水道口，则势必会引起积水甚至内涝。目前并没有较好的智能化策略能够解决以上问题。现有技术无法对排水盖周边的垃圾数量进行识别，不能够生成提前清理排水盖周边垃圾的预警信息，因此，需要研发一种能够识别排水盖周边垃圾数量的视觉识别方法，有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖。
针对上述问题，本申请实施例提供一种排水盖周边垃圾的视觉识别方法，能够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖。
以下结合附图详细描述本申请实施例的技术方案。
请参阅图1，本申请实施例示出的排水盖周边垃圾的视觉识别方法的实施例一，包括：
101、获取排水盖的图像数据以及排水盖的周边垃圾的图像数据；
在本申请实施例中，可以通过道路摄像头获取排水盖和排水盖周边垃圾的图像数据作为模型测试样本，用于在目标检测模型训练完成后进行准确率测试。另外，需要在不同道路背景下获取排水盖的图像数据，在不同道路背景下获取排水盖周边垃圾的图像数据，以及在在不同道路背景下获取各种道路的图像数据作为模型训练样本，构成初始训练图像集。
该初始训练图像集为自行标注后采用的VOC格式的图像集，方便可视化，便于用户查看数据的标注情况。可以理解的是，在实际应用中，初始训练图像集的格式的设置方式是多样的，需根据实际应用情况而定，此处不作唯一限定。
102、对初始训练图像集进行增强处理；
对初始训练图像集进行增强处理目的是为了在不实质增加图像数据的情况下增加初始训练图像集的数据量，增强处理的类型可以包括但不限于几何变换类以及颜色变换类，最终得到目标训练图像集。
103、构建初始目标检测模型，将初始目标检测模型中的主干提取网络进行更新；
在本申请实施例中，会构建基于Yolov4的初始目标检测模型，将该初始目标检测模型中的主干提取网络进行更新，更新的具体步骤为：将原来的残差块的堆叠进行了一个拆分，拆成两部分，一部分为主干部分，会继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后。从而优化网络层结构，降低了训练难度，提高模型拟合程度以及拟合效果，进而提高模型识别精度。
104、将目标训练图像集输入更新目标检测模型进行训练；
通过将目标训练图像集输入更新目标检测模型进行训练，在训练过程中模型会不断输出训练日志，用于记录更新目标检测模型的损失函数计算得出的损失变量。在经过模型测试样本测试并达到目标准确度后，得到可用目标检测模型。
105、将待识别图像输入可用目标检测模型，确定排水盖的位置信息；
使用可用目标检测模型对待识别图像进行检测，由于在待识别图像中排水盖所占的面积比例可能较小，因此需要识别出排水盖的位置信息，确定排水盖的位置，对排水盖的所在区域进行定位聚焦。
106、根据位置信息对排水盖的区域进行局部剪裁，得到垃圾识别图像；
在完成定位聚焦后对除排水盖的区域以外的干扰区域进行裁剪处理，保留排水盖的区域，得到用于识别排水盖周边垃圾的垃圾识别图像。
107、根据垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号。
通过可用目标检测模型对排水盖周边的垃圾进行识别，统计垃圾数量，根据垃圾数量确定预警级别信号，在本申请实施例中，不同的预警级别可以发出不一样的信号，预警级别的级别数量设置需根据实际应用情况而定，此处不作唯一限定。
从上述实施例一可以看出以下有益效果：
通过获取排水盖的图像数据以及排水盖的周边垃圾的图像数据，并进行增强处理，得到目标训练图像集；构建初始目标检测模型，将初始目标检测模型中的主干提取网络进行更新，得到更新目标检测模型，优化网络层结构，降低了训练难度，提高模型拟合程度以及拟合效果，从而提高模型识别精度；将目标训练图像集输入更新目标检测模型进行训练，得到可用目标检测模型，将待识别图像输入可用目标检测模型，确定排水盖的位置信息，根据位置信息对排水盖进行聚焦成像，识别垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号，能够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖，对解决城市内涝起到积极作用。
实施例二
为了便于理解，以下提供了排水盖周边垃圾的视觉识别方法的一个实施例来进行说明，在实际应用中，会对初始目标检测模型中的主干提取网络进行更新，还会将更替后的主干提取网络中的激活函数进行替换。
请参阅图2，本申请实施例示出的排水盖周边垃圾的视觉识别方法的实施例二，包括：
201、将初始目标检测模型中初始主干提取网络更替为目标主干提取网络；
将基于Yolov4的初始目标检测模型中的DarkNet53网络更替为CSPDarkNet53网络。更替的具体步骤为：将原来的残差块的堆叠进行了一个拆分，拆成两部分，一部分为主干部分，会继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后。
202、将目标主干提取网络中的初始激活函数更替为目标激活函数。
将CSPDarkNet53网络中的初始激活函数更替为Mish激活函数；
Mish激活函数可以采用公式A进行表示，公式A为：
其中，x为输入的图像数据对应的值。
在本申请实施例中，在采用CSPDarkNet53作为主干提取网络结构的前提下，Mish函数是效果较好的激活函数，而且当下计算机性能高，计算资源充足，选择更高计算代价的Mish函数能够使目标检测模型具有更好的收敛性，提高网络的学习能力，提升梯度的传递效率的同时，平滑的Mish函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。
从上述实施例二可以看出以下有益效果：
通过将初始目标检测模型中的DarkNet53网络更替为CSPDarkNet53网络，将CSPDarkNet53网络中的初始激活函数更替为Mish激活函数，优化网络层结构，降低了训练难度，提高模型拟合程度以及拟合效果，从而提高模型识别精度，提高网络的学习能力，提升梯度的传递效率的同时，平滑的Mish函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。
实施例三
为了便于理解，以下提供了排水盖周边垃圾的视觉识别方法的一个实施例来进行说明，在实际应用中，会采用Mosaic数据增强方法来进行增强处理。
请参阅图3，本申请实施例示出的排水盖周边垃圾的视觉识别方法的实施例三，包括：
301、将初始训练图像集分组；
将初始训练图像集分组，得到N个训练图像组，各个训练图像组中具有M个图像数据，若是将大量的图像数据同时进行增强，处理效率低下，但将该大量的图像数据分组之后，每个训练图像组均具有少量的且数量一致的图像数据，每个训练图像组中的图像数据都能得到充分增强，同时提高计算效率。
302、通过Mosaic数据增强方法分别对各个训练图像组进行增强处理。
Mosaic数据增强方法的处理步骤具体为：
读取各个训练图像组中的M个图像数据，分别对M个图像数据进行变化处理，变化处理包括但不限于翻转、缩放以及色域变化，得到M个增强图像数据；
将M个增强图像数据按照M个不同的方向进行放置，对该M个增强图像数据进行组合以及M个增强图像数据中的特征提取框进行组合，得到增强训练图像组。
在本申请实施例中，M可以取值为4，不作唯一限定，N的取值可以根据总图像数据量来进行确定，直至N个训练图像组中的图像数据都能够得到增强后，增强处理可以停止。
从上述实施例三可以看出以下有益效果：
通过Mosaic数据增强方法分别对各个训练图像组进行增强处理，丰富了初始训练图像，使得目标训练图像集中增加了很多小目标，从而使得目标检测模型的鲁棒性更好，同时各个训练图像组具有少量的且数量一致的图像数据，减少计算资源的消耗，提高计算处理效率。
实施例四
为了便于理解，以下提供了排水盖周边垃圾的视觉识别方法的一个实施例来进行说明，在实际应用中，在训练过程中会对更新目标检测模型输出的日志记录中的损失变量进行监控，以确保更新目标检测模型能够充分训练。
请参阅图4，本申请实施例示出的排水盖周边垃圾的视觉识别方法的实施例四，包括：
401、将目标训练图像集输入更新目标检测模型进行训练；
将目标训练图像集输入更新目标检测模型进行训练，直至更新目标检测模型输出的日志记录中，损失变量以变化量λ为增量进行变化，λ大于等于零且小于1，可以理解的是，变化量λ即为当前日志记录中的损失变量减去前一个日志记录中的损失变量的差值，当损失变量连续出现P次变化量λ以大于等于零且小于1的增量进行变化时，则说明损失变量趋于稳定且不再降低，示例性的，P的取值可以为3，需根据实际应用情况而定，此处不作唯一限定。此时，可以停止对更新目标检测模型的训练并输出可用目标检测模型。
其中，损失变量根据更新目标检测模型的损失函数进行确定，损失函数是计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。
402、将待识别图像输入可用目标检测模型，确定排水盖的位置信息；
在本申请实施例中，步骤402的具体内容与上述实施例一中的步骤105内容相似，此处不作赘述。
403、根据位置信息对排水盖的区域进行局部剪裁，得到垃圾识别图像；
在本申请实施例中，步骤402的具体内容与上述实施例一中的步骤106内容相似，此处不作赘述。
404、根据垃圾识别图像确定排水盖周边的垃圾数量，根据垃圾数量确定预警级别信号。
若垃圾数量大于S1，则确定预警级别信号为红色信号；若垃圾数量大于S2且小于或等于S1，则确定预警级别信号为黄色信号；若垃圾数量大于S3且小于或等于S2，则确定预警级别信号为绿色信号；其中，S1大于S2大于S3，S1、S2以及S3为大于零的整数。
可以理解的是，不同预警级别所输出的信号形式是多样的，以上红色信号、黄色信号以及绿色信号仅为示例性的，在实际应用中，需根据实际应用情况确定该信号形式，此处不做唯一限定。
从上述实施例四中可以看出以下有益效果：
通过训练得到的可用目标检测模型对排水盖周边的垃圾进行识别，根据垃圾数量发出对应预警级别的信号，够有效对排水盖周边垃圾的提前清理进行预警，防止堵塞排水盖，对解决城市内涝起到积极作用。
实施例五
图5是本申请实施例示出的电子设备的结构示意图。
参见图5，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种排水盖周边垃圾的视觉识别方法，其特征在于，包括：
获取排水盖的图像数据以及所述排水盖的周边垃圾的图像数据，得到初始训练图像集；
对所述初始训练图像集进行增强处理，得到目标训练图像集；
构建初始目标检测模型，将所述初始目标检测模型中的主干提取网络进行更新，得到更新目标检测模型；
将所述目标训练图像集输入所述更新目标检测模型进行训练，得到可用目标检测模型；
将待识别图像输入所述可用目标检测模型，确定所述排水盖的位置信息；
根据所述位置信息对所述排水盖的区域进行局部剪裁，得到垃圾识别图像；
根据所述垃圾识别图像确定所述排水盖周边的垃圾数量，根据所述垃圾数量确定预警级别信号。
2.根据权利要求1所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述将所述初始目标检测模型中的主干提取网络进行更新，包括：
将所述初始目标检测模型中初始主干提取网络更替为目标主干提取网络；
将所述目标主干提取网络中的初始激活函数更替为目标激活函数。
3.根据权利要求2所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述将所述初始目标检测模型中初始主干提取网络更替为目标主干提取网络，包括：
将基于Yolov4的初始目标检测模型中的DarkNet53网络更替为CSPDarkNet53网络。
4.根据权利要求3所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述将所述目标主干提取网络中的初始激活函数更替为目标激活函数，包括：
将所述CSPDarkNet53网络中的初始激活函数更替为Mish激活函数；
所述Mish激活函数可以采用公式A进行表示，所述公式A为：
其中，x为输入的图像数据对应的值。
5.根据权利要求1所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述对所述初始训练图像集进行增强处理，包括：
将所述初始训练图像集分组，得到N个训练图像组，各个训练图像组中具有M个图像数据，所述M和所述N大于零；
通过所述Mosaic数据增强方法分别对各个训练图像组进行增强处理。
6.根据权利要求5所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述通过所述Mosaic数据增强方法分别对各个训练图像组进行增强处理，包括：
读取所述M个图像数据；
分别对所述M个图像数据进行变化处理，所述变化处理包括翻转、缩放以及色域变化，得到M个增强图像数据；
将所述M个增强图像数据按照M个不同的方向进行放置并进行组合，得到增强训练图像组。
7.根据权利要求1所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述将所述目标训练图像集输入所述更新目标检测模型进行训练，包括：
将所述目标训练图像集输入所述更新目标检测模型进行训练，直至所述更新目标检测模型输出的日志记录中，损失变量以变化量λ为增量进行变化，所述λ大于等于零且小于1；
所述损失变量根据所述更新目标检测模型的损失函数进行确定。
8.根据权利要求1所述的排水盖周边垃圾的视觉识别方法，其特征在于，
所述根据所述垃圾数量确定预警级别信号，包括：
若所述垃圾数量大于S1，则确定所述预警级别信号为红色信号；
若所述垃圾数量大于S2且小于或等于S1，则确定所述预警级别信号为黄色信号；
若所述垃圾数量大于S3且小于或等于S2，则确定所述预警级别信号为绿色信号；
所述S1大于所述S2大于所述S3，所述S1、所述S2以及所述S3为大于零的整数。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111121478.6A CN114022756A (zh) | 2021-09-24 | 2021-09-24 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111121478.6A CN114022756A (zh) | 2021-09-24 | 2021-09-24 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114022756A true CN114022756A (zh) | 2022-02-08 |
Family
ID=80054775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111121478.6A Pending CN114022756A (zh) | 2021-09-24 | 2021-09-24 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022756A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115287A (zh) * | 2022-08-29 | 2022-09-27 | 深圳市城市公共安全技术研究院有限公司 | 内涝堵塞处理方法、装置、设备与存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009030302A (ja) * | 2007-07-26 | 2009-02-12 | Panasonic Electric Works Co Ltd | 排水口装置 |
| US20190213438A1 (en) * | 2018-01-05 | 2019-07-11 | Irobot Corporation | Mobile Cleaning Robot Artificial Intelligence for Situational Awareness |
| CN110852236A (zh) * | 2019-11-05 | 2020-02-28 | 浙江大华技术股份有限公司 | 目标事件的确定方法及装置、存储介质、电子装置 |
| CN112036500A (zh) * | 2020-09-04 | 2020-12-04 | 广东弓叶科技有限公司 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
| CN112541393A (zh) * | 2020-11-10 | 2021-03-23 | 国网浙江嵊州市供电有限公司 | 一种基于深度学习的变电站人员检测方法及装置 |
| CN112634210A (zh) * | 2020-12-10 | 2021-04-09 | 重庆大学 | 一种基于三维ct影像的肺结节检测方法 |
| CN112733676A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 一种基于深度学习的电梯内垃圾检测识别方法 |
| CN112926405A (zh) * | 2021-02-01 | 2021-06-08 | 西安建筑科技大学 | 一种安全帽佩戴检测方法、系统、设备及存储介质 |
-
2021
- 2021-09-24 CN CN202111121478.6A patent/CN114022756A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009030302A (ja) * | 2007-07-26 | 2009-02-12 | Panasonic Electric Works Co Ltd | 排水口装置 |
| US20190213438A1 (en) * | 2018-01-05 | 2019-07-11 | Irobot Corporation | Mobile Cleaning Robot Artificial Intelligence for Situational Awareness |
| CN110852236A (zh) * | 2019-11-05 | 2020-02-28 | 浙江大华技术股份有限公司 | 目标事件的确定方法及装置、存储介质、电子装置 |
| CN112036500A (zh) * | 2020-09-04 | 2020-12-04 | 广东弓叶科技有限公司 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
| CN112541393A (zh) * | 2020-11-10 | 2021-03-23 | 国网浙江嵊州市供电有限公司 | 一种基于深度学习的变电站人员检测方法及装置 |
| CN112634210A (zh) * | 2020-12-10 | 2021-04-09 | 重庆大学 | 一种基于三维ct影像的肺结节检测方法 |
| CN112733676A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 一种基于深度学习的电梯内垃圾检测识别方法 |
| CN112926405A (zh) * | 2021-02-01 | 2021-06-08 | 西安建筑科技大学 | 一种安全帽佩戴检测方法、系统、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115287A (zh) * | 2022-08-29 | 2022-09-27 | 深圳市城市公共安全技术研究院有限公司 | 内涝堵塞处理方法、装置、设备与存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schönberger et al. | A vote-and-verify strategy for fast spatial verification in image retrieval | |
| CN103870790A (zh) | 一种二维条码的识别方法及其装置 | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| CN111027546B (zh) | 一种字符分割方法、装置以及计算机可读存储介质 | |
| CN114022479A (zh) | 电池极耳外观缺陷检测方法 | |
| CN113298050B (zh) | 车道线识别模型训练方法、装置及车道线识别方法、装置 | |
| CN112561907B (zh) | 一种基于双流网络的视频篡改操作检测方法及装置 | |
| CN113128554B (zh) | 一种基于模板匹配的目标定位方法、系统、装置及介质 | |
| CN112906816A (zh) | 基于光微分与双通道神经网络的目标检测方法和装置 | |
| CN114022756A (zh) | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 | |
| CN112446431A (zh) | 特征点提取与匹配方法、网络、设备及计算机存储介质 | |
| CN111931782A (zh) | 语义分割方法、系统、介质及装置 | |
| CN109472294A (zh) | 一种城市水体的识别方法、装置、储存介质及设备 | |
| CN115439718A (zh) | 一种结合监督学习和特征匹配技术的工业检测方法、系统、存储介质 | |
| CN114462469B (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN115861738A (zh) | 一种类别语义信息引导的遥感目标检测主动采样方法 | |
| CN109710628B (zh) | 信息处理方法及装置、系统、计算机及可读存储介质 | |
| CN114912516B (zh) | 一种协调特征一致性和特异性的跨域目标检测方法及系统 | |
| CN116563837A (zh) | 高精地图路牌图形数据解算方法、装置、设备及存储介质 | |
| CN113807472B (zh) | 分级目标检测方法及装置 | |
| CN113269734B (zh) | 一种基于元学习特征融合策略的肿瘤图像检测方法及装置 | |
| CN111488771B (zh) | Ocr挂接方法、装置与设备 | |
| CN114413927B (zh) | 车道线拟合方法、电子设备及存储介质 | |
| CN112348044A (zh) | 车牌检测方法、装置及设备 | |
| CN114067370B (zh) | 一种脖子遮挡检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |