CN113989626A - 一种基于目标检测模型的多类别垃圾场景区分方法 - Google Patents
一种基于目标检测模型的多类别垃圾场景区分方法 Download PDFInfo
- Publication number
- CN113989626A CN113989626A CN202111606953.9A CN202111606953A CN113989626A CN 113989626 A CN113989626 A CN 113989626A CN 202111606953 A CN202111606953 A CN 202111606953A CN 113989626 A CN113989626 A CN 113989626A
- Authority
- CN
- China
- Prior art keywords
- garbage
- detection
- detected
- detection frame
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供了一种基于目标检测模型的多类别垃圾场景区分方法,包括:获取目标环境场景的待检测图像,对输入其的待检测图像进行垃圾识别检测,将各张待检测图像中被识别为垃圾的区域分别使用检测框框选;获取待检测图像中所有检测框的置信度得分;识别所有检测框框选的垃圾所属的垃圾场景的类别并标定为主要垃圾处理目标;输出主要垃圾处理目标对应的垃圾场景的类别名称,以及对应的检测框的位置。本发明解决了现有技术中的垃圾识别模型在应用中存在智能化程度低,以及具有使用局限性的问题,从而无法区分出终端拍摄人员在拍摄图像时真正想反馈的垃圾遗撒或堆放的问题。
Description
技术领域
本发明涉及垃圾识别技术领域,具体而言,涉及一种多类别垃圾场景区分方法,尤其涉及一种经过目标检测模型对目标环境场景的待检测图像初步垃圾识别处理后,对多类别垃圾场景进行区分的方法。
背景技术
现有的垃圾识别技术领域里,较为成熟的技术通常为利用基于深度学习训练得到的垃圾识别模型对图像数据进行分析处理,以实现对垃圾的分类。
在一种常见的特定情景中,针对拍摄人员上报的垃圾遗撒堆放问题的准确识别,现有的垃圾识别模型无法准确地进行区分。例如,环卫人员在对城市的公共卫生进行巡检时,遇到垃圾遗撒或堆放的问题,通常会使用移动的终端设备进行拍照,之后将拍摄的照片传输回管理分析系统,输入垃圾识别模型进行识别分类,而现有的垃圾识别模型只能对照片中所有被识别为垃圾的物体逐一进行标识,而无法区分出环卫人员在拍摄照片时真正想反馈的垃圾遗撒或堆放的问题,进而无法及时地针对性地进行处理,因此现有的垃圾识别模型在应用中存在智能化程度低,以及具有使用局限性的问题。
发明内容
本发明的主要目的在于提供一种基于目标检测模型的多类别垃圾场景区分方法,以解决现有技术中的垃圾识别模型在应用中存在智能化程度低,以及具有使用局限性的问题,从而无法区分出终端拍摄人员在拍摄图像时真正想反馈的垃圾遗撒或堆放的问题。
为了实现上述目的,本发明提供了一种基于目标检测模型的多类别垃圾场景区分方法,包括:步骤S1,获取多个目标环境场景的待检测图像,通过目标检测模型对输入其的多张待检测图像进行垃圾识别检测,将各张待检测图像中每处被识别为垃圾的区域分别使用检测框框选;步骤S2,遍历所有待检测图像,分别获取各待检测图像中所有检测框的置信度得分;当待检测图像中具有唯一检测框,且当唯一检测框的置信度得分大于等于预设置信度阈值时,识别检测框框选的垃圾所属的垃圾场景的类别,并将该类别的垃圾场景标定为主要垃圾处理目标;当待检测图像中具有多个检测框,识别所有检测框框选的垃圾所属的垃圾场景的类别,并将属于同一类别的垃圾场景的检测框归类,以预设筛选条件在每一类别垃圾场景对应的多个检测框中筛选出至少一个优质检测框,以预设选定条件在多个类别的垃圾场景对应的所有优质检测框中选定一个作为最终检测框,并将最终检测框框选的垃圾场景标定为主要垃圾处理目标,其余优质检测框框选的垃圾场景标定为次要垃圾处理目标;步骤S3,输出主要垃圾处理目标对应的垃圾场景的类别名称,以及对应的检测框的位置。
进一步地,在步骤S2中,预设筛选条件为:同一类别垃圾场景对应的多个检测框中至少两个检测框存在重叠区域部分时,对至少两个检测框中每两个重叠的检测框进行判定,当重叠区域部分面积占两者合并面积的比例小于等于预设占比值时,两个检测框均被筛选为优质检测框;当重叠区域部分面积占两者合并面积的比例大于预设占比值时,筛选两个检测框中置信度得分大者为优质检测框,当两个检测框中置信度得分相等时,随机筛选两者中的一个为优质检测框。
进一步地,预设占比值的取值范围为[0.1,0.3]。
进一步地,在步骤S2中,预设选定条件为:在多个类别的垃圾场景对应的所有优质检测框中,选定优质检测框的中心点与待检测图像的中心点之间的距离最小的一个作为最终检测框。
进一步地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的中心点与待检测图像的中心点之间的距离相等时,选定其中置信度得分最高的一个作为最终检测框。
进一步地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的置信度得分相等时,选定其中面积最大的一个作为最终检测框。
进一步地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的面积相等时,随机选定其中一个作为最终检测框。
进一步地,预设置信度阈值的取值范围为[0.7,0.9]。
进一步地,垃圾场景的类别包括:路面垃圾遗撒堆放场景、绿地垃圾遗撒堆放场景、垃圾桶垃圾满溢场景和水面垃圾遗撒场景。
进一步地,多类别垃圾场景区分方法还包括步骤S4,输出次要垃圾处理目标对应的垃圾场景的类别名称,以及对应的检测框的位置。
应用本发明提供的技术方案的算法,对利用目标检测模型输出的完成了垃圾识别检测的待检测图像进一步进行后处理,实现了对待检测图像中的多个类别的垃圾场景的区分,从而能够直接选定出作为主要垃圾处理目标的垃圾场景,以获取输入目标检测模型的原始的待检测图像真正想反馈的垃圾遗撒或堆放问题,从而改善了目标检测模型的智能化程度低,以及具有使用局限性的问题。
具体而言,通过待检测图像的检测框的置信度得分与预设置信度阈值的比较,能够去除掉目标检测模型将非垃圾类物体误检测为垃圾的检测框,保证了后续对垃圾场景区分的精确性。对剩余的检测框框选的垃圾所属的垃圾场景的类别进行识别并归类,以平等的筛选原则保证每一类别的垃圾场景有唯一对应的优质检测框,最终在多个优质检测框选定最优检测框,以获取原始的待检测图像的拍摄者真正想反馈的主要垃圾处理目标,进而有利于后期工作人员接收到处理信息后针对性地对主要垃圾处理目标进行处理,及时解决垃圾遗撒或堆放问题。当然,为了考虑所有可能情况,确保算法的逻辑全面覆盖行以及精确性高,当待检测图像中仅存在唯一的检测框,且判定该检测框不存在误检测时,其所对应的类别的垃圾场景可以直接标定为主要垃圾处理目标,即为原始的待检测图像的拍摄者真正想反馈的垃圾遗撒或堆放的问题点。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了根据本发明的一种可选实施例的基于目标检测模型的多类别垃圾场景区分方法的流程图;
图2示出了实施例一的使用本发明的多类别垃圾场景区分方法对目标检测模型处理后输出的待检测图像进行垃圾场景区分的示意图;
图3示出了实施例二的使用本发明的多类别垃圾场景区分方法对目标检测模型处理后输出的待检测图像进行垃圾场景区分的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”、“和”、“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决现有技术中的垃圾识别模型在应用中存在智能化程度低,以及具有使用局限性的问题,从而无法区分出终端拍摄人员在拍摄图像时真正想反馈的垃圾遗撒或堆放的问题,本发明提供了一种基于目标检测模型的多类别垃圾场景区分方法。
图1是根据本发明实施例的基于目标检测模型的多类别垃圾场景区分方法的流程图。如图1所示,该方法包括步骤如下:步骤S1,获取多个目标环境场景的待检测图像,通过目标检测模型对输入其的多张待检测图像进行垃圾识别检测,将各张待检测图像中每处被识别为垃圾的区域分别使用检测框框选;步骤S2,遍历所有待检测图像,分别获取各待检测图像中所有检测框的置信度得分;当待检测图像中具有唯一检测框,且当唯一检测框的置信度得分大于等于预设置信度阈值时,识别检测框框选的垃圾所属的垃圾场景的类别,并将该类别的垃圾场景标定为主要垃圾处理目标;当待检测图像中具有多个检测框,识别所有检测框框选的垃圾所属的垃圾场景的类别,并将属于同一类别的垃圾场景的检测框归类,以预设筛选条件在每一类别垃圾场景对应的多个检测框中筛选出至少一个优质检测框,以预设选定条件在多个类别的垃圾场景对应的所有优质检测框中选定一个作为最终检测框,并将最终检测框框选的垃圾场景标定为主要垃圾处理目标,其余优质检测框框选的垃圾场景标定为次要垃圾处理目标;步骤S3,输出主要垃圾处理目标对应的垃圾场景的类别名称,以及对应的检测框的位置。
发明提供的上述技术方案为人工智能计算机视觉领域的核心算法,该算法可以应用计算机程序实现,对利用目标检测模型输出的完成了垃圾识别检测的待检测图像进一步进行后处理,实现了对待检测图像中的多个类别的垃圾场景的区分,从而能够直接选定出作为主要垃圾处理目标的垃圾场景,以获取输入目标检测模型的原始的待检测图像真正想反馈的垃圾遗撒或堆放问题,从而改善了目标检测模型的智能化程度低,以及具有使用局限性的问题。
具体而言,通过待检测图像的检测框的置信度得分与预设置信度阈值的比较,能够去除掉目标检测模型将非垃圾类物体误检测为垃圾的检测框,保证了后续对垃圾场景区分的精确性。对剩余的检测框框选的垃圾所属的垃圾场景的类别进行识别并归类,以平等的筛选原则保证每一类别的垃圾场景有唯一对应的优质检测框,最终在多个优质检测框选定最优检测框,以获取原始的待检测图像的拍摄者真正想反馈的主要垃圾处理目标,进而有利于后期工作人员接收到处理信息后针对性地对主要垃圾处理目标进行处理,及时解决垃圾遗撒或堆放问题。当然,为了考虑所有可能情况,确保算法的逻辑全面覆盖行以及精确性高,当待检测图像中仅存在唯一的检测框,且判定该检测框不存在误检测时,其所对应的类别的垃圾场景可以直接标定为主要垃圾处理目标,即为原始的待检测图像的拍摄者真正想反馈的垃圾遗撒或堆放的问题点。
需要说明的是,本发明的目标检测模型包括由多个卷积层形成的卷积神经网络构成的多个残差模块,残差模块的残差连接特性将其输入端和输出端相连,多个残差模块形成沙漏网络结构,即能够将输入其的待检测图像先缩小后放大,可以对待检测图像中的目标环境场景的各种常见的垃圾遗撒或堆放进行检测并使用检测框框选;具体地使用训练样本图像集对目标检测模型的训练过程,以及目标检测模型对待检测图像中的目标环境场景的各种常见的垃圾遗撒或堆放进行检测输出包含检测框的待检测图像的过程为本领域的常用技术手段,在此不再赘述。
在本发明的可选实施例中,目标检测模型能够区分的垃圾场景的类别包括:路面垃圾遗撒堆放场景、绿地垃圾遗撒堆放场景、垃圾桶垃圾满溢场景和水面垃圾遗撒场景。
可选地,预设置信度阈值的取值范围为[0.7,0.9]。这样通过调整预设置信度阈值的取值能够针对不同的目标环境场景调整对垃圾的识别精度,从而能够综合处理成本、模型计算量以及垃圾处理程度等到最优的垃圾信息,以便于针对性治理。
在步骤S2中,预设筛选条件为:同一类别垃圾场景对应的多个检测框中至少两个检测框存在重叠区域部分时,对至少两个检测框中每两个重叠的检测框进行判定,当重叠区域部分面积占两者合并面积的比例小于等于预设占比值时,两个检测框均被筛选为优质检测框;当重叠区域部分面积占两者合并面积的比例大于预设占比值时,筛选两个检测框中置信度得分大者为优质检测框,当两个检测框中置信度得分相等时,随机筛选两者中的一个为优质检测框。通过预设筛选条件,有效地避免了框选相近位置处的同一垃圾存在多个检测框框选而存在相互干扰的问题,确保最终的输出结果的可信度高。
可选地,预设占比值的取值范围为[0.1,0.3]。
需要补充说明的是,当同一类别垃圾场景对应的多个检测框中不存在两个检测框存在重叠区域的情况时,该类别垃圾场景对应的多个检测框均判定为优质检测框。
需要说明的是,为了能够进一步接近于最终的正确结果,找到原始的待检测图像中拍摄者真正想反馈的垃圾遗撒或堆放的问题点,在步骤S2中,预设选定条件为:在多个类别的垃圾场景对应的所有优质检测框中,选定优质检测框的中心点与待检测图像的中心点之间的距离最小的一个作为最终检测框。此算法从拍摄者的拍摄习惯出发考虑到常规拍摄会将真正想反馈的垃圾问题至于取像设备的屏幕中心位置处,模拟了拍摄者大脑活动的思路,确保人工智能输出的最终结果更接近于人为判定的结果。
可选地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的中心点与待检测图像的中心点之间的距离相等时,选定其中置信度得分最高的一个作为最终检测框。这样,更有利于
可选地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的置信度得分相等时,选定其中面积最大的一个作为最终检测框。
可选地,当多个类别的垃圾场景对应的所有优质检测框中存在至少两个优质检测框的面积相等时,随机选定其中一个作为最终检测框。
为了确保输出结果的完整性,可选地,本发明的基于目标检测模型的多类别垃圾场景区分方法还包括步骤S4,输出次要垃圾处理目标对应的垃圾场景的类别名称,以及对应的检测框的位置。
实施例一
图2为使用本发明的多类别垃圾场景区分方法对目标检测模型处理后输出的待检测图像进行垃圾场景区分的示意图。作为实施例一,如图2所示,目标检测模型处理后输出的待检测图像中识别为垃圾的位置有4处,分别使用检测框A1、检测框A2、检测框A3和检测框B1框选,本实施例中,预设置信度阈值为0.9,且检测框A1、检测框A2、检测框A3和检测框B1的置信度得分分别为0.9954、0.9254、0.9197、0.9187,均高于预设置信度阈值,4个检测框框选的目标判定为垃圾的可信度十分高,均保留;进而识别各检测框框选的垃圾所属的垃圾场景的类别,其中,检测框A1、检测框A2、检测框A3的垃圾场景为路面垃圾遗撒堆放场景,进一步地,检测框A1为路面垃圾堆放场景,检测框A2和检测框A3为路面垃圾遗撒场景;检测框B1的垃圾场景为绿地垃圾遗撒堆放场景,进一步地,检测框B1的垃圾场景为绿地垃圾遗撒场景。由于检测框A1、检测框A2和检测框A3框选的垃圾所属的垃圾场景的类别相同,且三者不存在重叠区域部分,预设筛选条件不适用,检测框A1、检测框A2和检测框A3均判定为优质检测框;同样,框选垃圾场景为绿地垃圾遗撒堆放场景的检测框B1也被判定为优质检测框;进一步启用预设选定条件,在两个类别的垃圾场景对应的所有优质检测框中,即在检测框A1、检测框A2、检测框A3及检测框B1中,选定优质检测框的中心点与待检测图像的中心点之间的距离最小的一个作为最终检测框,在本实施例中,检测框A1的中心点与待检测图像的中心点之间的距离小于检测框A2、检测框A3和检测框B1的中心点分别与待检测图像的中心点的距离,因此,检测框A1作为最终检测框,检测框A1框选的垃圾场景标定为主要垃圾处理目标,作为最高优先级的垃圾问题处理,其余的检测框A2、检测框A3和检测框B1的垃圾场景标定为次要垃圾处理目标;最终,输出检测框A1的垃圾场景为路面垃圾堆放场景,即为拍摄者真正想反馈的垃圾堆放的问题。
实施例二
图3为使用本发明的多类别垃圾场景区分方法对目标检测模型处理后输出的待检测图像进行垃圾场景区分的示意图。作为实施例二,如图3所示,目标检测模型处理后输出的待检测图像中识别为垃圾的位置有6处,分别使用检测框A1、检测框A2、检测框A3、检测框A4以及检测框C1和检测框C2框选,本实施例中,预设置信度阈值为0.9,且检测框A1、检测框A2、检测框A3、检测框A4以及检测框C1和检测框C2的置信度得分分别为0.9234、0.9241、0.9043、0.9162以及0.9819和0.9821,均高于预设置信度阈值,6个检测框框选的目标判定为垃圾的可信度十分高,均保留;进而识别各检测框框选的垃圾所属的垃圾场景的类别,其中,检测框A1、检测框A2、检测框A3和检测框A4的垃圾场景为路面垃圾遗撒堆放场景,进一步地,检测框A1、检测框A2、检测框A3和检测框A4均为路面垃圾堆放场景;检测框C1和检测框C2的垃圾场景为垃圾桶垃圾满溢场景。由于检测框A1、检测框A2、检测框A3和检测框A4框选的垃圾所属的垃圾场景的类别相同,其中,检测框A1和检测框A2之间存在重叠区域部分R,在本实施例中,预设占比值的取值为0.1,根据预设筛选条件,对检测框A1和检测框A2进行判定,由于两者的重叠区域部分R的面积占两者合并面积的比例为0.124,大于预设占比值0.1,因此,筛选检测框A1和检测框A2中置信度得分大者,即检测框A2为优质检测框,舍弃检测框A1,进而,检测框A2、检测框A3和检测框A4以及检测框C1和检测框C2被判定为优质检测框,在上述5个优质检测框中,选定优质检测框的中心点与待检测图像的中心点之间的距离最小的一个作为最终检测框,在本实施例中,检测框A2、检测框C1和检测框C2的中心点与待检测图像的中心点的距离相等,且此距离小于检测框A3和检测框A4与待检测图像的中心点之间的距离,因此,舍弃检测框A3和检测框A4,在检测框A2、检测框C1和检测框C2中继续使用预设选定条件,比较三者的置信度得分,选定其中置信度得分最高的一个优质检测框,即检测框C2(置信度得分为0.9821)作为所述最终检测框,检测框C2框选的垃圾场景标定为主要垃圾处理目标,作为最高优先级的垃圾问题处理,其余的检测框A2、检测框A3、检测框A4以及检测框C1的垃圾场景标定为次要垃圾处理目标;最终,输出检测框C2的垃圾场景为垃圾桶垃圾满溢场景,即为拍摄者真正想反馈的垃圾堆放的问题。
需要说明的是,在本发明的一种可选实施例中,预设选定条件中,在测量优质检测框的中心点与待检测图像的中心点之间的距离时,比较两个优质检测框的中心点与待检测图像的中心点之间的距离时,允许存在缓冲阈值,即当两者存在距离差值,但距离差值在缓冲阈值范围内时,扔判定两个优质检测框的中心点与待检测图像的中心点之间的距离相等。缓冲阈值的取值为待检测图像的宽度的1/10或待检测图像的高度的1/10。
还需要补充说明的是,本发明示意出的实施例一和实施例二仅作为对本发明技术方案的情况说明,作为优选实施例使用,大部分实施例中,目标检测模型对输入其的待检测图像进行垃圾识别检测后输出的待检测图像中的检测框的大小、数量以及分布情况远远复杂于实施例一和实施例二中的示意图;但是根据本发明提供的多类别垃圾场景区分方法,对于每张输入的待检测图像进行后处理后,仅能够选定出最终检测框,从而获取相应的主要垃圾处理目标。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于目标检测模型的多类别垃圾场景区分方法,其特征在于,包括:
步骤S1,获取多个目标环境场景的待检测图像,通过目标检测模型对输入其的多张所述待检测图像进行垃圾识别检测,将各张所述待检测图像中每处被识别为垃圾的区域分别使用检测框框选;
步骤S2,遍历所有所述待检测图像,分别获取各所述待检测图像中所有所述检测框的置信度得分;
当所述待检测图像中具有唯一所述检测框,且当唯一所述检测框的置信度得分大于等于预设置信度阈值时,识别所述检测框框选的垃圾所属的垃圾场景的类别,并将该类别的所述垃圾场景标定为主要垃圾处理目标;
当所述待检测图像中具有多个所述检测框,识别置信度得分大于等于预设置信度阈值的所有所述检测框框选的垃圾所属的垃圾场景的类别,并将属于同一类别的垃圾场景的所述检测框归类,以预设筛选条件在每一类别所述垃圾场景对应的多个所述检测框中筛选出至少一个优质检测框,以预设选定条件在多个类别的所述垃圾场景对应的所有所述优质检测框中选定一个作为最终检测框,并将所述最终检测框框选的垃圾场景标定为主要垃圾处理目标,其余所述优质检测框框选的垃圾场景标定为次要垃圾处理目标;
步骤S3,输出所述主要垃圾处理目标对应的垃圾场景的类别名称,以及对应的所述检测框的位置。
2.根据权利要求1所述的多类别垃圾场景区分方法,其特征在于,在所述步骤S2中,所述预设筛选条件为:同一类别所述垃圾场景对应的多个所述检测框中至少两个所述检测框存在重叠区域部分时,对至少两个所述检测框中每两个重叠的所述检测框进行判定,
当重叠区域部分面积占两者合并面积的比例小于等于预设占比值时,两个所述检测框均被筛选为所述优质检测框;
当重叠区域部分面积占两者合并面积的比例大于预设占比值时,筛选两个所述检测框中置信度得分大者为所述优质检测框,当两个所述检测框中置信度得分相等时,随机筛选两者中的一个为所述优质检测框。
3.根据权利要求2所述的多类别垃圾场景区分方法,其特征在于,所述预设占比值的取值范围为[0.1,0.3]。
4.根据权利要求1所述的多类别垃圾场景区分方法,其特征在于,在所述步骤S2中,所述预设选定条件为:在多个类别的所述垃圾场景对应的所有所述优质检测框中,选定所述优质检测框的中心点与待检测图像的中心点之间的距离最小的一个作为所述最终检测框。
5.根据权利要求4所述的多类别垃圾场景区分方法,其特征在于,当多个类别的所述垃圾场景对应的所有所述优质检测框中存在至少两个所述优质检测框的中心点与待检测图像的中心点之间的距离相等时,选定其中置信度得分最高的一个作为所述最终检测框。
6.根据权利要求5所述的多类别垃圾场景区分方法,其特征在于,当多个类别的所述垃圾场景对应的所有所述优质检测框中存在至少两个所述优质检测框的置信度得分相等时,选定其中面积最大的一个作为所述最终检测框。
7.根据权利要求6所述的多类别垃圾场景区分方法,其特征在于,当多个类别的所述垃圾场景对应的所有所述优质检测框中存在至少两个所述优质检测框的面积相等时,随机选定其中一个作为所述最终检测框。
8.根据权利要求1所述的多类别垃圾场景区分方法,其特征在于,所述预设置信度阈值的取值范围为[0.7,0.9]。
9.根据权利要求1所述的多类别垃圾场景区分方法,其特征在于, 所述垃圾场景的类别包括:路面垃圾遗撒堆放场景、绿地垃圾遗撒堆放场景、垃圾桶垃圾满溢场景和水面垃圾遗撒场景。
10.根据权利要求1所述的多类别垃圾场景区分方法,其特征在于,还包括步骤S4,输出所述次要垃圾处理目标对应的垃圾场景的类别名称,以及对应的所述检测框的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111606953.9A CN113989626B (zh) | 2021-12-27 | 2021-12-27 | 一种基于目标检测模型的多类别垃圾场景区分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111606953.9A CN113989626B (zh) | 2021-12-27 | 2021-12-27 | 一种基于目标检测模型的多类别垃圾场景区分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113989626A true CN113989626A (zh) | 2022-01-28 |
CN113989626B CN113989626B (zh) | 2022-04-05 |
Family
ID=79734280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111606953.9A Active CN113989626B (zh) | 2021-12-27 | 2021-12-27 | 一种基于目标检测模型的多类别垃圾场景区分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989626B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723999A (zh) * | 2022-05-24 | 2022-07-08 | 航天宏图信息技术股份有限公司 | 一种基于无人机正射影像的垃圾识别方法及装置 |
CN115460388A (zh) * | 2022-08-26 | 2022-12-09 | 富泰华工业(深圳)有限公司 | 扩展现实设备的投影方法及相关设备 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3131035A1 (en) * | 2015-08-07 | 2017-02-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
CN108090928A (zh) * | 2017-11-01 | 2018-05-29 | 浙江农林大学 | 一种检测与筛选类圆形细胞区域的方法及系统 |
CN108876791A (zh) * | 2017-10-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
CN108960174A (zh) * | 2018-07-12 | 2018-12-07 | 广东工业大学 | 一种目标检测结果优化方法及装置 |
CN109886083A (zh) * | 2019-01-03 | 2019-06-14 | 杭州电子科技大学 | 一种基于深度学习的实时场景小脸检测方法 |
CN110348294A (zh) * | 2019-05-30 | 2019-10-18 | 平安科技(深圳)有限公司 | Pdf文档中图表的定位方法、装置及计算机设备 |
CN110569754A (zh) * | 2019-08-26 | 2019-12-13 | 江西航天鄱湖云科技有限公司 | 图像目标检测方法、装置、存储介质及设备 |
CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、系统 |
CN110929760A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于计算机视觉的垃圾分类软件 |
CN111242167A (zh) * | 2019-12-30 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 分布式图像标注方法、装置、计算机设备和存储介质 |
CN111491131A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 集成由每个对象检测器检测的对象检测信息的方法及装置 |
US20200250461A1 (en) * | 2018-01-30 | 2020-08-06 | Huawei Technologies Co., Ltd. | Target detection method, apparatus, and system |
CN111723860A (zh) * | 2020-06-17 | 2020-09-29 | 苏宁云计算有限公司 | 一种目标检测方法及装置 |
CN111753828A (zh) * | 2020-05-19 | 2020-10-09 | 重庆邮电大学 | 一种基于深度卷积神经网络的自然场景水平文字检测方法 |
CN111814817A (zh) * | 2019-04-12 | 2020-10-23 | 北京京东尚科信息技术有限公司 | 视频分类方法、装置、存储介质及电子设备 |
CN111860297A (zh) * | 2020-07-17 | 2020-10-30 | 厦门理工学院 | 一种应用于室内固定空间的slam回环检测方法 |
CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
CN112906545A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及系统 |
CN113052188A (zh) * | 2021-03-26 | 2021-06-29 | 大连理工大学人工智能大连研究院 | 一种遥感图像目标检测方法、系统、设备以及存储介质 |
CN113205067A (zh) * | 2021-05-26 | 2021-08-03 | 北京京东乾石科技有限公司 | 作业人员监控方法、装置、电子设备和存储介质 |
CN113311872A (zh) * | 2021-06-08 | 2021-08-27 | 郑州时空隧道信息技术有限公司 | 一种无人驾驶飞行器投递位置确定方法及装置 |
CN113516158A (zh) * | 2021-04-15 | 2021-10-19 | 西安理工大学 | 基于Faster R-CNN的图模型构建方法 |
-
2021
- 2021-12-27 CN CN202111606953.9A patent/CN113989626B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3131035A1 (en) * | 2015-08-07 | 2017-02-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
CN108876791A (zh) * | 2017-10-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
CN108090928A (zh) * | 2017-11-01 | 2018-05-29 | 浙江农林大学 | 一种检测与筛选类圆形细胞区域的方法及系统 |
US20200250461A1 (en) * | 2018-01-30 | 2020-08-06 | Huawei Technologies Co., Ltd. | Target detection method, apparatus, and system |
CN108960174A (zh) * | 2018-07-12 | 2018-12-07 | 广东工业大学 | 一种目标检测结果优化方法及装置 |
CN109886083A (zh) * | 2019-01-03 | 2019-06-14 | 杭州电子科技大学 | 一种基于深度学习的实时场景小脸检测方法 |
CN111491131A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 集成由每个对象检测器检测的对象检测信息的方法及装置 |
CN111814817A (zh) * | 2019-04-12 | 2020-10-23 | 北京京东尚科信息技术有限公司 | 视频分类方法、装置、存储介质及电子设备 |
CN110348294A (zh) * | 2019-05-30 | 2019-10-18 | 平安科技(深圳)有限公司 | Pdf文档中图表的定位方法、装置及计算机设备 |
CN110569754A (zh) * | 2019-08-26 | 2019-12-13 | 江西航天鄱湖云科技有限公司 | 图像目标检测方法、装置、存储介质及设备 |
CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、系统 |
CN110929760A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于计算机视觉的垃圾分类软件 |
CN111242167A (zh) * | 2019-12-30 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 分布式图像标注方法、装置、计算机设备和存储介质 |
CN111753828A (zh) * | 2020-05-19 | 2020-10-09 | 重庆邮电大学 | 一种基于深度卷积神经网络的自然场景水平文字检测方法 |
CN111723860A (zh) * | 2020-06-17 | 2020-09-29 | 苏宁云计算有限公司 | 一种目标检测方法及装置 |
CN111860297A (zh) * | 2020-07-17 | 2020-10-30 | 厦门理工学院 | 一种应用于室内固定空间的slam回环检测方法 |
CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
CN112906545A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及系统 |
CN113052188A (zh) * | 2021-03-26 | 2021-06-29 | 大连理工大学人工智能大连研究院 | 一种遥感图像目标检测方法、系统、设备以及存储介质 |
CN113516158A (zh) * | 2021-04-15 | 2021-10-19 | 西安理工大学 | 基于Faster R-CNN的图模型构建方法 |
CN113205067A (zh) * | 2021-05-26 | 2021-08-03 | 北京京东乾石科技有限公司 | 作业人员监控方法、装置、电子设备和存储介质 |
CN113311872A (zh) * | 2021-06-08 | 2021-08-27 | 郑州时空隧道信息技术有限公司 | 一种无人驾驶飞行器投递位置确定方法及装置 |
Non-Patent Citations (2)
Title |
---|
叶敏: "基于高分辨率卫星影像的轨道交通站点周边用地优化研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
叶锋等: "基于深度学习的实时场景小脸检测方法", 《计算机工程与应用》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723999A (zh) * | 2022-05-24 | 2022-07-08 | 航天宏图信息技术股份有限公司 | 一种基于无人机正射影像的垃圾识别方法及装置 |
CN114723999B (zh) * | 2022-05-24 | 2022-08-23 | 航天宏图信息技术股份有限公司 | 一种基于无人机正射影像的垃圾识别方法及装置 |
CN115460388A (zh) * | 2022-08-26 | 2022-12-09 | 富泰华工业(深圳)有限公司 | 扩展现实设备的投影方法及相关设备 |
CN115460388B (zh) * | 2022-08-26 | 2024-04-19 | 富泰华工业(深圳)有限公司 | 扩展现实设备的投影方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113989626B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN110941594B (zh) | 一种视频文件的拆分方法、装置、电子设备及存储介质 | |
CN113989626B (zh) | 一种基于目标检测模型的多类别垃圾场景区分方法 | |
CN109389135B (zh) | 一种图像筛选方法及装置 | |
CN108921151B (zh) | 一种基于深度学习的普通摄像头全车牌识别系统 | |
CN104573637B (zh) | 一种基于多摄像头的车牌识别方法 | |
CN111368635B (zh) | 一种基于毫米波的多人步态识别方法及装置 | |
CN109087510A (zh) | 交通监测方法及装置 | |
CN109389019B (zh) | 人脸图像选择方法、装置及计算机设备 | |
CN111382808A (zh) | 一种车辆检测处理方法及装置 | |
CN109360179B (zh) | 一种图像融合方法、装置及可读存储介质 | |
CN109543493A (zh) | 一种车道线的检测方法、装置及电子设备 | |
CN101983507A (zh) | 自动红眼检测 | |
JP2016099668A (ja) | 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム | |
CN112597995A (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN110866473B (zh) | 目标对象的跟踪检测方法及装置、存储介质、电子装置 | |
CN109167998A (zh) | 检测相机状态的方法及装置、电子设备、存储介质 | |
CN116573307A (zh) | 一种垃圾自动分类回收智能设备及其智能垃圾分类系统 | |
CN114708635A (zh) | 基于MesoNet和LSTM的面部视频篡改检测方法 | |
CN110826364A (zh) | 一种库位识别方法及装置 | |
CN110378271A (zh) | 一种基于质量维度评估参量的步态识别设备筛选方法 | |
CN111480180A (zh) | 用于检测和跟踪目标的方法 | |
CN112764839B (zh) | 一种用于管理服务平台的大数据配置方法及系统 | |
CN111027560B (zh) | 文本检测方法以及相关装置 | |
CN116665432A (zh) | 一种曝光值更新方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |