CN111401370B - 一种垃圾图像识别及任务指派管理的方法，模型及系统 - Google Patents

一种垃圾图像识别及任务指派管理的方法，模型及系统 Download PDF

Info

Publication number
CN111401370B
CN111401370B CN202010287455.1A CN202010287455A CN111401370B CN 111401370 B CN111401370 B CN 111401370B CN 202010287455 A CN202010287455 A CN 202010287455A CN 111401370 B CN111401370 B CN 111401370B
Authority
CN
China
Prior art keywords
garbage
image
task
images
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010287455.1A
Other languages
English (en)
Other versions
CN111401370A (zh
Inventor
章东平
郁强
束元
李圣权
董墨江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202010287455.1A priority Critical patent/CN111401370B/zh
Publication of CN111401370A publication Critical patent/CN111401370A/zh
Application granted granted Critical
Publication of CN111401370B publication Critical patent/CN111401370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种垃圾图像识别及任务指派管理的方法，模型及系统，该方法结合图像识别技术以及学习训练模型实现对照片中垃圾的识别，且可判断同一组图像是否为同一场景，从而可智能判断垃圾清扫人员是否对垃圾所在场景进行了有效的清扫，旨在形成可检测图像中是否存在垃圾，若存在垃圾进行清扫人员的分配以及判断垃圾是否已经被清扫人员处理的一整套城管垃圾管理体系。

Description

一种垃圾图像识别及任务指派管理的方法，模型及系统
技术领域
本发明涉及深度卷积神经网络识别及图像匹配学习领域，涉及到卷积神经网络、深度学习、图像匹配以及目标检测等技术，尤其涉及到一种垃圾图像识别及任务指派管理的方法，模型及系统。
背景技术
我国环保城市的建设脚步发展迅速，在日常生活中垃圾的实时处理对城市建设以及居民生活而言十分重要。如何能够快速高效地清理生活垃圾以及管理垃圾清扫人员的清扫任务，越来越受到城管部门的重视。具体的来说，日常工作当中，城管巡检人员巡检拍摄图像后上报给相关部门，相关部门需要配置专人来审核以及判断该图像内是否需要进行垃圾清扫，而这样的方式无疑会降低垃圾处理的效率，且管理的人力和时间成本非常高。另，一旦发现需要垃圾清扫的区域，专人还需要人为地给垃圾清扫人员分配垃圾清扫任务，如何管理垃圾清扫人员的清扫质量和效率也成为一大难题。
当前识别技术、图像匹配技术的成果在学术研究领域突飞猛进，但目前大多数识别系统以及图像匹配系统均应用在人脸识别，卫星图像和智慧医疗等方面。而图像识别技术对现实生活中的垃圾处理方面却并未有广泛深入的应用，且由于垃圾的颜色形状种类复杂，图像识别技术在垃圾识别处理中的应用也是具有挑战性的，在图像识别时容易将垃圾和非垃圾混杂，导致误报率的上升。
现有技术cn106203498b提供一种城市街景垃圾检测方法及系统，虽然也是用于城市垃圾检测，但是其是通过对城市影像数据对垃圾区域进行标注，训练再检测，其需要用voc数据集定义的格式对含有无序丢弃垃圾的区域进行标注，以融合的数据作为预训练集，并对不同的应用场景的预训练模型的先验参数进行调整，且需要对检测图像进行预处理使其满足预训练模型的要求，才能检测图像中是否的确有垃圾，其搭建的预训练模型的搭建方式较为复杂，适用场景也会受到限制，如说明书中所述当需要扩展voc数据集时需要融合其他场景数据。且，该方案并未提及如何对检测有垃圾的图像进行后续处理，也难以判断两张城市影像是否为同一张。
发明内容
本发明的目的在于提供一种垃圾图像识别及任务指派管理的方法，模型及系统，该方法结合图像识别技术以及学习训练模型实现对照片中垃圾的识别，且可判断同一组图像是否为同一场景，从而可智能判断垃圾清扫人员是否对垃圾所在场景进行了有效的清扫，旨在形成可检测图像中是否存在垃圾，若存在垃圾进行清扫人员的分配以及判断垃圾是否已经被清扫人员处理的一整套城管垃圾管理体系。
为了实现以上任一发明目的，一种垃圾图像识别及任务指派管理的方法，包括以下步骤：
步骤S1：获取巡检图像，利用垃圾识别模型识别该巡检图像中是否含有待处理垃圾，若该巡检图像中含有待处理垃圾，在垃圾处理任务库内创建对应任务n的n号文件夹，将巡检图像存入n号文件夹，其中每张含有待处理垃圾的巡检图像对应不同的任务n；
步骤S2:对垃圾清扫人员指派任务n，获取垃圾清扫人员的垃圾处理后图像，将垃圾处理后图像存入n号文件夹内,得到对应任务n的比对图像组；
步骤S3：利用场景识别模型识别比对图像组是否为同一组场景,若不为同一组场景，继续对该垃圾清扫人员指派任务n,若为同一组场景执行步骤S4；
步骤S4:利用垃圾识别模型识别垃圾处理后图像中是否还有待处理垃圾，若有，则继续对该垃圾清扫人员指派任务n，若无，对该垃圾清扫人员指派下一任务。
在一些实施例中，垃圾识别模型内置三维度神经网络对待处理垃圾的垃圾框进行识别，选择三个尺度的输出结果中置信度最高的垃圾框作为最终输出结果，若识别到巡检图像中有待处理垃圾时，输出待处理垃圾框的坐标值及其长宽值，并输出垃圾的置信度，若未识别到巡检图像中有待处理垃圾时，置信度为0。
在一些实施例中，场景识别模型通过比对巡检图像的前特征值向量和垃圾处理后图像的后特征值向量，利用前特征值向量和后特征值向量的夹角余弦判断巡检图像和垃圾处理后图像的相似度。
在一些实施例中，场景识别模型内训练有三个参数共享且结构相同的分支，仅需采用训练好的任一分支，在输入一组待比对的图像对时，先输入垃圾处理前图像得到全连接层输出的特征值，记为向量f(xi)，再输入垃圾处理后图像得到全连接层输出的特征值，记为向量f(yi)，使用向量f(xi)和f(yi)的夹角余弦来表示它们的相似度，当场景相似度大于阈值T时，则认为两张图像是同一场景；当场景相似度小于或等于阈值T(0≤T≤1)时，则认为两张图像不是同一场景。
一种应用于垃圾图像识别及任务指派管理的方法的垃圾识别模型，其训练方法包括以下步骤：
A训练数据集构建：对含有待处理垃圾的训练图像进行标记，采用大矩阵框和小矩阵框相互结合的标记方式；
B：构建垃圾识别模型：垃圾识别模型包含卷积层，上采样层，池化层以及拼接层，垃圾识别模型的网络结构采用三维度神经网络，定义以三个维度的输出结果中置信度最高的预测框作为最终输出结果；
C:垃圾识别模型的训练：对三维度神经网络的参数赋初始化数值，设置三维度神经网络的最大迭代次数，将训练数据集输入三维度神经网络进行训练，如果损失值一直下降，则继续训练，直到迭代最大迭代次数后，得到最终的垃圾识别模型，如果损失值在中途趋于稳定，则停止迭代，得到最终的垃圾识别模型。
在一些实施例中，在A训练数据集构建过程中，标注规则如下：
A1:若待处理垃圾集中，形成了大面积的垃圾堆，且形状较规则，先将其用大矩形框框出，再在大矩形框中标注N个小矩形框；
A2:若待处理垃圾集中，形成了大面积的垃圾堆，但总体形状不规则，将其分为若干形状较规则的部分，再分别采用A1的方法进行标注；
A3：若各个待处理垃圾分布零散，未能形成大面积的垃圾堆，对形状规则的垃圾，采用矩形框标注；对形状不规则的垃圾，把其分为若干个较规则的部分，对其各个部分采用矩形框标注。
一种应用于垃圾图像识别及任务指派管理的方法的场景识别模型，其特征在于，其训练方法如下：
a:训练数据集构建：构建多个数据集包，其中每个数据集包包括：垃圾处理前的图像，垃圾处理后的图像以及和垃圾处理后场景不同的图像；
b:构建场景识别模型：构建场景识别模型的场景识别网络模型共有三个参数共享且结构相同的分支，其中每个分支包括卷积层和最大采样层；
c:场景识别模型的训练：采用正负样本联合训练的方法，即输入垃圾处理前后的图像的同时，加入第三个参数共享且结构相同的分支，此分支输入负样本图像，即与垃圾处理后的场景不同的图像；训练过程中要求前两个分支之间的损失要降低，而垃圾处理后图像所在分支与第三分支之前的损失要增大。
一种垃圾图像识别及任务指派管理的系统，包括：图像采集单元，其中图像采集单元获取巡检图像和/或垃圾处理后图像；垃圾识别单元，其中垃圾识别单元内置有垃圾识别模型，识别该巡检图像中是否含有待处理垃圾；垃圾处理任务库，其中垃圾处理任务库内创建对应任务n的n号文件夹，其中n号文件夹包括对应该任务n的含有待处理垃圾的巡检图像和/或对应该任务n的垃圾处理后图像；任务指派单元，对垃圾清扫人员指派垃圾处理任务库内的任务n；场景识别单元，其中场景识别单元内置有场景识别模型，识别巡检图像和垃圾处理后图像是否为同一场景。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
相较现有技术，本发明具有以下的特点和有益效果：
1.利用大小矩形框相互结合的标注方法对不规则形状的垃圾进行标注形成训练数据集，该训练方法适用于各类场景的垃圾标记，另配合三维度神经网络进行识别，选择其中置信度最高的预测值作出输出值，且三维度神经网络的输出均经过不同的采样层，提高图像垃圾识别的精度和适用场景。
2.如若检测到的拍摄图像中含有需处理垃圾时，创建对应该图像的文件夹，并对垃圾清扫人员分配任务，垃圾清扫人员在清扫完成后回传垃圾处理后图像，内置的场景识别模型识别对应该文件夹内的前后两张图像是否为同一场景，并结合垃圾识别模型判断垃圾处理后图像内是否还有垃圾，进而管理垃圾清扫人员的清扫情况。
3.场景识别模型利用三个参数共享和结构相同的分支，训练时采用正负样本联合训练的方法，在输入垃圾处理前后的图像的同时加入负样本图像(第三分支)，训练过程中要求前两个分支之间的损失要降低，而垃圾处理后图像所在分支与第三分支之前的损失要增大，提高场景识别的效率和质量。
附图说明
图1是本发明的垃圾图像识别及任务指派管理的方法的流程示意图。
图2是训练数据集构建过程的第一种标记方法的示意图。
图3是训练数据集构建过程的第二种标记方法的示意图。
图4是训练数据集构建过程的第三种标记方法的示意图。
图5是垃圾识别模型的模型结构示意图。
图6是场景识别模型的模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本方案提供一种垃圾图像识别及任务指派管理的方法及系统，该城管垃圾图像识别及垃圾处理任务指派与检查的方法的应用场景如下：由城管巡检人员对需要处理的场景进行拍摄，并将所拍摄的图像上传至城管系统，然后，城管系统将拍摄图像输入到垃圾识别模型内进行垃圾检测，若没有垃圾，则继续检测下一张输入的图像；若有垃圾，则在垃圾处理任务库中创建一个以任务号n(n＝1，2，3…)为文件名的文件夹，并将这张有垃圾的图片存入该文件夹内，对垃圾清扫人员分派任务n。当垃圾清扫人员清理完垃圾后，对处理后的场景进行拍照，并将该垃圾处理后照片上传至城管系统，城管系统将所得的垃圾处理后照片存入对应的任务号为n的垃圾处理任务库内，与之前检测到垃圾的对应图像形成一组图像对，将处理前后所拍摄得到的图像对输入判断垃圾处理前后是否为同一场景的场景识别模型和垃圾识别模型中进行处理。若两张照片为同一场景且处理后所拍摄的照片中没有垃圾，说明任务n已经完成，则对同一垃圾清扫人员分派下一个任务；若两张照片为同一场景，但处理后所拍摄的照片中仍有垃圾，说明任务n未完成(即垃圾清扫人员未处理垃圾)，则对同一垃圾清扫人员继续分派该任务n；若两张照片不是同一场景，那么不管处理后所拍摄的照片中是否还有垃圾，均判定任务n未完成(即垃圾清扫人员未去处理垃圾)，则对同一垃圾清扫人员继续分派该任务n。
具体的，该城管垃圾图像识别及垃圾处理任务指派与检查的方法的实现，包括以下步骤：
步骤S1:获取巡检图像，利用垃圾识别模型识别该巡检图像中是否含有待处理垃圾，若该巡检图像中含有待处理垃圾，在垃圾处理任务库内创建对应任务n的n号文件夹，将巡检图像存入n号文件夹，其中每张含有待处理垃圾的巡检图像对应不同的任务n；
步骤S2:对垃圾清扫人员指派任务n，获取垃圾清扫人员的垃圾处理后图像，将垃圾处理后图像存入n号文件夹内,得到对应任务n的比对图像组；
步骤S3：利用场景识别模型识别比对图像组是否为同一组场景,若不为同一组场景，继续对该垃圾清扫人员指派任务n,若为同一组场景执行步骤S4；
步骤S4:利用垃圾识别模型识别垃圾处理后图像中是否还有待处理垃圾，若有，则继续对该垃圾清扫人员指派任务n，若无，对该垃圾清扫人员指派下一任务。
本方案适用于城管系统对城管垃圾的管理，此时，由城管巡检人员对需要处理的场景进行拍照，得到巡检图像，巡检图像以多种方式传送给城管系统被获取。
步骤S1中，垃圾识别模型内置三维度神经网络对待处理垃圾的垃圾框进行识别，选择三个维度的输出结果中置信度最高的垃圾框作为最终输出结果，若识别到巡检图像中有待处理垃圾时，输出待处理垃圾框的坐标值及其长宽值，并输出垃圾的置信度，若未识别到巡检图像中有待处理垃圾时，置信度为0。
该垃圾识别模型的训练过程如下：
A训练数据集构建：对含有待处理垃圾的训练图像进行标记，采用大矩阵框和小矩阵框相互结合的标记方式，大矩形框标注将所需识别的待处理垃圾的垃圾框置于同一框内，小矩形框标注在大矩形框内对所需识别的待处理垃圾仅框出其中一部分或其中单个物体；
B：构建垃圾识别模型：垃圾识别模型包含卷积层，上采样层，池化层以及拼接层，垃圾识别模型的网络结构采用三维度神经网络，定义以三个维度的输出结果中置信度最高的预测框作为最终输出结果，其中获取第一维度i次卷积后的特征图，与第一维度中j次卷积后再经过一层上采样层所得的第二特征图，上述两张特征图经过一层拼接层融合拼接后输入第二维度,得到第一维度中m次卷积层卷积后的特征图，与第二维度中n次卷积后再经过一次上采样层所得的特征图，上述两张特征图经过拼接层最终得到第三维度的输入,并且i>m>j；
C:垃圾识别模型的训练：对三维度神经网络的参数赋初始化数值，设置三维度神经网络的最大迭代次数，将训练数据集输入三维度神经网络进行训练，如果损失值一直下降，则继续训练，直到迭代最大迭代次数后，得到最终的垃圾识别模型，如果损失值在中途趋于稳定，则停止迭代，得到最终的垃圾识别模型。
其中在A训练数据集构建过程中，标注规则如下：
A1:若待处理垃圾集中，形成了大面积的垃圾堆，且形状较规则，先将其用大矩形框框出，再在大矩形框中标注N个小矩形框；
A2:若待处理垃圾集中，形成了大面积的垃圾堆，但总体形状不规则，将其分为若干形状较规则的部分，再分别采用A1的方法进行标注；
A3；若各个待处理垃圾分布零散，未能形成大面积的垃圾堆，对形状规则的垃圾，采用矩形框标注；对形状不规则的垃圾，把其分为若干个较规则的部分，对其各个部分采用矩形框标注。
其中B构建垃圾识别模型的搭建过程中：置信度的计算公式为：
Conf(Object)＝Pr(Object)*IOU(Pred,Truth)；
该公式中Object表示垃圾目标，Pr(object)表示预测框内是否存在垃圾，如果存在垃圾则其值为1，如果不存在垃圾则其值为0，IOU(Pred,Truth)表示真实框与预测框交并比，公式如下：
Figure BDA0002449072920000101
其中，Pred和Truth分别表示预测和真实，area表示求矩形框面积，Boxp和Boxt分别表示预测框和真实框。
步骤S3当中，场景识别模型通过比对巡检图像的前特征值向量和垃圾处理后图像的后特征值向量，利用前特征值向量和后特征值向量的夹角余弦判断巡检图像和垃圾处理后图像的相似度。
具体的，在步骤S3中，场景识别模型的训练过程如下：
a:训练数据集构建：构建多个数据集包，其中每个数据集包包括：垃圾处理前的图像，垃圾处理后的图像以及和垃圾处理后场景不同的图像。
b:构建场景识别模型：构建场景识别模型的场景识别网络模型共有三个参数共享且结构相同的分支，其中每个分支包括卷积层和最大采样层，卷积层接卷积层接最大采样层作为一个子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，选择子结构单元的数目为N，第N个子结构单元后面再连接一层全连接层，最后，将两个分支的特征向量输入到特征差值层；
c:场景识别模型的训练：采用正负样本联合训练的方法，即输入垃圾处理前后的图像的同时，加入第三个参数共享且结构相同的分支，此分支输入负样本图像，即与垃圾处理后的场景不同的图像；训练过程中要求前两个分支之间的损失要降低，而垃圾处理后图像所在分支与第三分支之前的损失要增大；对场景识别网络模型的网络参数及权重赋初始化数值，设置网络的最大迭代次数，将准备好的训练数据集输入网络，进行训练，如果损失值一直下降，则继续训练，直到迭代最大迭代次数后，得到最终的场景识别模型，如果损失值在中途趋于稳定，则停止迭代，得到最终的场景识别模型。
另，值得一提的是，在步骤S3当中，仅需采用训练好的任一分支，在输入一组待比对的图像对时，先输入垃圾处理前图像得到全连接层输出的特征值，记为向量f(xi)，再输入垃圾处理后图像得到全连接层输出的特征值，记为向量f(yi)。使用向量f(xi)和f(yi)的夹角余弦来表示它们的相似度，当场景相似度大于阈值T时，则认为两张图像是同一场景；当场景相似度小于或等于阈值T(0≤T≤1)时，则认为两张图像不是同一场景。
另外，本方案提供一种垃圾图像识别及任务指派管理的系统，该垃圾图像识别及任务指派管理的系统包括：
图像采集单元，其中图像采集单元获取巡检图像和/或垃圾处理后图像；
垃圾识别单元，其中垃圾识别单元内置有垃圾识别模型，识别该巡检图像中是否含有待处理垃圾；
垃圾处理任务库，其中垃圾处理任务库内创建对应任务n的n号文件夹，其中n号文件夹包括对应该任务n的含有待处理垃圾的巡检图像和/或对应该任务n的垃圾处理后图像；
任务指派单元，对垃圾清扫人员指派垃圾处理任务库内的任务n；
场景识别单元，其中场景识别单元内置有场景识别模型，识别巡检图像和垃圾处理后图像是否为同一场景。
其中垃圾识别模型包含卷积层，上采样层，池化层以及拼接层，垃圾识别模型的网络结构采用三维度神经网络，其中获取第一尺度i次卷积后的特征图，与第一尺度中j次卷积后再经过一层上采样层所得的第二特征图，上述两张特征图经过一层拼接层融合拼接后输入第二尺度,得到第一尺度中m次卷积层卷积后的特征图，与第二尺度中n次卷积后再经过一次上采样层所得的特征图，上述两张特征图经过一层拼接层最终得到第三尺度的输入,并且i>m>j。
在垃圾识别模型中，定义以三个维度的输出结果中置信度最高的预测框作为最终输出结果。其中垃圾识别模型被标记的待处理垃圾的训练数据集迭代训练，得到损失值最小的垃圾识别模型。
其中场景识别模块共有三个参数共享且结构相同的分支，其中每个分支包括卷积层和最大采样层，卷积层接卷积层接最大采样层作为一个子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，选择子结构单元的数目为N，第N个子结构单元后面再连接一层全连接层，最后，将两个分支的特征向量输入到特征差值层。
在场景识别模块中利用训练数据集采用负样本联合训练的方进行训练，其中每个数据集包包括：垃圾处理前的图像，垃圾处理后的图像以及和垃圾处理后场景不同的图像。
另，本方案提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上提到的垃圾图像识别及任务指派管理的方法的步骤。
提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上提到的垃圾图像识别及任务指派管理的方法的步骤。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种垃圾图像识别及任务指派管理的方法，其特征在于，包括以下步骤：
步骤S1:获取巡检图像，利用垃圾识别模型识别该巡检图像中是否含有待处理垃圾，若该巡检图像中含有待处理垃圾，在垃圾处理任务库内创建对应任务n的n号文件夹，将巡检图像存入n号文件夹，其中每张含有待处理垃圾的巡检图像对应不同的任务n；
步骤S2:对垃圾清扫人员指派任务n，获取垃圾清扫人员的垃圾处理后图像，将垃圾处理后图像存入n号文件夹内,得到对应任务n的比对图像组；
步骤S3：利用场景识别模型识别比对图像组是否为同一组场景,若不为同一组场景，继续对该垃圾清扫人员指派任务n,若为同一组场景执行步骤S4；
步骤S4:利用垃圾识别模型识别垃圾处理后图像中是否还有待处理垃圾，若有，则继续对该垃圾清扫人员指派任务n，若无，对该垃圾清扫人员指派下一任务。
2.根据权利要求1所述的垃圾图像识别及任务指派管理的方法，其特征在于,垃圾识别模型内置三维度神经网络对待处理垃圾的垃圾框进行识别，选择三个尺度的输出结果中置信度最高的垃圾框作为最终输出结果，若识别到巡检图像中有待处理垃圾时，输出待处理垃圾框的坐标值及其长宽值，并输出垃圾的置信度，若未识别到巡检图像中有待处理垃圾时，置信度为0。
3.根据权利要求1所述的垃圾图像识别及任务指派管理的方法，其特征在于，场景识别模型通过比对巡检图像的前特征值向量和垃圾处理后图像的后特征值向量，利用前特征值向量和后特征值向量的夹角余弦判断巡检图像和垃圾处理后图像的相似度。
4.根据权利要求3所述的垃圾图像识别及任务指派管理的方法，其特征在于，在输入一组待比对的图像对时，先输入垃圾处理前图像得到全连接层输出的特征值，记为向量f(xi)，再输入垃圾处理后图像得到全连接层输出的特征值，记为向量f(yi)，使用向量f(xi)和f(yi)的夹角余弦来表示它们的相似度，当场景相似度大于阈值T时，则认为两张图像是同一场景；当场景相似度小于或等于阈值T(0≤T≤1)时，则认为两张图像不是同一场景。
5.根据权利要求1所述的垃圾图像识别及任务指派管理的方法，其特征在于，垃圾识别模型的训练方法包括以下步骤：
A:训练数据集构建：对含有待处理垃圾的训练图像进行标记，采用大矩阵框和小矩阵框相互结合的标记方式；
B：构建垃圾识别模型：垃圾识别模型包含卷积层，上采样层，池化层以及拼接层，垃圾识别模型的网络结构采用三维度神经网络，定义以三个维度的输出结果中置信度最高的预测框作为最终输出结果；
C:垃圾识别模型的训练：对三维度神经网络的参数赋初始化数值，设置三维度神经网络的最大迭代次数，将训练数据集输入三维度神经网络进行训练，如果损失值一直下降，则继续训练，直到迭代最大迭代次数后，得到最终的垃圾识别模型，如果损失值在中途趋于稳定，则停止迭代，得到最终的垃圾识别模型。
6.根据权利要求5所述的垃圾图像识别及任务指派管理的方法，其特征在于,在A训练数据集构建过程中，标注规则如下：
A1:若待处理垃圾集中，形成了大面积的垃圾堆，且形状较规则，先将其用大矩形框框出，再在大矩形框中标注N个小矩形框；
A2:若待处理垃圾集中，形成了大面积的垃圾堆，但总体形状不规则，将其分为若干较规则的部分，再分别采用A1的方法进行标注；
A3：若各个待处理垃圾分布零散，未能形成大面积的垃圾堆，对形状规则的垃圾，采用矩形框标注；对形状不规则的垃圾，把其分为若干个较规则的部分，对其各个部分采用矩形框标注。
7.根据权利要求1所述的垃圾图像识别及任务指派管理的方法，其特征在于，场景识别模型的训练方法包括以下步骤：
a:训练数据集构建：构建多个数据集包，其中每个数据集包包括：垃圾处理前的图像，垃圾处理后的图像以及和垃圾处理后场景不同的图像；
b:构建场景识别模型；所述场景识别模型包括三个参数共享且结构相同的分支，每个分支包括N个子结构单元和全连接层，所述N个子结构单元之间依次连接，所述全连接层与第N个子结构单元连接，其中，子结构单元包括两个卷积层和最大采样层；
c:场景识别模型的训练：采用正负样本联合训练的方法，即输入垃圾处理前后的图像的同时，加入第三个参数共享且结构相同的分支，此分支输入负样本图像，即与垃圾处理后的场景不同的图像；训练过程中要求前两个分支之间的损失要降低，而垃圾处理后图像所在分支与第三分支之前的损失要增大。
8.一种垃圾图像识别及任务指派管理的系统，其特征在于，包括：
图像采集单元，其中图像采集单元获取巡检图像和/或垃圾处理后图像；
垃圾识别单元，其中垃圾识别单元内置有垃圾识别模型，识别该巡检图像中是否含有待处理垃圾；
垃圾处理任务库，其中垃圾处理任务库内创建对应任务n的n号文件夹，其中n号文件夹包括对应该任务n的含有待处理垃圾的巡检图像和/或对应该任务n的垃圾处理后图像；
任务指派单元，对垃圾清扫人员指派垃圾处理任务库内的任务n；
场景识别单元，其中场景识别单元内置有场景识别模型，识别巡检图像和垃圾处理后图像是否为同一场景；若不为同一组场景，继续对该垃圾清扫人员指派任务n,若为同一组场景，利用垃圾识别模型识别垃圾处理后图像中是否还有待处理垃圾，若有，则继续对该垃圾清扫人员指派任务n，若无，对该垃圾清扫人员指派下一任务。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202010287455.1A 2020-04-13 2020-04-13 一种垃圾图像识别及任务指派管理的方法，模型及系统 Active CN111401370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010287455.1A CN111401370B (zh) 2020-04-13 2020-04-13 一种垃圾图像识别及任务指派管理的方法，模型及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010287455.1A CN111401370B (zh) 2020-04-13 2020-04-13 一种垃圾图像识别及任务指派管理的方法，模型及系统

Publications (2)

Publication Number Publication Date
CN111401370A CN111401370A (zh) 2020-07-10
CN111401370B true CN111401370B (zh) 2023-06-02

Family

ID=71433133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010287455.1A Active CN111401370B (zh) 2020-04-13 2020-04-13 一种垃圾图像识别及任务指派管理的方法，模型及系统

Country Status (1)

Country Link
CN (1) CN111401370B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508103B (zh) * 2020-12-10 2024-06-04 浙江金实乐环境工程有限公司 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1696946A (zh) * 2004-05-12 2005-11-16 林立国 城市垃圾收运控制系统
CN101159018A (zh) * 2007-11-16 2008-04-09 北京中星微电子有限公司 一种图像特征点定位方法及装置
CN109343502A (zh) * 2018-12-10 2019-02-15 成都九洲电子信息系统股份有限公司 一种垃圾桶监管系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN903296A0 (en) * 1996-03-29 1996-04-26 Commonwealth Scientific And Industrial Research Organisation An aircraft detection system
US7179379B2 (en) * 2003-03-28 2007-02-20 Ab-Cwt, Llc Apparatus for separating particulates from a suspension, and uses thereof
CN103823449B (zh) * 2014-03-07 2016-05-11 国家电网公司 用于无人机输电线路巡检的集中监控子系统及监控方法
CN103812052B (zh) * 2014-03-07 2016-06-01 国家电网公司 一种用于无人机输电线路巡检的集中监控系统及监控方法
CN105744218B (zh) * 2014-12-11 2019-04-26 小米科技有限责任公司 垃圾清理方法及装置
CN106845408B (zh) * 2017-01-21 2023-09-01 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
CN107133968A (zh) * 2017-06-07 2017-09-05 武汉洁美雅科技有限公司 一种基于物联网的垃圾处理控制系统
CN110135540A (zh) * 2019-05-03 2019-08-16 北京联博达科技有限公司 含标识码装置和循环利用含标识码装置的装置系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1696946A (zh) * 2004-05-12 2005-11-16 林立国 城市垃圾收运控制系统
CN101159018A (zh) * 2007-11-16 2008-04-09 北京中星微电子有限公司 一种图像特征点定位方法及装置
CN109343502A (zh) * 2018-12-10 2019-02-15 成都九洲电子信息系统股份有限公司 一种垃圾桶监管系统及方法

Also Published As

Publication number Publication date
CN111401370A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN108961272B (zh) 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109685141B (zh) 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
WO2020134102A1 (zh) 物品识别方法、装置、售货系统和存储介质
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN112581540A (zh) 一种大场景下基于人体姿态估计的相机标定方法
CN116152685B (zh) 一种基于无人机视野下行人检测方法及系统
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN111539351A (zh) 一种多任务级联的人脸选帧比对方法
CN115661505A (zh) 一种语义感知的图像阴影检测方法
WO2024148645A1 (zh) 单目红外热成像视觉机械手抓取物体姿态估计装置及方法
CN112766040A (zh) 残余饵料的探测方法、设备、装置及可读存储介质
CN111401370B (zh) 一种垃圾图像识别及任务指派管理的方法，模型及系统
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
Liedtke et al. Use of explicit knowledge for the reconstruction of 3-D object geometry
CN115205793A (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN115116136A (zh) 一种异常行为检测方法、装置、介质
CN111160278B (zh) 基于单个图像传感器的人脸纹理结构数据采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant