CN113052005B - 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 - Google Patents
一种用于家居服务的垃圾分拣方法和垃圾分拣装置 Download PDFInfo
- Publication number
- CN113052005B CN113052005B CN202110181294.2A CN202110181294A CN113052005B CN 113052005 B CN113052005 B CN 113052005B CN 202110181294 A CN202110181294 A CN 202110181294A CN 113052005 B CN113052005 B CN 113052005B
- Authority
- CN
- China
- Prior art keywords
- garbage
- data
- picture
- sorting
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 27
- 238000012216 screening Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000003058 natural language processing Methods 0.000 claims 2
- 230000008901 benefit Effects 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明的实施例提供一种用于家居服务的垃圾分拣方法和垃圾分拣装置，该方法包括：采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；根据物品图片基础数据和预设比例，得到训练数据和测试数据；根据训练数据和YOLOv4‑T i ny目标检测模型，得到模型权重文件；根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。本发明在家居场景中实现了对垃圾和非垃圾物品的智能分拣，具有节约人工成本和分拣准确性高的优点，也提供了一种在源头进行垃圾分拣的解决方案。
Description
技术领域
本发明涉及垃圾识别技术领域，特别是指一种用于家居服务的垃圾分拣方法和垃圾分拣装置。
背景技术
随着城市垃圾日益增加，国家开始大力倡导垃圾分类。垃圾分类，一般是指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用，减少垃圾处理量和处理设备，降低处理成本，减少土地资源的消耗，具有社会、经济、生态等几方面的效益。
目前国内垃圾分类主要还是依靠人工分拣完成，人工分拣的垃圾处理方式虽然门槛较低，但需要大量人力资源，耗费较高的人力成本。此外，垃圾分拣工人劳动强度大，效率低下，工人身心健康也会受到恶劣的分拣环境影响。而且目前国内外学者提出的方案大多是末端识别分拣回收方法的创新，在家居环境下前端垃圾分类主要依赖人们的自觉性，存在效率很低以及人们普遍分类知识不足等问题。随着人工智能和机器人技术的迅猛发展，适用于家庭环境下的服务型机器人已经成为现实，但对智能垃圾分拣机器人研究较少，市场上暂未出现该类产品，市场应用开发价值大。使用服务机器人在家居环境下进行更智能化和自动化垃圾分拣作业不但可以解放人力，而且可以极大提高垃圾分拣效率，随着机器视觉及深度学习技术的快速发展，机器人可以通过深度学习算法完成垃圾目标的识别与定位，进而可以执行抓取作业。
但是，目前用于家居服务机器人进行垃圾分类时，是默认识别的物品都是垃圾的前提之下进行的识别分类，而无法将垃圾和非垃圾物品进行识别、分拣。
发明内容
本发明要解决的技术问题是提供一种用于家居服务的垃圾分拣方法和垃圾分拣装置，从而解决将垃圾和非垃圾物品进行识别、分拣的问题。
为解决上述技术问题，本发明的技术方案如下：
根据本发明的一个方面，提供一种用于家居服务的垃圾分拣方法，包括：
采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；
根据物品图片基础数据和预设比例，得到训练数据和测试数据；
根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；
根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。
进一步地，根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤之前，还包括以下步骤：
将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据。
进一步地，根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件，具体包括以下步骤：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。
进一步地，将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至损失函数达到最小趋于平衡时，停止训练，得到模型权重文件的步骤中，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，/>是指单元格中目标属于类别c的实际概率，/>为预测概率。
进一步地，根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣，具体包括以下步骤：
使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
本发明的另一个方面，提供一种用于家居服务的垃圾分拣装置，包括：
采集模块，用于采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；
划分模块，用于根据物品图片基础数据和预设比例，得到训练数据和测试数据；
训练模块，用于根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
测试模块，用于根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；
融合模块，用于根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
分拣模块，用于根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。
进一步地，所述装置还包括：
优化模块，用于将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据，发送至划分模块。
进一步地，训练模块具体用于：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。
进一步地，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，/>是指单元格中目标属于类别c的实际概率，/>为预测概率。
进一步地，分拣模块具体用于：
使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。
附图说明
图1是本发明的一种用于家居服务的垃圾分拣方法的步骤图；
图2是本发明的一种用于家居服务的垃圾分拣装置的器件连接图；
图3是YOLOv4-Tiny目标检测模型的整体网络结构图；
图4是垃圾分拣知识图谱构建流程图；
图5是应用了本发明中垃圾分拣装置的机器人的工作流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种用于家居服务的垃圾分拣方法，包括：
S100、采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；
S200、根据物品图片基础数据和预设比例，得到训练数据和测试数据；
S300、根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
S400、根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；
S500、根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
S600、根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。
本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。
本发明的一可选实施例中，步骤S100采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据中，物品图片基础数据可以使用开源数据集COCO(Common Objects inContext,是一个可以用来进行图像识别的数据集)，也可以从互联网爬虫得到，亦或者从室内环境拍摄组成。文本类垃圾数据就是与物品图片基础数据中图片所对应的文本，比如一句描述物品属性、位置、大小等的文本。结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库。
本发明的一可选实施例中，步骤S200根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤，具体包括：
将物品图片基础数据通过脚本以8:2的比例划分为训练数据和测试数据。预设比例在本实施例中为8:2，根据实际情况和具体需求，也可以进行更改。
本发明的一可选实施例中，步骤S200根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤之前，还包括以下步骤：
将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据。
其中，数据筛选是为了确保数据集质量完好，这样训练出的模型权重文件的泛化能力也更好；数据筛选的原则是避免单一性、重复性和无效性等问题，保证数据集的质量；筛选方式可以是人为设定规则进行筛选。数据增强的目的是为了扩充数据集，可以采用平移、缩放、旋转、饱和度、色调等方式。数据标注的目的是将经过筛选、增强处理的数据集以Pascal VOC数据集格式构建，可以采用Label Img工具对图像进行分类标注，生成的XML文件包含标定图像中对象的类别和位置。
本发明的一可选实施例中，步骤S300根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件，具体包括以下步骤：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。
YOLOv4-Tiny是YOLOv4的轻量级算法，更适合在移动端、嵌入式设备上部署，增强了本方法的适用性，利于推广和使用。损失函数是用来衡量模型好坏的标准。通过预测结果与实际结果的差值来得到模型的损失函数，进一步确定模型的评价准则，准确率、召回率及模型训练时间等等，有利于提高本方法垃圾分拣的准确率。
本发明的一可选实施例中，将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至损失函数达到最小趋于平衡时，停止训练，得到模型权重文件的步骤中，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，/>是指单元格中目标属于类别c的实际概率，/>为预测概率。
本发明的一可选实施例中，步骤S600根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣，具体包括以下步骤：
使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
步骤S600能够实现将垃圾从所有物品中识别出来，并能够识别出垃圾的类别(如可回收垃圾、有害垃圾等)，便于后续投放进相应的垃圾桶。
如图2所示，本发明的实施例提出一种用于家居服务的垃圾分拣装置，包括：
采集模块，用于采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；
划分模块，用于根据物品图片基础数据和预设比例，得到训练数据和测试数据；
训练模块，用于根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
测试模块，用于根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；
融合模块，用于根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
分拣模块，用于根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。
本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。
本发明的一可选实施例中，采集模块采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据中，物品图片基础数据可以使用开源数据集COCO(Common Objects inContext,是一个可以用来进行图像识别的数据集)，也可以从互联网爬虫得到，亦或者从室内环境拍摄组成。文本类垃圾数据就是与物品图片基础数据中图片所对应的文本，比如一句描述物品属性、位置、大小等的文本。结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库。
本发明的一可选实施例中，所述装置还包括：
优化模块，用于将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据，发送至划分模块。
其中，数据筛选是为了确保数据集质量完好，这样训练出的模型权重文件的泛化能力也更好；数据筛选的原则是避免单一性、重复性和无效性等问题，保证数据集的质量；筛选方式可以是人为设定规则进行筛选。数据增强的目的是为了扩充数据集，可以采用平移、缩放、旋转、饱和度、色调等方式。数据标注的目的是将经过筛选、增强处理的数据集以Pascal VOC数据集格式构建，可以采用Label Img工具对图像进行分类标注，生成的XML文件包含标定图像中对象的类别和位置。
本发明的一可选实施例中，训练模块具体用于：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。YOLOv4-Tiny是YOLOv4的轻量级算法，更适合在移动端、嵌入式设备上部署，增强了本方法的适用性，利于推广和使用。损失函数是用来衡量模型好坏的标准。通过预测结果与实际结果的差值来得到模型的损失函数，进一步确定模型的评价准则，准确率、召回率及模型训练时间等等，有利于提高本方法垃圾分拣的准确率。
本发明的一可选实施例中，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，/>是指单元格中目标属于类别c的实际概率，/>为预测概率。
本发明的一可选实施例中，分拣模块具体用于：
使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
分拣模块能够实现将垃圾从所有物品中识别出来，并能够识别出垃圾的类别(如可回收垃圾、有害垃圾等)，便于后续投放进相应的垃圾桶。
需要说明的是，该装置是与上述图1所述的方法对应的装置，所示方法中的所有实现方式均适用于该装置的实施例中，也能达到同样的技术效果。
本发明的实施例还提出一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行如图1所述的垃圾分拣方法。上述图1所示的垃圾分拣方法的所有实施例均适用于该存储介质的实施例中，也能达到相同的技术效果。
本发明实施例的一种垃圾分拣方法的一个工作流程是：
以COCO数据集为基础，编写脚本从中筛选出室内场景下较为常见的物品以及从互联网和环境中收集拍摄一些典型数据图片。将采集的数据分数据筛选、数据增强、数据标注三步进行处理、优化。将优化后的数据集通过脚本以8:2的比例划分为训练数据集和测试数据集，训练数据集输入到YOLOv4-Tiny目标检测模型中进行训练，通过设定一定的迭代次数，或者损失函数达到最小趋于平衡时，模型训练停止，最终生成一个模型权重文件去对测试集进行预测。利用YOLOv4-Tiny目标检测模型生成一个模型权重文件去对测试集进行预测的具体过程为：使用CSPdarknet53_tiny作为主干特征提取网络通过多次卷积、池化、激活函数获得26*26*256和13*13*256两个类型的有效特征层，然后使用了特征金字塔(FPN)的结构，对获得的两个有效特征层进行特征融合，得到富含更多特征的大尺寸预测特征层，融合就是将13*13*512的特征层的高和宽上采样为26*26，便于和26*26的特征层进行堆叠卷积。最后YOLOhead利用获得的两个预测特征层进行多尺寸预测。YOLOv4-Tiny整体网络结构如图3所示。
本实施例中，图像类垃圾数据具体指就是从室内环境和互联网中采集的物品图像数据，比如一个形变的塑料瓶照片，而视频类数据就是连续的图像帧，图像类垃圾数据可以采用图片视频类垃圾判断模型获得。文本类垃圾数据就是与图像数据所对应的文本，描述室内物品属性，实体名称的一些文本类数据，比如一句描述物品属性、位置、大小等的文本；采用开源工具包CoreNLP(CoreNLP是斯坦福大学为自然语言处理开发开源工具包，通过使用CoreNLP中的NER解析模块，分析语句的词法特征，可以实现对文本类数据的实体及关系的自动抽取)，通过使用CoreNLP中的NER解析模块，分析语句的词法特征，可以实现对文本类数据的实体及关系的自动抽取处理获得；结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库；采用D2R处理(D2R是一个能够将关系数据库中的内容转换成RDF三元组的工具，该工具可以让RDF浏览器和HTML浏览器访问数据库，并使用SPARQL查询语句查询数据库)获得。分别从室内环境及互联网中获取到的非结构化和结构化数据提取实体、属性及关系，并生成了三元组集合，由于集合中的三元组还存在一词多义和多词同义，因此，分别通过物品的文本信息，结构化知识的描述信息计算其词向量，并根据词向量的余弦相似度来确定实体语义相似程度，实现实体语义的对齐和消歧，得到垃圾分拣知识图谱。知识图谱三元组公式表示:G＝(E,P,R)，其中G表示本体，E＝{e1，e2,…en}表示实体集合，P＝{p1，p2,…pn}表示属性集合，R＝{r1，r2,…rn}表示关系合集。例如：物品A，识别出(塑料瓶，是，空的)、(塑料瓶，是，形变的)、(塑料瓶，放在，地板)、(塑料瓶，是，可回收垃圾)、(可回收垃圾，投到，可回收垃圾桶)，推理并决策要将物品A放入可回收垃圾桶。垃圾分拣知识图谱构建流程图如图4所示。
图片视频类垃圾判断模型可以获取环境中物品的类别及位置信息，垃圾分拣知识图谱对图片视频类垃圾判断模型做辅助决策，通过利用图片视频类垃圾判断模型获得实体名称，在垃圾分拣知识图谱中进行搜索查询，通过返回的信息去进一步做判断是否为垃圾，如果是，返回该物品属于哪一类别垃圾，应该投到相应类别的垃圾桶内；如果不是，遍历环境中其它物品。
本实施例的垃圾分拣方法和装置的优点是:一是创造性地利用垃圾分拣知识图谱对输入的多模态环境信息和互联网信息进行统一表征和存储，用节点和关系的三元组直观有效地表示场景中物品和物品间的关系，为真实室内场景直接建模，以结构化的形式存储物品信息；二是利用YOLOv4-Tiny目标检测算法对室内环境中物品进行实时检测，将视觉检测方法和垃圾分拣知识图谱相结合，达到对场景中物体视觉理解进而完成垃圾分类任务的目标，使得模型具备与人类似的联想能力，成为提高模型智能化、实现垃圾分类任务的关键。
应用了本实施例的垃圾分拣装置的机器人的工作流程如图5所示：
先开启上位机，再启动机器人的总电源开关，对系统进行上电工作完成初始化，通过激光雷达建图导航单元自动建立区域的2D平面图像；通过建图导航单元的指示导航到具有物体的区域，通过摄像头采集实时图像；分拣模块中的识别单元通过图片视频类垃圾判断模型识别该区域的物体，进而得到物体类别和位置，同时根据识别物体的位置相应调整机器人的相对位置；分拣模块中的判断单元通过垃圾分拣知识图谱去判断识别单元识别的物体是否为垃圾；如果是垃圾，根据通过垃圾分拣知识图谱获取垃圾类型及相关联的垃圾桶信息，控制单元就会控制机械手对垃圾进行抓取，然后放到相应垃圾桶；如果不是垃圾，则重新导航，遍历其它区域，直到环境区域内垃圾全部清扫完毕。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种用于家居服务的垃圾分拣方法，其特征在于，包括：
采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；物品图片基础数据包括图片，文本类垃圾数据是与图片所对应的描述物品属性、位置、大小的文本，结构化垃圾数据包括物品关系数据；
根据物品图片基础数据和预设比例，得到训练数据和测试数据；
根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
根据模型权重文件和测试数据，得到图片或视频类垃圾判断模型；
根据图片或视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
根据图片或视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣；
其中，根据图片或视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱，具体包括以下步骤：
利用图片或视频类垃圾判断模型、自然语言处理开发开源工具包和三元组转换工具，从物品图片基础数据、文本类垃圾数据和结构化垃圾数据中提取得到实体、属性及关系；
根据实体、属性及关系，生成三元组集合；
对三元组集合进行知识融合，得到垃圾分拣知识图谱；
其中，根据图片或视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣，具体包括以下步骤：
使用图片或视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
2.根据权利要求1所述的用于家居服务的垃圾分拣方法，其特征在于，根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤之前，还包括以下步骤：
将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据。
3.根据权利要求2所述的用于家居服务的垃圾分拣方法，其特征在于，根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件，具体包括以下步骤：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。
4.根据权利要求3所述的用于家居服务的垃圾分拣方法，其特征在于，将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至损失函数达到最小趋于平衡时，停止训练，得到模型权重文件的步骤中，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，classes为检测目标所属类别，Pi j(c)是指单元格中目标属于类别c的实际概率，/>为预测概率。
5.一种用于家居服务的垃圾分拣装置，其特征在于，包括：
采集模块，用于采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；物品图片基础数据包括图片，文本类垃圾数据是与图片所对应的描述物品属性、位置、大小的文本，结构化垃圾数据包括物品关系数据；
划分模块，用于根据物品图片基础数据和预设比例，得到训练数据和测试数据；
训练模块，用于根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；
测试模块，用于根据模型权重文件和测试数据，得到图片或视频类垃圾判断模型；
融合模块，用于根据图片或视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；
分拣模块，用于根据图片或视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣；
其中，融合模块具体用于：
利用图片或视频类垃圾判断模型、自然语言处理开发开源工具包和三元组转换工具，从物品图片基础数据、文本类垃圾数据和结构化垃圾数据中提取得到实体、属性及关系；
根据实体、属性及关系，生成三元组集合；
对三元组集合进行知识融合，得到垃圾分拣知识图谱；
其中，分拣模块具体用于：
使用图片或视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；
使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。
6.根据权利要求5所述的用于家居服务的垃圾分拣装置，其特征在于，所述装置还包括：
优化模块，用于将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据，发送至划分模块。
7.根据权利要求6所述的用于家居服务的垃圾分拣装置，其特征在于，训练模块具体用于：
将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。
8.根据权利要求7所述的用于家居服务的垃圾分拣装置，其特征在于，损失函数通过以下公式得到：
Loss＝Lloc+Lconf+Lcls
其中，Loss为损失函数，Lloc为回归框预测误差，Lconf为置信度误差，Lcls为分类误差，IOU(A,B)为预测框和真实框的交并比，ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，m为同时包含预测框和真实框的最小封闭区域的对角线距离，wgt和hgt为真实框的宽、高；w和h为预测框的宽、高；S2为网格数，B为每个网格中的先验框个数，Iij obj表示预测的边界框包含目标，Iij nobj表示预测的边界框不含目标，为预测置信度，/>为实际置信度，λnobj为自行设置的参数值；c为检测目标所属种类，classes为检测目标所属类别，Pi j(c)是指单元格中目标属于类别c的实际概率，/>为预测概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181294.2A CN113052005B (zh) | 2021-02-08 | 2021-02-08 | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181294.2A CN113052005B (zh) | 2021-02-08 | 2021-02-08 | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052005A CN113052005A (zh) | 2021-06-29 |
| CN113052005B true CN113052005B (zh) | 2024-02-02 |
Family
ID=76509075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110181294.2A Active CN113052005B (zh) | 2021-02-08 | 2021-02-08 | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052005B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128960A (zh) * | 2021-09-17 | 2023-05-16 | 山西大学 | 一种基于机器学习的工件自动抓取方法、系统及装置 |
| CN113850779A (zh) * | 2021-09-24 | 2021-12-28 | 深圳闪回科技有限公司 | 一种基于变分多实例图像识别的二手手机自动评级算法 |
| CN113971811B (zh) * | 2021-11-16 | 2023-06-06 | 北京国泰星云科技有限公司 | 一种基于机器视觉和深度学习的集装箱特征智能识别方法 |
| CN115035474A (zh) * | 2022-06-21 | 2022-09-09 | 武汉市万睿数字运营有限公司 | 一种基于场景注意力的垃圾检测方法、装置及相关介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446368A (zh) * | 2018-03-15 | 2018-08-24 | 湖南工业大学 | 一种包装产业大数据知识图谱的构建方法及设备 |
| CN109460028A (zh) * | 2018-11-23 | 2019-03-12 | 珠海格力电器股份有限公司 | 一种智能垃圾桶的控制装置及其方法与智能垃圾桶 |
| CN110502616A (zh) * | 2019-08-29 | 2019-11-26 | 上海墨百意信息科技有限公司 | 一种确定垃圾分类的方法、设备及计算机存储介质 |
| CN110543573A (zh) * | 2019-08-28 | 2019-12-06 | 珠海格力电器股份有限公司 | 一种基于知识图谱的垃圾分类方法及装置 |
| CN110796186A (zh) * | 2019-10-22 | 2020-02-14 | 华中科技大学无锡研究院 | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 |
| WO2020077350A1 (en) * | 2018-10-13 | 2020-04-16 | Predii Inc. | Adaptable systems and methods for discovering intent from enterprise data |
| CN111259977A (zh) * | 2020-01-22 | 2020-06-09 | 浙江工业大学 | 一种基于深度学习的垃圾分类装置 |
| CN111353542A (zh) * | 2020-03-03 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备和存储介质 |
| WO2020160186A1 (en) * | 2019-01-29 | 2020-08-06 | Twitter, Inc. | Real-time event detection on social data streams |
| CN112257508A (zh) * | 2020-06-30 | 2021-01-22 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
-
2021
- 2021-02-08 CN CN202110181294.2A patent/CN113052005B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446368A (zh) * | 2018-03-15 | 2018-08-24 | 湖南工业大学 | 一种包装产业大数据知识图谱的构建方法及设备 |
| WO2020077350A1 (en) * | 2018-10-13 | 2020-04-16 | Predii Inc. | Adaptable systems and methods for discovering intent from enterprise data |
| CN109460028A (zh) * | 2018-11-23 | 2019-03-12 | 珠海格力电器股份有限公司 | 一种智能垃圾桶的控制装置及其方法与智能垃圾桶 |
| WO2020160186A1 (en) * | 2019-01-29 | 2020-08-06 | Twitter, Inc. | Real-time event detection on social data streams |
| CN110543573A (zh) * | 2019-08-28 | 2019-12-06 | 珠海格力电器股份有限公司 | 一种基于知识图谱的垃圾分类方法及装置 |
| CN110502616A (zh) * | 2019-08-29 | 2019-11-26 | 上海墨百意信息科技有限公司 | 一种确定垃圾分类的方法、设备及计算机存储介质 |
| CN110796186A (zh) * | 2019-10-22 | 2020-02-14 | 华中科技大学无锡研究院 | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 |
| CN111259977A (zh) * | 2020-01-22 | 2020-06-09 | 浙江工业大学 | 一种基于深度学习的垃圾分类装置 |
| CN111353542A (zh) * | 2020-03-03 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备和存储介质 |
| CN112257508A (zh) * | 2020-06-30 | 2021-01-22 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 生活垃圾回收利用研究的趋势和热点问题――基于论文关键词共词聚类的分析;胡利勇;;再生资源与循环经济(第07期);第25-29页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052005A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052005B (zh) | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 | |
| CN112560755B (zh) | 一种识别城市暴露垃圾的目标检测方法 | |
| CN107480643A (zh) | 一种智能垃圾分类处理的机器人 | |
| Wu et al. | A garbage detection and classification method based on visual scene understanding in the home environment | |
| Feng et al. | Garbage disposal of complex background based on deep learning with limited hardware resources | |
| CN110516625A (zh) | 一种垃圾识别分类的方法、系统、终端及存储介质 | |
| Song et al. | Optimization of CNN-based garbage classification model | |
| CN112183460A (zh) | 一种智能识别环境卫生的方法及装置 | |
| Arunkumar et al. | An internet of things based waste management system using hybrid machine learning technique | |
| Gill et al. | Garbage Classification Utilizing Effective Convolutional Neural Network | |
| Belsare et al. | An integrated approach of IoT and WSN using wavelet transform and machine learning for the solid waste image classification in smart cities | |
| Middya et al. | Garbage detection and classification using faster-RCNN with inception-V2 | |
| Sun et al. | Automatic building age prediction from street view images | |
| CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
| Sajid et al. | A new paradigm for waste classification based on YOLOv5 | |
| Raza et al. | Real-Time Trash Detection for Modern Societies using CCTV to Identifying Trash by utilizing Deep Convolutional Neural Network | |
| CN114528404A (zh) | 一种识别省市区的方法及装置 | |
| CN114332715A (zh) | 气象自动观测积雪识别方法、装置、设备及存储介质 | |
| Komathi et al. | Adaptive Domestic Waste Segregation using Image Classification | |
| Bai | Design of Garbage Classification System Based on Artificial Intelligence Technology | |
| Kumar et al. | YOLO Based Model for Garbage Detection | |
| Hernandez et al. | Searching for Uncollected Litter with Computer Vision | |
| Ma et al. | Intelligent garbage classification system based on open MV | |
| CN112581528B (zh) | 一种基于主动学习的衣物关键点辅助标注及预测优化方法 | |
| Fang | SSD-based Lightweight Recyclable Garbage Target Detection Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |