CN113688825A - 一种ai智能垃圾识别分类系统和方法 - Google Patents
一种ai智能垃圾识别分类系统和方法 Download PDFInfo
- Publication number
- CN113688825A CN113688825A CN202110534320.5A CN202110534320A CN113688825A CN 113688825 A CN113688825 A CN 113688825A CN 202110534320 A CN202110534320 A CN 202110534320A CN 113688825 A CN113688825 A CN 113688825A
- Authority
- CN
- China
- Prior art keywords
- garbage
- travel amount
- building
- rcnn model
- subunit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000002699 waste material Substances 0.000 claims 2
- 240000007651 Rubus glaucus Species 0.000 description 10
- 235000011034 Rubus glaucus Nutrition 0.000 description 10
- 235000009122 Rubus idaeus Nutrition 0.000 description 10
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 2
- 229960004134 propofol Drugs 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001137251 Corvidae Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015108 pies Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种AI智能垃圾识别分类系统和方法，其中AI智能垃圾识别分类方法包括：通过训练Faster‑RCNN模型，获取现场图像，将所述现场图像输入到所述训练好的Faster‑RCNN模型中，利用训练好的Faster‑RCNN模型识别垃圾站内的垃圾类别，并确定垃圾在所述现场图像中的实时坐标，根据所述实时坐标确定行进量，从而根据行进量控制机械臂或其他抓取装置抓取垃圾，实现对站内垃圾的智能分拣工作，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景，有效解决了人工分拣垃圾效率低的技术问题。
Description
技术领域
本发明垃圾分类技术领域，尤其涉及一种AI智能垃圾识别分类系统和方法。
背景技术
目前大部分垃圾站都是人工分拣，由此在垃圾处理时会耗费大量的人力，并且在恶劣的工作环境中对工人的身体健康存在种种威胁，人工分拣的效率也会大为折损，垃圾分类率也很低。
发明内容
本发明实施例提供了一种AI智能垃圾识别分类系统和方法，用以解决人工分拣垃圾效率低的技术问题。
所述技术方案如下：
一方面，本发明提供了一种AI智能垃圾识别分类方法，包括以下步骤：
搭建预训练的Faster-RCNN模型；获取包括多种垃圾类别的图像数据集，并指定识别对象，将所述图像数据集输入到所述预训练的Faster-RCNN模型进行训练，获得训练好的Faster-RCNN模型；获取现场图像，将所述现场图像输入到所述训练好的Faster-RCNN模型中，识别所述现场图像中垃圾类别并确定垃圾在所述现场图像中的实时坐标；分析所述实时坐标获取行进量，根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
优选地，所述搭建预训练的Faster-RCNN模型包括以下步骤：搭建Conv layers，用于提取图片的特征图，其中所述Conv layers包括conv、pooling、 relu三种层；搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
优选地，所述预训练的Faster-RCNN模型进行训练的训练步骤包括：对所述图像数据集中的图片进行预处理；所述预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；预设平均精确率AP阈值，根据所述测试结果进行评估，若评估结果低于平均精确率AP阈值，则修改所述预训练的 Faster-RCNN模型参数，直至测试结果达到所述平均精确率AP阈值。
优选地，所述行进量包括X轴行进量、Y轴行进量和Z轴行进量，其中，所述Z轴行进量为预设数值，所述X轴行进量和所述Y轴行进量根据所述实时坐标计算得到。
优选地，所述X轴行进量和所述Y轴行进量根据所述坐标计算得到的计算步骤包括：
设定参考坐标点；计算所述参考坐标点和所述实时坐标的X轴偏移量和Y 轴偏移量；将所述X轴偏移量和所述Y轴偏移量分别乘以变换因子a获得所述 X轴行进量和所述Y轴行进量。
另一方面，本发明还提供了一种AI智能垃圾识别分类系统，包括：机械臂子系统、传送带、图像采集单元和控制模块，所述传送带用于运输待分类的垃圾；所述图像采集单元，用于获取传送带上运输垃圾的现场图像，并将所述现场图像输入到所述控制模块；所述控制模块包括识别单元、训练单元、坐标单元和行进量单元，所述识别单元上搭建有预训练的Faster-RCNN模型，用于识别垃圾类别；所述训练单元用于获取包括多种垃圾类别的图像数据集，并指定识别对象，将多种垃圾类别的图像数据集输入到所述预训练的Faster-RCNN模型进行训练，获得训练好的Faster-RCNN模型；所述坐标单元用于获取垃圾在所述现场图像中的实时坐标；所述行进量单元用于根据所述坐标确定行进量，并将所述行进量传输至所述机械臂子系统；机械臂子系统用于根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
优选地，所述控制模块还包括复位单元，所述复位单元用于当将抓取到的垃圾放在指定位置后，控制所述机械臂控制系统回到初始位置。
优选地，所述行进量单元包括预设子单元和计算子单元，所述预设子单元用于获取预设的Z轴行进量，所述计算子单元用于根据所述实时坐标计算X轴行进量和Y轴行进量。
优选地，所述识别单元包括：第一搭建子单元，用于搭建Conv layers，用于提取图片的特征图，其中所述Conv layers包括conv、pooling、relu三种层；第二搭建子单元，用于搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；第三搭建子单元，用于搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；第四搭建子单元，搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
优选地，所述训练单元包括：预处理子单元，用于对所述图像数据集中的图片进行预处理；测试子单元，用于所述预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；评估子单元，用于预设平均精确率AP阈值，根据所述测试结果进行评估，若评估结果低于平均精确率AP阈值，则修改所述预训练的Faster-RCNN模型参数，直至测试结果达到所述平均精确率AP阈值。
从以上技术方案可以看出，本申请实施例具有以下优点：
本发明实施例提供的一种AI智能垃圾识别分类方法，包括：通过训练 Faster-RCNN模型，获取现场图像，将所述现场图像输入到所述训练好的 Faster-RCNN模型中，利用训练好的Faster-RCNN模型识别垃圾站内的垃圾类别，并确定垃圾在所述现场图像中的实时坐标，根据所述实时坐标确定行进量，从而根据行进量控制机械臂或其他抓取装置抓取垃圾，实现对站内垃圾的智能分拣工作，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景，有效解决了人工分拣垃圾效率低的技术问题。
本发明实施例提供的一种AI智能垃圾识别分类系统，具有和上述方法相同的效果，在此不做赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中附图仅仅是本发明的一些实施例，对于本领域普通的技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图，应当理解的是，本说明书中描述的具体实施方式仅仅为了解释本发明，并非为了限定本发明。
图1为本发明实施例提供的一种AI智能垃圾识别分类方法的流程图；
图2为本发明实施例提供的一种AI智能垃圾识别分类系统的模块框图；
图3为本发明实施例提供的一种AI智能垃圾识别分类系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，本发明实施例的一种AI智能垃圾识别分类方法，包括以下步骤：
步骤1、搭建预训练的Faster-RCNN模型，Faster RCNN是由Ross Girshick由何凯明等人在2016年将其用于目标检测任务中，能够完成高效的与传统的RCNN相比，利用RPN(Region Proposal Networks)完成候选框的选择。Faster R-CNN网络分为两部分，一是Region Proposal Network(RPN)，二是Fast R-CNN。其中RPN包括图中proposals和convlayers，Fast R-CNN 包括卷积层、ROI pooling及后面全连接层等部分。Faster RCNN首先将整张图片输进CNN，提取图片的feature maps。将图片特征输入到到RPN，得到候选框的特征信息。RPN对于候选框中提取出的特征，使用分类器判别是否属于待识别的目标的候选框，将属于某一类别的候选框，用回归器进一步调整其位置。最后将目标框和图片的特征向量输入到Roi pooling层，再通过分类器进行分类，完成目标检测的任务，并且通过边框回归(bounding box regression) 获得目标最终的位置。
步骤2、获取包括多种垃圾类别的图像数据集，并指定识别对象，将图像数据集输入到预训练的Faster-RCNN模型进行训练，获得训练好的Faster-RCNN 模型。本实施例的图像数据集包括多种不同类型的垃圾图像组，每个垃圾图像组用于训练识别某一种类垃圾的Faster-RCNN模型，识别模型由操作人员指定识别对象，即垃圾图像识别模型由操作人员自定义命名。当利用图像数据集中的数据训练完成后，Faster-RCNN模型就可以识别图像数据集中包含的垃圾类别。例如，图像数据集包括矿泉水瓶、旧衣物、塑料袋三种垃圾图像组，将每个垃圾图像组依次输入到预训练的Faster-RCNN模型，训练完成后得到的 Faster-RCNN模型能识别这三种类型的垃圾，并且垃圾图像组中的数据量越多，识别精度越高。
步骤3、获取现场图像，将现场图像输入到训练好的Faster-RCNN模型中，识别现场图像中垃圾类别并确定垃圾在现场图像中的实时坐标。本实施例中识别分类方法可以应用于垃圾站、垃圾回收场或垃圾丢弃堆积的地点，现场图像为需要对垃圾分类的场所的实时图片。Faster-RCNN模型识别垃圾类别并确定垃圾在现场图像中的实时坐标，Faster-RCNN模型在识别目标时会产生检测框，其中实时坐标为识别完成时检测框的中心点坐标。
步骤4、分析实时坐标获取行进量，根据行进量抓取垃圾并将抓取到的垃圾放在指定位置。本实施例中，将实时坐标转换为机械手臂运动的行进量，以控制机械手臂抓取垃圾，且根据识别到的垃圾种类将垃圾放在指定位置。例如识别到的垃圾为矿泉水瓶，则机械手臂抓取垃圾后既运动到设定的用来放置矿泉水瓶的位置，实现对垃圾的分拣，便于后续回收。
本发明实施例实现对站内垃圾的智能分拣工作，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景，有效解决了人工分拣垃圾效率低的技术问题。
进一步，在本发明实施例的一种AI智能垃圾识别分类方法中，搭建预训练的Faster-RCNN模型包括以下步骤：搭建Conv layers，用于提取图片的特征图，其中Convlayers包括conv、pooling、relu三种层；搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；搭建区域池化层，获取并分析特征图和目标候选区域后提取候选特征图；搭建分类层，使用边框回归获得检测框最终精确位置，以及通过候选特征图判定目标类别。在本实施例中，利用树莓派来搭建Faster-RCNN模型。树莓派是一款基于ARM 的微型电脑主板，以SD/MocroSD卡为内存硬盘，具备所有PC的基本功能，本实施例尤其涉及树莓派3B+，树莓派3B+根据Faster-RCNN模型框架的特点进行设计。在本实施例中，Conv层的参数设置为：卷积核的大小为3＊3，步长为1，pad填充为1，将图片转换成矩阵，在Conv layers经过计算后，得到的矩阵为特征图(proposal feature maps)；搭建池化层，使用Roi Pooling 层收集输入的特征图和proposals，提取proposal feature maps，送入到全连接层进行目标类型的判定；搭建分类层，利用proposal feature maps计算 proposal的类别，确定检测框的最终精确位置，以及通过候选特征图判定目标类别。
进一步，在本发明实施例的一种AI智能垃圾识别分类方法中，预训练的 Faster-RCNN模型进行训练的训练步骤包括：对图像数据集中的图片进行预处理；预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；预设平均精确率AP阈值，根据测试结果进行评估，若评估结果低于平均精确率 AP阈值，则修改预训练的Faster-RCNN模型参数，直至测试结果达到平均精确率AP阈值。具体地，在本实施例中，用户可以自行拍摄或从网上下载图像数据集，也可以选择现有数据集PASCALVOC作为用于目标检测的数据集，该数据集包含约10000张已经标注好的并且带有边框的图片，含有20个类别，用于训练模型调整系统参数；图像数据集的预处理将所有图片调整为统一大小，并且人工进行标注，在此使用labelimg进行标注生成相应的xml文件。其中阈值AP是一个小于1的百分数，其数值越接近1效果越好，但是目前的目标检测模型的AP值大概在40％到50％之间，本实施例中，平均精确率AP阈值设置为42％，利用树莓派上训练好的Faster-RCNN模型并用数据集进行测试，若平均精确率AP阈值低于42％，则修改参数，再次进行训练后对训练结果进行测试，若平均精确率阈值AP高于或等于42％，则可开始输入需要检测的图片，利用训练后的Faster-RCNN模型进行目标识别。
进一步，在本发明实施例的一种AI智能垃圾识别分类方法中，行进量包括 X轴行进量、Y轴行进量和Z轴行进量，其中，Z轴行进量为预设数值，X轴行进量和Y轴行进量根据实时坐标计算得到。本实施例中，抓取垃圾的机械手臂在初始时位于固定高度，每次抓完垃圾后既返回初始位置，因此，Z轴行进量的预设数值可以根据机械手臂与垃圾放置点的高度设置，并进行人工校准。X轴行进量和Y轴行进量根据坐标计算得到的计算步骤包括：设定参考坐标点；计算参考坐标点和实时坐标的X轴偏移量和Y轴偏移量；将X轴偏移量和Y轴偏移量分别乘以变换因子a获得X轴行进量和Y轴行进量。参考坐标点为机械手臂在水平面上的坐标，也为原点坐标，将其和实时坐标相减获得X轴偏移量和Y 轴偏移量，变换因子a为一个常数，根据实际抓取的行进量确定。例如，在实际操作时先调校确定变换因子a的值，取参考坐标为(0，0)，实时坐标为(x， y)，则X轴偏移量和Y轴偏移量分别为x和y，人工输入行进量控制机械手臂到达实时坐标的上方，然后用此时的X轴行进量和Y轴行进量分别除以x和y 既获得两个方向上的变换因子a。
参见图2和图3，本申请实施例还提出一种AI智能垃圾识别分类系统，包括机械臂子系统100、传送带300、图像采集单元400和控制模块200。图像采集单元400，用于获取传送带300上运输垃圾的现场图像，并将现场图像输入到控制模块200；控制模块200包括识别单元220、训练单元210、坐标单元230和行进量单元240，识别单元220上搭建有预训练的Faster-RCNN模型，用于识别垃圾类别；训练单元210用于获取包括多种垃圾类别的图像数据集，并指定识别对象，将多种垃圾类别的图像数据集输入到预训练的 Faster-RCNN模型进行训练，获得训练好的Faster-RCNN模型；坐标单元230 用于获取垃圾在现场图像中的实时坐标；行进量单元240用于根据坐标确定行进量，并将行进量传输至机械臂子系统100；机械臂子系统100用于根据行进量抓取垃圾并将抓取到的垃圾放在指定位置。本实施例的AI智能垃圾识别分类系统，采用传送带300来运输待分类的垃圾，图像采集单元400和机械臂子系统100设置在传送带300上方且使其在水平面上尽量处于同一位置，当垃圾运输到图像采集单元400和机械臂子系统100的位置时传送带300暂时停止运行直至分拣完毕，控制模块200再控制传送带300前进。分拣过程如下：当传送带300将垃圾运输到图像采集单元400和机械臂子系统100的位置后，图像采集单元400拍摄传送带300上的现场图片，将现场图片输入到识别单元220和坐标单元230，然后通过识别单元220识别垃圾类型和通过坐标单元230获取垃圾实时坐标，坐标单元230再把实时坐标发送给行进量单元240，行进量单元240根据实时坐标确定行进量，并将行进量传输至机械臂子系统100，机械臂子系统100根据行进量抓取垃圾并将抓取到的垃圾放在指定位置，实现垃圾分拣，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景。
在本实施例中，控制模块200采用树莓派来实现，树莓派内部放置一块3.7V3800mAh的mini电池，用于给树莓派系统供电，最大输出电流1.4A，持续使用可以保证8小时左右的续航；一方面，可以在供电系统出现事故时，维持树莓派操作系统的正常运行。图像采集单元400采用高清摄像头，高清摄像头通过固定架固定在传送带300上方。
进一步，在本发明实施例的一种AI智能垃圾识别分类系统中，控制模块200 还包括复位单元，复位单元用于当将抓取到的垃圾放在指定位置后，控制机械臂控制系统回到初始位置。
进一步，在本发明实施例的一种AI智能垃圾识别分类系统中，行进量单元 240包括预设子单元和计算子单元，预设子单元用于获取预设的Z轴行进量，计算子单元用于根据实时坐标计算X轴行进量和Y轴行进量。
进一步，在本发明实施例的一种AI智能垃圾识别分类系统中，识别单元220 包括：第一搭建子单元，用于搭建Conv layers，用于提取图片的特征图，其中 Conv layers包括conv、pooling、relu三种层；第二搭建子单元，用于搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；第三搭建子单元，用于搭建区域池化层，获取并分析特征图和目标候选区域后提取候选特征图；第四搭建子单元，搭建分类层，使用边框回归获得检测框最终精确位置，以及通过候选特征图判定目标类别。
进一步，在本发明实施例的一种AI智能垃圾识别分类系统中，训练单元210 包括：预处理子单元，用于对图像数据集中的图片进行预处理；测试子单元，用于预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；评估子单元，用于预设平均精确率AP阈值，根据测试结果进行评估，若评估结果低于平均精确率AP阈值，则修改预训练的Faster-RCNN模型参数，直至测试结果达到平均精确率AP阈值。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种AI智能垃圾识别分类方法，其特征在于，包括以下步骤：
搭建预训练的Faster-RCNN模型；
获取包括多种垃圾类别的图像数据集，并指定识别对象，将所述图像数据集输入到所述预训练的Faster-RCNN模型进行训练，获得训练好的Faster-RCNN模型；
获取现场图像，将所述现场图像输入到所述训练好的Faster-RCNN模型中，识别所述现场图像中垃圾类别并确定垃圾在所述现场图像中的实时坐标；
分析所述实时坐标获取行进量，根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
2.根据权利要求1所述的一种AI智能垃圾识别分类方法，其特征在于，所述搭建预训练的Faster-RCNN模型包括以下步骤：
搭建Conv layers，用于提取图片的特征图，其中所述Conv layers包括conv、pooling、relu三种层；
搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；
搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；
搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
3.根据权利要求1所述的一种AI智能垃圾识别分类方法，其特征在于，所述预训练的Faster-RCNN模型进行训练的训练步骤包括：
对所述图像数据集中的图片进行预处理；
所述预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；
预设平均精确率AP阈值，根据所述测试结果进行评估，若评估结果低于平均精确率AP阈值，则修改所述预训练的Faster-RCNN模型参数，直至测试结果达到所述平均精确率AP阈值。
4.根据权利要求1所述的一种AI智能垃圾识别分类方法，其特征在于，所述行进量包括X轴行进量、Y轴行进量和Z轴行进量，其中，所述Z轴行进量为预设数值，所述X轴行进量和所述Y轴行进量根据所述实时坐标计算得到。
5.根据权利要求4所述的一种AI智能垃圾识别分类方法，其特征在于，所述X轴行进量和所述Y轴行进量根据所述坐标计算得到的计算步骤包括：
设定参考坐标点；
计算所述参考坐标点和所述实时坐标的X轴偏移量和Y轴偏移量；
将所述X轴偏移量和所述Y轴偏移量分别乘以变换因子a获得所述X轴行进量和所述Y轴行进量。
6.一种AI智能垃圾识别分类系统，包括机械臂子系统、传送带、图像采集单元和控制模块，
所述传送带用于运输待分类的垃圾；
所述图像采集单元，用于获取传送带上运输垃圾的现场图像，并将所述现场图像输入到所述控制模块；
所述控制模块包括识别单元、训练单元、坐标单元和行进量单元，所述识别单元上搭建有预训练的Faster-RCNN模型，用于识别垃圾类别；所述训练单元用于获取包括多种垃圾类别的图像数据集，并指定识别对象，将多种垃圾类别的图像数据集输入到所述预训练的Faster-RCNN模型进行训练，获得训练好的Faster-RCNN模型；所述坐标单元用于获取垃圾在所述现场图像中的实时坐标；所述行进量单元用于根据所述坐标确定行进量，并将所述行进量传输至所述机械臂子系统；
机械臂子系统用于根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
7.根据权利要求6所述的一种AI智能垃圾识别分类系统，其特征在于，所述控制模块还包括复位单元，所述复位单元用于当将抓取到的垃圾放在指定位置后，控制所述机械臂控制系统回到初始位置。
8.根据权利要求6所述的一种AI智能垃圾识别分类系统，其特征在于，所述行进量单元包括预设子单元和计算子单元，所述预设子单元用于获取预设的Z轴行进量，所述计算子单元用于根据所述实时坐标计算X轴行进量和Y轴行进量。
9.根据权利要求6所述的一种AI智能垃圾识别分类系统，其特征在于，所述识别单元包括：
第一搭建子单元，用于搭建Conv layers，用于提取图片的特征图，其中所述ConVlayers包括conV、pooling、relu三种层；
第二搭建子单元，用于搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；
第三搭建子单元，用于搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；
第四搭建子单元，搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
10.根据权利要求6所述的一种AI智能垃圾识别分类系统，其特征在于，所述训练单元包括：
预处理子单元，用于对所述图像数据集中的图片进行预处理；
测试子单元，用于所述预训练的Faster-RCNN模型对预处理后的图片进行测试，获取测试结果；
评估子单元，用于预设平均精确率AP阈值，根据所述测试结果进行评估，若评估结果低于平均精确率AP阈值，则修改所述预训练的Faster-RCNN模型参数，直至测试结果达到所述平均精确率AP阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110534320.5A CN113688825A (zh) | 2021-05-17 | 2021-05-17 | 一种ai智能垃圾识别分类系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110534320.5A CN113688825A (zh) | 2021-05-17 | 2021-05-17 | 一种ai智能垃圾识别分类系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113688825A true CN113688825A (zh) | 2021-11-23 |
Family
ID=78576330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110534320.5A Pending CN113688825A (zh) | 2021-05-17 | 2021-05-17 | 一种ai智能垃圾识别分类系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688825A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971746A (zh) * | 2021-12-24 | 2022-01-25 | 季华实验室 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
| CN116184892A (zh) * | 2023-01-19 | 2023-05-30 | 盐城工学院 | 一种机器人取物的ai识别控制方法及系统 |
| CN116342895A (zh) * | 2023-05-31 | 2023-06-27 | 浙江联运知慧科技有限公司 | 基于ai处理的提升再生资源分拣效率的方法及系统 |
| CN117900166A (zh) * | 2024-03-19 | 2024-04-19 | 浙江联运知慧科技有限公司 | 一种智能ai分拣装备 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345889A (zh) * | 2018-02-27 | 2018-07-31 | 国网上海市电力公司 | 一种利用树莓派对通信机柜进行示数识别的应用方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉系统的目标检测方法及装置 |
| CN110076782A (zh) * | 2019-06-11 | 2019-08-02 | 长春财经学院 | 一种计算机视觉目标识别的智控垃圾分类机器人 |
| CN110202583A (zh) * | 2019-07-09 | 2019-09-06 | 华南理工大学 | 一种基于深度学习的仿人机械手控制系统及其控制方法 |
| CN110610201A (zh) * | 2019-08-30 | 2019-12-24 | 厦门快商通科技股份有限公司 | 厨余回收分类方法、系统、移动终端及存储介质 |
| CN111209958A (zh) * | 2020-01-03 | 2020-05-29 | 南方电网科学研究院有限责任公司 | 基于深度学习的变电站设备检测方法及装置 |
| CN111275082A (zh) * | 2020-01-14 | 2020-06-12 | 中国地质大学（武汉） | 一种基于改进端到端神经网络的室内物体目标检测方法 |
| CN111482967A (zh) * | 2020-06-08 | 2020-08-04 | 河北工业大学 | 一种基于ros平台的智能检测与抓取方法 |
| CN111523536A (zh) * | 2020-04-10 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 |
| CN111626117A (zh) * | 2020-04-22 | 2020-09-04 | 杭州电子科技大学 | 基于目标检测的垃圾分拣系统及方法 |
| CN111814860A (zh) * | 2020-07-01 | 2020-10-23 | 浙江工业大学 | 一种面向垃圾分类的多目标检测方法 |
| CN111832629A (zh) * | 2020-06-23 | 2020-10-27 | 成都恒创新星科技有限公司 | 一种基于FPGA的faster-RCNN目标检测方法 |
| CN111910566A (zh) * | 2020-07-10 | 2020-11-10 | 广州民航职业技术学院 | 一种机场跑道异物自动检测及清理系统 |
| CN112102368A (zh) * | 2020-08-18 | 2020-12-18 | 东南大学 | 一种基于深度学习的机器人垃圾分类分拣方法 |
| CN112295933A (zh) * | 2020-09-17 | 2021-02-02 | 东南大学 | 一种机器人快速分拣货物的方法 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN112560579A (zh) * | 2020-11-20 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 一种基于人工智能的障碍物检测方法 |
| CN112572281A (zh) * | 2019-09-27 | 2021-03-30 | 北京市商汤科技开发有限公司 | 光强调节方法及装置、电子设备和存储介质 |
-
2021
- 2021-05-17 CN CN202110534320.5A patent/CN113688825A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345889A (zh) * | 2018-02-27 | 2018-07-31 | 国网上海市电力公司 | 一种利用树莓派对通信机柜进行示数识别的应用方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉系统的目标检测方法及装置 |
| CN110076782A (zh) * | 2019-06-11 | 2019-08-02 | 长春财经学院 | 一种计算机视觉目标识别的智控垃圾分类机器人 |
| CN110202583A (zh) * | 2019-07-09 | 2019-09-06 | 华南理工大学 | 一种基于深度学习的仿人机械手控制系统及其控制方法 |
| CN110610201A (zh) * | 2019-08-30 | 2019-12-24 | 厦门快商通科技股份有限公司 | 厨余回收分类方法、系统、移动终端及存储介质 |
| CN112572281A (zh) * | 2019-09-27 | 2021-03-30 | 北京市商汤科技开发有限公司 | 光强调节方法及装置、电子设备和存储介质 |
| CN111209958A (zh) * | 2020-01-03 | 2020-05-29 | 南方电网科学研究院有限责任公司 | 基于深度学习的变电站设备检测方法及装置 |
| CN111275082A (zh) * | 2020-01-14 | 2020-06-12 | 中国地质大学（武汉） | 一种基于改进端到端神经网络的室内物体目标检测方法 |
| CN111523536A (zh) * | 2020-04-10 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 |
| CN111626117A (zh) * | 2020-04-22 | 2020-09-04 | 杭州电子科技大学 | 基于目标检测的垃圾分拣系统及方法 |
| CN111482967A (zh) * | 2020-06-08 | 2020-08-04 | 河北工业大学 | 一种基于ros平台的智能检测与抓取方法 |
| CN111832629A (zh) * | 2020-06-23 | 2020-10-27 | 成都恒创新星科技有限公司 | 一种基于FPGA的faster-RCNN目标检测方法 |
| CN111814860A (zh) * | 2020-07-01 | 2020-10-23 | 浙江工业大学 | 一种面向垃圾分类的多目标检测方法 |
| CN111910566A (zh) * | 2020-07-10 | 2020-11-10 | 广州民航职业技术学院 | 一种机场跑道异物自动检测及清理系统 |
| CN112102368A (zh) * | 2020-08-18 | 2020-12-18 | 东南大学 | 一种基于深度学习的机器人垃圾分类分拣方法 |
| CN112295933A (zh) * | 2020-09-17 | 2021-02-02 | 东南大学 | 一种机器人快速分拣货物的方法 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN112560579A (zh) * | 2020-11-20 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 一种基于人工智能的障碍物检测方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971746A (zh) * | 2021-12-24 | 2022-01-25 | 季华实验室 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
| CN113971746B (zh) * | 2021-12-24 | 2022-03-11 | 季华实验室 | 基于单次人手示教的垃圾分类方法、装置及分拣智能系统 |
| CN116184892A (zh) * | 2023-01-19 | 2023-05-30 | 盐城工学院 | 一种机器人取物的ai识别控制方法及系统 |
| CN116184892B (zh) * | 2023-01-19 | 2024-02-06 | 盐城工学院 | 一种机器人取物的ai识别控制方法及系统 |
| CN116342895A (zh) * | 2023-05-31 | 2023-06-27 | 浙江联运知慧科技有限公司 | 基于ai处理的提升再生资源分拣效率的方法及系统 |
| CN116342895B (zh) * | 2023-05-31 | 2023-08-11 | 浙江联运知慧科技有限公司 | 基于ai处理的提升再生资源分拣效率的方法及系统 |
| CN117900166A (zh) * | 2024-03-19 | 2024-04-19 | 浙江联运知慧科技有限公司 | 一种智能ai分拣装备 |
| CN117900166B (zh) * | 2024-03-19 | 2024-05-31 | 浙江联运知慧科技有限公司 | 一种智能ai分拣装备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113688825A (zh) | 一种ai智能垃圾识别分类系统和方法 | |
| US12006141B2 (en) | Systems and methods for detecting waste receptacles using convolutional neural networks | |
| CN110969660B (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
| CN109201514A (zh) | 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统 | |
| CN111974704A (zh) | 基于计算机视觉的垃圾分类检测系统及方法 | |
| CN110136101A (zh) | 一种基于孪生距离比对的轮胎x光病疵检测方法 | |
| CN111539355A (zh) | 一种基于深层神经网络的光伏板异物检测系统及检测方法 | |
| CN113877836B (zh) | 一种基于视觉检测系统的智能识别分拣系统 | |
| CN113947731A (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
| CN113469264A (zh) | 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统 | |
| CN108762503A (zh) | 一种基于多模态数据采集的人机交互系统 | |
| CN115797811B (zh) | 一种基于视觉的农产品检测方法及系统 | |
| CN111652214A (zh) | 一种基于深度学习的垃圾瓶分选方法 | |
| CN112017172A (zh) | 一种基于树莓派的深度学习产品缺陷检测系统及方法 | |
| WO2022241597A1 (zh) | 一种ai智能垃圾识别分类系统和方法 | |
| CN112183374A (zh) | 一种基于树莓派和深度学习的快递自动分拣装置及方法 | |
| CN116385243A (zh) | 一种智能化垃圾分类收运管理方法及系统 | |
| CN116525133A (zh) | 核酸的自动采集方法、系统、电子设备及介质 | |
| TWI788175B (zh) | 皮革瑕疵檢測系統 | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| KR100357764B1 (ko) | 지능형 피혁 품질선별 장치 | |
| CN112069841A (zh) | 新型x光违禁品包裹跟踪方法及装置 | |
| CN116921247B (zh) | 一种垃圾智能分拣系统的控制方法 | |
| CN117772616B (zh) | 智能物流机器人的自动分拣方法及系统 | |
| CN118122658B (zh) | 一种基于数据深度学习的智能干选系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |