CN111767804A - 基于人工智能的可回收垃圾图像分类方法及系统 - Google Patents
基于人工智能的可回收垃圾图像分类方法及系统 Download PDFInfo
- Publication number
- CN111767804A CN111767804A CN202010512980.9A CN202010512980A CN111767804A CN 111767804 A CN111767804 A CN 111767804A CN 202010512980 A CN202010512980 A CN 202010512980A CN 111767804 A CN111767804 A CN 111767804A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- picture
- garbage
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000011161 development Methods 0.000 claims abstract description 15
- 230000018109 developmental process Effects 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 22
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 8
- 239000002699 waste material Substances 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004064 recycling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010819 recyclable waste Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000010812 mixed waste Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人工智能的可回收垃圾图像分类方法及系统，包括：步骤S1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；步骤S2：摄像头检测垃圾后拍摄图片；步骤S3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；步骤S4：对筛选出的图片进行背景分割，分割出图片中包含的物体；步骤S5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；步骤S6：对概率分布进行判别并做出对应措施。本发明提升了使用者对垃圾分类的效率，从而提升了垃圾正确分类的概率。
Description
技术领域
本发明涉及人工智能技术领域，具体地，涉及一种基于人工智能的可回收垃圾图像分类方法及系统。
背景技术
随着社会的高速发展与人民生活水平的不断提高，居民的消费能力也在不断提高，最显而易见的就是日常生活中可以获得到的物质产品不断增多。然而，物质的极大的丰富所带来的就是消费所产生废弃物的数量也在急剧攀升，直观表现就是大中型城市中，生活垃圾数量的增长极为迅猛。根据中华人民共和国生态环境部在2019年的报告，2018年中，200个大、中型城市生活垃圾的产生量为21147.3万吨，其中生活垃圾产生数量最多的城市为上海市，产生量为984.3万吨，其次是北京、广州、重庆和成都等一线或超一线城市，前10位城市生活垃圾产生总量位6256.0万吨，占了所有信息发布城市产生总量的29.6％。
然而，面对着数量急剧增长的垃圾，我国现在的处理手段却显得落后与不协调，据统计，2018年我国99.5％的生活垃圾的处理方式为填埋或焚烧，而资源利用率最高也只有55％。造成这种状况的一个关键原因在于垃圾分类的不到位。垃圾分类是指按照一定的规则和标准，将垃圾进行分类储存、分类投放以及分类处理从而将其变为可利用的公共资源的一整套活动流程。在生活垃圾的源头处，即居民产生的生活垃圾，垃圾分类工作进行的并不顺利，可回收物、不可回收物甚至有毒有害物质都会被轻易的混淆在一起。特别是具有很高经济回收价值的可回收垃圾，往往由于意识的缺乏或者知识的不足将其随意丢弃从而造成了极大的浪费。各种混杂在一起的垃圾对下游的进一步垃圾处理系统造成了很大的负担，无法精确获知各类垃圾的流量以及流向数据，导致下游混合处理装置的实际处理负载远高于设计容量和能力，只能采用填埋焚烧这类简单的方法进行处理，不仅造成了资源的浪费，更污染了环境。垃圾的高效分类是文明社会的重要标识，是影响人民生活幸福感的关键因素之一。
经过对人工智能垃圾分类的检索发现，中国专利公开号为CN110282287A的的专利记载了一种“基于人工智能的垃圾分类装置及其方法”，公开日为2019年8月27日。这种基于人工智能的垃圾分类装置及其方法，包括垃圾存放装置，垃圾存放装置上方设置有太阳能电池板，太阳能电池板的输出端连接蓄电池，蓄电池为安装在垃圾存放装置上的电动装置提供电能，位于垃圾存放装置顶部设置有垃圾容量检测模块和语音交互模块，语音交互模块、垃圾容量检测模块的连接处理模块，处理模块的输出端连接通信模块的输入端，所述的垃圾存放装置表面设置有用于显示时间、电量、垃圾箱的位置和可存放垃圾的容量的显示模块，处理模块的输入端还连接有用于定位的定位模块。本发明便于垃圾的处理处置，减少人工垃圾分类的处理费用，便于垃圾中可重复使用资源的回收利用，提高垃圾的可回收率，实现资源的利用最大化。缺点是仅在与人交互的模块中使用了智能化的方法，未在垃圾分类中使用人工智能，本质上还需要依赖人工进行垃圾分类。
中国专利公开号为CN110789871A的专利记载了“一种基于图像识别大数据的垃圾分类系统”，公布日为2020年2月14日。该发明公开了一种基于图像识别大数据的垃圾分类系统，包括云识别后台服务器、垃圾扫描区以及垃圾投放区，垃圾扫描区安放有扫描仪，扫描仪用于对垃圾拍照提取垃圾特征，扫描仪无线连接至云识别后台服务器，以将垃圾特征传输至云识别后台服务器，垃圾投放区安放有多个垃圾桶，垃圾桶上安装有控制桶盖开闭的开盖电机，开盖电机无线连接至云识别后台服务器。在垃圾扫描区由扫描仪对垃圾进行扫描，并利用人工智能大数据训练完成的云识别后台服务器自动进行垃圾分类，以尽可能由人工智能为主导的垃圾分类，减少投放垃圾用户的主观判断，从而增加垃圾分类的精准程度。同时通过垃圾扫描区以及垃圾投放区将扫描仪和垃圾桶进行物理隔离。缺点在于云计算服务的价格高昂，且对于部署环境的网络条件有着比较严格的要求，除此之外对于隐私比较敏感的用户会对云计算有着不信任的问题。
专利文献CN110589285A(申请号：201910873500.9)公开了一种基于人工智能的视觉垃圾分类辅助系统、方法及装置，当行人靠近人工智能视觉垃圾分类辅助系统，通过摄像头检测到行人，进入垃圾识别模式；摄像头对行人由远及近的图像进行采集；用识别算法对行人手中的垃圾进行识别，将识别结果显示在屏幕上，给出垃圾的分类，通过屏幕动画指示行人完成垃圾投放。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于人工智能的可回收垃圾图像分类方法及系统。
根据本发明提供的基于人工智能的可回收垃圾图像分类方法，包括：
步骤S1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；
步骤S2：摄像头检测垃圾后拍摄图片；
步骤S3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；
步骤S4：对筛选出的图片进行背景分割，分割出图片中包含的物体；
步骤S5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；
步骤S6：对概率分布进行判别并做出对应措施。
优选的，所述步骤S2包括：
步骤S2.1：在基于Linux的Ubuntu系统下，动态编译整体算法框架所依赖的darknet深度学习网络框架，形成算法库；
步骤S2.2：利用控制流的方式，动态地从摄像头持续获取图像，并显示在外接显示设备上形成监控画面；
步骤S2.3：利用PyQt5编写的跨平台的可视化界面对监控画面进行初始化，显示基本的信息以及控制按钮；
建立深度学习框架和动态摄像头图像采集的过程包括以下步骤：
步骤A：构建darknet深度学习网络框架，配置所需要的CUDA深度学习加速模块以及cudnn工具模块，安装OpenCV图像处理模块；
步骤B：对整体网络框架进行编译后，设置摄像头的流模式参数，保证拍摄效果。
优选的，所述步骤S3包括：利用拉普拉斯算子对图片进行卷积操作，计算处理后的图片方差，根据方差值得大小，设定阈值比较图片的清晰度。
优选的，所述步骤S4包括：利用图形学分割背景的方法，对筛选出的图片进行处理，得到物体占比符合预设要求的图像，具体步骤为：
步骤S4.1：对筛选出的图像进行灰度化处理；
步骤S4.2，对灰度化处理后的图像进行Sobel算子卷积运算，获取图像的横向梯度值图像gradX和纵向梯度值图像gradY；
步骤S4.3，对横向梯度值图像gradX和纵向梯度值图像gradY做差值，获取图像的边缘检测结果；
步骤S4.4，对图像的边缘检测结果进行图形学的腐蚀与膨胀算子卷积操作，去除噪音并突出边缘；
步骤S4.5，对去除噪音并突出边缘后的图像进行位置检测并标定主体，获取标定坐标点之后按照坐标点对原图像进行裁剪，获取图片中物体的图像。
优选的，所述步骤S5包括：卷积神经网络的结构为基于tiny-darknet网络所优化得到的卷积神经网络，在自建的可回收垃圾图像数据集上进行训练并测试后部署于JetsonNano开发板中，并在darknet深度学习网络框架中运行。
优选的，所述步骤S6包括：对概率分布做信息熵计算，若信息熵大于预设的阈值，则判定为分类错误，对用户进行提示，依靠用户来决定是否信任判定结果；反之则输出概率最高的预测标签作为结果告知用户。
根据本发明提供的基于人工智能的可回收垃圾图像分类系统，包括：
模块M1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；
模块M2：摄像头检测垃圾后拍摄图片；
模块M3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；
模块M4：对筛选出的图片进行背景分割，分割出图片中包含的物体；
模块M5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；
模块M6：对概率分布进行判别并做出对应措施。
优选的，所述模块M2包括：
模块M2.1：在基于Linux的Ubuntu系统下，动态编译整体算法框架所依赖的darknet深度学习网络框架，形成算法库；
模块M2.2：利用控制流的方式，动态地从摄像头持续获取图像，并显示在外接显示设备上形成监控画面；
模块M2.3：利用PyQt5编写的跨平台的可视化界面对监控画面进行初始化，显示基本的信息以及控制按钮。
优选的，所述模块M3包括：利用拉普拉斯算子对图片进行卷积操作，计算处理后的图片方差，根据方差值得大小，设定阈值比较图片的清晰度；
所述模块M4包括：利用图形学分割背景的方法，对筛选出的图片进行处理，得到物体占比符合预设要求的图像，具体步骤为：
模块M4.1：对筛选出的图像进行灰度化处理；
模块M4.2，对灰度化处理后的图像进行Sobel算子卷积运算，获取图像的横向梯度值图像gradX和纵向梯度值图像gradY；
模块M4.3，对横向梯度值图像gradX和纵向梯度值图像gradY做差值，获取图像的边缘检测结果；
模块M4.4，对图像的边缘检测结果进行图形学的腐蚀与膨胀算子卷积操作，去除噪音并突出边缘；
模块M4.5，对去除噪音并突出边缘后的图像进行位置检测并标定主体，获取标定坐标点之后按照坐标点对原图像进行裁剪，获取图片中物体的图像。
优选的，所述模块M5包括：卷积神经网络的结构为基于tiny-darknet网络所优化得到的卷积神经网络，在自建的可回收垃圾图像数据集上进行训练并测试后部署于JetsonNano开发板中，并在darknet深度学习网络框架中运行；
所述模块M6包括：对概率分布做信息熵计算，若信息熵大于预设的阈值，则判定为分类错误，对用户进行提示，依靠用户来决定是否信任判定结果；反之则输出概率最高的预测标签作为结果告知用户。
与现有技术相比，本发明具有如下的有益效果：
1、本发明专门针对可回收垃圾图像分类这一场景进行了优化，将图像预处理、图形学背景分割以及深度学习等在图像处理领域的常见技术应用于可回收垃圾图像分类这一特定的实际应用场合中，提升了使用者对垃圾分类的效率，从而提升了垃圾正确分类的概率；
2、本发明对于城市环境的美化有着一定的作用，可以应用于公共场合，例如公园、街道以及居民住宅小区等地区的分类投放垃圾桶等场合，具有多种一个应用场景；
3、本发明填补了利用深度学习人工智能以及Jetson Nano开发板进行可回收垃圾分类的相关的专利的空白，垃圾分类效果较好且分类时间短，且能对使用者做出提醒，适用于多种场景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明基于Jetson Nano开发板的可回收垃圾分类系统模型框架图；
图2为背景分割流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图1、图2所示，根据本发明提供的基于Jetson Nano开发板的可回收垃圾图像分类系统，可以进行智能检测、自动分类，包括如下步骤：
步骤S1，部署硬件环境，建立摄像头、Jetson Nano开发板主体和外接显示设备之间的联系；
步骤S2，初始化系统，等待使用者投递垃圾并进行分类投放；
步骤S3，使用者触发系统，摄像头开始工作；
步骤S4，摄像头拍摄3张图片，将图片传入主板预处理模块进行处理；
步骤S5，按照预先设定好的清晰度判别标准，对S4中的三张图片进行清晰度比较，选出清晰度最高的一张图片；
步骤S6，对步骤S5中筛选出的图片进行背景分割，分割出其中可能包含的垃圾物体；
步骤S7，对步骤S6中分割出的物体图片放入到卷积神经网络中进行图片分类，输出其对应的概率分布；
步骤S8，对步骤S7中的概率分布做信息熵计算，如果信息熵大于预设的阈值，则认为分类错误，对使用者进行提示，反之则输出概率最高的预测标签作为结果告知使用者。
所述步骤S2中包含以下步骤：
步骤S2.1，在基于Linux的Ubuntu系统下，动态编译整体算法框架所依赖的darknet深度学习网络框架，形成基本的算法库；
步骤S2.2，利用控制流的方式，动态地从摄像头持续获取图像，并显示在外接显示设备上形成监控画面；
步骤S2.3，初始化利用PyQt5编写的跨平台的可视化界面(UI)，显示基本的信息以及控制按钮。
所述步骤S2.1和S2.2中，建立深度学习框架以及动态摄像头视频采集流程包括以下步骤：
步骤a，将darknet框架压缩包安装至系统中，配置所需要的CUDA深度学习加速模块以及cudnn工具模块，安装OpenCV图像处理模块；
步骤b，对整体网络框架进行编译后，设置摄像头的流模式参数，保证拍摄效果。
所述步骤S6包括以下步骤：
步骤S6.1，对从步骤S5中获取到的彩色图像进行灰度化处理；
步骤S6.2，对步骤S6.1中产生的图像进行Sobel算子卷积运算，获取图像的横向梯度值图像gradX以及纵向梯度值图像gradY；
步骤S6.3，对步骤S6.2中的gradX与gradY做差值，获取图像的边缘检测结果；
步骤S6.4，对步骤S6.3中得到的图像进行图形学的腐蚀与膨胀算子卷积操作，去除噪音并突出边缘；
步骤S6.5，对步骤S6.4中得到的图像进行检测位置，并对主题部分进行标定，获取标定坐标点之后按照坐标点对原图像进行裁剪，获取图片中物体的图像。
根据本发明提供的基于人工智能的可回收垃圾图像分类系统，包括：
模块M1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；
模块M2：摄像头检测垃圾后拍摄图片；
模块M3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；
模块M4：对筛选出的图片进行背景分割，分割出图片中包含的物体；
模块M5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；
模块M6：对概率分布进行判别并做出对应措施。
本实例专门对可回收垃圾分类场景做了优化，将图像预处理、图形学背景分割以及深度学习等在数字图像处理领域的常见技术应用于可回收垃圾图像分类这一特定的实际应用场合中，极大地提升了垃圾分类的准确度，从而提升垃圾分类的效率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于人工智能的可回收垃圾图像分类方法，其特征在于，包括：
步骤S1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；
步骤S2：摄像头检测垃圾后拍摄图片；
步骤S3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；
步骤S4：对筛选出的图片进行背景分割，分割出图片中包含的物体；
步骤S5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；
步骤S6：对概率分布进行判别并做出对应措施。
2.根据权利要求1所述的基于人工智能的可回收垃圾图像分类方法，其特征在于，所述步骤S2包括：
步骤S2.1：在基于Linux的Ubuntu系统下，动态编译整体算法框架所依赖的darknet深度学习网络框架，形成算法库；
步骤S2.2：利用控制流的方式，动态地从摄像头持续获取图像，并显示在外接显示设备上形成监控画面；
步骤S2.3：利用PyQt5编写的跨平台的可视化界面对监控画面进行初始化，显示基本的信息以及控制按钮；
建立深度学习框架和动态摄像头图像采集的过程包括以下步骤：
步骤A：构建darknet深度学习网络框架，配置所需要的CUDA深度学习加速模块以及cudnn工具模块，安装OpenCV图像处理模块；
步骤B：对整体网络框架进行编译后，设置摄像头的流模式参数，保证拍摄效果。
3.根据权利要求1所述的基于人工智能的可回收垃圾图像分类方法，其特征在于，所述步骤S3包括：利用拉普拉斯算子对图片进行卷积操作，计算处理后的图片方差，根据方差值得大小，设定阈值比较图片的清晰度。
4.根据权利要求1所述的基于人工智能的可回收垃圾图像分类方法，其特征在于，所述步骤S4包括：利用图形学分割背景的方法，对筛选出的图片进行处理，得到物体占比符合预设要求的图像，具体步骤为：
步骤S4.1：对筛选出的图像进行灰度化处理；
步骤S4.2，对灰度化处理后的图像进行Sobel算子卷积运算，获取图像的横向梯度值图像gradX和纵向梯度值图像gradY；
步骤S4.3，对横向梯度值图像gradX和纵向梯度值图像gradY做差值，获取图像的边缘检测结果；
步骤S4.4，对图像的边缘检测结果进行图形学的腐蚀与膨胀算子卷积操作，去除噪音并突出边缘；
步骤S4.5，对去除噪音并突出边缘后的图像进行位置检测并标定主体，获取标定坐标点之后按照坐标点对原图像进行裁剪，获取图片中物体的图像。
5.根据权利要求1所述的基于人工智能的可回收垃圾图像分类方法，其特征在于，所述步骤S5包括：卷积神经网络的结构为基于tiny-darknet网络所优化得到的卷积神经网络，在自建的可回收垃圾图像数据集上进行训练并测试后部署于Jetson Nano开发板中，并在darknet深度学习网络框架中运行。
6.根据权利要求1所述的基于人工智能的可回收垃圾图像分类方法，其特征在于，所述步骤S6包括：对概率分布做信息熵计算，若信息熵大于预设的阈值，则判定为分类错误，对用户进行提示，依靠用户来决定是否信任判定结果；反之则输出概率最高的预测标签作为结果告知用户。
7.一种基于人工智能的可回收垃圾图像分类系统，其特征在于，包括：
模块M1：部署硬件环境，建立摄像头、开发板主体和外接显示设备之间的联系；
模块M2：摄像头检测垃圾后拍摄图片；
模块M3：对图片进行预处理，按照预设的清晰度判别标准，对拍摄的图片进行清晰度比较，筛选出清晰度最高的一张图片；
模块M4：对筛选出的图片进行背景分割，分割出图片中包含的物体；
模块M5：将分割出的物体图片放入到卷积神经网络中进行图片分类，输出对应的概率分布；
模块M6：对概率分布进行判别并做出对应措施。
8.根据权利要求7所述的基于人工智能的可回收垃圾图像分类系统，其特征在于，所述模块M2包括：
模块M2.1：在基于Linux的Ubuntu系统下，动态编译整体算法框架所依赖的darknet深度学习网络框架，形成算法库；
模块M2.2：利用控制流的方式，动态地从摄像头持续获取图像，并显示在外接显示设备上形成监控画面；
模块M2.3：利用PyQt5编写的跨平台的可视化界面对监控画面进行初始化，显示基本的信息以及控制按钮。
9.根据权利要求7所述的基于人工智能的可回收垃圾图像分类系统，其特征在于，所述模块M3包括：利用拉普拉斯算子对图片进行卷积操作，计算处理后的图片方差，根据方差值得大小，设定阈值比较图片的清晰度；
所述模块M4包括：利用图形学分割背景的方法，对筛选出的图片进行处理，得到物体占比符合预设要求的图像，具体步骤为：
模块M4.1：对筛选出的图像进行灰度化处理；
模块M4.2，对灰度化处理后的图像进行Sobel算子卷积运算，获取图像的横向梯度值图像gradX和纵向梯度值图像gradY；
模块M4.3，对横向梯度值图像gradX和纵向梯度值图像gradY做差值，获取图像的边缘检测结果；
模块M4.4，对图像的边缘检测结果进行图形学的腐蚀与膨胀算子卷积操作，去除噪音并突出边缘；
模块M4.5，对去除噪音并突出边缘后的图像进行位置检测并标定主体，获取标定坐标点之后按照坐标点对原图像进行裁剪，获取图片中物体的图像。
10.根据权利要求7所述的基于人工智能的可回收垃圾图像分类系统，其特征在于，所述模块M5包括：卷积神经网络的结构为基于tiny-darknet网络所优化得到的卷积神经网络，在自建的可回收垃圾图像数据集上进行训练并测试后部署于Jetson Nano开发板中，并在darknet深度学习网络框架中运行；
所述模块M6包括：对概率分布做信息熵计算，若信息熵大于预设的阈值，则判定为分类错误，对用户进行提示，依靠用户来决定是否信任判定结果；反之则输出概率最高的预测标签作为结果告知用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512980.9A CN111767804A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的可回收垃圾图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512980.9A CN111767804A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的可回收垃圾图像分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767804A true CN111767804A (zh) | 2020-10-13 |
Family
ID=72720375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010512980.9A Pending CN111767804A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的可回收垃圾图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767804A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883780A (zh) * | 2021-01-11 | 2021-06-01 | 天津大学 | 一种城市垃圾量实时监测方法 |
| CN117575543A (zh) * | 2024-01-15 | 2024-02-20 | 西安卓越软件开发有限公司 | 一种智慧物业管理方法及装置 |
| CN117853817A (zh) * | 2024-01-24 | 2024-04-09 | 江苏电子信息职业学院 | 一种基于图像识别的智慧社区垃圾分类报警管理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271900A (zh) * | 2018-08-31 | 2019-01-25 | 孔德萍 | 一种基于计算机视觉的垃圾识别方法 |
| CN109961049A (zh) * | 2019-03-27 | 2019-07-02 | 东南大学 | 一种复杂场景下香烟品牌识别方法 |
| CN110076782A (zh) * | 2019-06-11 | 2019-08-02 | 长春财经学院 | 一种计算机视觉目标识别的智控垃圾分类机器人 |
| CN110884791A (zh) * | 2019-11-28 | 2020-03-17 | 石家庄邮电职业技术学院(中国邮政集团公司培训中心) | 一种基于TensorFlow的视觉垃圾分类系统及分类方法 |
| CN110929760A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于计算机视觉的垃圾分类软件 |
| CN110929632A (zh) * | 2019-11-19 | 2020-03-27 | 复旦大学 | 面向复杂场景的车辆目标检测方法及装置 |
| CN111144548A (zh) * | 2019-12-23 | 2020-05-12 | 北京寄云鼎城科技有限公司 | 抽油机井工况的识别方法及装置 |
-
2020
- 2020-06-08 CN CN202010512980.9A patent/CN111767804A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271900A (zh) * | 2018-08-31 | 2019-01-25 | 孔德萍 | 一种基于计算机视觉的垃圾识别方法 |
| CN109961049A (zh) * | 2019-03-27 | 2019-07-02 | 东南大学 | 一种复杂场景下香烟品牌识别方法 |
| CN110076782A (zh) * | 2019-06-11 | 2019-08-02 | 长春财经学院 | 一种计算机视觉目标识别的智控垃圾分类机器人 |
| CN110929760A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于计算机视觉的垃圾分类软件 |
| CN110929632A (zh) * | 2019-11-19 | 2020-03-27 | 复旦大学 | 面向复杂场景的车辆目标检测方法及装置 |
| CN110884791A (zh) * | 2019-11-28 | 2020-03-17 | 石家庄邮电职业技术学院(中国邮政集团公司培训中心) | 一种基于TensorFlow的视觉垃圾分类系统及分类方法 |
| CN111144548A (zh) * | 2019-12-23 | 2020-05-12 | 北京寄云鼎城科技有限公司 | 抽油机井工况的识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| LYON: "Darknet和yolo是什么关系", 《HTTPS://WWW.ZHIHU.COM/QUESTION/343088560/ANSWER/1080499261?IVK_SA=1024320U》 * |
| 小魔王降临: "深度学习框架-Darknet", 《HTTPS://BLOG.CSDN.NET/QQ_30460949/ARTICLE/DETAILS/100654916》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883780A (zh) * | 2021-01-11 | 2021-06-01 | 天津大学 | 一种城市垃圾量实时监测方法 |
| CN117575543A (zh) * | 2024-01-15 | 2024-02-20 | 西安卓越软件开发有限公司 | 一种智慧物业管理方法及装置 |
| CN117575543B (zh) * | 2024-01-15 | 2024-04-30 | 西安卓越软件开发有限公司 | 一种智慧物业管理方法及装置 |
| CN117853817A (zh) * | 2024-01-24 | 2024-04-09 | 江苏电子信息职业学院 | 一种基于图像识别的智慧社区垃圾分类报警管理方法 |
| CN117853817B (zh) * | 2024-01-24 | 2024-06-04 | 江苏电子信息职业学院 | 一种基于图像识别的智慧社区垃圾分类报警管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111767804A (zh) | 基于人工智能的可回收垃圾图像分类方法及系统 | |
| CN108133178B (zh) | 一种基于图像识别的智能环境监控系统与方法 | |
| CN110648364B (zh) | 一种多维度空间固废视觉检测定位及识别方法与系统 | |
| US20210295039A1 (en) | Methods and electronic devices for automated waste management | |
| CN110781896A (zh) | 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法 | |
| CN113095434A (zh) | 目标检测方法及装置、电子设备、存储介质 | |
| CN106275945A (zh) | 一种垃圾回收装置、垃圾分类系统和使用方法 | |
| CN110956104A (zh) | 一种检测垃圾桶溢出的方法、装置及系统 | |
| CN111814750A (zh) | 基于深度学习目标检测和图像识别的智能垃圾分类方法及系统 | |
| CN112364944B (zh) | 一种基于深度学习的生活垃圾分类方法 | |
| CN113222063B (zh) | 快递纸箱垃圾分类方法、装置、设备及介质 | |
| CN116580346A (zh) | 一种算法确定方法、装置、设备及介质 | |
| CN111210434A (zh) | 基于天空识别的图像替换方法及系统 | |
| CN117315541A (zh) | 一种地面垃圾识别方法及系统 | |
| CN111797787A (zh) | 一种基于物联网技术的废弃物图像检测分类系统 | |
| CN115601594A (zh) | 基于智能回收的视觉数据处理方法和系统 | |
| CN115393780A (zh) | 一种垃圾异物识别方法、装置、电子设备及存储介质 | |
| CN113120461A (zh) | 用于智慧城市的垃圾分类识别系统及方法 | |
| CN113173354A (zh) | 一种智能垃圾分类站的语音提示系统 | |
| CN112875077A (zh) | 一种大型垃圾站用垃圾分类方法和分类系统 | |
| LU500437B1 (en) | System and method for intelligent garbage sorting based on machine vision | |
| CN111931597B (zh) | 基于人工智能的垃圾分选方法及系统、存储介质、设备 | |
| CN112722612A (zh) | 基于yolo网络的垃圾检测方法及系统 | |
| CN118439283B (zh) | 基于图像处理的智能垃圾桶分类区垃圾分类方法 | |
| CN219584995U (zh) | 一种智能垃圾投放管理一体化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |
|
| RJ01 | Rejection of invention patent application after publication |