CN110861853A - 视觉与触觉相结合的智能垃圾分类方法 - Google Patents
视觉与触觉相结合的智能垃圾分类方法 Download PDFInfo
- Publication number
- CN110861853A CN110861853A CN201911203175.1A CN201911203175A CN110861853A CN 110861853 A CN110861853 A CN 110861853A CN 201911203175 A CN201911203175 A CN 201911203175A CN 110861853 A CN110861853 A CN 110861853A
- Authority
- CN
- China
- Prior art keywords
- garbage
- sorting
- axis direction
- classification
- finished
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
- B65F1/0053—Combination of several receptacles
- B65F1/006—Rigid receptacles stored in an enclosure or forming part of it
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/10—Refuse receptacles; Accessories therefor with refuse filling means, e.g. air-locks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/14—Other constructional features; Accessories
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/14—Other constructional features; Accessories
- B65F1/16—Lids or covers
- B65F1/1623—Lids or covers with means for assisting the opening or closing thereof, e.g. springs
- B65F1/1638—Electromechanically operated lids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/14—Other constructional features; Accessories
- B65F1/16—Lids or covers
- B65F1/1646—Lids or covers provided with means for mounting on receptacles, e.g. hinges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
- B65F2001/008—Means for automatically selecting the receptacle in which refuse should be placed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F2210/00—Equipment of refuse receptacles
- B65F2210/138—Identification means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F2210/00—Equipment of refuse receptacles
- B65F2210/168—Sensing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F2210/00—Equipment of refuse receptacles
- B65F2210/176—Sorting means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Abstract
本发明公开了视觉与触觉相结合的智能垃圾分类方法,利用分拣头抓取垃圾分类面板上的垃圾,分拣头的抓爪内侧设有触觉传感器,将分拣头移动到垃圾的上方,采集垃圾的图像,分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据,分拣头的控制器采用神经网络模型作为分类器,根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类,随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。本发明采用视觉与触觉相结合的方式,相对现有的单纯利用图像对垃圾进行识别分类的方法,大大降低误拣率,分类精度高,尤其易于识别出湿垃圾,分类效率高,省时省力。
Description
技术领域
本发明属于垃圾分类领域,具体涉及视觉与触觉相结合的智能垃圾分类方法。
背景技术
随着经济的快速发展和生活水平的提高,生活垃圾的产量也急剧增加。生活垃圾的种类繁多,有些垃圾可回收再利用,有些垃圾则对环境有很大的影响,若是随意丢弃,可能会造成很大的污染。我国已经开展垃圾分类回收工作多年,主要是以分类垃圾桶为主。但是垃圾分类的效果并不理想,民众垃圾分类的意识也很薄弱。
最近两年,我国开始在部分城市建立起了严格的垃圾分类制度。以上海为例,要求居民将垃圾分为可回收物、有害垃圾、湿垃圾、干垃圾四类。由于要求垃圾分类比较复杂,不能完全依靠居民进行理想化的垃圾分类,急需一种对用户投放的分类垃圾进行检验并进行二次分类的装置。
发明内容
本发明的技术问题是现有的单纯采用垃圾图像对垃圾进行自动识别、分类的方法,错误率较高,按照目前的垃圾分类标准,采用单一视觉传感器难以分辨垃圾材质,致使分类错误。
本发明的目的是解决上述问题,提供一种视觉与触觉相结合的智能垃圾分类方法,利用摄像头采集垃圾的图像,利用触觉传感器采集垃圾的触觉数据,将垃圾的图像和触觉数据作为神经网络模型的输入,神经网络模型对垃圾进行识别、分类,将垃圾放入对应的分类区,并记录市民单次投放的垃圾的数量以及完成分类处理的时间,评价市民投放垃圾前对垃圾的分类情况。
本发明的技术方案是视觉与触觉相结合的智能垃圾分类方法,利用分拣头抓取垃圾分类面板上的垃圾,分拣头的抓爪内侧设有触觉传感器,将分拣头移动到垃圾的上方,采集垃圾的图像,分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据,分拣头的控制器采用神经网络模型作为分类器,根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类,随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。
进一步的,所述智能垃圾分类方法采用分拣头对聚拢、平铺的垃圾逐行依次进行拣选,拣选间距依据分拣头的抓爪的抓取范围进行设定,对拣选的垃圾进行分类,并放入对应的分类区,智能垃圾分类方法包括以下步骤,
步骤1:沿Y轴方向移动拣选间距;
步骤2:沿X轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成X轴方向的拣选;
步骤7.1:若未完成X轴方向的拣选,则执行步骤2:
步骤7.2:若完成X轴方向的拣选,则执行步骤8;
步骤8:判断是否完成Y轴方向的拣选;
步骤8.1:若未完成Y轴方向的拣选,则执行步骤1;
步骤8.2:若完成Y轴方向的拣选,则结束。
进一步的,采用分拣头对聚拢、平铺的垃圾逐列依次进行拣选,拣选间距依据分拣头的抓爪的抓取范围进行设定,对拣选的垃圾进行分类,并放入对应的分类区,智能垃圾分类方法包括以下步骤,
步骤1:沿X轴方向移动拣选间距;
步骤2:沿Y轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成Y轴方向的拣选;
步骤7.1:若未完成Y轴方向的拣选,则执行步骤2:
步骤7.2:若完成Y轴方向的拣选,则执行步骤8;
步骤8:判断是否完成X轴方向的拣选;
步骤8.1:若未完成X轴方向的拣选,则执行步骤1;
步骤8.2:若完成X轴方向的拣选,则结束。
进一步的,智能垃圾分类方法对市民一次投放的垃圾进行拣选,将垃圾逐一放入对应的分类区,拣选前采集市民的头部图像以确认市民的身份,对市民一次投放的垃圾完成拣选、分类后,对市民投放的垃圾进行垃圾质量评价,具体步骤如下,
步骤1:沿Y轴方向移动拣选间距;
步骤2:沿X轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成X轴方向的拣选;
步骤7.1:若未完成X轴方向的拣选,则执行步骤2:
步骤7.2:若完成X轴方向的拣选,则执行步骤8;
步骤8:判断是否完成Y轴方向的拣选;
步骤8.1:若未完成Y轴方向的拣选,则执行步骤1;
步骤8.2:若完成Y轴方向的拣选,则执行步骤9;
步骤9:将垃圾分类过程中分拣头拣选的次数记为市民单次投放的垃圾数量,记录市民单次投放垃圾后的垃圾分类处理时间,将垃圾分类处理时间除以垃圾数量得到单件垃圾的平均处理时间,根据市民投放垃圾的单位垃圾的平均处理时间评价市民投放垃圾的质量。
进一步的,所述分类器,采集垃圾的图像数据数据、触觉数据对分类器进行训练,分类器的训练方法包括以下步骤,
步骤1:收集可回收物垃圾、有害垃圾的的图像和触觉数据,分成训练集和测试集;
步骤2:利用步骤1的训练集,对分类器进行训练;
步骤3:利用步骤1的测试集作为分类器的输入,对训练后的分类器进行测试,若测试合格则进行步骤4,否则执行步骤1进一步训练;
步骤4:收集湿垃圾、干垃圾的图像和触觉数据,分为训练集和测试集;
步骤5:利用步骤4的训练集,对分类器进行再次训练;
步骤6:利用步骤4的测试集作为分类器的输入,对训练后的分类器进行测试,若测试合格则结束训练,否则执行步骤4进一步训练。
优选地,所述神经网络模型采用CNN神经网络模型。
优选地,所述智能垃圾分类方法中垃圾的分类包括可回收物、有害垃圾、湿垃圾、干垃圾。
与现有技术相比,本发明的有益效果:
1)本发明采用视觉与触觉相结合的方式,采用神经网络模型对垃圾进行识别、分类,对垃圾进行分类放置,便于对垃圾的进一步处置,便于可回收物的回收利用,便于有害垃圾的特别处理,降低对环境的污染;
2)采用视觉与触觉相结合的方式,利用神经网络模型根据垃圾的图像和触觉数据对垃圾进行识别、分类,相对现有的单纯利用图像对垃圾进行识别分类的方法,大大降低误拣率,分类精度高,尤其易于识别出湿垃圾,分类效率高,省时省力;
3)本发明的方法对市民投放的垃圾进行垃圾质量评价,通过计算本发明的装置处理市民投放垃圾的平均单件处理时间,用以评价垃圾投放前的垃圾分类的好坏,便于了解市民投放垃圾前对垃圾分类情况,便于管理部门对垃圾分类良好的市民进行奖励,或者判断是否有必要对市民进一步加强垃圾分类的宣传教育。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为实施例的智能垃圾分类方法的流程示意图。
图2为智能垃圾分类装置的结构示意图。
图3为垃圾投入口控制机构的结构示意图。
图4为分拣机构的结构示意图。
图5为传送机构的结构示意图。
图6为实施例的神经网络模型的结构示意图。
附图标记说明:垃圾分类箱体1、控制柜2、分拣机构3、第一X轴滑轨301、第一X轴滑台302、第一Y轴滑轨303、第一Y轴滑台304、Z轴滑轨305、Z轴滑台306、机械手307、视觉传感器308、传送机构4、第二X轴滑轨401、第二X轴滑台402、X轴挡片403、第二Y轴滑轨404、第二Y轴滑台405、Y轴挡片406、垃圾分类面板5、垃圾投入口6、第一垃圾盖601、第二垃圾盖602、液压杆603、摄像头7。
具体实施方式
视觉与触觉相结合的智能垃圾分类方法利用分拣头抓取垃圾分类面板上的垃圾,分拣头的抓爪内侧设有触觉传感器,将分拣头移动到垃圾的上方,采集垃圾的图像,分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据,分拣头的控制器采用神经网络模型作为分类器,根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类,随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。
智能垃圾分类方法对市民一次投放的垃圾平铺、聚拢后进行拣选,拣选间距依据分拣头的抓爪的抓取范围进行设定,将垃圾逐一拣选后放入对应的分类区,开始拣选前采集市民的头部图像以确认市民的身份,对市民一次投放的垃圾完成拣选、分类后,对市民投放的垃圾进行垃圾质量评价,如图1所示,具体步骤如下,
步骤1:沿Y轴方向移动拣选间距;
步骤2:沿X轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成X轴方向的拣选;
步骤7.1:若未完成X轴方向的拣选,则执行步骤2:
步骤7.2:若完成X轴方向的拣选,则执行步骤8;
步骤8:判断是否完成Y轴方向的拣选;
步骤8.1:若未完成Y轴方向的拣选,则执行步骤1;
步骤8.2:若完成Y轴方向的拣选,则执行步骤9;
步骤9:将垃圾分类过程中分拣头拣选的次数记为市民单次投放的垃圾数量,记录市民单次投放垃圾后的垃圾分类处理时间,将垃圾分类处理时间除以垃圾数量得到单件垃圾的平均处理时间,根据市民投放垃圾的单位垃圾的平均处理时间评价市民投放垃圾的质量。
如图2-5所示,上述的视觉与触觉相结合的智能垃圾分类方法的智能垃圾分类装置,包括垃圾分类箱体1、控制柜2,垃圾分类箱体1顶部设有垃圾投入口6,垃圾分类箱体1内设有分拣机构3、传送机构4,垃圾分类箱体1内垃圾投入口6下方设有垃圾分类面板5,垃圾分类箱体1正面靠近底面的部位设有多个垃圾回收口,垃圾分类面板5下方设有可回收垃圾斗、有害垃圾斗、湿垃圾斗和干垃圾斗,可回收垃圾斗、有害垃圾斗、湿垃圾斗、干垃圾斗与垃圾回收口对应的部位设有活动门,活动门用于环卫人员取出智能垃圾分类装置中已分类的垃圾。控制柜2的高度大于垃圾分类箱体1的高度,控制柜2靠近垃圾投入口6的侧壁的顶部设有摄像头7。控制柜2中设有控制器,分拣机构3的控制端与控制器电连接。
如图3所示,垃圾投入口6设有垃圾入口控制机构,垃圾入口控制机构包括第一垃圾盖601、第二垃圾盖602、液压杆603,第一垃圾盖601的一侧与垃圾分类箱体1的顶部铰接连接,电子液压杆603的基座与垃圾分类箱体1的顶部固定连接,电子液压杆603的伸缩杆的杆头与第二垃圾盖602固定连接,第二垃圾盖602随着电子液压杆603的杆头的伸缩,控制垃圾投入口6的打开、关合。电子液压杆603的液压油管中设有电磁阀,通过电磁阀控制电子液压杆603的伸缩。电磁阀的控制端与控制器电连接。
垃圾分类过程中,垃圾分类面板5上的垃圾分拣完成前,将垃圾投入口6关闭,垃圾分类面板5上的垃圾分拣完成后,将垃圾投入口6打开。
如图4所示,分拣机构3包括第一X轴滑轨301、第一Y轴滑轨303、Z轴滑轨305,第一X轴滑轨301的两端与垃圾分类箱体1的侧壁固定连接,第一X轴滑台302与第一X轴滑轨301滑动配合,第一Y轴滑轨303的端部与第一X轴滑台302固定连接;第一Y轴滑台304与第一Y轴滑轨303滑动配合,Z轴滑轨305的端部与第一Y轴滑台304固定连接,垃圾分拣头与Z轴滑轨305滑动配合,垃圾分拣头包括Z轴滑台306和与其连接的机械手307,机械手307的抓爪内侧设有触觉传感器,设置机械手307上的数字舵机控制机械手307的抓爪的抓取、释放。第一X轴滑轨301上设有丝杆,第一X轴滑台302设有与丝杆配合的通孔,通孔的孔壁设有滚道,滚道中填充滚珠,丝杆与伺服电机的转轴固定连接,伺服电机旋转时,第一X轴滑台302向滑轨一端或另一端做直线运动;第一Y轴滑轨303、第一Y轴滑台304分别与第一X轴滑轨301、第一X轴滑台302结构相同;第一Z轴滑轨305、第一Z轴滑台306分别与第一X轴滑轨301、第一X轴滑台302结构相同。一种实施例中,第一X轴滑轨301、第一X轴滑台302采用直线模组。分拣机构3的伺服电机的控制端与控制器电连接。机械手307上的数字舵机的控制端与控制器电连接。
分拣机构3的Y轴滑台304的一端设有视觉传感器308,视觉传感器308的输出端与控制器电连接,视觉传感器308用以采集垃圾分类面板5上的垃圾的图像。实施例中,视觉传感器308采用摄像头。
控制器控制分拣机构3对垃圾分类面板5上的垃圾进行分拣时,分别通过控制伺服电机移动X轴滑台、Y轴滑台、Z轴滑台,使机械手307靠近垃圾分类面板5上的垃圾,通过机械手307上的数字舵机控制机械手307的抓爪抓取垃圾,抓取垃圾后再次通过伺服电机移动X轴滑台、Y轴滑台、Z轴滑台,将机械手307移动至垃圾对应的垃圾斗的上方,再通过数字舵机控制机械手307的抓爪释放垃圾至对应的垃圾斗。
如图5所示,传送机构4用于将垃圾分类面板5上的垃圾聚拢,传送机构4包括分别与垃圾分类面板5固定连接的第二X轴滑轨401、第二Y轴滑轨404,第二X轴滑台402与第二X轴滑轨401滑动配合,X轴挡片403与第二X轴滑台402固定连接,第二Y轴滑台405与第二Y轴滑轨404滑动配合,Y轴挡片406与第二Y轴滑台405固定连接。第二X轴滑轨401、第二X轴滑台402分别与第一X轴滑轨301、第一X轴滑台302结构相同;第二Y轴滑轨404、第二Y轴滑台405分别与第一X轴滑轨301、第一X轴滑台302结构相同。传送机构4的伺服电机的控制端与控制器电连接。先通过控制伺服电机移动X轴滑台及与其固定连接的X轴挡片,将垃圾分类面板5上的垃圾沿第二Y轴滑轨404聚拢,然后通过控制伺服电机移动Y轴滑台及与其固定连接的Y轴挡片,将沿第二Y轴滑轨404聚拢的垃圾集中。
步骤2中,所述神经网络模型采用CNN神经网络模型。如图6所示,CNN神经网络模型包括卷积层、全连接层和分类器,采用4个卷积层,每个卷积层后链接一个池化层,激活函数采用ReLU函数,最后连接的是softmax层。输入图像的大小为160*160像素。实施例中,将卷积层的卷积核大小均为4*4,学习率设为0.01。
Claims (6)
1.视觉与触觉相结合的智能垃圾分类方法,其特征在于,利用分拣头抓取垃圾分类面板上的垃圾,分拣头的抓爪内侧设有触觉传感器,将分拣头移动到垃圾的上方,采集垃圾的图像,分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据,分拣头的控制器采用神经网络模型作为分类器,根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类,随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。
2.根据权利要求1所述的视觉与触觉相结合的智能垃圾分类方法,其特征在于,采用分拣头对聚拢、平铺的垃圾逐行依次进行拣选,拣选间距依据分拣头的抓爪的抓取范围进行设定,对拣选的垃圾进行分类,并放入对应的分类区,智能垃圾分类方法包括以下步骤,
步骤1:沿Y轴方向移动拣选间距;
步骤2:沿X轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成X轴方向的拣选;
步骤7.1:若未完成X轴方向的拣选,则执行步骤2:
步骤7.2:若完成X轴方向的拣选,则执行步骤8;
步骤8:判断是否完成Y轴方向的拣选;
步骤8.1:若未完成Y轴方向的拣选,则执行步骤1;
步骤8.2:若完成Y轴方向的拣选,则结束。
3.根据权利要求1所述的视觉与触觉相结合的智能垃圾分类方法,其特征在于,采用分拣头对聚拢、平铺的垃圾逐列依次进行拣选,拣选间距依据分拣头的抓爪的抓取范围进行设定,对拣选的垃圾进行分类,并放入对应的分类区,智能垃圾分类方法包括以下步骤,
步骤1:沿X轴方向移动拣选间距;
步骤2:沿Y轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成Y轴方向的拣选;
步骤7.1:若未完成Y轴方向的拣选,则执行步骤2:
步骤7.2:若完成Y轴方向的拣选,则执行步骤8;
步骤8:判断是否完成X轴方向的拣选;
步骤8.1:若未完成X轴方向的拣选,则执行步骤1;
步骤8.2:若完成X轴方向的拣选,则结束。
4.根据权利要求2的视觉与触觉相结合的智能垃圾分类方法,其特征在于,智能垃圾分类方法对市民一次投放的垃圾进行拣选,将垃圾逐一放入对应的分类区,拣选前采集市民的头部图像以确认市民的身份,对市民一次投放的垃圾完成拣选、分类后,对市民投放的垃圾进行垃圾质量评价,具体步骤如下,
步骤1:沿Y轴方向移动拣选间距;
步骤2:沿X轴方向移动拣选间距;
步骤3:采集垃圾分拣头下的垃圾的图像数据;
步骤4:分拣头抓取垃圾,获得触觉数据;
步骤5:分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类;
步骤6:根据步骤5的垃圾的分类,将抓取的垃圾放入对应的分类区,并返回当前拣选点;
步骤7:判断是否完成X轴方向的拣选;
步骤7.1:若未完成X轴方向的拣选,则执行步骤2:
步骤7.2:若完成X轴方向的拣选,则执行步骤8;
步骤8:判断是否完成Y轴方向的拣选;
步骤8.1:若未完成Y轴方向的拣选,则执行步骤1;
步骤8.2:若完成Y轴方向的拣选,则执行步骤9;
步骤9:将垃圾分类过程中分拣头拣选的次数记为市民单次投放的垃圾数量,记录市民单次投放垃圾后的垃圾分类处理时间,将垃圾分类处理时间除以垃圾数量得到单件垃圾的平均处理时间,根据市民投放垃圾的单位垃圾的平均处理时间评价市民投放垃圾的质量。
5.根据权利要求1-4任意一项所述的视觉与触觉相结合的智能垃圾分类方法,其特征在于,所述分类器,采集垃圾的图像数据数据、触觉数据对分类器进行训练,分类器的训练方法包括以下步骤,
步骤1:收集可回收物垃圾、有害垃圾的的图像和触觉数据,分成训练集和测试集;
步骤2:利用步骤1的训练集,对分类器进行训练;
步骤3:利用步骤1的测试集作为分类器的输入,对训练后的分类器进行测试,若测试合格则进行步骤4,否则执行步骤1进一步训练;
步骤4:收集湿垃圾、干垃圾的图像和触觉数据,分为训练集和测试集;
步骤5:利用步骤4的训练集,对分类器进行再次训练;
步骤6:利用步骤4的测试集作为分类器的输入,对训练后的分类器进行测试,若测试合格则结束训练,否则执行步骤4进一步训练。
6.根据权利要求1-4任意一项所述的视觉与触觉相结合的智能垃圾分类方法,其特征在于,所述神经网络模型采用CNN神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911203175.1A CN110861853B (zh) | 2019-11-29 | 2019-11-29 | 视觉与触觉相结合的智能垃圾分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911203175.1A CN110861853B (zh) | 2019-11-29 | 2019-11-29 | 视觉与触觉相结合的智能垃圾分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110861853A true CN110861853A (zh) | 2020-03-06 |
CN110861853B CN110861853B (zh) | 2021-10-19 |
Family
ID=69657895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911203175.1A Active CN110861853B (zh) | 2019-11-29 | 2019-11-29 | 视觉与触觉相结合的智能垃圾分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110861853B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111517022A (zh) * | 2020-05-15 | 2020-08-11 | 河南亿通智慧生态环境科技有限公司 | 具有垃圾分类投放、分类收集,智能监控的垃圾回收系统 |
CN111590611A (zh) * | 2020-05-25 | 2020-08-28 | 北京具身智能科技有限公司 | 一种基于多模态主动感知的物品分类回收方法 |
CN113173349A (zh) * | 2021-05-06 | 2021-07-27 | 上海市格致中学 | 一种垃圾分类系统及方法 |
CN114669385A (zh) * | 2022-05-06 | 2022-06-28 | 银丰工程有限公司 | 装修工程垃圾用智能回收装置 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998019799A1 (en) * | 1996-11-04 | 1998-05-14 | National Recovery Technologies, Inc. | Teleoperated robotic sorting system |
KR20060121330A (ko) * | 2005-05-24 | 2006-11-29 | 주식회사 신엽테크 | 로봇과 비전을 이용한 광의의 포스트 피씨 제품군의 키패드및 컬러 액정 화면 영상검사 시스템 |
KR20090024375A (ko) * | 2007-09-04 | 2009-03-09 | 삼성전자주식회사 | 질감 속성에 따른 질감의 시각적 촉감 향상 시스템 및 방법 |
WO2014179667A2 (en) * | 2013-05-03 | 2014-11-06 | Ecowastehub Corp. | Solid waste identification & segregation system |
CN105718954A (zh) * | 2016-01-22 | 2016-06-29 | 清华大学 | 一种基于视触觉融合的目标属性和类别的识别方法 |
CN105856262A (zh) * | 2016-05-16 | 2016-08-17 | 清华大学 | 一种小型机器人触觉对物体进行探测与识别的方法 |
CN106346510A (zh) * | 2016-10-11 | 2017-01-25 | 佛山科学技术学院 | 一种具有触觉感知功能的柔顺型三指夹持器 |
CN107463952A (zh) * | 2017-07-21 | 2017-12-12 | 清华大学 | 一种基于多模态融合深度学习的物体材质分类方法 |
CN107578019A (zh) * | 2017-09-13 | 2018-01-12 | 河北工业大学 | 一种视觉触觉融合的步态识别系统及识别方法 |
WO2018113953A1 (en) * | 2016-12-21 | 2018-06-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Region of interest classification |
CN108406848A (zh) * | 2018-03-14 | 2018-08-17 | 安徽果力智能科技有限公司 | 一种基于场景分析的智能机器人及其运动控制方法 |
CN108861183A (zh) * | 2018-03-26 | 2018-11-23 | 厦门快商通信息技术有限公司 | 一种基于机器学习的垃圾智能分类方法 |
CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制系统及其数据处理方法 |
CN109018777A (zh) * | 2018-08-29 | 2018-12-18 | 深圳市研本品牌设计有限公司 | 一种垃圾分类方法 |
CN109013384A (zh) * | 2018-07-10 | 2018-12-18 | 华侨大学 | 一种建筑垃圾物料的分拣装置及其分拣方法 |
CN109261539A (zh) * | 2018-08-17 | 2019-01-25 | 湖北文理学院 | 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法 |
CN109344894A (zh) * | 2018-09-28 | 2019-02-15 | 广州大学 | 基于多传感器融合和深度学习的垃圾分类识别方法及装置 |
CN109845491A (zh) * | 2019-03-25 | 2019-06-07 | 山东交通学院 | 利用双臂苹果采摘圆形分级收集机器人的采摘分级方法 |
CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
CN110294235A (zh) * | 2019-08-05 | 2019-10-01 | 陕西中建建乐智能机器人有限公司 | 一种垃圾识别分类机器人 |
CN110395506A (zh) * | 2019-08-06 | 2019-11-01 | 东莞弓叶互联科技有限公司 | 分拣式智能分选垃圾桶及分选垃圾方法 |
CN110465536A (zh) * | 2019-07-31 | 2019-11-19 | 李建卫 | 一种基于图像识别和气味识别的智能垃圾处理系统 |
-
2019
- 2019-11-29 CN CN201911203175.1A patent/CN110861853B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998019799A1 (en) * | 1996-11-04 | 1998-05-14 | National Recovery Technologies, Inc. | Teleoperated robotic sorting system |
KR20060121330A (ko) * | 2005-05-24 | 2006-11-29 | 주식회사 신엽테크 | 로봇과 비전을 이용한 광의의 포스트 피씨 제품군의 키패드및 컬러 액정 화면 영상검사 시스템 |
KR20090024375A (ko) * | 2007-09-04 | 2009-03-09 | 삼성전자주식회사 | 질감 속성에 따른 질감의 시각적 촉감 향상 시스템 및 방법 |
WO2014179667A2 (en) * | 2013-05-03 | 2014-11-06 | Ecowastehub Corp. | Solid waste identification & segregation system |
CN105718954A (zh) * | 2016-01-22 | 2016-06-29 | 清华大学 | 一种基于视触觉融合的目标属性和类别的识别方法 |
CN105856262A (zh) * | 2016-05-16 | 2016-08-17 | 清华大学 | 一种小型机器人触觉对物体进行探测与识别的方法 |
CN106346510A (zh) * | 2016-10-11 | 2017-01-25 | 佛山科学技术学院 | 一种具有触觉感知功能的柔顺型三指夹持器 |
WO2018113953A1 (en) * | 2016-12-21 | 2018-06-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Region of interest classification |
CN107463952A (zh) * | 2017-07-21 | 2017-12-12 | 清华大学 | 一种基于多模态融合深度学习的物体材质分类方法 |
CN107578019A (zh) * | 2017-09-13 | 2018-01-12 | 河北工业大学 | 一种视觉触觉融合的步态识别系统及识别方法 |
CN108406848A (zh) * | 2018-03-14 | 2018-08-17 | 安徽果力智能科技有限公司 | 一种基于场景分析的智能机器人及其运动控制方法 |
CN108861183A (zh) * | 2018-03-26 | 2018-11-23 | 厦门快商通信息技术有限公司 | 一种基于机器学习的垃圾智能分类方法 |
CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制系统及其数据处理方法 |
CN109013384A (zh) * | 2018-07-10 | 2018-12-18 | 华侨大学 | 一种建筑垃圾物料的分拣装置及其分拣方法 |
CN109261539A (zh) * | 2018-08-17 | 2019-01-25 | 湖北文理学院 | 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法 |
CN109018777A (zh) * | 2018-08-29 | 2018-12-18 | 深圳市研本品牌设计有限公司 | 一种垃圾分类方法 |
CN109344894A (zh) * | 2018-09-28 | 2019-02-15 | 广州大学 | 基于多传感器融合和深度学习的垃圾分类识别方法及装置 |
CN109845491A (zh) * | 2019-03-25 | 2019-06-07 | 山东交通学院 | 利用双臂苹果采摘圆形分级收集机器人的采摘分级方法 |
CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
CN110465536A (zh) * | 2019-07-31 | 2019-11-19 | 李建卫 | 一种基于图像识别和气味识别的智能垃圾处理系统 |
CN110294235A (zh) * | 2019-08-05 | 2019-10-01 | 陕西中建建乐智能机器人有限公司 | 一种垃圾识别分类机器人 |
CN110395506A (zh) * | 2019-08-06 | 2019-11-01 | 东莞弓叶互联科技有限公司 | 分拣式智能分选垃圾桶及分选垃圾方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111517022A (zh) * | 2020-05-15 | 2020-08-11 | 河南亿通智慧生态环境科技有限公司 | 具有垃圾分类投放、分类收集,智能监控的垃圾回收系统 |
CN111590611A (zh) * | 2020-05-25 | 2020-08-28 | 北京具身智能科技有限公司 | 一种基于多模态主动感知的物品分类回收方法 |
CN113173349A (zh) * | 2021-05-06 | 2021-07-27 | 上海市格致中学 | 一种垃圾分类系统及方法 |
CN114669385A (zh) * | 2022-05-06 | 2022-06-28 | 银丰工程有限公司 | 装修工程垃圾用智能回收装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110861853B (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110861854B (zh) | 智能垃圾分类装置及智能垃圾分类方法 | |
CN110861853B (zh) | 视觉与触觉相结合的智能垃圾分类方法 | |
CN109606991B (zh) | 智能垃圾桶及基于深度学习的垃圾分类方法 | |
CN109928107B (zh) | 一种自动分类系统 | |
CN111439500B (zh) | 垃圾自动分类方法及垃圾自动分类装置 | |
CN109622416B (zh) | 基于超声传感器阵列的垃圾分类方法及其系统 | |
CN106238342B (zh) | 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 | |
CN208165794U (zh) | 一种智能分类垃圾桶 | |
CN108341184A (zh) | 一种智能分拣垃圾桶 | |
CN110937280B (zh) | 一种基于视听结合的智能垃圾分类回收方法和终端 | |
CN109368079A (zh) | 一种垃圾自动分类系统及方法 | |
CN203782622U (zh) | 智能垃圾收集分类教育机器人 | |
CN108280856A (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
CN110466911A (zh) | 自动分类垃圾桶及分类方法 | |
CN109261539A (zh) | 一种基于视觉识别和卷积神经网络的垃圾分拣系统及方法 | |
CN110902216A (zh) | 一种多种分类垃圾转运装置 | |
CN110395506A (zh) | 分拣式智能分选垃圾桶及分选垃圾方法 | |
KR20230013498A (ko) | 재활용품을 선별하는 시스템 및 방법 | |
CN111874487A (zh) | 一种具备自动垃圾分类的环保型垃圾桶 | |
CN203199477U (zh) | 分类垃圾投放箱 | |
Gupta et al. | Smart robot for collection and segregation of garbage | |
CN116216112A (zh) | 一种基于ai技术的垃圾分类自动分拣方法 | |
CN113371363A (zh) | 分类垃圾桶、基于深度学习的智能分类垃圾桶及分类方法 | |
CN113200257A (zh) | 一种户外人工智能垃圾分类及清运配合设备 | |
CN209550027U (zh) | 基于计算机视觉的一次性纸尿裤智能分拣系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |