CN113996543A - 一种智能垃圾分拣机器人 - Google Patents

一种智能垃圾分拣机器人 Download PDF

Info

Publication number
CN113996543A
CN113996543A CN202111176955.9A CN202111176955A CN113996543A CN 113996543 A CN113996543 A CN 113996543A CN 202111176955 A CN202111176955 A CN 202111176955A CN 113996543 A CN113996543 A CN 113996543A
Authority
CN
China
Prior art keywords
garbage
identification information
sensing
sensor
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111176955.9A
Other languages
English (en)
Other versions
CN113996543B (zh
Inventor
郝敏如
曹忠尉
邵敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Shiyou University
Original Assignee
Xian Shiyou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Shiyou University filed Critical Xian Shiyou University
Priority to CN202111176955.9A priority Critical patent/CN113996543B/zh
Publication of CN113996543A publication Critical patent/CN113996543A/zh
Application granted granted Critical
Publication of CN113996543B publication Critical patent/CN113996543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02Measures preceding sorting, e.g. arranging articles in a stream orientating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/3404Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/38Collecting or arranging articles in groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054Sorting of waste or refuse
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063Using robots
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/10Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Manipulator (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种智能垃圾分拣机器人,包括:垃圾巡捡车,搭载机器视觉模块,可识别图像中的垃圾的分类作为第一图像识别信息,还识别图像中的垃圾桶的分类作为第二图像识别信息;六自由度机械臂前端安装传感器阵列,包括透明度、金属、湿度以及色彩传感器;控制模块根据传感器阵列的检测数据生成第一传感识别信息;根据色彩传感器的检测数据生成第二传感识别信息;融合第一图像识别信息和第一传感识别信息得到垃圾分类结果;融合第二图像识别信息和第二传感识别信息得到垃圾桶识别结果;根据垃圾分类结果和垃圾桶识别结果控制垃圾巡捡车和六自由度机械臂执行垃圾拾取任务和对应的垃圾投放任务。本发明可提高垃圾识别与分拣的准确率。

Description

一种智能垃圾分拣机器人
技术领域
本发明属于机器人领域,具体涉及一种智能垃圾分拣机器人。
背景技术
生产、生活中产生的大量垃圾影响着人类的生存环境,进行垃圾分类是实现垃圾减量化、资源化、无害化的有效途径。
现有技术中,已经有使用垃圾分拣设备进行垃圾分拣的先例。这类设备通常设置在垃圾收集前端,垃圾收集前端设有传送带用于传送垃圾,垃圾分拣设备对传送带上的垃圾进行拍照,并利用图像识别的方法识别出垃圾的类型,然后控制机械臂对垃圾实现分拣。
然而,垃圾收集前端往往位于大型的垃圾场,垃圾量巨大,图像识别算法的执行需要一定的时间,存在一定的滞后性,因此上述的垃圾分拣设备容易造成垃圾的漏捡。
发明内容
为了解决现有技术中所存在的上述技术问题,本发明提供了一种智能垃圾分拣机器人。
本发明要解决的技术问题通过以下技术方案实现:
一种智能垃圾分拣机器人,包括:垃圾巡捡车、六自由度机械臂以及控制模块;其中,
所述垃圾巡捡车,用于配合所述六自由度机械臂执行垃圾拾取任务和对应的垃圾投放任务;所述垃圾巡捡车搭载摄像头和机器视觉模块;所述机器视觉模块用于在所述垃圾巡捡车执行所述垃圾拾取任务时,识别所述摄像头所拍摄图像中的垃圾和对应的垃圾分类,作为第一图像识别信息;所述机器视觉模块还用于在所述垃圾巡捡车执行所述垃圾投放任务时,识别所述摄像头所拍摄图像中的垃圾桶及对应的垃圾分类,作为第二图像识别信息;
所述六自由度机械臂,前端安装传感器阵列;所述传感器阵列包括:透明度传感器、金属传感器、湿度传感器以及色彩传感器;
所述控制模块,用于:在所述垃圾巡捡车执行所述垃圾拾取任务时,根据所述传感器阵列输出的检测数据生成第一传感识别信息;在所述垃圾巡捡车执行所述垃圾投放任务时,根据所述色彩传感器输出的检测数据生成第二传感识别信息;对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果;对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果;根据所述垃圾分类结果和所述垃圾桶识别结果,控制所述垃圾巡捡车和所述六自由度机械臂执行所述垃圾拾取任务和对应的垃圾投放任务。
可选地,所述传感器阵列输出的任一组所述检测数据中,所述透明度传感器、所述金属传感器、所述湿度传感器以及所述色彩传感器的电传感信号依次排列;
所述控制模块,根据所述传感器阵列输出的检测数据生成第一传感识别信息,包括:
根据所述检测数据中每个传感器的电传感信号,确定该传感器是否检测到分类与该传感器自身对应的垃圾;
按照所述检测数据中的电传感信号的排列顺序,根据首个检测到垃圾的传感器对应的垃圾分类生成第一传感识别信息。
可选地,所述控制模块,还用于控制所述透明度传感器、所述金属传感器、所述湿度传感器以及所述色彩传感器依次进行检测;
所述控制模块,根据所述传感器阵列输出的检测数据生成第一传感识别信息,包括:
响应于任一传感器检测的电信号表明该传感器检测到对应的垃圾分类的垃圾,根据该对应的垃圾分类生成第一传感识别信息。
可选地,所述控制模块,包括:加法器;
所述控制模块,对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果,包括:
提取所述第一图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与所述第一传感识别信息的数据格式匹配的第一中间信息;将所述第一传感识别信息和所述第一中间信息送入所述加法器中进行求和,得到垃圾分类结果;
所述控制模块,对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果,包括:
提取所述第二图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与所述第二传感识别信息的数据格式匹配的第二中间信息;将所述第二传感识别信息和所述第二中间信息送入所述加法器中进行求和,得到垃圾桶识别结果。
可选地,所述控制模块,对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果,包括:
响应于所述第一图像识别信息和所述第一传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾分类结果;
响应于所述第一图像识别信息和所述第一传感识别信息两者指向不同种垃圾分类,生成所述第一传感识别信息对应的垃圾分类结果;
所述控制模块,对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果,包括:
响应于所述第二图像识别信息和所述第二传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾桶识别结果;
响应于所述第二图像识别信息和所述第二传感识别信息两者指向不同种垃圾分类,生成所述第二图像识别信息对应的垃圾分类结果。
可选地,所述垃圾巡捡车还搭载加速度计和陀螺仪;
所述加速度计,用于测量所述垃圾巡捡车的倾角;
所述陀螺仪,用于测量所述垃圾巡捡车的倾角加速度;
所述控制模块,还用于根据所述垃圾巡捡车的倾角和倾角加速度控制所述垃圾巡捡车在行驶过程中的加速度。
可选地,还包括:信号放大电路,所述信号放大电路被配置为放大传感器输出的传感电压;
所述信号放大电路,包括:第一级放大器和第二级放大器;
其中,所述第一级放大器,反相输入端连接待放大的所述传感电压,正相输入端连接第一阻容网络的一端,输出端通过电阻串接所述第二级放大器;
所述第二级放大器,正向输入端通过T型电阻网络连接所述第一级放大器的反向输入端,反向输入端连接第二阻容网络的一端,输出端输出放大后的传感电压;
所述第一阻容网络和所述第二阻容网络两者的另一端均接地。
本发明提供的智能垃圾分拣机器人,通过机器视觉模块对垃圾和垃圾桶进行图像识别,并通过传感器阵列对垃圾和垃圾桶进行传感识别;然后,对两方面的识别结果进行融合,得到更为准确的识别结果,从而提高了垃圾识别与分拣的准确率。并且,本发明提供的智能垃圾分拣机器人能够移动式地执行垃圾拾取任务和对应的垃圾投放任务,具备小型化和行动灵活的优点,从而可以将垃圾分拣工作前置到垃圾产生地来实现,更有助于生产、生活环境的整洁,具备很好的实用价值。
以下将结合附图及对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种智能垃圾分拣机器人的结构示意图;
图2是本发明实施例中控制模块利用加法器对第二图像识别信息和第二传感识别信息进行融合的示意图;
图3是本发明实施例中智能垃圾分拣机器人按照直线行驶进行垃圾分拣时的路线示意图;
图4是本发明实施例中用于对传感电压进行放大的信号放大电路的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
为了提高垃圾识别与分拣的准确率,本发明实施例提供了一种智能垃圾分拣机器人;参见图1所示,该智能垃圾分拣机器人包括:垃圾巡捡车10、六自由度机械臂30以及控制模块20。
其中,垃圾巡捡车10,用于配合六自由度机械臂30执行垃圾拾取任务和对应的垃圾投放任务。可以理解的是,垃圾投放任务是在机器人拾取到垃圾之后对应产生的任务。
具体而言,垃圾巡捡车10上可安装超声波传感器,用于感应障碍物,并进行测距;由此,给控制模块20中加载相应的控制算法,垃圾巡捡车10便可实现定点停止,自主避障以及测距。更进一步的,该垃圾巡捡车10上还可搭载加速度计和陀螺仪;其中,该加速度计,用于测量垃圾巡捡车10的倾角;该陀螺仪,用于测量垃圾巡捡车10的倾角加速度。由此,控制模块可根据垃圾巡捡车的倾角和倾角加速度,来控制垃圾巡捡车10在行驶过程中的加速度,从而实现防抖,即防止垃圾巡捡车10在行驶过程中产生抖动,使垃圾巡捡车10的行驶更佳稳定。
根据平衡原理可知,通过测量车体的倾角和倾角加速度控制车体车轮的加速度,可以消除车体以及机械臂发生倾斜产生的倾角。因此控制车体平衡的关键即是测量车体倾角以及倾角加速度。
加速度传感器可以测量物体运动所产生和地球引力作用下的加速度。通过对车体Z轴方向上的加速度信号的测量来得到此方向上的加速度值,并最终计算出车体的倾角。车体直立时,在Z轴的水平方向上固定加速度传感器,此时输出的信号为零偏电压信号。当车体发生倾斜时,重力加速度值便会在Z轴方向上形成加速度分量,并造成该轴输出电压的变化,其变化的规律可表示为:
Δu=kGsinθ;
其中,Δu为输出电压的变化值,G为重力加速度,k为比例系数;θ为车体倾角。当车体倾角较小时输出电压的变化可近似与倾角成正比。
利用加速度传感器可测得车体的倾角,而倾角速度可通过对此信号进行微分运算得到。但实际情况是车体本身的运动会产生一定的加速度,此干扰信号叠加在测量的信号上,会使得此输出信号无法准确的把车体倾角反映出来。
陀螺仪的产生是利用了物体在旋转坐标系中会受到科里奥利力的原理,在器件中利用压电陶瓷做成振动单元,当旋转器件时会改变振动频率从而反映出物体旋转的角速度。将陀螺仪安装在车体上,可以测量车体倾斜的角速度,将角速度信号进行积分便可以得到车体的倾角。然而,实际情况下角速度信号存在微小的偏差但经过积分运算之后,都会形成积累误差,同时随着时间的推移该积累误差会逐渐增大,最终会使电路达到饱和状态,则无法产生正确的角度信号。
有鉴于此,本发明实施例选择在垃圾巡捡车上安装加速度传感器和陀螺仪两种传感器来分别测量车体倾角以及倾角加速度,这样,可以准确获悉垃圾巡捡车的动作状态从而相应的控制垃圾巡捡车及其他组件的动作。
具体的,利用加速度传感器测量垃圾巡捡车的倾角,利用陀螺仪来测量垃圾巡捡车的倾角加速度。此外,还可以通过对加速度传感器测量的倾角进行微分运算,将运算得到的倾角加速度与陀螺仪测量的倾角加速度进行比对,从而检验陀螺仪测量的倾角加速度是否是一个正常的测量结值;以及,通过对陀螺仪测量的倾角加速度进行积分运算,将运算得到的倾角与加速度传感器测量的倾角进行比对,从而检验加速度传感器测量的倾角是否是一个正常的测量值。
控制模块10中可加载垃圾巡捡车10的行驶路线或巡捡范围,并加载响应的控制算法程序,从而使垃圾巡捡车10能够按照预定的行驶路线或巡捡范围进行垃圾巡捡。
需要说明的是,关于垃圾巡捡车按照路线或者范围行驶的算法、自主避障、测距以及加速度控制的算法非本发明实施例的发明点,本发明实施例并未对这些算法进行相应的优化和改进,因此可参见现有技术中的具体实现方式,本发明实施例不做限定。
垃圾巡捡车10搭载摄像头101和机器视觉模块102;机器视觉模块102用于在垃圾巡捡车10执行垃圾拾取任务时,识别摄像头101所拍摄图像中的垃圾和对应的垃圾分类,作为第一图像识别信息;机器视觉模块102还用于在垃圾巡捡车10执行垃圾投放任务时,识别摄像头101所拍摄图像中的垃圾桶及对应的垃圾分类,作为第二图像识别信息。
其中,机器视觉模块102可以包括OpenMV机器视觉模块,其识别距离可达6米,当然本发明实施例中使用的机器视觉模块并不局限于OpenMV机器视觉模块。常见的机器视觉模块大多自身集成有处理器,用于执行图像识别、分类算法,从而可以输出具体的分类结果,该分类结果通常以图像中的目标属于各种已知垃圾类型的概率,其中概率最高的类型即代表着分类结果。其中,可以对机器视觉模块102中搭载的图像识别、分类算法进行优化训练,从而使其有针对性地对四个大类(可回收垃圾、有害垃圾、厨余垃圾、其他垃圾)、五个小类的垃圾以及市面上各种形态的垃圾桶进行有效的识别和分类,从而提高识别效率和准确性。此外,机器视觉模块中通常都集成有单片机或处理器,由此还可以对机器视觉模块直接输出的分类结果进行格式上的转换,这也是可以实现的。
可以理解的是,对于智能垃圾分拣而言,由于分拣设备的位置不固定,可能会遇到非垃圾的识别目标。此时,机器视觉模块102输出的分类结果中,目标属于哪一种垃圾类型的概率都达不到上限,此时则可以认为识别目标不是垃圾,不进行拾取便可。
六自由度机械臂30,前端安装传感器阵列01;传感器阵列包括:透明度传感器、金属传感器、湿度传感器以及色彩传感器。
该六自由度机械臂30的前端有机械抓手或其他抓取结构,传感器阵列301中的各个传感器优选安装在该机械抓手或抓取结构上,从而可以对垃圾进行接触式的感知,得到更准确的检测传感数据。并且,采用该六自由度机械臂30可以对尺寸较小的垃圾实现准确、牢固的抓取以及准确的传感识别。
优选地,该六自由度机械臂30可以是六自由度柔性机械臂。
控制模块20,用于:在垃圾巡捡车10执行垃圾拾取任务时,根据传感器阵列301输出的检测数据生成第一传感识别信息;在垃圾巡捡车10执行垃圾投放任务时,根据色彩传感器输出的检测数据生成第二传感识别信息;对第一图像识别信息和第一传感识别信息进行融合,得到垃圾分类结果;对第二图像识别信息和第二传感识别信息进行融合,得到垃圾桶识别结果;根据垃圾分类结果和垃圾桶识别结果,控制垃圾巡捡车10和六自由度机械臂30执行垃圾拾取任务和对应的垃圾投放任务。
其中,控制模块20根据传感器阵列301输出的检测数据生成第一传感识别信息的具体实现方式存在多种;为了使说明书的布局清晰,后续对其进行举例说明。
此外,控制模块20对两种图像识别信息和两种传感识别信息分别进行融合的具体实现方式同样存在多种,为了使说明书的布局清晰,后续对这两种实现方式进行举例说明
本领域技术人员均知晓的是,红色对应有害垃圾,绿色对应厨余垃圾,黑色或灰色对应其他垃圾,蓝色对应可回收垃圾。因此,控制模块20根据色彩传感器输出的检测数据生成第二传感识别信息,主要是根据色彩传感器输出的检测数据确定是哪种颜色,输出与该颜色对应的第二传感识别信息即输出该颜色的垃圾桶具体对应哪种垃圾分类的第二传感识别信息。
本发明实施例提供的智能垃圾分拣机器人,通过机器视觉模块对垃圾和垃圾桶进行图像识别,并通过传感器阵列对垃圾和垃圾桶进行传感识别;然后,对两方面的识别结果进行融合,得到更为准确的识别结果,从而提高了垃圾识别与分拣的准确率。并且,本发明提供的智能垃圾分拣机器人能够移动式地执行垃圾拾取任务和对应的垃圾投放任务,具备小型化和行动灵活的优点,从而可以将垃圾分拣工作前置到垃圾产生地来实现,更有助于生产、生活环境的整洁,具备很好的实用价值。
其中,控制模块20根据传感器阵列输出的检测数据生成第一传感识别信息的具体实现方式可以存在多种。示例性的,在一种实现方式中,传感器阵列301输出的任一组检测数据中,透明度传感器、金属传感器、湿度传感器以及色彩传感器的电传感信号可以依次排列;相应的,控制模块20,根据传感器阵列301输出的检测数据生成第一传感识别信息,可以包括:
(1)根据检测数据中每个传感器的电传感信号,确定该传感器是否检测到分类与该传感器自身对应的垃圾。
可以理解的是,透明度传感器主要用于检测塑料制品、玻璃制品等具有一定透明度的可回收垃圾,如饮料瓶,包装袋等等。金属传感器主要用于检测电池这种有害垃圾、湿度传感器主要用于检测具有一定湿度的厨余垃圾或者湿垃圾,如果皮,菜叶等等;色彩传感器则用于检测纸制品等类型为其他垃圾的垃圾。
具体的,控制模块20中可以预先存储有每种传感器主要负责检测的垃圾的传感值范围,当检测数据中某个传感器的电传感信号位于存储的对应范围内,则可以确定该传感器检测到了分类与其自身对应的垃圾。
(2)按照检测数据中的电传感信号的排列顺序,根据首个检测到垃圾的传感器对应的垃圾分类生成第一传感识别信息。
举例而言,假设每种传感器主要负责检测的垃圾的传感值范围均为[200~300],另假设传感器阵列检测到的检测数据中的电传感信号依次为100、500、200以及250;其中,透明度传感器的传感值为100,不在自身对应的范围内;金属传感器的传感值为500,不在自身对应的范围内、湿度传感器的传感值为200,在自身对应的范围内,色彩传感器的传感值为250,在自身对应的范围内;其中,按照电传感信号的排列顺序,首个检测到垃圾的传感器为湿度传感器,则控制模块根据湿度传感器对应的垃圾分类——厨余垃圾来生成第一传感识别信息。
可以理解的是,本发明实施例限定上述电传感信号的排列顺序,相当于限定了几个并行检测的传感器的数据优先级。之所以设置这样的优先级,是发明人基于一定的理论逻辑和实际测试而确定的。
举例而言,假如将色彩传感器的优先级设置得比湿度传感器高,那么当拾取到柑橘皮的时候,由于柑橘皮背面是白色,正面是橘色,如果色彩传感器先识别到白色,将可能将柑橘皮误识别为纸杯或者是纸团,从而造成检测错误。再举例而言,假设垃圾都因下雨而沾上了水,那么湿度传感器则有可能把所有垃圾都识别为厨余垃圾。因此,经过种种考虑和实验,最终确定这些传感器的优先级为:透明度传感器>金属传感器>湿度传感器>色彩传感器。可以理解的是,这一实现方式相当于传感器阵列中的各个传感器并行检测,检测结果一并传送至控制模块中进行进一步的处理。
在另一种实现方式中,控制模块,还可以用于控制透明度传感器、金属传感器、湿度传感器以及色彩传感器依次进行检测。具体的,该控制模块通常为单片机芯片或处理器,通过在外围增设逻辑控制电路便可以控制透明度传感器、金属传感器、湿度传感器以及色彩传感器依次进行检测。相应的,控制模块,根据传感器阵列输出的检测数据生成传感识别信息,可以包括:
响应于任一传感器检测的电信号表明该传感器检测到该传感器对应的垃圾分类的垃圾,根据该传感器对应的垃圾分类生成传感识别信息。
可以理解的是,该实现方式相当于传感器阵列中的各个传感器是串行地进行检测,每个检测结果先被传送至控制模块中进行进一步的处理,然后控制模块再接收下一传感器的传感值。这样,一旦某个传感器检测到其对应分类的垃圾,控制模块可直接根据该传感器对应的垃圾分类生成第一传感识别信息。
下面针对控制模块对第二图像识别信息和第二传感识别信息进行融合的具体实现方式进行举例说明。
示例性的,在一种实现方式中,控制模块中可以包括一加法器;基于此,控制模块对第一图像识别信息和第一传感识别信息进行融合,得到垃圾分类结果,可以包括:
提取第一图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与第一传感识别信息的数据格式匹配的第一中间信息;将第一传感识别信息和第一中间信息送入加法器中进行求和,得到垃圾分类结果。
同理的,控制模块对第二图像识别信息和第二传感识别信息进行融合,得到垃圾桶识别结果,可以包括:
提取第二图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与第二传感识别信息的数据格式匹配的第二中间信息;将第二传感识别信息和第二中间信息送入加法器中进行求和,得到垃圾桶识别结果。
其中,提取第一图像识别信息中包含的垃圾分类的信息,主要提取的是垃圾分类的识别结果,提取第二图像识别信息中包含的垃圾分类的信息,同样提取的是垃圾桶对应的垃圾分类的识别结果。
本发明实施例对控制模块生成的识别信息的数据格式不做限定,可以是字符串、二进制码流或者十六进制数等等,这都是可以的,只需能够区分出不同数据内容的识别信息即可。
可以理解的是,对于加法器而言,当用于融合出垃圾分类结果时,不同的求和结果分别对应着不同的垃圾分类;当用于融合出垃圾桶识别结果时,其不同的求和结果也分别对应着不同的垃圾分类。
图2示例性的示出了一种控制模块利用加法器对第二图像识别信息和第二传感识别信息进行融合的示意图。其中,假设待分拣的垃圾为透明的饮料瓶。其中,可以使用开关依次打开的方式使得传感器阵列中的传感器依次工作。这样,透明度传感器首先工作,检测到了与透明饮料瓶对应的有效传感数据(图2中用1进行表示);控制模块根据该传感数据输出第一传感识别信息=1;同时,机器视觉模块检测到饮料瓶,为可回收垃圾,输出对应的第一图像识别信息(图2中也用1进行表示_。加法器对两个均为1的识别信息进行相加,得到2指令,该2指令对应可回收垃圾。由此,机器人便可以将饮料瓶拾取并投放到可回收垃圾的垃圾桶中。
在另一种实现方式中,控制模块对第一图像识别信息和第一传感识别信息进行融合,得到垃圾分类结果,可以包括:
响应于第一图像识别信息和第一传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾分类结果;
响应于第一图像识别信息和第一传感识别信息两者指向不同种垃圾分类,生成第一传感识别信息对应的垃圾分类结果。
可以理解的是,当第一图像识别信息和第一传感识别信息两者均指向同一种垃圾分类时,直接生成该种垃圾分类对应的垃圾分类结果,相当于使两种识别信息都对彼此进行了验证,得到的分类结果更为准确。而当第一图像识别信息和第一传感识别信息两者指向不同种垃圾分类时,采用当前情形下更可靠的一种识别信息是相对更为合理和准确的。具体而言,由于传感器阵列安装在六自由度机械臂的前端,能够与垃圾近距离的接触,相对来说识别结果比非接触式的图像识别更为准确,故而当第一图像识别信息和第一传感识别信息两者指向不同种垃圾分类时,生成第一传感识别信息对应的垃圾分类结果是更为准确的。
而控制模块对第二图像识别信息和第二传感识别信息进行融合,得到垃圾桶识别结果,则可以包括:
响应于第二图像识别信息和第二传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾桶识别结果;
响应于第二图像识别信息和第二传感识别信息两者指向不同种垃圾分类,生成第二图像识别信息对应的垃圾分类结果。
可以理解的是,对垃圾桶进行识别时,传感器阵列并不一定能够与垃圾桶进行近距离的接触,且第二传感识别信息仅仅是根据色彩传感器的检测数据生成的,而色彩传感器其实并不能够识别出色彩信息以外的其他信息,有可能会将非垃圾的物品识别为垃圾桶。相对而言,虽然第二图像识别信息是机器视觉模块识别出的,并不能和垃圾桶近距离的接触,但机器识别模块能够综合物品的颜色以及形状等多种图像信息来对垃圾桶进行识别,因此当第二图像识别信息和第二传感识别信息两者指向不同种垃圾分类时,生成第二图像识别信息对应的垃圾分类结果更可靠一些。
下面使用具体的示例来对本发明实施例进行进一步的举例说明。
参见图3所示,假定机器人从起点出发,垃圾依次摆放在前方正向一条线上。首先通过超声波传感器检测最近的垃圾(图3中为①号垃圾)与垃圾巡捡车的距离,当距离达到预设的下限时机器人停下,Open MV机器视觉模块开展图像识别,六自由度机械臂拾取垃圾并通过传感器阵列开展传感识别,控制模块基于两种识别结果得到最终的垃圾分类结果。其中,所说的下限可以为0~50cm,并不局限于此,具体值可根据便于六自由度机械臂拾取垃圾的距离而设定。
六自由度机械臂拣取①号垃圾后,机器人继续朝着垃圾摆放点行驶。当遇到②号垃圾,控制模块控制机器人自主避障,调整方向后继继续朝着垃圾摆放点行驶;待接近垃圾摆放点后,在两套识别机制的共同作用下,机器人识别出与所拾取的垃圾分类相同的垃圾桶,从而进行垃圾投放。然后,机器人按照原定的直线式行驶路线,对各个垃圾依次进行抓取和投放,具体的处理顺序依次为①、⑤、④、③、②。
另外,发明人在实现本发明的过程中发现,市面上大多数传感器输出的检测数据是模拟电压,当传感电压很小时,难以被单片机、处理器等数字器件有效使用,因此为了解决这一问题,本发明实施例采用自研的信号放大电路来对传感器输出的传感电压进行放大。
具体而言,如果传感器阵列中的各个传感器是并行工作的,则每个传感器的输出均接一个信号放大电路。如果传感器阵列中的各个传感器是串行依次工作的,则只需一个信号放大电路即可;此时该信号放大电路接在串行输出链路的末端与控制模块之间,用于对该串行链路的输出电压进行放大。其中,串行链路的总输出可以由逻辑控制电路来控制,以确保每次仅将一个传感器输出的检测数据送入控制模块中进行后续的处理。
其中,参见图4所示,该自研的信号放大电路包括:第一级放大器U1和第二级放大器U2
该第一级放大器U1,其反相输入端连接待放大的传感电压Vin,其正相输入端连接第一阻容网络A的一端,其输出端通过电阻R1串接第二级放大器U2
该第二级放大器U2,其正向输入端通过T型电阻网络C连接第一级放大器U1的反向输入端,其反向输入端连接第二阻容网络B的一端,其输出端输出放大后的传感电压Vout;第一阻容网络A和第二阻容网络B两者的另一端均接地。
其中,参见图2所示,第一阻容网络A包括电阻R5和电容C1;第二阻容网络B包括电阻R6和电容C2;T型电阻网络C包括电阻R2、电阻R4以及电阻R3
优选地,第一级放大器U1和第一级放大器U1两者的工作电压VCC均为5V;电容C1和电容C2的容值均为100F;电阻R2、电阻R5以及电阻R6的阻值均为100kΩ;电阻R4的阻值为200Ω,电阻R3的阻值为1Ω,电阻R1的阻值为1kΩ。
需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (7)

1.一种智能垃圾分拣机器人,其特征在于,包括:垃圾巡捡车、六自由度机械臂以及控制模块;其中,
所述垃圾巡捡车,用于配合所述六自由度机械臂执行垃圾拾取任务和对应的垃圾投放任务;所述垃圾巡捡车搭载摄像头和机器视觉模块;所述机器视觉模块用于在所述垃圾巡捡车执行所述垃圾拾取任务时,识别所述摄像头所拍摄图像中的垃圾和对应的垃圾分类,作为第一图像识别信息;所述机器视觉模块还用于在所述垃圾巡捡车执行所述垃圾投放任务时,识别所述摄像头所拍摄图像中的垃圾桶及对应的垃圾分类,作为第二图像识别信息;
所述六自由度机械臂,前端安装传感器阵列;所述传感器阵列包括:透明度传感器、金属传感器、湿度传感器以及色彩传感器;
所述控制模块,用于:在所述垃圾巡捡车执行所述垃圾拾取任务时,根据所述传感器阵列输出的检测数据生成第一传感识别信息;在所述垃圾巡捡车执行所述垃圾投放任务时,根据所述色彩传感器输出的检测数据生成第二传感识别信息;对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果;对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果;根据所述垃圾分类结果和所述垃圾桶识别结果,控制所述垃圾巡捡车和所述六自由度机械臂执行所述垃圾拾取任务和对应的垃圾投放任务。
2.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,所述传感器阵列输出的任一组所述检测数据中,所述透明度传感器、所述金属传感器、所述湿度传感器以及所述色彩传感器的电传感信号依次排列;
所述控制模块,根据所述传感器阵列输出的检测数据生成第一传感识别信息,包括:
根据所述检测数据中每个传感器的电传感信号,确定该传感器是否检测到分类与该传感器自身对应的垃圾;
按照所述检测数据中的电传感信号的排列顺序,根据首个检测到垃圾的传感器对应的垃圾分类生成第一传感识别信息。
3.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,所述控制模块,还用于控制所述透明度传感器、所述金属传感器、所述湿度传感器以及所述色彩传感器依次进行检测;
所述控制模块,根据所述传感器阵列输出的检测数据生成第一传感识别信息,包括:
响应于任一传感器检测的电信号表明该传感器检测到对应的垃圾分类的垃圾,根据该对应的垃圾分类生成第一传感识别信息。
4.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,所述控制模块,包括:加法器;
所述控制模块,对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果,包括:
提取所述第一图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与所述第一传感识别信息的数据格式匹配的第一中间信息;将所述第一传感识别信息和所述第一中间信息送入所述加法器中进行求和,得到垃圾分类结果;
所述控制模块,对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果,包括:
提取所述第二图像识别信息中包含的垃圾分类的信息,根据提取的信息生成与所述第二传感识别信息的数据格式匹配的第二中间信息;将所述第二传感识别信息和所述第二中间信息送入所述加法器中进行求和,得到垃圾桶识别结果。
5.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,
所述控制模块,对所述第一图像识别信息和所述第一传感识别信息进行融合,得到垃圾分类结果,包括:
响应于所述第一图像识别信息和所述第一传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾分类结果;
响应于所述第一图像识别信息和所述第一传感识别信息两者指向不同种垃圾分类,生成所述第一传感识别信息对应的垃圾分类结果;
所述控制模块,对所述第二图像识别信息和所述第二传感识别信息进行融合,得到垃圾桶识别结果,包括:
响应于所述第二图像识别信息和所述第二传感识别信息两者均指向同一种垃圾分类,生成该种垃圾分类对应的垃圾桶识别结果;
响应于所述第二图像识别信息和所述第二传感识别信息两者指向不同种垃圾分类,生成所述第二图像识别信息对应的垃圾分类结果。
6.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,所述垃圾巡捡车还搭载加速度计和陀螺仪;
所述加速度计,用于测量所述垃圾巡捡车的倾角;
所述陀螺仪,用于测量所述垃圾巡捡车的倾角加速度;
所述控制模块,还用于根据所述垃圾巡捡车的倾角和倾角加速度控制所述垃圾巡捡车在行驶过程中的加速度。
7.根据权利要求1所述的智能垃圾分拣机器人,其特征在于,还包括:信号放大电路,所述信号放大电路被配置为放大传感器输出的传感电压;
所述信号放大电路,包括:第一级放大器和第二级放大器;
其中,所述第一级放大器,反相输入端连接待放大的所述传感电压,正相输入端连接第一阻容网络的一端,输出端通过电阻串接所述第二级放大器;
所述第二级放大器,正向输入端通过T型电阻网络连接所述第一级放大器的反向输入端,反向输入端连接第二阻容网络的一端,输出端输出放大后的传感电压;
所述第一阻容网络和所述第二阻容网络两者的另一端均接地。
CN202111176955.9A 2021-10-09 2021-10-09 一种智能垃圾分拣机器人 Active CN113996543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111176955.9A CN113996543B (zh) 2021-10-09 2021-10-09 一种智能垃圾分拣机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111176955.9A CN113996543B (zh) 2021-10-09 2021-10-09 一种智能垃圾分拣机器人

Publications (2)

Publication Number Publication Date
CN113996543A true CN113996543A (zh) 2022-02-01
CN113996543B CN113996543B (zh) 2023-11-10

Family

ID=79922485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111176955.9A Active CN113996543B (zh) 2021-10-09 2021-10-09 一种智能垃圾分拣机器人

Country Status (1)

Country Link
CN (1) CN113996543B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979473A (zh) * 2022-05-16 2022-08-30 遥相科技发展(北京)有限公司 一种工业机器人控制方法
CN114998825A (zh) * 2022-05-07 2022-09-02 厦门牧云数据技术有限公司 一种基于图像识别的垃圾收运识别监控方法
WO2024044975A1 (zh) * 2022-08-30 2024-03-07 西门子股份公司 移动机械臂的控制方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109556A (zh) * 2010-11-29 2011-06-29 北京航空航天大学 一种mems器件动态微弱电容检测电路
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN209023548U (zh) * 2018-09-28 2019-06-25 广州大学 融合多传感器的垃圾识别装置
KR20190089555A (ko) * 2018-01-23 2019-07-31 금오공과대학교 산학협력단 포인트 적립 기능이 구비된 쓰레기 자동 분류 장치
JP2020027407A (ja) * 2018-08-10 2020-02-20 Kddi株式会社 ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラム
CN110861852A (zh) * 2019-11-28 2020-03-06 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于视觉识别的自动分类垃圾桶及分类方法
CN111017429A (zh) * 2019-11-20 2020-04-17 重庆特斯联智慧科技股份有限公司 一种基于多因素融合的社区垃圾分类方法及系统
CN111715559A (zh) * 2020-06-22 2020-09-29 柴诚芃 一种基于机器视觉的垃圾分拣系统
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法
CN111992516A (zh) * 2020-08-19 2020-11-27 淮北速达医疗转运服务有限公司 一种智能垃圾分类系统
CN112718585A (zh) * 2021-02-08 2021-04-30 重庆大学 一种废弃口罩智能识别分拣装置
CN113334368A (zh) * 2021-06-29 2021-09-03 西安理工大学 一种垃圾分类装置及分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109556A (zh) * 2010-11-29 2011-06-29 北京航空航天大学 一种mems器件动态微弱电容检测电路
KR20190089555A (ko) * 2018-01-23 2019-07-31 금오공과대학교 산학협력단 포인트 적립 기능이 구비된 쓰레기 자동 분류 장치
JP2020027407A (ja) * 2018-08-10 2020-02-20 Kddi株式会社 ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラム
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN209023548U (zh) * 2018-09-28 2019-06-25 广州大学 融合多传感器的垃圾识别装置
CN111017429A (zh) * 2019-11-20 2020-04-17 重庆特斯联智慧科技股份有限公司 一种基于多因素融合的社区垃圾分类方法及系统
CN110861852A (zh) * 2019-11-28 2020-03-06 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于视觉识别的自动分类垃圾桶及分类方法
CN111715559A (zh) * 2020-06-22 2020-09-29 柴诚芃 一种基于机器视觉的垃圾分拣系统
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法
CN111992516A (zh) * 2020-08-19 2020-11-27 淮北速达医疗转运服务有限公司 一种智能垃圾分类系统
CN112718585A (zh) * 2021-02-08 2021-04-30 重庆大学 一种废弃口罩智能识别分拣装置
CN113334368A (zh) * 2021-06-29 2021-09-03 西安理工大学 一种垃圾分类装置及分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998825A (zh) * 2022-05-07 2022-09-02 厦门牧云数据技术有限公司 一种基于图像识别的垃圾收运识别监控方法
CN114979473A (zh) * 2022-05-16 2022-08-30 遥相科技发展(北京)有限公司 一种工业机器人控制方法
WO2024044975A1 (zh) * 2022-08-30 2024-03-07 西门子股份公司 移动机械臂的控制方法及装置

Also Published As

Publication number Publication date
CN113996543B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN113996543B (zh) 一种智能垃圾分拣机器人
US11148291B2 (en) Anti-collision detection method for sweeping robots
US11407589B2 (en) Systems and methods for learning to extrapolate optimal object routing and handling parameters
US20210271835A1 (en) Systems and methods for separating objects using a vacuum roller with one or more object processing systems
KR20180103898A (ko) 폐기물 회수 시스템 및 방법
CN103143509B (zh) 一种垃圾分类机器人及其垃圾识别与分类方法
CN106660212A (zh) 多吸盘控制
US11200390B2 (en) Systems and methods for separating objects using drop conveyors with one or more object processing systems
US11205059B2 (en) Systems and methods for separating objects using conveyor transfer with one or more object processing systems
CN113351522B (zh) 物品分拣方法、装置及系统
CN216460208U (zh) 一种智能垃圾巡捡车
CN106660207A (zh) 用于轨迹规划的物体度量的实时确定
CN109333549B (zh) 一种基于机器视觉的乒乓球拾取移动机器人及控制方法
CN106132843A (zh) 信息处理设备、信息处理系统、物流系统、信息处理方法和程序存储介质
CN106054872B (zh) 移动机器人及其位置识别方法
CA3126138C (en) Systems and methods for separating objects using vacuum diverts with one or more object processing systems
CN113334368A (zh) 一种垃圾分类装置及分类方法
CN111844042A (zh) 基于视觉的垃圾分拣机器人
JP2020075326A (ja) ロボット
Moirogiorgou et al. Intelligent robotic system for urban waste recycling
CN108557327A (zh) 移动垃圾桶、导航方法及系统
CN113029153A (zh) 基于智能手机多传感器融合和svm分类的多场景pdr定位方法
CN116323108A (zh) 利用机器人夹持器操纵载荷单元的方法和系统
Umam Optimalization of detection and navigation smart bin robot using camera
CN110674683B (zh) 机器人手部动作识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant