CN110775467A - 基于智能识别与语音提示的垃圾收纳系统与方法 - Google Patents

基于智能识别与语音提示的垃圾收纳系统与方法 Download PDF

Info

Publication number
CN110775467A
CN110775467A CN201911048970.8A CN201911048970A CN110775467A CN 110775467 A CN110775467 A CN 110775467A CN 201911048970 A CN201911048970 A CN 201911048970A CN 110775467 A CN110775467 A CN 110775467A
Authority
CN
China
Prior art keywords
garbage
target
visible light
voice prompt
box body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911048970.8A
Other languages
English (en)
Other versions
CN110775467B (zh
Inventor
王俊茜
徐勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201911048970.8A priority Critical patent/CN110775467B/zh
Publication of CN110775467A publication Critical patent/CN110775467A/zh
Application granted granted Critical
Publication of CN110775467B publication Critical patent/CN110775467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means

Abstract

本发明提供了一种基于智能识别与语音提示的垃圾收纳系统，包括多个制造为不同单色颜色的箱体，并印刷上醒目的文字说明；每个箱体顶端设计为双页闭合式的箱体盖，所述箱体盖上方安装可见光摄像头与低功率红外摄像头,同时安装低功率LED照明灯，当有物体靠近所述箱体盖时，根据可见光摄像头采集到的可见光图像与低功率红外摄像头采集到的红外图像，进行物体类别的判识，并根据判识结果生成语音提示，以提醒人们将物体投掷进相应的箱体。本发明还提供了一种基于智能识别与语音提示的垃圾收纳方法。本发明的有益效果是：同时利用可见光图像与红外图像两类图像，有助于提升垃圾分类辨识的准确率，避免投错位置。

Description

基于智能识别与语音提示的垃圾收纳系统与方法
技术领域
本发明涉及垃圾收纳，尤其涉及一种基于智能识别与语音提示的垃圾收纳系统与方法。
背景技术
垃圾分类具有重要的应用价值，对环境保护与资源循环利用意义重大，也正因为如此，目前政府和各级部门自上而下大力提倡实施垃圾分类。然而，普通人由于缺乏相关知识而不能正确的对垃圾进行归类是实施垃圾分类的一大现实问题。此外，由于垃圾箱的文字提示不够直观，即使人们有垃圾分类的意识与基本垃圾辨别能力，在匆忙的垃圾投递过程中也可能会投错位置。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于智能识别与语音提示的垃圾收纳系统与方法。
本发明提供了一种基于智能识别与语音提示的垃圾收纳系统，包括多个制造为不同单色颜色的箱体，并印刷上醒目的文字说明，所述箱体的个数等于需要分类的垃圾类别数；每个箱体顶端设计为双页闭合式的箱体盖，所述箱体盖上方安装可见光摄像头与低功率红外摄像头,同时安装低功率LED照明灯，当有物体靠近所述箱体盖时，根据可见光摄像头采集到的可见光图像与低功率红外摄像头采集到的红外图像，进行物体类别的判识，并根据判识结果生成语音提示，以提醒人们将物体投掷进相应的箱体。
本发明还提供了一种基于智能识别与语音提示的垃圾收纳方法，采用所述的基于智能识别与语音提示的垃圾收纳系统，进行以下步骤：
S1、箱体盖通过可见光摄像头采集可见光图像，箱体盖通过低功率红外摄像头采集红外图像；
S2、基于可见光图像和红外图像进行可见光目标和红外目标的分割与检测；
S3、得到可见光目标和红外目标的垃圾分类得分及排序；
S4、得到垃圾分类结果并进行语音提示；
S5、与垃圾分类结果相应的箱体打开，守成垃圾投掷。
作为本发明的进一步改进，在步骤S3中，依据相似度得分与垃圾“有害程度”双排序的垃圾最终分类方法进行可见光目标和红外目标的垃圾分类得分及排序，相似度得分与垃圾“有害程度”双排序的垃圾最终分类方法包括：假设垃圾被定义为c个类别，从可见光成像出发，计算出可见光目标与c个垃圾类别间的相似度，即分类得分p1，…,pc；同样，计算出红外目标与c个垃圾类别间的相似度q1，…,qc。并令si＝pi+γqi，0<γ<1；此后，首先将si(i＝1...c)按照从大到小的顺序进行排序，并令排序结果为
Figure BDA0002254806370000021
其中k1,...,kc的取值范围为1到c之间，其意义如下：假如k1＝3，目标为第三类垃圾的概率最大，因此，上述排序结果说明目标属于第k1类垃圾的概率最大，属于第k2类垃圾的概率第二大，属于其他类垃圾的概率相对小，当垃圾类别的得分
Figure BDA0002254806370000031
大于阈值t1且k1与k2类别的得分差值绝对值即
Figure BDA0002254806370000032
大于阈值t2时进行如下处理：由于不同垃圾的“有害程度”不同，且一般情况下自动分别辨识存在一定的错误率，所以第二次排序如下：假如第k1类垃圾的“有害程度”高于第k2类，则不改变垃圾的排序结果，并最终将目标判识为第k1类垃圾；相反，假如第k2类垃圾的“有害程度”高于第k1类，则将第k2类排序为最大概率的类别，并最终将目标判识为第k2类垃圾。
作为本发明的进一步改进，当垃圾类别的得分
Figure BDA0002254806370000033
不大于阈值t1且k1与k2类别的得分差值绝对值即
Figure BDA0002254806370000034
不大于阈值t2时进行如下处理：所述垃圾收纳方法还设计了一种“容错”工作方式，以方便人们在系统辨识可靠度不佳或者图像采集不成功情况下自行进行垃圾投递；即系统此时放弃自动判别和语音提示，所有箱体都切换至允许投递的状态，让人们自动选择投放垃圾的箱体；系统辨识可靠度不佳包括如下两种情况：一、是最终目标判识结果得出的垃圾类别的得分小于阈值t1；二、是最终目标判识结果得出k1与k2类别的得分差值绝对值小于阈值t2。
作为本发明的进一步改进，在步骤S2中，目标分割与检测包括：对箱体盖获取的图像根据空间位置关系与皮肤颜色检测去除人手及人手位置以上的部分，然后对其余部分进行图像分割，将分割得出的最大目标块作为待辨识目标，并将其特征与主要的垃圾类别的特征进行比较，如果其与其中一个类别的差异度小于阈值，则认为待辨识目标为垃圾，系统进行后续的处理流程。
本发明的有益效果是：通过上述方案，同时利用可见光图像与红外图像两类图像，有助于提升垃圾分类辨识的准确率，避免投错位置。
附图说明
图1是本发明一种基于智能识别与语音提示的垃圾收纳方法的流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
一种基于智能识别与语音提示的垃圾收纳系统，系统的主体为并列的多箱体形式，以便于不同垃圾的分类收纳，即单个箱体的个数等于需要分类的垃圾类别数；箱体制造为不同单色颜色，并印刷上醒目的文字说明；每个箱体顶端设计为双页闭合式的箱体盖，箱体盖上方安装一个可见光摄像头与一个低功率红外摄像头,同时安装低功率LED照明灯。当有物体靠近箱体盖时，系统根据采集到的可见光图像与红外图像，进行物体类别的判识，并根据判识结果生成语音提示，以提醒人们将物体投掷进相应的箱体。同时利用可见光图像与红外图像的合理性在于：两类图像的同时利用有助于提升辨识的准确率。
如图1所示，一种基于智能识别与语音提示的垃圾收纳方法，采用所述的基于智能识别与语音提示的垃圾收纳系统，进行以下步骤：
S1、箱体盖通过可见光摄像头采集可见光图像，箱体盖通过低功率红外摄像头采集红外图像；
S2、基于可见光图像和红外图像进行可见光目标和红外目标的分割与检测；
S3、得到可见光目标和红外目标的垃圾分类得分及排序；
S4、得到垃圾分类结果并进行语音提示；
S5、与垃圾分类结果相应的箱体打开，守成垃圾投掷。
本发明设计了一种依据相似度得分与垃圾“有害程度”双排序的垃圾最终分类方法。具体算法如下：假设垃圾被定义为c个类别。从可见光成像出发，可以计算出可见光目标与c个垃圾类别间的相似度(即分类得分)p1，…,pc。同样，可计算出红外目标与c个垃圾类别间的相似度q1，…,qc。并令si＝pi+γqi(0<γ<1)。0<γ<1的合理性在于一般情况下，得出的可见光目标的相似度的可靠程度高于红外目标的相似度。此后，首先将si(i＝1...c)按照从大到小的顺序进行排序，并令排序结果为
Figure BDA0002254806370000051
其中k1,...,kc的取值范围为1到c之间，其意义如下：假如k1＝3，目标为第三类垃圾的概率最大。因此，上述排序结果说明目标属于第k1类垃圾的概率最大，属于第k2类垃圾的概率第二大，属于其他类垃圾的概率相对小。当垃圾类别的得分
Figure BDA0002254806370000052
大于阈值t1且k1与k2类别的得分差值绝对值即
Figure BDA0002254806370000053
大于阈值t2时进行如下处理(否则转为后文的“容错”工作方式)：由于不同垃圾的“有害程度”不同(例如，电池的危害程度大于黑色金属，果皮等食物垃圾基本无害)，且一般情况下自动分别辨识存在一定的错误率，所以本发明提出的第二次排序如下：假如第k1类垃圾的“有害程度”高于第k2类，则不改变垃圾的排序结果，并最终将目标判识为第k1类垃圾。相反，假如第k2类垃圾的“有害程度”高于第k1类，则将第k2类排序为最大概率的类别，并最终将目标判识为第k2类垃圾。得出最终目标判识结果后，系统合成相应的语音提示，以提醒人们将物体投掷进对应的箱体；语音提示可采用“请将垃圾投入**颜色的垃圾箱”。
本发明还设计了一种“容错”工作方式，以方便人们在系统辨识可靠度不佳或者图像采集不成功情况下自行进行垃圾投递；即系统此时放弃自动判别和语音提示，所有箱体都切换至允许投递的状态，让人们自动选择投放垃圾的箱体。系统辨识可靠度不佳包括如下两种情况：一是最终目标判识结果得出的垃圾类别的得分小于阈值t1；二是最终目标判识结果得出k1与k2类别的得分差值绝对值小于阈值t2，因为得分差值绝对值较小意味着两个类别的区分性小，此时做出的自动判识不一定正确。
本发明设计的目标分割与检测方案如下：对箱体盖获取的图像根据空间位置关系与皮肤颜色检测去除人手及人手位置以上的部分，然后对其余部分进行图像分割，将分割得出的最大目标块作为待辨识目标，并将其特征与主要的垃圾类别的特征进行比较，如果其与其中一个类别的差异度小于阈值，则认为待辨识目标为垃圾，系统进行后续的处理流程。
本发明提出了一种“可编程”的垃圾类别定义方法，以满足不同地区或不同场景下实际的垃圾分拣需求和多样性应用需求。换言之，系统存储了多种常用的垃圾类别模式，不同模式下有不同的分类规则，垃圾收纳系统的使用方通过模式选择实现不同垃圾类别定义规则下的垃圾投放提示功能。
本发明提出了一种双方案的垃圾收纳系统软件升级方法，以达到不定期进行系统技术上的升级迭代与提供更好的用户体验的目的，或适应政府和社会对垃圾投放的新要求。其中“标配”方案为本地化的软件升级方案，即垃圾收纳系统的使用方通过优盘直接对垃圾收纳系统进行软件升级版本的安装。“高配”方案则对垃圾收纳系统同时提供USB接口与无线通讯接口，以允许使用方既可以优盘直接对垃圾收纳系统进行软件升级版本的安装，又可通过云端对垃圾收纳系统进行软件升级版本的安装。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于智能识别与语音提示的垃圾收纳系统，其特征在于：包括多个制造为不同单色颜色的箱体，并印刷上醒目的文字说明，所述箱体的个数等于需要分类的垃圾类别数；每个箱体顶端设计为双页闭合式的箱体盖，所述箱体盖上方安装可见光摄像头与低功率红外摄像头,同时安装低功率LED照明灯，当有物体靠近所述箱体盖时，根据可见光摄像头采集到的可见光图像与低功率红外摄像头采集到的红外图像，进行物体类别的判识，并根据判识结果生成语音提示，以提醒人们将物体投掷进相应的箱体。
2.一种基于智能识别与语音提示的垃圾收纳方法，其特征在于，采用权利要求1所述的基于智能识别与语音提示的垃圾收纳系统，进行以下步骤：
S1、箱体盖通过可见光摄像头采集可见光图像，箱体盖通过低功率红外摄像头采集红外图像；
S2、基于可见光图像和红外图像进行可见光目标和红外目标的分割与检测；
S3、得到可见光目标和红外目标的垃圾分类得分及排序；
S4、得到垃圾分类结果并进行语音提示；
S5、与垃圾分类结果相应的箱体打开，守成垃圾投掷。
3.根据权利要求2所述的基于智能识别与语音提示的垃圾收纳方法，其特征在于：在步骤S3中，依据相似度得分与垃圾“有害程度”双排序的垃圾最终分类方法进行可见光目标和红外目标的垃圾分类得分及排序，相似度得分与垃圾“有害程度”双排序的垃圾最终分类方法包括：假设垃圾被定义为c个类别，从可见光成像出发，计算出可见光目标与c个垃圾类别间的相似度，即分类得分p1，…,pc；同样，计算出红外目标与c个垃圾类别间的相似度q1，…,qc；并令si＝pi+γqi，0<γ<1；此后，首先将si(i＝1...c)按照从大到小的顺序进行排序，并令排序结果为
Figure FDA0002254806360000021
其中k1,...,kc的取值范围为1到c之间，其意义如下：假如k1＝3，目标为第三类垃圾的概率最大，因此，上述排序结果说明目标属于第k1类垃圾的概率最大，属于第k2类垃圾的概率第二大，属于其他类垃圾的概率相对小，当垃圾类别的得分
Figure FDA0002254806360000022
大于阈值t1且k1与k2类别的得分差值绝对值即
Figure FDA0002254806360000023
大于阈值t2时进行如下处理：由于不同垃圾的“有害程度”不同，且一般情况下自动分别辨识存在一定的错误率，所以第二次排序如下：假如第k1类垃圾的“有害程度”高于第k2类，则不改变垃圾的排序结果，并最终将目标判识为第k1类垃圾；相反，假如第k2类垃圾的“有害程度”高于第k1类，则将第k2类排序为最大概率的类别，并最终将目标判识为第k2类垃圾。
4.根据权利要求3所述的基于智能识别与语音提示的垃圾收纳方法，其特征在于：当垃圾类别的得分
Figure FDA0002254806360000024
不大于阈值t1且k1与k2类别的得分差值绝对值即
Figure FDA0002254806360000025
不大于阈值t2时进行如下处理：所述垃圾收纳方法还设计了一种“容错”工作方式，以方便人们在系统辨识可靠度不佳或者图像采集不成功情况下自行进行垃圾投递；即系统此时放弃自动判别和语音提示，所有箱体都切换至允许投递的状态，让人们自动选择投放垃圾的箱体；系统辨识可靠度不佳包括如下两种情况：一、是最终目标判识结果得出的垃圾类别的得分小于阈值t1；二、是最终目标判识结果得出k1与k2类别的得分差值绝对值小于阈值t2。
5.根据权利要求2所述的基于智能识别与语音提示的垃圾收纳方法，其特征在于：在步骤S2中，目标分割与检测包括：对箱体盖获取的图像根据空间位置关系与皮肤颜色检测去除人手及人手位置以上的部分，然后对其余部分进行图像分割，将分割得出的最大目标块作为待辨识目标，并将其特征与主要的垃圾类别的特征进行比较，如果其与其中一个类别的差异度小于阈值，则认为待辨识目标为垃圾，系统进行后续的处理流程。
CN201911048970.8A 2019-10-31 2019-10-31 基于智能识别与语音提示的垃圾收纳系统与方法 Active CN110775467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911048970.8A CN110775467B (zh) 2019-10-31 2019-10-31 基于智能识别与语音提示的垃圾收纳系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911048970.8A CN110775467B (zh) 2019-10-31 2019-10-31 基于智能识别与语音提示的垃圾收纳系统与方法

Publications (2)

Publication Number Publication Date
CN110775467A true CN110775467A (zh) 2020-02-11
CN110775467B CN110775467B (zh) 2021-11-23

Family

ID=69387952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048970.8A Active CN110775467B (zh) 2019-10-31 2019-10-31 基于智能识别与语音提示的垃圾收纳系统与方法

Country Status (1)

Country Link
CN (1) CN110775467B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485274A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于目标特性图的物体分类方法
CN106742960A (zh) * 2017-02-27 2017-05-31 深圳市赛亿科技开发有限公司 一种智能分类垃圾桶
US20170174439A1 (en) * 2015-12-16 2017-06-22 Pass/Fail Ventures LLC Household Hazardous Waste Recovery
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN108945885A (zh) * 2018-06-22 2018-12-07 王远喆 一种智能垃圾箱及其运行方法
CN108990944A (zh) * 2018-06-27 2018-12-14 浙江大学 基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置
CN109211835A (zh) * 2018-10-11 2019-01-15 南京大学（溧水）生态环境研究院 一种基于光谱技术的厨余垃圾快速鉴定方法
WO2019130225A1 (en) * 2017-12-28 2019-07-04 Infocode Sp. Z O.O. Device for waste segregation and collection of segregated waste
WO2019196024A1 (zh) * 2018-04-11 2019-10-17 徐建荣 自动分类垃圾箱

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170174439A1 (en) * 2015-12-16 2017-06-22 Pass/Fail Ventures LLC Household Hazardous Waste Recovery
CN106485274A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于目标特性图的物体分类方法
CN106742960A (zh) * 2017-02-27 2017-05-31 深圳市赛亿科技开发有限公司 一种智能分类垃圾桶
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
WO2019130225A1 (en) * 2017-12-28 2019-07-04 Infocode Sp. Z O.O. Device for waste segregation and collection of segregated waste
WO2019196024A1 (zh) * 2018-04-11 2019-10-17 徐建荣 自动分类垃圾箱
CN108945885A (zh) * 2018-06-22 2018-12-07 王远喆 一种智能垃圾箱及其运行方法
CN108990944A (zh) * 2018-06-27 2018-12-14 浙江大学 基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置
CN109211835A (zh) * 2018-10-11 2019-01-15 南京大学（溧水）生态环境研究院 一种基于光谱技术的厨余垃圾快速鉴定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙利雷，徐勇: "基于深度学习的乳腺X射线影像分类方法研究", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN110775467B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
WO2020221177A1 (zh) 图像的识别方法及装置、存储介质和电子装置
CN110697273B (zh) 一种基于迭代学习控制的生活垃圾智能识别与自动分类系统及方法
WO2020206862A1 (zh) 一种自动分类系统
CN104331710B (zh) 开关状态识别系统
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN101980245B (zh) 一种基于自适应模板匹配的客流统计方法
CN109145742A (zh) 一种行人识别方法及系统
CN106980852A (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN108910340A (zh) 一种智能垃圾桶的控制方法及系统
WO2021027157A1 (zh) 基于图片识别的车险理赔识别方法、装置、计算机设备及存储介质
CN110321875A (zh) 一种基于深度学习的简历识别和智能分类筛选系统
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN106886757B (zh) 一种基于先验概率图的多类交通灯检测方法及系统
CN113255804A (zh) 基于图像变化检测的垃圾溯源方法、装置
CN110738131A (zh) 基于深度学习神经网络的垃圾分类管理方法及装置
CN101655909A (zh) 匹配程度计算装置及方法
CN114092877A (zh) 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN102043963A (zh) 一种图像人数识别统计方法
CN112347949A (zh) 一种基于互联网的垃圾分类回收处理系统
CN105976407A (zh) 一种适用于遮挡条件下的餐盘形状识别方法
CN116682098A (zh) 一种城市生活垃圾自动识别分类系统及方法
CN111832749B (zh) 垃圾袋识别方法及相关装置
CN110775467B (zh) 基于智能识别与语音提示的垃圾收纳系统与方法
CN113859803A (zh) 一种智能识别垃圾桶及其智能识别方法
CN113255550A (zh) 一种基于视频的行人垃圾扔投次数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant