CN114715562B - 一种厨余垃圾违规投放行为的识别方法 - Google Patents

一种厨余垃圾违规投放行为的识别方法 Download PDF

Info

Publication number
CN114715562B
CN114715562B CN202210275227.1A CN202210275227A CN114715562B CN 114715562 B CN114715562 B CN 114715562B CN 202210275227 A CN202210275227 A CN 202210275227A CN 114715562 B CN114715562 B CN 114715562B
Authority
CN
China
Prior art keywords
pedestrians
pedestrian
garbage
kitchen
illegal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210275227.1A
Other languages
English (en)
Other versions
CN114715562A (zh
Inventor
李晓凯
朱光强
湛艳波
王和平
赖时伍
罗富章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxvision Technology Corp
Original Assignee
Maxvision Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxvision Technology Corp filed Critical Maxvision Technology Corp
Priority to CN202210275227.1A priority Critical patent/CN114715562B/zh
Publication of CN114715562A publication Critical patent/CN114715562A/zh
Application granted granted Critical
Publication of CN114715562B publication Critical patent/CN114715562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00Refuse receptacles; Accessories therefor
    • B65F1/14Other constructional features; Accessories
    • B65F1/1484Other constructional features; Accessories relating to the adaptation of receptacles to carry identification means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00Equipment of refuse receptacles
    • B65F2210/138Identification means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/10Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种厨余垃圾违规投放行为的识别方法,包括以下步骤:从视频帧中检测行人;检测到行人手上有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域;对行人进行倾倒动作识别;检测到有效的倾倒动作识别后,继续对行人进行跟踪直至离开达厨余垃圾桶区域;再次判断行人手上是否有垃圾袋;若行人手上有垃圾袋,则判断行人本次的厨余垃圾投放行为合规,反之则判断行人本次的厨余垃圾投放行为违规。本申请的厨余垃圾违规投放行为的识别方法通过检测到行人手上是否有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象,以自动识别出行人厨余垃圾投放的违规投放行为,提高社区居民环保意识以及资源利用率。

Description

一种厨余垃圾违规投放行为的识别方法
技术领域
本申请属于图像识别技术领域,更具体地说,是涉及一种厨余垃圾违规投放行为的识别方法。
背景技术
垃圾分类的一个重要目的就是为了将垃圾资源化,相较于其他垃圾,厨余垃圾的总量比较大。虽然厨余垃圾的处理方式很多,但由于其含水率高、含盐量高、有机质含量高、热值低等特点,使城市生活垃圾的填埋、焚烧以及堆肥处理过程中出现各种各样的环境问题,不适合与其他垃圾共同处理,所以垃圾分类的第一步就是把厨余垃圾从生活垃圾里分出来,在现阶段这一指标是垃圾分类效果最直接的体现。在垃圾分类的过程中,扔厨余垃圾时要将垃圾倒出,再将垃圾袋扔到其他垃圾的桶中,这是各大城市新版垃圾分类条例中要求的破袋处理。原因是厨余垃圾可以堆肥,但厨余垃圾袋则不然:垃圾袋是塑料制品,不可降解,会造成众人皆知的“白色污染”。不在垃圾分类前端将垃圾袋与厨余垃圾分开收集必将对厨余垃圾的高效回收与资源化产生巨大的负面影响。
由于垃圾分类是最新施行的政策,在现有技术中,所以针对厨余垃圾的投放行为只能人工监管,目前还没有有效的自动化监管措施。假如每个厨余垃圾投放点都需要一名环卫工人监管,那么将需要大量的人力资源才能保证厨余垃圾合理地投放,这种大量依赖人工监管的做法无疑大大地增加了环卫企业的用人成本,所以国内目前都是属于无人监管的状态。
发明内容
本申请实施例的目的在于提供一种厨余垃圾违规投放行为的识别方法,以解决现有技术对厨余垃圾的投放行过程中存在的监管不到位的技术问题。
为实现上述目的,本申请采用的技术方案是:提供一种厨余垃圾违规投放行为的识别方法,包括以下步骤:
从视频帧中检测行人;
检测到行人手上有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域;
对行人进行倾倒动作识别;
检测到有效的倾倒动作识别后,继续对行人进行跟踪直至离开达厨余垃圾桶区域;
再次判断行人手上是否有垃圾袋;
若行人手上有垃圾袋,则判断行人本次的厨余垃圾投放行为合规,反之则判断行人本次的厨余垃圾投放行为违规。
优选地,从视频帧中检测行人之前,还包括步骤:
通过垃圾桶检测模型检测视频帧中的厨余垃圾桶;
对厨余垃圾桶绘制检测框,厨余垃圾桶的检测框区域为厨余垃圾桶区域。
优选地,行人到达厨余垃圾桶区域的判定条件为:
行人检测框和厨余垃圾桶检测框的IOU大于阈值0.5。
优选地,行人离开厨余垃圾桶区域的判定条件为:
连续3帧行人检测框和厨余垃圾桶检测框的IOU小于阈值0.5。
优选地,对行人进行倾倒动作识别的方法包括:
检测到行人连续出现3帧倾倒动作,则判断倾倒动作有效,反之无效。
优选地,所述倾倒动作包括抬手动作、伸手动作以及收手动作。
优选地,判断行人本次的厨余垃圾投放行为违规之后,还包括步骤:
发出警报信息,提醒行人纠正违规行为。
优选地,判断行人本次的厨余垃圾投放行为违规之后,还包括步骤:
对行人进行人脸识别,保存人行的违规信息。
本申请提供的厨余垃圾违规投放行为的识别方法,与现有技术相比,通过检测到行人手上是否有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象,对行人进行倾倒动作识别以判断垃圾投放是否完成,通过对行人跟踪直至离开达厨余垃圾桶区域后再次检测手上是否有垃圾袋,以自动识别出行人厨余垃圾投放的违规投放行为,进而降低环卫企业的用人成本,提高社区居民环保意识以及资源利用率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的厨余垃圾违规投放行为的识别方法的流程示意图;
图2为图1中的厨余垃圾违规投放行为的识别方法中从视频帧中检测到行人时的场景示意图;
图3为图1中的厨余垃圾违规投放行为的识别方法中检测到行人到达厨余垃圾桶区域时的场景示意图;
图4为图1中的厨余垃圾违规投放行为的识别方法中对行人进行倾倒动作识别时的场景示意图;
图5为图1中的厨余垃圾违规投放行为的识别方法中行人离开厨余垃圾桶区域时的场景示意图;
图6为图1中的厨余垃圾违规投放行为的识别方法中行人离开厨余垃圾桶区域后再次检测行人手中是否有垃圾袋时的场景示意图;
图7为图1中的厨余垃圾违规投放行为的识别方法中行人处于抬手动作时的场景示意图;
图8为图1中的厨余垃圾违规投放行为的识别方法中行人处于伸手动作时的场景示意图;
图9为图1中的厨余垃圾违规投放行为的识别方法中行人处于收手动作时的场景示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请一并参阅图1至图6,现对本申请实施例提供的厨余垃圾违规投放行为的识别方法进行说明。所述厨余垃圾违规投放行为的识别方法包括以下步骤:
S1:从视频帧中检测行人;
S2:检测到行人手上有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域;
S3:对行人进行倾倒动作识别;
S4:检测到有效的倾倒动作识别后,继续对行人进行跟踪直至离开达厨余垃圾桶区域;
S5:再次判断行人手上是否有垃圾袋;
S6:若行人手上有垃圾袋,则判断行人本次的厨余垃圾投放行为合规,反之则判断行人本次的厨余垃圾投放行为违规。
可以理解的是,在S1中,由于该算法的主体是行人,所以首先需要检测出视频中的所有行人。视频开始后从视频帧中抽帧,然后把抽取的视频帧输入人体检测模型D1进行检测,其中人体检测模型D1为预先训练好的模型,基于YOLO框架训练得到。人体检测模型D1的训练数据可以为真实场景下采集的图片经过数据增强得到,以减小数据采集难度以及提高检测精准度。
在S2至中S3中,检测到行人之后,把检测结果输入到分类模型C1,判断行人有没有手提垃圾袋,分类模型C1是预先训练好的行人是否手提垃圾袋的二分类模型。
若检测到行人手上无垃圾袋,则对下一帧继续进行检测,直至检测到手上有垃圾袋的行人,并对行人进行跟踪直至到达厨余垃圾桶区域。若在跟踪过程中,行人走出了视频的可视范围内,则跟踪结束,继续从视频帧中抽帧检测行人。当然,如检测到多个行人手上有垃圾袋可以同时分别进行跟踪。
如果判定结果为继续跟踪行人,则利用DeepSORT跟踪算法对该行人进行跟踪,跟踪至厨余垃圾桶范围后将该行人检测结果输入到分类模型C2,对该行人进行倾倒动作识别,分类模型C2是预先训练好的行人是否有倾倒动作的二分类模型。该步骤判断倾倒动作是否有效,为了避免把非倾倒厨余垃圾的行为识别成倾倒厨余垃圾。
在S4至中S5中,继续对行人进行跟踪直至离开达厨余垃圾桶区域,再次判断行人手上是否有垃圾袋,若行人手上有垃圾袋,说明行人把在倾倒垃圾时未连同垃圾袋一起扔进厨余垃圾桶,则判断行人本次的厨余垃圾投放行为合规。若行人手上无垃圾袋,说明行人把在倾倒垃圾时连同垃圾袋一起扔进厨余垃圾桶,则判断行人本次的厨余垃圾投放行为违规。
本申请提供的厨余垃圾违规投放行为的识别方法,与现有技术相比,通过检测到行人手上是否有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象,对行人进行倾倒动作识别以判断垃圾投放是否完成,通过对行人跟踪直至离开达厨余垃圾桶区域后再次检测手上是否有垃圾袋,以自动识别出行人厨余垃圾投放的违规投放行为,进而降低环卫企业的用人成本,提高社区居民环保意识以及资源利用率。
在本申请另一个实施例中,从视频帧中检测行人之前,还包括步骤:
通过垃圾桶检测模型D2检测视频帧中的厨余垃圾桶;
对厨余垃圾桶绘制检测框,厨余垃圾桶的检测框区域为厨余垃圾桶区域。
可以理解的是,厨余垃圾桶的位置由垃圾桶检测模型D2预先确定,其中模型D2是基于YOLO框架训练得到的。该检测框可以是最小矩形框,也可以是以最小矩形框的中心进行扩大一定倍数得到的,以提高适应性。
进一步地,请一并参阅图3,行人到达厨余垃圾桶区域的判定条件为:
行人检测框和厨余垃圾桶检测框的IOU(Intersection over Union)大于阈值0.5。
可以理解的是,也即行人检测框和厨余垃圾桶检测框的交并比大于阈值0.5时,则判定行人到达厨余垃圾桶区域,开始对行人进行倾倒动作识别;行人检测框和厨余垃圾桶检测框的交并比小于阈值0.5时,则判定行人未到达厨余垃圾桶区域,将继续跟踪行人。
进一步地,请一并参阅图5,行人离开厨余垃圾桶区域的判定条件为:
连续3帧行人检测框和厨余垃圾桶检测框的IOU(Intersection over Union)小于阈值0.5。
可以理解的是,行人在投放垃圾过程中可能会存在移动情况,为避免造成误识别,将连续3帧行人检测框和厨余垃圾桶检测框的IOU小于阈值0.5作为行人离开厨余垃圾桶区域的判定条件,可以降低误识别的情况。
在本申请另一个实施例中,请一并参阅图4,对行人进行倾倒动作识别的方法包括:
检测到行人连续出现3帧倾倒动作,则判断倾倒动作有效,反之无效。
可以理解的是,对行人进行倾倒动作识别的过程中,检测到行人连续出现3帧倾倒动作才判断倾倒动作有效,可以有效减小误识别的概率。若直至行人离开厨余垃圾桶区域都未检测到行人连续出现3帧倾倒动作,则放弃对该行人的跟踪。
进一步地,请一并参阅图7至图9,所述倾倒动作包括抬手动作、伸手动作以及收手动作。
可以理解的是,由于行人倾倒垃圾过程中需要抬起垃圾袋、伸手倾倒垃圾、收手三个动作,因此,在检测到抬手动作、伸手动作以及收手动作后即可说明倾倒动作完成。
在本申请另一个实施例中,判断行人本次的厨余垃圾投放行为违规之后,还包括步骤:
发出警报信息,提醒行人纠正违规行为。
在本申请另一个实施例中,判断行人本次的厨余垃圾投放行为违规之后,还包括步骤:
对行人进行人脸识别,保存人行的违规信息。
可以理解的是,例如社区管理员可以通过算法反馈的结果统计多次违规投放的居民,并对其进行批评教育,必要时罚款处理。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本申请的保护范围之内。

Claims (3)

1.一种厨余垃圾违规投放行为的识别方法,其特征在于,包括以下步骤:
通过垃圾桶检测模型检测视频帧中的厨余垃圾桶;
对厨余垃圾桶绘制检测框,厨余垃圾桶的检测框区域为厨余垃圾桶区域;
视频开始后从视频帧中抽帧,然后把抽取的视频帧输入人体检测模型D1进行检测,其中人体检测模型D1为预先训练好的模型;
从视频帧中检测行人;检测到行人之后,把检测结果输入到分类模型C1,判断行人有没有手提垃圾袋,分类模型C1是预先训练好的行人是否手提垃圾袋的二分类模型;
检测到行人手上有垃圾袋,并对行人进行跟踪直至到达厨余垃圾桶区域,检测到多个行人手上有垃圾袋同时分别进行跟踪;若检测到行人手上无垃圾袋,则对下一帧继续进行检测,直至检测到手上有垃圾袋的行人,并对行人进行跟踪直至到达厨余垃圾桶区域;若在跟踪过程中,行人走出了视频的可视范围内,则跟踪结束,继续从视频帧中抽帧检测行人;
通过分类模型C2对行人进行倾倒动作识别,分类模型C2是预先训练好的行人是否有倾倒动作的二分类模型;
检测到有效的倾倒动作识别后,继续对行人进行跟踪直至离开厨余垃圾桶区域;行人离开厨余垃圾桶区域的判定条件为:连续3帧行人检测框和厨余垃圾桶检测框的IOU小于阈值0.5;
再次判断行人手上是否有垃圾袋;
若行人手上有垃圾袋,则判断行人本次的厨余垃圾投放行为合规,反之则判断行人本次的厨余垃圾投放行为违规;
对行人进行人脸识别,保存行人的违规信息。
2.如权利要求1所述的厨余垃圾违规投放行为的识别方法,其特征在于,行人到达厨余垃圾桶区域的判定条件为:
行人检测框和厨余垃圾桶检测框的IOU大于阈值0.5。
3.如权利要求1或2所述的厨余垃圾违规投放行为的识别方法,其特征在于,判断行人本次的厨余垃圾投放行为违规之后,还包括步骤:
发出警报信息,提醒行人纠正违规行为。
CN202210275227.1A 2022-03-21 2022-03-21 一种厨余垃圾违规投放行为的识别方法 Active CN114715562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210275227.1A CN114715562B (zh) 2022-03-21 2022-03-21 一种厨余垃圾违规投放行为的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210275227.1A CN114715562B (zh) 2022-03-21 2022-03-21 一种厨余垃圾违规投放行为的识别方法

Publications (2)

Publication Number Publication Date
CN114715562A CN114715562A (zh) 2022-07-08
CN114715562B true CN114715562B (zh) 2023-10-13

Family

ID=82237931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210275227.1A Active CN114715562B (zh) 2022-03-21 2022-03-21 一种厨余垃圾违规投放行为的识别方法

Country Status (1)

Country Link
CN (1) CN114715562B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115783550B (zh) * 2022-12-20 2023-10-10 苏州市伏泰信息科技股份有限公司 一种垃圾投放行为的收集系统
CN117893144A (zh) * 2023-02-09 2024-04-16 广州一千河科技有限公司 一种垃圾分类智能监管及督导装置和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112707058B (zh) * 2020-12-10 2022-04-08 广东芯盾微电子科技有限公司 一种厨余垃圾规范动作的检测方法、系统、装置及介质
CN112488021A (zh) * 2020-12-10 2021-03-12 中国计量大学 一种基于监控视频的垃圾投递违规行为检测方法及系统
CN113111769A (zh) * 2021-04-09 2021-07-13 平安国际智慧城市科技股份有限公司 垃圾违规投放行为监控方法、装置和计算机设备
CN113255550B (zh) * 2021-06-04 2023-11-03 中科(厦门)数据智能研究院 一种基于视频的行人垃圾扔投次数统计方法

Also Published As

Publication number Publication date
CN114715562A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114715562B (zh) 一种厨余垃圾违规投放行为的识别方法
CN109684979B (zh) 一种基于图像识别技术的垃圾分类方法、装置及电子设备
CN104443943B (zh) 一种饮料瓶回收装置
CN110294236A (zh) 一种垃圾分类监督装置、方法及服务器系统
CN111476085A (zh) 一种基于图像识别和积分奖励的垃圾分类投放系统及方法
CN106845424A (zh) 基于深度卷积网络的路面遗留物检测方法
CN110355188B (zh) 基于土地多重利用的智慧垃圾分类原位减量资源化系统
CN112061624A (zh) 一种垃圾分类的识别装置及识别方法
CN107600791A (zh) 交互式垃圾自动分类回收箱
CN111203430A (zh) 垃圾分类处理闭环系统
CN112407653A (zh) 一种基于物联网的垃圾分类系统
CN112777169B (zh) 应用于垃圾分类投放点的物联网监控方法和系统
CN111634573A (zh) 一种厨余垃圾自动破袋处理系统及方法
CN111814750A (zh) 基于深度学习目标检测和图像识别的智能垃圾分类方法及系统
CN108455127B (zh) 智能分类的垃圾桶
CN208326334U (zh) 一种基于二维码信息识别的智能分类箱
CN112978146A (zh) 一种基于视频分析的乱扔垃圾智能检测方法
CN111738118A (zh) 一种基于视觉识别的垃圾分类管理方法及系统
CN110921154A (zh) 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车
CN114548767A (zh) 基于物联网垃圾分类投放智能监控识别管理系统
CN111661508A (zh) 一种基于互联网与物联网交互的智能垃圾分类回收装置
CN210339123U (zh) 一种可智能分类回收的垃圾箱
CN115661732A (zh) 一种基于ai智能识别系统的垃圾分类及督导方法
CN115082863A (zh) 一种智能化垃圾分类投放扫描系统及方法
CN104609078A (zh) 垃圾监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant