CN116682051A - 基于视觉的垃圾投放行为监管方法及装置 - Google Patents

基于视觉的垃圾投放行为监管方法及装置 Download PDF

Info

Publication number
CN116682051A
CN116682051A CN202310346823.9A CN202310346823A CN116682051A CN 116682051 A CN116682051 A CN 116682051A CN 202310346823 A CN202310346823 A CN 202310346823A CN 116682051 A CN116682051 A CN 116682051A
Authority
CN
China
Prior art keywords
garbage
throwing
behavior
determining
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310346823.9A
Other languages
English (en)
Other versions
CN116682051B (zh
Inventor
范延军
程倬
张雷
王超
田鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Vortex Information Technology Co ltd
Original Assignee
Suzhou Vortex Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vortex Information Technology Co ltd filed Critical Suzhou Vortex Information Technology Co ltd
Publication of CN116682051A publication Critical patent/CN116682051A/zh
Application granted granted Critical
Publication of CN116682051B publication Critical patent/CN116682051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了基于视觉的垃圾投放行为监管方法及装置，包括当发现视频变化时，缓存相应的视频流，通过对相应的若干帧图像进行目标识别和检测，获得垃圾桶的边界信息以及手部运动轨迹和变动的垃圾的位置信息，通过确定变动的垃圾的位置信息，判定是否为违规投放。本发明还可以配合垃圾桶内上表面垃圾与第一摄像头的距离，更准确的确定满溢投放行为，使得可以有针对性对相关的投放行为进行介入处置，既可以提高垃圾投放行为的监管效率，又能提高垃圾投放监管的及时性和有效性。

Description

基于视觉的垃圾投放行为监管方法及装置
技术领域
本发明涉及垃圾分类领域，尤其是涉及基于视觉的垃圾投放行为监管方法及装置。
背景技术
为改善居民居住环境，促进资源的回收利用，各个小区均配置有相应的垃圾投放分类点，但目前的分类质量依然有待提高，垃圾分类的质量一方面与居民掌握的垃圾分类知识相关，另一方面则与居民本身的投放行为有关。其中，垃圾分类知识具有标准的内容可以通过多种方式向居民进行普及，但居民的投放行为却无法有效的监管。
常见的违规投放行为通常包括未投放入桶以及满溢后继续投放等方式，为了对居民的投放行为进行监管，往往通过传统的人工监管的方式，耗费人力较多，且效率低下，难以满足当前的实际需求。
发明内容
为解决上述问题，本发明提出了基于视觉的垃圾投放行为监管方法及装置。
本发明的主要内容包括：
基于视觉的垃圾投放行为监管方法，包括:
实时获取第一摄像头的视频流，得到第一视频流；所述第一摄像头设置在所述垃圾桶正上方；
对所述第一视频流进行变化检测，当视频内出现手或者垃圾时，缓存设定长度的视频流，得到设定帧数的待识别图像；
对设定帧数的所述待识别图像进行目标识别，获取垃圾桶的边界位置信息，得到桶内区域和桶外区域；
对设定帧数的所述待识别图像进行目标检测，确定手部的运动轨迹和/或变动的垃圾的位置信息；
根据手部的运动轨迹、变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放。
优选的，根据手部的运动轨迹、变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，包括：
当设定帧数的所述待识别图像中出现手时，确定手部的运动轨迹是否符合预设方向；
当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中不存在变动的垃圾，确定投放垃圾行为的类型为违规投放；
当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中存在变动的垃圾，或者当设定帧数的所述待识别图像中未出现手、且出现垃圾时，根据变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型。
优选的，当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中存在变动的垃圾，或者当设定帧数的所述待识别图像中未出现手、且出现垃圾时，根据变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，包括：
当变动的垃圾的位置位于所述桶外区域时，确定投放垃圾行为的类型为违规投放；否则，根据垃圾桶的调整机构的位置以及垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为的类型；
其中，所述调整机构位于垃圾桶底部且在所述垃圾桶内上下运动，以保证垃圾桶内上表面的垃圾与第一摄像头之间的距离为设定值。
优选的，根据垃圾桶的调整机构的位置以及变动的垃圾与所述第一摄像头的距离，确定变动的垃圾的分类类型，包括：
确定所述调整机构的高度是否达到设定位置，若达到，则确定投放垃圾行为满溢投放；若未达到，则根据垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为类型。
优选的，若未达到，则根据垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为类型，包括：
当垃圾桶内上表面的垃圾与所述第一摄像头的距离小于设定距离时，确定投放垃圾行为类型为满溢投放；
否则，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型。
优选的，否则，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型，包括：
当变动的垃圾的位置与垃圾桶的位置的重合率大于设定，确定投放垃圾行为类型为违规投放；否则为正常投放。
优选的，所述垃圾桶包括上下开口的桶主体以及底桶，所述调整机构包括升降底板以及驱动升降底板上下运动的驱动机构，所述驱动机构布设在所述底桶内，所述驱动机构根据垃圾桶上表面的垃圾与所述第一摄像头之间的距离驱动所述升降底板在所述桶主体内上下运动；
所述驱动机构包括水平设置的调节齿条、与所述调节齿条啮合的驱动齿轮和轴承连接在所述底桶底部的调节套体、与所述升降底板连接的升降柱体以及驱动电机；所述升降柱体与所述调节套体螺纹连接；所述驱动电机的主轴与所述驱动齿轮连接。
优选的，所述升降底板上布设有若干喷嘴，所述升降柱体内布设有喷淋管体，所述喷淋管体与若干所述喷嘴连接；所述升降底板与所述桶本体的内壁抵接的端面设置有毛刷，所述底桶内还设有至少一风机。
优选的，在所述垃圾桶桶口或者摄像头上设置位移传感器以获取垃圾桶内上表面的垃圾与所述第一摄像头的距离。
优选的，由设定帧数的所述待识别图像进行目标检测，获取变动的垃圾的位置信息，包括：
获取变动发生前的至少一帧图像以及变动发生后至少一帧图像；
通过孪生网络对比相应两帧图像，生成变动区域的掩码；
根据掩码位置确定变动的垃圾的位置信息。
本发明还提出了基于视觉的垃圾投放行为检测装置，包括：
采集模块，包括至少一个第一摄像头，所述摄像头一对一或者一对多布设在垃圾桶的正上方，用于实时获取第一视频流；
存储模块，用于存储待识别的视频流；
处理模块，用于执行上述的视觉的垃圾投放行为检测方法，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放；
提醒模块，根据投放垃圾行为的类型，发出相应的提示。
本发明的有益效果在于：本发明提出的基于视觉的垃圾投放行为监管方法及装置，通过确定变动的垃圾的位置信息，判定是否为违规投放；同时配合垃圾桶内上表面垃圾与第一摄像头的距离，更准确的确定满溢投放行为，使得可以有针对性对相关的投放行为进行介入处置，既可以提高垃圾投放行为的监管效率，又能提高垃圾投放监管的及时性和有效性。
附图说明
图1为本发明的监管方法流程图；
图2为本发明调整机构的结构示意图；
附图标记：
1、电机，2、驱动齿轮，3、调节齿条，4、从动齿轮，5、调节套体，6、升降柱体，7、轴承，8、喷嘴，9、升降底板，10、毛刷，11、桶主体，12、底桶，13、风机，14、排液口。
实施方式
以下结合附图对本发明所保护的技术方案做具体说明。
本发明公开了基于视觉的垃圾投放行为监管方法，当可能出现投放行为时，通过对变动的垃圾的位置信息进行分析，即可快速的确定垃圾投放行为的类型；其中，针对可能出现投放行为的判定考虑多种情况，一种是视频中出现了手，此时，仅需要判定手部的运动轨迹是否符合预设的方向，具体的是指，手部的运动应当是由垃圾房外向着垃圾房内的方向运动，当出现的手部运动轨迹是其他方向的，可以认为是非投放动作；当出现手时，如果手部轨迹符合预设方向，才认为存在投放行为，对于此种情况，进一步根据是否出现变动的垃圾来判定，此时若未检测到第一摄像头拍摄到的区域（桶内区域和桶外区域）有变动的垃圾，可直接认为垃圾未投入桶内，认为是一次违规投放；若检测到第一摄像头拍摄到的区域有变动的垃圾，则根据变动垃圾的位置信息以及其与垃圾桶的边界的位置关系来进一步确定投放垃圾行为的类型，而变动的垃圾的位置信息既包括垃圾位于桶内区域或桶外区域的位置，又包括垃圾的高度信息以及垃圾与垃圾桶边界的重合率等信息。
具体地，通过在垃圾桶的正上方布设第一摄像头来实时获取垃圾桶内部以及周边的第一视频流，根据垃圾在桶内区域和桶外区域的位置来判定一次投放行为的类型；其中，桶内区域即垃圾桶边界包围的区域，更进一步地，即垃圾桶边界的内边缘包围的区域为桶内区域，而外边缘与摄像头的采集范围的边缘之间的区域则为桶外区域；在一个垃圾房内，可以使用一个摄像头监测所有垃圾桶的变动情况，也可以一个摄像头监控一个垃圾桶；当使用一个摄像头监测所有垃圾桶时，可以按照排列的顺序依次识别相应垃圾桶的边界，划定其相应的桶内区域和桶外区域。
采用现有的变化检测算法来对所述第一视频流进行变化检测，当视频内出现手或者垃圾时，缓存设定长度的视频流，得到设定帧数的待识别图像，所述设定帧数的待识别图像为连续的多帧图像，包括变化发生前的若干帧图像、变化过程中的若干帧图像以及停止后的若干帧图像。
为了减少处理量，仅对设定帧数的所述待识别图像进行目标识别，以获取垃圾桶的边界位置信息，得到相应的桶内区域和桶外区域；同时对设定帧数的待识别图像进行目标检测得到手部的运动轨迹和变动垃圾的位置信息，若出现了手，则首先根据手部的运动轨迹来判定是否构成一次投放行为，若不符合，则认为是一次非投放行为，而无需再去判定桶内区域和桶外区域是否存在变动的垃圾；若手部的运动轨迹符合预设方向，则被认为是一次投放行为，此时需要获取桶内区域和桶外区域的变动垃圾的信息；如果不存在变动的垃圾，则认为是一次违规行为，而如果存在变动的垃圾，则进一步对变动垃圾的位置信息进行分析来判定该次投放垃圾行为的类型。此外，当对设定帧数的待识别图像进行目标检测未获得手部的运动轨迹，仅得到变动垃圾的位置信息，此时，也要进一步对变动垃圾的位置信息进行分析来判定该次投放垃圾行为的类型。
即当存在变动的垃圾时，则根据垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放。
具体地，由设定帧数的所述待识别图像进行目标检测，获取变动的垃圾的位置信息，包括：
获取变动发生前的至少一帧图像以及变动发生后至少一帧图像；
通过孪生网络对比相应两帧图像，生成变动区域的掩码；
根据掩码位置确定变动的垃圾的位置信息。
进一步地，根据垃圾的位置信息以及垃圾桶的边界位置信息，确定垃圾的分类类型，包括如下步骤：
当变动的垃圾的位置位于所述桶外区域时，确定投放垃圾行为为违规投放，即投入的垃圾未被投入桶内，因此被认定为一次违规投放行为。
当变动的垃圾的位置未位于所述桶外区域，则一种情况是垃圾被投入桶内，另一种情况则可能是垃圾未完全入桶，部分落至垃圾桶的边界上，落至垃圾桶的边界进一步可能是未投放到位，另一种情况可能是正确投入后，由于垃圾桶内垃圾已满而造成部分掉落至边界甚至桶外。
其中，对于正常投放行为，变动的垃圾应当是位于桶内区域，且垃圾桶内上表面的垃圾与所述第一摄像头的距离大于设定距离，即桶内垃圾的高度未超出设定的高度；而对于满溢投放行为，根据垃圾桶内上表面的垃圾与所述第一摄像头的距离小于设定距离以及垃圾桶内的调整机构在垃圾桶内的高度来判定，即当调整机构的高度达到设定的高度，则表示垃圾桶已满；而当调整机构未到设定高度，但投入垃圾后垃圾桶内上表面的垃圾与所述第一摄像头的距离小于设定距离，也被认为是一次满溢投放行为；而若此时垃圾桶内上表面的垃圾与所述第一摄像头的距离大于设定距离，也可能存在垃圾未完全入桶而部分遗留在垃圾桶边界的情况，此时，则认为是一次违规投放行为。
其中，所述调整机构位于垃圾桶底部且在所述垃圾桶内上下运动，以保证垃圾桶内上表面的垃圾与第一摄像头之间的距离为设定值，在所述垃圾桶桶口或者摄像头上设置位移传感器以获取垃圾桶内上表面的垃圾与所述第一摄像头的距离。
具体地，请参阅图2，所述垃圾桶包括上下设置的桶主体11以及底桶12，所述桶主体11为两端开口的结构，所述底桶12为一端开口的设置，两者可以一体成型，也可以独立可拆卸的组合使用，在一个实施例中，所述底桶12可以配置不同的桶本体；在所述底桶内设置有所述支撑机构，所述支撑机构包括升降底板9以及驱动机构，所述驱动机构驱动所述升降底板9能够在桶主体11内上下运动，且其两端与所述桶主体11的内壁保持密封，防止垃圾掉落至底桶内；具体地，所述驱动机构包括水平设置的调节齿条3、驱动齿轮2、调节套体5、与调节套体5螺纹连接的升降柱体6以及驱动电机1；所述调节齿条3长度可以小于所述底桶12的宽度，使得所述调节齿条3能够在底桶12内有足够的空间水平运动，在其他实施例中，当然也可以伸出底桶12外部。
所述驱动齿轮2与所述驱动电机1的主轴连接，且与所述调节齿条3啮合；所述调节套体5通过轴承7连接在所述底桶12的底部，且通过从动齿轮4与所述调节齿条3啮合；所述驱动电机1驱动所述驱动齿轮2转动，使得所述调节齿条3水平运动，从而使得所述调节套体5能够随着所述调节套体5的运动而转动，随着所述调节套体5的转动而使得其与所述升降柱体螺纹拧紧或拧松，从而使得所述升降底板9上升或者下降。
此外，所述升降底板上布设有若干喷嘴8，所述升降柱体6内布设有喷淋管体，所述喷淋管体与若干所述喷嘴连接；所述升降底板9与所述桶本体11的内壁抵接的端面设置有毛刷10，所述底桶内还设有至少一风机13。当升降底板9下降到设定的高度时，则表示垃圾投入量已满，即可发出满溢的提示，即可提示工作人员介入处置，当工作人员倾倒处理后，所述升降底板9再根据环境亮度调节至初始高度，在其恢复到初始的高度时，可以先通过设置在所述升降底板9两端的毛刷10对桶壁进行清洁，随后还可以通过布设在升降柱体6内的喷淋管体以及布设在所述升降底板底面的喷淋口8内的喷嘴喷洒清洁剂或者清水，对桶壁进行清洁，之后通过底桶12底部的排液口14排出废水，最后再通过风机13烘干底桶。即还能够完成自动的垃圾桶清洁。
在本实施例中，根据垃圾桶的调整机构的位置以及变动的垃圾与所述第一摄像头的距离，确定变动的垃圾的分类类型，包括：
确定所述调整机构的高度是否达到设定位置，若达到，则确定投放垃圾行为满溢投放；若未达到，则根据垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为类型；当垃圾桶内上表面的垃圾与所述第一摄像头的距离小于设定距离时，确定投放垃圾行为类型为满溢投放；否则，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型。
更进一步地，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型，包括：当变动的垃圾的位置与垃圾桶的位置的重合率大于设定，确定投放垃圾行为类型为违规投放；否则为正常投放。
此外，本发明还提出了基于视觉的垃圾投放行为检测装置，包括：
采集模块，包括至少一个第一摄像头，所述摄像头一对一或者一对多布设在垃圾桶的正上方，用于实时获取第一视频流；
存储模块，用于存储待识别的视频流；
处理模块，用于执行上述的视觉的垃圾投放行为检测方法，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放；
提醒模块，根据投放垃圾行为的类型，发出相应的提示。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于视觉的垃圾投放行为监管方法，其特征在于，包括：
实时获取第一摄像头的视频流，得到第一视频流；所述第一摄像头设置在所述垃圾桶正上方；
对所述第一视频流进行变化检测，当视频内出现手或者垃圾时，缓存设定长度的视频流，得到设定帧数的待识别图像；
对设定帧数的所述待识别图像进行目标识别，获取垃圾桶的边界位置信息，得到桶内区域和桶外区域；
对设定帧数的所述待识别图像进行目标检测，确定手部的运动轨迹和/或变动的垃圾的位置信息；
根据手部的运动轨迹、变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放。
2.根据权利要求1所述的基于视觉的垃圾投放行为监管方法，其特征在于，
根据手部的运动轨迹、变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，包括：
当设定帧数的所述待识别图像中出现手时，确定手部的运动轨迹是否符合预设方向；
当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中不存在变动的垃圾，确定投放垃圾行为的类型为违规投放；
当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中存在变动的垃圾，或者当设定帧数的所述待识别图像中未出现手、且出现垃圾时，根据变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型。
3.根据权利要求2所述的基于视觉的垃圾投放行为监管方法，其特征在于，
当手部的运动轨迹符合预设方向、且设定帧数的所述待识别图像中存在变动的垃圾，或者当设定帧数的所述待识别图像中未出现手、且出现垃圾时，根据变动的垃圾的位置信息以及垃圾桶的边界位置信息，确定投放垃圾行为的类型，包括：
当变动的垃圾的位置位于所述桶外区域时，确定投放垃圾行为的类型为违规投放；否则，根据垃圾桶的调整机构的位置以及垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为的类型；
其中，所述调整机构位于垃圾桶底部且在所述垃圾桶内上下运动，以保证垃圾桶内上表面的垃圾与第一摄像头之间的距离为设定值。
4.根据权利要求3所述的基于视觉的垃圾投放行为监管方法，其特征在于，
根据垃圾桶的调整机构的位置以及变动的垃圾与所述第一摄像头的距离，确定变动的垃圾的分类类型，包括：
确定所述调整机构的高度是否达到设定位置，若达到，则确定投放垃圾行为满溢投放；若未达到，则根据垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为类型。
5.根据权利要求4所述的基于视觉的垃圾投放行为监管方法，其特征在于，
若未达到，则根据垃圾桶内上表面的垃圾与所述第一摄像头的距离，确定投放垃圾行为类型，包括：
当垃圾桶内上表面的垃圾与所述第一摄像头的距离小于设定距离时，确定投放垃圾行为类型为满溢投放；
否则，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型。
6.根据权利要求5所述的基于视觉的垃圾投放行为监管方法，其特征在于，否则，获取变动的垃圾的位置与垃圾桶的边界位置的重合率，确定投放垃圾行为类型，包括：
当变动的垃圾的位置与垃圾桶的位置的重合率大于设定，确定投放垃圾行为类型为违规投放；否则为正常投放。
7.根据权利要求3所述的基于视觉的垃圾投放行为监管方法，其特征在于，
所述垃圾桶包括上下开口的桶主体以及底桶，所述调整机构包括升降底板以及驱动升降底板上下运动的驱动机构，所述驱动机构布设在所述底桶内，所述驱动机构根据垃圾桶上表面的垃圾与所述第一摄像头之间的距离驱动所述升降底板在所述桶主体内上下运动；
所述驱动机构包括水平设置的调节齿条、与所述调节齿条啮合的驱动齿轮和轴承连接在所述底桶底部的调节套体、与所述升降底板连接的升降柱体以及驱动电机；所述升降柱体与所述调节套体螺纹连接；所述驱动电机的主轴与所述驱动齿轮连接；
所述升降底板上布设有若干喷嘴，所述升降柱体内布设有喷淋管体，所述喷淋管体与若干所述喷嘴连接；所述升降底板与所述桶本体的内壁抵接的端面设置有毛刷，所述底桶内还设有至少一风机。
8.根据权利要求3所述的基于视觉的垃圾投放行为监管方法，其特征在于，在所述垃圾桶桶口或者摄像头上设置位移传感器以获取垃圾桶内上表面的垃圾与所述第一摄像头的距离。
9.根据权利要求1所述的基于视觉的垃圾投放行为监管方法，其特征在于，
对设定帧数的所述待识别图像进行目标检测，获取变动的垃圾的位置信息，包括：
获取变动发生前的至少一帧图像以及变动发生后至少一帧图像；
通过孪生网络对比相应两帧图像，生成变动区域的掩码；
根据掩码位置确定变动的垃圾的位置信息。
10.基于视觉的垃圾投放行为检测装置，其特征在于，包括：
采集模块，包括至少一个第一摄像头，所述摄像头一对一或者一对多布设在垃圾桶的正上方，用于实时获取第一视频流；
存储模块，用于存储待识别的视频流；
处理模块，用于执行如权利要求1至9任一所述的视觉的垃圾投放行为检测方法，确定投放垃圾行为的类型，所述投放垃圾行为的类型包括满溢投放、正常投放以及违规投放；
提醒模块，根据投放垃圾行为的类型，发出相应的提示。
CN202310346823.9A 2023-01-16 2023-04-03 基于视觉的垃圾投放行为监管方法及装置 Active CN116682051B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310062690 2023-01-16
CN2023100626902 2023-01-16

Publications (2)

Publication Number Publication Date
CN116682051A true CN116682051A (zh) 2023-09-01
CN116682051B CN116682051B (zh) 2024-05-24

Family

ID=87782484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310346823.9A Active CN116682051B (zh) 2023-01-16 2023-04-03 基于视觉的垃圾投放行为监管方法及装置

Country Status (1)

Country Link
CN (1) CN116682051B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027779A (ja) * 2004-07-13 2006-02-02 Hitachi Kiden Kogyo Ltd ごみ処理工場用自動クレーンの制御装置
CN107472752A (zh) * 2017-09-21 2017-12-15 左勤 一种生活垃圾分类收集及智能监督的方法和系统
JP2018193230A (ja) * 2017-05-22 2018-12-06 新明和工業株式会社 作業車両およびこれに装備された人物認識装置
CN109264249A (zh) * 2018-09-07 2019-01-25 陈政 升降式垃圾自动排出的智能垃圾桶
CN209192769U (zh) * 2018-11-13 2019-08-02 杭州祺来电子有限公司 一种带底板升降的自动垃圾桶
CN110371540A (zh) * 2019-08-29 2019-10-25 深圳市德立信环境工程有限公司 一种新型的垃圾分类操作系统及方法
CN110498151A (zh) * 2019-07-11 2019-11-26 应一帆 完全自动监控垃圾投放的智能垃圾分类收集装置
CN111977230A (zh) * 2020-09-10 2020-11-24 武汉咻达环保科技有限公司 一种垃圾分类投放装置
CN112249549A (zh) * 2020-10-16 2021-01-22 苏州市伏泰信息科技股份有限公司 一种基于部队垃圾分类的智能投放装置
CN112407674A (zh) * 2020-10-15 2021-02-26 中标慧安信息技术股份有限公司 垃圾投放监控方法及系统
CN113111769A (zh) * 2021-04-09 2021-07-13 平安国际智慧城市科技股份有限公司 垃圾违规投放行为监控方法、装置和计算机设备
CN113128397A (zh) * 2021-04-16 2021-07-16 广州中大中鸣科技有限公司 一种垃圾分类投放的监控方法、系统、装置及存储介质
CN113213017A (zh) * 2021-06-08 2021-08-06 苏州市伏泰信息科技股份有限公司 一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统
CN113859807A (zh) * 2021-09-27 2021-12-31 联想(北京)有限公司 一种收纳设备及其管理系统
CN113911585A (zh) * 2021-11-02 2022-01-11 深圳昶维科技有限公司 一种智能化垃圾分类管理方法及系统
CN114092877A (zh) * 2021-11-03 2022-02-25 北京工业大学 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN114548767A (zh) * 2022-02-23 2022-05-27 浙江七巧连云生物传感技术股份有限公司 基于物联网垃圾分类投放智能监控识别管理系统
CN114633966A (zh) * 2022-03-29 2022-06-17 海南祥萍智能化科技有限公司 一种智慧城市用垃圾分类回收系统
CN217111114U (zh) * 2022-01-27 2022-08-02 苏州市伏泰信息科技股份有限公司 一种垃圾车动态自动称重装置
CN115035391A (zh) * 2022-06-24 2022-09-09 盛视科技股份有限公司 垃圾桶满溢判别方法以及判别系统
CN115072213A (zh) * 2021-03-11 2022-09-20 北京中科润金环保工程股份有限公司 一种具有实时监测功能的等离子除臭智慧垃圾房
CN115564376A (zh) * 2022-09-27 2023-01-03 北京声智科技有限公司 垃圾投放管理系统和垃圾存放系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027779A (ja) * 2004-07-13 2006-02-02 Hitachi Kiden Kogyo Ltd ごみ処理工場用自動クレーンの制御装置
JP2018193230A (ja) * 2017-05-22 2018-12-06 新明和工業株式会社 作業車両およびこれに装備された人物認識装置
CN107472752A (zh) * 2017-09-21 2017-12-15 左勤 一种生活垃圾分类收集及智能监督的方法和系统
CN109264249A (zh) * 2018-09-07 2019-01-25 陈政 升降式垃圾自动排出的智能垃圾桶
CN209192769U (zh) * 2018-11-13 2019-08-02 杭州祺来电子有限公司 一种带底板升降的自动垃圾桶
CN110498151A (zh) * 2019-07-11 2019-11-26 应一帆 完全自动监控垃圾投放的智能垃圾分类收集装置
CN110371540A (zh) * 2019-08-29 2019-10-25 深圳市德立信环境工程有限公司 一种新型的垃圾分类操作系统及方法
CN111977230A (zh) * 2020-09-10 2020-11-24 武汉咻达环保科技有限公司 一种垃圾分类投放装置
CN112407674A (zh) * 2020-10-15 2021-02-26 中标慧安信息技术股份有限公司 垃圾投放监控方法及系统
CN112249549A (zh) * 2020-10-16 2021-01-22 苏州市伏泰信息科技股份有限公司 一种基于部队垃圾分类的智能投放装置
CN115072213A (zh) * 2021-03-11 2022-09-20 北京中科润金环保工程股份有限公司 一种具有实时监测功能的等离子除臭智慧垃圾房
CN113111769A (zh) * 2021-04-09 2021-07-13 平安国际智慧城市科技股份有限公司 垃圾违规投放行为监控方法、装置和计算机设备
CN113128397A (zh) * 2021-04-16 2021-07-16 广州中大中鸣科技有限公司 一种垃圾分类投放的监控方法、系统、装置及存储介质
CN113213017A (zh) * 2021-06-08 2021-08-06 苏州市伏泰信息科技股份有限公司 一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统
CN113859807A (zh) * 2021-09-27 2021-12-31 联想(北京)有限公司 一种收纳设备及其管理系统
CN113911585A (zh) * 2021-11-02 2022-01-11 深圳昶维科技有限公司 一种智能化垃圾分类管理方法及系统
CN114092877A (zh) * 2021-11-03 2022-02-25 北京工业大学 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN217111114U (zh) * 2022-01-27 2022-08-02 苏州市伏泰信息科技股份有限公司 一种垃圾车动态自动称重装置
CN114548767A (zh) * 2022-02-23 2022-05-27 浙江七巧连云生物传感技术股份有限公司 基于物联网垃圾分类投放智能监控识别管理系统
CN114633966A (zh) * 2022-03-29 2022-06-17 海南祥萍智能化科技有限公司 一种智慧城市用垃圾分类回收系统
CN115035391A (zh) * 2022-06-24 2022-09-09 盛视科技股份有限公司 垃圾桶满溢判别方法以及判别系统
CN115564376A (zh) * 2022-09-27 2023-01-03 北京声智科技有限公司 垃圾投放管理系统和垃圾存放系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIMIN YUN 等: "Vision-based garbage dumping action detection for real-world surveillance platform", 《ETRI JOURNAL》, 10 July 2019 (2019-07-10), pages 494 - 505 *
崔文婧: "基于视频监控的海漂垃圾监测方法研究", 《《中国优秀硕士学位论文全文数据库 工程科技I辑》》, 15 September 2020 (2020-09-15), pages 027 - 188 *
秦铂涛: "基于视觉识别的智能垃圾分拣车的设计与实现", 《机械研究与应用》, 30 December 2021 (2021-12-30), pages 90 - 92 *

Also Published As

Publication number Publication date
CN116682051B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN111169865B (zh) 一种具有破袋功能的智能垃圾投放箱及使用方法
CN116682051B (zh) 基于视觉的垃圾投放行为监管方法及装置
CN112320266B (zh) 一种皮带机智能管理系统的管理方法
CN107896299A (zh) 一种自洁式球型摄像机
CN113050564B (zh) 核孔膜蚀刻线自反馈联动生产控制装置
CN104891319A (zh) 一种节能自动扶梯或自动人行道及其运行控制方法
CN115783550B (zh) 一种垃圾投放行为的收集系统
CN213846855U (zh) 一种隐蔽式货物仓储监控装置
CN113440069A (zh) 一种基于智能分析的自动除尘装置、除尘系统及除尘方法
CN109823312B (zh) 镜头清理装置及其控制方法、装置、车辆
CN112295806A (zh) 一种汽车维修保养用喷漆装置
CN104363412B (zh) 狭长区域的大视场监管系统及监管方法
CN1253706C (zh) 块状沉淀颗粒用摄象系统
CN115830545A (zh) 面向垃圾分类的智能督导方法及系统
CN209463001U (zh) 保水节水造林器
CN208051941U (zh) 一种通信机房轨道机器人巡检系统
CN206646207U (zh) 一种用于异纤机的储棉装置及相应异纤机
CN206634554U (zh) 一种垃圾桶
CN109682812B (zh) 一种荧光剂图像判别方法及荧光剂检测方法
CN109682810B (zh) 一种图像传感器运动结构和具有该结构的荧光剂检测装置
CN213770097U (zh) 一种皮带机智能管理系统
CN115199858B (zh) 一种金属管段检测设备
CN216057178U (zh) 一种具备行人重识别及动态跟踪的智能摄像头
CN220765442U (zh) 一种基于机器视觉的智能垃圾桶分拣装置
JP3393088B2 (ja) 洗浄液噴出不良の検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant