CN117392616B - 垃圾投放的督导行为识别方法、装置、电子设备及介质 - Google Patents

垃圾投放的督导行为识别方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN117392616B
CN117392616B CN202311707021.2A CN202311707021A CN117392616B CN 117392616 B CN117392616 B CN 117392616B CN 202311707021 A CN202311707021 A CN 202311707021A CN 117392616 B CN117392616 B CN 117392616B
Authority
CN
China
Prior art keywords
supervisor
key points
images
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311707021.2A
Other languages
English (en)
Other versions
CN117392616A (zh
Inventor
江俊杰
熊超
牛昕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Corerain Technologies Co Ltd
Original Assignee
Shenzhen Corerain Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Corerain Technologies Co Ltd filed Critical Shenzhen Corerain Technologies Co Ltd
Priority to CN202311707021.2A priority Critical patent/CN117392616B/zh
Publication of CN117392616A publication Critical patent/CN117392616A/zh
Application granted granted Critical
Publication of CN117392616B publication Critical patent/CN117392616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及行为识别技术领域，涉及垃圾投放的督导行为识别方法、装置、电子设备及介质。本发明的垃圾投放的督导行为识别方法包括：确定多张待测图像及其分别对应的非督导员关键点以及督导员关键点；基于非督导员关键点，对多张待测图像进行筛选，得到时间连续的至少两张目标图像；基于督导员关键点以及非督导员关键点，构建每张目标图像对应的督导员区域、非督导员区域；确定每张目标图像对应的督导员区域与非督导员区域之间的距离信息，确定至少两个距离信息之间的距离关系；距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息，生成完成督导信息。本发明具有提高对督导员督导行为评估的准确性的效果。

Description

垃圾投放的督导行为识别方法、装置、电子设备及介质
技术领域
本发明涉及行为识别技术的领域，尤其是涉及一种垃圾投放的督导行为识别方法、装置、电子设备及介质。
背景技术
垃圾分类督导员作为近几年因城市治理而产生的社会角色，专业的督导员队伍的建设能够对规范居民的垃圾分类行为，促进垃圾回收、资源再利用等有着重要的意义，因此，针对垃圾分类督导员专业性进行评估也显得尤为重要。
不过，由于垃圾分类督导员的工作地点较为分散，致使无法对督导员在工作过程中的工作情况持续有效跟进评估，若通过使用传统的图像监控系统，人为来进行监控评估的话，将消耗过高的人工成本。
发明内容
为了提高对垃圾分类督导员督导行为评估的准确性，本发明提供一种垃圾投放的督导行为识别方法、装置、电子设备及介质。
第一方面，本发明提供一种垃圾投放的督导行为识别方法，采用如下的技术方案：
一种垃圾投放的督导行为识别方法，包括：
确定多张待测图像及其分别对应的督导员关键点、非督导员关键点；
基于所述非督导员关键点对所述多张待测图像进行筛选，得到时间连续的至少两张目标图像；
基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域；
确定所述至少两张目标图像分别对应的督导员区域与非督导员区域之间的距离信息，并确定所述至少两张目标图像分别对应的距离信息之间的距离关系；
在所述距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息。
根据一些实施例，确定多张待测图像，并对多张待测图像进行关键点提取，确定出多张待测图像分别对应的督导员关键点以及非督导员关键点；基于非督导员关键点，对多张待测图像进行筛选，从多张待测图像筛选出至少两张时间连续的目标图像，随后，基于督导员关键点和非督导员关键点，从至少两张目标图像中，将督导员和非督导员所在区域提取出来，确定出每张目标图像中的督导员区域和非督导员区域，之后，判断督导员是否在非督导员扔垃圾的过程中进行了督导最直接的方式就是判断督导员是否向非督导员移动，因此，在确定出至少两张目标图像分别对应的督导员区域和非督导员区域后，首先确定督导员区域与非督导员区域之间的距离信息，随后，将至少两张目标图像分别对应的距离信息进行距离关系的确定，在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，表明此时督导员存在非督导员扔垃圾过程中靠近非督导员进行垃圾分类督导的行为，随即生成督导员完成督导的信息，从而能够实时且准确的反应督导员进行垃圾分类督导的情况，进而提高了对垃圾分类督导员督导行为评估的准确性。
根据一些实施例，所述确定多张待测图像，包括：
获取时间连续的多张初始图像，并对所述多张初始图像进行人员检测，确定所述多张初始图像分别对应的人员关键点以及所述人员关键点包含的子人员关键点的组数；其中，所述初始图像为包含至少一名人员的图像；
在所述人员关键点包含至少两组子人员关键点的情况下，将包含所述至少两组子人员关键点的初始图像保留，并在所有初始图像筛选完成后，将保留的初始图像作为待测图像。
根据一些实施例，所述基于所述非督导员关键点对所述多张待测图像进行筛选，得到时间连续的至少两张目标图像，包括：
确定所述多张待测图像中的每张待测图像对应的非督导员关键点的坐标信息、每张待测图像对应的预设区域以及所述预设区域对应的坐标集合；
判断所述多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内；
在任一待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，将所述任一待测图像保留，并在所有待测图像判断完成后，得到至少两张目标图像。
根据一些实施例，所述判断所述多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内之后，还包括：
在所述每张待测图像中，某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且所述某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，停止对所述某一待测图像之后时间点的待测图像的判断。
根据一些实施例，所述非督导员关键点为多个，所述督导员关键点为多个；所述基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域，包括：
基于位置相距最远的关键点筛选准则，对多个非督导员关键点筛选，得到两个第一边缘关键点，以及对多个督导员关键点筛选，得到两个第二边缘关键点；
基于所述两个第一边缘关键点构建非督导员区域，以及基于所述两个第二边缘关键点构建督导员区域。
根据一些实施例，所述确定所述至少两张目标图像分别对应的非督导员区域和督导员区域之间的距离信息，包括：
确定所述至少两张目标图像分别对应的非督导员区域的第一目标关键点以及督导员区域的第二目标关键点；其中，所述第一目标关键点和所述第二目标关键点为各自对应的区域内任一关键点，另外，所述至少两张目标图像中的任一目标图像的第一目标关键点与其他目标图像的第一目标关键点表征的人员特征相同；
确定所述第一目标关键点对应的第一位置坐标以及所述第二目标关键点对应的第二位置坐标；
基于所述第一位置坐标以及所述第二位置坐标，确定所述至少两张目标图像分别对应的距离信息。
根据一些实施例，所述确定所述至少两张目标图像分别对应的距离信息之间的距离关系之后，还包括：
在所述距离关系为所述至少两张目标图像分别对应的距离信息相等的情况下，确定所述至少两张目标图像分别对应的多个督导行为关键点；其中， 所述至少两张目标图像中的任一目标图像对应的多个督导行为关键点与其他目标图像对应的多个督导行为关键点存在一一对应关系；
确定所述多个督导行为关键点分别对应的第三位置坐标；
将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，确定位置发生变更的督导行为关键点的数量；
在所述位置发生变更的督导行为关键点的数量未超出预设数量的情况下，生成督导员未完成督导的报警信息。
第二方面，本发明提供一种垃圾投放的督导行为识别装置，采用如下的技术方案：
一种垃圾投放的督导行为识别装置，包括：关键点确定模块、目标图像确定模块、区域构建模块、距离关系确定模块以及信息生成模块，其中，
关键点确定模块，用于确定多张待测图像及其分别对应的督导员关键点、非督导员关键点；
目标图像确定模块，用于基于所述非督导员关键点对所述多张待测图像进行筛选，得到时间连续的至少两张目标图像；
区域构建模块，用于基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域；
距离关系确定模块，用于确定每张目标图像对应的督导员区域与非督导员区域之间的距离信息，并确定所述至少两张目标图像分别对应的距离信息之间的距离关系；
信息生成模块，用于在所述距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息。
根据一些实施例，关键点确定模块确定多张待测图像，并对多张待测图像进行关键点提取，确定出多张待测图像分别对应的督导员关键点以及非督导员关键点；目标图像确定模块基于非督导员关键点，对多张待测图像进行筛选，从多张待测图像筛选出至少两张时间连续的目标图像，随后，区域构建模块基于督导员关键点和非督导员关键点，从至少两张目标图像中，将督导员和非督导员所在区域提取出来，确定出每张目标图像中的督导员区域和非督导员区域，之后，判断督导员是否在非督导员扔垃圾的过程中进行了督导最直接的方式就是判断督导员是否向非督导员移动，因此，距离关系确定模块在确定出至少两张目标图像分别对应的督导员区域和非督导员区域后，首先确定督导员区域与非督导员区域之间的距离信息，随后，将至少两张目标图像分别对应的距离信息进行距离关系的确定，在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，表明此时督导员存在非督导员扔垃圾过程中靠近非督导员进行垃圾分类督导的行为，随即信息生成模块生成督导员完成督导的信息，从而能够实时且准确的反应督导员进行垃圾分类督导的情况，进而提高了对垃圾分类督导员督导行为评估的准确性。
根据一些实施例，所述关键点确定模块，具体还用于：
获取时间连续的多张初始图像，并对所述多张初始图像进行人员检测，确定所述多张初始图像分别对应的人员关键点以及所述人员关键点包含的子人员关键点的组数；其中，所述初始图像为包含至少一名人员的图像；
在所述人员关键点包含至少两组子人员关键点情况下，将包含所述至少两组子人员关键点的初始图像保留，并在所有初始图像筛选完成后，得到多张待测图像。
根据一些实施例，所述目标图像确定模块，具体还用于：
确定所述多张待测图像中的每张待测图像对应的非督导员关键点的坐标信息、每张待测图像对应的预设区域以及所述预设区域对应的坐标集合；
判断所述多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内；
在任一待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，将所述任一待测图像保留，并在所有待测图像判断完成后，将保留的初始图像作为待测图像。
根据一些实施例，所述垃圾投放的督导行为识别装置，还包括：图像停止判断模块，其中，
图像停止判断模块，用于在所述每张待测图像中，某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且所述某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，停止对所述某一待测图像之后时间点的待测图像的判断。
根据一些实施例，所述非督导员关键点为多个，所述督导员关键点为多个，所述区域构建模块，具体还用于：
基于位置相距最远的关键点筛选准则，对多个非督导员关键点筛选，得到两个第一边缘关键点，以及对多个督导员关键点筛选，得到两个第二边缘关键点；
基于所述两个第一边缘关键点构建非督导员区域，以及基于所述两个第二边缘关键点构建督导员区域。
根据一些实施例，所述距离关系确定模块，具体用于：
确定所述至少两张目标图像分别对应的非督导员区域的第一目标关键点以及督导员区域的第二目标关键点；其中，所述第一目标关键点和所述第二目标关键点为各自对应的区域内任一关键点，另外，所述至少两张目标图像中的任一目标图像的第一目标关键点与其他目标图像的第一目标关键点表征的人员特征相同；
确定所述第一目标关键点对应的第一位置坐标以及所述第二目标关键点对应的第二位置坐标；
基于所述第一位置坐标以及所述第二位置坐标，确定所述至少两张目标图像分别对应的距离信息。
根据一些实施例，所述垃圾投放的督导行为识别装置，还包括：督导行为关键点确定模块、位置坐标确定模块、关键点数量确定模块以及报警信息生成模块，其中，
督导行为关键点确定模块，用于在所述距离关系为所述至少两张目标图像分别对应的距离信息相等的情况下，确定所述至少两张目标图像分别对应的多个督导行为关键点；其中，所述至少两张目标图像中的任一目标图像对应的多个督导行为关键点与其他目标图像对应的多个督导行为关键点存在一一对应关系；
位置坐标确定模块，用于确定所述多个督导行为关键点分别对应的第三位置坐标；
关键点数量确定模块，用于将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，确定位置发生变更的督导行为关键点的数量；
报警信息生成模块，用于在所述位置发生变更的督导行为关键点的数量未超出预设数量的情况下，生成督导员未完成督导的报警信息。
第三方面，本发明提供一种电子设备，采用如下的技术方案：
一种电子设备，该电子设备包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述垃圾投放的督导行为识别的方法。
第四方面，本发明提供一种计算机可读介质，采用如下的技术方案：
一种计算机可读介质，包括：存储有能够被处理器加载并执行上述垃圾投放的督导行为识别方法的计算机程序。
综上所述，本发明包括以下有益技术效果：
确定多张待测图像，并对多张待测图像进行关键点提取，确定出多张待测图像分别对应的督导员关键点以及非督导员关键点；基于非督导员关键点，对多张待测图像进行筛选，从多张待测图像筛选出至少两张目标图像，随后，基于督导员关键点和非督导员关键点，从至少两张目标图像中，将督导员和非督导员所在区域提取出来，确定出每张目标图像中的督导员区域和非督导员区域，之后，判断督导员是否在非督导员扔垃圾的过程中进行了督导最直接的方式就是判断督导员是否向非督导员移动，因此，在确定出至少两张目标图像分别对应的督导员区域和非督导员区域后，首先确定督导员区域与非督导员区域之间的距离信息，随后，将至少两张目标图像分别对应的距离信息进行距离关系的确定，在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，表明此时督导员存在非督导员扔垃圾过程中靠近非督导员进行垃圾分类督导的行为，随即生成督导员完成督导的信息，从而能够实时且准确的反应督导员进行垃圾分类督导的情况，提高了对垃圾分类督导员督导行为评估的准确性。
附图说明
图1是本发明实施例垃圾投放的督导行为识别方法的流程示意图；
图2是本发明实施例垃圾投放的督导行为识别方法的具体流程图；
图3是本发明实施例垃圾投放的督导行为识别装置的方框示意图；
图4是本发明实施例电子设备的示意图；
附图标记说明：30、垃圾投放的督导行为识别装置；301、关键点确定模块；302、目标图像确定模块；303、区域构建模块；304、距离关系确定模块；305、信息生成模块；40、电子设备；401、处理器；402、总线；403、存储器；404、收发器。
具体实施方式
以下集合附图1-4对本发明作进一步详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将集合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，列举本发明中用到的英文以及对应的中文翻译，如下：CNN（ConvolutionalNeuralNetworks）：卷积神经网络；centernet：目标检测网络；yolo：物体检测算法；Deformable DETR（Deformable Detection Transformer）：可变形的检测网络；PnP-DETR（Poll and Pool- Detection Transformer）：改进采样模块的检测网络。
本发明实施例提供了一种垃圾投放的督导行为识别方法，由电子设备执行，其中，该电子设备可以为服务器，也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式设备，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式电脑等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例在此不做限制。
参照图1，一种垃圾投放的督导行为识别方法包括：步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105，其中，
S101、确定多张待测图像及其分别对应的督导员关键点、非督导员关键点。
在一些实施例中，图像采集设备安设于能够拍摄到垃圾箱全区域以及督导员督导区域的位置，实时拍摄垃圾箱全区域以及督导员；其中，图像采集设备可以为单目摄像头，在开始拍摄之前，技术人员将单目摄像头的焦距、位置和角度基于现场情况进行适应性调整，以保证拍摄视频的质量。
图像采集设备拍摄到督导员位于督导岗位时间段内的视频流，并将该视频流以有线或无线的形式发送至电子设备，电子设备对获取到的视频流进行逐帧拆分，得到多张初始图像，随后，电子设备对多张初始图像进行人员检测，基于人员检测结果，从多张初始图像筛选出符合后续进行督导员督导行为识别的图像，即多张待测图像，其中，多张待测图像包含多组图像，且每组图像包含的多张待测图像的时间为连续的，另外，对多张初始图像进行筛选是通过从图像中提取人员关键点进行的，之后，电子设备利用人员分类模型对确定出人员关键点的多张待测图像进行人员分类识别，并确定出待测图像中包含的非督导员关键点以及督导员关键点。
进一步说明的，人员检测模型可以采用CNN系列模型，例如centernet模型以及yolo模型等；也可以采用Deformable DETR模型以及PnP-DETR模型等；人员分类模型可以采用CNN系列模型，本发明实施例不做具体限定。
S102、基于非督导员关键点对多张待测图像进行筛选，得到时间连续的至少两张目标图像。
在一些实施例中，非督导员关键点包含人员手部关键点和/或手部垃圾袋的关键点。
出现在图像采集设备拍摄区域内的人员并不一定是扔垃圾的人员，而判断督导员是否进行督导行为的前提是确定非督导员为扔垃圾的人员，因此，电子设备在确定出多张待测图像以及每张待测图像对应的督导员关键点以及非督导员关键点后，开始判断非督导员是否为正在扔垃圾的人员，具体地，电子设备以非督导员关键点包含的人员手部关键点和/或手部垃圾袋的关键点作为判断条件，并以预设筛选规则作为准则，其中，预设筛选规则为非督导员关键点位于预设区域内，预设区域为垃圾箱的垃圾投放口区域，分别对多张待测图像进行非督导员是否为扔垃圾的人员的筛选，在电子设备确定出任一待测图像对应的人员手部关键点和/或手部垃圾袋的关键点位于预设区域内的情况下，判定该非督导员关键点对应的非督导员为扔垃圾的人员，即该任一待测图像符合基于该任一待测图像对督导员督导行为识别的要求，随即电子设备将该任一待测图像进行保留；直至所有待测图像筛选完毕，确定出至少两张包含有正在扔垃圾的非督导员和督导员的图像，即至少两张目标图像。
需要说明的，人员扔垃圾的动作具有连续性，即人员手部和/或手部垃圾袋从出现在预设区域到即将离开预设区域是需要一定时间，因此，电子设备确定出的至少两张目标图像在拍摄时间上是连续的。
S103、基于督导员关键点以及非督导员关键点，构建至少两张目标图像分别对应的督导员区域、非督导员区域。
在一些实施例中，督导员关键点包含督导员人员特征关键点，非督导员关键点包含非督导员人员特征关键点，例如，头部关键点、肩部关键点、腿部关键点以及脚部关键点等。
判断督导员是否有督导行为的最直接的方式是判断非督导员扔垃圾的过程中督导员是否有向非督导员靠近的行为，也就是说，在非督导员扔垃圾过程中，督导员和非督导员之间的距离越来越近，则证明督导员存在督导行为，因此，电子设备首先需要确定出督导员和非督导员分别所在的区域，具体地，电子设备确定出满足后续对督导员督导行为识别的至少两张目标图像后，从督导员关键点和非督导员关键点中分别确定出各自部分关键点，以该各自部分关键点作为基准点，构建督导员和非督导员分别对应的督导员区域和非督导员区域。
S104、确定每张目标图像对应的督导员区域与非督导员区域之间的距离信息，并确定至少两张目标图像分别对应的距离信息之间的距离关系。
在一些实施例中，电子设备可以从督导员区域和非督导员区域中确定各自区域对应的基准点，以该基准点作为各自区域的位置，之后，电子设备计算督导员区域的基准点与非督导员区域的基准点之间的距离信息，直至将至少两张目标图像分别对应的距离信息确定完成后，电子设备将至少两张目标图像分别对应的距离信息进行对比，开始确定至少两张目标图像之间的位置关系，其中，位置关系包含三种位置关系，其一，前一时间点的目标图像对应的位置信息小于后一时间点的目标图像对应的位置信息；其二，至少两张目标图像分别对应的距离信息相等；其三，前一时间点的目标图像对应的位置信息大于后一时间点的目标图像对应的位置信息。
值得说明的，至少两张目标图像分别对应的督导员区域的基准点对应的特征为同一特征，至少两张目标图像分别对应的非督导员区域的基准点对应的特征为同一特征，例如，第一张目标图像对应的督导员区域的基准点所对应的特征为督导员的头部，其他目标图像对应的督导员区域的基准点所对应的特征也为督导员的头部；第一张目标图像对应的非督导员区域的基准点所对应的特征为非督导员的胸部，其他目标图像对应的非督导员区域的基准点所对应的特征也为非督导员的胸部。
S105、在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息。
在一些实施例中，在电子设备确定的位置关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，表明非督导员在扔垃圾的过程中，督导员在向非督导员靠近，此时可以确定督导员在非督导员扔垃圾的过程中进行垃圾分类督导，随即电子设备生成督导员完成督导的信息，并将该信息及时发送至监测中心。
另外，在电子设备确定的位置关系为前一时间点的目标图像对应的距离信息小于后一时间点的目标图像对应的距离信息的情况下，表明非督导员在扔垃圾的过程中，督导员非但没有向督导员靠近，反而还正在远离，此时就可以确定督导员在非督导员扔垃圾的过程中没有进行垃圾分类督导，随即，电子设备生成督导员未完成督导的信息，并将该信息及时发送至监控中心。后续在督导员进行督导行为评估时，工作人员可以将发送至监控中心的是否督导的信息作为参考信息，进行客观的评估，从而提高对垃圾分类督导员督导行为评估的准确性。
本发明实施例提供了一种垃圾投放的督导行为识别方法， 电子设备确定多张待测图像，并对多张待测图像进行关键点提取，确定出多张待测图像分别对应的督导员关键点以及非督导员关键点；电子设备基于调取的非督导员关键点位于预设区域内的预设筛选规则以及非督导员关键点，对多张待测图像进行筛选，从多张待测图像筛选出至少两张满足预设筛选规则的时间连续的目标图像，从而判断出非督导员为正在扔垃圾的人员，随后，电子设备基于督导员关键点和非督导员关键点，从至少两张目标图像中，将督导员和非督导员所在区域提取出来，确定出每张目标图像中的督导员区域和非督导员区域，之后，由于判断督导员是否在非督导员扔垃圾的过程中进行了督导最直接的方式就是判断督导员是否向非督导员移动，因此，电子设备在确定出至少两张目标图像分别对应的非督导员区域和督导员区域后，首先确定非督导员区域与督导员区域之间的距离信息，随后，电子设备将至少两张目标图像分别对应的距离信息进行距离关系的确定，在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，表明此时督导员存在非督导员扔垃圾过程中靠近非督导员进行垃圾分类督导的行为，随即生成督导员完成督导的信息，从而能够实时且准确的反应督导员进行垃圾分类督导的情况，基于生成的相关信息进行督导员督导行为的评估，提高对垃圾分类督导员督导行为评估的准确性。
步骤S101中，确定多张待测图像，具体包括：获取时间连续的多张初始图像，并对多张初始图像进行行人检测，确定多张初始图像分别对应的人员关键点以及人员关键点包含的子人员关键点的组数；其中，初始图像为包含至少一名人员的图像；在人员关键点包含至少两组子人员关键点情况下，将包含至少两组子人员关键点的初始图像保留，并在所有初始图像筛选完成后，将保留的初始图像作为待测图像。
在一些实施例中，在督导员位于督导岗位时间段内，存在督导员短暂离开岗位的情况，同时在该时间段内，也存垃圾箱区域没有非督导员的情况，因此，图像采集设备拍摄到的督导员位于督导岗位时间段内的视频流中存在没有人员或者只有一类人员位于拍摄区域内的情况。
因此，电子设备首先对获取包含有至少一名人员的多张初始图像进行行人检测，确定初始图像中包含的人员关键点；之后，电子设备对确定出的人员关键点进行类别判断，并将人员关键点进行类别划分，在人员关键点仅包含一组子人员关键点的情况下，表明对应的初始图像中只存在一名人员或一类人员，也就是说该初始图像不具备后续进行督导员督导行为识别的条件，随即电子设备将该包含一组子人员关键点的初始图像进行舍弃，不参与到后续的督导员督导行为识别的步骤中；在人员关键点包含至少两组子人员关键点的情况下，表明对应的初始图像中存在至少两名人员或者至少两类人员，随即电子设备则将该包含至少两组子人员关键点的初始图像保留，从而将视频流中不满足督导员督导行为识别的图像剔除，提高后续判定督导员督导行为识别的效率。
步骤S102中，基于非督导员关键点对多张待测图像进行筛选，得到时间连续的至少两张目标图像，具体包括：确定多张待测图像中的每张待测图像对应的非督导员关键点的坐标信息、每张待测图像对应的预设区域以及预设区域对应的坐标集合；判断多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内；在任一待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内情况下，将该任一待测图像保留，并在所有待测图像判断完成后，得到至少两张目标图像。
在一些实施例中，多张待测图像尽管满足人员数量或者人员类别的需求，但也存在出现在拍摄区域内的非督导员不需要扔垃圾的情况，而反应该情况的图像也是不具备督导员督导行为识别的条件的，因此，电子设备需要从多张待测图像中将反应该情况的图像筛选出来。
在一些实施例中，电子设备确定出每张待测图像对应的非督导员关键点包含的人员手部关键点和/或手部垃圾袋的关键点的坐标信息、每张待测图像对应的预设区域以及预设区域对应的坐标集合。
随后，电子设备基于时间先后并以组为单位，依次将多张待测图像分别对应的人员手部关键点和/或手部垃圾袋的关键点的坐标信息代入对应的预设区域的坐标集合内，判断该坐标信息是否位于预设坐标集合内，在任一待测图像对应的非督导员关键点的坐标信息位于预设坐标集合的情况下，表明非督导员正在扔垃圾，所对应的任一待测图像符合督导员督导行为识别的条件，随即电子设备将该任一待测图像保留；在任一待测图像对应的非督导员关键点的坐标信息未位于预设坐标集合内的情况下，表明非督导员没有扔垃圾，暂时还不需要进行督导员督导行为的识别，即该任一待测图像不满足需求，电子设备则将该任一待测图像进行舍弃，待所有待测图像判断完成后，将保留的待测图像作为目标图像；从而将待测图像中不满足督导员督导行为识别的图像剔除，提高后续判定督导员督导行为识别的效率。
进一步说明的，确定非督导员关键点的坐标信息之前，以待测图像作为基准图，构建二维坐标图，其中，可以以待测图像中的任一关键点作为二维坐标图的圆点，选取任一方向作为二维坐标图的横坐标，以垂直于横坐标90°的方向作为二维坐标图的纵坐标，基于非督导员关键点的位置，确定出该非督导员关键点的坐标信息。
进一步地，在判断多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内之后，还包括：在每张待测图像中，某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，停止对某一待测图像之后时间点的待测图像的判断。
在一些实施例中，电子设备在判断出某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且电子设备判断某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，则表明此时非督导员已经完成了垃圾的投放，之后的时间里督导员在进行督导，也存在未能积极进行垃圾督导的可能性，因此，判定非督导员完成垃圾投放后的督导员的督导行为，将对后续督导员的督导行为评估的准确性以及客观性造成负面影响，随即电子设备停止对某一待测图像之后时间的待测图像的判断，以保证对督导员的督导行为评估的客观性。
步骤S103中，非督导员关键点为多个，督导员关键点为多个；基于督导员关键点以及非督导员关键点，构建至少两张目标图像分别对应的督导员人员区域、非督导员人员区域，具体包括： 基于位置相距最远的关键点筛选准则，对多个非督导员关键点筛选，得到两个第一边缘关键点，以及对多个督导员关键点筛选，得到两个第二边缘关键点；基于两个第一边缘关键点构建非督导员区域，以及基于两个第二边缘关键点构建督导员区域。
在一些实施例中，电子设备调取提前预设的关键点筛选准则，并在确定出多个非督导员关键点以及多个督导员关键点之后，电子设备确定每个督导员关键点对应的第一坐标信息，以及多个非督导员关键点对应的第二坐标信息；随后，电子设备将确定出所有第一坐标信息进行距离判断，并确定出对应的多个距离信息，紧接着电子设备基于位置相距最远的关键点筛选准则，从多个距离信息中得到距离最远所对应的两个关键点，即两个第一边缘关键点，例如，确定出的第一边缘点分别为非督导员的头部左侧关键点和非督导员右脚关键点；同时，电子设备也将确定出的所有第二坐标信息进行距离判断，并确定出对应的多个距离信息，并基于位置相距最远的关键点筛选准则，从该多个距离信息中得到距离最远所对应的两个关键点，即两个第二边缘关键点，例如，得到的两个第二边缘点分别为督导员的头部左侧关键点和督导员右脚关键点。
进一步地，电子设备以两个第一边缘关键点分别包含的横纵坐标作为区域基准参数，完成非督导区域的构建，同时电子设备以两个第二边缘关键点分别包含的横纵坐标作为区域基准参数，完成督导员区域的构建。通过利用两个距离最远的关键点作为区域构建的基准参数，能够将非督导员或督导员的所有特征尽可能的全部囊括进所构建的区域中，同时保证所构建的区域的准确性的同时，减小了确定区域基准参数的运算量，提高了运算效率。
步骤S104中，确定至少两张目标图像分别对应的非督导员区域和督导员区域之间的距离信息，具体包括：确定多张目标图像分别对应的非督导员区域的第一目标关键点以及督导员区域的第二目标关键点；其中，第一目标关键点和第二目标关键点为各自对应的区域内任一关键点，另外，至少两张目标图像中的任一目标图像的第一目标关键点与其他目标图像的第一目标关键点表征的人员特征相同；确定第一目标关键点对应的第一位置坐标以及第二目标关键点对应的第二位置坐标；基于第一位置坐标以及第二位置坐标，确定至少两张目标图像分别对应的距离信息。
在一些实施例中，电子设备选取任一目标图像作为基准图像，并随机挑选该任一目标图像对应的非督导员区域包含的任一关键点作为表征该非督导员区域的目标关键点，即第一目标关键点，同理，电子设备随机挑选该任一目标图像对应的督导员区域包含的任一关键点作为表征该督导员区域的目标关键点，即第二目标关键点。
随后，电子设备对其他目标图像包含的非督导员区域的目标关键点选取时，基于该任一目标图像对应的第一目标关键点所表征的特征进行选取，即至少两个目标图像分别对应的第一目标关键点分别表征的特征为同一特征；同时电子设备对其他目标图像包含的督导员区域的目标关键点选取时，基于该任一目标图像对应的第二目标关键点所表征的特征进行选取，即至少两个目标图像分别对应的第二目标关键点表征的特征为同一特征。
之后，电子设备确定第一目标关键点的第一位置坐标和第二目标关键点对应的第二位置坐标，并将同属于一张目标图像的第一目标关键点和第二目标关键点进行距离计算，确定出所有目标图像分别对应的距离信息；从而实现在不影响距离计算的准确性的前提下，利用关键点计算区域之间的距离，减小了区域与区域之间距离计算的运算量。
进一步的，在步骤S104中，确定至少两张目标图像分别对应的距离信息之间的距离关系之后，还包括：在距离关系为至少两张目标图像分别对应的距离信息相等的情况下，确定至少两张目标图像分别对应的多个督导行为关键点；其中，至少两张目标图像中的任一目标图像对应的多个督导行为关键点与其他目标图像对应的多个督导行为关键点存在一一对应关系；确定多个督导行为关键点分别对应的第三位置坐标；将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，确定位置发生变更的督导行为关键点的数量；在位置发生变更的督导行为关键点的数量未超出预设数量的情况下，生成督导员未完成督导的报警信息。
在一些实施例中，督导行为关键点为督导员在督导过程中会发生位置变更的部位的关键点。
在距离关系为至少两张目标图像分别对应的距离信息相等的情况下，表明非督导员在扔垃圾的过程中，督导员并未向非督导员方向移动，也没有远离非督导员，此时基于督导员与非督导员之间的距离变化，将无法准确的判断督导员是否进行了督导行为，因此，需要将在非督导员扔垃圾过程中督导员未发生移动的情况也考虑进去；倘若在该情况下督导员确实进行了垃圾分类的督导，督导员对应的部分特征肯定随时间的变化而发生位置变化，因此，电子设备在确定出的距离关系为至少两张目标图像分别对应的距离信息相等情况下，确定至少两张目标图像分别对应的多个督导行为关键点，其中，至少两张目标图像分别对应的多个督导行为关键点之间一一对应；并确定每个督导行为关键点的第三位置坐标。
之后，电子设备将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，以初始时间的目标图像对应的督导行为关键点的第三位置坐标作为基准，确定出发生位置变更的督导行为关键点以及发生位置变更的督导行为关键点的数量；随后，电子设备将发生位置变更的督导行为关键点的数量与预设数量进行对比，在超出预设数量的情况下，则表明督导员在未移动的情况下进行肢体或口头的垃圾分类督导；在未超出预设数量时，则表明督导员在未移动的情况下，也没有进行肢体或口头的垃圾分类督导，随即电子设备生成督导员未完成督导的报警信息，并将该报警信息发送至监控中心以及督导现场安设的报警装置进行报警；从而提高了督导员的督导行为的规范，并提高了对督导员督导行为评估的准确性。
上述实施例介绍了垃圾投放的督导行为识别方法，下述实施例介绍了垃圾投放的督导行为的具体流程，参照图2，输入视频帧至电子设备，随后，电子设备对该视频帧进行行人检测，确定出视频帧包含的人员，随后，对视频帧进行行人分类检测，确定出视频帧包含的人员类别，随即对视频帧进行督导员和非督导员是否同时存在的判断，在督导员和非督导员没有同时存在的情况下，不发生报警；在督导员和非督导员同时存在情况下，进一步电子设备利用动作识别模型判断非督导员是否在扔垃圾，在非督导员没有在扔垃圾情况下，不发生报警，在非督导员在扔垃圾情况下，获取督导员和非督导员的目标区域，并提取区域特征，之后，基于区域特征，判断该区域是否存在不督导性行为，在不存在不督导行为的情况下，不发生报警，在存在不督导行为的情况向下，发生报警。
上述实施例从方法流程的角度介绍一种垃圾投放的督导行为识别的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种垃圾投放的督导行为识别的装置，具体详见下述实施例。
参照图3，垃圾投放的督导行为识别装置30具体可以包括：关键点确定模块301、目标图像确定模块302、区域构建模块303、距离关系确定模块304以及信息生成模块305，其中，
关键点确定模块301，用于确定多张待测图像及其分别对应的督导员关键点、非督导员关键点；
目标图像确定模块302，用于非督导员关键点对多张待测图像进行筛选，得到时间连续的至少两张目标图像；
区域构建模块303，用于基于督导员关键点以及非督导员关键点，构建至少两张目标图像分别对应的督导员区域以及非督导员区域；
距离关系确定模块304，用于确定每张目标图像对应的督导员区域与非督导员区域之间的距离信息，并确定至少两张目标图像分别对应的距离信息之间的距离关系；
信息生成模块305，用于在距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息。
在一些实施例中，关键点确定模块301，具体还用于：
获取时间连续的多张初始图像，并对多张初始图像进行人员检测，确定多张初始图像分别对应的人员关键点以及人员关键点包含的子人员关键点的组数；其中，初始图像为包含至少一名人员的图像；
在人员关键点包含至少两组子人员关键点的情况下，将包含至少两组子人员关键点的初始图像保留，并在所有初始图像筛选完成后，将保留的初始图像作为待测图像。
在一些实施例中，目标图像确定模块302，具体还用于：
确定所述多张待测图像中的每张待测图像对应的非督导员关键点的坐标信息、每张待测图像对应的预设区域以及预设区域对应的坐标集合；
判断多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内；
在任一待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，将该任一待测图像保留，并在所有待测图像判断完成后，得到至少两张目标图像。
在一些实施例中，垃圾投放的督导行为识别装置30，还包括：图像停止判断模块，其中，
图像停止判断模块，用于在每张待测图像中，某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，停止对某一待测图像之后时间点的待测图像的判断。
在一些实施例中，非督导员关键点为多个，督导员关键点为多个，区域构建模块303，具体还用于：
基于位置相距最远的关键点筛选准则，对多个非督导员关键点筛选，得到两个第一边缘关键点，以及对多个督导员关键点筛选，得到两个第二边缘关键点；
基于两个第一边缘关键点构建非督导员区域，以及基于两个第二边缘关键点构建督导员区域。
在一些实施例中，距离关系确定模块304，具体用于：
确定至少两张目标图像分别对应的非督导员区域的第一目标关键点以及督导员区域的第二目标关键点；其中，第一目标关键点和第二目标关键点为各自对应的区域内任一关键点，另外，至少两张目标图像中的任一目标图像的第一目标关键点与其他目标图像的第一目标关键点表征的人员特征相同；
确定第一目标关键点对应的第一位置坐标以及第二目标关键点对应的第二位置坐标；
基于第一位置坐标以及第二位置坐标，确定至少两张目标图像分别对应的距离信息。
在一些实施例中，垃圾投放的督导行为识别装置30，还包括：督导行为关键点确定模块、位置坐标确定模块、关键点数量确定模块以及报警信息生成模块，其中，
督导行为关键点确定模块，用于在距离关系为至少两张目标图像分别对应的距离信息相等的情况下，确定至少两张目标图像分别对应的多个督导行为关键点；其中， 至少两张目标图像中的任一目标图像对应的多个督导行为关键点与其他目标图像对应的多个督导行为关键点存在一一对应关系；
位置坐标确定模块，用于确定多个督导行为关键点分别对应的第三位置坐标；
关键点数量确定模块，用于将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，确定位置发生变更的督导行为关键点的数量；
报警信息生成模块，用于在位置发生变更的督导行为关键点的数量未超出预设数量的情况下，生成督导员未完成督导的报警信息。
在一些实施例中，关键点确定模块301，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
目标图像确定模块302，可以是安设于电子设备的图像采集设备，例如摄像头等，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
区域构建模块303，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
距离关系确定模块304，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
信息生成模块305，可以是安设于电子设备的信号收发设备；
图像停止判断模块，可以包含逻辑门电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
督导行为关键点确定模块，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
位置坐标确定模块，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
关键点数量确定模块，可以包含逻辑电路，也可以由电子设备包含的中央处理器、为处理器、数字信号处理器或现场可编程门阵列等实现；
报警信息生成模块，可以是安设于电子设备的报警器，也可以是蜂鸣器，也可以是发光二极管指示灯等报警设备等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还从实体装置的角度介绍了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，电子设备40还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备40的结构并不构成对本发明实施例的限定。
处理器401可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行集合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器403用于存储执行本发明方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现前述方法实施例所示的内容。
图4示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种垃圾投放的督导行为识别方法，其特征在于，包括：
确定多张待测图像及其分别对应的督导员关键点、非督导员关键点；
基于所述非督导员关键点对所述多张待测图像进行筛选，得到时间连续的至少两张目标图像；
基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域；
确定所述至少两张目标图像分别对应的督导员区域与非督导员区域之间的距离信息，并确定所述至少两张目标图像分别对应的距离信息之间的距离关系；
在所述距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息；
其中，所述确定所述至少两张目标图像分别对应的距离信息之间的距离关系之后，还包括：
在距离关系为所述至少两张目标图像分别对应的距离信息相等的情况下，确定所述至少两张目标图像分别对应的多个督导行为关键点，以及位置发生变更的督导行为关键点的数量；
在所述位置发生变更的督导行为关键点的数量未超出预设数量的情况下，确定出督导员没有完成督导行为；在所述位置发生变更的督导行为关键点的数量超出预设数量的情况下，确定出督导员完成督导行为。
2.根据权利要求1所述的方法，其特征在于，所述确定多张待测图像，包括：
获取时间连续的多张初始图像，并对所述多张初始图像进行人员检测，确定出所述多张初始图像分别对应的人员关键点以及所述人员关键点包含的子人员关键点的组数；其中，所述初始图像为包含至少一名人员的图像；
在所述人员关键点包含至少两组子人员关键点的情况下，将包含所述至少两组子人员关键点的初始图像保留，并在所有初始图像筛选完成后，将保留的初始图像作为待测图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述非督导员关键点对所述多张待测图像进行筛选，得到时间连续的至少两张目标图像，包括：
确定所述多张待测图像中的每张待测图像对应的非督导员关键点的坐标信息、每张待测图像对应的预设区域以及所述预设区域对应的坐标集合；
判断所述多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内；
在任一待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，将所述任一待测图像保留，并在所有待测图像判断完成后，得到至少两张目标图像。
4.根据权利要求3所述的方法，其特征在于，所述判断所述多张待测图像分别对应的非督导员关键点的坐标信息是否位于对应的坐标集合内之后，还包括：
在所述多张待测图像中，某一待测图像对应的非督导员关键点的坐标信息未位于对应的坐标集合内，且所述某一待测图像的前一时间点的待测图像对应的非督导员关键点的坐标信息位于对应的坐标集合内的情况下，停止对所述某一待测图像之后时间点的待测图像的判断。
5.根据权利要求1所述的方法，其特征在于，所述督导员关键点为多个，所述非督导员关键点为多个；所述基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域，包括：
基于位置相距最远的关键点筛选准则，对多个非督导员关键点筛选，得到两个第一边缘关键点，以及对多个督导员关键点筛选，得到两个第二边缘关键点；
基于所述两个第一边缘关键点构建非督导员区域，以及基于所述两个第二边缘关键点构建督导员区域。
6.根据权利要求1所述的方法，其特征在于，所述确定所述至少两张目标图像分别对应的非督导员区域和督导员区域之间的距离信息，包括：
确定所述至少两张目标图像分别对应的非督导员区域的第一目标关键点以及督导员区域的第二目标关键点；其中，所述第一目标关键点和所述第二目标关键点为各自对应的区域内任一关键点，另外，所述至少两张目标图像中的任一目标图像的第一目标关键点与其他目标图像的第一目标关键点表征的人员特征相同；
确定所述第一目标关键点对应的第一位置坐标以及所述第二目标关键点对应的第二位置坐标；
基于所述第一位置坐标以及所述第二位置坐标，确定所述至少两张目标图像分别对应的距离信息。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述至少两张目标图像中任一目标图像对应的多个督导行为关键点与其他目标图像对应的多个督导行为关键点存在一一对应关系；所述确定位置发生变更的督导行为关键点的数量，包括：
确定所述多个督导行为关键点分别对应的第三位置坐标；
将具有一一对应关系的督导行为关键点的第三位置坐标进行对比，确定位置发生变更的督导行为关键点的数量。
8.一种垃圾投放的督导行为识别装置，其特征在于，包括：
关键点确定模块，用于确定多张待测图像及其分别对应的督导员关键点、非督导员关键点；
目标图像确定模块，用于基于所述非督导员关键点对所述多张待测图像进行筛选，确定时间连续的至少两张目标图像；
区域构建模块，用于基于所述督导员关键点以及所述非督导员关键点，构建所述至少两张目标图像分别对应的督导员区域、非督导员区域；
距离关系确定模块，用于确定所述至少两张目标图像分别对应的非督导员区域与督导员区域之间的距离信息，并确定所述至少两张目标图像分别对应的距离信息之间的距离关系；
信息生成模块，用于在所述距离关系为前一时间点的目标图像对应的距离信息大于后一时间点的目标图像对应的距离信息的情况下，生成督导员完成督导的信息；所述信息生成模块还用于：在距离关系为所述至少两张目标图像分别对应的距离信息相等的情况下，确定所述至少两张目标图像分别对应的多个督导行为关键点，以及位置发生变更的督导行为关键点的数量；在所述位置发生变更的督导行为关键点的数量未超出预设数量的情况下，确定出督导员没有完成督导行为；在所述位置发生变更的督导行为关键点的数量超出预设数量的情况下，确定出督导员完成督导行为。
9.一种电子设备，其特征在于，该电子设备包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～7任一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的垃圾投放的督导行为识别方法。
CN202311707021.2A 2023-12-13 2023-12-13 垃圾投放的督导行为识别方法、装置、电子设备及介质 Active CN117392616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311707021.2A CN117392616B (zh) 2023-12-13 2023-12-13 垃圾投放的督导行为识别方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311707021.2A CN117392616B (zh) 2023-12-13 2023-12-13 垃圾投放的督导行为识别方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN117392616A CN117392616A (zh) 2024-01-12
CN117392616B true CN117392616B (zh) 2024-04-02

Family

ID=89463505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311707021.2A Active CN117392616B (zh) 2023-12-13 2023-12-13 垃圾投放的督导行为识别方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117392616B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175945A (zh) * 2019-04-26 2019-08-27 深圳源创环保科技有限公司 垃圾分类的督导方法、系统和计算机可读存储介质
CN111814698A (zh) * 2020-07-13 2020-10-23 郑州奥腾网络科技有限公司 基于人工智能及航拍图像的牧区母牛护犊行为检测方法
CN113489929A (zh) * 2021-08-06 2021-10-08 远见智诚市场调研咨询(广东)有限公司 垃圾分类督岗监控方法、装置、计算机设备和存储介质
CN114155595A (zh) * 2021-09-30 2022-03-08 深圳市爱深盈通信息技术有限公司 行为检测监控方法、智能摄像头及智能监控系统
CN114419859A (zh) * 2021-12-27 2022-04-29 湖南中联重科应急装备有限公司 用于支腿的安全检测方法、处理器、装置及消防车

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912337B (zh) * 2020-07-24 2021-11-09 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175945A (zh) * 2019-04-26 2019-08-27 深圳源创环保科技有限公司 垃圾分类的督导方法、系统和计算机可读存储介质
CN111814698A (zh) * 2020-07-13 2020-10-23 郑州奥腾网络科技有限公司 基于人工智能及航拍图像的牧区母牛护犊行为检测方法
CN113489929A (zh) * 2021-08-06 2021-10-08 远见智诚市场调研咨询(广东)有限公司 垃圾分类督岗监控方法、装置、计算机设备和存储介质
CN114155595A (zh) * 2021-09-30 2022-03-08 深圳市爱深盈通信息技术有限公司 行为检测监控方法、智能摄像头及智能监控系统
CN114419859A (zh) * 2021-12-27 2022-04-29 湖南中联重科应急装备有限公司 用于支腿的安全检测方法、处理器、装置及消防车

Also Published As

Publication number Publication date
CN117392616A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
WO2020164282A1 (zh) 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及系统
CN101872431B (zh) 可适用多角度应用场景的人流量统计的方法及系统
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN114937179B (zh) 垃圾图像分类方法、装置、电子设备及存储介质
CN105574550A (zh) 一种车辆识别方法及装置
CN106663126A (zh) 用于运动任务分析的视频处理
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN111626201A (zh) 商品检测方法、装置及可读存储介质
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
US11893727B2 (en) Rail feature identification system
CN104346802A (zh) 一种人员离岗监控方法及设备
CN109977651A (zh) 基于滑动轨迹的人机识别方法、装置及电子设备
CN109871821A (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111079694A (zh) 一种柜面助手履职监控装置和方法
CN110909195A (zh) 基于区块链的图片标注方法、装置及存储介质、服务器
CN113516144A (zh) 目标检测方法及装置、计算设备
CN111178178A (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
Bhadeshiya et al. Hard-hat detection using YOLOv4
CN117392616B (zh) 垃圾投放的督导行为识别方法、装置、电子设备及介质
CN102867214A (zh) 区域范围内人数统计管理方法
CN116959117A (zh) 针对垃圾投放行为分析和违规行为多角度抓拍的监测系统
CN113936294A (zh) 建筑工地人员识别方法、可读存储介质和电子设备
CN114067360A (zh) 一种行人属性检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant