CN114092877A - 一种基于机器视觉的垃圾桶无人值守系统设计方法 - Google Patents

一种基于机器视觉的垃圾桶无人值守系统设计方法 Download PDF

Info

Publication number
CN114092877A
CN114092877A CN202111295652.9A CN202111295652A CN114092877A CN 114092877 A CN114092877 A CN 114092877A CN 202111295652 A CN202111295652 A CN 202111295652A CN 114092877 A CN114092877 A CN 114092877A
Authority
CN
China
Prior art keywords
feature map
garbage
convolution
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111295652.9A
Other languages
English (en)
Inventor
孙光民
赵锐腾
李煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111295652.9A priority Critical patent/CN114092877A/zh
Publication of CN114092877A publication Critical patent/CN114092877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于机器视觉的垃圾桶无人值守系统设计方法属于机器视觉技术领域，系统采用端‑云结合架构，通过边缘计算对视频等信息进行实时处理，提高系统反应时效性，减轻数据传输负载，降低平台的运营成本。该系统可部署于社区集中垃圾投放点，辅助垃圾的正确投放和分类，对居民垃圾投放情况及垃圾桶状态信息进行实时监控和统计，保证垃圾投放过程可监督，可追溯。系统可替代原有的人工值守方式，有效降低人力成本，提高垃圾分类政策的执行效果。

Description

一种基于机器视觉的垃圾桶无人值守系统设计方法
技术领域
本发明属于机器视觉技术领域，尤其涉及一种基于深度学习的行为判别方法。
背景技术
随着智慧城市快速发展，居民的生活水平不断提高，人民对高质量生活环境、绿色环保型社会的需求日益强烈。为了满足人民日益增长的生活需求，各种多元化的商品及生活用品蜂拥而至。随之而来的是日益增多的生活垃圾，对环境造成了极大的压力，有些城市已经出现了垃圾围城的现象。垃圾分类是造成环境污染、资源循环利用困难的一大因素，已成为我国需要解决的迫在眉睫的问题。
为了实现对生活垃圾的初步分类，目前，市场上已推出可分类垃圾桶，但还需要人工将垃圾投入相应分类口，但居民普遍存在垃圾分类意识薄弱，垃圾分类知识掌握不足的问题，导致垃圾分类不彻底。由此国家推行志愿者垃圾站定点值守的方式，对前来投放居民进行宣教并对投放行为进行监督，以及对垃圾桶内的垃圾进行二次分拣归类。这种志愿者定点值守的方案虽可减少垃圾的错分，提高垃圾分类的准确性，但需大量人力资源的投入，造成人力资源的浪费。
结合上述问题，本发明设计了一种基于机器视觉的垃圾分类无人值守系统。该系统可部署于社区集中垃圾投放点，辅助垃圾的正确投放和分类，对居民垃圾投放情况及垃圾桶状态信息进行实时监控和统计，保证垃圾投放过程可监督，可追溯。系统可替代原有的人工值守方式，有效降低人力成本，提高垃圾分类政策的执行效果。系统采用端-云结合架构，通过边缘计算对视频等信息进行实时处理，提高系统反应时效性，减轻数据传输负载，降低平台的运营成本。
发明内容
本发明公开了一种基于机器视觉的端云结合式垃圾桶无人值守系统。终端采用人脸识别算法对本次垃圾的投放人进行识别，为错投行为追溯提供依据；采用目标检测算法对待投放垃圾种类进行识别；采用多目标跟踪算法对检测到的待投放垃圾进行跟踪；通过专家系统将本次投放的垃圾与提前划分的特定类别的垃圾桶区域进行匹配，来判断投放行为的正确与否；通过双摄像头联合测距对垃圾桶内的垃圾堆叠高度做出判断，当超过阈值高度时视该垃圾桶为满溢状态。最终归总上述信息至云端管理平台，实现无人值守区域的垃圾错投行为追溯和垃圾桶满溢状态的实时监控与数据汇总。
本方法主要步骤如下：
步骤1使用人脸检测算法获取摄像头拍摄图像中的人脸检测框Boxes以及每个检测框所对应的人脸关键点Landmarks；将Boxes及其对应的Landmarks送入对齐网络输出对齐后的人脸图像Imageface；将对齐后的人脸图像Imageface送入人脸识别网络生成n维特征向量embedding，embedding满足：
embedding＝(x1，x2，x3...xn)
作为人脸比对依据；最后将生成的人脸特征向量embedding与数据库中已注册的人脸特征向量集合
Figure BDA0003336491430000021
进行对比，其中ei满足：
ei＝(y1，y2，y3...yn)
计算其欧氏距离d：
Figure BDA0003336491430000022
选择满足欧氏距离d小于预设阈值dthreshold的人脸信息所对应的姓名作为最终识别结果，其中dthreshold＝1.24。
步骤2使用深度神经网络模型对待投放垃圾进行目标检测，获取待投放垃圾的种类信息，分为以下4个阶段：
(1)预处理阶段，对输入图像进行切片操作，将切片后的图像进行卷积降维后，送入主干网络进行特征提取；
(2)特征图提取阶段，主干网络由深度可分离卷积DSConv模块及添加通道注意力机制的幽灵卷积瓶颈层SE-GhostBottleneck模块构成。
SE-GhostBottleneck模块输入先后经过幽灵卷积降维GhostConv–分组卷积DWConv–通道权重调整SELayer–幽灵卷积升维GhostConv操作输出特征图。
主干网络具体结构如下：
(2-1)输入首先经过DSConv模块进行卷积下采样操作，之后送入SE-GhostBottleneck模块进行特征提取得到浅层特征图；
(2-2)将浅层特征图送入DSConv模块进行卷积下采样操作，之后送入3层级联SE-GhostBottleneck模块进行特征提取得到较深层特征图。
(2-3)将较深层特征图送入DSConv模块进行卷积下采样操作，之后送入3层级联SE-GhostBottleneck模块进行特征提取得到深层特征图。
(2-4)将深层特征图送入空间金字塔池化层SPP模块进行多重感受野融合，提升模型对于不同尺寸物体检测的鲁棒性，并将输出特征图送入通道注意力模块SELayer进行通道权重调整，将其输出结果作为主干网络的特征提取结果。
(3)特征融合阶段，对于主干网络所提取的特征图，基于深层特征图的强语义特征和浅层特征图的强定位特征，从不同的主干层对不同的检测层进行参数聚合，更好的融合主干网络所提取的特征，其具体结构如下：
(3-1)首先将主干网络输出特征图送入幽灵卷积瓶颈层
GhostBottleneck模块，输出特征图f1；
(3-2)将特征图f1送入幽灵卷积GhostConv模块，输出特征图f2；
(3-3)将特征图f2进行上采样，并通过跳跃连接层与(2-3)中所提特征图在通道维度上进行堆叠，输出特征图f3；
(3-4)将特征图f3送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图f4；
(3-5)将特征图f4送入幽灵卷积GhostConv模块，输出特征图f5；
(3-6)将特征图f5进行上采样，并通过跳跃连接层与(2-2)中所提特征图在通道维度上进行堆叠，输出特征图f6；
(3-7)将特征图f6送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM1；
(3-8)将特征图FM1送入深度可分离卷积DSConv模块，输出特征图f7；
(3-9)将特征图f7通过跳跃连接层与步骤(3-4)中所提特征图在通道维度上进行堆叠，输出特征图f8；
(3-10)将特征图f8送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM2；
(3-11)将特征图FM2送入深度可分离卷积DSConv模块，输出特征图f9；
(3-12)将特征图f9通过跳跃连接层与(3-2)中所提特征图在通道维度上进行堆叠，输出特征图f10；
(3-13)将特征f10图送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM3；
(4)目标检测阶段，设置三级检测头，分别对应小、中、大三种尺度的检测目标。将特征图FM1、FM2、FM3送入检测头，根据预设锚点框进行边框回归，实现目标检测。
步骤3通过多目标跟踪算法对目标轨迹进行跟踪预测，并且针对原有遮挡造成的跟踪目标序号跳变问题，设计了一种跟踪器双输入并联结构，联合多角度特征信息保证跟踪效果的稳定性，降低误判率，具体流程如下：
(1)将每一时刻的跟踪框组合构成一组轨迹；
(2)通过滤波操作对当前帧预测一个跟踪框，该跟踪框存在两种状态，分别为确定状态和不确定状态；
(3)对当前帧进行检测，然后对检测框和个跟踪框进行数据关联，此时会出现两种情况：
(a)匹配成功，更新跟踪框；
(b)匹配失败，对匹配失败的跟踪框和检测框进行IOU匹配。若匹配成功，则进行更新，然后继续进行预测–观测–更新的跟踪流程；若仍然失败，则将原跟踪目标的特征向量与辅视角检测目标的特征向量进行匹配：
若匹配成功，则认为未丢失跟踪目标并保留跟踪信息，否则对其建立一个新的跟踪框，并初始化为不确定状态，对此后几帧进行IOU匹配，若匹配成功，则将此跟踪框设置为确定状态，继续进行预测-观测-更新的跟踪流程；
(4)对下一帧执行上述步骤(1)至(3)，直至任务结束。
步骤4通过专家系统对投放垃圾的轨迹终点坐标与该区域垃圾桶类别进行匹配，错误匹配视为垃圾错投，未进入区域视为垃圾遗撒。具体地，对每一帧图像执行下述操作：
(1)遍历所有检测框，若检测到手或目标初始坐标在投放域内，不做处理并进入下一帧，否则执行(2)；
(2)若跟踪终止坐标不在投放区域内，判定本次投放为垃圾遗撒并进入下一帧，否则执行(3)
(3)若检测目标种类与投放区域种类不匹配，将投放错误信息添加至判定列表，否则将投放正确信息添加至判定列表，并设置告警显示时长为0。
(4)设置终止显示时长为2s并遍历判定列表，若告警显示时长大于终止显示时长，将投放信息移出判定列表并发送告警信息至云端服务器，否则维持告警信息显示直至大于终止显示时长。
步骤5通过平视摄像头C1获取投放物体当前距地面高度信息h，并提前划定特定高度H(略高于垃圾桶桶口)，俯视摄像头C2获取检测目标框的像素宽度s′，与划定垃圾桶区域的像素宽度s，将两者相除得到比例系数k，公式如下：
Figure BDA0003336491430000051
其中k∈(0，1)，当水平摄像头检测物体中心点高度h与预设高度H重合即h＝H时，通过已知的垃圾桶边长Wt计算出投放物体的实际宽度W，公式如下：
W＝Wt×k
利用摄像头单目测距原理计算投放物体到摄像头的距离D，公式如下：
Figure BDA0003336491430000052
式中D为检测物体到摄像头的距离，W为检测物体的实际宽度，F为摄像头的焦距，P为摄像头中检测物体的宽度像素值。
最终通过计算已知俯视角度摄像头C2距地面高度Hc与距离摄像头最近的目标距离Dmin之差计算出当前桶内的最大垃圾堆叠高度Hmax，公式如下：
Hmax＝Hc-Dmin
并设置阈值高度Hthreshold满足：
Hthreshold＝Hcan×α
其中Hcan为垃圾桶总高度，α为满溢系数，取α＝0.7，当Hmax超过阈值高度Hthreshold时，将垃圾桶视为满溢状态。
步骤6边缘计算设备开启两条进程主进程和子进程，并通过共享内存S实现进程通信：其中子进程将步骤5中的平视摄像头C1作为人脸识别模块的输入端，输出投放人姓名N，同时获取当前投放物体的高度信息h，最终将上述获取的姓名N与高度信息h存入共享内存S中供主进程调用；主进程将步骤5中的俯视摄像头C2作为目标检测的输入端，并将结果送入跟踪器，实现对投放物体的种类CL与轨迹信息T的获取，将CL与T输入专家系统得出本次投放动作的判断结果Code，同时获取当前时间戳T。最终将上述所提投放人姓名N，投放结果Code，当前时间戳T，桶内堆叠高度h统一发送至云端平台进行数据汇总。在此期间，主进程通过RTMP协议向云端Nginx服务器推流，以实现流程的实时监控要求。
综上所述，本发明针对现阶段垃圾站人工值守任务的负担，提出了一种基于深度学习的垃圾投放行为识别与监控系统。系统可部署于社区集中垃圾投放点，辅助垃圾的正确投放和分类，对居民垃圾投放情况及垃圾桶状态信息进行实时监控和统计，保证垃圾投放过程可监督，可追溯。系统可替代原有的人工督导，有效降低人力成本，提高垃圾分类政策的执行效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。以下所描述的附图仅是本发明中具有代表性的一些实施例，但本发明的算法在相关任务中具有普遍适用性。
图1为本发明提供的系统设计整体流程框图；
图2为本发明提供的实施例中改进YOLOv5-Ghost网络结构图；
图3为本发明提供的实施例中加入通道注意力机制的幽灵网络瓶颈层SE-GhostBottleneck模块结构图；
图4为本发明提供的实施例中并联双摄像头多目标跟踪算法的流程示意图；
图5为本发明提供的实施例中专家系统流程框图；
图6为本发明提供的实施例中双摄像头联合测距原理图；
图7为本发明提供的实施例中基于中间件的多进程通信原理示意图；
图8为本发明提供的实施例中垂直摄像头输出结果图；
图9为本发明提供的实施例中水平摄像头输出结果图；
图10为本发明提供的实施例中信息管理平台效果图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图和相关注意事项，通过具体实施方式，对本发明作详细描述。
下文将从包括算法、参数、数学原理等多个不同层面对本发明进行描述。对于想要运用本发明的一般人员而言，如果不想要进行进一步的改进和开发，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的更加明确，具体的阐述了包括模型优化、参数配置和处理顺序等具体内容，但是相关的参数和配置都可以依据所需任务进行灵活的更改。与此同时，对于一些众所周知的方法以下将不再进行详细阐述。
对于现阶段垃圾分类政策的响应和维护，志愿者值守方案显然具有高额的人力资源消耗，因此提出一种结合机器视觉和深度学习的行为判别方案可以显著改善这种情况，其具体实施流程如下：
1在水平角度架设摄像头C1并连接内置人脸检测与人脸识别算法的边缘计算设备D，通过人脸检测算法对投放人面部区域进行捕获，然后通过人脸识别算法对面部区域进行降维处理，得到低维的特征信息，将特征信息与人脸库数据进行比对，返回匹配的结果，完成对投放人身份信息的识别认证。
2在垂直角度架设俯视摄像头C2并连接内置目标检测与目标跟踪算法的边缘计算设备D，联合摄像头C1、C2从两个角度通过目标检测算法对投放物体进行定位和分类，将检测结果送入跟踪网络，联合水平和垂直角度的特征信息进行多目标跟踪。
3通过专家系统对投放物体的运动轨迹终点与该区域垃圾桶类别进行匹配，错误匹配视为错误投放，未进入区域视为垃圾遗撒。
4通过双摄像头联合测距对垃圾桶内的垃圾堆叠高度进行计算，当堆叠高度超出阈值高度时视为垃圾桶处于满溢状态。
5将上述投放人身份信息，投放行为判别结果，垃圾桶满溢状态信息统一发送至云端信息平台进行数据汇总、统计和展示。
实施例
图1示出了本实施例中的基于机器视觉的端云结合系统的流程示意图，该方法包括下述步骤：
1采用以MobileNet0.25作为特征主干网络Backbone的RetinaFace人脸检测算法作为人脸识别模块，获取摄像头拍摄图像中的人脸检测框Boxes以及每个检测框所对应的5个人脸关键点Landmarks；将Boxes及其对应的Landmarks送入对齐网络输出对齐后的人脸图像Imageface；将对齐后的人脸图像Imageface送入InsightFace网络生成512维特征向量embedding，embedding满足：
embedding＝(x1，x2，x3...xn)
作为人脸比对依据；最后将生成的人脸特征向量embedding与数据库中已注册的人脸特征向量集合
Figure BDA0003336491430000081
进行对比，其中ei满足：
ei＝(y1，y2，y3...yn)
计算其欧氏距离d：
Figure BDA0003336491430000091
选择满足欧氏距离d小于预设阈值dthreshold的人脸信息所对应的姓名作为最终识别结果，其中dthreshold＝1.24。
2使用改进YOLOV5-Ghost深度神经网络模型对待投放垃圾进行目标检测，获取待投放垃圾的种类信息。考虑到终端移动设备的算力限制，针对原网络进行一系列轻量化处理。
2.1原有网络中存在大量常规卷积操作，为模型带来高额参数量和计算量，考虑使用深度可分离卷积及幽灵卷积进行替换。
假设输入特征图大小为Win×Hin×M，输出特征图大小为Wout×Hout×N，卷积核大小为K×K，3种卷积操作的计算量和参数量的计算公式如下所示：
常规卷积计算量
K×K×M×Wout×Hout×N
深度可分离卷积计算量
(K×K+N)×M×Wout×Hout
幽灵卷积计算量
Figure BDA0003336491430000092
常规卷积参数量
K×K×M×N
深度可分离卷积参数量
K×K×M+M×N
幽灵卷积参数量
Figure BDA0003336491430000093
以输入参数为(160，160，64)，输出参数为(160，160，64)，卷积核大小分别为K＝1和K＝3时的卷积层为例：
K＝1/K＝3 常规卷积 深度可分离卷积 幽灵卷积
参数量 4096/36864 4160/4672 2080/18720
计算量 105M/944M 106M/120M 53M/479M
结合上表，选择将卷积核大小为1的常规卷积替换为幽灵卷积，将卷积核大小为3的常规卷积替换为深度可分离卷积。
本网络在YOLOv5s原有网络结构上进行轻量化，网络结构调参过程如下表所示：
GFLOPS P R mAP@0.5 mAP@0.5:0.95 FPS
YOLOv5s 16.4 0.969 0.9447 0.9666 0.8058 20
GhostNet 9.7 0.9631 0.9240 0.9572 0.7766 25
GhostConv 5.4 0.9685 0.9028 0.9508 0.7551 36
DSConv 3.5 0.9507 0.9154 0.9574 0.7475 48
SE 3.6 0.9449 0.9307 0.9587 0.7568 48
FocalLoss 3.6 0.9471 0.9312 0.9613 0.7643 48
其中GFLOPS(Giga Floating-point Operations Per Second)表示每秒10亿次的浮点运算数，P(Precision)表示准确率，R(Recall)表示召回率，mAP@0.5(mean AveragePrecision IOU＝0.5)表示将IOU设为0.5时，计算数据集的平均准确率并取平均，mAP@0.5:0.95(IOU阈值从0.5到0.95，步长0.05)表示在不同IOU阈值上的平均mAP，FPS(Frames PerSecond)表示最终训练模型在实际应用中的检测帧数。
2.2主干网络Backbone模块对两种主流结构进行实验对比，结果如下表所示：
Figure BDA0003336491430000101
考虑精度保障问题，采用含有注意力模块的沙漏型SE-GhostBottleneck结构替换原网络中的C3结构，以尽可能低的精度代价换取检测速度来满足系统的实时性要求。
最终的网络结构如下：
整个网络分为三个部分，第一部分为加入注意力机制的GhostNet的轻量级主干网络Backbone，主要用来对输入数据进行特征提取；第二部分为融合深度可分离卷积的GhostBottleneck瓶颈层模块的Neck部分，采用FPN+PAN结构，结合FPN自顶向下传达强语义特征和PAN自底向上传达强定位特征的特点，更好的融合backbone所提取的特征；第三部分为针对三种不同大小维度的检测目标做出预测的检测头head部分。具体地，以卷积网络的输入端为3*640*640的RGB三通道彩色图片为例：
(a)经过Focus模块，切片后得到尺寸为12*320*320的特征图，再经过32个卷积核大小为3，步长为1的卷积层得到降维后尺寸为32*320*320的特征图；
(b)将该32*320*320的特征图送入64个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，得到尺寸为64*160*160的特征图；
(c)将该64*160*160的特征图送入64个添加SE通道注意力机制的卷积核为3，步长为1的幽灵卷积瓶颈层SE-GhostBottleneck模块，得到尺寸为64*160*160的特征图；
(d)将该64*160*160的特征图送入128个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，再送入128个同(c)中所提结构的幽灵卷积瓶颈层SE-GhostBottleneck模块重复3次，得到尺寸为128*80*80的特征图；
(e)将该128*80*80的特征图送入256个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，再送入256个同(c)中所提结构的幽灵卷积瓶颈层SE-GhostBottleneck模块重复3次，得到尺寸为256*40*40的特征图；
(f)将该256*40*40的特征图送入512个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，得到尺寸为512*20*20的特征图；
(g)为了提升模型对于不同尺寸物体检测的鲁棒性，选择进行多重感受野融合，将该512*20*20的特征图送入空间金字塔池化层SPP模块，得到尺寸为512*20*20的特征图；
(h)将该512*20*20的特征图送入512个卷积核为3，步长为1的幽灵卷积瓶颈层GhostBottleneck模块，得到尺寸为512*20*20的特征图；
(i)将该512*20*20的特征图送入256个卷积核大小为1，步长为1的幽灵卷积GhostConv模块，得到尺寸为256*20*20的特征图；
(k)将该256*20*20的特征图进行上采样，得到尺寸为256*40*40的特征图，再通过跳跃连接层与步骤(e)中所提256*40*40的特征图在通道维度上进行堆叠，得到512*40*40的特征图；
(l)将该512*40*40的特征图送入256个卷积核大小为1，步长为1的幽灵卷积瓶颈层GhostBottleneck模块，得到尺寸为256*40*40的特征图；
(m)将该256*40*40的特征图送入128个卷积核大小为1，步长为1的幽灵卷积GhostConv模块，得到128*40*40的特征图；
(n)将该128*40*40的特征图进行上采样，得到尺寸为128*80*80的特征图，再通过跳跃连接层与步骤(d)中所提128*80*80的特征图在通道维度上进行堆叠，得到尺寸为256*80*80的特征图；
(o)将该256*80*80的特征图送入128个卷积核大小为3，步长为1的幽灵卷积瓶颈层GhostBottleneck模块，得到尺寸为128*80*80的特征图FM1；
(p)将该128*80*80的特征图送入128个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，得到尺寸为128*40*40的特征图；
(q)将该128*40*40的特征图通过跳跃连接层与步骤(m)中所提128*40*40的特征图在通道维度上进行堆叠，得到尺寸为256*40*40的特征图；
(r)将该256*40*40的特征图送入256个卷积核大小为3，步长为1的幽灵卷积瓶颈层GhostBottleneck模块，得到尺寸为256*40*40的特征图FM2；
(s)将该256*40*40的特征图送入256个卷积核大小为3，步长为2的深度可分离卷积DSConv模块，得到尺寸为256*20*20的特征图；
(t)将该256*20*20的特征图通过跳跃连接层与步骤(i)中所提256*20*20的特征图在通道维度上进行堆叠，得到尺寸为512*20*20的特征图；
(u)将该512*20*20的特征图送入512个卷积核大小为3，步长为1的幽灵卷积瓶颈层GhostBottleneck模块，得到尺寸为512*20*20的特征图FM3；
(v)将步骤(o)中所提尺寸为128*80*80的特征图FM1，步骤(r)中所提尺寸为256*40*40的特征图FM2，步骤(u)中所提尺寸为512*20*20的特征图FM3送入检测头，分别对应大目标、中目标和小目标检测。
经测试，在自制数据集上mAP从0.805下降至0.764，FPS从20帧提升至48帧。
3通过并联双跟踪的改进P-DeepSORT多目标跟踪算法对目标轨迹进行跟踪预测，并且针对原有遮挡造成的跟踪目标序号跳变问题，设计了一种跟踪器双输入并联结构，联合多角度特征信息保证跟踪效果的稳定性，降低误判率。
3.1从预测(Tracks)开始，由于每一时刻的track Bbox组在一起就相当于构成一组轨迹；
3.2经过Kalman滤波预测后，会对当前帧预测一个轨迹Bbox，Bbox存在两种状态confirmed/unconfirmed，分别表示轨迹Bbox为确定目标/不确定目标；
3.3对当前帧进行detection，然后将detection Bboxs结果和预测的confirmedtrack Bbox进行数据关联(matched tracks)；
3.4.1若匹配成功，更新跟踪Bbox；
3.4.2若匹配失败，则分别考虑以下情况：
(a)tracks匹配失败，检测可能发生了漏检，某时刻预测的轨迹tracks还在，但是检测器没有检测到与之对应的目标。遮挡往往会造成此类问题，因此采用并联ReID模块从多个角度搜索可能的匹配目标。
(b)detection匹配失败，可能某一时刻有一个物体是新进入的镜头，就会发生detection匹配不到tracks的情况，因为这个物体是新来的，在这之前并没有它的轨迹用于预测；还有一种情况就是物体长时间被遮挡，导致检测到的物体没有可以与之匹配的轨迹。
针对上述匹配失败问题，处理方法为对匹配失败的tracks和匹配失败的detection进行IOU匹配。如果能匹配成功，则进行更新，然后继续进行预测-观测-更新的跟踪流程；若仍然失败，则对其建立一个new tracks，初始化为unconfirmed，并对其进行三次考察，如果是实际目标修改为confirmed后再进行预测-观测-更新；
3.5对下一帧执行上述步骤3.1至3.4，直至任务结束。
4通过专家系统对投放垃圾的轨迹终点坐标与该区域垃圾桶类别进行匹配，错误匹配视为垃圾错投，未进入区域视为垃圾遗撒。具体的，设置以下变量：
a.Objects.Hand表示当前帧中所有检测框是否存在类别手；
b.Itemo·pointbirth表示检测框的初始坐标；
c.Itemo.class表示检测框的类别；
d.Areasbin表示划定垃圾桶区域；
e.Area.class表示当前垃圾桶区域的类别；
f.TextFalse/TextTrue分别表示投放错误/正确的提示文字；
g.ListShow表示待显示文本列表；
h.ItemL.frame表示显示文本存在的帧数；
i.Framemax表示显示文本最大可存在帧数；
j.ItemL.json表示向服务器发送的数据包信息
对每一帧图像执行下述操作：
(1)遍历所有检测框，若检测到手或目标初始坐标在投放域内，不做处理并进入下一帧，否则执行(2)；
(2)若跟踪终止坐标不在投放区域内，判定本次投放为垃圾遗撒并进入下一帧，否则执行(3)
(3)若检测目标种类与投放区域种类不匹配，将投放错误信息添加至判定列表，否则将投放正确信息添加至判定列表，并设置告警显示时长为0。
(4)设置终止显示时长为2s并遍历判定列表，若告警显示时长大于终止显示时长，将投放信息移出判定列表并发送告警信息至云端服务器，否则维持告警信息显示直至大于终止显示时长。
流程伪代码表示如下：
Figure BDA0003336491430000151
5通过平视摄像头C1获取投放物体当前距地面高度信息h，并提前划定特定高度H(略高于垃圾桶桶口)，俯视摄像头C2获取检测目标框的像素宽度s′，与划定垃圾桶区域的像素宽度s，将两者相除得到比例系数k，公式如下：
Figure BDA0003336491430000152
其中k∈(0，1)，当水平摄像头检测物体中心点高度h与预设高度H重合即h＝H时，通过已知的垃圾桶边长Wt计算出投放物体的实际宽度W，公式如下：
W＝Wt×k
利用摄像头单目测距原理计算投放物体到摄像头的距离D，公式如下：
Figure BDA0003336491430000161
式中D为检测物体到摄像头的距离，W为检测物体的实际宽度，F为摄像头的焦距，P为摄像头中检测物体的宽度像素值。
最终通过计算已知俯视角度摄像头C2距地面高度Hc与距离摄像头最近的目标距离Dmin之差计算出当前桶内的最大垃圾堆叠高度Hmax，公式如下：
Hmax＝Hc-Dmin
当Hmax超过预设阈值Hthreshold时，将垃圾桶视为满溢状态，本处将阈值Hthreshold设为垃圾桶高度的70％。
6边缘计算设备开启两条进程主进程和子进程，并通过共享内存S实现进程通信：其中子进程将步骤5中的平视摄像头C1作为人脸识别模块的输入端，输出投放人姓名N，同时获取当前投放物体的高度信息h，最终将上述获取的姓名N与高度信息h存入共享内存S中供主进程调用；主进程将步骤5中的俯视摄像头C2作为目标检测的输入端，并将结果送入跟踪器，实现对投放物体的种类CL与轨迹信息T的获取，将CL与T输入专家系统得出本次投放动作的判断结果Code，同时获取当前时间戳T。最终将上述所提投放人姓名N，投放结果Code，当前时间戳T，桶内堆叠高度h统一发送至云端平台进行数据汇总。
在此期间，主进程通过RTMP协议向云端Nginx服务器推流，以实现流程的实时监控要求。
最后应说明的是：上述实施例仅用于说明本发明的技术方案，尽管参照前述实施例对本发明进行了详细的说明，但这并不表明本发明仅局限于此：其使用者依然可以将前述实施例所记载的技术方案进行修改或者对其中部分或全部技术特征进行等同替换，也可以在此基础上进行算法上的进一步改进和优化；但值得注意的是本发明的基本框架和结构并不会随着这些修改、替换和创新脱离本发明各实施例技术方案的范围。

Claims (1)

1.一种基于机器视觉的垃圾桶无人值守系统设计方法，其特征在于：
步骤1使用人脸检测算法获取摄像头拍摄图像中的人脸检测框Boxes以及每个检测框所对应的人脸关键点Landmarks；将Boxes及其对应的Landmarks送入对齐网络输出对齐后的人脸图像Imageface；将对齐后的人脸图像Imageface送入人脸识别网络生成n维特征向量embedding，embedding满足：
embedding＝(x1，x2，x3...xn)
作为人脸比对依据；最后将生成的人脸特征向量embedding与数据库中已注册的人脸特征向量集合
Figure FDA0003336491420000011
进行对比，其中ei满足：
ei＝(y1，y2，y3...yn)
计算其欧氏距离d：
Figure FDA0003336491420000012
选择满足欧氏距离d小于预设阈值dthreshold的人脸信息所对应的姓名作为最终识别结果；dthreshold＝1.24；
步骤2使用深度神经网络模型对待投放垃圾进行目标检测，获取待投放垃圾的种类信息，分为以下4个阶段：
(1)预处理阶段，对输入图像进行切片操作，将切片后的图像进行卷积降维后，送入主干网络进行特征提取；
(2)特征图提取阶段，主干网络由深度可分离卷积DSConv模块及添加通道注意力机制的幽灵卷积瓶颈层SE-GhostBottleneck模块构成；
SE-GhostBottleneck模块输入先后经过幽灵卷积降维GhostConv-分组卷积DWConv-通道权重调整SELayer-幽灵卷积升维GhostConv操作输出特征图；
主干网络具体结构如下：
(2-1)输入首先经过DSConv模块进行卷积下采样操作，之后送入SE-GhostBottleneck模块进行特征提取得到浅层特征图；
(2-2)将浅层特征图送入DSConv模块进行卷积下采样操作，之后送入3层级联SE-GhostBottleneck模块进行特征提取得到较深层特征图；
(2-3)将较深层特征图送入DSConv模块进行卷积下采样操作，之后送入3层级联SE-GhostBottleneck模块进行特征提取得到深层特征图；
(2-4)将深层特征图送入空间金字塔池化层SPP模块进行多重感受野融合，提升模型对于不同尺寸物体检测的鲁棒性，并将输出特征图送入通道注意力模块SELayer进行通道权重调整，将其输出结果作为主干网络的特征提取结果；
(3)特征融合阶段，对于主干网络所提取的特征图，基于深层特征图的强语义特征和浅层特征图的强定位特征，从不同的主干层对不同的检测层进行参数聚合，更好的融合主干网络所提取的特征，其具体结构如下：
(3-1)首先将主干网络输出特征图送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图f1；
(3-2)将特征图f1送入幽灵卷积GhostConv模块，输出特征图f2；
(3-3)将特征图f2进行上采样，并通过跳跃连接层与(2-3)中所提特征图在通道维度上进行堆叠，输出特征图f3；
(3-4)将特征图f3送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图f4；
(3-5)将特征图f4送入幽灵卷积GhostConv模块，输出特征图f5；
(3-6)将特征图f5进行上采样，并通过跳跃连接层与(2-2)中所提特征图在通道维度上进行堆叠，输出特征图f6；
(3-7)将特征图f6送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM1；
(3-8)将特征图FM1送入深度可分离卷积DSConv模块，输出特征图f7；
(3-9)将特征图f7通过跳跃连接层与步骤(3-4)中所提特征图在通道维度上进行堆叠，输出特征图f8；
(3-10)将特征图f8送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM2；
(3-11)将特征图FM2送入深度可分离卷积DSConv模块，输出特征图f9；
(3-12)将特征图f9通过跳跃连接层与(3-2)中所提特征图在通道维度上进行堆叠，输出特征图f10；
(3-13)将特征f10图送入幽灵卷积瓶颈层GhostBottleneck模块，输出特征图FM3；
(4)目标检测阶段，设置三级检测头，分别对应小、中、大三种尺度的检测目标；将特征图FM1、FM2、FM3送入检测头，根据预设锚点框进行边框回归，实现目标检测；
步骤3通过多目标跟踪算法对目标轨迹进行跟踪预测，并且针对原有遮挡造成的跟踪目标序号跳变问题，设计了一种跟踪器双输入并联结构，联合多角度特征信息保证跟踪效果的稳定性，降低误判率，具体流程如下：
(1)将每一时刻的跟踪框组合构成一组轨迹；
(2)通过滤波操作对当前帧预测一个跟踪框，该跟踪框存在两种状态，分别为确定状态和不确定状态；
(3)对当前帧进行检测，然后对检测框和个跟踪框进行数据关联，此时会出现两种情况：
(a)匹配成功，更新跟踪框；
(b)匹配失败，对匹配失败的跟踪框和检测框进行IOU匹配；若匹配成功，则进行更新，然后继续进行预测–观测–更新的跟踪流程；若仍然失败，则将原跟踪目标的特征向量与辅视角检测目标的特征向量进行匹配：
若匹配成功，则认为未丢失跟踪目标并保留跟踪信息，否则对其建立一个新的跟踪框，并初始化为不确定状态，对此后几帧进行IOU匹配，若匹配成功，则将此跟踪框设置为确定状态，继续进行预测-观测-更新的跟踪流程；
(4)对下一帧执行上述步骤(1)至(3)，直至任务结束；
步骤4通过专家系统对投放垃圾的轨迹终点坐标与该区域垃圾桶类别进行匹配，错误匹配视为垃圾错投，未进入区域视为垃圾遗撒；具体地，对每一帧图像执行下述操作：
(4.1)遍历所有检测框，若检测到手或目标初始坐标在投放域内，不做处理并进入下一帧，否则执行(4.2)；
(4.2)若跟踪终止坐标不在投放区域内，判定本次投放为垃圾遗撒并进入下一帧，否则执行(4.3)
(4.3)若检测目标种类与投放区域种类不匹配，将投放错误信息添加至判定列表，否则将投放正确信息添加至判定列表，并设置告警显示时长为0；
(4.4)设置终止显示时长为2s并遍历判定列表，若告警显示时长大于终止显示时长，将投放信息移出判定列表并发送告警信息至云端服务器，否则维持告警信息显示直至大于终止显示时长；
步骤5通过平视摄像头C1获取投放物体当前距地面高度信息h，并提前划定特定高度H，俯视摄像头C2获取检测目标框的像素宽度s′，与划定垃圾桶区域的像素宽度s，将两者相除得到比例系数k，公式如下：
Figure FDA0003336491420000031
其中k∈(0，1)，当水平摄像头检测物体中心点高度h与预设高度H重合即h＝H时，通过已知的垃圾桶边长Wt计算出投放物体的实际宽度W，公式如下：
W＝Wt×k
利用摄像头单目测距原理计算投放物体到摄像头的距离D，公式如下：
Figure FDA0003336491420000041
式中D为检测物体到摄像头的距离，W为检测物体的实际宽度，F为摄像头的焦距，P为摄像头中检测物体的宽度像素值；
最终通过计算已知俯视角度摄像头C2距地面高度Hc与距离摄像头最近的目标距离Dmin之差计算出当前桶内的最大垃圾堆叠高度Hmax，公式如下：
Hmax＝Hc-Dmin
并设置阈值高度Hthreshold满足：
Hthreshold＝Hcan×α
其中Hcan为垃圾桶总高度，α为满溢系数，取α＝0.7，当Hmax超过阈值高度Hthreshold时，将垃圾桶视为满溢状态；
步骤6边缘计算设备开启两条进程主进程和子进程，并通过共享内存S实现进程通信：其中子进程将步骤5中的平视摄像头C1作为人脸识别模块的输入端，输出投放人姓名N，同时获取当前投放物体的高度信息h，最终将上述获取的姓名N与高度信息h存入共享内存S中供主进程调用；主进程将步骤5中的俯视摄像头C2作为目标检测的输入端，并将结果送入跟踪器，实现对投放物体的种类CL与轨迹信息T的获取，将CL与T输入专家系统得出本次投放动作的判断结果Code，同时获取当前时间戳T；最终将上述所提投放人姓名N，投放结果Code，当前时间戳T，桶内堆叠高度h统一发送至云端平台进行数据汇总；在此期间，主进程通过RTMP协议向云端Nginx服务器推流，以实现流程的实时监控要求。
CN202111295652.9A 2021-11-03 2021-11-03 一种基于机器视觉的垃圾桶无人值守系统设计方法 Pending CN114092877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111295652.9A CN114092877A (zh) 2021-11-03 2021-11-03 一种基于机器视觉的垃圾桶无人值守系统设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111295652.9A CN114092877A (zh) 2021-11-03 2021-11-03 一种基于机器视觉的垃圾桶无人值守系统设计方法

Publications (1)

Publication Number Publication Date
CN114092877A true CN114092877A (zh) 2022-02-25

Family

ID=80298816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295652.9A Pending CN114092877A (zh) 2021-11-03 2021-11-03 一种基于机器视觉的垃圾桶无人值守系统设计方法

Country Status (1)

Country Link
CN (1) CN114092877A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399504A (zh) * 2022-03-25 2022-04-26 济南大学 一种基于工业互联网的智能轮辋检测与跟踪方法及系统
CN115100589A (zh) * 2022-06-07 2022-09-23 慧之安信息技术股份有限公司 基于深度学习的校园报警系统
CN116682051A (zh) * 2023-01-16 2023-09-01 苏州市伏泰信息科技股份有限公司 基于视觉的垃圾投放行为监管方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
CN112257489A (zh) * 2020-07-10 2021-01-22 上海森元原环保科技有限公司 一种垃圾袋投放自动检测系统及方法
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
CN113213017A (zh) * 2021-06-08 2021-08-06 苏州市伏泰信息科技股份有限公司 一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
CN112257489A (zh) * 2020-07-10 2021-01-22 上海森元原环保科技有限公司 一种垃圾袋投放自动检测系统及方法
CN113213017A (zh) * 2021-06-08 2021-08-06 苏州市伏泰信息科技股份有限公司 一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张方超;董振;张栋;武涛;李卫国;: "基于图像视觉的垃圾分类机器人识别控制系统算法设计", 电子测量技术, no. 20, 23 October 2019 (2019-10-23) *
陈宇超;卞晓晓;: "基于机器视觉与深度学习的医疗垃圾分类系统", 电脑编程技巧与维护, no. 05, 18 May 2019 (2019-05-18) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399504A (zh) * 2022-03-25 2022-04-26 济南大学 一种基于工业互联网的智能轮辋检测与跟踪方法及系统
CN115100589A (zh) * 2022-06-07 2022-09-23 慧之安信息技术股份有限公司 基于深度学习的校园报警系统
CN116682051A (zh) * 2023-01-16 2023-09-01 苏州市伏泰信息科技股份有限公司 基于视觉的垃圾投放行为监管方法及装置
CN116682051B (zh) * 2023-01-16 2024-05-24 苏州市伏泰信息科技股份有限公司 基于视觉的垃圾投放行为监管方法及装置

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN110543867B (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN114092877A (zh) 一种基于机器视觉的垃圾桶无人值守系统设计方法
US9251425B2 (en) Object retrieval in video data using complementary detectors
US9208675B2 (en) Loitering detection in a video surveillance system
CN104303193B (zh) 基于聚类的目标分类
CN102521565A (zh) 低分辨率视频的服装识别方法及系统
CN110688987A (zh) 一种行人位置检测与跟踪方法及系统
CN102982313B (zh) 烟雾检测的方法
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN107911663A (zh) 一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN104601964A (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN113139497B (zh) 一种水面物体识别的系统、方法及基于5g mec的应用
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN112464765B (zh) 一种基于单像素特征放大的安全帽检测方法及其应用
US12118795B2 (en) System and method for tracking customer movements in a customer service environment
CN114582011A (zh) 一种基于联邦学习与边缘计算的行人追踪方法
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN110659585B (zh) 一种基于交互属性监督的行人检测方法
CN109711232A (zh) 基于多目标函数的深度学习行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination