CN115394065A - 一种基于ai自动识别丢包行为报警的方法和装置 - Google Patents
一种基于ai自动识别丢包行为报警的方法和装置 Download PDFInfo
- Publication number
- CN115394065A CN115394065A CN202211341649.0A CN202211341649A CN115394065A CN 115394065 A CN115394065 A CN 115394065A CN 202211341649 A CN202211341649 A CN 202211341649A CN 115394065 A CN115394065 A CN 115394065A
- Authority
- CN
- China
- Prior art keywords
- garbage
- personnel
- behavior
- detection area
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000004888 barrier function Effects 0.000 claims abstract description 5
- 230000000246 remedial effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 33
- 238000013473 artificial intelligence Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
Abstract
本发明一种基于AI自动识别丢包行为报警的方法和装置，包括激光发射器对乱丢检测区域的环境进行感知；边缘计算终端得到乱丢检测区域中的障碍物信息；计算障碍物的运动速度信息，若运动速度超过速度阈值，则判断乱丢检测区域中有运动物体目标；依据获取的激光点云数据，对乱丢检测区域的环境持续性建模，过滤背景信息，判断前景信息中是否出现人员；对人员进行位置跟踪，同时对人员的身份信息进行检测识别；检测人员是否携带垃圾包；判断该人员是否存在乱丢垃圾行为；判断人员是否存在补救行为；通过判断是否乱丢垃圾和语音提醒，可劝导居民乱扔垃圾的行为，协助居民建立良好的习惯，减少垃圾对社区环境的影响；节省社区必须配备的垃圾劝导人员。
Description
技术领域
本发明涉及垃圾分类技术领域，特别涉及一种基于AI自动识别丢包行为报警的方法和装置。
背景技术
随着人们生活水平的提高，人们对环境问题也越来越重视。其中，环境卫生问题与人们的生活息息相关，是目前人们需要亟待解决的问题。
然而，由于缺乏对乱丢垃圾行为自动监控识别的有效手段，很多时候只能看到遍地垃圾污染环境而无法对乱丢垃圾的不文明行为进行及时监管，破坏环境卫生
目前行业对行人乱丢垃圾包裹的行为是依靠人工来监督和劝导，需要投入大量人力、财力，且无法做到24小时全天候监督，耗费大量时间。
发明内容
本发明的目的在于提供一种基于AI自动识别丢包行为报警的方法和装置，以克服现有技术中的不足。
为实现上述目的，本发明提供如下技术方案：
本发明公开了一种基于AI自动识别丢包行为报警的方法，具体包括如下步骤：
S1、激光发射器对乱丢检测区域的环境进行感知，得到激光点云数据；将激光点云数据发送至边缘计算终端；
S2、边缘计算终端根据接收到的激光点云数据，得到乱丢检测区域中的障碍物信息；
S3、计算障碍物的运动速度信息，若运动速度超过速度阈值，则判断乱丢检测区域中有运动物体目标，进入步骤S4；反之，没有运动目标进入，返回步骤S1；
S4、依据获取的激光点云数据，对乱丢检测区域的环境持续性建模，过滤背景信息，判断前景信息中是否出现人员；若出现人员，进入步骤S5；若未出现人员，则返回步骤S1；
S5、对人员进行位置跟踪，同时对人员的身份信息进行检测识别；检测人员是否携带垃圾包；若携带垃圾包，进入步骤S6；反之，返回步骤S1；
S6、判断该人员是否存在乱丢垃圾行为；若存在，进行语音提醒，进入步骤S7；反之，返回步骤S1；
S7、判断人员是否存在补救行为；若存在，则返回步骤S1；反之，保存乱丢垃圾行为的视频，并进入步骤S8；
S8、边缘计算终端将该人员身份信息与乱丢垃圾行为的视频上传至平台。
作为优选，步骤S1中激光发射器的旋转频率为20hz，每旋转0.4°发射一次激光，旋转360°后，得到一帧的激光点云数据。
作为优选，步骤S3中边缘计算终端对激光点云数据中的坐标距离信息进行微分处理，得到障碍物的运动速度信息。
作为优选，步骤S4中依据获取的激光点云数据，通过CodeBook算法、平均背景模型与平面栅格法对乱丢检测区域的环境持续性建模。
作为优选，步骤S5中还包括判断该人员在单位时间内是否第一次进入乱丢检测区域；若是，则播放提示语音；反之，不播放。
作为优选，步骤S6具体包括如下子步骤：
S61、检测到人员携带有垃圾包，将垃圾包与该人员身份进行绑定；
S62、人员离开乱丢检测区域后，判断是否存在乱丢垃圾行为；
S63、若垃圾包位于扔垃圾区域或该人员将垃圾包带走，则不存在乱丢垃圾行为；反之，当该人员离开乱丢检测区域的距离超过距离阈值后，判定该人员存在乱丢垃圾行为。
作为优选，步骤S7具体包括操作：人员听到语音提醒后，若将垃圾包捡起丢入扔垃圾区域或带走，则取消语音提醒；反之，保存乱丢垃圾行为的前后15秒视频。
本发明还公开了一种基于AI自动识别丢包行为报警的装置，包括激光雷达，内设有激光发射器，用于对乱丢检测区域的环境进行感知，得到激光点云数据；边缘计算终端，用于实时接收和处理激光雷达产生的激光点云数据；摄像头，用于实时拍摄乱丢检测区域内的画面；扬声器，用于播放语音。
本发明的有益效果：
本发明通过判断是否乱丢垃圾和语音提醒，可劝导居民乱扔垃圾的行为，协助居民建立良好的习惯，减少垃圾对社区环境的影响；节省社区必须配备的垃圾劝导人员。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1为本发明一种基于AI自动识别丢包行为报警的方法的流程示意图；
图2为本发明一种基于AI自动识别丢包行为报警的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
参阅图1，本发明实施例提供一种基于AI自动识别丢包行为报警的方法，具体包括如下步骤：
S1、激光发射器对乱丢检测区域的环境进行感知，得到激光点云数据；将激光点云数据发送至边缘计算终端；
S2、边缘计算终端根据接收到的激光点云数据，得到乱丢检测区域中的障碍物信息；
S3、计算障碍物的运动速度信息，若运动速度超过速度阈值，则判断乱丢检测区域中有运动物体目标，进入步骤S4；反之，没有运动目标进入，返回步骤S1；
S4、依据获取的激光点云数据，对乱丢检测区域的环境持续性建模，过滤背景信息，判断前景信息中是否出现人员；若出现人员，进入步骤S5；若未出现人员，则返回步骤S1；
S5、对人员进行位置跟踪，同时对人员的身份信息进行检测识别；检测人员是否携带垃圾包；若携带垃圾包，进入步骤S6；反之，返回步骤S1；
S6、判断该人员是否存在乱丢垃圾行为；若存在，进行语音提醒，进入步骤S7；反之，返回步骤S1；
S7、判断人员是否存在补救行为；若存在，则返回步骤S1；反之，保存乱丢垃圾行为的视频，并进入步骤S8；
S8、边缘计算终端将该人员身份信息与乱丢垃圾行为的视频上传至平台。
在一种可行的实施例中，步骤S1中激光发射器的旋转频率为20hz，每旋转0.4°发射一次激光，旋转360°后，得到一帧的激光点云数据。
在一种可行的实施例中，步骤S3中边缘计算终端对激光点云数据中的坐标距离信息进行微分处理，得到障碍物的运动速度信息。
在一种可行的实施例中，步骤S4中依据获取的激光点云数据，通过CodeBook算法、平均背景模型与平面栅格法对乱丢检测区域的环境持续性建模。
在一种可行的实施例中，步骤S5中还包括判断该人员在单位时间内是否第一次进入乱丢检测区域；若是，则播放提示语音；反之，不播放。
在一种可行的实施例中，步骤S6具体包括如下子步骤：
S61、检测到人员携带有垃圾包，将垃圾包与该人员身份进行绑定；
S62、人员离开乱丢检测区域后，判断是否存在乱丢垃圾行为；
S63、若垃圾包位于扔垃圾区域或该人员将垃圾包带走，则不存在乱丢垃圾行为；反之，当该人员离开乱丢检测区域的距离超过距离阈值后，判定该人员存在乱丢垃圾行为。
在一种可行的实施例中，步骤S7具体包括操作：人员听到语音提醒后，若将垃圾包捡起丢入扔垃圾区域或带走，则取消语音提醒；反之，保存乱丢垃圾行为的前后15秒视频。
实施例：
S1、激光雷达内的激光发射器对乱丢检测区域环境进行感知，激光发射器旋转频率在20hz的时候，每旋转0.4°即发射一次激光，一个轮询周期即激光雷达旋转一周360°后，即可得到一帧的激光点云数据。
S2、边缘计算终端，根据上述返回的单帧点云数据中的坐标，可得到当前区域是否存在障碍物，多帧的点云数据，对坐标距离信息进行微分处理，可得到障碍物的运动速度信息。若计算得到的运动速度超过设定阈值1km/h，则判断当前区域有运动物体目标，否则，没有运动目标进入。
S3、若判定有运动目标进入区域，则触发边缘计算终端内算法开启，依据获取的激光点云数据，使用CodeBook算法、平均背景模型与平面栅格法（见背景技术信息）对环境持续性背景建模，过滤掉当前环境冗余无用的背景信息，保存下目标前景信息。若未出现明显的前景信息，则各个算法检测模块继续进入休眠等待。
S4、若出现明显的前景信息，则开启SSD目标检测算法对进入目标进行检测识别，开启KalmanFilter跟踪算法对检测到的目标物体进行跟踪，开启人脸检测Mtcnn+arcface算法，识别记录进入区域人员信息。
S5、目标检测算法会持续更新输出目标的坐标类别等信息，结合激光雷达点云数据计算出目标移动速度信息与卡尔曼滤波跟踪器输出的跟踪信息，可以判断该人员是否第一次进入检测区域，若该人员在设定时间内第一次进入，则触发播报宣导语音模块，驱动扬声器播放宣语音，提醒人员不要乱丢垃圾。若在该人员在设定时间内，并非初次进入，则不触发播放宣教语音，避免重复播报，降低用户体验。
S5、目标检测、跟踪会覆盖到目标的全生命周期，从目标进入开始，到目标离开结束，若检测到进入的人员携带有垃圾包，则从检测到的第一次就将该垃圾包ID（该ID以目标第一次出现的时间戳命名，且该ID会一直持续使用到该目标上，只有当该目标离开，ID才会丢弃）与该人员身份进行绑定，人员离开区域后，若垃圾包停留在原地未带走或丢弃到指定位置内，则在人员离开垃区域时间距离超过设定阈值2米，则判定该人员存在乱丢垃圾行为，语音报警，播放提醒捡起乱丢垃圾语音。
S6、若该人员听到语音后，将乱丢的垃圾袋捡起，丢入指定区域内或带走则取消报警，播放谢谢配合语音，否则将储存下该丢包行为前后的十五秒视频用于溯源。
S7、若判定存在乱丢行为后，则将人员检测算法识别到的人员身份信息与溯源视频数据进行绑定，边缘计算终端将数据打包通过网络上传到平台。
S8、平台会将该行为事件推送到行为人的手机上，进行宣传劝导，若行为人对该事件有异议可通过平台申诉，后台人员会进行人工二次审核。
S9、人工审核后根据判定情况，对该异议进行处理。
S10、若某人员存在经常性的乱丢行为，则会安排人员上门进行宣传劝导。
上述实施例中，提及的方式方法均为现有技术，具体如下：
一、对坐标信息进行微分处理方程：
移动距离x和时间t的关系看做一个函数x=f(t)，则该函数在t时刻的导数可以用dx/dt表示其含义是位置相对于时间的变化率即速度变化率
二、CodeBook算法：
该算法为图像中每一个像素点建立一个码本，每个码本可以包括多个码元，每个码元有它的学习时最大最小阈值，检测时的最大最小阈值等成员。
在背景建模期间，每当来了一幅新图片，对每个像素点进行码本匹配，也就是说如果该像素值在码本中某个码元的学习阈值内，则认为它离过去该对应点出现过的历史情况偏离不大，通过一定的像素值比较，如果满足条件，此时还可以更新对应点的学习阈值和检测阈值。如果新来的像素值对码本中每个码元都不匹配，则有可能是由于背景是动态的，所以我们需要为其建立一个新的码元，并且设置相应的码元成员变量。因此，在背景学习的过程中，每个像素点可以对应多个码元，这样就可以学到复杂的动态背景。
三、平均背景模型：
平均背景模型是一种简单、快速但是背景的多模态（比如光照强度的变化、树叶的摇动等）比较敏感的一种背景建模方法。其基本思想是计算每个像素上的平均值作为基本模型，然后将当前像素值和背景像素值进行比较，当他们之间的差值小于某个特定的阈值时，则该像素可以被认为是背景像素，否则被认为是前景目标像素。其中，阈值可以自己根据经验设定，也可以采用自适应算法进行确定。
四、平面栅格法：
栅格法通常是根据设定好的尺寸建立平面网格（也可以做多层网格或者三维体素），然后将激光雷达获取的原始点云投影到各自的网格中，对每个网格中的点集提取特征，如平均高度、最大高度、高度差、密度信息等。
五、SSD目标检测算法
SSD是单阶段多尺度的检测目标检测算法，通过卷积神经网络进行特征提取，取不同的特征层进行检测输出。在需要检测的特征层，直接使用一个3*3卷积，进行通道的变换。采用了anchor的策略，预设不同长宽比例的anchor，每一个输出特征层基于anchor预测多个检测框。采用了多尺度检测方法，在浅层用于检测小目标，深层用于检测大目标。
SSD算法，整个网络的识别流程：
图片进入SSD算法。在数据预处理阶段，会对图片进行如随机裁剪、随机翻转、光度扭曲等变换，以提高数据集多样性，然后进入VGG主干网络进行特征提取；在网络的末尾，也就是检测head部分，利用6个特征层进行预测。具体地，将6个特征层分别进行3*3卷积，通道数根据特征层顺序、anchor数、类别数进行变换；将每一个特征层进行正负样本匹配。以shape是144*19*19的特征层为例，144是6*(20+4)，20是voc数据集类别种数，4是坐标偏移预测值，19是特征层的尺寸。即一张19*19的grid的特征层中，每一个grid预测6个边界框，每个边界框的尺寸由4个预测值和anchor进行决定。每一个anchor的中心点在grid中心，尺寸大小有 sk 缩放比例决定，对于19*19特征层， s2 为0.34，由 s2 求得6个anchor的长宽，再乘以图片尺寸300即可得到实际的长宽；19*19特征层可以预测2166个边界框。根据匹配策略，将这2166个anchor（不是边界框）与gt框进行匹配，若匹配上则为正样本，否则为负样本。负样本还是太多，通过难负例挖掘，保留负样本中置信度损失较大的，使得正负样本比为1:3。
最后，正样本计算定位损失和类别损失，负样本计算类别损失。将得到的损失进行参数更新。最终，使得正样本的坐标不断接近gt坐标，类别置信率不断接近真实类别分布。
六、KalmanFilter跟踪算法
Kalman滤波分为2个步骤，预测(predict)和校正(correct)。预测是基于上一时刻状态估计当前时刻状态，而校正则是综合当前时刻的估计状态与观测状态，估计出最优的状态。预测与校正的过程如下：
预测就是根据目标在t-1时刻的状态来预测其在t时刻的状态。
(1)x′=Fx
(2)P′=FPFT+Q
在公式1中，x为track在t-1时刻的均值，F称为状态转移矩阵，该公式预测t时刻的x’；
在公式2中，P为track在t-1时刻的协方差，Q为系统的噪声矩阵，代表整个系统的可靠程度，一般初始化为很小的值，该公式预测t时刻的P’；
更新是基于t时刻的检测结果（测量值）和根据跟踪轨迹预测目标在t时刻的状态（预测值），得到一个在t时刻更精确的结果（状态）。
(3)y=z−Hx′
(4)S=HP′HT+R
(5)K=P′HTS-1
(6)x=x′+Ky
(7)P=(I−KH)P′
在公式3中，z为detection的均值向量，不包含速度变化值，即z=[x,y,a,h]，H称为测量矩阵，它将track的均值向量x’映射到检测空间，该公式计算detection和track的均值误差y；
在公式4中，R为检测器的噪声矩阵，它是一个4x4的对角矩阵，对角线上的值分别为中心点两个坐标以及宽高的噪声，以任意值初始化，一般设置宽高的噪声大于中心点的噪声。该公式先将协方差矩阵P’映射到检测空间，然后再加上噪声矩阵R；
在公式5中，计算卡尔曼增益K，卡尔曼增益用于估计误差的重要程度；
在公式6和公式7中，计算更新后的均值向量x和协方差矩阵P。
七、MTCNN人脸检测算法
MTCNN多任务级联卷积神经网络，将人脸检测和人脸特征点定位结合起来，而得到的人脸特征点又可以实现人脸校正。该算法由3个阶段组成：
第一阶段，通过卷积神经网络网络快速产生候选框体；使用一种叫做ProposalNetwork的卷积神经网络，获得候选窗体和边界回归向量。同时，候选窗体根据边界框进行校准，然后利用非极大值抑制去除重叠窗体；
第二阶段，通过更复杂一点的卷积神经网络网络精炼候选窗体，丢弃大量的重叠窗体；使用RefineNetwork卷积神经网络进行操作，将经过ProposalNetwork确定的包含候选窗体的图片在RefineNetwork中训练，最后使用全连接网络进行分类，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体；
第三阶段，使用更强大的卷积神经网络，实现候选窗体去留，同时回归5个面部关键点。使用OutputNetwork卷积神经网络进行操作，该网络比RefineNetwork多一层卷积层，功能与RefineNetwork类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。
MTCNN网络在经过3个卷积网络处理之前，先进行了多尺度变换，将一幅人脸图像缩放为不同尺寸的图片，这样就构成了图像金字塔。然后这些不同尺度的图像作为3个阶段的输入数据进行训练，这样可以令MTCNN检测到不同尺寸的人脸。
八、ARCFace人脸识别损失函数
AdditiveAngularMarginLoss（加性角度间隔损失函数），对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接。几何上有恒定的线性角度margin，ArcFace中是直接在角度空间θ中最大化分类界限。
参阅图2，设备1 为激光雷达，该激光雷达用于实时扫描当前画面区域。
摄像头1：为双目摄像头，实时获取当前含有目标深度信息的图像，用于实时捕获当前范围内的画面。
摄像头2用于实时捕捉行人图像，借助AI算法实现人脸识别，获取行人的身份信息。
边缘计算终端：
1、用于实时接收和处理激光雷达产生的数据，用于生成3d点云数据，用于背景建模。过滤环境干扰，更好的实施检测和跟踪算法。
用于使用AI模型检测跟踪算法计算并处理摄像头1的图像数据，检测并实时跟踪进入画面中过的人员与垃圾包裹，获取人员、包裹在画面中的空间位置，判断是否有人新进入视频画面，是否存在有乱丢行为
用于AI人脸检测模型处理摄像头2输入的视频流，对画面中的人员进行识别与跟踪
发生乱丢包行为后，将该行为与跟踪的人员进行身份的比对匹配，计算终端将信息通过网络上传到平台。
扬声器用于，当人员进入视频画面的时候，播放宣传教育不要乱丢垃圾等语音，以及乱丢垃圾行为发生后，播放提醒捡起乱丢的垃圾，投入垃圾桶内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于AI自动识别丢包行为报警的方法，其特征在于，具体包括如下步骤：
S1、激光发射器对乱丢检测区域的环境进行感知，得到激光点云数据；将激光点云数据发送至边缘计算终端；
S2、边缘计算终端根据接收到的激光点云数据，得到乱丢检测区域中的障碍物信息；
S3、计算障碍物的运动速度信息，若运动速度超过速度阈值，则判断乱丢检测区域中有运动物体目标，进入步骤S4；反之，没有运动目标进入，返回步骤S1；
S4、依据获取的激光点云数据，对乱丢检测区域的环境持续性建模，过滤背景信息，判断前景信息中是否出现人员；若出现人员，进入步骤S5；若未出现人员，则返回步骤S1；
S5、对人员进行位置跟踪，同时对人员的身份信息进行检测识别；检测人员是否携带垃圾包；若携带垃圾包，进入步骤S6；反之，返回步骤S1；
S6、判断该人员是否存在乱丢垃圾行为；若存在，进行语音提醒，进入步骤S7；反之，返回步骤S1；
S7、判断人员是否存在补救行为；若存在，则返回步骤S1；反之，保存乱丢垃圾行为的视频，并进入步骤S8；
S8、边缘计算终端将该人员身份信息与乱丢垃圾行为的视频上传至平台。
2.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于：步骤S1中激光发射器的旋转频率为20hz，每旋转0.4°发射一次激光，旋转360°后，得到一帧的激光点云数据。
3.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于，步骤S3中边缘计算终端对激光点云数据中的坐标距离信息进行微分处理，得到障碍物的运动速度信息。
4.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于，步骤S4中依据获取的激光点云数据，通过CodeBook算法、平均背景模型与平面栅格法对乱丢检测区域的环境持续性建模。
5.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于，步骤S5中还包括判断该人员在单位时间内是否第一次进入乱丢检测区域；若是，则播放提示语音；反之，不播放。
6.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于，步骤S6具体包括如下子步骤：
S61、检测到人员携带有垃圾包，将垃圾包与该人员身份进行绑定；
S62、人员离开乱丢检测区域后，判断是否存在乱丢垃圾行为；
S63、若垃圾包位于扔垃圾区域或该人员将垃圾包带走，则不存在乱丢垃圾行为；反之，当该人员离开乱丢检测区域的距离超过距离阈值后，判定该人员存在乱丢垃圾行为。
7.如权利要求1所述的一种基于AI自动识别丢包行为报警的方法，其特征在于，步骤S7具体包括操作：人员听到语音提醒后，若将垃圾包捡起丢入扔垃圾区域或带走，则取消语音提醒；反之，保存乱丢垃圾行为的前后15秒视频。
8.一种基于AI自动识别丢包行为报警的装置，其特征在于：包括激光雷达，内设有激光发射器，用于对乱丢检测区域的环境进行感知，得到激光点云数据；边缘计算终端，用于实时接收和处理激光雷达产生的激光点云数据；摄像头，用于实时拍摄乱丢检测区域内的画面；扬声器，用于播放语音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341649.0A CN115394065A (zh) | 2022-10-31 | 2022-10-31 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341649.0A CN115394065A (zh) | 2022-10-31 | 2022-10-31 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115394065A true CN115394065A (zh) | 2022-11-25 |
Family
ID=84114955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341649.0A Pending CN115394065A (zh) | 2022-10-31 | 2022-10-31 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115394065A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152751A (zh) * | 2023-10-30 | 2023-12-01 | 西南石油大学 | 一种图像分割方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知系统及方法 |
| CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别系统及其识别方法 |
| CN111242010A (zh) * | 2020-01-10 | 2020-06-05 | 厦门博海中天信息科技有限公司 | 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法 |
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
| CN114089364A (zh) * | 2021-11-18 | 2022-02-25 | 智能移动机器人(中山)研究院 | 一种集成化的感知系统装置及实现方法 |
| CN114419825A (zh) * | 2022-03-29 | 2022-04-29 | 中国铁路设计集团有限公司 | 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 |
| CN115100588A (zh) * | 2022-05-31 | 2022-09-23 | 中国计量大学 | 一种基于深度学习的违规投递垃圾行为检测方法 |
| CN115113206A (zh) * | 2022-06-23 | 2022-09-27 | 湘潭大学 | 井下有轨车辅助驾驶的行人与障碍物检测方法 |
-
2022
- 2022-10-31 CN CN202211341649.0A patent/CN115394065A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别系统及其识别方法 |
| CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知系统及方法 |
| CN111242010A (zh) * | 2020-01-10 | 2020-06-05 | 厦门博海中天信息科技有限公司 | 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法 |
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
| CN114089364A (zh) * | 2021-11-18 | 2022-02-25 | 智能移动机器人(中山)研究院 | 一种集成化的感知系统装置及实现方法 |
| CN114419825A (zh) * | 2022-03-29 | 2022-04-29 | 中国铁路设计集团有限公司 | 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 |
| CN115100588A (zh) * | 2022-05-31 | 2022-09-23 | 中国计量大学 | 一种基于深度学习的违规投递垃圾行为检测方法 |
| CN115113206A (zh) * | 2022-06-23 | 2022-09-27 | 湘潭大学 | 井下有轨车辅助驾驶的行人与障碍物检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152751A (zh) * | 2023-10-30 | 2023-12-01 | 西南石油大学 | 一种图像分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862705B (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
| CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
| US10592771B2 (en) | Multi-camera object tracking | |
| US20240062518A1 (en) | Method, apparatus, computer device and storage medium for detecting objects thrown from height | |
| EP3633615A1 (en) | Deep learning network and average drift-based automatic vessel tracking method and system | |
| CN105745687B (zh) | 情景感知移动目标检测 | |
| US10402987B2 (en) | Methods and systems of determining object status for false positive removal in object tracking for video analytics | |
| AU2017359142B2 (en) | Systems and methods for detecting flying animals | |
| Rout | A survey on object detection and tracking algorithms | |
| CN110853295A (zh) | 一种高空抛物预警方法和装置 | |
| Kumar et al. | Study of robust and intelligent surveillance in visible and multi-modal framework | |
| CN110046560B (zh) | 一种危险驾驶行为检测方法和相机 | |
| CN107229894A (zh) | 基于计算机视觉分析技术的智能视频监控方法及系统 | |
| CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
| CN111931582A (zh) | 基于图像处理的高速公路交通事件检测方法 | |
| CN111611970A (zh) | 一种基于城管监控视频的乱扔垃圾行为检测方法 | |
| CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
| CN103106414A (zh) | 一种智能视频监控中行人的检测方法 | |
| US7541923B2 (en) | Method for and system of intrusion detection by using ultrasonic signals | |
| CN115394065A (zh) | 一种基于ai自动识别丢包行为报警的方法和装置 | |
| Patil et al. | Suspicious movement detection and tracking based on color histogram | |
| CN115761537A (zh) | 一种面向动态特征补充机制的输电线路异物入侵识别方法 | |
| CN109727268A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN110800053A (zh) | 基于音频数据获取事件指示的方法和设备 | |
| Park et al. | Identifying tonal frequencies in a Lofargram with convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221125 |