CN113435419B - 违规丢弃垃圾行为检测方法、装置及应用 - Google Patents

Abstract

本申请提出了一种违规丢弃垃圾行为检测方法、装置及应用，包括步骤：获取连续多帧监控视频图像；获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；获取所述第一待检测图像集合的任一第一待检测图像，获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征；对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为，本方案可提高违规丢弃垃圾行为的检测准确度，同时可在复杂的检测环境中更加关注垃圾和乱丢垃圾人员，减少检测算法的检测压力。

Description

违规丢弃垃圾行为检测方法、装置及应用

技术领域

本申请涉及行为监测领域，特别是涉及违规丢弃垃圾行为检测方法、装置及应用。

背景技术

城镇环境综合整治是一项依靠各城市管理部门的分工配合，运用各种技术手段，组织和监督各单位和市民共同努力以达到防护治环境污染的管理工程。在城镇环境综合整治工程中，违规丢弃垃圾行为是一种亟待被整治的不文明行为。违规丢弃垃圾行为的结果是导致各类生活垃圾被无序地堆放在公共场所，而这样的行为将引发各类社会问题：示例性的，暴露在空气中的垃圾若未能被及时清理的话，将导致蚊蝇滋生，进而传染疾病并危害人类健康；丢弃到水源内的的垃圾会导致海生动物死亡，进而会影响饮用水的卫生；另外，任意堆放的垃圾还会带来极大的安全隐患，这些垃圾遇到明火容易引起火灾。

目前监管违规丢弃垃圾行为的措施分为人工监管和视频监管两类，人工监管的方式指的是专职城管人员定时地进行特定场所的巡查，这种方式存在耗时耗力，覆盖面小，时效性差的问题；视频监管指的是借助计算机视觉技术实时地对监管场所进行监管，以自动监管违规丢弃垃圾行为，然而由于乱丢垃圾的场景存在事件和背景都较为复杂的问题，导致目前的视频监管方法无法很好很精准地实现违规丢弃垃圾行为的检测。具体的，目前的违规丢弃垃圾行为检测模型采用的方式大多还是直接利用乱丢垃圾的行为特征检测乱丢垃圾的行为，但由于监控场景的背景中往往存在多个人以及多个物体，多个人和多个物体之间存在各类行为模式，目前的违规丢弃垃圾行为检测模型需要遍历所有的背景因素并一一进行行为判断后才能得出检测结果，导致模型的计算压力巨大；且，目前的违规丢弃垃圾行为检测模型判断乱丢垃圾的行为特征更多是关注垃圾和人员之间的相对位置，这种方式难以区分违规丢弃垃圾行为和正常行为之间的行为特征，导致违规丢弃垃圾行为检测模型的检测结果难以满足实际城管需求。

发明内容

本申请实施例提供了一种违规丢弃垃圾行为检测方法、装置及应用，本方案结合乱丢垃圾人员和垃圾之间的交互关系进行违规丢弃垃圾行为的检测，可提高违规丢弃垃圾行为的检测准确度，同时可在复杂的检测环境中更加关注垃圾和乱丢垃圾人员，减少检测算法的检测压力。

第一方面，本申请实施例提供了一种违规丢弃垃圾行为检测方法，所述方法包括：获取连续多帧监控视频图像；获取连续多帧监控视频图像；获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；获取所述第一待检测图像集合中任一第一待检测图像，获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征；对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

第二方面，本申请实施例提供了一种违规丢弃垃圾行为检测装置，包括：监控视频图像获取单元，用于获取连续多帧监控视频图像；第一待检测图像获取单元，用于获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；特征图获取单元，用于获取所述第一待检测图像集合中任一第一待检测图像，并获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；交互特征获取单元，用于获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征；行为判断单元，用于对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

第三方面， 本申请实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的违规丢弃垃圾行为检测方法。

第四方面，本申请实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述代码软件部分用于执行所述的违规丢弃垃圾行为检测方法。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述执行所述的违规丢弃垃圾行为检测方法。

本发明的主要贡献和创新点如下：本方案提供一种违规丢弃垃圾行为检测方法，首先获取监控视频图像中的垃圾检测框和人体检测框，若同时存在垃圾检测框和人体检测框方触发后续检测步骤，以此方式可避免无效运算和检测，将检测模型的检测资源更多地让与有实际需求的监控场景；再者判断垃圾检测框和人体检测框之间的交互关系，获取具有交互信息的人体特征图，以此方式在检测违规丢弃垃圾行为中增加垃圾和人员之间的交互关系作为条件，可预筛部分不符合条件的人员，进而在提高违规丢弃垃圾行为检测的准确度提高了检测效率；最后基于具有交互信息的人体特征图进行违规丢弃垃圾行为的分类检测。换言之，本方案对检测目标进行层层筛选，最后基于有交互信息的人体特征图进行违规丢弃垃圾行为的检测，使得其更加关注垃圾和乱丢垃圾人员而无需关注其他目标，在监控环境背景复杂的应用场景中也有良好的表现。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的违规丢弃垃圾行为检测方法的流程图。

图2是根据本申请一种实施例的违规丢弃垃圾行为检测方法的逻辑运行示意图。

图3是根据本申请一种实施例的违规丢弃垃圾行为检测模型的结构示意图。

图4是根据本申请一种实施例的特征交互模块的结构示意图。

图5是根据本申请实施例的违规丢弃垃圾行为检测装置的结构框图。

图6是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请旨在提出一种基于具有交互信息的人体特征图进行违规丢弃垃圾行为检测的技术方案，在实现时，首先获取多帧视频图像中的垃圾检测框和人体检测框，当同时出现垃圾检测框和人体检测框时触发后续的行为检测，获取垃圾检测框对应的垃圾特征图以及人体检测框对应的人体特征图，对人体特征图和垃圾特征图进行交互判断后获取具有交互信息的交互特征，其中交互特征用于表征该人员和垃圾之间的交互关系，从违规丢弃垃圾行为的连贯性以及违规丢弃垃圾行为中乱丢垃圾人员与垃圾的交互关系两个角度触发，进行综合性的违规丢弃垃圾行为检测。

例如，本申请提出的违规丢弃垃圾行为检测方法可在场景复杂的公共场所中进行应用，获取监管特定场所的监控视频图像后，利用本方案的违规丢弃垃圾行为检测方法对违规丢弃垃圾行为进行检测，输出存在违规丢弃垃圾行为的人员，并可将人员及违规丢弃垃圾行为及时上报给城市管理相关人员。值得说明的是，由于本方案在违规丢弃垃圾行为检测过程中更加关注垃圾和人员，可忽略场景中复杂的背景因素造成的干扰，故此其在背景复杂的监控场景中也有良好的检测表现。

本申请实施例提供了一种违规丢弃垃圾行为检测方法，可在复杂环境中准确地检测违规丢弃垃圾行为，具体地，参考图1，所述方法包括：

获取连续多帧监控视频图像；获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；获取所述第一待检测图像集合中任一第一待检测图像，获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征；对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

不同于现有技术的提及的“仅通过比对垃圾和人员之间的相关位置进行违规丢弃垃圾行为检测”的违规丢弃垃圾行为检测方案，本方案考虑违规丢弃垃圾行为的连贯性，对连续多帧监控视频图像进行分析以检测得到更加符合实际的违规丢弃垃圾行为，这也是考虑到违规丢弃垃圾行为是一个连贯的动态过程，仅仅是某人站在垃圾边上并不代表其存在乱丢垃圾的意图。

另外，也不同于现有技术的提及的“直接检测违规丢弃垃圾行为特征”的违规丢弃垃圾行为检测方法，本方案更加关注人员和垃圾之间的交互关系，基于交互关系来判断是否存在违规丢弃垃圾行为，这样的好处在于可忽略其他背景目标对检测造成的干扰。特别的，如街道、社区、公园、游乐场、广场等公共场所往往是人员聚集较多的地方，在此类公共场所中存在杂乱繁多的检测目标，现有技术的方案很难在其中高效地检测违规丢弃垃圾行为。

在“获取连续多帧监控视频图像”中，所述监控视频图像采自待监控场景的监控视频。示例性的，若所述待监控场景为街道或者社区，监控视频图像可选自装设在街道或者社区的监控摄像头；若所述待监控场景为娱乐场所，监控视频图像可选择装设在娱乐场所的监控摄像头。也就是说，本方案对所述监控视频图像的来源不做限制，具体的来源取决于监控场景的需求。

在“获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合”中，同时存在至少一所述垃圾检测框和至少一所述人体检测框的所述监控视频图像作为第一待检测图像，所有所述第一待检测图像集合得到所述第一待检测图像集合。

值得说明的是，本方案是对连续多帧的所述监控视频图像都分别进行垃圾检测框和人体检测框的检测，以此方式可预筛第一待检测图像。也就是说，本方案通过该步骤的预筛确保所述第一待检测图像中同时包含垃圾和人员，若某帧监控视频图像仅含有人员而无垃圾，或者，某帧监控视频图像仅含有垃圾而无人员时，则该帧监控视频图像对于检测违规丢弃垃圾行为而言并无参考意义，以此方式也可减少计算压力，把计算空间充分让与给计算需求的行为检测。

也就是说，“获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合”包括：检测每一所述监控视频图像中是否存在垃圾检测框以及人体检测框，若所述监控视频图像同时存在至少一所述垃圾检测框和至少一所述人体检测框，所述监控视频图像作为第一待检测图像存入所述第一待检测图像集合。

具体的，“检测每一所述监控视频图像中是否存在垃圾检测框以及人体检测框”包括步骤：将连续多帧所述监控视频图像输入垃圾检测模型，获取每一所述监控视频图像的垃圾检测框；将连续多帧所述监控视频图像输入人体检测模型，获取每一所述监控视频图像的人体检测框。

其中所述垃圾检测模型可采用常规的卷积神经网络，此时，所述监控视频图像输入所述垃圾检测模型中可得出所述垃圾检测框的坐标信息，所述坐标信息包括所述垃圾检测框的左上角坐标、宽和高。

同理，所述人体检测模型也可采用常规的卷积神经网络，此时，所述监控视频图像输入所述人体检测模型中可得出所述人体检测框的坐标信息，所述坐标信息包括所述人体检测框的左上角坐标、宽和高。

当然，本方案提供的所述垃圾检测模型和所述人体检测模型需要被训练得到，由于所述垃圾检测模型和所述人体检测模型的网络架构是类似的，不同之处仅在于训练样本不同，在此统一进行说明，所述垃圾检测模型和所述人体检测模型的训练包括如下步骤：

采集训练和测试样本，采集标注有垃圾检测框或者人体检测框的监控视频图像，根据一定的比例分配得到训练样本和测试样本。在本方案的一具体实施例中，以样本数量为9:1的比例分配得到训练样本和测试样本。

将训练样本输入到开源目标检测网络中并设置网络参数进行训练。若训练样本中标注有垃圾检测框，则训练得到的开源目标检测网络为垃圾检测模型；若训练样本中标注有人体检测框，则训练得到的开源目标检测网络为人体检测模型。在本方案的一实施例中，所述开源目标检测网络可选用YOLOv5，网络参数可选择为训练批次大小为64，学习率为0.01。

将训练样本迭代训练k次后，将验证数据输入到训练k轮的检测模型中进行预测并获取预测结果，若预测结果与训练样本中标注的标签是一致的，则为正确，否则错误，计算准确率，反复训练迭代，当损失函数不再下降且准确率不再上升，则停止训练，获取对应的垃圾检测模型或人体检测模型。

“获取所述第一待检测图像集合中任一第一待检测图像，获取所述第一待检测图像的至每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图”中，包括步骤：提取所述连续多帧监控视频图像的视频特征图，所述第一待检测图像的所述垃圾检测框映射于所述视频特征图得到对应的所述垃圾特征图，所述人体检测框映射于所述视频特征图得到对应的所述人体特征图。

在本方案中，所述垃圾特征图为所述垃圾检测框在所述视频特征图的垃圾映射区域池化后得到的特征图，所述人体特征图为所述人体检测框在所述所述视频特征图的人员映射区域池化后得到的特征图。

具体的，本方案将连续多帧监控视频图像输入视频特征提取网络中进行视频特征的提取以得到视频特征图，所述视频特征图反映所述监控视频图像的特征。

所述视频特征提取网络采用3D卷积神经网络，本方案的所述视频特征提取网络利用标注违规丢弃垃圾行为的训练样本进行训练，训练后的视频特征提取网络可基于连续多帧监控视频图像得到视频特征图。

“至少一所述垃圾检测框映射于所述视频特征图得到对应的所述垃圾特征图”进一步包括：将至少一所述垃圾检测框映射在所述视频特征图上形成垃圾映射区域，对所述垃圾映射区域进行最大池化操作后得到所述垃圾特征图。

“至少一所述人体检测框映射于所述第一待检测图像特征图得到对应的所述人体特征图”进一步包括：将至少一所述人体检测框映射在所述视频特征图上形成人员映射区域，对所述人员映射区域进行最大池化操作后得到人体特征图，所述人体特征图为所述人体特征图。

以此方式可获取对应第一待检测图像的人体特征图和垃圾特征图，这样做的好处在于将位置框转换为可进行交互关系判断的特征信息，以便于后续进行交互关系的判断。

值得说明的是，本方案可随机抽取所述第一待检测图像集合中的第一待检测图像进行检测，一旦该第一待检测图像中出现违规丢弃垃圾行为则可获取对应的行为人。当然，在本方案中还可对所述第一检测图像集合中的每一所述第一待检测图像，此时确保可获取所述第一待检测图像中所有的乱丢垃圾的行为。

对应的，该方案还包括获取所述第一待检测图像集合中的每一所述第一待检测图像的交互特征，此时对应的需要遍历所述交互特征的分类结果。或者，包括随机获取所述第一待检测图像集合中的所述第一待检测图像的交互特征。

“获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征”包括步骤：将每一所述垃圾特征图和每一所述人员特征图输入特征交互模块中获取所述交互特征。

所述交互特征表征每一所述垃圾特征图和每一所述人体特征图之间的交互性，所述交互特征对应的特征值和交互性正相关。也就是说，根据所述交互特征可获取所述人体特征图对应的每个人和所述垃圾特征图对应的每个垃圾之间的交互性。在本方案的示例中，若所述交互特征的值较大，则表示该人员和垃圾之间为强交互，存在较大的扔垃圾的可能性，反之则反。

示例性，若某帧第一待检测图像含有K个人和N个垃圾，则对应有K个人体特征图和N个垃圾特征图，所述特征交互模块学习每个所述垃圾特征图和K个所述人体特征图是否存在交互，输出K*N个所述交互特征，每个所述交互特征表征对应的垃圾特征图和人体特征图之间的交互关系，若所述交互特征表征为强交互的话，则此时该人员乱丢垃圾的可能性较高。

具体的，所述特征交互模块的结构示意图如图4所示，特征交互模块包括对应垃圾特征图的垃圾特征图卷积层和对应人体特征图的至少两人体特征图卷积层，分别为第一人体特征图卷积层和第二人体特征图卷积层，垃圾特征图卷积层和第一人体特征图卷积层的输出结果输入Scale层后相乘后进入Sigmod层，Sigmod层的输出结果和第二人体特征图卷积层的输出结果归一处理后再输入Scale层进行处理。

所述特征交互模块获取所述垃圾特征图和所述人体特征图的交互特征值后，归一处理所述交互特征值后和所述人体特征图进行相关处理后，得到所述交互特征。也就是说，所述特征交互模块获取所述垃圾特征图和所述人员特征图的交互特征值，并将所述交互特征值和所述人员特征图进行融合得到所述交互特征。

具体的，所述特征交互模块的运行方式如下：

将所述垃圾特征图和所述人体特征图输入所述特征交互模块，所述垃圾特征图在所述第一垃圾特征图卷积层中进行卷积操作得到第一垃圾特征图，所述人体特征图在所述第一人体特征图卷积层中进行卷积操作得到第一人体特征图，经过卷积操作的所述第一垃圾特征图和第一人体特征图输入到Scale层相乘得到垃圾和人体的第一特征，所述第一特征再经过Sigmod层经过Sigmod激活函数操作，得到归一化处理的交互特征值，所述交互特征值在0-1之间；将经过第二人体特征卷积层卷积操作的第二人体特征图和所述交互特征值共同输入Scale层相乘得到第二特征，所述第二特征再经过全连接层的全连接操作得到具有交互信息的所述交互特征。

对应的，垃圾特征图和人体特征图经过以下特征交互步骤得到交互特征。对应的，“获取同一所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征”包括步骤：将所述垃圾特征图输入第一垃圾特征图卷积层中进行卷积得到第一垃圾特征图，将所述人体特征图输入第一人体特征图卷积层中进行卷积得到第一人体特征图，将所述人体特征图输入第二人体特征图卷积层中进行卷积得到第二人体特征图，将所述第一垃圾特征图和所述第一人体特征图输入第一Scale层相乘得第一特征，将所述第一特征经过激活函数操作后得到交互特征值，将所述交互特征值和所述第二人体特征图共同输入第二Scale层相乘得到第二特征，将所述第二特征输入全连接层后得到所述交互特征。

在本方案中，第一人体特征卷积层和第二人体特征卷积层可相同也可不同，第一Scale层和第二Scale层可相同也可不同。

“基于所述分类结果确定违规丢弃垃圾行为”包括步骤：若分类结果大于设定阈值，则此时存在违规丢弃垃圾行为。具体的，由于本方案的所述交互特征实质已含有特征信息，故此本方案采用常规的分类器即可。所述交互特征输入分类器的卷积层中得到特征，再经过Simoid层获取0-1之间的值，即预测为违规丢弃垃圾行为的概率，若概率大于阈值T则判断存在违规丢弃垃圾行为，否则不存在违规丢弃垃圾行为。

当然，若存在违规丢弃垃圾行为，则输出人体检测框所在的位置。此时，本方案提供的违规丢弃垃圾行为检测方法另外包括步骤：若存在所述违规丢弃垃圾行为，获取所述交互特征对应的所述人体检测框确定行为人。

如图2所示，本方案提供了本方案的违规丢弃垃圾行为检测方法的逻辑运行示意图，首先将连续多帧监控视频图像分别输入垃圾检测模型和人体检测模型中进行检测，仅在同时检测到垃圾检测框和人体检测框时再触发进行违规丢弃垃圾行为检测；将垃圾检测框、人体检测框和对应的监控视频图像输入违规丢弃垃圾行为模型中进行违规丢弃垃圾行为检测。

值得说明是，以上提及的视频特征提取网络、特征交互模块和分类器共同组成违规丢弃垃圾行为检测模型，所述本方案采用存在垃圾特征图和人体特征图的监控视频图像对其进行训练，直至违规丢弃垃圾行为检测模型的损失函数不再下降。所述违规丢弃垃圾行为模型的框架示意图如图3所示，监控视频图像输入视频特征提取网络中获取视频特征，基于RoIAlign处理垃圾检测框后得到其在视频特征上的垃圾特征图，基于RoIAlign处理人体检测框后得到其在视频特征上的人体特征图，所述人体特征图和垃圾特征图输入到特征交互模块中进行交互信息的获取，得到含有交互信息的交互特征，所述交互特征属于分类器内进行分类判断。

实施例二

基于相同的构思，参考图5，本申请还提出了一种违规丢弃垃圾行为检测装置，包括：

监控视频图像获取单元301，用于获取连续多帧监控视频图像；

待检测图像获取单元302，用于获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；

特征图获取单元303，用于获取所述第一待检测图像集合中任一第一待检测图像，获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；

交互特征获取单元304，用于获取所述第一待检测图像中每一所述垃圾特征图与每一所述人体特征图的交互特征；

行为判断单元305，用于对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

关于该违规丢弃垃圾行为检测装置内涉及的内容可参见实施例一提及的违规丢弃垃圾行为检测方法，相同的内容在此不进行累赘说明。

实施例三

本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项违规丢弃垃圾行为检测方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种数据入库方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是对应各个监控场景的监控视频图像等，输出的信息可以是违规丢弃垃圾行为、乱丢垃圾人员等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

获取连续多帧监控视频图像；获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；获取所述第一待检测图像集合中任一第一待检测图像，获取所述第一待检测图像的每一所述垃圾检测框的垃圾特征图以及每一所述人体检测框的人体特征图；获取所述第一待检测图像下每一所述垃圾特征图与每一所述人体特征图的交互特征；对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种违规丢弃垃圾行为检测方法，其特征在于，包括：

获取连续多帧监控视频图像；

获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；

提取所述连续多帧监控视频图像的视频特征图，所述第一待检测图像的所述垃圾检测框映射于所述视频特征图得到对应的垃圾特征图，所述第一待检测图像的所述人体检测框映射于所述视频特征图得到对应的人体特征图；

将所述垃圾特征图输入第一垃圾特征图卷积层中进行卷积得到第一垃圾特征图，将所述人体特征图输入第一人体特征图卷积层中进行卷积得到第一人体特征图，将所述人体特征图输入第二人体特征图卷积层中进行卷积得到第二人体特征图，将所述第一垃圾特征图和所述第一人体特征图输入第一Scale层相乘得第一特征，将所述第一特征经过激活函数操作后得到交互特征值，将所述交互特征值和所述第二人体特征图共同输入第二Scale层相乘得到第二特征，将所述第二特征输入全连接层后得到所述交互特征；

对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

2.根据权利要求1所述的违规丢弃垃圾行为检测方法，其特征在于，所述交互特征表征每一所述人体特征图和每一所述垃圾特征图的交互性。

3.根据权利要求1所述的违规丢弃垃圾行为检测方法，其特征在于，获取所述第一待检测图像集合中的每一所述第一待检测图像的交互特征，遍历所述交互特征的分类结果。

4.根据权利要求1所述的违规丢弃垃圾行为检测方法，其特征在于，若存在所述违规丢弃垃圾行为，获取所述交互特征对应的所述人体检测框确定行为人。

5.一种违规丢弃垃圾行为检测装置，其特征在于，包括：

监控视频图像获取单元，用于获取连续多帧监控视频图像；

第一待检测图像获取单元，用于获取同时存在至少一垃圾检测框和至少一人体检测框的所述监控视频图像得到第一待检测图像集合；

特征图获取单元，用于提取所述连续多帧监控视频图像的视频特征图，所述第一待检测图像的所述垃圾检测框映射于所述视频特征图得到对应的垃圾特征图，所述第一待检测图像的所述人体检测框映射于所述视频特征图得到对应的人体特征图；

交互特征获取单元，用于将所述垃圾特征图输入第一垃圾特征图卷积层中进行卷积得到第一垃圾特征图，将所述人体特征图输入第一人体特征图卷积层中进行卷积得到第一人体特征图，将所述人体特征图输入第二人体特征图卷积层中进行卷积得到第二人体特征图，将所述第一垃圾特征图和所述第一人体特征图输入第一Scale层相乘得第一特征，将所述第一特征经过激活函数操作后得到交互特征值，将所述交互特征值和所述第二人体特征图共同输入第二Scale层相乘得到第二特征，将所述第二特征输入全连接层后得到所述交互特征；

行为判断单元，用于对所述交互特征进行分类获得分类结果，基于所述分类结果确定违规丢弃垃圾行为。

6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到4任一所述的违规丢弃垃圾行为检测方法。

7.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码 部分用于执行根据权利要求1-4任一项所述的违规丢弃垃圾行为检测方法。

8.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至4任一项所述的违规丢弃垃圾行为检测方法。

Images