CN112707058B - 一种厨余垃圾规范动作的检测方法、系统、装置及介质 - Google Patents

Abstract

本发明公开了一种厨余垃圾规范动作的检测方法、系统、装置及介质，其中方法包括：采用摄像头获取厨余垃圾桶区域的连续视频帧；将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；根据双手的检测框和垃圾袋的检测框判断目标是否规范地将垃圾丢在厨余垃圾桶区域，并在检测到不规范时，发出预设警告。本发明通过模型检测连续视频帧中每一帧手和垃圾袋的检测框，根据检测框来依次判断人们是否将厨余垃圾规范地丢到厨余垃圾桶区域，引导人们的正确投放习惯，具有重大的意义，可广泛应用于机器视觉技术领域。

Description

一种厨余垃圾规范动作的检测方法、系统、装置及介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种厨余垃圾规范动作的检测方法、系统、装置及介质。

背景技术

我国每年产生大量生活垃圾，其中有很多可回收垃圾是具有再次利用价值，生活垃圾资源化对经济、社会、环境等方面都产生巨大的效益。垃圾分类处理体系是一个复杂的系统，从结构上看，它包括垃圾分类收集、垃圾分类运输、垃圾分类处理以及垃圾分类回收四个环节。实现垃圾分类处理需从源头做起，垃圾分类收集是解决垃圾问题的有效对策之一。

目前，全国各地已经在推进生活垃圾分类投放点的建设。然而，当前许多投放点的管理水平低下，缺乏清晰的垃圾分类引导标志和说明，分类效果差。其中，厨余垃圾由于需要垃圾袋和垃圾分离等额外步骤，出现混投、错分情况严重，这会给后续的垃圾处理带来各种各样的问题。因此，厨余垃圾的规范操作的判断对于投放点的智能化管理，人们的正确投放习惯引导，乃至生活垃圾分类大数据统计分析具有十分重要的意义。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于：

本发明所采用的技术方案是：

一种厨余垃圾规范动作的检测方法，包括以下步骤：

采用摄像头获取厨余垃圾桶区域的连续视频帧；

将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出每一视频帧中双手的检测框和垃圾袋的检测框；

获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

进一步，所述手及垃圾袋检测模型包括手检测网络和垃圾袋检测网络，所述手检测网络包括手特征提取网络和手分类定位判断网络，所述垃圾袋检测网络包括垃圾袋特征提取网络和垃圾袋分类定位判断网络，所述手及垃圾袋检测模型由手检测网络和垃圾袋检测网络根据相关损失函数进行交替更新后获得。

进一步，所述一种厨余垃圾规范动作的检测方法还包括建立手检测模型的步骤，所述建立手检测模型的步骤包括对所述手检测网络进行训练的步骤，所述对所述手检测网络进行训练的步骤包括对所述垃圾特征提取网络和垃圾分类定位判断网络进行训练这一步骤，具体为：

将带有手位置标签的数据集输入至所述手特征提取网络后，获得手特征图；

将所述手特征图输入至所述手分类定位判断网络后，获得手置信度及对应手检测框坐标；

根据所述手置信度及对应手检测框坐标和手位置标签计算相关损失函数；

采用所述相关损失函数对所述手特征提取网络、所述手分类定位判断网络进行训练。

进一步，所述一种厨余垃圾规范动作的检测方法还包括建立垃圾袋检测模型的训练步骤，所述建立垃圾袋检测模型的训练步骤包括对所述垃圾袋检测网络进行训练的步骤，所述对所述垃圾袋检测网络进行训练的步骤包括对所述垃圾特征提取网络和垃圾分类定位判断网络进行训练这一步骤，具体为：

将带有垃圾袋位置标签的数据集输入至所述垃圾袋特征提取网络后，获得垃圾袋特征图；

将所述垃圾袋特征图输入至所述垃圾袋分类定位判断网络后，获得垃圾袋置信度及对应垃圾袋检测框坐标；

根据所述垃圾袋置信度及对应垃圾袋检测框坐标和垃圾袋位置标签计算相关损失函数；

采用所述相关损失函数对所述垃圾袋特征提取网络、所述垃圾袋分类定位判断网络进行训练。

进一步，所述根据所述水平距离变化判断是否存在解袋操作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的水平像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的水平像素距离变化情况判断是否存在解袋操作。

进一步，所述根据所述竖直距离变化判断是否存在倒垃圾的动作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的竖直像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的竖直像素距离变化情况判断是否存在倒垃圾动作。

进一步，所述根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，包括：

获取厨余垃圾桶区域的坐标信息；

以视频左上角点为原点，判断垃圾袋的检测框的纵坐标最大值是否小于厨余垃圾桶区域的纵坐标最小值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的纵坐标最小值是否大于厨余垃圾桶区域的纵坐标最大值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的横坐标最大值是否小于厨余垃圾桶区域的横坐标最小值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的横坐标最小值是否大于厨余垃圾桶区域的横坐标最大值，如果是判断为垃圾袋不在厨余垃圾桶区域；否则判断为垃圾袋丢在厨余垃圾桶区域。

本发明所采用的另一技术方案是：

一种厨余垃圾规范动作的检测系统，包括：

数据获取模块，用于采用摄像头获取厨余垃圾桶区域的连续视频帧；

模型检测模块，用于将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；

第一判断模块，用于获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

第二判断模块，用于获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

第三判断模块，用于获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

第四判断模块，用于获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

本发明所采用的另一技术方案是：

一种厨余垃圾规范动作的检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过模型检测连续视频帧中每一帧手和垃圾袋的检测框，根据检测框来依次判断人们是否将厨余垃圾规范地丢到厨余垃圾桶区域，引导人们的正确投放习惯，具有重大的意义。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中一种基于机器视觉的厨余垃圾规范操作的检测方法的步骤流程图；

图2是本发明实施例中手检测模型的框架图；

图3是本发明实施例中垃圾袋检测模型的框架图；

图4是本发明实施例中基于视频帧手、垃圾袋检测框的动作规范性判断步骤流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

如图1所示，本实施例提供一种基于机器视觉的厨余垃圾规范动作的检测方法，包括以下步骤：

S1、训练手检测模型和垃圾袋检测模型。手检测模型包括手特征提取网络、手分类定位网络，在训练过程中，手检测模型由手特征提取网络、手分类定位网络根据相关损失进行交替更新后获得。垃圾袋检测模型包括垃圾袋特征提取网络、垃圾袋分类定位网络，在训练过程中，垃圾袋检测模型由垃圾袋特征提取网络、垃圾袋分类定位网络根据相关损失进行交替更新后获得。由手检测模型和垃圾袋检测模型组成手及垃圾袋检测模型。

S2、通过RGB摄像头获取厨余垃圾桶周围的连续帧图片，将连续帧图片输入至手及垃圾袋检测模型中，获得双手和垃圾袋的检测框及检测框的坐标信息。

S3、根据双手和垃圾袋检测框坐标在连续帧的变化情况，判断当前扔厨余垃圾动作是否规范。判断扔垃圾的目标手是否直接将垃圾袋丢到厨余垃圾桶，若是，发出“不规范”警示；反之，继续以下判断步骤。判断扔垃圾的目标手是否解开垃圾袋，若是，继续以下判断步骤；反之，发出“不规范”警示。判断扔垃圾的目标手是否将垃圾袋内的垃圾倒入厨余垃圾桶，若是，继续以下判断步骤；反之，发出“不规范”警示。判断扔垃圾的目标手是否将倒完垃圾的垃圾袋丢入指定的区域(如干垃圾区域)，及没有将垃圾袋丢入厨余垃圾桶内，若判断到将垃圾袋丢入厨余垃圾桶内，发出“不规范”警示。上述通过“不规范”警示提醒或警告丢垃圾的人们，从而起到引导和规范人们规范丢垃圾的作用，其中的警示可以为语音警示，文字警示或闪灯警示等。

具体地，手特征提取网络用于提取输入至手检测模型的目标人的手深度特征图，该手深度特征图包括手类别和手坐标信息，手分类定位网络用于根据手深度特征图提取目标手的手分类定位特征图，该手分类定位特征图包括手的置信度和手的图像坐标信息。垃圾袋特征提取网络用于提取输入至垃圾袋检测模型的目标垃圾袋的垃圾袋深度特征图，该垃圾袋深度特征图包括垃圾袋类别和垃圾袋坐标信息，垃圾袋分类定位网络用于根据垃圾袋深度特征图提取目标垃圾袋分类定位特征图，该垃圾袋分类定位特征图包括垃圾袋的置信度和垃圾袋的图像坐标信息。本实施例通过损失函数对手特征提取网络、手分类定位网络、垃圾袋特征提取网络、垃圾袋分类定位网络进行优化更新，不仅提高手、垃圾袋检测模型对不同场景目标手、垃圾袋特征提取能力，而且提高手、垃圾袋检测模型对相对位置多变的手、垃圾袋检测分类精度，从而提高判断扔厨余垃圾动作是否规范的准确率。

进一步作为可选的实施方式，步骤S1包括以下步骤S11-S13：

S11、对手特征提取网络进行训练；

S12、对手分类定位网络进行训练；

S13、对垃圾袋特征提取网络进行训练；

S14、对垃圾袋分类定位网络进行训练。

具体地，参照图2，本实施例提供了一种手及垃圾袋检测模型，手及垃圾袋检测模型包括手特征提取网络、手分类定位网络、垃圾袋特征提取网络、垃圾袋分类定位网络，为了获得有效的手特征提取网络、手分类定位网络、垃圾袋特征提取网络、垃圾袋分类定位网络，需要利用相关损失对手特征提取网络、手分类定位网络、垃圾袋特征提取网络、垃圾袋分类定位网络进行交替更新。

进一步作为可选的实施方式，步骤S11包括以下步骤S111-S113：

S111、将带有手置信度标签和手位置坐标的手数据集输入至手特征提取网络后，获取手深度特征图；

S112、根据输出手深度特征图和手置信度标签、手位置坐标标签计算参考损失函数；

S113、利用参考损失函数对手特征提取网络进行训练。

具体地，构建手特征提取网络，是为了通过预训练学习的方式，更快捷、高效地建立手特征提取网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对手特征提取网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。

如图2所示，本实施例的手特征提取网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加手特征提取网络的非线性表达能力，使得输入的目标图像手置信度和位置坐标更具有可分性，同时减少网络卷积层参数的个数。

每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。

最后一层卷积层，将深度特征维度映射到31360维，进而组成10×56×56维度手深度特征图，该手深度特征图表示10个维度为56×56手深度特征图。

用于训练骨架点粗提取网络的人图像可来自于自公共手数据库，该公共人数据库主要包括Paddle、Oxford hand、Widar等。对带有手置信度标签、手位置坐标标签的手图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准人图像，该标准人图像构成带手置信度标签、手位置坐标标签的数据集。

将带有手置信度标签、手位置坐标标签数据集输入到手特征提取网络，设定初始的学习率为0.1，每个输入块(Batch)的人图像数量为64，预计最大训练的迭代次数为100万次。

通过计算标准人图像所带的手置信度标签、手位置坐标标签与手特征提取网络的输出手深度特征图之间的交叉熵损失函数作为手特征提取网络的参考损失函数，该交叉熵损失函数的公式如下：

其中，N表示每个输入块(Batch)的人图像数目，即64。H、W表示手深度特征图的长、宽，即56、56。x_i,j表示10个手深度特征图在坐标(i,j)特征值组成的特征向量，t^* _i,j表示原图中坐标(i,j)像素真实类别，N₁表示手深度特征图数目，即10。其中10为2个检测框5个手深度特征图，5个手深度特征图分别为手置信度特征图、手检测框左上角点横坐标特征图、手检测框左上角点纵坐标特征图、手检测框右下角点横坐标特征图、手检测框右下角点纵坐标特征图，损失函数L的目的是使得在坐标(i,j)对应特征向量x_i,j各维度依次回归到手真实置信度、手真实检测框左上角点横坐标、手真实检测框左上角点纵坐标、手真实检测框右下角点横坐标、手真实检测框右下角点纵坐标。

根据损失函数的值，利用随机梯度下降的方法对手特征提取网络进行训练，对手特征提取网络中所有层的参数进行调整，得到最佳的手特征提取网络。

进一步作为可选的实施方式，步骤S12包括以下步骤S121-S124：

S121、将带有手置信度标签和手位置坐标标签的数据集输入至最佳的手特征提取网络，得到带标签的手深度特征图；

S122、将带标签的手深度特征图输入至手分类定位网络，得到手分类定位特征图；

S123、根据输出手分类定位特征图和手置信度标签、手位置坐标标签计算参考损失函数；

S124、利用参考损失函数对手分类定位网络进行训练。

具体地，构建手分类定位网络，是为了通过预训练学习的方式，更快捷、高效地建立手分类定位网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对手分类定位网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。

如图2所示，本发明的手分类定位网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加手分类定位网络的非线性表达能力，使得输出的手分类定位特征图更具有可分性，同时减少网络卷积层参数的个数。

每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。

最后一层卷积层，将深度特征维度映射到15680维度，进而组成5×56×56，表示5个维度为56×56手分类定位特征图。

用于训练参考网络的人图像可来自于自公共手数据库，该公共手数据库主要包括Paddle、Oxford hand、Widar等。对带有手置信度标签和手位置坐标标签的手图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准手图像，将3×224×224的标准手图像输入到训练后的手特征提取网络，获得10×56×56手深度特征图，该手深度特征图构成带手置信度标签和手位置坐标标签的数据集。

将带有手置信度标签和手位置坐标标签的数据集输入到手分类定位网络，设定初始的学习率为0.01，每个输入块(Batch)的骨架点粗特征图数量为64，预计最大训练的迭代次数为100万次。

通过计算标准手图像所带的手置信度标签和手位置坐标标签与手分类定位网络的输出手分类定位特征图之间的回归损失函数作为手分类定位网络的参考损失函数，该回归损失函数的公式如下：

其中，N表示每个输入块(Batch)的人图像数目，即64。H、W表示手分类定位特征图的长、宽，即56、56。N₂表示手分类定位特征图数目，即5。_k(i,k)表示第k维度的手分类定位特征图在坐标(i,j)特征值。^* _k(i,j)表示第k维度标签图在坐标(i,j)特征值，其中标签图是根据标签生成，在该标签图第一维度对应手真实置信度，第二维度对应手真实检测框左上角点横坐标，第三维度对应手真实检测框左上角点纵坐标，第四维度对应手真实检测框右下角点横坐标，第五维度对应手真实检测框右下角点纵坐标，损失函数L的目的是使得受分类定位特征图更加精准表达手检测框置信度和坐标位置。

根据损失函数的值，利用随机梯度下降的方法对手分类定位网络进行训练，对手分类定位网络中所有层的参数进行调整，得到最佳的手分类定位网络。

进一步作为可选的实施方式，步骤S13包括以下步骤S131-S133：

S131、将带有垃圾袋置信度标签和垃圾袋位置坐标的垃圾袋数据集输入至垃圾袋特征提取网络后，获取垃圾袋深度特征图；

S132、根据输出垃圾袋深度特征图和垃圾袋置信度标签、垃圾袋位置坐标标签计算参考损失函数；

S133、利用参考损失函数对垃圾袋特征提取网络进行训练。

具体地，构建垃圾袋特征提取网络，是为了通过预训练学习的方式，更快捷、高效地建立垃圾袋特征提取网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对垃圾袋特征提取网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。

如图3所示，本发明的垃圾袋特征提取网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加垃圾袋特征提取网络的非线性表达能力，使得输入的目标图像垃圾袋置信度和位置坐标更具有可分性，同时减少网络卷积层参数的个数。

每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。

最后一层卷积层，将深度特征维度映射到31360维，进而组成10×56×56维度垃圾袋深度特征图，该垃圾袋深度特征图表示10个维度为56×56垃圾袋深度特征图。

用于训练骨架点粗提取网络的人图像可来自于自公共垃圾袋数据库，该公共垃圾袋数据库主要包括华为云垃圾分类。对带有垃圾袋置信度标签、垃圾袋位置坐标标签的垃圾袋图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准人图像，该标准人图像构成带垃圾袋置信度标签、垃圾袋位置坐标标签的数据集。

将带有垃圾袋置信度标签、垃圾袋位置坐标标签数据集输入到垃圾袋特征提取网络，设定初始的学习率为0.1，每个输入块(Batch)的人图像数量为64，预计最大训练的迭代次数为100万次。

通过计算标准人图像所带的垃圾袋置信度标签、垃圾袋位置坐标标签与垃圾袋特征提取网络的输出垃圾袋深度特征图之间的交叉熵损失函数作为垃圾袋特征提取网络的参考损失函数，该交叉熵损失函数的公式如下：

其中，N表示每个输入块(Batch)的人图像数目，即64。H、W表示垃圾袋深度特征图的长、宽，即56、56。x_i,j表示10个垃圾袋深度特征图在坐标(i,j)特征值组成的特征向量，t^* _i,j表示原图中坐标(i,j)像素真实类别，N₁表示垃圾袋深度特征图数目，即10。其中10为2个检测框5个垃圾袋深度特征图，5个垃圾袋深度特征图分别为垃圾袋置信度特征图、垃圾袋检测框左上角点横坐标特征图、垃圾袋检测框左上角点纵坐标特征图、垃圾袋检测框右下角点横坐标特征图、垃圾袋检测框右下角点纵坐标特征图，损失函数L的目的是使得在坐标(i,j)对应特征向量x_i,j各维度依次回归到垃圾袋真实置信度、垃圾袋真实检测框左上角点横坐标、垃圾袋真实检测框左上角点纵坐标、垃圾袋真实检测框右下角点横坐标、垃圾袋真实检测框右下角点纵坐标。

根据损失函数的值，利用随机梯度下降的方法对垃圾袋特征提取网络进行训练，对垃圾袋特征提取网络中所有层的参数进行调整，得到最佳的垃圾袋特征提取网络。

进一步作为可选的实施方式，步骤S14包括以下步骤S141-S144：

S141、将带有垃圾袋置信度标签和垃圾袋位置坐标标签的数据集输入至最佳的垃圾袋特征提取网络，得到带标签的垃圾袋深度特征图；

S142、将带标签的垃圾袋深度特征图输入至垃圾袋分类定位网络，得到垃圾袋分类定位特征图；

S143、根据输出垃圾袋分类定位特征图和垃圾袋置信度标签、垃圾袋位置坐标标签计算参考损失函数；

S144、利用参考损失函数对垃圾袋分类定位网络进行训练。

具体地，构建垃圾袋分类定位网络，是为了通过预训练学习的方式，更快捷、高效地建立垃圾袋分类定位网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对垃圾袋分类定位网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。

如图3所示，本发明的垃圾袋分类定位网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加垃圾袋分类定位网络的非线性表达能力，使得输出的垃圾袋分类定位特征图更具有可分性，同时减少网络卷积层参数的个数。

每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。

最后一层卷积层，将深度特征维度映射到15680维度，进而组成5×56×56，表示5个维度为56×56垃圾袋分类定位特征图。

用于训练参考网络的人图像可来自于自公共垃圾袋数据库，该公共垃圾袋数据库主要包括华为云垃圾分类等。对带有垃圾袋置信度标签和垃圾袋位置坐标标签的垃圾袋图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准垃圾袋图像，将3×224×224的标准垃圾袋图像输入到训练后的垃圾袋特征提取网络，获得10×56×56垃圾袋深度特征图，该垃圾袋深度特征图构成带垃圾袋置信度标签和垃圾袋位置坐标标签的数据集。

将带有垃圾袋置信度标签和垃圾袋位置坐标标签的数据集输入到垃圾袋分类定位网络，设定初始的学习率为0.01，每个输入块(Batch)的骨架点粗特征图数量为64，预计最大训练的迭代次数为100万次。

通过计算标准垃圾袋图像所带的垃圾袋置信度标签和垃圾袋位置坐标标签与垃圾袋分类定位网络的输出垃圾袋分类定位特征图之间的回归损失函数作为垃圾袋分类定位网络的参考损失函数，该回归损失函数的公式如下：

其中，N表示每个输入块(Batch)的人图像数目，即64。H、W表示垃圾袋分类定位特征图的长、宽，即56、56。N₂表示垃圾袋分类定位特征图数目，即5。_k(i,j)表示第k维度的垃圾袋分类定位特征图在坐标(i,j)特征值。^* _k(i,j)表示第k维度标签图在坐标(i,j)特征值，其中标签图是根据标签生成，在该标签图第一维度对应垃圾袋真实置信度，第二维度对应垃圾袋真实检测框左上角点横坐标，第三维度对应垃圾袋真实检测框左上角点纵坐标，第四维度对应垃圾袋真实检测框右下角点横坐标，第五维度对应垃圾袋真实检测框右下角点纵坐标，损失函数L的目的是使得受分类定位特征图更加精准表达垃圾袋检测框置信度和坐标位置。

根据损失函数的值，利用随机梯度下降的方法对垃圾袋分类定位网络进行训练，对垃圾袋分类定位网络中所有层的参数进行调整，得到最佳的垃圾袋分类定位网络。

进一步作为可选的实施方式，步骤S2包括以下步骤S21-S22：

S21、将连续帧图片输入至手检测模型获取手位置坐标；

S22、将连续帧图片输入至垃圾袋检测模型获取垃圾袋位置坐标；

具体地，将当前帧图片经过标准化后输入手检测模型，获得手分类定位图，其中手分类定位图第一维度代表以该像素点为中心的框是手检测框的置信度，选择置信度大于0.7的框作为最终手检测框，检测框的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标分别对应手分类定位图的第二维度、第三维度。第四维度、第五维度。然后，将当前帧图片经过标准化后输入垃圾袋检测模型，获得垃圾袋分类定位图，其中垃圾袋分类定位图第一维度代表以该像素点为中心的框是垃圾袋检测框的置信度，选择置信度大于0.7的框作为最终垃圾袋检测框，检测框的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标分别对应垃圾袋分类定位图的第二维度、第三维度。第四维度、第五维度。

进一步作为可选的实施方式，步骤S21包括以下步骤S211-S213：

S211、将当前帧图片标准化；

S212、将标准化后图片输入至手模型，输出手检测框；

S213、采用非极大抑制算法去除重合度的框，得到最终手位置坐标；

具体地，将当前帧图片进行图像增强、图像伸缩预处理，最终得到规格为3×224×224的标准图像，将标准图像输入至手检测模型，获得手分类定位图，根据手分类定位图筛选出置信度大于0.7的检测框，以置信度最大的框为锚框，去除该锚框交并比大于0.5的冗余检测框，剩余的框为最终的手检测框。

进一步作为可选的实施方式，步骤S22包括以下步骤S221-S223：

S221、将当前帧图片标准化；

S222、将标准化后图片输入至手模型，输出垃圾袋检测框；

S223、采用非极大抑制算法去除重合度的框，得到最终垃圾袋位置坐标；

具体地，将当前帧图片进行图像增强、图像伸缩预处理，最终得到规格为3×224×224的标准图像，将标准图像输入至垃圾袋检测模型，获得垃圾袋分类定位图，根据垃圾袋分类定位图筛选出置信度大于0.7的检测框，以置信度最大的框为锚框，去除该锚框交并比大于0.5的冗余检测框，剩余的框为最终的垃圾袋检测框。

参照图4，具体地，进一步作为可选的实施方式，步骤S3包括以下步骤S31-S34：

S31、根据连续帧手检测框和垃圾袋检测框交并比变化情况，判断垃圾袋是否离手；

S32、根据连续帧左手检测框和右手检测框水平距离变化情况，判断是否有解袋动作；

S33、根据连续帧左手检测框和右手检测框垂直距离变化情况，判断是否有倒垃圾动作；

S34、判断垃圾袋是否在垃圾桶区域离手。

具体地，根据手检测框和垃圾袋检测框的交并比是否小于0.3，判断垃圾袋是否离手，如果离手，发出“不规范”提示，否则进行下一步判断。根据连续帧左手检测框和右手检测框水平距离是否小于54个像素点，判断是否存在解袋动作，如果不存在，发出“不规范”提示，否则进行下一步判断。根据连续帧左手检测框和右手检测框垂直距离是否大于36个像素，判断是否存在倒垃圾动作，如果不存在，发出“不规范”提示，否则进行下一步判断。根据手检测框和垃圾袋检测框的交并比是否小于0.3，判断垃圾袋是否离手，如果离手，进行下一步判断。根据视频帧中厨余垃圾桶口位置，人为设定一个四边形作为厨余垃圾桶区域；以视频左上角点为原点，判断垃圾袋的检测框纵坐标最大值是否小于厨余垃圾桶区域纵坐标最小值，如果是进行以下步骤，否则判断为垃圾袋在厨余垃圾桶区域；判断垃圾袋的检测框纵坐标最小值是否大于厨余垃圾桶区域纵坐标最大值，如果是进行以下步骤，否则判断为垃圾袋在厨余垃圾桶区域；判断垃圾袋的检测框横坐标最大值是否小于厨余垃圾桶区域横坐标最小值，如果是进行以下步骤，否则判断为垃圾袋在厨余垃圾桶区域；判断垃圾袋的检测框横坐标最小值是否大于厨余垃圾桶区域横坐标最大值，如果是判断为垃圾袋不在厨余垃圾桶区域，否则判断为垃圾袋在厨余垃圾桶区域，同时发出“不规范”提示。

综上所述，本实施例相对于现有技术，至少具有以下有益效果：

(1)、相较于直接从标准图像预测扔厨余垃圾动作是否规范，本实施例通过相关损失函数训练手深度提取网络、手分类定位网络、垃圾袋深度提取网络、垃圾袋分类定位网络，提高手和垃圾袋的检测精度，进而提高判断扔厨余垃圾动作规范性判断准确率。

(2)、本实施例基于双手检测框和垃圾袋检测框，采用多层判断策略，有效提高不规范动作检测的准确率，减少误报率。

(3)、本实施例通过预训练学习的方式，手深度提取网络、手分类定位网络、垃圾袋深度提取网络、垃圾袋分类定位网络特征提取的能力，能够有效降低训练成本。

本实施例还提供一种厨余垃圾规范动作的检测系统，包括：

数据获取模块，用于采用摄像头获取厨余垃圾桶区域的连续视频帧；

模型检测模块，用于将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；

第一判断模块，用于获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

第二判断模块，用于获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

第三判断模块，用于获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

第四判断模块，用于获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

本实施例的一种厨余垃圾规范动作的检测系统，可执行本发明方法实施例所提供的一种厨余垃圾规范动作的检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

一种厨余垃圾规范动作的检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示的方法。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种厨余垃圾规范动作的检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种厨余垃圾规范动作的检测方法，其特征在于，包括以下步骤：

采用摄像头获取厨余垃圾桶区域的连续视频帧；

将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；

获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

2.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述手及垃圾袋检测模型包括手检测网络和垃圾袋检测网络，所述手检测网络包括手特征提取网络和手分类定位判断网络，所述垃圾袋检测网络包括垃圾袋特征提取网络和垃圾袋分类定位判断网络，所述手及垃圾袋检测模型由手检测网络和垃圾袋检测网络根据相关损失函数进行交替更新后获得。

3.根据权利要求2所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述一种厨余垃圾规范动作的检测方法还包括建立手检测模型的步骤，所述建立手检测模型的步骤包括对所述手检测网络进行训练的步骤，所述对所述手检测网络进行训练的步骤包括对手特征提取网络和手分类定位判断网络进行训练这一步骤，具体为：

将带有手位置标签的数据集输入至所述手特征提取网络后，获得手特征图；将所述手特征图输入至所述手分类定位判断网络后，获得手置信度及对应手检测框坐标；

根据所述手置信度及对应手检测框坐标和手位置标签计算相关损失函数；

采用所述相关损失函数对所述手特征提取网络、所述手分类定位判断网络进行训练。

4.根据权利要求2所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述一种厨余垃圾规范动作的检测方法还包括建立垃圾袋检测模型的训练步骤，所述建立垃圾袋检测模型的训练步骤包括对所述垃圾袋检测网络进行训练的步骤，所述对所述垃圾袋检测网络进行训练的步骤包括对垃圾袋特征提取网络和垃圾袋分类定位判断网络进行训练这一步骤，具体为：

将带有垃圾袋位置标签的数据集输入至所述垃圾袋特征提取网络后，获得垃圾袋特征图；

将所述垃圾袋特征图输入至所述垃圾袋分类定位判断网络后，获得垃圾袋置信度及对应垃圾袋检测框坐标；

根据所述垃圾袋置信度及对应垃圾袋检测框坐标和垃圾袋位置标签计算相关损失函数；

采用所述相关损失函数对所述垃圾袋特征提取网络、所述垃圾袋分类定位判断网络进行训练。

5.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述根据所述水平距离变化判断是否存在解袋操作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的水平像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的水平像素距离变化情况判断是否存在解袋操作。

6.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述根据所述竖直距离变化判断是否存在倒垃圾的动作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的竖直像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的竖直像素距离变化情况判断是否存在倒垃圾动作。

7.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，包括：

获取厨余垃圾桶区域的坐标信息；

以视频左上角点为原点，判断垃圾袋的检测框的纵坐标最大值是否小于厨余垃圾桶区域的纵坐标最小值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的纵坐标最小值是否大于厨余垃圾桶区域的纵坐标最大值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的横坐标最大值是否小于厨余垃圾桶区域的横坐标最小值，如果是进行以下步骤；否则判断为垃圾袋丢在厨余垃圾桶区域；

判断垃圾袋的检测框的横坐标最小值是否大于厨余垃圾桶区域的横坐标最大值，如果是判断为垃圾袋不在厨余垃圾桶区域；否则判断为垃圾袋丢在厨余垃圾桶区域。

8.一种厨余垃圾规范动作的检测系统，其特征在于，包括：

数据获取模块，用于采用摄像头获取厨余垃圾桶区域的连续视频帧；

模型检测模块，用于将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；

第一判断模块，用于获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

第二判断模块，用于获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

第三判断模块，用于获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

第四判断模块，用于获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

9.一种厨余垃圾规范动作的检测装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种厨余垃圾规范动作的检测方法。

10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的一种厨余垃圾规范动作的检测方法。

Images